训练示例

以下是使用 Ray Train 处理各种框架和用例的示例。Ray Train 可以轻松地将每个示例扩展到大型 GPU 集群。

初学者

框架	示例
PyTorch	使用 Ray Train 和 Ray Data 分布您的 PyTorch 训练代码
Lightning	使用 Lightning 训练图像分类器
Accelerate, PyTorch, Hugging Face	使用 Hugging Face Accelerate 训练文本分类器
TensorFlow	使用 TensorFlow 训练图像分类器
Horovod	使用 Horovod 和 PyTorch 进行训练
PyTorch	使用 Intel Gaudi 训练 ResNet 模型
Transformers	使用 Intel Gaudi 训练 BERT 模型
PyTorch	使用 PyTorch Profiler 分析 Ray Train 工作负载
XGBoost	使用 XGBoost 训练表格模型

进阶

框架	示例
PyTorch	开始使用 PyTorch Fully Sharded Data Parallel (FSDP2) 和 Ray Train
PyTorch, DeepSpeed	使用 Ray Train 和 DeepSpeed 微调 LLM
DeepSpeed, PyTorch	使用 DeepSpeed 训练文本分类器
PyTorch	微调个性化的 Stable Diffusion 模型
Accelerate, Transformers	使用 Intel Gaudi 微调 Stable Diffusion 并生成图像
Lightning	使用 PyTorch Lightning 和 Ray Data 训练文本分类器
Transformers	使用 Hugging Face Transformers 训练文本分类器
Accelerate, Transformers	使用 Intel Gaudi 微调 Llama-2-7b 和 Llama-2-70b
Accelerate, Transformers, DeepSpeed	使用 Intel Gaudi 预训练 Llama-2

高级

框架	示例
PyTorch, AWS Neuron	使用 AWS Trainium 微调 Llama3.1
Accelerate, DeepSpeed, Hugging Face	使用 DeepSpeed 和 Hugging Face Accelerate 微调 Llama-2 文本生成模型
Hugging Face, DeepSpeed	使用 DeepSpeed 和 Hugging Face Transformers 微调 GPT-J-6B 文本生成模型
Lightning, DeepSpeed	使用 PyTorch Lightning 和 DeepSpeed 微调 vicuna-13b 文本生成模型
Lightning	使用 PyTorch Lightning 和 FSDP 微调 dolly-v2-7b 文本生成模型