Train 示例

以下是使用 Ray Train 结合各种框架和用例的示例。Ray Train 使得将这些示例扩展到大型 GPU 集群变得容易。

初级

框架	示例
PyTorch	使用 PyTorch 训练图像分类器
Lightning	使用 Lightning 训练图像分类器
Accelerate, PyTorch, Hugging Face	使用 Hugging Face Accelerate 训练文本分类器
TensorFlow	使用 TensorFlow 训练图像分类器
Horovod	使用 Horovod 和 PyTorch 训练
PyTorch	使用 Intel Gaudi 训练 ResNet 模型
Transformers	使用 Intel Gaudi 训练 BERT 模型
XGBoost	使用 XGBoost 训练表格模型

中级

框架	示例
DeepSpeed, PyTorch	使用 DeepSpeed 训练文本分类器
PyTorch	微调个性化 Stable Diffusion 模型
Accelerate, Transformers	使用 Intel Gaudi 微调 Stable Diffusion 并生成图像
Lightning	使用 PyTorch Lightning 和 Ray Data 训练文本分类器
Transformers	使用 Hugging Face Transformers 训练文本分类器
Accelerate, Transformers	使用 Intel Gaudi 微调 Llama-2-7b 和 Llama-2-70b
Accelerate, Transformers, DeepSpeed	使用 Intel Gaudi 预训练 Llama-2

高级

框架	示例
PyTorch, AWS Neuron	使用 AWS Trainium 微调 Llama3.1
Accelerate, DeepSpeed, Hugging Face	使用 DeepSpeed 和 Hugging Face Accelerate 微调 Llama-2 文本生成模型
Hugging Face, DeepSpeed	使用 DeepSpeed 和 Hugging Face Transformers 微调 GPT-J-6B 文本生成模型
Lightning, DeepSpeed	使用 PyTorch Lightning 和 DeepSpeed 微调 vicuna-13b 文本生成模型
Lightning	使用 PyTorch Lightning 和 FSDP 微调 dolly-v2-7b 文本生成模型