示例

使用 Ray Serve 部署 LLM 的示例。

教程

部署不同类型 LLM 的完整端到端教程

• 部署小型 LLM

• 部署中型 LLM

• 部署大型 LLM

• 部署视觉 LLM

• 部署推理 LLM

• 部署混合推理 LLM

• 部署 gpt-oss