服务示例

以下教程可帮助您探索 Ray Serve 的功能并学习如何集成不同的建模框架。

机器学习应用

服务机器学习模型

服务 Stable Diffusion 模型

服务文本分类模型

服务对象检测模型

服务带有请求和响应流的聊天机器人

AI 加速器

使用 FastAPI 在 AWS NeuronCores 上服务推理模型

使用 FastAPI 在 AWS NeuronCores 上服务带有 Stable Diffusion 模型的推理

在 Intel Gaudi 加速器上服务模型

集成

使用 Ray Serve 扩展 Gradio 应用

服务带有请求批处理的文本生成器

在 Ray Serve 中使用 Triton Server 服务模型

服务 Java 应用

大语言模型应用

服务 DeepSeek

部署小型大语言模型

部署中型大语言模型

部署大型大语言模型

部署视觉 LLM

部署推理大语言模型

部署混合推理大语言模型

部署 gpt-oss