Serve 示例

以下是探索 Ray Serve 功能并学习如何集成不同建模框架的教程。

ML 应用

部署 ML 模型服务

部署 Stable Diffusion 模型服务

部署文本分类模型服务

部署目标检测模型服务

部署具有请求和响应流的聊天机器人服务

AI 加速器

使用 FastAPI 在 AWS NeuronCores 上部署推理模型服务

使用 FastAPI 在 AWS NeuronCores 上部署 Stable Diffusion 模型推理服务

在 Intel Gaudi 加速器上部署模型服务

集成

使用 Ray Serve 扩展 Gradio 应用

部署具有请求批处理的文本生成器服务

在 Ray Serve 中使用 Triton Server 提供模型服务

部署 Java 应用服务

LLM 应用

部署 DeepSeek 服务