跳至主内容
Ctrl+K
免费试用 Ray，获赠 $100 信用额度 — 立即开始

站点导航

  • 入门

  • 用例

  • 示例库

  • 库

    • Ray Core 扩展通用 Python 应用

    • Ray Data 扩展数据摄取和预处理

    • Ray Train 扩展机器学习训练

    • Ray Tune 扩展超参数调优

    • Ray Serve 扩展模型服务

    • Ray RLlib 扩展强化学习

  • 文档

  • 资源

    • 讨论论坛 获取 Ray 问题解答

    • 培训 实践学习

    • 博客 更新、最佳实践、用户故事

    • 活动 网络研讨会、聚会、办公时间

    • 成功案例 真实工作负载示例

    • 生态系统 与 Ray 集成的库

    • 社区 与我们联系

试用托管 Ray

站点导航

  • 入门

  • 用例

  • 示例库

  • 库

    • Ray Core 扩展通用 Python 应用

    • Ray Data 扩展数据摄取和预处理

    • Ray Train 扩展机器学习训练

    • Ray Tune 扩展超参数调优

    • Ray Serve 扩展模型服务

    • Ray RLlib 扩展强化学习

  • 文档

  • 资源

    • 讨论论坛 获取 Ray 问题解答

    • 培训 实践学习

    • 博客 更新、最佳实践、用户故事

    • 活动 网络研讨会、聚会、办公时间

    • 成功案例 真实工作负载示例

    • 生态系统 与 Ray 集成的库

    • 社区 与我们联系

试用托管 Ray
  • 概述
  • 入门
  • 安装
  • 用例
    • Ray for ML Infrastructure (用于机器学习基础设施的 Ray)
  • 示例
    • 多模态 AI 管道
      • 批量推理
      • 分布式训练
      • 在线服务
    • LLM 训练和推理
    • 音频批量推理
    • 分布式 XGBoost 管道
      • 分布式 XGBoost 模型训练
      • 使用离线批量推理进行模型验证
      • 使用 Ray Serve 进行可扩展在线 XGBoost 推理
    • 时间序列预测
      • 分布式 DLinear 时间序列模型训练
      • 使用离线批量推理进行 DLinear 模型验证
      • 使用 Ray Serve 进行 DLinear 模型在线服务
    • 可扩展视频处理
      • 使用 Faster R-CNN 微调人脸口罩检测模型
      • 测试数据集上的对象检测批量推理和指标计算
      • 使用批量推理进行对象检测的视频处理
      • 将对象检测模型作为服务托管
    • 分布式 RAG 管道
      • 构建常规 RAG 文档摄取管道（无需 Ray）
      • 使用 Ray Data 进行可扩展 RAG 数据摄取和分页
      • 使用 Ray Serve LLM 部署 LLM
      • 构建基础 RAG 应用
      • 通过提示工程改进 RAG
      • 通过在线推理评估 RAG
      • 使用 Ray Data LLM 进行批量推理评估 RAG
    • 部署 MCP 服务器
      • 使用 Ray Serve 以 Streamable HTTP 模式部署自定义 MCP
      • 使用现有 Ray Serve 应用部署 MCP 网关
      • 使用 Ray Serve 将 MCP STDIO 服务器部署为可扩展的 HTTP 服务
      • 使用 Ray Serve 部署多个 MCP 服务
      • 为 MCP 服务器构建 Docker 镜像
    • 构建工具使用的代理
  • 生态系统
  • Ray Core
    • 关键概念
    • 用户指南
      • 任务
        • 嵌套远程函数
      • Actor
        • 命名 Actor
        • 终止 Actor
        • Actor 的 AsyncIO / 并发
        • 使用并发组限制每种方法的并发
        • 实用类
        • 带外通信
        • Actor 任务执行顺序
      • 对象
        • 序列化
        • 对象溢出
      • 环境依赖
      • 调度
        • 使用标签控制调度
        • 资源
        • 加速器支持
        • 放置组
        • 内存管理
        • 内存不足预防
      • 容错
        • 任务容错
        • Actor 容错
        • 对象容错
        • 节点容错
        • GCS 容错
      • 设计模式与反模式
        • 模式：使用嵌套任务实现嵌套并行
        • 模式：使用生成器减少堆内存使用
        • 模式：使用 ray.wait 限制待处理任务的数量
        • 模式：使用资源限制并发运行任务的数量
        • 模式：使用 asyncio 运行 actor 方法的并发
        • 模式：使用 actor 同步其他任务和 actor
        • 模式：使用 supervisor actor 管理 actor 树
        • 模式：使用流水线提高吞吐量
        • 反模式：从任务返回 ray.put() ObjectRefs 会损害性能和容错
        • 反模式：对任务参数调用 ray.get 会损害性能
        • 反模式：在循环中调用 ray.get 会损害并行性
        • 反模式：不必要地调用 ray.get 会损害性能
        • 反模式：使用 ray.get 按提交顺序处理结果会增加运行时间
        • 反模式：一次性获取太多对象（通过 ray.get）会导致失败
        • 反模式：过度并行化，任务粒度过细，会损害加速效果
        • 反模式：重新定义相同的远程函数或类会损害性能
        • 反模式：通过值多次传递相同的实参会损害性能
        • 反模式：闭包捕获大对象会损害性能
        • 反模式：使用全局变量在任务和 actor 之间共享状态
        • 反模式：带外序列化 ray.ObjectRef
        • 反模式：在应用程序代码中 fork 新进程
      • Ray Direct Transport (RDT)
      • Ray Compiled Graph (beta)
        • 快速入门
        • 性能剖析
        • 实验性：通信和计算重叠
        • 故障排除
        • Compiled Graph API
      • 高级主题
        • 初学者提示
        • Ray 中的类型提示
        • 启动 Ray
        • Ray 生成器
        • 使用命名空间
        • 跨语言编程
        • 使用 Jupyter Notebook 和 JupyterLab
        • 使用 Ray DAG API 进行惰性计算图
        • 杂项
        • 对 runtime_env 中的远程 URI 进行身份验证
        • 用户派生进程的生命周期
    • 示例
      • 使用 Ray Core 进行批量预测
      • 通过示例轻松入门 Ray Core
      • 使用 Ray 进行高度可并行化的任务
      • 使用 Ray Core 进行简单的 MapReduce 示例
      • π 的蒙特卡罗估算
      • 简单的并行模型选择
      • 参数服务器
      • 学习玩 Pong
      • 通过 Ray 使您的网络爬虫并行化以加快速度
    • Ray Core API
      • 核心 API
      • 调度 API
      • Runtime Env API
      • 实用工具
      • 异常
      • Ray Core CLI
      • 状态 CLI
      • 状态 API
      • Ray Direct Transport (RDT) API
    • 内部
      • 任务生命周期
      • Autoscaler v2
      • RPC 容错
      • 指标导出器基础设施
  • Ray Data
    • Ray Data 快速入门
    • 关键概念
    • 用户指南
      • 加载数据
      • 检查数据
      • 转换数据
      • 聚合数据
      • 迭代数据
      • 连接数据
      • 混洗数据
      • 保存数据
      • 处理图像
      • 处理文本
      • 处理张量/NumPy
      • 处理 PyTorch
      • 处理 LLMs
      • 监控您的工作负载
      • 执行配置
      • 端到端：离线批量推理
      • 高级：性能技巧和调优
      • 高级：读写自定义文件类型
    • 示例
    • Ray Data API
      • 输入/输出
      • Dataset API
      • DataIterator API
      • ExecutionOptions API
      • Aggregation API
      • GroupedData API
      • Expressions API
      • 数据类型
      • 全局配置
      • 预处理器
      • 大型语言模型 (LLM) API
      • 面向其他数据库用户 API 指南
    • 贡献 Ray Data
      • 贡献指南
      • 如何编写测试
    • 比较 Ray Data 与其他系统
    • Ray Data 基准测试
    • Ray Data 内部
  • Ray Train
    • 概述
    • PyTorch 指南
    • PyTorch Lightning 指南
    • Hugging Face Transformers 指南
    • XGBoost 指南
    • JAX 指南
    • 更多框架
      • Hugging Face Accelerate 指南
      • DeepSpeed 指南
      • TensorFlow 和 Keras 指南
      • LightGBM 指南
      • Horovod 指南
    • 用户指南
      • 数据加载和预处理
      • 配置规模和 GPU
      • 本地模式
      • 配置持久化存储
      • 监控和记录指标
      • 保存和加载检查点
      • 异步验证检查点
      • 实验跟踪
      • 检查训练结果
      • 处理故障和节点抢占
      • Ray Train 指标
      • 可重现性
      • 超参数优化
      • 高级：扩展昂贵的 collate 函数
    • 示例
    • 基准测试
    • Ray Train API
  • Ray Tune
    • 入门
    • 关键概念
    • 用户指南
      • 运行基本实验
      • Tune 中的日志记录和输出
      • 设置 Trial 资源
      • 使用搜索空间
      • 如何为 Ray Tune 实验定义停止条件
      • 如何保存和加载 Trial 检查点
      • 如何在 Ray Tune 中配置持久化存储
      • 如何启用 Ray Tune 中的容错
      • 使用回调和指标
      • 将数据导入导出 Tune
      • 分析 Tune 实验结果
      • Tune 中的人口库训练指南
        • 可视化和理解 PBT
      • 在云中部署 Tune
      • Tune 架构
      • 可扩展性基准测试
    • Ray Tune 示例
      • PyTorch 示例
      • PyTorch Lightning 示例
      • XGBoost 示例
      • LightGBM 示例
      • Hugging Face Transformers 示例
      • Ray RLlib 示例
      • Keras 示例
      • Weights & Biases 示例
      • MLflow 示例
      • Aim 示例
      • Comet 示例
      • Ax 示例
      • HyperOpt 示例
      • Bayesopt 示例
      • BOHB 示例
      • Nevergrad 示例
      • Optuna 示例
    • Ray Tune FAQ
    • Ray Tune API
      • Tune 执行 (tune.Tuner)
      • Tune 实验结果 (tune.ResultGrid)
      • Tune 中的训练 (tune.Trainable, tune.report)
      • Tune 搜索空间 API
      • Tune 搜索算法 (tune.search)
      • Tune Trial 调度器 (tune.schedulers)
      • Tune 停止机制 (tune.stopper)
      • Tune 控制台输出（报告器）
      • Tune 中的同步
      • Tune Loggers (tune.logger)
      • Tune Callbacks (tune.Callback)
      • Ray Tune 使用的环境变量
      • Ray Tune 的外部库集成
      • Tune 内部
      • Tune CLI（实验性）
  • Ray Serve
    • 入门
    • 关键概念
    • 开发和部署 ML 应用
    • 部署模型组合
    • 部署多个应用
    • 模型多路复用
    • 配置 Ray Serve 部署
    • 设置 FastAPI 和 HTTP
    • 服务 LLMs
      • 快速入门
      • 示例
      • 用户指南
        • 跨节点并行
        • 数据并行注意力
        • 部署初始化
        • Prefill/decode 分离
        • KV 缓存卸载
        • 前缀感知路由
        • 多 LoRA 部署
        • vLLM 兼容性
        • 分数 GPU 服务
        • 可观测性和监控
      • 架构
        • 架构概述
        • 核心组件
        • 服务模式
        • 请求路由
      • 基准测试
      • 故障排除
    • 生产指南
      • Serve 配置文件
      • 在 Kubernetes 上部署
      • 自定义 Docker 镜像
      • 添加端到端容错
      • 处理依赖项
      • 生产中的最佳实践
    • 监控您的应用
    • 资源分配
    • Ray Serve 自动伸缩
    • 异步推理
    • 高级指南
      • 向应用程序传递参数
      • 高级 Ray Serve 自动伸缩
      • Ray Serve 中的 Asyncio 和并发最佳实践
      • 性能调优
      • 动态请求批处理
      • 原地更新应用程序
      • 开发工作流
      • 设置 gRPC 服务
      • 副本排名
      • 副本调度
      • 实验性 Java API
      • 在 VM 上部署
      • 在不同容器中运行多个应用
      • 使用自定义算法进行请求路由
      • 排除 KubeRay 上多节点 GPU 服务的故障
    • 架构
    • 示例
    • Ray Serve API
  • Ray RLlib
    • 入门
    • 关键概念
    • 环境
      • 多代理环境
      • 分层环境
      • 外部环境和应用
    • AlgorithmConfig API
    • 算法
    • 用户指南
      • 高级 Python API
      • 回调
      • 检查点
      • MetricsLogger API
      • 回合
      • ConnectorV2 和 ConnectorV2 管道
        • Env-to-module 管道
        • Learner 连接器管道
      • 重放缓冲区
      • 使用离线数据
      • RL 模块
      • Learner (Alpha)
      • 容错与弹性训练
      • 安装 RLlib 用于开发
      • RLlib 扩展指南
    • 示例
    • 新 API 栈迁移指南
    • Ray RLlib API
      • 算法配置 API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_algo
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.is_multi_agent
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.is_offline
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learner_class
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.model_config
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.total_train_batch_size
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_default_learner_class
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_default_rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_evaluation_config_object
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_multi_rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_multi_agent_setup
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_rollout_fragment_length
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.copy
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.validate
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.freeze
      • 算法
        • ray.rllib.algorithms.algorithm.Algorithm
        • ray.rllib.algorithms.algorithm.Algorithm.setup
        • ray.rllib.algorithms.algorithm.Algorithm.get_default_config
        • ray.rllib.algorithms.algorithm.Algorithm.env_runner
        • ray.rllib.algorithms.algorithm.Algorithm.eval_env_runner
        • ray.rllib.algorithms.algorithm.Algorithm.train
        • ray.rllib.algorithms.algorithm.Algorithm.training_step
        • ray.rllib.algorithms.algorithm.Algorithm.save_to_path
        • ray.rllib.algorithms.algorithm.Algorithm.restore_from_path
        • ray.rllib.algorithms.algorithm.Algorithm.from_checkpoint
        • ray.rllib.algorithms.algorithm.Algorithm.get_state
        • ray.rllib.algorithms.algorithm.Algorithm.set_state
        • ray.rllib.algorithms.algorithm.Algorithm.evaluate
        • ray.rllib.algorithms.algorithm.Algorithm.get_module
        • ray.rllib.algorithms.algorithm.Algorithm.add_policy
        • ray.rllib.algorithms.algorithm.Algorithm.remove_policy
      • Callback APIs
        • ray.rllib.callbacks.callbacks.RLlibCallback
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_algorithm_init
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_sample_end
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_train_result
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_evaluate_start
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_evaluate_end
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_env_runners_recreated
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_checkpoint_loaded
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_environment_created
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_created
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_start
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_step
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_end
      • 环境
        • EnvRunner API
        • SingleAgentEnvRunner API
        • SingleAgentEpisode API
        • MultiAgentEnv API
        • MultiAgentEnvRunner API
        • MultiAgentEpisode API
        • 外部环境
        • Env 工具
      • RLModule APIs
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.build
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.module_class
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.observation_space
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.action_space
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.inference_only
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.learner_only
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.model_config
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModuleSpec
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModuleSpec.build
        • ray.rllib.core.rl_module.default_model_config.DefaultModelConfig
        • ray.rllib.core.rl_module.rl_module.RLModule
        • ray.rllib.core.rl_module.rl_module.RLModule.observation_space
        • ray.rllib.core.rl_module.rl_module.RLModule.action_space
        • ray.rllib.core.rl_module.rl_module.RLModule.inference_only
        • ray.rllib.core.rl_module.rl_module.RLModule.model_config
        • ray.rllib.core.rl_module.rl_module.RLModule.setup
        • ray.rllib.core.rl_module.rl_module.RLModule.as_multi_rl_module
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_exploration
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_inference
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_train
        • ray.rllib.core.rl_module.rl_module.RLModule._forward
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_exploration
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_inference
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_train
        • ray.rllib.core.rl_module.rl_module.RLModule.save_to_path
        • ray.rllib.core.rl_module.rl_module.RLModule.restore_from_path
        • ray.rllib.core.rl_module.rl_module.RLModule.from_checkpoint
        • ray.rllib.core.rl_module.rl_module.RLModule.get_state
        • ray.rllib.core.rl_module.rl_module.RLModule.set_state
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.setup
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.as_multi_rl_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.add_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.remove_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.save_to_path
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.restore_from_path
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.from_checkpoint
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.get_state
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.set_state
      • Distribution API
        • ray.rllib.models.distributions.Distribution
        • ray.rllib.models.distributions.Distribution.from_logits
        • ray.rllib.models.distributions.Distribution.sample
        • ray.rllib.models.distributions.Distribution.rsample
        • ray.rllib.models.distributions.Distribution.logp
        • ray.rllib.models.distributions.Distribution.kl
      • LearnerGroup API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learners
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.core.learner.learner_group.LearnerGroup
      • Offline RL API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.offline_data
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learners
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.env_runners
        • ray.rllib.offline.offline_env_runner.OfflineSingleAgentEnvRunner
        • ray.rllib.offline.offline_data.OfflineData
        • ray.rllib.offline.offline_data.OfflineData.__init__
        • ray.rllib.offline.offline_data.OfflineData.sample
        • ray.rllib.offline.offline_data.OfflineData.default_map_batches_kwargs
        • ray.rllib.offline.offline_data.OfflineData.default_iter_batches_kwargs
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.__init__
        • ray.rllib.offline.offline_prelearner.SCHEMA
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.__call__
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._map_to_episodes
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._map_sample_batch_to_episode
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._should_module_be_updated
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.default_prelearner_buffer_class
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.default_prelearner_buffer_kwargs
      • ConnectorV2 API
      • Replay Buffer API
        • ray.rllib.utils.replay_buffers.replay_buffer.StorageUnit
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer
        • ray.rllib.utils.replay_buffers.prioritized_replay_buffer.PrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.reservoir_replay_buffer.ReservoirReplayBuffer
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.sample
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.add
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.get_state
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.set_state
        • ray.rllib.utils.replay_buffers.multi_agent_replay_buffer.MultiAgentReplayBuffer
        • ray.rllib.utils.replay_buffers.multi_agent_prioritized_replay_buffer.MultiAgentPrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.utils.update_priorities_in_replay_buffer
        • ray.rllib.utils.replay_buffers.utils.sample_min_n_steps_from_buffer
      • RLlib Utilities
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.peek
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_value
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_dict
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.aggregate
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_time
        • ray.rllib.utils.schedules.scheduler.Scheduler
        • ray.rllib.utils.schedules.scheduler.Scheduler.validate
        • ray.rllib.utils.schedules.scheduler.Scheduler.get_current_value
        • ray.rllib.utils.schedules.scheduler.Scheduler.update
        • ray.rllib.utils.schedules.scheduler.Scheduler._create_tensor_variable
        • ray.rllib.utils.framework.try_import_torch
        • ray.rllib.utils.torch_utils.clip_gradients
        • ray.rllib.utils.torch_utils.compute_global_norm
        • ray.rllib.utils.torch_utils.convert_to_torch_tensor
        • ray.rllib.utils.torch_utils.explained_variance
        • ray.rllib.utils.torch_utils.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.torch_utils.global_norm
        • ray.rllib.utils.torch_utils.one_hot
        • ray.rllib.utils.torch_utils.reduce_mean_ignore_inf
        • ray.rllib.utils.torch_utils.sequence_mask
        • ray.rllib.utils.torch_utils.set_torch_seed
        • ray.rllib.utils.torch_utils.softmax_cross_entropy_with_logits
        • ray.rllib.utils.torch_utils.update_target_network
        • ray.rllib.utils.numpy.aligned_array
        • ray.rllib.utils.numpy.concat_aligned
        • ray.rllib.utils.numpy.convert_to_numpy
        • ray.rllib.utils.numpy.fc
        • ray.rllib.utils.numpy.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.numpy.make_action_immutable
        • ray.rllib.utils.numpy.huber_loss
        • ray.rllib.utils.numpy.l2_loss
        • ray.rllib.utils.numpy.lstm
        • ray.rllib.utils.numpy.one_hot
        • ray.rllib.utils.numpy.relu
        • ray.rllib.utils.numpy.sigmoid
        • ray.rllib.utils.numpy.softmax
        • ray.rllib.utils.checkpoints.try_import_msgpack
        • ray.rllib.utils.checkpoints.Checkpointable
  • 更多库
    • 分布式 Scikit-learn / Joblib
    • 分布式 multiprocessing.Pool
    • Ray Collective Communication Lib (Ray 集合通信库)
    • 在 Ray 上使用 Dask
      • ray.util.dask.RayDaskCallback
        • ray.util.dask.RayDaskCallback.ray_active
      • ray.util.dask.callbacks.RayDaskCallback._ray_presubmit
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit
      • ray.util.dask.callbacks.RayDaskCallback._ray_pretask
      • ray.util.dask.callbacks.RayDaskCallback._ray_posttask
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit_all
      • ray.util.dask.callbacks.RayDaskCallback._ray_finish
    • 在 Ray 上使用 Spark (RayDP)
    • 在 Ray 上使用 Mars
    • 在 Ray 上使用 Pandas (Modin)
    • Data-Juicer 中的分布式数据处理
  • Ray 集群
    • 关键概念
    • 在 Kubernetes 上部署
      • KubeRay 入门
        • KubeRay Operator 安装
        • RayCluster 快速入门
        • RayJob 快速入门
        • RayService 快速入门
      • 用户指南
        • 部署 Ray Serve 应用
        • RayService worker Pod 尚未就绪
        • RayService 高可用
        • RayService 零停机增量升级
        • KubeRay 可观测性
        • KubeRay 升级指南
        • 托管 Kubernetes 服务
        • 存储和依赖项的最佳实践
        • RayCluster 配置
        • KubeRay 自动伸缩
        • KubeRay 基于标签的调度
        • KubeRay 中的 GCS 容错
        • 为持久化容错 GCS 调优 Redis
        • 配置 KubeRay 以使用 GKE 中的 Google Cloud Storage 存储桶
        • 持久化 KubeRay 自定义资源日志
        • 持久化 KubeRay Operator 日志
        • 使用 GPU
        • 在 KubeRay 中使用 TPU
        • 为 Ray head/worker Pod 指定容器命令
        • Helm Chart RBAC
        • TLS 身份验证
        • (高级) 理解 Kubernetes 环境下的 Ray Autoscaler
        • 使用 kubectl 插件 (beta)
        • 配置 Ray 集群使用令牌身份验证
        • 减少 Kubernetes 上的镜像拉取延迟
        • 在 KubeRay 中使用 uv 进行 Python 包管理
        • 使用 KubeRay dashboard (实验性)
      • 示例
        • 在 Kubernetes 上使用 CPU 训练 Fashion MNIST 的 PyTorch 模型
        • 在 Kubernetes 上部署 StableDiffusion 文本到图像模型
        • 在 GKE 上使用 TPU 部署 Stable Diffusion 模型
        • 在 Kubernetes 上部署 MobileNet 图像分类器
        • 在 Kubernetes 上部署文本摘要模型
        • RayJob 批量推理示例
        • 使用 RayJob 和 Kueue 进行优先级调度
        • 使用 RayJob 和 Kueue 进行 Gang 调度
        • 使用 KubeRay 和 GCSFuse 进行分布式检查点
        • 在 Kubernetes 上使用 Ray 上的 Modin
        • 在 Kubernetes 上使用 Ray Serve LLM 部署大型语言模型
        • 使用 Ray Serve LLM 部署 Deepseek R1
        • 使用 verl 在 KubeRay 上对 LLMs 进行基于人类反馈的强化学习 (RLHF)
        • 通过 ArgoCD 部署 Ray 集群
      • KubeRay 生态系统
        • 入口
        • KubeRay 指标参考
        • 使用 Prometheus 和 Grafana
        • 使用 py-spy 进行性能剖析
        • 使用 KAI Scheduler 进行 RayClusters 的 Gang 调度、队列优先级和 GPU 共享
        • KubeRay 与 Volcano 集成
        • KubeRay 与 Apache YuniKorn 集成
        • 使用 Kueue 对 KubeRay CRDs 进行 Gang 调度、优先级调度和自动伸缩
        • 使用 Istio 进行 mTLS 和 L7 可观测性
        • KubeRay 与调度器插件集成
      • KubeRay 基准测试
        • KubeRay 内存和可扩展性基准测试
      • KubeRay 故障排除
        • 故障排除指南
        • RayService 故障排除
      • API 参考
    • 在 VMs 上部署
      • 入门
      • 用户指南
        • 在 AWS、GCP、Azure、vSphere、本地部署 Ray 集群
        • 部署大型集群的最佳实践
        • 配置自动伸缩
        • 日志持久化
        • 社区支持的集群管理器
      • 示例
        • VM 上的 Ray Train XGBoostTrainer
      • API 参考
        • 集群启动器命令
        • 集群 YAML 配置选项
    • 收集和监控指标
    • 配置和管理 Ray Dashboard
    • 应用指南
      • Ray Jobs 概述
        • 使用 Ray Jobs CLI 快速入门
        • Python SDK 概述
        • Python SDK API 参考
        • Ray Jobs CLI API 参考
        • Ray Jobs REST API
        • Ray Client
      • 程序化集群扩展
    • FAQ
    • Ray 集群管理 API
      • 集群管理 CLI
      • Python SDK API 参考
      • Ray Jobs CLI API 参考
      • 程序化集群扩展
    • 使用情况统计信息收集
  • 监控和调试
    • Ray Dashboard
    • Ray 分布式调试器
    • 关键概念
    • 用户指南
      • 调试应用
        • 常见问题
        • 调试内存问题
        • 调试挂起
        • 调试故障
        • 优化性能
        • Ray 分布式调试器
        • 使用 Ray Debugger
      • 使用 CLI 或 SDK 进行监控
      • 配置日志记录
      • 性能剖析
      • 添加应用级指标
      • 跟踪
      • Ray 事件导出
    • 参考
      • 状态 API
      • 状态 CLI
      • 系统指标
  • 开发者指南
    • API 稳定性
    • API 政策
    • 参与 / 贡献
      • 从源码构建 Ray
      • PR 上的 CI 测试工作流
      • 贡献 Ray 文档
      • 如何编写代码片段
      • 本地测试自动伸缩
      • 测试 Ray 程序的技巧
      • Ray 开发者调试
      • Ray 开发者性能剖析
    • 配置 Ray
    • 架构白皮书
  • 词汇表
  • 安全
    • Ray 令牌身份验证
  • Ray Serve: 可扩展和可编程的服务
  • 服务 LLMs
  • 用户指南

用户指南#

用于部署和配置 Ray Serve LLM 功能的操作指南。

  • 跨节点并行
  • 数据并行注意力
  • 部署初始化
  • Prefill/decode 分离
  • KV 缓存卸载
  • 前缀感知路由
  • 多 LoRA 部署
  • vLLM 兼容性
  • 分数 GPU 服务
  • 可观测性和监控

上一页

示例

下一页

跨节点并行

在 GitHub 上编辑
感谢您的反馈！
这有帮助吗？
是
否
反馈
提交

© 版权所有 2025，Ray 团队。

使用 Sphinx 7.3.7 构建。

使用 PyData Sphinx Theme 0.14.1 构建。