跳到主要内容
Ctrl+K
试用 Anyscale 上的 Ray 即可获得 $100 赠金 — 立即开始。

网站导航

  • 快速入门

  • 使用案例

  • 示例库

  • 库

    • Ray Core扩展通用 Python 应用程序

    • Ray Data扩展数据摄取和预处理

    • Ray Train扩展机器学习训练

    • Ray Tune扩展超参数调优

    • Ray Serve扩展模型服务

    • Ray RLlib扩展强化学习

  • 文档

  • 资源

    • 讨论区解答您的 Ray 问题

    • 培训动手实践学习

    • 博客更新、最佳实践、用户故事

    • 活动网络研讨会、交流会、办公时间

    • 成功案例实际工作负载示例

    • 生态系统与 Ray 集成的库

    • 社区联系我们

试用 Ray 即可获得 $100 赠金

网站导航

  • 快速入门

  • 使用案例

  • 示例库

  • 库

    • Ray Core扩展通用 Python 应用程序

    • Ray Data扩展数据摄取和预处理

    • Ray Train扩展机器学习训练

    • Ray Tune扩展超参数调优

    • Ray Serve扩展模型服务

    • Ray RLlib扩展强化学习

  • 文档

  • 资源

    • 讨论区解答您的 Ray 问题

    • 培训动手实践学习

    • 博客更新、最佳实践、用户故事

    • 活动网络研讨会、交流会、办公时间

    • 成功案例实际工作负载示例

    • 生态系统与 Ray 集成的库

    • 社区联系我们

试用 Ray 即可获得 $100 赠金
  • 概述
  • 快速入门
  • 安装
  • 使用案例
    • Ray 用于 ML 基础设施
  • 示例库
  • 生态系统
  • Ray Core
    • 关键概念
    • 用户指南
      • 任务
        • 嵌套的远程函数
        • 动态生成器
      • Actor
        • 命名 Actor
        • 终止 Actor
        • Actor 的 AsyncIO / 并发
        • 使用并发组限制每个方法的并发
        • 实用类
        • 带外通信
        • Actor 任务执行顺序
      • 对象
        • 序列化
        • 对象溢出
      • 环境依赖
      • 调度
        • 资源
        • 加速器支持
        • 放置组
        • 内存管理
        • 内存溢出预防
      • 容错
        • 任务容错
        • Actor 容错
        • 对象容错
        • 节点容错
        • GCS 容错
      • 设计模式与反模式
        • 模式:使用嵌套任务实现嵌套并行
        • 模式:使用生成器减少堆内存使用
        • 模式:使用 ray.wait 限制待处理任务的数量
        • 模式:使用资源限制并发运行任务的数量
        • 模式:使用 asyncio 并发运行 actor 方法
        • 模式:使用 actor 同步其他任务和 actor
        • 模式:使用监督 actor 管理 actor 树
        • 模式:使用流水线提高吞吐量
        • 反模式:从任务返回 ray.put() ObjectRefs 会损害性能和容错
        • 反模式:在循环中调用 ray.get 会损害并行性
        • 反模式:不必要地调用 ray.get 会损害性能
        • 反模式:使用 ray.get 按提交顺序处理结果会增加运行时间
        • 反模式:使用 ray.get 一次获取太多对象会导致失败
        • 反模式:过度并行化(任务粒度太细)会损害加速效果
        • 反模式:重复定义相同的远程函数或类会损害性能
        • 反模式:重复按值传递相同的巨大参数会损害性能
        • 反模式:闭包捕获大对象会损害性能
        • 反模式:使用全局变量在任务和 actor 之间共享状态
        • 反模式:带外序列化 ray.ObjectRef
        • 反模式:在应用程序代码中 fork 新进程
      • Ray 编译图 (beta)
        • 快速入门
        • 性能分析
        • 实验性:通信与计算重叠
        • 故障排除
        • 编译图 API
      • 高级主题
        • 首次使用者的提示
        • 启动 Ray
        • Ray 生成器
        • 使用命名空间
        • 跨语言编程
        • 使用 Jupyter Notebooks & JupyterLab
        • 使用 Ray DAG API 实现延迟计算图
        • 杂项主题
        • 在 runtime_env 中验证远程 URI
        • 用户派生进程的生命周期
    • 示例
      • 使用 Ray Core 进行简单时间序列 AutoML
      • 使用 Ray Core 进行批量预测
      • Ray Core 入门示例教程
      • 使用 Ray 处理高度可并行化任务
      • 使用 Ray Core 的简单 MapReduce 示例
      • 蒙特卡洛估算 π
      • 简单并行模型选择
      • 参数服务器
      • 学习玩 Pong 游戏
      • 使用 Ray 并行加速您的网络爬虫
    • Ray Core API
      • 核心 API
      • 调度 API
      • Runtime Env API
      • 工具
      • 异常
      • Ray Core CLI
      • 状态 CLI
      • 状态 API
  • Ray Data
    • Ray Data 快速入门
    • 关键概念
    • 用户指南
      • 加载数据
      • 检查数据
      • 转换数据
      • 迭代数据
      • 混洗数据
      • 保存数据
      • 处理图像
      • 处理文本
      • 处理张量 / NumPy
      • 处理 PyTorch
      • 处理 LLM
      • 监控您的工作负载
      • 执行配置
      • 端到端:离线批量推理
      • 高级:性能提示和调优
      • 高级:读写自定义文件类型
    • 示例
    • Ray Data API
      • 输入/输出
      • Dataset API
      • DataIterator API
      • ExecutionOptions API
      • 聚合 API
      • GroupedData API
      • 全局配置
      • 预处理器
      • 大语言模型 (LLM) API
      • 其他数据库用户 API 指南
    • 将 Ray Data 与其他系统进行比较
    • Ray Data 内部原理
  • Ray Train
    • 概述
    • PyTorch 指南
    • PyTorch Lightning 指南
    • Hugging Face Transformers 指南
    • XGBoost 指南
    • 更多框架
      • Hugging Face Accelerate 指南
      • DeepSpeed 指南
      • TensorFlow 和 Keras 指南
      • XGBoost 和 LightGBM 指南
      • Horovod 指南
    • 用户指南
      • 数据加载和预处理
      • 配置扩展和 GPU
      • 配置持久存储
      • 监控和记录指标
      • 保存和加载检查点
      • 实验跟踪
      • 检查训练结果
      • 处理故障和节点抢占
      • 可重现性
      • 超参数优化
    • 示例
    • 基准测试
    • Ray Train API
  • Ray Tune
    • 快速入门
    • 关键概念
    • 用户指南
      • 运行基本实验
      • Tune 中的日志记录和输出
      • 设置 Trial 资源
      • 使用搜索空间
      • 如何定义 Ray Tune 实验的停止标准
      • 如何保存和加载 Trial 检查点
      • 如何在 Ray Tune 中配置持久存储
      • 如何在 Ray Tune 中启用容错
      • 使用回调和指标
      • 在 Tune 中导入和导出数据
      • 分析 Tune 实验结果
      • Tune 群体训练 (PBT) 指南
        • 可视化和理解 PBT
      • 在云中部署 Tune
      • Tune 架构
      • 可扩展性基准测试
    • Ray Tune 示例
      • PyTorch 示例
      • PyTorch Lightning 示例
      • XGBoost 示例
      • LightGBM 示例
      • Hugging Face Transformers 示例
      • Ray RLlib 示例
      • Keras 示例
      • Horovod 示例
      • Weights & Biases 示例
      • MLflow 示例
      • Aim 示例
      • Comet 示例
      • Ax 示例
      • HyperOpt 示例
      • Bayesopt 示例
      • BOHB 示例
      • Nevergrad 示例
      • Optuna 示例
    • Ray Tune 常见问题
    • Ray Tune API
      • Tune 执行 (tune.Tuner)
      • Tune 实验结果 (tune.ResultGrid)
      • 在 Tune 中训练 (tune.Trainable, tune.report)
      • Tune 搜索空间 API
      • Tune 搜索算法 (tune.search)
      • Tune Trial 调度器 (tune.schedulers)
      • Tune 停止机制 (tune.stopper)
      • Tune 控制台输出 (Reporters)
      • Tune 中的同步
      • Tune 记录器 (tune.logger)
      • Tune 回调 (tune.Callback)
      • Ray Tune 使用的环境变量
      • Ray Tune 的外部库集成
      • Tune 内部原理
      • Tune CLI (实验性)
  • Ray Serve
    • 快速入门
    • 关键概念
    • 开发和部署 ML 应用程序
    • 部署模型组合
    • 部署多个应用程序
    • 模型多路复用
    • 配置 Ray Serve 部署
    • 设置 FastAPI 和 HTTP
    • 服务 LLM
    • 生产指南
      • Serve 配置文件
      • 在 Kubernetes 上部署
      • 自定义 Docker 镜像
      • 添加端到端容错
      • 处理依赖关系
      • 生产中的最佳实践
    • 监控您的应用程序
    • 资源分配
    • Ray Serve 自动扩缩容
    • 高级指南
      • 将参数传递给应用程序
      • 高级 Ray Serve 自动扩缩容
      • 性能调优
      • 动态请求批量处理
      • 就地更新应用程序
      • 开发工作流程
      • 设置 gRPC 服务
      • 实验性 Java API
      • 在 VM 上部署
      • 在不同容器中运行多个应用程序
    • 架构
    • 示例
    • Ray Serve API
  • Ray RLlib
    • 快速入门
    • 关键概念
    • 环境
      • 多智能体环境
      • 分层环境
      • 外部环境和应用程序
    • AlgorithmConfig API
    • 算法
    • 用户指南
      • 高级 Python API
      • 回调
      • 检查点
      • MetricsLogger API
      • 回合
      • 经验回放缓冲区
      • 处理离线数据
      • RL 模块
      • 学习器 (Alpha)
      • 将 RLlib 与 torch 2.x compile 结合使用
      • 容错和弹性训练
      • 安装 RLlib 用于开发
      • RLlib 扩缩容指南
    • 示例
    • 新 API 栈迁移指南
    • Ray RLlib API
      • 算法配置 API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_algo
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.is_multi_agent
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.is_offline
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learner_class
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.model_config
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.total_train_batch_size
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_default_learner_class
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_default_rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_evaluation_config_object
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_multi_rl_module_spec
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_multi_agent_setup
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.get_rollout_fragment_length
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.copy
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.validate
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.freeze
      • 算法
        • ray.rllib.algorithms.algorithm.Algorithm
        • ray.rllib.algorithms.algorithm.Algorithm.setup
        • ray.rllib.algorithms.algorithm.Algorithm.get_default_config
        • ray.rllib.algorithms.algorithm.Algorithm.env_runner
        • ray.rllib.algorithms.algorithm.Algorithm.eval_env_runner
        • ray.rllib.algorithms.algorithm.Algorithm.train
        • ray.rllib.algorithms.algorithm.Algorithm.training_step
        • ray.rllib.algorithms.algorithm.Algorithm.save_to_path
        • ray.rllib.algorithms.algorithm.Algorithm.restore_from_path
        • ray.rllib.algorithms.algorithm.Algorithm.from_checkpoint
        • ray.rllib.algorithms.algorithm.Algorithm.get_state
        • ray.rllib.algorithms.algorithm.Algorithm.set_state
        • ray.rllib.algorithms.algorithm.Algorithm.evaluate
        • ray.rllib.algorithms.algorithm.Algorithm.get_module
        • ray.rllib.algorithms.algorithm.Algorithm.add_policy
        • ray.rllib.algorithms.algorithm.Algorithm.remove_policy
      • 回调 API
        • ray.rllib.callbacks.callbacks.RLlibCallback
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_algorithm_init
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_sample_end
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_train_result
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_evaluate_start
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_evaluate_end
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_env_runners_recreated
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_checkpoint_loaded
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_environment_created
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_created
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_start
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_step
        • ray.rllib.callbacks.callbacks.RLlibCallback.on_episode_end
      • 环境
        • EnvRunner API
        • SingleAgentEnvRunner API
        • SingleAgentEpisode API
        • MultiAgentEnv API
        • MultiAgentEnvRunner API
        • MultiAgentEpisode API
        • 环境工具
      • RLModule API
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.build
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.module_class
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.observation_space
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.action_space
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.inference_only
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.learner_only
        • ray.rllib.core.rl_module.rl_module.RLModuleSpec.model_config
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModuleSpec
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModuleSpec.build
        • ray.rllib.core.rl_module.default_model_config.DefaultModelConfig
        • ray.rllib.core.rl_module.rl_module.RLModule
        • ray.rllib.core.rl_module.rl_module.RLModule.observation_space
        • ray.rllib.core.rl_module.rl_module.RLModule.action_space
        • ray.rllib.core.rl_module.rl_module.RLModule.inference_only
        • ray.rllib.core.rl_module.rl_module.RLModule.model_config
        • ray.rllib.core.rl_module.rl_module.RLModule.setup
        • ray.rllib.core.rl_module.rl_module.RLModule.as_multi_rl_module
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_exploration
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_inference
        • ray.rllib.core.rl_module.rl_module.RLModule.forward_train
        • ray.rllib.core.rl_module.rl_module.RLModule._forward
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_exploration
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_inference
        • ray.rllib.core.rl_module.rl_module.RLModule._forward_train
        • ray.rllib.core.rl_module.rl_module.RLModule.save_to_path
        • ray.rllib.core.rl_module.rl_module.RLModule.restore_from_path
        • ray.rllib.core.rl_module.rl_module.RLModule.from_checkpoint
        • ray.rllib.core.rl_module.rl_module.RLModule.get_state
        • ray.rllib.core.rl_module.rl_module.RLModule.set_state
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.setup
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.as_multi_rl_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.add_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.remove_module
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.save_to_path
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.restore_from_path
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.from_checkpoint
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.get_state
        • ray.rllib.core.rl_module.multi_rl_module.MultiRLModule.set_state
      • Distribution API
        • ray.rllib.models.distributions.Distribution
        • ray.rllib.models.distributions.Distribution.from_logits
        • ray.rllib.models.distributions.Distribution.sample
        • ray.rllib.models.distributions.Distribution.rsample
        • ray.rllib.models.distributions.Distribution.logp
        • ray.rllib.models.distributions.Distribution.kl
      • LearnerGroup API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learners
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.build_learner_group
        • ray.rllib.core.learner.learner_group.LearnerGroup
      • Offline RL API
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.offline_data
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.learners
        • ray.rllib.algorithms.algorithm_config.AlgorithmConfig.env_runners
        • ray.rllib.offline.offline_env_runner.OfflineSingleAgentEnvRunner
        • ray.rllib.offline.offline_data.OfflineData
        • ray.rllib.offline.offline_data.OfflineData.__init__
        • ray.rllib.offline.offline_data.OfflineData.sample
        • ray.rllib.offline.offline_data.OfflineData.default_map_batches_kwargs
        • ray.rllib.offline.offline_data.OfflineData.default_iter_batches_kwargs
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.__init__
        • ray.rllib.offline.offline_prelearner.SCHEMA
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.__call__
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._map_to_episodes
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._map_sample_batch_to_episode
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner._should_module_be_updated
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.default_prelearner_buffer_class
        • ray.rllib.offline.offline_prelearner.OfflinePreLearner.default_prelearner_buffer_kwargs
      • 经验回放缓冲区 API
        • ray.rllib.utils.replay_buffers.replay_buffer.StorageUnit
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer
        • ray.rllib.utils.replay_buffers.prioritized_replay_buffer.PrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.reservoir_replay_buffer.ReservoirReplayBuffer
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.sample
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.add
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.get_state
        • ray.rllib.utils.replay_buffers.replay_buffer.ReplayBuffer.set_state
        • ray.rllib.utils.replay_buffers.multi_agent_replay_buffer.MultiAgentReplayBuffer
        • ray.rllib.utils.replay_buffers.multi_agent_prioritized_replay_buffer.MultiAgentPrioritizedReplayBuffer
        • ray.rllib.utils.replay_buffers.utils.update_priorities_in_replay_buffer
        • ray.rllib.utils.replay_buffers.utils.sample_min_n_steps_from_buffer
      • RLlib 工具
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.peek
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_value
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_dict
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.merge_and_log_n_dicts
        • ray.rllib.utils.metrics.metrics_logger.MetricsLogger.log_time
        • ray.rllib.utils.schedules.scheduler.Scheduler
        • ray.rllib.utils.schedules.scheduler.Scheduler.validate
        • ray.rllib.utils.schedules.scheduler.Scheduler.get_current_value
        • ray.rllib.utils.schedules.scheduler.Scheduler.update
        • ray.rllib.utils.schedules.scheduler.Scheduler._create_tensor_variable
        • ray.rllib.utils.framework.try_import_torch
        • ray.rllib.utils.torch_utils.clip_gradients
        • ray.rllib.utils.torch_utils.compute_global_norm
        • ray.rllib.utils.torch_utils.convert_to_torch_tensor
        • ray.rllib.utils.torch_utils.explained_variance
        • ray.rllib.utils.torch_utils.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.torch_utils.global_norm
        • ray.rllib.utils.torch_utils.one_hot
        • ray.rllib.utils.torch_utils.reduce_mean_ignore_inf
        • ray.rllib.utils.torch_utils.sequence_mask
        • ray.rllib.utils.torch_utils.set_torch_seed
        • ray.rllib.utils.torch_utils.softmax_cross_entropy_with_logits
        • ray.rllib.utils.torch_utils.update_target_network
        • ray.rllib.utils.numpy.aligned_array
        • ray.rllib.utils.numpy.concat_aligned
        • ray.rllib.utils.numpy.convert_to_numpy
        • ray.rllib.utils.numpy.fc
        • ray.rllib.utils.numpy.flatten_inputs_to_1d_tensor
        • ray.rllib.utils.numpy.make_action_immutable
        • ray.rllib.utils.numpy.huber_loss
        • ray.rllib.utils.numpy.l2_loss
        • ray.rllib.utils.numpy.lstm
        • ray.rllib.utils.numpy.one_hot
        • ray.rllib.utils.numpy.relu
        • ray.rllib.utils.numpy.sigmoid
        • ray.rllib.utils.numpy.softmax
        • ray.rllib.utils.checkpoints.try_import_msgpack
        • ray.rllib.utils.checkpoints.Checkpointable
  • 更多库
    • 分布式 Scikit-learn / Joblib
    • 分布式 multiprocessing.Pool
    • Ray 集合通信库
    • 在 Ray 上使用 Dask
      • ray.util.dask.RayDaskCallback
        • ray.util.dask.RayDaskCallback.ray_active
      • ray.util.dask.callbacks.RayDaskCallback._ray_presubmit
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit
      • ray.util.dask.callbacks.RayDaskCallback._ray_pretask
      • ray.util.dask.callbacks.RayDaskCallback._ray_posttask
      • ray.util.dask.callbacks.RayDaskCallback._ray_postsubmit_all
      • ray.util.dask.callbacks.RayDaskCallback._ray_finish
    • 在 Ray 上使用 Spark (RayDP)
    • 在 Ray 上使用 Mars
    • 在 Ray 上使用 Pandas (Modin)
    • Data-Juicer 中的分布式数据处理
    • Ray 工作流 (已弃用)
      • 关键概念
      • 快速入门
      • 工作流管理
      • 工作流元数据
      • 事件
      • API 比较
      • 高级主题
      • Ray 工作流 API
        • 工作流执行 API
        • 工作流管理 API
  • Ray 集群
    • 关键概念
    • 在 Kubernetes 上部署
      • KubeRay 快速入门
        • KubeRay Operator 安装
        • RayCluster 快速入门
        • RayJob 快速入门
        • RayService 快速入门
      • 用户指南
        • 部署 Ray Serve 应用程序
        • RayService worker Pod 未就绪
        • RayService 高可用性
        • KubeRay 可观测性
        • KubeRay 升级指南
        • 托管 Kubernetes 服务
        • 存储和依赖项的最佳实践
        • RayCluster 配置
        • KubeRay 自动扩缩容
        • KubeRay 中的 GCS 容错
        • 为持久容错 GCS 调优 Redis
        • 配置 KubeRay 在 GKE 中使用 Google Cloud Storage Bucket
        • 持久化 KubeRay 自定义资源日志
        • 持久化 KubeRay Operator 日志
        • 使用 GPU
        • 使用 KubeRay 和 TPU
        • 在 RayCluster 上开发 Ray Serve Python 脚本
        • 为 Ray head/worker Pod 指定容器命令
        • Helm Chart RBAC
        • TLS 认证
        • (高级) 理解 Kubernetes 环境下的 Ray Autoscaler
        • (高级) 不使用 KubeRay 部署静态 Ray 集群
        • 使用 kubectl 插件 (beta)
        • 使用 KubeRay 配置具有身份验证和访问控制的 Ray 集群
        • 降低 Kubernetes 上的镜像拉取延迟
      • 示例
        • Ray Train XGBoostTrainer 在 Kubernetes 上
        • 在 Kubernetes 上使用 GPU 训练 PyTorch ResNet 模型
        • 在 Kubernetes 上使用 CPU 训练 Fashion MNIST PyTorch 模型
        • 在 Kubernetes 上服务 StableDiffusion 文本到图像模型
        • 在 GKE 上使用 TPU 服务 Stable Diffusion 模型
        • 在 Kubernetes 上服务 MobileNet 图像分类器
        • 在 Kubernetes 上服务文本摘要模型
        • RayJob 批量推理示例
        • 使用 RayJob 和 Kueue 进行优先级调度
        • 使用 RayJob 和 Kueue 进行 Gang 调度
        • 使用 KubeRay 和 GCSFuse 进行分布式检查点
        • 在 Kubernetes 上将 Modin 与 Ray 结合使用
        • 在 Kubernetes 上使用 vLLM 服务大语言模型
      • KubeRay 生态系统
        • Ingress
        • 使用 Prometheus 和 Grafana
        • 使用 py-spy 进行性能分析
        • KubeRay 与 Volcano 集成
        • KubeRay 与 Apache YuniKorn 集成
        • 使用 Kueue 为 RayJob 进行 Gang 调度和优先级调度
        • 使用 Istio 实现 mTLS 和 L7 可观测性
      • KubeRay 基准测试
        • KubeRay 内存和可扩展性基准测试
      • KubeRay 故障排除
        • 故障排除指南
        • RayService 故障排除
      • API 参考
    • 在 VM 上部署
      • 快速入门
      • 用户指南
        • 在 AWS、GCP、Azure、vSphere、本地启动 Ray 集群
        • 部署大型集群的最佳实践
        • 配置自动扩缩容
        • 日志持久化
        • 社区支持的集群管理器
      • 示例
        • Ray Train XGBoostTrainer 在 VM 上
      • API 参考
        • 集群启动器命令
        • 集群 YAML 配置选项
    • 收集和监控指标
    • 配置和管理 Ray Dashboard
    • 应用程序指南
      • Ray Jobs 概述
        • 使用 Ray Jobs CLI 快速入门
        • Python SDK 概述
        • Python SDK API 参考
        • Ray Jobs CLI API 参考
        • Ray Jobs REST API
        • Ray Client
      • 程序化集群扩缩容
    • 常见问题
    • Ray 集群管理 API
      • 集群管理 CLI
      • Python SDK API 参考
      • Ray Jobs CLI API 参考
      • 程序化集群扩缩容
    • 使用统计收集
  • 监控和调试
    • Ray Dashboard
    • Ray 分布式调试器
    • 关键概念
    • 用户指南
      • 调试应用程序
        • 常见问题
        • 调试内存问题
        • 调试挂起问题
        • 调试失败问题
        • 优化性能
        • Ray 分布式调试器
        • 使用 Ray 调试器
      • 使用 CLI 或 SDK 进行监控
      • 配置日志记录
      • 性能分析
      • 添加应用程序级别指标
      • 跟踪
    • 参考
      • 状态 API
      • 状态 CLI
      • 系统指标
  • 开发者指南
    • API 稳定性
    • API 策略
    • 参与 / 贡献
      • 从源代码构建 Ray
      • PR 上的 CI 测试工作流程
      • 贡献 Ray 文档
      • 如何编写代码片段
      • 在本地测试自动扩缩容
      • 测试 Ray 程序的提示
      • Ray 开发者调试指南
      • Ray 开发者性能分析指南
    • 配置 Ray
    • 架构白皮书
  • 术语表
  • 安全
  • Ray Serve:可扩展和可编程的服务
  • 高级指南

高级指南#

如果您是 Ray Serve 的新手,请从Ray Serve 快速入门开始。

使用这些高级指南了解更多选项和配置

  • 将参数传递给应用程序

  • 高级 Ray Serve 自动扩缩容

  • 性能调优

  • 动态请求批量处理

  • Serve 的就地更新

  • 开发工作流程

  • gRPC 支持

  • Ray Serve Dashboard

  • 实验性 Java API

  • 在不同容器中运行应用程序

上一页

Ray Serve 自动扩缩容

下一页

将参数传递给应用程序

在 GitHub 上编辑
感谢您的反馈!
这对您有帮助吗?
是
否
反馈
提交

© Copyright 2025, The Ray Team.

使用 Sphinx 7.3.7 创建。

使用 PyData Sphinx Theme 0.14.1 构建。