Ray Workflows:持久化的 Ray 任务图#

警告

实验性的 Ray Workflows 库已被弃用,并将在未来的 Ray 版本中移除。

Ray Workflows 使用 Ray 任务作为底层执行引擎,实现了高性能、持久化的应用工作流。它使得基于任务的 Ray 作业即使在整个集群发生故障的情况下也能无缝恢复执行。

为什么选择 Ray Workflows?#

灵活性:将 Ray 动态任务图的灵活性与强大的持久化保证相结合。根据运行时数据进行条件分支或循环。在工作流任务中无缝使用 Ray 分布式库。

性能:Ray Workflows 提供亚秒级的任务启动开销,并支持包含数十万个任务的工作流。利用 Ray 对象存储,在任务之间传递分布式数据集,实现零拷贝开销。

您可能会发现 Ray Workflows 相较于 AirFlow 等引擎(也可以在 Ray 上运行)而言级别更。这是因为 Ray Workflows 更侧重于核心的持久化原语,而非工具和集成。