日志持久化#

日志对于 Ray 应用和集群的故障排除非常有用。例如,如果节点意外终止,你可能需要访问系统日志。

Ray 不提供原生的日志数据存储解决方案。用户需要自行管理日志的生命周期。以下章节提供了从运行在虚拟机上的 Ray 集群收集日志的说明。

Ray 日志目录#

默认情况下,Ray 会将日志写入每个 Ray 节点的 文件系统 中的目录 /tmp/ray/session_*/logs 内的文件中,包括应用日志和系统日志。在开始收集日志之前,请详细了解日志目录和日志文件以及日志轮换配置

日志处理工具#

有许多开源日志处理工具可用,例如 VectorFluentBitFluentdFilebeatPromtail

日志收集#

根据你的需求选择日志处理工具后,你可能需要执行以下步骤:

  1. 将 Ray 集群每个节点上的日志文件作为来源进行摄取。

  2. 解析和转换日志。你可能希望使用Ray 的结构化日志来简化此步骤。

  3. 将转换后的日志发送到日志存储或管理系统。