日志持久化#

日志对于排查 Ray 应用程序和集群问题非常有用。例如,当节点意外终止时,您可能需要访问系统日志。

Ray 不提供原生的日志数据存储解决方案。用户需要自行管理日志的生命周期。以下章节将介绍如何收集在虚拟机上运行的 Ray 集群中的日志。

Ray 日志目录#

默认情况下,Ray 将日志写入每个 Ray 节点文件系统中的 /tmp/ray/session_*/logs 目录下的文件,包括应用程序日志和系统日志。在开始收集日志之前,请了解有关 日志目录和日志文件 以及 日志轮转配置 的更多信息。

日志处理工具#

有许多开源日志处理工具可供选择,例如 VectorFluentBitFluentdFilebeatPromtail

日志收集#

在根据您的需求选择日志处理工具后,您可能需要执行以下步骤:

  1. 将 Ray 集群中每个节点的日志文件作为源进行摄取。

  2. 解析和转换日志。您可能需要使用 Ray 的结构化日志 来简化此步骤。

  3. 将转换后的日志传输到日志存储或管理系统中。