日志持久化#
日志对于 Ray 应用和集群的故障排除非常有用。例如,如果节点意外终止,你可能需要访问系统日志。
Ray 不提供原生的日志数据存储解决方案。用户需要自行管理日志的生命周期。以下章节提供了从运行在虚拟机上的 Ray 集群收集日志的说明。
Ray 日志目录#
默认情况下,Ray 会将日志写入每个 Ray 节点的 文件系统 中的目录 /tmp/ray/session_*/logs
内的文件中,包括应用日志和系统日志。在开始收集日志之前,请详细了解日志目录和日志文件以及日志轮换配置。
日志处理工具#
有许多开源日志处理工具可用,例如 Vector、FluentBit、Fluentd、Filebeat 和 Promtail。
日志收集#
根据你的需求选择日志处理工具后,你可能需要执行以下步骤:
将 Ray 集群每个节点上的日志文件作为来源进行摄取。
解析和转换日志。你可能希望使用Ray 的结构化日志来简化此步骤。
将转换后的日志发送到日志存储或管理系统。