在 Tune 中使用 Aim#
Aim 是一个易于使用且功能强大的开源实验跟踪器。Aim 会记录你的训练运行，提供一个精心设计的 UI 来比较它们，并提供 API 以编程方式查询它们。
Ray Tune 目前提供了与 Aim 的内置集成。AimLoggerCallback 通过使用 Aim API 自动记录报告给 Tune 的指标。
将 Tune 超参数配置和结果记录到 Aim#
以下示例演示了如何在 Tune 实验中使用 AimLoggerCallback。首先安装并导入必要的模块
%pip install aim
%pip install ray[tune]
import numpy as np
import ray
from ray import tune
from ray.tune.logger.aim import AimLoggerCallback
接下来，定义一个简单的 train_function，它是一个向 Tune 报告损失的 Trainable。对于此示例，目标函数本身并不重要，因为我们的主要重点是与 Aim 的集成。
def train_function(config):
for _ in range(50):
loss = config["mean"] + config["sd"] * np.random.randn()
tune.report({"loss": loss})
以下是一个示例，展示了如何在简单的网格搜索 Tune 实验中使用 AimLoggerCallback。该日志记录器会将 9 个网格搜索 trials 的每一个都记录为独立的 Aim 运行。
tuner = tune.Tuner(
train_function,
run_config=tune.RunConfig(
callbacks=[AimLoggerCallback()],
storage_path="/tmp/ray_results",
name="aim_example",
),
param_space={
"mean": tune.grid_search([1, 2, 3, 4, 5, 6, 7, 8, 9]),
"sd": tune.uniform(0.1, 0.9),
},
tune_config=tune.TuneConfig(
metric="loss",
mode="min",
),
)
tuner.fit()
2023-02-07 00:04:11,228 INFO worker.py:1544 -- Started a local Ray instance. View the dashboard at http://127.0.0.1:8265
Tune 状态
| 当前时间 | 2023-02-07 00:04:19 |
| 运行时间 | 00:00:06.86 |
| 内存 | 32.8/64.0 GiB |
系统信息
使用 FIFO 调度算法。请求资源：0/10 CPUs, 0/0 GPUs, 堆内存 0.0/26.93 GiB, Object 0.0/2.0 GiB
Trial 状态
| Trial 名称 | 状态 | 位置 | 均值 | 标准差 | 迭代次数 | 总时间 (秒) | 损失 |
|---|---|---|---|---|---|---|---|
| train_function_01a3b_00000 | 已终止 | 127.0.0.1:10277 | 1 | 0.385428 | 50 | 4.48031 | 1.01928 |
| train_function_01a3b_00001 | 已终止 | 127.0.0.1:10296 | 2 | 0.819716 | 50 | 2.97272 | 3.01491 |
| train_function_01a3b_00002 | 已终止 | 127.0.0.1:10301 | 3 | 0.769197 | 50 | 2.39572 | 3.87155 |
| train_function_01a3b_00003 | 已终止 | 127.0.0.1:10307 | 4 | 0.29466 | 50 | 2.41568 | 4.1507 |
| train_function_01a3b_00004 | 已终止 | 127.0.0.1:10313 | 5 | 0.152208 | 50 | 1.68383 | 5.10225 |
| train_function_01a3b_00005 | 已终止 | 127.0.0.1:10321 | 6 | 0.879814 | 50 | 1.54015 | 6.20238 |
| train_function_01a3b_00006 | 已终止 | 127.0.0.1:10329 | 7 | 0.487499 | 50 | 1.44706 | 7.79551 |
| train_function_01a3b_00007 | 已终止 | 127.0.0.1:10333 | 8 | 0.639783 | 50 | 1.4261 | 7.94189 |
| train_function_01a3b_00008 | 已终止 | 127.0.0.1:10341 | 9 | 0.12285 | 50 | 1.07701 | 8.82304 |
Trial 进度
| Trial 名称 | 日期 | 完成 | 总 episode 数 | 实验 ID | 实验标签 | 主机名 | 自恢复以来的迭代次数 | 损失 | 节点 IP | 进程 ID | 自恢复以来的时间 | 本次迭代时间 (秒) | 总时间 (秒) | 时间戳 | 自恢复以来的时间步数 | 总时间步数 | 训练迭代次数 | trial ID | 热身时间 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| train_function_01a3b_00000 | 2023-02-07_00-04-18 | True | c8447fdceea6436c9edd6f030a5b1d82 | 0_mean=1,sd=0.3854 | Justins-MacBook-Pro-16 | 50 | 1.01928 | 127.0.0.1 | 10277 | 4.48031 | 0.013865 | 4.48031 | 1675757058 | 0 | 50 | 01a3b_00000 | 0.00264072 | ||
| train_function_01a3b_00001 | 2023-02-07_00-04-18 | True | 7dd6d3ee24244a0885b354c285064728 | 1_mean=2,sd=0.8197 | Justins-MacBook-Pro-16 | 50 | 3.01491 | 127.0.0.1 | 10296 | 2.97272 | 0.0584073 | 2.97272 | 1675757058 | 0 | 50 | 01a3b_00001 | 0.0316792 | ||
| train_function_01a3b_00002 | 2023-02-07_00-04-18 | True | e3da49ebad034c4b8fdaf0aa87927b1a | 2_mean=3,sd=0.7692 | Justins-MacBook-Pro-16 | 50 | 3.87155 | 127.0.0.1 | 10301 | 2.39572 | 0.0695491 | 2.39572 | 1675757058 | 0 | 50 | 01a3b_00002 | 0.0315411 | ||
| train_function_01a3b_00003 | 2023-02-07_00-04-18 | True | 95c60c4f67c4481ebccff25b0a49e75d | 3_mean=4,sd=0.2947 | Justins-MacBook-Pro-16 | 50 | 4.1507 | 127.0.0.1 | 10307 | 2.41568 | 0.0175381 | 2.41568 | 1675757058 | 0 | 50 | 01a3b_00003 | 0.0310779 | ||
| train_function_01a3b_00004 | 2023-02-07_00-04-18 | True | a216253cb41e47caa229e65488deb019 | 4_mean=5,sd=0.1522 | Justins-MacBook-Pro-16 | 50 | 5.10225 | 127.0.0.1 | 10313 | 1.68383 | 0.064441 | 1.68383 | 1675757058 | 0 | 50 | 01a3b_00004 | 0.00450182 | ||
| train_function_01a3b_00005 | 2023-02-07_00-04-18 | True | 23834104277f476cb99d9c696281fceb | 5_mean=6,sd=0.8798 | Justins-MacBook-Pro-16 | 50 | 6.20238 | 127.0.0.1 | 10321 | 1.54015 | 0.00910306 | 1.54015 | 1675757058 | 0 | 50 | 01a3b_00005 | 0.0480251 | ||
| train_function_01a3b_00006 | 2023-02-07_00-04-18 | True | 15f650121df747c3bd2720481d47b265 | 6_mean=7,sd=0.4875 | Justins-MacBook-Pro-16 | 50 | 7.79551 | 127.0.0.1 | 10329 | 1.44706 | 0.00600386 | 1.44706 | 1675757058 | 0 | 50 | 01a3b_00006 | 0.00202489 | ||
| train_function_01a3b_00007 | 2023-02-07_00-04-19 | True | 78b1673cf2034ed99135b80a0cb31e0e | 7_mean=8,sd=0.6398 | Justins-MacBook-Pro-16 | 50 | 7.94189 | 127.0.0.1 | 10333 | 1.4261 | 0.00225306 | 1.4261 | 1675757059 | 0 | 50 | 01a3b_00007 | 0.00209713 | ||
| train_function_01a3b_00008 | 2023-02-07_00-04-19 | True | c7f5d86154cb46b6aa27bef523edcd6f | 8_mean=9,sd=0.1228 | Justins-MacBook-Pro-16 | 50 | 8.82304 | 127.0.0.1 | 10341 | 1.07701 | 0.00291467 | 1.07701 | 1675757059 | 0 | 50 | 01a3b_00008 | 0.00240111 |
2023-02-07 00:04:19,366 INFO tune.py:798 -- Total run time: 7.38 seconds (6.85 seconds for the tuning loop).
<ray.tune.result_grid.ResultGrid at 0x137de07c0>
脚本执行时，会进行网格搜索，并将结果保存到 Aim repo 中，默认存储位置为实验日志目录（在本例中是 /tmp/ray_results/aim_example）。
Aim 的更多配置选项#
在上面的示例中，我们使用了 AimLoggerCallback 的默认配置。有一些选项可以作为参数配置给回调函数。例如，设置 AimLoggerCallback(repo="/path/to/repo") 会将结果记录到指定路径的 Aim repo 中，这对于有一个集中存储多个 Tune 实验结果的位置非常有用。也可以使用相对于 Tune 脚本启动时工作目录的相对路径。默认情况下，repo 将设置为实验日志目录。有关更多配置，请参阅API 参考。
启动 Aim UI#
现在我们已经将结果记录到 Aim repository 中，我们可以在 Aim 的 Web UI 中查看它。为此，我们首先找到 Aim repository 所在的目录，然后使用 Aim CLI 启动 Web 界面。
# Uncomment the following line to launch the Aim UI!
#!aim up --repo=/tmp/ray_results/aim_example
--------------------------------------------------------------------------
Aim UI collects anonymous usage analytics.
Read how to opt-out here:
https://aimstack.readthedocs.io/en/latest/community/telemetry.html
--------------------------------------------------------------------------
Running Aim UI on repo `<Repo#-5734997863388805469 path=/tmp/ray_results/aim_example/.aim read_only=None>`
Open http://127.0.0.1:43800
Press Ctrl+C to exit
^C
启动 Aim UI 后，我们可以在 localhost:43800 打开 Web 界面。
以下部分包含关于 Tune-Aim 集成 API 的更深入信息。
Tune Aim Logger API#
- class ray.tune.logger.aim.AimLoggerCallback(repo: str | None = None, experiment_name: str | None = None, metrics: List[str] | None = None, **aim_run_kwargs)[source]
Aim 日志记录器：以 Aim 格式记录指标。
Aim 是一个开源、自托管的 ML 实验跟踪工具。它擅长跟踪大量（数千个）训练运行，并提供高性能和精心设计的 UI 来比较它们。
来源：aimhubio/aim
- 参数:
repo – Aim repository 目录或 Run 对象将结果记录到的
Repo对象。如果未提供，将在实验目录（trial 目录上一级）中设置一个默认的 repo。experiment – 设置每个 Run 对象的
experiment属性，即与其关联的实验名称。以后可用于查询 runs/sequences。如果未提供，默认将使用RunConfig(name=...)设置的 Tune 实验名称。metrics – 要在 Aim 中跟踪的指标名称列表（Tune 报告的指标中）。如果未指定指标，将记录所有报告的指标。
aim_run_kwargs – 创建每个 trial 的单个
Run对象时将传递的额外参数。有关完整参数列表，请参阅 Aim 文档：https://aimstack.readthedocs.io/en/latest/refs/sdk.html