使用 Aim 进行 Tune#
Aim 是一个易于使用且功能强大的开源实验跟踪器。Aim 会记录您的训练运行，提供一个设计精良的 UI 来比较它们，并提供一个 API 来以编程方式查询它们。
Ray Tune 目前提供与 Aim 的内置集成。 AimLoggerCallback 会自动使用 Aim API 记录报告给 Tune 的指标。
将 Tune 超参数配置和结果记录到 Aim#
以下示例演示了如何在 Tune 实验中使用 AimLoggerCallback。首先安装并导入必要的模块
%pip install aim
%pip install ray[tune]
import numpy as np
import ray
from ray import tune
from ray.tune.logger.aim import AimLoggerCallback
接下来，定义一个简单的 train_function，它是一个 Trainable，用于向 Tune 报告损失。目标函数本身对于此示例并不重要，因为我们的主要关注点是与 Aim 的集成。
def train_function(config):
for _ in range(50):
loss = config["mean"] + config["sd"] * np.random.randn()
tune.report({"loss": loss})
这是一个示例，展示了如何使用 AimLoggerCallback 进行简单的网格搜索 Tune 实验。Logger 会将 9 次网格搜索试验中的每一次都记录为独立的 Aim 运行。
tuner = tune.Tuner(
train_function,
run_config=tune.RunConfig(
callbacks=[AimLoggerCallback()],
storage_path="/tmp/ray_results",
name="aim_example",
),
param_space={
"mean": tune.grid_search([1, 2, 3, 4, 5, 6, 7, 8, 9]),
"sd": tune.uniform(0.1, 0.9),
},
tune_config=tune.TuneConfig(
metric="loss",
mode="min",
),
)
tuner.fit()
2023-02-07 00:04:11,228 INFO worker.py:1544 -- Started a local Ray instance. View the dashboard at http://127.0.0.1:8265
Tune 状态
| 当前时间 | 2023-02-07 00:04:19 |
| 运行中 | 00:00:06.86 |
| 内存 | 32.8/64.0 GiB |
系统信息
正在使用 FIFO 调度算法。请求的资源：0/10 CPU，0/0 GPU，0.0/26.93 GiB 堆，0.0/2.0 GiB 对象
试验状态
| 试验名称 | 状态 | 位置 | 平均值 | 标准差 | 迭代 | 总时间 (秒) | 损失 |
|---|---|---|---|---|---|---|---|
| train_function_01a3b_00000 | 已终止 | 127.0.0.1:10277 | 1 | 0.385428 | 50 | 4.48031 | 1.01928 |
| train_function_01a3b_00001 | 已终止 | 127.0.0.1:10296 | 2 | 0.819716 | 50 | 2.97272 | 3.01491 |
| train_function_01a3b_00002 | 已终止 | 127.0.0.1:10301 | 3 | 0.769197 | 50 | 2.39572 | 3.87155 |
| train_function_01a3b_00003 | 已终止 | 127.0.0.1:10307 | 4 | 0.29466 | 50 | 2.41568 | 4.1507 |
| train_function_01a3b_00004 | 已终止 | 127.0.0.1:10313 | 5 | 0.152208 | 50 | 1.68383 | 5.10225 |
| train_function_01a3b_00005 | 已终止 | 127.0.0.1:10321 | 6 | 0.879814 | 50 | 1.54015 | 6.20238 |
| train_function_01a3b_00006 | 已终止 | 127.0.0.1:10329 | 7 | 0.487499 | 50 | 1.44706 | 7.79551 |
| train_function_01a3b_00007 | 已终止 | 127.0.0.1:10333 | 8 | 0.639783 | 50 | 1.4261 | 7.94189 |
| train_function_01a3b_00008 | 已终止 | 127.0.0.1:10341 | 9 | 0.12285 | 50 | 1.07701 | 8.82304 |
试验进度
| 试验名称 | date | done | episodes_total | experiment_id | experiment_tag | hostname | iterations_since_restore | 损失 | node_ip | 进程 ID | time_since_restore | time_this_iter_s | time_total_s | 时间戳 | timesteps_since_restore | timesteps_total | training_iteration | trial_id | warmup_time |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| train_function_01a3b_00000 | 2023-02-07_00-04-18 | True | c8447fdceea6436c9edd6f030a5b1d82 | 0_平均值=1,标准差=0.3854 | Justins-MacBook-Pro-16 | 50 | 1.01928 | 127.0.0.1 | 10277 | 4.48031 | 0.013865 | 4.48031 | 1675757058 | 0 | 50 | 01a3b_00000 | 0.00264072 | ||
| train_function_01a3b_00001 | 2023-02-07_00-04-18 | True | 7dd6d3ee24244a0885b354c285064728 | 1_平均值=2,标准差=0.8197 | Justins-MacBook-Pro-16 | 50 | 3.01491 | 127.0.0.1 | 10296 | 2.97272 | 0.0584073 | 2.97272 | 1675757058 | 0 | 50 | 01a3b_00001 | 0.0316792 | ||
| train_function_01a3b_00002 | 2023-02-07_00-04-18 | True | e3da49ebad034c4b8fdaf0aa87927b1a | 2_平均值=3,标准差=0.7692 | Justins-MacBook-Pro-16 | 50 | 3.87155 | 127.0.0.1 | 10301 | 2.39572 | 0.0695491 | 2.39572 | 1675757058 | 0 | 50 | 01a3b_00002 | 0.0315411 | ||
| train_function_01a3b_00003 | 2023-02-07_00-04-18 | True | 95c60c4f67c4481ebccff25b0a49e75d | 3_平均值=4,标准差=0.2947 | Justins-MacBook-Pro-16 | 50 | 4.1507 | 127.0.0.1 | 10307 | 2.41568 | 0.0175381 | 2.41568 | 1675757058 | 0 | 50 | 01a3b_00003 | 0.0310779 | ||
| train_function_01a3b_00004 | 2023-02-07_00-04-18 | True | a216253cb41e47caa229e65488deb019 | 4_平均值=5,标准差=0.1522 | Justins-MacBook-Pro-16 | 50 | 5.10225 | 127.0.0.1 | 10313 | 1.68383 | 0.064441 | 1.68383 | 1675757058 | 0 | 50 | 01a3b_00004 | 0.00450182 | ||
| train_function_01a3b_00005 | 2023-02-07_00-04-18 | True | 23834104277f476cb99d9c696281fceb | 5_平均值=6,标准差=0.8798 | Justins-MacBook-Pro-16 | 50 | 6.20238 | 127.0.0.1 | 10321 | 1.54015 | 0.00910306 | 1.54015 | 1675757058 | 0 | 50 | 01a3b_00005 | 0.0480251 | ||
| train_function_01a3b_00006 | 2023-02-07_00-04-18 | True | 15f650121df747c3bd2720481d47b265 | 6_平均值=7,标准差=0.4875 | Justins-MacBook-Pro-16 | 50 | 7.79551 | 127.0.0.1 | 10329 | 1.44706 | 0.00600386 | 1.44706 | 1675757058 | 0 | 50 | 01a3b_00006 | 0.00202489 | ||
| train_function_01a3b_00007 | 2023-02-07_00-04-19 | True | 78b1673cf2034ed99135b80a0cb31e0e | 7_平均值=8,标准差=0.6398 | Justins-MacBook-Pro-16 | 50 | 7.94189 | 127.0.0.1 | 10333 | 1.4261 | 0.00225306 | 1.4261 | 1675757059 | 0 | 50 | 01a3b_00007 | 0.00209713 | ||
| train_function_01a3b_00008 | 2023-02-07_00-04-19 | True | c7f5d86154cb46b6aa27bef523edcd6f | 8_平均值=9,标准差=0.1228 | Justins-MacBook-Pro-16 | 50 | 8.82304 | 127.0.0.1 | 10341 | 1.07701 | 0.00291467 | 1.07701 | 1675757059 | 0 | 50 | 01a3b_00008 | 0.00240111 |
2023-02-07 00:04:19,366 INFO tune.py:798 -- Total run time: 7.38 seconds (6.85 seconds for the tuning loop).
<ray.tune.result_grid.ResultGrid at 0x137de07c0>
脚本执行时，将进行网格搜索并将结果保存到 Aim 仓库，存储在默认位置 – 实验日志目录（在本例中，位于 /tmp/ray_results/aim_example）。
Aim 的更多配置选项#
在上面的示例中，我们使用了 AimLoggerCallback 的默认配置。有几个选项可以作为回调函数的参数进行配置。例如，设置 AimLoggerCallback(repo="/path/to/repo") 将把结果记录到该文件路径的 Aim 仓库，这在您有一个存储多个 Tune 实验结果的中心位置时可能很有用。也可以使用相对于启动 Tune 脚本的工作目录的相对路径。默认情况下，仓库将设置为实验日志目录。有关更多配置，请参阅 API 参考。
启动 Aim UI#
现在我们已经将结果记录到了 Aim 仓库，我们可以在 Aim 的 Web UI 中查看它。为此，我们首先找到 Aim 仓库所在的位置，然后使用 Aim CLI 启动 Web 界面。
# Uncomment the following line to launch the Aim UI!
#!aim up --repo=/tmp/ray_results/aim_example
--------------------------------------------------------------------------
Aim UI collects anonymous usage analytics.
Read how to opt-out here:
https://docs.aimstack.cn/en/latest/community/telemetry.html
--------------------------------------------------------------------------
Running Aim UI on repo `<Repo#-5734997863388805469 path=/tmp/ray_results/aim_example/.aim read_only=None>`
Open http://127.0.0.1:43800
Press Ctrl+C to exit
^C
启动 Aim UI 后，我们可以在 localhost:43800 打开 Web 界面。
接下来的部分包含有关 Tune-Aim 集成 API 的更深入信息。
Tune Aim Logger API#
- class ray.tune.logger.aim.AimLoggerCallback(repo: str | None = None, experiment_name: str | None = None, metrics: List[str] | None = None, **aim_run_kwargs)[source]
Aim Logger: 以 Aim 格式记录指标。
Aim 是一个开源的、自托管的 ML 实验跟踪工具。它擅长跟踪大量的（数千个）训练运行，并允许您使用高效且设计精良的 UI 来比较它们。
来源: aimhubio/aim
- 参数:
repo – Aim 仓库目录或 Run 对象将记录结果到的
Repo对象。如果未提供，将在实验目录（试验目录的上一级）中设置一个默认仓库。experiment – 设置每个 Run 对象的
experiment属性，这是与之关联的实验名称。以后可用于查询运行/序列。如果未提供，默认值将是RunConfig(name=...)设置的 Tune 实验名称。metrics – 要在 Aim 中跟踪的指标名称列表（来自 Tune 报告的指标）。如果未指定任何指标，则记录所有报告的内容。
aim_run_kwargs – 在为每个试验创建单个
Run对象时传递的其他参数。有关参数的完整列表，请参阅 Aim 文档：https://docs.aimstack.cn/en/latest/refs/sdk.html