Ray Tune: 超参数调优

Tune 是一个用于任意规模实验执行和超参数调优的 Python 库。您可以通过运行最先进的算法（如Population Based Training (PBT) 和 HyperBand/ASHA）来调优您最喜欢的机器学习框架（PyTorch、XGBoost、TensorFlow and Keras，以及 更多）。Tune 还集成了广泛的额外超参数优化工具，包括 Ax、BayesOpt、BOHB、Nevergrad 和 Optuna。

点击以下选项卡可查看各种机器学习框架的代码示例:

快速入门

要运行此示例，请安装以下依赖： pip install "ray[tune]"。

在此快速入门示例中，您将最小化一个形式为 f(x) = a**2 + b 的简单函数，这是我们的目标函数。a 越接近零，b 越小，f(x) 的总值就越小。我们将为 a 和 b 定义一个所谓的搜索空间，然后让 Ray Tune 探索该空间以寻找好的值。

from ray import tune


def objective(config):  # ①
    score = config["a"] ** 2 + config["b"]
    return {"score": score}


search_space = {  # ②
    "a": tune.grid_search([0.001, 0.01, 0.1, 1.0]),
    "b": tune.choice([1, 2, 3]),
}

tuner = tune.Tuner(objective, param_space=search_space)  # ③

results = tuner.fit()
print(results.get_best_result(metric="score", mode="min").config)

① 定义一个目标函数。

② 定义一个搜索空间。

③ 启动一个 Tune 运行并打印最佳结果。

Keras+Hyperopt

要使用 Hyperopt 调优您的 Keras 模型，您可以将模型包装在一个目标函数中，该函数可以访问其config以选择超参数。在下面的示例中，我们仅调优模型第一层的activation参数，但您可以调优模型中任何您想要的参数。定义搜索空间后，您只需初始化HyperOptSearch对象并将其传递给run。告诉 Ray Tune 您要优化哪个指标以及您想最大化还是最小化它很重要。

from ray import tune
from ray.tune.search.hyperopt import HyperOptSearch
import keras


def objective(config):  # ①
    model = keras.models.Sequential()
    model.add(keras.layers.Dense(784, activation=config["activation"]))
    model.add(keras.layers.Dense(10, activation="softmax"))

    model.compile(loss="binary_crossentropy", optimizer="adam", metrics=["accuracy"])
    # model.fit(...)
    # loss, accuracy = model.evaluate(...)
    return {"accuracy": accuracy}


search_space = {"activation": tune.choice(["relu", "tanh"])}  # ②
algo = HyperOptSearch()

tuner = tune.Tuner(  # ③
    objective,
    tune_config=tune.TuneConfig(
        metric="accuracy",
        mode="max",
        search_alg=algo,
    ),
    param_space=search_space,
)
results = tuner.fit()

① 将 Keras 模型包装在一个目标函数中。

② 定义一个搜索空间并初始化搜索算法。

③ 启动一个最大化准确率的 Tune 运行。

PyTorch+Optuna

要使用 Optuna 调优您的 PyTorch 模型，您可以将模型包装在一个目标函数中，该函数可以访问其config以选择超参数。在下面的示例中，我们仅调优模型优化器的momentum和学习率（lr）参数，但您可以调优任何其他您想要的模型参数。定义搜索空间后，您只需初始化OptunaSearch对象并将其传递给run。告诉 Ray Tune 您要优化哪个指标以及您想最大化还是最小化它很重要。我们在此训练运行中仅停止调优5次迭代，但您可以轻松定义其他停止规则。

import torch
from ray import tune
from ray.tune.search.optuna import OptunaSearch


def objective(config):  # ①
    train_loader, test_loader = load_data()  # Load some data
    model = ConvNet().to("cpu")  # Create a PyTorch conv net
    optimizer = torch.optim.SGD(  # Tune the optimizer
        model.parameters(), lr=config["lr"], momentum=config["momentum"]
    )

    while True:
        train_epoch(model, optimizer, train_loader)  # Train the model
        acc = test(model, test_loader)  # Compute test accuracy
        tune.report({"mean_accuracy": acc})  # Report to Tune


search_space = {"lr": tune.loguniform(1e-4, 1e-2), "momentum": tune.uniform(0.1, 0.9)}
algo = OptunaSearch()  # ②

tuner = tune.Tuner(  # ③
    objective,
    tune_config=tune.TuneConfig(
        metric="mean_accuracy",
        mode="max",
        search_alg=algo,
    ),
    run_config=tune.RunConfig(
        stop={"training_iteration": 5},
    ),
    param_space=search_space,
)
results = tuner.fit()
print("Best config is:", results.get_best_result().config)

① 将 PyTorch 模型包装在一个目标函数中。

② 定义一个搜索空间并初始化搜索算法。

③ 启动一个最大化平均准确率并在 5 次迭代后停止的 Tune 运行。

使用 Tune，您还可以用不到 10 行代码启动一个多节点分布式超参数搜索。并且您可以在相同的基础设施上，通过Ray Serve将您的模型从训练转移到服务。

入门

在我们的入门教程中，您将学习如何有效地使用 Tune 来调优 PyTorch 模型。

Tune 入门

关键概念

了解 Ray Tune 背后的关键概念。了解 tune 运行、搜索算法、调度器和其他功能。

Tune 的关键概念

用户指南

我们的指南教您 Tune 的关键功能，如分布式训练或提前停止。

如何使用 Tune

示例

在我们的示例中，您可以找到使用 scikit-learn、Keras、TensorFlow、PyTorch 和 mlflow 等框架以及最先进的搜索算法集成的实用教程。

Ray Tune 示例

Ray Tune FAQ

在我们的详细 FAQ 中查找常见问题的答案。

Ray Tune FAQ

Ray Tune API

获取关于 Ray Tune API 的更深入信息，包括搜索空间、算法和训练配置的所有内容。

阅读 API 参考

为什么选择 Tune？

市面上有许多其他的超参数优化库。如果您是 Tune 的新手，您可能会想：“Tune 有什么不同？”

最先进的优化算法

作为用户，您可能正在研究超参数优化，因为您希望快速提高模型的性能。

Tune 使您能够利用各种最先进的优化算法，通过提前终止不良运行、选择更好的参数进行评估，甚至在训练期间更改超参数以优化调度，从而降低调优成本。

一流的开发者生产力

许多超参数优化框架面临的一个关键问题是需要重构代码以适应框架。使用 Tune，您只需添加几段代码即可优化您的模型。

此外，Tune 消除了您代码训练工作流中的样板代码，支持多种实验结果存储选项（NFS、云存储），并将结果记录到 MLflow 和 TensorBoard 等工具，同时还具有高度可定制性。

内置的多 GPU 和分布式训练

超参数调优已知非常耗时，因此通常需要并行化此过程。大多数其他调优框架要求您实现自己的多进程框架或构建自己的分布式系统来加速超参数调优。

但是，Tune 允许您透明地跨多个 GPU 和多个节点并行化。Tune 甚至具有无缝的容错和云支持，让您能够将超参数搜索扩展 100 倍，同时通过使用廉价的可抢占实例将成本降低高达 10 倍。

从其他超参数优化工具迁移过来？

您可能已经在使用了现有的超参数调优工具，例如 HyperOpt 或 Bayesian Optimization。

在这种情况下，Tune 实际上允许您增强现有的工作流。Tune 的搜索算法与各种流行的超参数调优库集成（请参阅示例），并允许您无缝扩展优化过程，而不会牺牲性能。

使用 Tune 的项目

以下是一些利用 Tune 的流行开源存储库和研究项目。欢迎随时提交一个 pull-request 来添加（或请求删除！）已列出的项目。

• Softlearning：Softlearning 是一个强化学习框架，用于在连续域中训练最大熵策略。包括 Soft Actor-Critic 算法的官方实现。

• Flambe：一个加速研究及其产品化路径的 ML 框架。请参阅 flambe.ai。

• Population Based Augmentation：Population Based Augmentation (PBA) 是一种算法，可以快速有效地为神经网络训练学习数据增强函数。PBA 以一千倍的计算量匹配 CIFAR 上的最先进结果。

• Fast AutoAugment by Kakao：Fast AutoAugment（NeurIPS 2019 论文）使用基于密度匹配的更有效的搜索策略来学习增强策略。

• Allentune：来自 AllenAI 的 AllenNLP 的超参数搜索。

• machinable：一个用于机器学习研究的模块化配置系统。请参阅 machinable.org。

• NeuroCard：NeuroCard（VLDB 2021 论文）是一种用于多表连接查询的神经网络基数估计器。它使用最先进的深度密度模型来学习关系数据库表之间的相关性。

了解更多关于 Ray Tune 的信息

您可以在下面找到有关 Ray Tune 的博客文章和讲座

• [博客] Tune：一个用于任意规模快速超参数调优的 Python 库

• [博客] 使用 Ray Tune 进行最先进的超参数调优

• [幻灯片] 在 RISECamp 2019 上的演讲

• [视频] 在 RISECamp 2018 上的演讲

• [视频] 现代超参数优化指南（PyData LA 2019） (幻灯片)

引用 Tune

如果 Tune 对您的学术研究有所帮助，我们鼓励您引用我们的论文。以下是一个 bibtex 示例

@article{liaw2018tune,
    title={Tune: A Research Platform for Distributed Model Selection and Training},
    author={Liaw, Richard and Liang, Eric and Nishihara, Robert
            and Moritz, Philipp and Gonzalez, Joseph E and Stoica, Ion},
    journal={arXiv preprint arXiv:1807.05118},
    year={2018}
}