分布式 Scikit-learn / Joblib

Ray 通过使用 Ray Actors 而非本地进程来实现 joblib 的 Ray 后端，从而支持运行分布式 scikit-learn 程序。这使得能够轻松地将使用 scikit-learn 的现有应用程序从单节点扩展到集群。

注意

此 API 是新的，并且可能在未来的 Ray 版本中进行修订。如果您遇到任何错误，请在 GitHub 上提交 issue。

快速入门

要开始使用，请先 安装 Ray，然后使用 from ray.util.joblib import register_ray 并运行 register_ray()。这将 Ray 注册为 scikit-learn 使用的 joblib 后端。然后，在 with joblib.parallel_backend('ray') 中运行您原始的 scikit-learn 代码。这将启动一个本地 Ray 集群。请参阅下面的 集群上运行 部分，了解如何在多节点 Ray 集群上运行的说明。

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
digits = load_digits()
param_space = {
    'C': np.logspace(-6, 6, 30),
    'gamma': np.logspace(-8, 8, 30),
    'tol': np.logspace(-4, -1, 30),
    'class_weight': [None, 'balanced'],
}
model = SVC(kernel='rbf')
search = RandomizedSearchCV(model, param_space, cv=5, n_iter=300, verbose=10)

import joblib
from ray.util.joblib import register_ray
register_ray()
with joblib.parallel_backend('ray'):
    search.fit(digits.data, digits.target)

您还可以在 parallel_backend 中使用 ray_remote_args 参数来 配置构成池的 Ray Actors。这可以用于例如 为 Actors 分配资源，例如 GPU。

# Allows to use GPU-enabled estimators, such as cuML
with joblib.parallel_backend('ray', ray_remote_args=dict(num_gpus=1)):
    search.fit(digits.data, digits.target)

集群上运行

本节假设您有一个正在运行的 Ray 集群。要启动 Ray 集群，请参阅 集群设置 说明。

要将 scikit-learn 连接到正在运行的 Ray 集群，您需要通过设置 RAY_ADDRESS 环境变量来指定主节点的地址。

您还可以通过在调用 with joblib.parallel_backend('ray') 之前调用 ray.init() （并可使用其支持的任何配置选项）来手动启动 Ray。

警告

如果您未设置 RAY_ADDRESS 环境变量，并且未在 ray.init(address=<address>) 中提供 address，则 scikit-learn 将在单个节点上运行！