Python：如何从Optuna LightGBM研究中检索出最佳模型？

Question

我希望在笔记本中使用最佳模型来预测不同的测试批次。

可重现的示例（取自Optuna Github）：

import lightgbm as lgb
import numpy as np
import sklearn.datasets
import sklearn.metrics
from sklearn.model_selection import train_test_split

import optuna


# FYI: Objective functions can take additional arguments
# (https://optuna.readthedocs.io/en/stable/faq.html#objective-func-additional-args).
def objective(trial):
    data, target = sklearn.datasets.load_breast_cancer(return_X_y=True)
    train_x, valid_x, train_y, valid_y = train_test_split(data, target, test_size=0.25)
    dtrain = lgb.Dataset(train_x, label=train_y)
    dvalid = lgb.Dataset(valid_x, label=valid_y)

    param = {
        "objective": "binary",
        "metric": "auc",
        "verbosity": -1,
        "boosting_type": "gbdt",
        "lambda_l1": trial.suggest_loguniform("lambda_l1", 1e-8, 10.0),
        "lambda_l2": trial.suggest_loguniform("lambda_l2", 1e-8, 10.0),
        "num_leaves": trial.suggest_int("num_leaves", 2, 256),
        "feature_fraction": trial.suggest_uniform("feature_fraction", 0.4, 1.0),
        "bagging_fraction": trial.suggest_uniform("bagging_fraction", 0.4, 1.0),
        "bagging_freq": trial.suggest_int("bagging_freq", 1, 7),
        "min_child_samples": trial.suggest_int("min_child_samples", 5, 100),
    }

    # Add a callback for pruning.
    pruning_callback = optuna.integration.LightGBMPruningCallback(trial, "auc")
    gbm = lgb.train(
        param, dtrain, valid_sets=[dvalid], verbose_eval=False, callbacks=[pruning_callback]
    )

    preds = gbm.predict(valid_x)
    pred_labels = np.rint(preds)
    accuracy = sklearn.metrics.accuracy_score(valid_y, pred_labels)
    return accuracy

我理解下面的研究将调整准确性。我想以某种方式检索出研究中最佳的模型（而不仅仅是参数），而不必将其保存为pickle文件，我只想在笔记本的其他地方使用该模型。

if __name__ == "__main__":
    study = optuna.create_study(
        pruner=optuna.pruners.MedianPruner(n_warmup_steps=10), direction="maximize"
    )
    study.optimize(objective, n_trials=100)

    print("Best trial:")
    trial = study.best_trial

    print("  Params: ")
    for key, value in trial.params.items():
        print("    {}: {}".format(key, value))

期望的输出将是

best_model = ~model from above~
new_target_pred = best_model.predict(new_data_test)
metrics.accuracy_score(new_target_test, new__target_pred)

- HarriS

---

不应该保存模型本身，因为这会导致严重的内存泄漏。应该保存参数和种子。 - lovetl2002

Answer 1

@Toshihiko Yanase的回答补充一下，因为我的情况study.best_trial==trial从未成立。即使两个（冻结）试验对象内容相同，情况仍然如此，所以这可能是Optuna中的错误。将条件更改为study.best_trial.number==trial.number对我有帮助。

此外，如果您不喜欢在Python中使用全局变量，可以使用study和trial用户属性。

def objective(trial):
    gmb = ...
    trial.set_user_attr(key="best_booster", value=gbm)

def callback(study, trial):
    if study.best_trial.number == trial.number:
        study.set_user_attr(key="best_booster", value=trial.user_attrs["best_booster"])


if __name__ == "__main__":
    study = optuna.create_study(
        pruner=optuna.pruners.MedianPruner(n_warmup_steps=10), direction="maximize"
    )
    study.optimize(objective, n_trials=100, callbacks=[callback])
    best_model=study.user_attrs["best_booster"]

- avinashpancham

---

我可以确认你的解决方案也适用于xgboost，我通过比较损失指标来验证，在获得最佳模型best_model之后，该模型是通过study.user_attrs ["best_booster"]获得的。感谢你们两个了不起的人。 - Mehmet Burak Sayıcı

不要在多目标研究上工作。运行时错误：无法从多目标研究中检索到单个最佳试验。考虑使用Study.best_trials来检索包含最佳试验的列表。 - Mithril

Answer 2

我认为你可以使用Study.optimize的callback参数来保存最佳模型。在下面的代码示例中，回调函数检查给定的试验是否对应于最佳试验，并将模型保存为全局变量 best_booster。

best_booster = None
gbm = None

def objective(trial):
    global gbm
    # ...

def callback(study, trial):
    global best_booster
    if study.best_trial == trial:
        best_booster = gbm

if __name__ == "__main__":
    study = optuna.create_study(
        pruner=optuna.pruners.MedianPruner(n_warmup_steps=10), direction="maximize"
    )
    study.optimize(objective, n_trials=100, callbacks=[callback])

如果您将目标函数定义为一个类，就可以消除全局变量。我创建了一个笔记本作为代码示例，请查看： https://colab.research.google.com/drive/1ssjXp74bJ8bCAbvXFOC4EIycBto_ONp_?usp=sharing

我希望可以以某种方式检索出最佳模型（不仅限于参数），而不必将其保存为pickle文件

补充信息：如果您能够在boosters中使用pickle，则可以通过遵循此FAQ来简化代码。

- Toshihiko Yanase

Answer 3

我知道这个问题已经有答案了，但是在2020年底发布的optuna-lightgbm集成包lightgbmtuner中，有一种简单的方法可以实现你想要做的事情。

简而言之，您可以按照以下方式保存最佳的增强器。

import optuna.integration.lightgbm as lgb

dtrain = lgb.Dataset(X,Y,categorical_feature = 'auto')

params = {
"objective": "binary",
"metric": "auc",
"verbosity": -1,
"boosting_type": "gbdt",
}

tuner = lgb.LightGBMTuner(
     params, dtrain, verbose_eval=100, early_stopping_rounds=1000, 
  model_dir= 'directory_to_save_boosters'
)

tuner.run()

请注意，主要的事情是指定一个model_dir目录，以在每个迭代中保存模型。通常不需要修剪回调，因为使用贝叶斯方法和专家启发式方法组合进行优化，并且搜索通常在大约60-64次迭代后结束。然后，您可以使用单行代码从上面指定的模型目录中获取最佳模型。

tuner.get_best_booster()

- AviS