我正在使用R中的h2o包（版本3.6.0），并构建了一个网格搜索模型。现在，我正在尝试访问在验证集上最小化MSE的模型。在Python的sklearn中，当使用RandomizedSearchCV时，这很容易实现：
## Pseudo code:
grid = RandomizedSearchCV(model, params, n_iter = 5)
grid.fit(X)
best = grid.best_estimator_
很遗憾，在h2o中这并不是那么容易的事情。以下是一个可以复现的示例：
library(h2o)
## assume you got h2o initialized...
X <- as.h2o(iris[1:100,]) # Note: only using top two classes for example
grid <- h2o.grid(
algorithm = 'gbm',
x = names(X[,1:4]),
y = 'Species',
training_frame = X,
hyper_params = list(
distribution = 'bernoulli',
ntrees = c(25,50)
)
)
查看网格可以打印出大量信息，其中包括以下部分：
> grid
ntrees distribution status_ok model_ids
50 bernoulli OK Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_16_model_1
25 bernoulli OK Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_16_model_0
通过一些挖掘，你可以访问每个单独的模型并查看所有可能的指标：
> h2o.getModel(grid@model_ids[[1]])
H2OBinomialModel: gbm
Model ID: Grid_GBM_file1742e107fe5ba_csv_10.hex_11_model_R_1456492736353_18_model_1
Model Summary:
number_of_trees model_size_in_bytes min_depth max_depth mean_depth min_leaves max_leaves mean_leaves
1 50 4387 1 1 1.00000 2 2 2.00000
H2OBinomialMetrics: gbm
** Reported on training data. **
MSE: 1.056927e-05
R^2: 0.9999577
LogLoss: 0.003256338
AUC: 1
Gini: 1
Confusion Matrix for F1-optimal threshold:
setosa versicolor Error Rate
setosa 50 0 0.000000 =0/50
versicolor 0 50 0.000000 =0/50
Totals 50 50 0.000000 =0/100
Maximum Metrics: Maximum metrics at their respective thresholds
metric threshold value idx
1 max f1 0.996749 1.000000 0
2 max f2 0.996749 1.000000 0
3 max f0point5 0.996749 1.000000 0
4 max accuracy 0.996749 1.000000 0
5 max precision 0.996749 1.000000 0
6 max absolute_MCC 0.996749 1.000000 0
7 max min_per_class_accuracy 0.996749 1.000000 0
经过大量的挖掘，你终于可以得到这个：
> h2o.getModel(grid@model_ids[[1]])@model$training_metrics@metrics$MSE
[1] 1.056927e-05
这似乎是很多复杂的工作，只是为了得到一个应该作为模型选择顶层指标的度量。在我的情况下，我有一个包含数百个模型的网格，而我目前的临时解决方案似乎不太符合R的风格。
model_select_ <- function(grid) {
model_ids <- grid@model_ids
min = Inf
best_model = NULL
for(model_id in model_ids) {
model <- h2o.getModel(model_id)
mse <- model@model$training_metrics@metrics$MSE
if(mse < min) {
min <- mse
best_model <- model
}
}
best_model
}
这似乎对于机器学习实践如此核心的事情来说有些过度，而且让我感到奇怪的是，h2o没有一种更加“干净”的方法来提取最佳模型，或者至少是模型指标。
我是否遗漏了什么？难道没有选择最佳模型的“开箱即用”方法吗？
validation_frame和h2o.grid的观察和问题，并希望尽快解决。您可以在这里跟踪进展：https://0xdata.atlassian.net/browse/PUBDEV-4035 - Erin LeDell