为什么GridSearchCV模型的结果与我手动调整的模型不同？

Question

这是我在这里的第一个问题，希望我做得没错。

我正在处理kaggle上流行的泰坦尼克号数据集，如果您想查看的话，这是教程“一个数据科学框架：实现99％的准确性”。

其中的5.2部分介绍了如何使用网格搜索和调整超参数。在我提出具体问题之前，让我与您分享相关代码;

这是使用GridSearchCV调整模型：

cv_split = model_selection.ShuffleSplit(n_splits = 10, test_size = .3, train_size = .6, random_state = 0)
#cv_split = model_selection.KFold(n_splits=10, shuffle=False, random_state=None)

param_grid = {'criterion': ['gini', 'entropy'],
'splitter': ['best', 'random'], #splitting methodology; two supported strategies - default is best
'max_depth': [2,4,6,8,10,None], #max depth tree can grow; default is none
'min_samples_split': [2,5,10,.03,.05], #minimum subset size BEFORE new split (fraction is % of total); default is 2
'min_samples_leaf': [1,5,10,.03,.05], #minimum subset size AFTER new split split (fraction is % of total); default is 1
'max_features': [None, 'auto'], #max features to consider when performing split; default none or all
'random_state': [0] }

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(), param_grid=param_grid, scoring = 'roc_auc', return_train_score = True ,cv = cv_split)
tune_model.fit(data1[data1_x_bin], data1[Target])`

    tune_model.best_params_

result is: 

    {'criterion': 'gini',
     'max_depth': 4,
     'max_features': None,
     'min_samples_leaf': 5,
     'min_samples_split': 2,
     'random_state': 0,
     'splitter': 'best'}

根据代码，当使用这些内容进行调整时，训练和测试准确性应该是这样的：

print(tune_model.cv_results_['mean_train_score'][tune_model.best_index_], tune_model.cv_results_['mean_test_score'][tune_model.best_index_])

这个的输出结果是：0.8924916598172832 0.8767742588186237

出于好奇，我想使用GridSearchCV得到的参数来创建自己的DecisionTreeClassifier()。

dtree = tree.DecisionTreeClassifier(criterion = 'gini',max_depth = 4,max_features= None, min_samples_leaf= 5, min_samples_split= 2,random_state = 0,  splitter ='best')

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target],return_train_score = True, cv  = cv_split)

相同的超参数，相同的交叉验证数据集，为什么结果不同？

print(results['train_score'].mean(), results['test_score'].mean())

0.8387640449438202 0.8227611940298509

那是tune_model的结果：

0.8924916598172832 0.8767742588186237

区别甚至不小。如果你问我，两个结果应该是相同的。

我不明白有何不同？是什么不同导致结果不同？

我尝试使用k-fold进行交叉验证，而不是使用shufflesplit。

在两种情况下，我都尝试了不同的random_state值，也尝试了random_state = None，

但仍然得到了不同的结果。

有人能解释一下这种差异吗？

编辑：顺便说一句，我还想检查测试样本的结果：

dtree.fit(data1[data1_x_bin],data1[Target])
dtree.score(test1_x_bin,test1_y), tune_model.score(test1_x_bin,test1_y)

输出结果：(0.8295964125560538, 0.9033059266872216)

相同的模型（decisiontreeclassifier），相同的超参数，却得到了非常不同的结果。

（显然它们并不是完全相同的模型，但我无法看出原因和原因所在。）

- Emre Yücel

Answer 1

更新

默认情况下，cross_validate 使用估算器的评分方法作为默认方法来评估性能（您可以通过指定 cross_validate 的 scoring kw 参数来更改）。DecisionTreeClassifier 类的得分方法使用准确性作为评分指标。在 GridSearchCV 中，roc_auc 用作得分指标。在这两种情况下使用相同的得分指标将导致相同的分数。例如，如果将 cross_validate 的得分指标更改为 roc_auc，则您观察到的模型之间的得分差异将消失。

results = model_selection.cross_validate(dtree, data1[data1_x_bin],  data1[Target], scoring = 'roc_auc' ... )

关于分数度量：

选择分数度量决定了如何评估模型的性能。

想象一下，有一个模型需要预测交通灯是否为绿灯（绿灯为1，非绿灯为0）。该模型可能出现两种错误。一种是虚报绿灯（false positive），即实际上不是绿灯却被判断成了绿灯；另一种是漏报绿灯（false negative），即实际上是绿灯却被判断成了非绿灯。在这种情况下，漏报绿灯虽然不美观，但其后果还是可以容忍的（某人必须比必要等待更长时间才能通过交通灯）。相反，虚报绿灯将是灾难性的（因为被判定为绿灯而导致某人闯红灯）。为了评估模型的性能，会选择一种分数度量方式，它将虚报绿灯的权重设置得比漏报绿灯更高（即将其归类为“更严重”的错误）。精确度指标在此处并不适用，因为虚报绿灯和漏报绿灯将同样降低分数。作为一个更合适的分数度量方式，例如，精确率 将虚报绿灯权重设为1，漏报绿灯权重设为0（模型漏报绿灯的数量对精确率没有影响）。有关虚报绿灯、漏报绿灯、精确率、召回率、准确度等内容的详细信息，请参见 此处。F分数的beta参数（另一种分数度量方式）可用于设置虚报绿灯与漏报绿灯之间的权重比例（有关更详细的解释，请参见 此处）。有关 roc_auc 分数的更多信息可以在 此处 找到（它是从混淆矩阵的不同统计数据中计算出来的）。

总之，这意味着同一模型在与一个得分指标相关时可能表现非常好，而在与另一个得分指标相关时可能表现不佳。在您所描述的情况下，由GridSearchCV优化的决策树和您后来实例化的树是相同的模型。两者都产生相同的准确性或相同的roc_auc得分。您用哪个得分指标来比较不同模型在数据集上的性能取决于您认为对模型性能特别重要的标准是什么。如果唯一的标准是正确分类了多少实例，那么准确率可能是一个不错的选择。

---

旧想法（请参见评论）：

您为dtree指定了一个随机状态（dtree = tree.DecisionTreeClassifier(random_state = 0 ...），但在GridSearchCV中使用的决策树没有指定任何随机状态。在那里使用相同的随机状态，然后告诉我是否解决了问题。

tune_model = model_selection.GridSearchCV(tree.DecisionTreeClassifier(random_state=0), ...)

- zwithouta