交叉验证分数的标准差是多少？

Question

在进行模型选择的交叉验证时，我发现引用交叉验证分数的“标准差”有很多种方式（这里“分数”指评估指标，例如准确率、AUC、损失等）。

1）一种方法是计算K折交叉验证分数均值的标准差（= K折标准差/sqrt(K)）。

2）第二种方法是仅计算K折交叉验证分数的标准差。可以在此处找到示例：http://scikit-learn.org/stable/auto_examples/svm/plot_svm_anova.html 3）另一种我不完全理解的方法。它似乎计算K折交叉验证分数的标准差/sqrt(N)，其中N是数据集的大小... 可以在此处找到示例：http://scikit-learn.org/stable/auto_examples/exercises/plot_cv_diabetes.html 个人认为1）是正确的，因为我们更关心样本平均值（即K折验证的平均分数）的标准误差，而不是样本的标准差。是否有人能够解释哪种方法更好？

- xiaoxiao87

---

也许你在cross-validated上得到答案的机会更大。个人而言，我也会选择第一种方法，但我无法详细说明为什么它应该优于其他方法。 - lrnzcig

为什么在第一个选项中要除以sqrt(k)？ - Talha Anwar

Answer 1

这些情况中没有太多的矛盾。

1. K折交叉验证标准差/ sqrt(K)是得分的标准误差。
2. 在提到的链接中，他们使用得分的标准差而不是标准误差。
3. 在此链接中，他们像1）中那样计算标准误差，但是他们使用变量名“n_folds”而不是“k”。N（n_folds）在这种情况下不是数据集的大小。

标准差是得分变化的度量（如果计算一个K折中的单个分数）。 标准误差是K折平均分数变化的度量。

在寻找得分的“真实”值时，请使用以下方法：

得分的真实值为

• 大约有68％的概率在（平均值-标准误差）到（平均值+标准误差）范围内
• 大约有95％的概率在（平均值-2 *标准误差）到（平均值+ 2 *标准误差）范围内

（这些范围称为置信区间。）

- EKal-aa