在进行模型选择的交叉验证时,我发现引用交叉验证分数的“标准差”有很多种方式(这里“分数”指评估指标,例如准确率、AUC、损失等)。
1)一种方法是计算K折交叉验证分数均值的标准差(= K折标准差/sqrt(K))。
2)第二种方法是仅计算K折交叉验证分数的标准差。可以在此处找到示例:http://scikit-learn.org/stable/auto_examples/svm/plot_svm_anova.html 3)另一种我不完全理解的方法。它似乎计算K折交叉验证分数的标准差/sqrt(N),其中N是数据集的大小... 可以在此处找到示例:http://scikit-learn.org/stable/auto_examples/exercises/plot_cv_diabetes.html 个人认为1)是正确的,因为我们更关心样本平均值(即K折验证的平均分数)的标准误差,而不是样本的标准差。是否有人能够解释哪种方法更好?
1)一种方法是计算K折交叉验证分数均值的标准差(= K折标准差/sqrt(K))。
2)第二种方法是仅计算K折交叉验证分数的标准差。可以在此处找到示例:http://scikit-learn.org/stable/auto_examples/svm/plot_svm_anova.html 3)另一种我不完全理解的方法。它似乎计算K折交叉验证分数的标准差/sqrt(N),其中N是数据集的大小... 可以在此处找到示例:http://scikit-learn.org/stable/auto_examples/exercises/plot_cv_diabetes.html 个人认为1)是正确的,因为我们更关心样本平均值(即K折验证的平均分数)的标准误差,而不是样本的标准差。是否有人能够解释哪种方法更好?