ROC曲线交叉验证

Question

3

如何为交叉验证生成ROC曲线？

对于单个测试，我认为应该将SVM的分类得分阈值化以生成ROC曲线。

但我不清楚如何为交叉验证生成它？

- user570593

2个回答

2

关于Backlin的后续：

k折或留一法交叉验证的不同运行结果变化表明了模型的不稳定性，这是宝贵的信息。

当然，您可以汇总结果并生成一个ROC曲线。
但您也可以绘制一组曲线，例如使用R软件包ROCR。
或者计算不同阈值下的中位数和IQR，并构建代表这些变化的带状图。
以下是一个示例：阴影区域是125次8折交叉验证观察到的四分位距。细黑色区域包含特定阈值下观察到的一半特异度-敏感度对，中位数由x标记（忽略+标记）。

- cbeleites unhappy with SX

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Backlin · Accepted Answer

经过一轮完整的交叉验证后，所有观测值都已经被分类了一次（虽然是由不同的模型进行分类），并被赋予了属于感兴趣类别的概率估计值或类似的统计量。这些概率可以像外部测试集上获得的概率一样用来生成ROC曲线。只需从0到1变化分类阈值并计算类别误差率，即可生成所需曲线。

然而，通常您会希望进行多轮交叉验证，因为性能取决于如何划分折叠数据。我不确定如何计算所有轮次的平均ROC曲线。我建议将它们全部绘制出来并计算平均AUC值。