在Caffe中如何计算ROC和AUC?

3
我已经在Caffe中训练了imagenet。现在我想为我的模型以及Caffe提供的训练模型计算ROC / AUC。我有两个问题:
1)ROC / AUC主要用于二元分类,但我发现在某些情况下人们也将其用于多类。这对于1000个类是否可行?它会有什么影响?因为评论中人们没有给出关于多类问题中ROC / AUC的好答案。
2)如果可能,并且基于ROC / AUC比较两个模型是一个好主意,有人能告诉我如何在Caffe中对这1000个类进行比较吗?我需要重新从头开始训练模型吗,还是只需使用最终训练好的模型即可?
问候
1个回答

0

这个讨论很好地解决了多类别ROC/AUC分析的问题。回答你的问题:

  1. 您可以为每个类别执行多个一对所有分类,从而构建多个ROC曲线。

  2. 计算出1000个AUC值后,您可以得出所有类别的平均AUC,并使用此指标比较模型的优劣。不,您不需要重新训练模型。

此外,请注意,ROC/AUC指标非常特定,主要用于检测/生物识别任务,如语音识别。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接