多类多标签分类的混淆矩阵构建

Question

我希望能够建立一个混淆矩阵来计算多类别多标签分类的精确度、召回率和F1值。一种想法是从训练集和测试集中的所有组合中构建它，例如：

       A1 A2A3 A1A3
A1     x    x   x
A2A3   x    x   x 
A1A3   x    x   x

另一个想法是将其构建为简单标签分类的方式，但使用矩阵值的双倍，例如：

       A1     A2     A3
A1   double double double
A2   double double double
A3   double double double

在这种情况下，问题是如何计算这些值的意义？有人有建立这样的矩阵的经验吗？哪个版本更合理？如果有其他建立混淆矩阵的方法，希望能听到您的建议。问候，Andriy。

- Andriy Nadolskyy

Answer 1

如果有人感兴趣，这是我的工作方式：

我使用了第一个想法，并根据Gj. Madjarov等人的描述计算标签基础度量，该描述来自于《Pattern Recognition（2012）》对多标签学习方法的广泛实验比较。

相应的代码可以在dkpro-tc（DKPro文本分类框架）的评估模块中找到。

- Andriy Nadolskyy