如何计算多标签分类的 F1 分数？

Question

如何计算多标签分类的 F1 分数？

scikit-learnmetricsmultilabel-classificationprecision-recall

9

我尝试计算f1_score，但是当我使用sklearn的f1_score方法时，对于某些情况我会收到一些警告。

我有一个多标签5类问题需要进行预测。

import numpy as np
from sklearn.metrics import f1_score

y_true = np.zeros((1,5))
y_true[0,0] = 1 # => label = [[1, 0, 0, 0, 0]]

y_pred = np.zeros((1,5))
y_pred[:] = 1 # => prediction = [[1, 1, 1, 1, 1]]

result_1 = f1_score(y_true=y_true, y_pred=y_pred, labels=None, average="weighted")

print(result_1) # prints 1.0

result_2 = f1_score(y_true=y_ture, y_pred=y_pred, labels=None, average="weighted")

print(result_2) # prints: (1.0, 1.0, 1.0, None) for precision/recall/fbeta_score/support

当我使用average="samples"而不是"weighted"时，我得到(0.1, 1.0, 0.1818..., None)。这个"weighted"选项对于多标签问题无用吗？还是我该如何正确使用f1_score方法？

当我使用average="weighted"时，也会收到警告：

"UndefinedMetricWarning: Recall and F-score are ill-defined and being set to 0.0 in labels with no true samples."

- KyleReemoN-

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- E.Z · Accepted Answer

如果稍微增加一些数据，它就能起作用：

y_true = np.array([[1,0,0,0], [1,1,0,0], [1,1,1,1]])
y_pred = np.array([[1,0,0,0], [1,1,1,0], [1,1,1,1]])

recall_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 1.0
precision_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 0.9285714285714286

f1_score(y_true=y_true, y_pred=y_pred, average='weighted')
>>> 0.95238095238095244

数据表明我们没有错过任何真正的阳性，并且没有预测出任何假阴性 (recall_score 等于1)。然而，在第二个观测中，我们预测了一个假阳性，导致 precision_score 等于 ~0.93。

由于参数 weighted 下 precision_score 和 recall_score 都不为零，因此存在 f1_score。我认为你的案例由于示例中缺乏信息是无效的。