我正在使用R中的rpart
分类器。问题是 - 我想要在测试数据上测试已训练好的分类器。这很简单 - 我可以使用predict.rpart
函数。
但我还想计算精度、召回率和F1分数。
我的问题是 - 我是否需要自己编写这些函数,还是R或任何CRAN库中有这样的函数?
我正在使用R中的rpart
分类器。问题是 - 我想要在测试数据上测试已训练好的分类器。这很简单 - 我可以使用predict.rpart
函数。
但我还想计算精度、召回率和F1分数。
我的问题是 - 我是否需要自己编写这些函数,还是R或任何CRAN库中有这样的函数?
使用 caret包:
library(caret)
y <- ... # factor of positive / negative cases
predictions <- ... # factor of predictions
precision <- posPredValue(predictions, y, positive="1")
recall <- sensitivity(predictions, y, positive="1")
F1 <- (2 * precision * recall) / (precision + recall)
一个适用于二分类和多分类的通用函数,不使用任何包,如下所示:
f1_score <- function(predicted, expected, positive.class="1") {
predicted <- factor(as.character(predicted), levels=unique(as.character(expected)))
expected <- as.factor(expected)
cm = as.matrix(table(expected, predicted))
precision <- diag(cm) / colSums(cm)
recall <- diag(cm) / rowSums(cm)
f1 <- ifelse(precision + recall == 0, 0, 2 * precision * recall / (precision + recall))
#Assuming that F1 is zero when it's not possible compute it
f1[is.na(f1)] <- 0
#Binary F1 or Multi-class macro-averaged F1
ifelse(nlevels(expected) == 2, f1[positive.class], mean(f1))
}
函数的一些注释:
positive.class
仅用于二元F1predicted
和expected
具有不同的级别,则predicted
将接收expected
级别ROCR库可以计算这些指标以及更多内容(另请参见http://rocr.bioinf.mpi-sb.mpg.de):
library (ROCR);
...
y <- ... # logical array of positive / negative cases
predictions <- ... # array of predictions
pred <- prediction(predictions, y);
# Recall-Precision curve
RP.perf <- performance(pred, "prec", "rec");
plot (RP.perf);
# ROC curve
ROC.perf <- performance(pred, "tpr", "fpr");
plot (ROC.perf);
# ROC area under the curve
auc.tmp <- performance(pred,"auc");
auc <- as.numeric(auc.tmp@y.values)
...
performance(pred,"f")
返回一个 F1 分数向量。 - smciPerformance
使用从每个案例的分数(predictions
)和标签(y
)构建的prediction
对象。没有其他数字(如置信度等)。 - ItamarROCR
期望预测结果是置信度值,以便可以调整截断阈值,从而计算ROC曲线。但是,如果由于分类器的性质而没有置信度值,则输出结果会非常混乱。可能可以提取原始F1分数,但不清楚如何实现。 - Migwell我来更新一下,因为我现在遇到了这个线程,caret
包中的confusionMatrix
函数可以自动计算所有这些内容。
cm <- confusionMatrix(prediction, reference = test_set$label)
# extract F1 score for all classes
cm[["byClass"]][ , "F1"] #for multiclass classification problems
您可以将以下任何内容替换为“F1”以提取相关值: "敏感性"、"特异性"、"阳性预测值"、"阴性预测值"、"精确度"、"召回率"、"F1"、"流行率"、"检测率"、"检测流行率"、"平衡准确度"。我认为当您只进行二元分类问题时,它的表现略有不同,但在这两种情况下,当您查看混淆矩阵对象下的$ byClass时,所有这些值都会为您计算出来。caret 包中的 confusionMatrix() 函数可与适当的可选字段 "Positive" 一起使用,指定应将哪个因子视为正因子。
confusionMatrix(predicted, Funded, mode = "prec_recall", positive="1")
这段代码还会提供其他数值,如F统计量、准确度等。
我注意到有关二元分类需要F1得分的评论。我认为通常确实需要。但是,一段时间以前,我写了这个代码,其中我对几个用数字表示的组进行了分类。这可能对您有用...
calcF1Scores=function(act,prd){
#treats the vectors like classes
#act and prd must be whole numbers
df=data.frame(act=act,prd=prd);
scores=list();
for(i in seq(min(act),max(act))){
tp=nrow(df[df$prd==i & df$act==i,]);
fp=nrow(df[df$prd==i & df$act!=i,]);
fn=nrow(df[df$prd!=i & df$act==i,]);
f1=(2*tp)/(2*tp+fp+fn)
scores[[i]]=f1;
}
print(scores)
return(scores);
}
print(mean(unlist(calcF1Scores(c(1,1,3,4,5),c(1,2,3,4,5)))))
print(mean(unlist(calcF1Scores(c(1,2,3,4,5),c(1,2,3,4,5)))))
result <- confusionMatrix(Prediction, Lable)
# View confusion matrix overall
result
# F1 value
result$byClass[7]
caret
包提供的confusionMatrix()
。输出包括,除其他外,灵敏度(也称为召回率)和Pos Pred Value(也称为精确度)。然后可以轻松地计算F1,如上所述,即:F1 <-(2 * precision * recall) / (precision + recall)
。使用库(caret)
结果 <- confusionMatrix(预测, 标签)
#这显示了所有必要的度量,包括精确率、召回率和F1
结果$byClass