如何计算多类交叉验证的平均ROC？

Question

我最近在使用sklearn进行项目开发时遇到了一些困难。我想要构建一个分类器，将我的数据分成六组。总样本量为88，然后我将数据分为训练集（66）和测试集（22）。 我按照sklearn文档的指示做了所有操作，以下是我的代码：

from sklearn.multiclass import OneVsRestClassifier
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis as QDA

clf = OneVsRestClassifier(QDA())
QDA_score = clf.fit(train,label).decision_function(test)
from sklearn.metrics import roc_curve, auc
from sklearn.metrics import roc_curve
fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(3):
     fpr[i], tpr[i], _ = roc_curve(label_test[:, i], QDA_score[:, i])
     roc_auc[i] = auc(fpr[i], tpr[i])
from itertools import cycle
import matplotlib.pyplot as plt
plt.figure()
lw = 2

colors = cycle(['aqua', 'darkorange', 'cornflowerblue'])
for i, color,n in zip(range(3), colors,['_000','_15_30_45','60']):
plt.plot(fpr[i], tpr[i], color=color, lw=lw,
         label='ROC curve of {0} (area = {1:0.2f})'
         ''.format(n , roc_auc[i]))
plt.plot([0, 1], [0, 1], 'k--', lw=lw)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC for multi-classes')
plt.legend(loc="lower right")
plt.show()

链接是我的结果。 然而每次运行代码结果都会改变。我想知道是否有办法将其与交叉验证相结合，并计算每个类别的平均和稳定ROC。

谢谢！

- Meng Shen

---

你好，欢迎来到SO！我正在审核首篇帖子。建议您添加一个链接到您正在使用的文档。此外，您提到的结果链接似乎已经丢失了。如果您能更好地隔离改变行为的代码部分并解释为什么这是意外的，那将会很有帮助。否则，这是一个相当不错的首篇帖子。祝你好运！ - Praxeolitic

@ Meng，请查看我的答案并告诉我。 - seralouk

Answer 1

你可以使用 cross_val_predict 先获取交叉验证的概率，然后为每个类绘制 ROC 曲线。

使用鸢尾花数据的示例：

import matplotlib.pyplot as plt
from sklearn import svm, datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import label_binarize
from sklearn.metrics import roc_curve, auc
from sklearn.multiclass import OneVsRestClassifier
from sklearn.model_selection import cross_val_predict
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis as QDA

iris = datasets.load_iris()
X = iris.data
y = iris.target

# Binarize the output
y_bin = label_binarize(y, classes=[0, 1, 2])
n_classes = y_bin.shape[1]

clf = OneVsRestClassifier(QDA())
y_score = cross_val_predict(clf, X, y, cv=10 ,method='predict_proba')

fpr = dict()
tpr = dict()
roc_auc = dict()
for i in range(n_classes):
    fpr[i], tpr[i], _ = roc_curve(y_bin[:, i], y_score[:, i])
    roc_auc[i] = auc(fpr[i], tpr[i])
colors = cycle(['blue', 'red', 'green'])
for i, color in zip(range(n_classes), colors):
    plt.plot(fpr[i], tpr[i], color=color, lw=lw,
             label='ROC curve of class {0} (area = {1:0.2f})'
             ''.format(i, roc_auc[i]))
plt.plot([0, 1], [0, 1], 'k--', lw=lw)
plt.xlim([-0.05, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic for multi-class data')
plt.legend(loc="lower right")
plt.show()

---

要获取每个Fold的ROC，请执行以下操作：

import numpy as np
from scipy import interp
import matplotlib.pyplot as plt
from itertools import cycle
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import StratifiedKFold


iris = datasets.load_iris()
X = iris.data
y = iris.target
X, y = X[y != 2], y[y != 2]
n_samples, n_features = X.shape

# Add noisy features
random_state = np.random.RandomState(0)
X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]

# Classification and ROC analysis

# Run classifier with cross-validation and plot ROC curves
cv = StratifiedKFold(n_splits=6)
classifier = svm.SVC(kernel='linear', probability=True,
                     random_state=random_state)

tprs = []
aucs = []
mean_fpr = np.linspace(0, 1, 100)

i = 0
for train, test in cv.split(X, y):
    probas_ = classifier.fit(X[train], y[train]).predict_proba(X[test])
    # Compute ROC curve and area the curve
    fpr, tpr, thresholds = roc_curve(y[test], probas_[:, 1])
    tprs.append(interp(mean_fpr, fpr, tpr))
    tprs[-1][0] = 0.0
    roc_auc = auc(fpr, tpr)
    aucs.append(roc_auc)
    plt.plot(fpr, tpr, lw=1, alpha=0.3,
             label='ROC fold %d (AUC = %0.2f)' % (i, roc_auc))

    i += 1
plt.plot([0, 1], [0, 1], linestyle='--', lw=2, color='r',
         label='Luck', alpha=.8)

mean_tpr = np.mean(tprs, axis=0)
mean_tpr[-1] = 1.0
mean_auc = auc(mean_fpr, mean_tpr)
std_auc = np.std(aucs)
plt.plot(mean_fpr, mean_tpr, color='b',
         label=r'Mean ROC (AUC = %0.2f $\pm$ %0.2f)' % (mean_auc, std_auc),
         lw=2, alpha=.8)

std_tpr = np.std(tprs, axis=0)
tprs_upper = np.minimum(mean_tpr + std_tpr, 1)
tprs_lower = np.maximum(mean_tpr - std_tpr, 0)
plt.fill_between(mean_fpr, tprs_lower, tprs_upper, color='grey', alpha=.2,
                 label=r'$\pm$ 1 std. dev.')

plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")
plt.show()

- seralouk

---

你好，第二个例子也是多类问题吗？如果是的话，我假设 y[test] 是一个有 3 个值的分类变量？我的 y 也是这样，但不知道为什么每当我运行时，会弹出一个错误信息，说不支持多类形式... 有什么解决方法吗？ :) - user12195705

Answer 2

没有更多数据细节和你试图解决的问题的复杂性，很难确定，但是像你这样的不规则学习表现可能表明你的数据集对于数据的不规则性和复杂性来说太小了，因此每次采样时你都会得到一个不同的训练数据集。

您还可以查看常见的测试与训练稳定技术k-fold交叉验证。

更新： K折交叉验证基本上是将数据切片成k个部分，然后进行k次学习过程并平均它们的结果，其中每次不同的数据部分是测试数据集，其余的k-1部分是训练数据集。

- David Taub

---

似乎在sklearn中有很多交叉验证的方法。我可以问一下k-fold函数和cross_val_score之间有什么区别吗？ - Meng Shen

我知道这个概念，但我只是对这两个函数之间的区别感到困惑。 - Meng Shen

k-fold 本质上是对 cross_val_score 进行 k 次运行并取平均值。 - David Taub