Keras：model.evaluate_generator和model.predict_generator有什么区别？

Question

我使用Keras数据增强技术进行了图像分类（十类图像）。最后一个训练轮次的结果如下：

Epoch 50/50
4544/4545 [============================>.] - ETA: 0s - loss: 0.7628 - acc: 0.7359 loss:  0.762710434054
New learning rate:  0.00214407973866
4545/4545 [==============================] - 115s - loss: 0.7627 - acc: 0.7360 - val_loss: 0.5563 - val_acc: 0.8124

然后通过以下方式评估训练好的模型：

scores = model.evaluate_generator(test_generator,1514) #1514 testing images
print("Accuracy = ", scores[1])

它会导致以下结果：

('Accuracy = ', 0.80713342132152621)

准确度与上一次训练时的结果并不完全相同。虽然差异微小，但我不理解其中的差别。

此外，model.predict_generator 的结果完全不同，是一个如下所示的数组：

array([[  4.98306963e-06,   1.83774697e-04,   5.49453034e-05, ...,
      9.25193787e-01,   7.74697517e-04,   5.79946618e-06],
   [  2.06657965e-02,   2.35974863e-01,   2.66802781e-05, ...,
      2.16283044e-03,   8.42395966e-05,   2.46680051e-04],
   [  1.40222355e-05,   1.22740224e-03,   7.52218883e-04, ...,
      3.76749843e-01,   3.85622412e-01,   6.47417846e-06],
   ..., 
   [  9.94064331e-01,   1.30184961e-03,   1.08694976e-05, ...,
      1.25828717e-06,   2.29093766e-05,   9.01326363e-04],
   [  7.10375488e-01,   2.01397449e-01,   3.10241080e-06, ...,
      3.66877168e-10,   1.66322934e-05,   1.93767438e-08],
   [  8.13350256e-04,   2.67575349e-04,   6.79878794e-05, ...,
      8.63052785e-01,   9.70983761e-04,   8.54507030e-04]], dtype=float32)

我不知道矩阵代表什么，以及model.evaluate_generator和model.predict_generator之间的区别。

需要注意的是，结果数组的形状为1514*10。该数组应该是测试图像集每个类别的预测概率。如果是这样，如何根据结果计算混淆矩阵？

- jwm

Answer 1

predict_generator使用测试数据并输出结果。

evaluate_generator使用测试输入和输出。首先使用训练输入预测输出，然后通过将其与测试输出进行比较来评估性能。因此，它给出了一个性能度量，例如您的准确性。

- pyan

---

非常好的回答！我有一个问题，因为在这种情况下evaluate_generator返回平均准确率，那么我如何知道准确率的方差？谢谢。 - Jing

Answer 2

我曾经遇到过类似的问题，我通过在生成器中设置shuffle = False来解决了这个问题。我的猜测是，如果训练批次不是元素的倍数，则最后一个不完整的批次不会被考虑在内，而且由于shuffle的存在，被排除的元素是随机的，这会略微改变结果。

- Enrico Beltramo

Answer 3

要绘制混淆矩阵，您需要从sklearn导入所需的内容。

from sklearn.metrics import confusion_matrix
import itertools
import matplotlib.pyplot as plt

为了绘制混淆矩阵，需要测试标签(test_labels)、类别(classes, 上一层全连接层的输出数量，即输出层)。看起来您已经掌握了这个部分。接下来，您需要将测试标签和预测值的维度设置为相同大小，可以使用np.reshape和np.transpose获得所需结果。有关语法和定义，请参考下面提到的链接。

https://docs.scipy.org/doc/numpy/reference/generated/numpy.reshape.html

https://docs.scipy.org/doc/numpy/reference/generated/numpy.transpose.html

现在要绘制混淆矩阵，您可以使用sklearn文档中的代码。

https://scikit-learn.org/stable/auto_examples/model_selection/plot_confusion_matrix.html

谢谢。希望能对你有所帮助。

- creepysta