如何提高我的CNN模型准确性？

Question

我建立了一个 CNN 模型，用于将面部情绪分为开心、悲伤、精力充沛和中性表情。我使用了 Vgg16 预训练模型，并冻结了所有层。在训练 50 个 epoch 后，我的模型测试准确率为 0.65，验证损失约为 0.8。

我的训练数据文件夹有 16000（4x4000）张图片，验证数据文件夹有 2000（4x500）张图片，测试数据文件夹有 4000（4x1000）张 RGB 图片。

1）您对提高模型准确度有什么建议？

2）我尝试使用我的模型进行一些预测，但预测的类总是相同的。这可能是什么问题造成的？

我尝试过什么？

1. 添加了一个 dropout 层（0.5）
2. 在最后一层之前添加了 Dense（256，relu）
3. 打乱了训练和验证数据。
4. 将学习率降低到 1e-5

但是我无法提高验证和测试准确度。

我的代码：

train_src = "/content/drive/MyDrive/Affectnet/train_class/"
val_src = "/content/drive/MyDrive/Affectnet/val_class/"
test_src="/content/drive/MyDrive/Affectnet/test_classs/"

train_datagen = tensorflow.keras.preprocessing.image.ImageDataGenerator(
      rescale=1./255, 
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
    
      )

train_generator = train_datagen.flow_from_directory(
        train_src,
        target_size=(224,224 ),
        batch_size=32,
        class_mode='categorical',
        shuffle=True
        )

validation_datagen = tensorflow.keras.preprocessing.image.ImageDataGenerator(
        rescale=1./255
        )

validation_generator = validation_datagen.flow_from_directory(
        val_src,
        target_size=(224, 224),
        batch_size=32,
        class_mode='categorical',
        shuffle=True
        )
conv_base = tensorflow.keras.applications.VGG16(weights='imagenet',
                  include_top=False,
                  input_shape=(224, 224, 3)
                  )
for layer in conv_base.layers:
  layer.trainable = False

model = tensorflow.keras.models.Sequential()

# VGG16 is added as convolutional layer.
model.add(conv_base)

# Layers are converted from matrices to a vector.
model.add(tensorflow.keras.layers.Flatten())

# Our neural layer is added.
model.add(tensorflow.keras.layers.Dropout(0.5))
model.add(tensorflow.keras.layers.Dense(256, activation='relu'))

model.add(tensorflow.keras.layers.Dense(4, activation='softmax'))

model.compile(loss='categorical_crossentropy',
              optimizer=tensorflow.keras.optimizers.Adam(lr=1e-5),
              metrics=['acc'])
history = model.fit_generator(
      train_generator,
      epochs=50,
      steps_per_epoch=100,
      validation_data=validation_generator,
      validation_steps=5,
      workers=8
      )

损失和准确度

- Bugra Ulusoy

---

尽管在50个时期之后，损失和准确性似乎趋于稳定，但增加这个数字并查看是否有任何改进可能是值得的。您拥有大量数据，并进行了增强; 我想知道是否有必要减少或删除增强（尽管这可能会增加过度拟合）。 - Mark Lavin

Answer 1

有几个问题。对于训练集，你说有16,0000张图像。但是每一次epoch中，使用batch size为32，steps_per_epoch=100，你只能在3,200张图像上进行训练。同样地，你有2,000张验证图像，但是使用batch size为32，validation_steps=5，你只能在5 X 32 = 160张图像上进行验证。 现在Vgg是一个可以的模型，但是我不用它，因为它非常庞大，这会显著增加训练时间，并且还有其他更小、更准确的转移学习模型。我建议你尝试使用EfficientNetB3。使用以下代码：

conv_base = tensorflow.keras.applications.EfficientNetB3(weights='imagenet',
                  include_top=False,
                  input_shape=(224, 224, 3)
                  pooling='max'
                  )

使用 pooling='max' 可以省略 Flatten 层。而 EfficientNet 模型期望像素值在 0 到 255 的范围内，所以请删除生成器中的 rescale=1/255。 接下来要做的是使用可调节的学习率，可以使用 Keras 回调函数完成。有关此的文档在这里。您需要使用 ReduceLROnPlateau 回调函数，在这里有相关文档。将其设置为监控验证损失。以下是我建议的代码：

rlronp=tf.keras.callbacks.ReduceLROnPlateau(monitor="val_loss",factor=0.5,
                                            patience=1, verbose=1)

我还建议您使用回调EarlyStopping。有关其文档，请参见此处。我推荐的代码如下所示：

estop=tf.keras.callbacks.EarlyStopping( monitor="val_loss", patience=4, verbose=1,
                                        restore_best_weights=True)

现在在 model.fit 中包含

callbacks=[rlronp, estop]

将学习率设置为0.001。将epochs设置为50。如果触发了estop回调，它将返回带有验证损失最低的时期的权重的模型。我注意到你有这个代码。

for layer in conv_base.layers:
  layer.trainable = False

我知道教程告诉你做那样的操作，但是我的实践证明让它可以被训练得到更好的结果，而且我在数百个模型中都这样做了。

- Gerry P

---

谢谢您的建议。我会尽快在我的模型上尝试您所说的。 - Bugra Ulusoy