如何使用Keras深度学习对图像序列进行分类

Question

我希望使用Keras为一组CT图像制作分类模型。我的数据集来自50个患者，每个患者有1000张图像。对于一个患者而言，每一张图像都与前一张图像有着有意义的关系。我想利用这些有意义的关系，但不知道如何为这样的问题建立模型。您可以给我一些思路或示例吗？

- omid

Answer 1

你的问题涉及序列分类。你需要对图像序列进行分类。在这种情况下，需要使用一个模型来学习两个方面：

1. 图像特征
2. 序列特征（时间相关特征）

这听起来与视频分类类似，其中视频是由几帧组成的序列。请参见这里。

提取图像特征：

大多数实际应用使用卷积神经网络。它们使用Max Pooling和Convolution等层。它们非常擅长从3D输入（如图像）中提取特征。你可以在这里了解更多信息。

处理时间数据：

这就需要使用RNN（递归神经网络）。LSTM（长短期记忆）单元是流行的RNN，因为它们比传统的RNN具有更强的记忆能力。

RNN保留隐藏层激活并在处理序列中的每个和任何一项时使用它们。因此，在处理序列中的第2个图像时，RNN具有该序列中第1个图像的知识或激活。

你可以从这里了解更多信息。

最后，我们需要将上述两种网络融合起来：

CNN-LSTM网络使用卷积和LSTM单元来对图像序列进行分类。

你可以参考这里和这里。

希望能帮助到你。 :-)

- Shubham Panchal

---

加载数据方面，除了train_datagen.flow_from_directory/datagenerator之外，我还能使用什么？ - TheJokerAEZ