卷积神经网络是否能够接受多张图像输入?

7
我有一个包含许多图像的数据集,其中的图片有5个放大倍数(x10、x20、x30、x40、x50),它们属于同一类别,但它们不是序列数据。所有的图像都是RGB模式,并且尺寸为512x512,我想把这5张图片作为CNN的输入,但我不知道该如何操作。 另外,还有一个问题,就是当我只有一张图片(例如,一个放大倍数为x10的图像)时,是否可以使用训练好的5张图片模型进行预测?

1
请参考此问题的被接受答案:https://stackoverflow.com/questions/40685452/how-to-batch-inputs-together-for-tensorflow - bogatron
1
@bogatron 我不这么认为,我正在使用Keras,并且我没有TensorFlow的经验。 - Adelov
你应该将问题标记为 keras 而不是 tensorflow - bogatron
1个回答

5
您提出了两个问题。 对于第一个问题,有两种方法可以解决。1-您可以设计模型,使输入大小为5×512×512×3,并进行训练。
对于您的第二个问题,您需要设计模型以处理“特征缺失”或缺失特征。对于一个我能想到的复杂模型,您可以这样设计模型:您有5个输入每张图片,每张图片通过一个或多个CNN,经过一层或几层后合并在一起。 就每个输入而言,您可以考虑一个附加特征,一个布尔值,表示当前图像是否应该在训练中被考虑(不存在或存在)。 在训练过程中,您应该考虑所有5个输入的组合,同时考虑一些输入是否不存在,这样您的模型才能学习处理输入中一个或多个图像的缺失。 希望我表述清晰,并对您有所帮助。 祝你好运。

我有两个想法: 1- 将这5张图片放在同一批次中。 2- 使用CNN-LSTM模型。 你认为呢? - Adelov
2
1- 这种方法的缺点是在测试期间,每5个中有一个会被分类,这意味着您不使用全部信息来做出决策。虽然您可以进行多数投票或类似的后处理技巧,但您仍然有最多5个单独的分类,并且您不使用分类部分的共享信息。 2- 使用LSTM可能有效,但从逻辑上讲,我不明白为什么要考虑5个不同图像之间的序列。 - alift

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接