U-Net图像分割与多个掩模

Question

我基本上有一个图像分割问题，涉及数据集中的图像和为每个图像创建的多个掩码，其中每个掩码对应于图像中的一个单独对象。所有对象都是同一类型的，但对象数量可能会有所不同。我正在尝试使用这些数据来训练 U-Net。

我可以简单地将所有单独的掩码组合成一个新的掩码，并将其作为输出馈入网络中，但我感觉在组合掩码的过程中可能会丢失与“单独识别对象”相关的有用信息。

我是否能够利用额外的信息呢？例如，使网络输出可变数量的掩码而不是一个单独的掩码（如果可能的话）。这样做是否能提高网络性能？

- Neil.C

Answer 1

我正在处理和你一样的问题，所以我并没有所有的答案，但如果你想分割你的掩码，你可以使用 one-hot 编码。

from keras.utils import to_categorical
masks_one_hot = to_categorical(masks, num_classes=numMasks)

这将把一个包含多个对象的图像分成5类，以便我的输出向量为：

(numChannels, IMG_WIDTH, IMG_HEIGHT, numMasks)

根据您使用的目标函数，它可能会提高性能-对于这种情况，我认为分类交叉熵是合适的。

- zucchinifries