U-net和FCN在语义分割中的直觉区别

Question

我不太理解以下内容：

在Shelhamer等人提出的FCN语义分割中，他们提出了像素级预测来构建图像中对象的掩模/精确位置。

在针对生物医学图像分割的稍作修改的FCN U-net 中，主要区别似乎是“与从收缩路径相应裁剪的特征映射连接”。

那么，这个特性为什么在生物医学分割中产生巨大的差异？我可以指出生物医学图像与其他数据集的主要区别是，在生物医学图像中没有像普通日常物体那样丰富的特征定义一个对象。此外，数据集的大小也受到限制。但是，这个额外的功能是否是由这两个事实或其他原因启发的呢？

- Jonathan

Answer 1

FCN与U-Net：

FCN

1. 它只上采样一次，即解码器中只有一个层
2. 原始实现github repo使用双线性插值来上采样卷积后的图像。这里没有可学习的过滤器。
3. FCN的变体-[FCN 16s和FCN 8s]添加了从较低层的跳过连接，使输出对比例变化具有鲁棒性

---

U-Net

1. 多个上采样层
2. 使用跳过连接并连接而不是加法
3. 使用可学习的权重过滤器而不是固定插值技术

- shasvat desai

---

出于某种原因，VGG16-FCN-8s（请参见我的keras转换https://github.com/dmitryako/keras_fcn_8s）对我来说效果要好得多，即使使用U-Net也无法获得更好的结果。 - Dmitry Konovalov

你好，结果将取决于我们尝试完成的任务以及我们使用的数据集。U-Net已被证明在使用数据增强技术时可以很好地工作。根据我的经验，理想情况下，UNet具有多个上采样层以及更多的跳跃连接，从理论上讲，使其比FCN更具有缩放变化的鲁棒性。顺便问一下，您正在做什么任务，使用了哪个数据集？此外，您能否在此处发布您的研究论文链接？ - shasvat desai

Answer 2

U-Net建立在J. Long的FCN论文基础上。一些不同之处是，原始的FCN论文使用解码器半部分来上采样分类（即网络的整个第二半部分深度为C-类别数）。

U-Net认为第二半部分处于特征空间中，并在最后进行最终分类。

在我看来，它与生物医学无关。

- aivision2020

---

你说得对，U-Net并不是专门用于生物医学领域的，但它非常适合需要高精度（特别是形状）的生物医学应用，而U-Net的跳跃连接在这方面有很大帮助。 - the-lay