为什么Tensorflow目标检测禁用Faster R-CNN的正则化？

Question

在Tensorflow目标检测示例配置文件中，所有Faster R-CNN配置文件都禁用了正则化项，如下所示：

regularizer {
    l2_regularizer {
      weight: 0.0
    }
  }

我认为这不太合理，很可能会出现过度拟合的情况。对于这样的设置有什么解释吗？谢谢。

- Brandon

Answer 1

在这个数据集上，应用强正则化（如maxout或dropout）可以获得最佳结果。在这篇论文中，我们没有使用maxout/dropout，而是通过深度和窄的结构设计来简单地施加正则化，以避免分散对优化困难的关注。但是，与更强的正则化相结合可能会改善结果，我们将在未来研究它。

我认为作者所指的正则化直接应用于RESNET架构中的批量归一化层，这些层夹在每个卷积层和每个激活层之间。虽然作者没有提到L2正则化的使用，但他们关于maxout和dropout的陈述应该适用。BN层具有正则化网络的效果，而不需要施加显式惩罚，因此不需要L2正则化。

话虽如此，如果您想尝试更强的正则化，也可以选择使用L2正则化。

- DaveB