我在Tensorflow中使用批量标准化训练了一个模型。我想保存这个模型并在以后进行恢复使用。批量标准化是通过 def batch_norm(input, phase): return tf.layers.batch_normalization(input, training=pha...

如果我想在Keras中使用BatchNormalization函数，那么我只需要在开始时调用它一次吗？ 我阅读了这个文档：http://keras.io/layers/normalization/ 我不知道应该在哪里调用它。以下是我的代码尝试使用它：model = Sequential()...

我想知道在卷积神经网络中，批量归一化应该针对每个像素单独应用，还是应该针对每个通道按像素平均值进行？ 我发现在Tensorflow的tf.layers.batch_normalization描述中建议按通道执行批量归一化，但如果我没记错的话，我用另一种方法得到了不错的结果。

我很困惑tensorflow中的tf.layers.batch_normalization。 我的代码如下：def my_net(x, num_classes, phase_train, scope): x = tf.layers.conv2d(...) x = tf.lay...

我想知道在使用多个GPU进行训练时，实现批量归一化层并同步批量统计的可能方法。 Caffe 或许有一些可以实现的caffe变体，比如这里。但对于BN层，我的理解是它仍然只同步层的输出，而不是均值和方差。也许MPI可以同步均值和方差，但我认为MPI有点难以实现。 Torch 我看到一些评论这...

当我使用批量归一化但设置batch_size = 1时会发生什么？ 因为我正在使用3D医学图像作为训练数据集，由于GPU限制，批量大小只能设置为1。通常，我知道当batch_size = 1时，方差将为0。并且(x-mean)/variance会导致错误，因为除以0。 但是为什么当我设置b...

我想了解批归一化和自归一化神经网络之间的区别。换句话说，SELU（缩放指数线性单元）是否可以替代批归一化，并如何实现？ 此外，当我查看SELU激活值时，它们在[-1, 1]范围内。而批归一化并非如此，相反，在BN层之后（relu激活之前），它们的值大约为[-a，a]，而不是[-1，1]。 ...

批标准化动量约定（默认值为0.1）是否正确，例如在其他库（如Tensorflow）中，通常默认为0.9或0.99？或者我们只是使用了不同的约定？

我目前正在尝试在Keras中使用批量归一化（Batch Normalization）实现一个模型。我已经成功地在训练阶段实现了它。 然而，在测试时，批量归一化会在通过网络进行前向传递之前计算整个总体的统计数据（平均值和方差），这些BN的平均值和方差是预先计算的，并保持静态；这与训练阶段不同，...

在TensorFlow 1.4中，我发现了两个看起来一样的批量归一化函数： tf.layers.batch_normalization (链接) tf.contrib.layers.batch_norm (链接) 我应该使用哪个函数？哪一个更加稳定？