当批量大小为1时的批量归一化
当我使用批量归一化但设置batch_size = 1时会发生什么？ 因为我正在使用3D医学图像作为训练数据集，由于GPU限制，批量大小只能设置为1。通常，我知道当batch_size = 1时，方差将为0。并且(x-mean)/variance会导致错误，因为除以0。 但是为什么当我设置b...
如何在Tensorflow中正确使用tf.layers.batch_normalization()？
我很困惑tensorflow中的tf.layers.batch_normalization。 我的代码如下：def my_net(x, num_classes, phase_train, scope): x = tf.layers.conv2d(...) x = tf.lay...
model.eval() 和 model.train() 在 PyTorch 中影响哪些模块？
model.eval() 方法会修改某些模块（层），这些模块在训练和推理时具有不同的行为。其中一些模块（层）在文档中列出了部分示例，例如：Dropout、BatchNorm等等。请参考特定模块的文档以了解它们在训练/推理模式下的行为是否会受到影响。 是否有哪些模块会受到影响的详尽列表？
Batchnorm2d Pytorch - 为什么要将通道数传递给批量归一化？
为什么我需要在批量归一化中传递先前的通道数量？ 批量归一化应该在批次中对每个数据点进行归一化，为什么它需要具有通道数呢？
当测试时（is_training=False），Tensorflow的batch_norm无法正常工作。
我将训练以下模型： with slim.arg_scope(inception_arg_scope(is_training=True)): logits_v, endpoints_v = inception_v3(all_v, num_classes=25, is_training=...
批量归一化和使用SELU的自归一化神经网络之间的区别
我想了解批归一化和自归一化神经网络之间的区别。换句话说，SELU（缩放指数线性单元）是否可以替代批归一化，并如何实现？ 此外，当我查看SELU激活值时，它们在[-1, 1]范围内。而批归一化并非如此，相反，在BN层之后（relu激活之前），它们的值大约为[-a，a]，而不是[-1，1]。 ...
使用批量归一化时的单个预测
我有一个在我创建的数据集上表现良好的CNN。我在这个网络中添加了批量归一化来尝试提高性能。 但是...当我尝试对单个图像进行预测时，我总是得到相同的结果（无论图像如何）。我认为这是因为我需要批次才能实际进行批量归一化。 所以，使用BN的CNN是否可以对单个图像进行预测？ 我考虑在我的网络训...
在使用TensorFlow 2.3.0和Keras 2.4.3时，无法加载在Keras 2.1.0（使用TensorFlow 1.3.0）中保存的Keras模型。
我正在实现一个带有自定义批次归一化层的Keras模型，该层具有4个权重（beta、gamma、running_mean和running_std）和3个状态变量（r_max、d_max和t）： self.gamma = self.add_weight(shape = shape, #N...
SpatialDropout2D、BatchNormalization和激活函数的正确顺序是什么？
对于CNN架构，我想使用SpatialDropout2D层代替Dropout层。此外，我想使用BatchNormalization。到目前为止，我总是在激活函数之前直接在卷积层后设置BatchNormalization，就像Ioffe和Szegedy提到的论文中一样。而且，我总是在MaxPoo...
Tensorflow保存/恢复批量归一化
我在Tensorflow中使用批量标准化训练了一个模型。我想保存这个模型并在以后进行恢复使用。批量标准化是通过 def batch_norm(input, phase): return tf.layers.batch_normalization(input, training=pha...