测试过程中的批量归一化
在测试期间进行批量归一化时，如何计算每个激活输入的均值和方差（在每个层和输入维度中）？是记录训练中的均值和方差，计算整个训练集的均值和方差，还是计算整个测试集的均值和方差呢？ 许多人说您必须预先计算均值和方差，但如果您使用计算整个测试集的均值和方差的方法，那么在执行前向传播时（而不是“预处理...
当测试时（is_training=False），Tensorflow的batch_norm无法正常工作。
我将训练以下模型： with slim.arg_scope(inception_arg_scope(is_training=True)): logits_v, endpoints_v = inception_v3(all_v, num_classes=25, is_training=...
如何在Keras中正确使用批量归一化与U-net？
我正在尝试在U-net中使用批归一化层进行分割任务。对于res-net、vgg、xception等相同的层都可以正常运行，我想知道这是否是与体系结构有关的问题？在训练过程中一切都很顺利，指标增长，损失下降，但一旦我尝试评估模型或预测掩模时，它就会生成垃圾。似乎那些层的学习权重在测试和预测期间仍...
使用TensorFlow进行3D卷积的批归一化
我正在实现一个依赖于3D卷积的模型(用于类似于动作识别的任务)，并想使用批量归一化(请参阅[Ioffe & Szegedy 2015])。我找不到任何关于3D卷积的重点教程，因此我在这里制作了一个短片段，希望与您一起审查。 下面的代码涉及TensorFlow r0.12，并明确实例化变量 -...
使用批量归一化时的单个预测
我有一个在我创建的数据集上表现良好的CNN。我在这个网络中添加了批量归一化来尝试提高性能。 但是...当我尝试对单个图像进行预测时，我总是得到相同的结果（无论图像如何）。我认为这是因为我需要批次才能实际进行批量归一化。 所以，使用BN的CNN是否可以对单个图像进行预测？ 我考虑在我的网络训...
model.eval() 和 model.train() 在 PyTorch 中影响哪些模块？
model.eval() 方法会修改某些模块（层），这些模块在训练和推理时具有不同的行为。其中一些模块（层）在文档中列出了部分示例，例如：Dropout、BatchNorm等等。请参考特定模块的文档以了解它们在训练/推理模式下的行为是否会受到影响。 是否有哪些模块会受到影响的详尽列表？
Batchnorm2d Pytorch - 为什么要将通道数传递给批量归一化？
为什么我需要在批量归一化中传递先前的通道数量？ 批量归一化应该在批次中对每个数据点进行归一化，为什么它需要具有通道数呢？
实例归一化 vs 批量归一化
我理解批量标准化通过将激活转向单位高斯分布来帮助更快地训练，从而解决消失梯度问题。在训练时，批量标准化以不同的方式应用（使用每个批次的平均值/方差），而在测试时则使用已确定的运行平均值/方差。 另一方面，实例标准化作为对比标准化，如本文https://arxiv.org/abs/1607.0...
tf.layers.batch_normalization 大规模测试误差
我尝试使用批量归一化，我在一个简单的MNIST卷积神经网络上尝试使用tf.layers.batch_normalization。训练步骤中获得了高的准确率（>98％），但测试准确率非常低（我的代码# Input placeholders x = tf.placeholder(tf.float3...
BatchNorm动量约定PyTorch
批标准化动量约定（默认值为0.1）是否正确，例如在其他库（如Tensorflow）中，通常默认为0.9或0.99？或者我们只是使用了不同的约定？