model.eval() 和 model.train() 在 PyTorch 中影响哪些模块？

Question

model.eval() 方法会修改某些模块（层），这些模块在训练和推理时具有不同的行为。其中一些模块（层）在文档中列出了部分示例，例如：Dropout、BatchNorm等等。请参考特定模块的文档以了解它们在训练/推理模式下的行为是否会受到影响。

是否有哪些模块会受到影响的详尽列表？

- iacob

---

我认为...就是这样了吧？我不记得还有其他标准层会改变其行为，但也许我错了，如果这个列表存在的话，我会很快被纠正：）当然，我考虑了所有继承自BatchNorm的层。 - Proko

Answer 1

除了@iacob提供的信息外：

基类	模块	标准
RNNBase	RNN LSTM GRU	dropout > 0（默认值：0）
Transformer层	Transformer TransformerEncoder TransformerDecoder	dropout > 0（Transformer 默认值：0.1）
Lazy变体	LazyBatchNorm 目前是夜版 合并 PR	track_running_stats=True

- Szymon Maszke

---

GroupNorm和LayerNorm不跟踪运行统计信息，并且不受model.eval()的影响。 - Trisoloriansunscreen

Answer 2

在Google上搜索 site:https://pytorch.org/docs/stable/generated/torch.nn. "during evaluation" ，可以发现以下模块受到影响：

基类	模块	条件
_InstanceNorm	InstanceNorm1d InstanceNorm2d InstanceNorm3d	track_running_stats=True
_BatchNorm	BatchNorm1d BatchNorm2d BatchNorm3d SyncBatchNorm
_DropoutNd	Dropout Dropout2d Dropout3d AlphaDropout FeatureAlphaDropout

- iacob