在神经网络中，如何添加dropout层？

Question

我看到关于神经网络中不同部分的dropout的描述：

1. 在权重矩阵中使用dropout，

2. 在矩阵乘法之后、relu之前的隐藏层中使用dropout，

3. 在relu之后的隐藏层中使用dropout，

4. 以及在softmax函数之前输出得分时使用dropout。

我有点困惑应该在哪里执行dropout。能否有人详细解释一下？谢谢！

- DiveIntoML

Answer 1

所以：

1. 你描述的第一种用法被称为权重丢弃。
2. 你描述的第二种和第三种用法是相同的，通常被称为激活丢弃。当整个行（或列-取决于实现）被关闭时，可以轻松地将其表示为权重丢弃。
3. 在第四种情况下，这不是dropout的正确用法 - 你想在其中使用dropout的层是输出层 - 因此在那里使用dropout并不是最好的想法。

- Marcin Możejko

---

说2和3具有相同的效果，这种说法正确吗？ - Robert Lugg

对于ReLU激活函数，是的。对于其他非线性函数，应在非线性函数之后应用dropout。 - Smarty77