8得票2回答
Keras 带有 noise_shape 的 Dropout

我有一个关于Keras函数Dropout和参数noise_shape的问题。 问题1: 如果您的输入具有形状(batch_size,timesteps,features),并且希望dropout掩码在所有时间步骤中都相同,则可以使用noise_shape=(batch_size,1,fea...

8得票1回答
在神经网络中,如何添加dropout层?

我看到关于神经网络中不同部分的dropout的描述: 在权重矩阵中使用dropout, 在矩阵乘法之后、relu之前的隐藏层中使用dropout, 在relu之后的隐藏层中使用dropout, 以及在softmax函数之前输出得分时使用dropout。 我有点困惑应该在哪里执行drop...

8得票1回答
Keras LSTM:dropout与recurrent_dropout的区别

我意识到这篇文章与这个类似,但我只想要一些澄清,最好提供一个链接到某种Keras文档来说明它们之间的区别。 在我看来,dropout作用于神经元之间。而recurrent_dropout则在每个时间步之间作用于每个神经元。但是,我对此毫无了解。 Keras网站上的文档并没有提供任何有用信息。

8得票1回答
SpatialDropout2D、BatchNormalization和激活函数的正确顺序是什么?

对于CNN架构,我想使用SpatialDropout2D层代替Dropout层。此外,我想使用BatchNormalization。到目前为止,我总是在激活函数之前直接在卷积层后设置BatchNormalization,就像Ioffe和Szegedy提到的论文中一样。而且,我总是在MaxPoo...

7得票2回答
如何通过反转dropout来弥补dropout效应并保持期望值不变?

我正在学习来自deeplearning.ai课程中神经网络的正则化。在这里 ,在dropout正则化中,教授说如果应用了dropout,则计算得出的激活值将比不应用dropout时小(在测试时)。因此,我们需要缩放激活值以使测试阶段更简单。 我理解了这一事实,但我不明白如何进行缩放。这是一个...