如何通过反转dropout来弥补dropout效应并保持期望值不变？
我正在学习来自deeplearning.ai课程中神经网络的正则化。在这里 ，在dropout正则化中，教授说如果应用了dropout，则计算得出的激活值将比不应用dropout时小(在测试时)。因此，我们需要缩放激活值以使测试阶段更简单。 我理解了这一事实，但我不明白如何进行缩放。这是一个...
为什么word2vec不使用正则化？
拥有大量参数的ML模型倾向于过拟合（因为它们具有较大的方差）。在我看来，word2vec就是这样的模型之一。降低模型方差的方法之一是应用正则化技术，对于其他嵌入模型（如矩阵分解）来说，这是非常常见的事情。然而，word2vec的基本版本没有任何正则化部分。此举是否有原因？
改善一个状况不佳的矩阵
我有一个矩阵条件很差，其 rcond() 接近于零，因此，该矩阵的逆矩阵不正确。我尝试使用 pinv()，但仍无法解决问题。这是我计算矩阵逆的方法：X = (A)\(b); 我寻找了解决这个问题的方法，并在这个链接（最后一个解决方案）中找到了改进矩阵的方法。 那里的解决方案建议使用以下内容：A...
在Matlab中实现正则化的逻辑回归代码
我正在尝试使用正则化逻辑回归，这里有Matlab中的简单公式： 成本函数： J(theta) = 1/m*sum((-y_i)*log(h(x_i)-(1-y_i)*log(1-h(x_i))))+(lambda/2*m)*sum(theta_j) 梯度: ∂J(theta)/∂th...
Python pandas时间序列插值和正则化
我第一次使用Python Pandas。我有5分钟滞后的csv格式交通数据：... 2015-01-04 08:29:05,271238 2015-01-04 08:34:05,329285 2015-01-04 08:39:05,-1 2015-01-04 08:44:05,260260 2...
Keras实现的dropout是否正确？
Keras中的dropout实现参考了该论文。该论文提出，在测试时使用单个神经网络，而不使用dropout。该网络的权重是训练好的权重的缩小版本。如果在训练时以概率p保留一个单元，则该单元的输出权重在测试时将乘以p。Keras文档指出，dropout仅在训练期间使用，并且在测试时简单地传递层的...
什么是Tensorflow中的正则化损失？
使用Tensorflows Object Detection API训练目标检测DNN时，可视化平台Tensorboard绘制了一个名为regularization_loss_1的标量。 那这是什么？我知道正则化是什么（通过各种方法如舍弃法使网络具有泛化能力），但我不清楚这个显示的损失是什么...
自编码器过于强的正则化（Keras自编码器教程代码）
我正在使用有关自编码器的教程：https://blog.keras.io/building-autoencoders-in-keras.html。所有代码都可以运行，但是当我将正则化参数设置为10e-5时（这是教程代码中定义的参数），性能非常差（结果模糊）。实际上，我需要将正则化减小到10e-...
Keras中的正则化策略
我一直在尝试在Keras中设置一个非线性回归问题。不幸的是，结果显示出过拟合。下面是代码：model = Sequential() model.add(Dense(number_of_neurons, input_dim=X_train.shape[1], activation='relu',...