TensorFlow - L2正则化如何应用于所有权重而不仅仅是最后一个？
我正在玩一个Udacity深度学习课程中的ANN。 我的任务是在使用L2损失的具有一个隐藏ReLU层的网络中引入泛化。我想知道如何正确地引入它，以便所有权重都会受到惩罚，而不仅仅是输出层的权重。 不包含泛化的网络代码在帖子底部（实际运行训练的代码超出了问题的范围）。 引入L2的明显方法是...
RNN正则化：应该对哪个组件进行正则化？
我正在构建一个用于分类的RNN（在RNN之后有一个softmax层）。关于正则化，有很多选项，我不确定是否应该尝试所有选项，效果会是一样的吗？哪些组件应该针对何种情况进行正则化？ 这些组件包括： 核权重（层输入） 循环权重 偏置 激活函数（层输出）
什么是Tensorflow中的正则化损失？
使用Tensorflows Object Detection API训练目标检测DNN时，可视化平台Tensorboard绘制了一个名为regularization_loss_1的标量。 那这是什么？我知道正则化是什么（通过各种方法如舍弃法使网络具有泛化能力），但我不清楚这个显示的损失是什么...
TensorFlow - 将L2正则化和dropout引入网络。这有意义吗？
我目前正在参加优达学城深度学习课程，其中涉及到人工神经网络（ANN）。我已经成功地构建和训练了网络，并对所有权重和偏差引入了L2正则化。现在，我正在尝试使用隐藏层的dropout来提高泛化性能。我想知道，在隐藏层引入L2正则化并使用dropout是否有意义？如果有，如何正确操作？在dropou...
Python pandas时间序列插值和正则化
我第一次使用Python Pandas。我有5分钟滞后的csv格式交通数据：... 2015-01-04 08:29:05,271238 2015-01-04 08:34:05,329285 2015-01-04 08:39:05,-1 2015-01-04 08:44:05,260260 2...
改善一个状况不佳的矩阵
我有一个矩阵条件很差，其 rcond() 接近于零，因此，该矩阵的逆矩阵不正确。我尝试使用 pinv()，但仍无法解决问题。这是我计算矩阵逆的方法：X = (A)\(b); 我寻找了解决这个问题的方法，并在这个链接（最后一个解决方案）中找到了改进矩阵的方法。 那里的解决方案建议使用以下内容：A...
Keras中的正则化策略
我一直在尝试在Keras中设置一个非线性回归问题。不幸的是，结果显示出过拟合。下面是代码：model = Sequential() model.add(Dense(number_of_neurons, input_dim=X_train.shape[1], activation='relu',...
在Matlab中实现正则化的逻辑回归代码
我正在尝试使用正则化逻辑回归，这里有Matlab中的简单公式： 成本函数： J(theta) = 1/m*sum((-y_i)*log(h(x_i)-(1-y_i)*log(1-h(x_i))))+(lambda/2*m)*sum(theta_j) 梯度: ∂J(theta)/∂th...
Keras实现的dropout是否正确？
Keras中的dropout实现参考了该论文。该论文提出，在测试时使用单个神经网络，而不使用dropout。该网络的权重是训练好的权重的缩小版本。如果在训练时以概率p保留一个单元，则该单元的输出权重在测试时将乘以p。Keras文档指出，dropout仅在训练期间使用，并且在测试时简单地传递层的...