在TensorFlow中使用高级API的L2正则化

Question

在TensorFlow中使用高级API的L2正则化

pythonmachine-learningtensorflowneural-networkdeep-learning

3

我知道关于使用TensorFlow的层API进行L2正则化有一些类似的问题，但是对我来说仍然不太清楚。

首先，我像这样在我的conv2d层中多次设置kernel_regularizer：

regularizer = tf.contrib.layers.l2_regularizer(scale=0.1)
tf.layers.conv2d(kernel_regularizer=)

然后我可以使用以下方式收集所有的正则化损失：

regularization_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

最后但同样重要的是，我需要将正则化项加入到最终损失函数中。然而，在这里我不太确定该怎么做，以下哪一个是正确的？

1) loss = loss + factor * tf.reduce_sum(regularization_losses)

2) loss = loss + tf.contrib.layers.apply_regularization(regularizer, weights_list=regularization_losses)

或者它们两个都错了吗？第二种选择似乎很奇怪，因为我必须再次将正则化器作为参数传递，尽管每层已经有一个正则化器作为参数。

编辑

loss_1 = tf.losses.mean_squared_error(labels=y, predictions=logits, weights=1000)

regularization_loss = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

loss = tf.add_n([loss_1] + regularization_loss, name='loss')

- user4911648

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Maxim · Accepted Answer

第一种方法是正确的。另一种方法是通过tf.add_n函数实现：

reg_losses = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
loss = tf.add_n([base_loss] + reg_losses, name="loss")

第二种方法也是可行的，但您需要定义一个单一的正则化器。因此在您的情况下可以使用，但如果您在不同的层中使用不同的正则化器，则可能会不方便。