Keras中clipnorm和clipval有什么区别?

3

clipnorm和clipval的区别是什么?

例如:opt = SGD(lr=0.01, momentum=0.9, clipnorm=1.0)

1个回答

6

对于 clipnorm,梯度的L2范数将被限制在指定值以下。

clipvalue 则将梯度值限制在不超过指定值的范围内。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接