clipnorm和clipval的区别是什么?
例如:opt = SGD(lr=0.01, momentum=0.9, clipnorm=1.0)
opt = SGD(lr=0.01, momentum=0.9, clipnorm=1.0)
对于 clipnorm,梯度的L2范数将被限制在指定值以下。
clipnorm
而 clipvalue 则将梯度值限制在不超过指定值的范围内。
clipvalue