重置Keras模型的所有权重。

Question

我希望能够重置整个Keras模型的权重，这样就不必重新编译它了。目前编译模型是我的代码的主要瓶颈。以下是我所指的示例：

import tensorflow as tf  

model = tf.keras.Sequential([
    tf.keras.layers.Flatten(input_shape=(28, 28)),
    tf.keras.layers.Dense(16, activation='relu'),
    tf.keras.layers.Dense(10)
])

model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=0.001),
                loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                metrics=['accuracy'])
   
data = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = data.load_data()

model.fit(x=x_train, y=y_train, epochs=10)

# Reset all weights of model here
# model.reset_all_weights() <----- something like that

model.fit(x=x_train, y=y_train, epochs=10)

- Gilfoyle

---

也许这可以帮助在Keras层中重置权重“在编译模型但在训练之前保存初始权重...然后在训练后，通过重新加载初始权重来'重置'模型”。 - n1colas.m

Answer 1

我写了一个在TensorFlow 2中重新初始化权重的函数。

def reinitialize(model):
    for l in model.layers:
        if hasattr(l,"kernel_initializer"):
            l.kernel.assign(l.kernel_initializer(tf.shape(l.kernel)))
        if hasattr(l,"bias_initializer"):
            l.bias.assign(l.bias_initializer(tf.shape(l.bias)))
        if hasattr(l,"recurrent_initializer"):
            l.recurrent_kernel.assign(l.recurrent_initializer(tf.shape(l.recurrent_kernel)))

比起应有的时间，我用了更长的时间才想出这个方法，并尝试了多种在我的特定情况下都失败的方法。我认为这应该成为TensorFlow标准功能之一。

- Moritz Schu

Answer 2

您可以使用这个循环：

for ix, layer in enumerate(model.layers):
    if hasattr(model.layers[ix], 'kernel_initializer') and \
            hasattr(model.layers[ix], 'bias_initializer'):
        weight_initializer = model.layers[ix].kernel_initializer
        bias_initializer = model.layers[ix].bias_initializer

        old_weights, old_biases = model.layers[ix].get_weights()

        model.layers[ix].set_weights([
            weight_initializer(shape=old_weights.shape),
            bias_initializer(shape=len(old_biases))])

原始权重：

model.layers[1].get_weights()[0][0]

array([ 0.4450057 , -0.13564804,  0.35884023,  0.41411972,  0.24866664,
        0.07641453,  0.45726687, -0.04410008,  0.33194816, -0.1965386 ,
       -0.38438258, -0.13263905, -0.23807487,  0.40130925, -0.07339832,
        0.20535922], dtype=float32)

新权重：

model.layers[1].get_weights()[0][0]

array([-0.4607593 , -0.13104361, -0.0372932 , -0.34242013,  0.12066692,
       -0.39146423,  0.3247317 ,  0.2635846 , -0.10496247, -0.40134245,
        0.19276887,  0.2652442 , -0.18802321, -0.18488845,  0.0826562 ,
       -0.23322225], dtype=float32)

- Nicolas Gervais

---

谢谢分享这个解决方案！你能估计一下这种方法何时比重新编译整个模型更快吗？ - Gilfoyle

我不知道。在你的情况下为什么会有问题呢？根据我的经验，编译只需要几分之一秒的时间。 - Nicolas Gervais

当您需要编译模型一百万次时，这将成为一个问题 :) - Gilfoyle

Answer 3

如果有人有嵌套模型，Moritz的答案需要稍作修改，如下所示：

def reinitialize(model):
    for l in model.layers:
        if isinstance(l, tf.keras.Model):
            reinitialize(l)
            continue
        if hasattr(l,"kernel_initializer"):
            l.kernel.assign(l.kernel_initializer(tf.shape(l.kernel)))
        if hasattr(l,"bias_initializer"):
            l.bias.assign(l.bias_initializer(tf.shape(l.bias)))
        if hasattr(l,"recurrent_initializer"):
            l.recurrent_kernel.assign(l.recurrent_initializer(tf.shape(l.recurrent_kernel)))

- Joaquin Peralta