Keras LSTM 保存后如何继续训练

Question

Keras LSTM 保存后如何继续训练

3

我正在开发一个LSTM模型，希望能够保存模型并在以后随着数据的积累继续训练。我的问题是，当我保存模型并在下一次运行脚本时重新加载它时，预测结果完全错误，只是模仿了我输入的数据。

以下是模型的初始化代码：

# create and fit the LSTM network
if retrain == 1:
    print "Creating a newly retrained network."
    model = Sequential()
    model.add(LSTM(inputDimension, input_shape=(1, inputDimension)))
    model.add(Dense(inputDimension, activation='relu'))
    model.compile(loss='mean_squared_error', optimizer='adam')
    model.fit(trainX, trainY, epochs=epochs, batch_size=batch_size, verbose=2)
    model.save("model.{}.h5".format(interval))
else:
    print "Using an existing network."
    model = load_model("model.{}.h5".format(interval))
    model.compile(loss='mean_squared_error', optimizer='adam')
    model.fit(trainX, trainY, epochs=epochs, batch_size=batch_size, verbose=2)
    model.save("model.{}.h5".format(interval))
    del model
    model = load_model("model.{}.h5".format(interval))
    model.compile(loss='mean_squared_error', optimizer='adam')

当retrain设置为1时，第一个数据集约有10,000个条目，大约有3k个epoch和5％的批量大小。第二个数据集是单个条目数据，即一行，同样具有3k个epochs和batch_size = 1。

已解决

我错误地重新加载了缩放器：

scaler = joblib.load('scaler.{}.data'.format(interval))
dataset = scaler.fit_transform(dataset)

正确：

scaler = joblib.load('scaler.{}.data'.format(interval))
dataset = scaler.transform(dataset)

fit_transform重新计算了经缩放后数值的乘数，这意味着与原始数据存在偏差。

- Toomas-Siim Teresk

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- dennis-w · Accepted Answer

来自keras模型API的功能model.fit()：

initial_epoch：整数。训练开始的时期（对于恢复以前的训练运行很有用）。

设置此参数可能会解决您的问题。

我认为问题的根源是Adam的自适应学习率。在训练过程中，学习率自然下降以进行更好地微调模型。当您仅使用一个样本重新训练模型时，由于重置了学习率，权重更新可能会太大，这可能会完全破坏以前的权重。

如果initial_epoch不好，则尝试以较低的学习率开始第二次训练。