如何将包含Keras回归器的Scikit-learn管道保存到磁盘？

Question

如何将包含Keras回归器的Scikit-learn管道保存到磁盘？

pythonmachine-learningscikit-learnkerasjoblib

21

我有一个包含kerasRegressor的scikit-learn管道：

estimators = [
    ('standardize', StandardScaler()),
    ('mlp', KerasRegressor(build_fn=baseline_model, nb_epoch=5, batch_size=1000, verbose=1))
    ]
pipeline = Pipeline(estimators)

训练完管道后，我正在尝试使用joblib保存到磁盘...

joblib.dump(pipeline, filename , compress=9)

但是我遇到一个错误：

RuntimeError: maximum recursion depth exceeded

您如何将管道保存到磁盘上？

- Dror Hilman

你可以看一下 dill。也许它能够解决问题。https://pypi.python.org/pypi/dill - Moritz

你只需要增加最大递归深度的值：https://dev59.com/X3A75IYBdhLWcg3wYYBQ - user1808924

2个回答

1

Keras不能直接与pickle兼容。如果您愿意进行猴子补丁，可以解决这个问题: https://github.com/tensorflow/tensorflow/pull/39609#issuecomment-683370566。

您还可以使用SciKeras库，它会为您完成这项工作，并且可以完全替代KerasClassifier: https://github.com/adriangb/scikeras

声明：我是SciKeras的作者以及该PR的作者。

- LoveToCode

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- constt · Accepted Answer

我曾经也面临着同样的问题，因为没有直接的方法来解决这个问题。下面是一个对我有用的方法。我将我的管道保存到两个文件中。第一个文件存储了sklearn管道的pickle对象，第二个文件用于存储Keras模型：

...
from keras.models import load_model
from sklearn.externals import joblib

...

pipeline = Pipeline([
    ('scaler', StandardScaler()),
    ('estimator', KerasRegressor(build_model))
])

pipeline.fit(X_train, y_train)

# Save the Keras model first:
pipeline.named_steps['estimator'].model.save('keras_model.h5')

# This hack allows us to save the sklearn pipeline:
pipeline.named_steps['estimator'].model = None

# Finally, save the pipeline:
joblib.dump(pipeline, 'sklearn_pipeline.pkl')

del pipeline

以下是如何重新加载模型的步骤：

# Load the pipeline first:
pipeline = joblib.load('sklearn_pipeline.pkl')

# Then, load the Keras model:
pipeline.named_steps['estimator'].model = load_model('keras_model.h5')

y_pred = pipeline.predict(X_test)