在生成器中设置Keras变量

Question

我想在生成器中设置我的LSTM隐藏状态。但是，状态的设置只能在生成器外部进行：

K.set_value(model.layers[0].states[0], np.random.randn(batch_size,num_outs)) # this works

def gen_data():
    x = np.zeros((batch_size, num_steps, num_input))
    y = np.zeros((batch_size, num_steps, num_output))
    while True:
        for i in range(batch_size):
            K.set_value(model.layers[0].states[0], np.random.randn(batch_size,num_outs)) # error
            x[i, :, :] = X_train[gen_data.current_idx]
            y[i, :, :] = Y_train[gen_data.current_idx]
            gen_data.current_idx += 1
        yield x, y
gen_data.current_idx = 0

生成器在fit_generator函数中被调用：

model.fit_generator(gen_data(), len(X_train)//batch_size, 1, validation_data=None)

这是打印状态时的结果：

print(model.layers[0].states[0])
<tf.Variable 'lstm/Variable:0' shape=(1, 2) dtype=float32>

这是在生成器中出现的错误：

ValueError: Tensor("Placeholder_1:0", shape=(1, 2), dtype=float32) must be from the same graph as Tensor("lstm/Variable:0", shape=(), dtype=resource)

我做错了什么？

- MerklT

---

根据Keras文档，fit_generator函数“通过Python生成器（或Sequence实例）逐批生成数据来训练模型”，因此您需要在此处使用Python 生成器。 - Kacperito

@KacperFloriański 我没有记录完整的生成器，但现在我已经编辑过了。 - MerklT

Answer 1

生成器是多线程的，因此在生成器内部使用的图形将在与创建图形不同的线程中运行。因此，访问来自生成器的模型将访问不同的图形。一个简单（但不好的）解决方案是通过设置 workers=0 强制生成器在与创建图形相同的线程中运行。"最初的回答"

model.fit_generator(gen_data(), len(X_train)//batch_size, 1, validation_data=None, workers=0))

调试代码：

def gen_data():
    print ("-->",tf.get_default_graph())
    while True:
        for i in range(1):
            yield (np.random.randn(batch_size, num_steps, num_input), 
            np.random.randn(batch_size, num_steps, 8))

model = get_model()
print (tf.get_default_graph())
model.fit_generator(gen_data(), 8, 1)
print (tf.get_default_graph())

输出

<tensorflow.python.framework.ops.Graph object at 0x1228a5e80>
--><tensorflow.python.framework.ops.Graph object at 0x14388e5c0>
Epoch 1/1 
8/8 [==============================] - 4s 465ms/step - loss: 1.0198 - acc: 0.1575
<tensorflow.python.framework.ops.Graph object at 0x1228a5e80>

你可以看到图形对象是不同的。将workers=0设置为0会强制生成器以单线程方式运行。

使用

model.fit_generator(gen_data(), 8, 1, workers=0)

最初的回答

导致

<tensorflow.python.framework.ops.Graph object at 0x1228a5e80>
--> <tensorflow.python.framework.ops.Graph object at 0x1228a5e80>
Epoch 1/1
8/8 [==============================] - 4s 466ms/step - loss: 1.0373 - acc: 0.0975
<tensorflow.python.framework.ops.Graph object at 0x1228a5e80>

同一个单线程生成器可以访问同一个图形。

然而，为了启用多线程生成器，一种优雅的方法是将图形保存到主进程中的变量中，并将其传递给生成器，该生成器使用传递的图形作为默认图形。

最初的回答：

相同的单线程生成器具有访问同一图形的权限。

然而，为了实现多线程生成器，一种优雅的方法是将图形保存在创建图形的主进程中的变量中，并将其传递给生成器。这个生成器使用传递的图形作为默认图形。

- mujjiga

---

@MerklT，之前它在我的机器上运行正常，因为生成器在同一线程中运行。我已经更新了答案，强制它使用相同的线程。 - mujjiga