ELMo - 如何训练可训练参数

Question

3

我刚接触tensorflow-hub，并发现了ELMo模型 (https://www.tensorflow.org/hub/modules/google/elmo/2)。

根据原始论文，ELMo表征是隐藏状态激活的加权平均值，这些权重可根据任务进行训练，即具体任务。如预期的那样，在使用tf.trainable_variables()时，我可以看到4个可训练参数。在tensorflow中，我应该如何准确地训练这些变量？

他们只提到这些权重是可训练的。但是谁来训练它？是我还是ELMo模型本身来训练它？该论文似乎暗示我应该训练它。如果是这样，那么我该如何在tensorflow中对其进行训练？

- Sujay S Kumar

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Andrey Khorlin · Accepted Answer

你可以通过将trainable=True的模块导入到模型中开始，然后像任何其他TF模型一样训练模型。在训练模型的过程中，导入模块的权重也将被训练。你还可以使用这个教程作为一个很好的起点，并用ELMo替换nnlm嵌入。