如何在TensorFlow嵌入层中使用FastText向量?

3
我很难找到如何在Keras/TensorFlow嵌入层中使用Fasttext词向量来处理OOV词汇。目前没有相关资料,希望有人能给我一些提示。
通过单词嵌入查找的方式是通过索引,例如tf.nn.embedding_lookup(word_embeddings, x)。
你可以为一个OOV设定一个索引,但是我该如何在运行时分配一个特定的向量(来自不同和自定义源,例如Fasttext)?
我想象中有一个函数可以为OOV单词的UNK索引自定义分配向量。
相关问题: 如何在预测期间为UNK标记分配自定义单词向量? 如何在单词嵌入层(Keras/TensorFlow)中使用Fasttext中OOV标记的子词信息?
1个回答

1

您可以在 TensorFlow 外部进行嵌入查找\计算,并将嵌入的文本用作模型的输入(因此,输入不再是单词索引序列,而是向量序列)。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接