使用LSTM和词嵌入防止文本分类中的过拟合
目标： 使用用户输入的问题（如问答系统）识别类别标签。 从大型PDF文件中提取数据，并根据用户输入来预测页码。 主要用于政策文件，用户对政策有疑问并需要显示特定页面编号。 之前的实现： 应用了弹性搜索，但精度非常低，因为用户输入任何文本，如“我需要”=“想要”。 数据集信息：...
在Keras中使用预训练的gensim Word2vec嵌入
我已经在gensim中训练了word2vec。在Keras中，我想使用它来使用该单词嵌入制作句子矩阵。由于存储所有句子的矩阵会占用很多空间和内存，因此我想在Keras中创建嵌入层以实现这一点，以便可以在后续层（LSTM）中使用它。您能详细告诉我如何做到这一点吗？ PS：与其他问题不同，因为我...
句子编码和上下文化词嵌入有何区别？
我在阅读有关BERT和ELMo的论文时，看到过这两个术语的使用，因此我想知道它们之间是否存在区别。
在Tensorflow中，仅更新单词嵌入矩阵的某一部分
假设我想在训练期间更新预先训练的单词嵌入矩阵，有没有一种方法只更新单词嵌入矩阵的子集？ 我查看了Tensorflow API页面，并找到了这个：# Create an optimizer. opt = GradientDescentOptimizer(learning_rate=0.1) ...
如何将单词嵌入向量合并为一个向量？
我完全了解词嵌入（skip-gram，CBOW）的含义和方法。我知道，Google有一个word2vector API，通过获取单词可以生成向量。 但我的问题是：我们有一个从句，包括主语、宾语、动词……每个单词都是由Google API预先嵌入的，现在“我们如何将这些向量组合在一起，以创建等于...
使用spaCy将单词向量映射到最相似/最接近的单词
我在使用spaCy作为主题建模解决方案的一部分，并且我有这样一种情况：需要将派生的词向量映射到单词向量词汇表中“最接近”或“最相似”的单词。 我看到gensim有一个函数（WordEmbeddingsKeyedVectors.similar_by_vector）可以计算这个，但我想知道spa...
如何将FastText模型保存为vec格式？
我使用Python中的fasttext.train_unsupervised()函数来训练我的无监督模型。由于我将在fasttext.train_supervised()函数的pretrainedVectors参数中使用此文件，因此我希望将其保存为vec文件。但是，我在创建这个vec文件时遇到...
BERT中的TokenEmbeddings是如何创建的？
在描述BERT的论文中，有关于WordPiece嵌入的段落。 我们使用WordPiece嵌入（Wu等人，2016）和一个30,000个标记的词汇表。每个序列的第一个标记始终是特殊分类标记([CLS])。对应于此标记的最终隐藏状态用作分类任务的聚合序列表示。句子对被打包成单个序列。我们通过两种...
Bigram向量表示使用word2vec技术
我想使用word2vec工具为文档构建单词嵌入。我知道如何找到与单个单词（unigram）对应的向量嵌入。现在，我想找到一个bigram的向量。是否可以使用word2vec构建bigram单词嵌入？如果可以，如何操作？
为什么在使用点积相似度进行训练的Word2Vec中要使用余弦相似度？
根据我在stackoverflow上发现的几篇文章（例如这个为什么word2vec使用余弦相似度？），在训练完word2vec（CBOW或Skip-gram）模型后，通常惯用余弦相似度来计算两个单词向量之间的相似性。但是，这对我来说似乎有点奇怪，因为该模型实际上是使用点积作为相似性得分进行训练...