https://spacy.io/models/en#en_vectors_web_lg表示该模型包含1.1M个键,而https://nlp.stanford.edu/projects/glove/表示Glove向量包含2.2M个词汇。
我可以知道缺少哪些词汇吗?
非常感谢。
https://spacy.io/models/en#en_vectors_web_lg表示该模型包含1.1M个键,而https://nlp.stanford.edu/projects/glove/表示Glove向量包含2.2M个词汇。
我可以知道缺少哪些词汇吗?
非常感谢。
import spacy
nlp = spacy.load('en_vectors_web_lg')
spacy_words = [word for word in nlp.vocab.strings]
glove_filename = 'glove.840B.300d.txt'
glove_words = [line.split()[0].decode('utf-8') for line in open(glove_filename)]
然后检查集合差异,以获取“缺失”的单词:
>>> list(set(glove_words) - set(spacy_words))[:10]
[u'Inculcation', u'Dholes', u'6-night', u'AscensionMidkemia',
u'.90.99', u'USAMol', u'USAMon', u'Connerty', u'RealLife',
u'NaughtyAllie']
>>> list(set(spacy_words) - set(glove_words))[:10]
[u'ftdna', u'verplank', u'NICARIO', u'Plastic-Treated', u'ZAI-TECH',
u'Lower-Sulfur', u'desmonds', u'KUDNER', u'berlinghoff', u'50-ACRE']
缺失的单词数量超过了220万 - 110万 ~ 110万个:
>>> len(set(glove_words) - set(spacy_words))
1528158
nlp.vocab.strings
和nlp.vocab.vectors
之间存在差异。您可以使用向量对象从中加载单词。vector_words = []
for key, vector in nlp.vocab.vectors.items():
try:
vector_words.append(nlp.vocab.strings[key])
except KeyError:
pass
(关于try/except: 对于我来说,不清楚为什么vocab.strings
中缺少某些键)
使用此列表,您将获得:
>>> list(set(glove_words) - set(vector_words))[:10]
[u'Inculcation', u'Dholes', u'6-night', u'AscensionMidkemia', u'.90.99',
u'USAMol', u'USAMon', u'Connerty', u'RealLife', u'NaughtyAllie']
更新:有关词汇差异的问题已在此处提出:https://github.com/explosion/spaCy/issues/1985。