spaCy的中等和大型词汇表可以为单词和短语生成向量。让我们考虑以下示例:
import spacy
nlp = spacy.load("en_core_web_md")
tokens = nlp("apple cat sky")
print(tokens.text, tokens.vector[:3], tokens.vector_norm) # Only the first three components of the vector
for token in tokens:
print(token.text, token.vector[:3], token.vector_norm)
输出:
apple cat sky [-0.06734333 0.03672066 -0.13952099] 4.845729844425328
apple [-0.36391 0.43771 -0.20447] 7.1346846
cat [-0.15067 -0.024468 -0.23368 ] 6.6808186
sky [ 0.31255 -0.30308 0.019587] 6.617719
很明显,词汇包含每个单词的向量,但是整个短语的向量是如何生成的?正如大家所见,这不仅仅是向量的简单加和。