给定一个长度为s
的文档字符串和一个相同长度的语言掩码l
,我希望能够使用相应的spacy语言模型处理文档的每个部分(span
?)。
例如:
s = 'As one would say in German: Wie man auf englisch zu sagen pflegt'
l = ['en'] * 27 + ['de'] * 37
我想构建一个文档。
import spacy
nlp_de = spacy.load('de')
nlp_en = spacy.load('en')
d_de = nlp_de(u"".join([c for i,c in enumerate(s) if l[i] == "de"]))
d_en = nlp_en(u"".join([c for i,c in enumerate(s) if l[i] == "en"]))
现在,我需要将这两部分粘合起来。但不幸的是,spacy文档中包含有关词汇表的信息。这将导致歧义。
我该如何使用spacy对我的多语言文档进行建模?