我试图从一个文件中删除被spacy认为是命名实体的单词,基本上将字符串示例中的"Sweden"和"Nokia"移除。但是我无法解决实体被存储为span的问题。所以当将它们与spacy doc的单个标记进行比较时,会提示错误。
在后续步骤中,此过程应该是应用于存储在pandas数据帧中的多个文本文件的函数。
我希望能得到任何形式的帮助和建议,以便更好地发布问题,因为这是我在这里发布的第一个问题。
nlp = spacy.load('en')
text_data = u'This is a text document that speaks about entities like Sweden and Nokia'
document = nlp(text_data)
text_no_namedentities = []
for word in document:
if word not in document.ents:
text_no_namedentities.append(word)
return " ".join(text_no_namedentities)
它会产生以下错误:
类型错误:参数“other”的类型不正确(期望是spacy.tokens.token.Token,实际得到的是spacy.tokens.span.Span)