我希望应用词形还原来减少单词的屈折形式。我知道英语WordNet提供了这样的功能,但我也想将词形还原应用于荷兰语、法语、西班牙语和意大利语单词。是否有可靠和确认的方法来解决这个问题?谢谢!
我希望应用词形还原来减少单词的屈折形式。我知道英语WordNet提供了这样的功能,但我也想将词形还原应用于荷兰语、法语、西班牙语和意大利语单词。是否有可靠和确认的方法来解决这个问题?谢谢!
尝试使用CLIPS的pattern
库,该库支持德语、英语、西班牙语、法语和意大利语。正是您所需要的:http://www.clips.ua.ac.be/pattern
不幸的是,它仅适用于Python2,目前还没有提供对Python3的支持。
textacy库http://textacy.readthedocs.io/en/latest/api_reference.html提供了构建词袋或术语包的基本工具,其中包括将词形还原作为选项的一部分。我已经尝试过用西班牙语,效果还不错。
doc.to_bag_of_terms(ngrams=2, named_entities=True, lemmatize=True, as_strings=True)
该库会自动检测您所编写的语言并根据其进行词形还原,但您也可以在此指定。
import textacy
text = 'Los gatos y los perros juegan juntos en el patio de su casa'
doc = textacy.Doc(text, lang='es')
print(doc.to_bag_of_words(normalize='lemma', as_strings=True))