我正在用Python编写一个文本分类系统。这是我规范化每个标记的方法:
lem, stem = WordNetLemmatizer(), PorterStemmer()
for doc in corpus:
for word in doc:
lemma = stem.stem(lem.lemmatize(word))
我不想只进行词形还原的原因是我注意到
WordNetLemmatizer
没有处理一些常见的屈折变化。例如,在副词的情况下,lem.lemmatize('walking')
会返回walking
。同时进行词干提取和词形还原明智吗?还是重复了?研究人员通常只做其中之一而不是两者都做吗?