我一直在使用 Ruby Classifier library 来进行 隐私政策分类。我得出的结论是,这个库内置的简单词袋方法不够。为了提高分类准确性,我想训练分类器来处理 n-grams,除了单独的单词。
我想知道是否有一个库可以对文档进行预处理,以获取相关的 n-grams(并正确处理标点符号)。一个想法是,我可以预处理文档,并将伪-ngrams 提供给 Ruby Classifier,例如:
我想知道是否有一个库可以对文档进行预处理,以获取相关的 n-grams(并正确处理标点符号)。一个想法是,我可以预处理文档,并将伪-ngrams 提供给 Ruby Classifier,例如:
或者也许有更好的方法来做到这一点,比如一个从一开始就具有基于 ngram 的朴素贝叶斯分类的库。如果需要,我可以使用其他语言(如果它们能完成任务,则 Python 似乎是一个好选择)。wordone_wordtwo_wordthree
word_tokenize
,否则它会按字母进行分割 :) - Ben G