我需要从一段文本中提取“标签”列表。大部分很简单。然而,我现在需要帮助来对结果词汇表进行词干提取以避免重复。例如:Community / Communities。
我已经使用了Porter Stemmer算法的实现(顺便说一下,我是用PHP编写的)。
我尝试过“Snowball”(在另一个Stack Overflow线程中建议使用)。
我已经使用了Porter Stemmer算法的实现(顺便说一下,我是用PHP编写的)。
http://tartarus.org/~martin/PorterStemmer/php.txt
这个方法有一定效果,但是不能返回“真实”的单词。上面的例子被截断成了“commun”。我尝试过“Snowball”(在另一个Stack Overflow线程中建议使用)。
http://snowball.tartarus.org/demo.php
对于我的示例(社区/社区),Snowball的词干是“communiti”。
问题
是否有其他可以做到这一点的词干算法?有其他人解决了这个问题吗?
我目前的想法是,我可以使用一个词干算法来避免重复,并选择遇到的最短单词作为要显示的实际单词。