我是Hunspell的新手，正在使用hunspell包在Python 3.4上工作。我想知道是否有一种方法可以查看Hunspell中每个建议的分数，并选择一个割点（cut off），如果我们希望忽略得分不足相似单词分数的建议可能性？谢谢。
1个回答
0
Hunspell使用内部词典的形态学来返回有序建议。您可以修改内部词典以改变建议返回的方式。
一般来说，如果您想在运行Hunspell后对建议进行排名，您需要选择一个度量标准。个体令牌的常见度量标准包括Levenshtein和Hamming距离。这些度量标准衡量了每个建议与令牌之间的偏差程度。
现代方法可能会使用上下文推荐器，其中每个建议都会传递给语言模型（例如BERT或其他模型），得分是该单词在整个句子的上下文中出现的可能性。这些方法实现起来可能更昂贵，并且存在一些其他挑战（即确保语言模型的上下文是合适的）。
一般来说，如果您想在运行Hunspell后对建议进行排名，您需要选择一个度量标准。个体令牌的常见度量标准包括Levenshtein和Hamming距离。这些度量标准衡量了每个建议与令牌之间的偏差程度。
现代方法可能会使用上下文推荐器，其中每个建议都会传递给语言模型（例如BERT或其他模型），得分是该单词在整个句子的上下文中出现的可能性。这些方法实现起来可能更昂贵，并且存在一些其他挑战（即确保语言模型的上下文是合适的）。
- zwelz
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接