Python接口与ARPA文件

10

我正在寻找一个Python接口来加载ARPA文件(回退语言模型),并使用它们评估一些文本,例如获取其对数概率、困惑度等。

我不需要在Python中生成ARPA文件,只需要用它来查询。

是否有推荐的软件包? 我已经看到了kenlmswig-srilm,但第一个在Windows上设置非常困难,第二个似乎不再维护。

2个回答

4
我发现一个很好的正在开发中的包,叫做pynlpl,它完全符合我的需求,依赖很少(仅需要libxml2),并且它为ARPA文件提供了纯Python实现。

2

ARPA包怎么样?

它相当轻巧。它的API也相当直观易学。虽然不如kenlm快,但你仍然可以尝试一下。

https://pypi.org/project/arpa/


1
这是一个相当新的软件包,可能也很不错。 - Beka

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接