现在已经移除的模块'nltk.model.NGramModel'是否有替代品?

12

我已经连续两天在寻找替代方案,但没有找到任何相关的内容。 基本上,我试图获得一个从语料库中选择的原始句子中通过替换某些单词而合成的句子的概率分数。

我尝试了Collocations,但是得到的得分并不是很有帮助。所以我尝试使用语言模型的概念,只发现似乎有用的“model”模块已经因为一些错误而从NLTK中删除了。

如果有人可以告诉我如何通过Python获取ngram模型实现的其他方式,或者更好地建议我解决“评分”句子的问题,那将非常棒。


我已手动下载了版本3.0a1(最后一个包含模型的版本),并在使用它时遇到些许困难。官方建议使用model分支中的最新版本,但我不知道如何使用它。所有在线获取完成任务的信息都是关于旧模型包3.0a1版本的,因此我决定继续使用它。我没有多少使用Python或nltk的经验,但我的印象是两者都更成熟,社区支持力度更强大。 - Trylks
1个回答

15
根据nltk存储库上的这个公开问题,由于一些错误,目前NGramModel不在主分支中。他们目前的解决方案是从model分支安装代码。但是那已经比主分支慢了大约8个月,因此您可能会错过其他功能和错误修复。

pip install https://github.com/nltk/nltk/tarball/model

相关代码在模型分支这里。如果您不想使用过时的分支,可以将其复制到本地代码中。如果您真的关心使用它,可以尝试修复未解决的错误并提交一个拉取请求。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接