我正在使用NLTK处理从PDF文件中提取的一些文本。我可以基本完整地恢复文本,但有许多实例中单词之间的空格没有被捕获,因此我得到像
我的问题是:我如何使用NLTK查找它无法识别/尚未学习的单词,并查看是否有“附近”的单词组合更有可能发生?实现这种检查的更加优雅的方法是否存在,而不仅仅是逐个字符地遍历未识别的单词,分割它并查看它是否构成两个可识别的单词?
ifI
而不是if I
,或者thatposition
而不是that position
,或者andhe's
而不是and he's
这样的单词。我的问题是:我如何使用NLTK查找它无法识别/尚未学习的单词,并查看是否有“附近”的单词组合更有可能发生?实现这种检查的更加优雅的方法是否存在,而不仅仅是逐个字符地遍历未识别的单词,分割它并查看它是否构成两个可识别的单词?