我想建立一个API,让程序提交学术论文的“指纹”,与Open Access期刊文章数据库进行匹配,如果找到,则向用户发送规范引用信息。最初,这将是针对特定的小型研究领域,因此成功并不一定需要处理2000万篇论文(即使涵盖了该领域中最常引用的1000篇论文,也将对生产力和协作产生巨大的帮助)。
我想知道哪个库(最好能与Ruby接口)最适合做这种“指纹识别”。我看过Lucene的模糊匹配,但那似乎只在单词级别上工作,而在这种情况下,我们可能需要提交更大的文档子集。使用模糊匹配的原因是有些人可能有一个Word.doc预印本,有些人可能有最终的PDF等。
我非常感激这里的一些想法。通过谷歌搜索“感知哈希”让我进入了一堆新材料。我试图在这里总结了我的许多发现。