我有一个问题,涉及到整合不同的数据集和引用相同实体(通常是公司或金融证券)的头信息。这个记录链接通常涉及到头信息,其中名称是唯一的主要标识符,但通常会提供一些次要信息(例如城市和州、运营日期、相对规模等)。这些匹配通常是一对多的,但也可能是一对一甚至多对多的。我通常通过手工或基本文本比较已清理的子字符串来完成此匹配。我偶尔使用简单的匹配算法,如Levenshtein距离测量,但没有得到太多结果,部分原因是我没有一个好的正式方法来应用它。
我的猜测是这是一个相当普遍的问题,必定有一些正式的流程已经被开发出来来解决这种类型的问题。我读了一些关于该主题的学术论文,涉及给定方法的理论适当性,但我没有找到任何好的资源来讲解配方或至少是实用框架。
我的问题如下:
我的猜测是这是一个相当普遍的问题,必定有一些正式的流程已经被开发出来来解决这种类型的问题。我读了一些关于该主题的学术论文,涉及给定方法的理论适当性,但我没有找到任何好的资源来讲解配方或至少是实用框架。
我的问题如下:
是否有人知道实现多维模糊记录匹配的好资源,如书籍、网站或已发布的文章或工作论文?
我希望它有实际的例子和明确的方法。
该方法可以是迭代的,中间阶段需要人工检查以改进。
(编辑)链接数据用于统计分析。因此,一些噪音是可以接受的,但更少的“错误匹配”优于更少的“错误未匹配”。
如果使用Python就太棒了,但不是必需的。