我有一组输入集,每个元素由最多50个字符组成。可以将其视为一个具有varchar(50)列的数据库表格,每行表示一个输入集。列数通常在5-8范围内。行数通常约为200-300万,但可能高达1.5亿。每个列必须具有非空值。让我们称此表为T,每行为RT。
我有第二组输入,表示匹配模式。与原始输入类似,它也可以被视为一个具有相同固定列数的数据库表(加上匹配目标的元数据,但该部分不相关)。但是,这次只有一个列必须具有值,但任何一个都可以为空。让我们称此表为M,每行为RM。此表的典型大小为4000-5000行,但可能高达40,000。
任务是对于每个RT,我们必须找到匹配的RM。以下是给定RT的匹配规则:
1.如果RM的所有元素与RT中的相应元素相同,则会进行匹配(字符串完全匹配被视为相同)。如果RM中的元素为空,则不检查RT是否匹配。 2.只有一个匹配是可能的。如果识别出多个匹配,则最长的RM被认为是正确的。多个RM长度相同的情况可以忽略。我们只选择识别的第一个。
代码将在具有4 GB RAM的典型Windows客户端上运行。因此,MT可以保存在内存中,但T不能。
我正在寻找一种减少比较次数的技术。更具体地说,您是否知道一种技术,可以针对给定的RT检查整个MT。如果没有,处理此问题的最有效方法是什么?
这将在.NET中编码,并且非常感谢.NET的任何现有代码或库。
谢谢,
Kemal
注意:
1.这不是作业。我毕业已经20年了 :)
2.有一个带有正则表达式RM的变体。但是,对于当前版本,与简单字符串等价的匹配就足够了。
3.以下是一些示例:
RT = { A,B,C,D,E }
RM1 = { A,,,, } RM2 = { A,B,,, } RM3 = {A,,,D,E}
对于此RT,所有这些都匹配。但由于规则2,我们选择RM3作为匹配项。希望这个例子可以澄清。
我有第二组输入,表示匹配模式。与原始输入类似,它也可以被视为一个具有相同固定列数的数据库表(加上匹配目标的元数据,但该部分不相关)。但是,这次只有一个列必须具有值,但任何一个都可以为空。让我们称此表为M,每行为RM。此表的典型大小为4000-5000行,但可能高达40,000。
任务是对于每个RT,我们必须找到匹配的RM。以下是给定RT的匹配规则:
1.如果RM的所有元素与RT中的相应元素相同,则会进行匹配(字符串完全匹配被视为相同)。如果RM中的元素为空,则不检查RT是否匹配。 2.只有一个匹配是可能的。如果识别出多个匹配,则最长的RM被认为是正确的。多个RM长度相同的情况可以忽略。我们只选择识别的第一个。
代码将在具有4 GB RAM的典型Windows客户端上运行。因此,MT可以保存在内存中,但T不能。
我正在寻找一种减少比较次数的技术。更具体地说,您是否知道一种技术,可以针对给定的RT检查整个MT。如果没有,处理此问题的最有效方法是什么?
这将在.NET中编码,并且非常感谢.NET的任何现有代码或库。
谢谢,
Kemal
注意:
1.这不是作业。我毕业已经20年了 :)
2.有一个带有正则表达式RM的变体。但是,对于当前版本,与简单字符串等价的匹配就足够了。
3.以下是一些示例:
RT = { A,B,C,D,E }
RM1 = { A,,,, } RM2 = { A,B,,, } RM3 = {A,,,D,E}
对于此RT,所有这些都匹配。但由于规则2,我们选择RM3作为匹配项。希望这个例子可以澄清。
- 实际上,T数据并没有存储在数据库中。它以多种格式存在,包括Excel、文本、XML和一些统计软件原生数据文件。我们有一个数据管道结构,可以动态读取其原始格式的数据并保持游标。RT是该游标的一部分,仅仅是一个字符串数组。