我需要处理两个文本文件,每个文件大约1GB,并比较这些文件中的数据。我应该使用哪种数据结构来存储这些数据?使用字典/哈希表比较如此庞大的记录会导致内存不足异常。或者我应该将数据读取并存储在数据库中吗?
我需要处理两个文本文件,每个文件大约1GB,并比较这些文件中的数据。我应该使用哪种数据结构来存储这些数据?使用字典/哈希表比较如此庞大的记录会导致内存不足异常。或者我应该将数据读取并存储在数据库中吗?
从根本上说,对于这种类型的行为最好使用数据库,它们旨在处理如此多的数据,并且已经进行了更多的优化工作,以优化该方案中可能遇到的情况。
您也可以使用InProcess SQL(例如SqlLite)或NoSql场景(例如Raven或MongoDB)作为替代方案。
这是使用数据库的一个典型示例。根据您的结构,需要编写脚本来定义其布局以将值添加到数据库中。