我正在尝试处理一个包含约73亿行的CSV文件,
我将处理后的行存储到一个以字符串为键、元组为值的python collections.defaultdict中,但是将这个数据结构存储到字典中需要大约100秒来存储50K行。
我将CSV文件分块处理每50K行,以确保系统不会出现内存不足或避免磁盘溢出I/O交换操作。
随后,我将这些处理过的CSV文件加载到表中,并进行FULL OUTER JOIN以获取合并结果。
CSV ID、value的示例行:
"10203","http://google.com/goo.gl?key='universe'&value='somedata'"
数据结构:
dt = {'goog': [(10203, 1), ...}
基本上我正在尝试实现一个全文搜索功能的算法 - 为此,我需要维护每个4个字符部分中值的位置以及其关联的ID。