有没有好的应用程序可以处理读取大型CSV文件?我处理的一些数据文件达到了1 GB的范围。它们的行数太多,Excel甚至无法处理。使用Access可能会有点慢,因为您必须将其导入数据库才能直接使用它们。是否有一种程序可以打开大型CSV文件并提供简单的电子表格布局,以帮助您轻松快速地浏览数据?
有没有好的应用程序可以处理读取大型CSV文件?我处理的一些数据文件达到了1 GB的范围。它们的行数太多,Excel甚至无法处理。使用Access可能会有点慢,因为您必须将其导入数据库才能直接使用它们。是否有一种程序可以打开大型CSV文件并提供简单的电子表格布局,以帮助您轻松快速地浏览数据?
LOAD DATA INFILE
命令快速将CSV文件导入到表中。它还可以直接从CSV文件中读取,绕过任何导入过程,使用CSV存储引擎。
使用LOAD DATA INFILE
将其导入到本地表中具有启动成本,但之后您可以更快地进行INSERT/UPDATE
,以及索引字段。使用CSV存储引擎几乎是瞬时的,但只有顺序扫描会很快。
更新:这篇文章(向下滚动到标题为Instant Data Loads的部分)介绍了使用两种方法将CSV数据加载到MySQL中,并提供了示例。
我发现reCSVeditor是一个非常适合编辑大型CSV文件的程序。它非常适合剥离不必要的列。我已经很容易地使用它来处理100万条记录的文件。
vEdit非常适合这个需求。我经常使用它打开100+兆的文件(虽然你说可以处理1G,但他们在网站上宣传可以处理两倍大小的文件)。它支持正则表达式和许多其他功能。70美元对于你可以用它做的事情来说很便宜。
如果您不需要真正的电子表格静态字段大小视图,GVim可以免费处理大文件。
from augustus.kernel.unitable import *
a = UniTable().from_csv_file('filename')
b = a.subtbl(a['key'] == some_value) #creates a subtable
它不会直接给你一个类似Excel的界面,但是通过一点点的努力,你可以快速地得到许多统计数据。
这取决于您实际想要用数据做什么。像那样的大型文本文件通常只需要一小部分数据,因此不要忽视像“grep”这样的工具,以便提取您想查找和处理的内容。