我正在使用C#读取一个大约120 MB的纯文本CSV文件。最初，我通过逐行读取来解析它，但最近发现先将整个文件内容读入内存会快多次。由于CSV中有嵌在引号内的逗号，这意味着我必须使用正则表达式进行分割，因此解析已经相当慢了。下面是唯一一个可靠的正则表达式：
string[] fields = Regex.Split(line,
@",(?!(?<=(?:^|,)\s*\x22(?:[^\x22]|\x22\x22|\\\x22)*,)
(?:[^\x22]|\x22\x22|\\\x22)*\x22\s*(?:,|$))");
// from http://regexlib.com/REDetails.aspx?regexp_id=621
为了在将整个内容读入内存后进行解析，我使用换行符对字符串进行拆分，以获取包含每行的数组。然而，当我在120MB文件上执行此操作时，会出现System.OutOfMemoryException。为什么我的计算机有4GB RAM，但它很快就会耗尽内存？有没有更好的方法来快速解析复杂的CSV文件？
StringReader reader = new StringReader(fileContents);
string line;
while ((line = reader.ReadLine()) != null) {
// Process line
}
这应该与从文件流式传输大致相同，唯一的区别在于内容已经在内存中。
测试后编辑
我尝试了上述方法处理一个140MB的文件，其中处理过程包括将行长度变量递增line.Length。这在我的电脑上耗时约1.6秒。此后，我尝试了以下操作：
System.IO.StreamReader reader = new StreamReader("D:\\test.txt");
long length = 0;
string line;
while ((line = reader.ReadLine()) != null)
length += line.Length;
结果大约为1秒钟。
当然，你的情况可能会有所不同，特别是如果你从网络驱动器读取或者处理时间足够长以至于硬盘需要寻找其他地方。但是，如果你正在使用FileStream读取文件并且没有缓冲，则也可能会有所不同。StreamReader提供了缓冲，这可以极大地增强读取能力。
您可能无法分配如此大的连续内存块，也不应该期望能够这样做。流式传输是处理此类问题的常规方式，但您说得对，它可能会慢一些（虽然我认为通常不应该慢那么多）。
为了达成折中方案，您可以尝试使用像StreamReader.ReadBlock()这样的功能一次读取文件的较大部分（但仍不是整个文件），并依次处理每个部分。
while(! file.eof() )
{
string line = file.ReadLine();
ProcessLine(line);
}
你应该将一块数据读入缓冲区并对其进行处理。然后再读取另一块数据，以此类推。
有许多库可以高效地为您完成这项工作。我维护了一个名为CsvHelper的库。您需要处理很多边缘情况，例如当逗号或行结束符在字段中间时。
你应该尝试使用CLR分析器来确定你的实际内存使用情况。可能存在除了系统RAM之外的内存限制。例如，如果这是一个IIS应用程序，则你的内存受应用程序池的限制。
通过这个分析信息，你可能会发现需要使用更可扩展的技术，比如最初尝试的CSV文件流式传输。
你的内存不足是在栈上，而不是堆上。
你可以尝试重新设计你的应用程序，使得你可以将输入数据分成更易处理的“块”，而不是一次性处理120MB。
我同意这里的大多数人，你需要使用流式处理。
我不知道是否有人已经说过了，但你应该看一下扩展方法。
而且我知道，毫无疑问，.NET / CLR 上最好的 CSV 分割技术是this one。
那种技术让我从输入的 CSV 中生成了超过 10GB 的 XML 输出，包括广泛的输入过滤器等等，比我见过的任何其他技术都要快。