我需要将一个巨大的文件分割成许多较小的文件。每个目标文件由偏移量和长度来定义，表示为字节数。我正在使用以下代码：
private void copy(string srcFile, string dstFile, int offset, int length)
{
BinaryReader reader = new BinaryReader(File.OpenRead(srcFile));
reader.BaseStream.Seek(offset, SeekOrigin.Begin);
byte[] buffer = reader.ReadBytes(length);
BinaryWriter writer = new BinaryWriter(File.OpenWrite(dstFile));
writer.Write(buffer);
}
考虑到我需要调用此函数大约 100,000 次，它的速度非常慢。
public static void CopySection(Stream input, string targetFile, int length)
{
byte[] buffer = new byte[8192];
using (Stream output = File.OpenWrite(targetFile))
{
int bytesRead = 1;
// This will finish silently if we couldn't read "length" bytes.
// An alternative would be to throw an exception
while (length > 0 && bytesRead > 0)
{
bytesRead = input.Read(buffer, 0, Math.Min(length, buffer.Length));
output.Write(buffer, 0, bytesRead);
length -= bytesRead;
}
}
}
public static void CopySection(Stream input, string targetFile,
int length, byte[] buffer)
{
using (Stream output = File.OpenWrite(targetFile))
{
int bytesRead = 1;
// This will finish silently if we couldn't read "length" bytes.
// An alternative would be to throw an exception
while (length > 0 && bytesRead > 0)
{
bytesRead = input.Read(buffer, 0, Math.Min(length, buffer.Length));
output.Write(buffer, 0, bytesRead);
length -= bytesRead;
}
}
}
BufferedStream。Math.Min 是否会更快？或者更好的方法是删除长度参数，因为它可以通过缓冲区计算得出？抱歉挑剔并且发表迟来的评论！提前致谢。 - Smudge202在C#中进行文件I/O的最快方法是使用Windows的ReadFile和WriteFile函数。我编写了一个C#类，封装了这种能力以及一个基准测试程序，研究了不同的I/O方法，包括BinaryReader和BinaryWriter。请参阅我的博客文章：
http://designingefficientsoftware.wordpress.com/2011/03/03/efficient-file-io-from-csharp/
length有多大？您最好重复使用一个固定大小（适度大但不过分）的缓冲区，而忘记BinaryReader...只需使用Stream.Read和Stream.Write。
(编辑) 类似于：
private static void copy(string srcFile, string dstFile, int offset,
int length, byte[] buffer)
{
using(Stream inStream = File.OpenRead(srcFile))
using (Stream outStream = File.OpenWrite(dstFile))
{
inStream.Seek(offset, SeekOrigin.Begin);
int bufferLength = buffer.Length, bytesRead;
while (length > bufferLength &&
(bytesRead = inStream.Read(buffer, 0, bufferLength)) > 0)
{
outStream.Write(buffer, 0, bytesRead);
length -= bytesRead;
}
while (length > 0 &&
(bytesRead = inStream.Read(buffer, 0, length)) > 0)
{
outStream.Write(buffer, 0, bytesRead);
length -= bytesRead;
}
}
}
如果你正在写入到不同的文件中，你是否考虑使用CCR呢？因为CCR可以让你并行处理读写操作，并且使用CCR非常容易实现这一点。
static void Main(string[] args)
{
Dispatcher dp = new Dispatcher();
DispatcherQueue dq = new DispatcherQueue("DQ", dp);
Port<long> offsetPort = new Port<long>();
Arbiter.Activate(dq, Arbiter.Receive<long>(true, offsetPort,
new Handler<long>(Split)));
FileStream fs = File.Open(file_path, FileMode.Open);
long size = fs.Length;
fs.Dispose();
for (long i = 0; i < size; i += split_size)
{
offsetPort.Post(i);
}
}
private static void Split(long offset)
{
FileStream reader = new FileStream(file_path, FileMode.Open,
FileAccess.Read);
reader.Seek(offset, SeekOrigin.Begin);
long toRead = 0;
if (offset + split_size <= reader.Length)
toRead = split_size;
else
toRead = reader.Length - offset;
byte[] buff = new byte[toRead];
reader.Read(buff, 0, (int)toRead);
reader.Dispose();
File.WriteAllBytes("c:\\out" + offset + ".txt", buff);
}
offset = 1234, length = 34
offset = 1300, length = 40
offset = 1350, length = 1000
可以归为一次读取：
offset = 1234, length = 1074
然后，您只需在缓冲区中“查找”，就可以从中写入三个新文件，而无需再次读取。
我建议的第一件事是进行测量。你在哪里浪费了时间？是在读取还是写入上？
超过100,000次访问（总计时间）： 分配缓冲区数组花费了多少时间？ 打开文件进行读取花费了多少时间（每次都是同一个文件吗？） 读取和写入操作花费了多少时间？
如果您没有对文件进行任何类型的转换，您是否需要BinaryWriter，还是可以使用filestream进行写入？（尝试一下，您是否获得相同的输出？是否节省时间？）
使用FileStream + StreamWriter，我知道可以在很短的时间内创建大文件（少于1分30秒）。我使用这种技术从一个文件生成三个总计700多兆字节的文件。
你使用的代码的主要问题是每次都打开一个文件。这会创建文件I/O开销。
如果您提前知道要生成的文件的名称，可以将File.OpenWrite提取到单独的方法中；这将增加速度。没有看到确定如何拆分文件的代码，我认为您无法获得更快的速度。