我打算将350M个预先计算好的双精度数字存储在一个二进制文件中，并在我的dll启动时将它们加载到内存中。有没有内置的方法可以并行加载它，或者我应该自己将数据分成多个文件，并自己处理多个线程？
回答评论：我将在足够强大的盒子上运行此dll，很可能只在64位机器上运行。因为所有对我的数字的访问都将通过属性进行，所以我可以将数字存储在几个数组中。
[更新]
大家好，谢谢回答！我期待在不同的盒子上进行很多基准测试。 关于需求：我想加快一个非常慢的计算速度，所以我要预先计算一个网格，将其加载到内存中，然后插值。
Stopwatch watch = Stopwatch.StartNew();
using (Storage<double> helper = new Storage<double>("Storage.bin"))
{
Console.WriteLine("初始化时间: {0}", watch.ElapsedMilliseconds);
string item;
long index;
Console.Write("要显示的项: ");
while (!string.IsNullOrWhiteSpace((item = Console.ReadLine())))
{
if (long.TryParse(item, out index) && index >= 0 && index < helper.Length)
{
watch.Reset();
watch.Start();
double value = helper[index];
Console.WriteLine("访问时间: {0}", watch.ElapsedMilliseconds);
Console.WriteLine("项: {0}", value);
}
else
{
Console.Write("无效的索引");
}
Console.Write("要显示的项: ");
}
}
更新：我添加了一个静态方法，将文件中的所有数据加载到数组中。显然，这种方法最初需要更多的时间（在我的笔记本电脑上需要1到2分钟），但之后的访问性能符合你对 .Net 的期望。如果您需要频繁访问数据，则此方法应该很有用。
使用方法非常简单：
double[] helper = Storage<double>.GetArray("Storage.bin");
希望这可以帮到你。
看起来很难将这个内容存储在连续的内存数组中，因此并行加载的方式取决于实际的数据结构。
（补充说明：LukeH 在评论中指出，CLR 中实际上存在一个 2GB 的硬性对象大小限制。详见这个其他 SO 问题。）
假设你要从一个磁盘中读取整个文件，将磁盘读取并行化可能不是一个好主意。如果您需要对数字进行处理或在加载后进行处理，您可能需要考虑同时并行运行这些操作。
如果您了解数据的一些信息，您可以发明一种编码方案，使数据更小（因此加载速度更快）。例如，如果值相互接近（例如想象描述正弦波的数据点-值从非常小到非常大范围，但每个值仅比上一个值略微增加），则可以使用浮点数表示“增量”，而不会损失原始双精度值的精度，将数据大小减半。如果数据具有对称性或重复性，则可以利用它（例如，想象存储描述整个圆的所有位置，与存储一个象限并使用一些简单且快速的数学方法反射它4次-这是将数据I/O减少四分之一的一种简单方法）。数据大小的任何减少都将导致相应的加载时间缩短。此外，许多这些方案都允许数据在RAM中保持“编码”，因此您将使用远少于RAM，但仍能够在需要时快速获取数据。
或者，您可以非常容易地使用通用压缩算法（例如Deflate）包装流。这可能行不通，但通常通过CPU解压缩数据的成本要低于通过加载较少源数据节省的I/O时间，因此结果是它加载速度显着更快。当然，还可以节省大量磁盘空间。
我认为这并不是一个好主意。350,000,000 * 8字节 = 2,800,000,000字节。即使你设法避免OutOfMemoryException，该进程仍然可能在页面文件中进行换入/换出操作。你可以把数据留在文件中，根据需要逐步加载较小的块。重要的是，仅仅因为你可以分配那么多内存，并不意味着你应该这样做。
通过适当的磁盘配置，将文件分割成多个跨磁盘文件可能是有意义的 - 并且在单独的线程中读取每个文件会很好地工作（如果您有一些条带化 - RAID什么的 :) - 那么从一个具有多个线程的单个文件中读取可能是有意义的）。
我认为，如果只使用单个物理磁盘，尝试这样做可能会徒劳无功。