我找不到一个好的问题标题，这就是我想做的：
最好的方法是什么？
更新：
我建议制作一个类，其中包含一个单线程队列，用于将图像（经过gzip压缩）倒入文件末尾，然后将文件偏移量/元信息保存到小型数据库（如sqlite）中。这样可以让您快速、紧密地存储所有文件，从多个线程中读取它们，并且无需处理任何文件系统的怪异之处（除了最大文件大小——可以通过具有一些额外元数据来处理它）。
File:
file.1.gzipack
Table:
compressed_files {
id,
storage_file_id,
storage_offset,
storage_compressed_length,
mime_type,
original_file_name
}
我会倾向于使用数据库，在C++中可以选择sqlite或couchDB。
这两个都可以在.NET中使用，但我不知道是否有更好的.NET专用替代方案。
即使在能够处理200,000个文件的目录的文件系统上，打开目录也需要很长时间。
编辑 - 数据库可能会更快！
文件系统不适用于大量小对象，而数据库则是如此。
它将实现各种聪明的缓存/事务策略，这些策略您从未考虑过。
有一些照片网站选择了文件系统而不是数据库。但它们大多在较大的块上进行读取，并且他们有很多专家来调整他们的服务器以针对这个特定应用程序。
唯一确定的方法是了解您的使用场景。
例如，文件的后续使用是否需要每次以100个文件为一组？如果是这样，将它们合并可能是有意义的。
无论如何，我建议先尝试制定一个简单的解决方案，只有在以后发现存在性能问题时才进行更改。
以下是我的建议：
我其实不使用.NET，所以不确定那里是否容易，但总的来说，我会提供两个建议。
如果你需要大量写入而很少读取（例如日志文件），你应该创建一个.zip文件或类似的文件（选择不会使性能过慢的压缩级别；在1-9评级中，5左右通常适用于我）。这给你带来了几个优势：你不会对文件系统造成太大的负担，你的存储空间被减少了，你可以自然地将文件分组为100或1000个块。
如果你需要大量写入和读取，可以定义自己的平面文件格式（除非你有读写.tar文件或类似文件的工具，或者欺骗并将二进制数据放入8位灰度TIFF中）。为每个头定义记录--可能是每个1024字节，其中包含文件偏移量、文件名和任何其他需要存储的内容--然后按块写入数据。当你需要读取一个块时，首先读取头（可能是100k），然后跳转到你需要的偏移量并读取所需的数量。固定大小头的优点是你可以在开头写入空数据，然后只需将新内容附加到文件末尾，然后返回并覆盖相应的记录。