现在我们有一个包含100万条记录的Firebird数据库，必须在所有记录都加载到RAM内存后进行处理。为了获取所有记录，我们必须使用“select * first 1000 ...”语句提取数据长达8个小时。有什么解决方案吗？

我需要编写一个C++应用程序，可以读写大量数据（超过可用RAM），但始终以顺序方式进行。为了保持数据的易于记录和未来证明性，我使用Protocol Buffer。然而，Protocol buffer不能处理大量数据。我的先前解决方案是创建每个数据单元的一个文件（并将它们存储在一个目录中），但这...