我有一张非常大的表，每天都会有几百万条记录，每天结束时我都会提取前一天的所有记录。我是这样做的：
String SQL = "select col1, col2, coln from mytable where timecol = yesterday";
Statement.executeQuery(SQL);
问题在于这个程序需要使用2GB内存，因为它将所有结果都加载到内存中进行处理。
我尝试设置了Statement.setFetchSize(10)，但它从操作系统中占用的内存量完全相同，没有任何区别。我正在使用Microsoft SQL Server 2005 JDBC Driver。
是否有办法像Oracle数据库驱动程序一样，在执行查询时分批读取结果，仅显示少量行，并随着向下滚动显示更多结果？
setFetchSize(int)方法对于控制JVM从数据库获取数据的网络调用次数以及ResultSet处理所使用的RAM量非常重要。ResultSet.next()下面发生的事情是，它实际上并不逐行从结果集中提取数据。它从（本地）行集中提取数据，并在本地客户端用完时从服务器中不可见地提取下一个行集。fetchSize参数是对JDBC驱动程序的提示，表示从数据库中一次获取多少行数据。但驱动程序可以选择忽略该提示并执行其认为合适的操作。一些驱动程序（例如Oracle）会分批获取行，因此您可以读取非常大的结果集而不需要大量内存。其他驱动程序则只会一次性读取整个结果集，我猜想您的驱动程序就是这样做的。您需要确保连接上的自动提交已关闭，否则设置setFetchSize将没有效果。
dbConnection.setAutoCommit(false);
编辑：记得当我使用这个修复程序时，它是针对Postgres的，但希望它仍然适用于SQL Server。
Statement接口 文档
摘要：
void setFetchSize(int rows)给JDBC驱动程序一个提示，告诉它在需要更多行时从数据库中获取的行数。
阅读本电子书 J2EE和更多（作者：Art Taylor）
听起来您想在查询中限制返回的行数并分页显示结果。如果是这样，您可以像下面这样做：
select * from (select rownum myrow, a.* from TEST1 a )
where myrow between 5 and 10 ;
我在一个项目中遇到了完全相同的问题。问题在于，即使获取大小足够小，JDBCTemplate仍然会读取查询结果的所有内容，并将其映射到一个巨大的列表中，可能会耗尽内存。最终，我扩展了NamedParameterJdbcTemplate以创建一个函数，该函数返回一个对象流。该流基于JDBC通常返回的ResultSet，但仅在流需要时从ResultSet中提取数据。如果您不保留此流产生的所有对象的引用，则此方法可行。我在实现上受到了org.springframework.jdbc.core.JdbcTemplate#execute(org.springframework.jdbc.core.ConnectionCallback)的启发。唯一的真正区别在于如何处理ResultSet。最终，我编写了这个函数来包装ResultSet：
private <T> Stream<T> wrapIntoStream(ResultSet rs, RowMapper<T> mapper) {
CustomSpliterator<T> spliterator = new CustomSpliterator<T>(rs, mapper, Long.MAX_VALUE, NON-NULL | IMMUTABLE | ORDERED);
Stream<T> stream = StreamSupport.stream(spliterator, false);
return stream;
}
private static class CustomSpliterator<T> extends Spliterators.AbstractSpliterator<T> {
// won't put code for constructor or properties here
// the idea is to pull for the ResultSet and set into the Stream
@Override
public boolean tryAdvance(Consumer<? super T> action) {
try {
// you can add some logic to close the stream/Resultset automatically
if(rs.next()) {
T mapped = mapper.mapRow(rs, rowNumber++);
action.accept(mapped);
return true;
} else {
return false;
}
} catch (SQLException) {
// do something with this Exception
}
}
}
你可以添加一些逻辑使得该流变为“可自动关闭”，否则在完成后不要忘记关闭它。
试试这个：
String SQL = "select col1, col2, coln from mytable where timecol = yesterday";
connection.setAutoCommit(false);
PreparedStatement stmt = connection.prepareStatement(SQL, SQLServerResultSet.TYPE_SS_SERVER_CURSOR_FORWARD_ONLY, SQLServerResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(2000);
stmt.set....
stmt.execute();
ResultSet rset = stmt.getResultSet();
while (rset.next()) {
// ......