SQLServer2005获取大数据集时内存不足的解决办法

今天在修改search的建立索引的程序的时候，发现了这个错误

使用jdbc读取SQLServer2005的一个表全部记录，该表具有10W记录，结果发生以下错误：

Java代码

1. com.microsoft.sqlserver.jdbc.SQLServerException: 系统内存不足。请对大型 ResultSet 使用服务器端游标: Java heap space。ResultSet 大小: 236 , 535 , 956 。JVM 总内存大小: 312 , 213 , 504 。   
2.     at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDriverError(Unknown Source)   
3.     at com.microsoft.sqlserver.jdbc.DBComms.receive(Unknown Source)   
4.     at com.microsoft.sqlserver.jdbc.SQLServerStatement.doExecuteStatement(Unknown Source)   
5.     at com.microsoft.sqlserver.jdbc.SQLServerStatement$StatementExecutionRequest.executeStatement(Unknown Source)   
6.     at com.microsoft.sqlserver.jdbc.CancelableRequest.execute(Unknown Source)   
7.     at com.microsoft.sqlserver.jdbc.SQLServerConnection.executeRequest(Unknown Source)   
8.     at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeQuery(Unknown Source)  

    com.microsoft.sqlserver.jdbc.SQLServerException: 系统内存不足。请对大型 ResultSet 使用服务器端游标: Java heap space。ResultSet 大小:236,535,956。JVM 总内存大小:312,213,504。
	at com.microsoft.sqlserver.jdbc.SQLServerException.makeFromDriverError(Unknown Source)
	at com.microsoft.sqlserver.jdbc.DBComms.receive(Unknown Source)
	at com.microsoft.sqlserver.jdbc.SQLServerStatement.doExecuteStatement(Unknown Source)
	at com.microsoft.sqlserver.jdbc.SQLServerStatement$StatementExecutionRequest.executeStatement(Unknown Source)
	at com.microsoft.sqlserver.jdbc.CancelableRequest.execute(Unknown Source)
	at com.microsoft.sqlserver.jdbc.SQLServerConnection.executeRequest(Unknown Source)
	at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeQuery(Unknown Source)

  

使用以下代码无效

Java代码

1. Statement stmt = con.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);   
2. stmt.setFetchSize( 100 );  

    Statement stmt = con.createStatement(ResultSet.TYPE_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(100);

  

查文档得知与sqlserver jdbc驱动的select Method有关。selectMethod分为direct和cursor。当使用direct时，驱动会一次性载入所有结果集到jvm内存中，因此造成了out of memory；而使用cursor时，会在服务器端创建一个cursor，因此不会占据客户端的大量内存，办法有两种：
[list=1]

使用如下代码

Java代码

1. Statement stmt = con.createStatement(SQLServerResultSet.TYPE_SS_SERVER_CURSOR_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);  

      Statement stmt = con.createStatement(SQLServerResultSet.TYPE_SS_SERVER_CURSOR_FORWARD_ONLY,ResultSet.CONCUR_READ_ONLY);
    

这种方式会造成SQLServer的API侵入，但不失为一种更好的办法。

SQLServer2005获取大数据集时内存不足的解决办法