Mybatis游标查询大量数据方式

更新时间：2022年02月07日 16:50:27 作者：绊脚石0320

这篇文章主要介绍了Mybatis游标查询大量数据方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

Mybatis游标查询大量数据

对大量数据进行处理时，为防止内存泄漏情况发生，所以采用mybatis plus游标方式进行数据查询处理，当查询百万级的数据的时候，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理

mapper层

使用Cursor类型进行数据接收
@Options，fetchSize设置为Integer最小值
@Select，写查询sql

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
@Select("select domain from illegal_domain where icpstatus != #{icpstatus}")
Cursor<IllegalDomain> getDayJobDomain(@Param("icpstatus") Integer icpstatus);

service层

Cursor<IllegalDomain> domainList = illegalDomainMapper.getDayJobDomain(1);

数据处理

forEach方式

domainList.forEach(illegalDomain -> {
    //处理逻辑，根据业务需求自行完成
    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
});

迭代器

Iterator<IllegalDomain> iter = domainList.iterator();
while (iter.hasNext()) {
    <!--// Fetch next 10 employees-->
    <!--for(int i = 0; i<10 && iter.hasNext(); i++) {-->
    <!--    smallChunk.add(iter.next());-->
    <!--}-->
    
    //处理逻辑，根据业务需求自行完成
    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
}

资源释放

使用完毕后，在finally块释放资源，否则游标不关闭也可能会导致内存溢出问题

try{
    //your code
    
} catch (Exception e) {
    log.error(e);
} finally {
    if(null != domainList){
        try {
            domainList.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Mybatis游标使用总结

当查询百万级的数据的时候，查询出所有数据并放入内存中时会发生OOM(OutOfMemoryException)，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理，在此场景下就可以使用游标的概念来解决这个问题。

什么是游标

游标（Cursor）是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。

Demo：

// 第一种
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
List<DepartmentEntity> queryDepartmentAll();
 
// 第二种 在Mybatis-3.4.0版本中，不支持@select注解，在3.4.1版本中已经修复：
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
Cursor<Employee> cursorQueryDepartmentAll();

@Service
public class DepartmentServiceImpl implements DepartmentService { 
    private static final Logger LOG = LoggerFactory.getLogger(DepartmentServiceImpl.class);
 
    @Autowired
    private DepartmentDao departmentDao;
 
    @Autowired
    private SqlSessionTemplate sqlSessionTemplate; 
    public List<DepartmentDTO> getDepartmentList(DepartmentSearchParam param) {
        Cursor<Object> cursor = null;
        SqlSession sqlSession = null;
        try {
            sqlSession = sqlSessionTemplate.getSqlSessionFactory().openSession();
            cursor = sqlSession.selectCursor(DepartmentDao.class.getName() + ".queryDepartmentAll");
            cursor.forEach(e -> {
                // 处理逻辑
            });
           // 也可以使用迭代器：Iterator<Object> iterator = cursor.iterator();
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (null != cursor) {
                try {
                    cursor.close();
                } catch (Exception e) {
                    LOG.error(e.getMessage(), e);
                }
            }
            if (null != sqlSession) {
                try {
                    sqlSession.close();
                } catch (Exception e) {
                    LOG.error(e.getMessage(), e);
                }
            }
        }
    }
}

ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。
ResultSet.TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动，当数据库变化时，当前结果集不变。
ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集，当数据库变化时，当前结果集同步改变。

注意：游标是可以前后移动的。如果resultSetType = TYPE_SCROLL_INSENSITIVE ，就是设置游标就可以前后移动。

Mybatis为了保证可以前后移动，Mybatis会把之前查询的数据一直保存在内存中。

所以并不能根本解决OOM，所以我们这里需要设置为@Options(resultSetType = ResultSetType.FORWARD_ONLY)(其实默认就是ResultSetType.FORWARD_ONLY)

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

基于Socket类以及ServerSocket类的实例讲解
下面小编就为大家带来一篇基于Socket类以及ServerSocket类的实例讲解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2017-09-09
MyBatis中insert操作返回主键的实现方法
在使用MyBatis做持久层时，insert语句默认是不返回记录的主键值，而是返回插入的记录条数。这篇文章主要介绍了MyBatis中insert操作返回主键的方法,需要的朋友可以参考下
2016-09-09
java中JsonObject与JsonArray转换方法实例
在项目日常开发中常常会遇到JSONArray和JSONObject的转换,很多公司刚入职的小萌新会卡在这里,下面这篇文章主要给大家介绍了关于java中JsonObject与JsonArray转换方法的相关资料,需要的朋友可以参考下
2023-04-04
SpringMVC注解@CrossOrigin跨域问题详解
这篇文章主要介绍了SpringMVC注解@CrossOrigin跨域问题详解,跨域是浏览同源策略的造成,是浏览器对JavaScript施加的安全限制CORS是一种可以解决跨域问题的技术,需要的朋友可以参考下
2023-11-11
java 汉诺塔Hanoi递归、非递归(仿系统递归)和非递归规律实现代码
汉诺塔（Hanoi）算法Java实现。通过三个函数，分别对Hanoi进行递归、非递归和非递归规律实现。
2013-05-05
SpringBoot入门之集成Druid的方法示例
这篇文章主要介绍了SpringBoot入门之集成Druid的方法示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-07-07
java WSDL接口webService实现方式
这篇文章主要为大家详细介绍了java WSDL接口webService实现方式的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-04-04
Java超详细讲解三大特性之一的继承
继承就是可以直接使用前辈的属性和方法。自然界如果没有继承，那一切都是处于混沌状态。多态是同一个行为具有多个不同表现形式或形态的能力。多态就是同一个接口，使用不同的实例而执行不同操作
2022-05-05
Spring中XmlWebApplicationContext的实现
XmlWebApplicationContext是Spring Framework中的一个重要类,本文主要介绍了Spring中XmlWebApplicationContext,具有一定的参考价值,感兴趣的可以了解一下
2024-08-08
基于SpringAOP+Caffeine实现本地缓存的实例代码
公司想对一些不经常变动的数据做一些本地缓存,我们使用AOP+Caffeine来实现,所以本文给大家介绍了
基于SpringAOP+Caffeine实现本地缓存的实例,文中有详细的代码供大家参考,需要的朋友可以参考下
2024-03-03