脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → java → MyBatis saveBatch 性能调优

MyBatis saveBatch 性能调优的实现

 更新时间：2023年07月21日 10:09:37   作者：Nate  
本文主要介绍了MyBatis saveBatch 性能调优的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

最近在压测一批接口，发现接口处理速度慢的有点超出预期，感觉很奇怪，后面定位发现是数据库批量保存这块很慢。 

这个项目用的是 mybatis-plus，批量保存直接用的是 mybatis-plus 提供的 saveBatch。 我点进去看了下源码，感觉有点不太对劲：

继续追踪了下，从这个代码来看，确实是 for 循环一条一条执行了 sqlSession.insert，下面的 consumer 执行的就是上面的 sqlSession.insert：

 然后累计一定数量后，一批 flush。从这点来看，这个 saveBach 的性能肯定比直接一条一条 insert 快。

我直接进行一个粗略的实验，简单创建了一张表来对比一波！

1、1000条数据，一条一条插入

@Test
void MybatisPlusSaveOne() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save one");
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            //一条一条插入
            openTestService.save(openTest);
        }
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save one：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

3.png

可以看到，执行一批 1000 条数的批量保存，耗费的时间是 121011 毫秒。

2、1000条数据用 mybatis-plus 自带的 saveBatch 插入

@Test
void MybatisPlusSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mybatis plus save batch");
        //批量插入
        openTestService.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mybatis plus save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

4.png

耗费的时间是 59927 毫秒，比一条一条插入快了一倍，从这点来看，效率还是可以的。

然后常见的还有一种利用拼接 SQL 方式来实现批量插入，我们也来对比试试看性能如何。

3、1000 条数据用手动拼接 SQL 方式插入， 搞个手动拼接：

5.png

来跑跑下性能如何：

@Test
void MapperSaveBatch() {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    try {
        List<OpenTest> openTestList = new ArrayList<>();
        for (int i = 0; i < 1000; i++) {
            OpenTest openTest = new OpenTest();
            openTest.setA("a" + i);
            openTest.setB("b" + i);
            openTest.setC("c" + i);
            openTest.setD("d" + i);
            openTest.setE("e" + i);
            openTest.setF("f" + i);
            openTest.setG("g" + i);
            openTest.setH("h" + i);
            openTest.setI("i" + i);
            openTest.setJ("j" + i);
            openTest.setK("k" + i);
            openTestList.add(openTest);
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("mapper save batch");
        //手动拼接批量插入
        openTestMapper.saveBatch(openTestList);
        sqlSession.commit();
        stopWatch.stop();
        log.info("mapper save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        sqlSession.close();
    }
}

6.png

耗时只有 2275 毫秒，性能比 mybatis-plus 自带的 saveBatch 好了 26 倍！

这时，我又突然回想起以前直接用 JDBC 批量保存的接口，那都到这份上了，顺带也跑跑看！

4、1000 条数据用 JDBC executeBatch 插入

@Test
void JDBCSaveBatch() throws SQLException {
    SqlSession sqlSession = sqlSessionFactory.openSession();
    Connection connection = sqlSession.getConnection();
    connection.setAutoCommit(false);
    String sql = "insert into open_test(a,b,c,d,e,f,g,h,i,j,k) values(?,?,?,?,?,?,?,?,?,?,?)";
    PreparedStatement statement = connection.prepareStatement(sql);
    try {
        for (int i = 0; i < 1000; i++) {
            statement.setString(1,"a" + i);
            statement.setString(2,"b" + i);
            statement.setString(3, "c" + i);
            statement.setString(4,"d" + i);
            statement.setString(5,"e" + i);
            statement.setString(6,"f" + i);
            statement.setString(7,"g" + i);
            statement.setString(8,"h" + i);
            statement.setString(9,"i" + i);
            statement.setString(10,"j" + i);
            statement.setString(11,"k" + i);
            statement.addBatch();
        }
        StopWatch stopWatch = new StopWatch();
        stopWatch.start("JDBC save batch");
        statement.executeBatch();
        connection.commit();
        stopWatch.stop();
        log.info("JDBC save batch：" + stopWatch.getTotalTimeMillis());
    } finally {
        statement.close();
        sqlSession.close();
    }
}

7.png

耗时是 55663 毫秒，所以 JDBC executeBatch 的性能跟 mybatis-plus 的 saveBatch 一样（底层一样）。

综上所述，拼接 SQL 的方式实现批量保存效率最佳。

但是我又不太甘心，总感觉应该有什么别的法子，然后我就继续跟着 mybatis-plus 的源码 debug 了一下，跟到了 MySQL 的驱动，突然发现有个 if 里面的条件有点显眼：

8.png

就是这个叫 rewriteBatchedStatements 的玩意，从名字来看是要重写批操作的 Statement，前面batchHasPlainStatements 已经是 false，取反肯定是 true，所以只要这参数是 true 就会进行一波操作。

我看了下默认是 false。

9.png

同时我也上网查了下 rewriteBatchedStatements 参数，好家伙，好像有用！

10.png

直接将 jdbcurl 加上了这个参数：

11.png

然后继续跑了下 mybatis-plus 自带的 saveBatch，果然性能大大提高，跟拼接 SQL 差不多！

12.png

顺带我也跑了下 JDBC 的 executeBatch ，果然也提高了。

13.png

然后我继续 debug ，来探探 rewriteBatchedStatements 究竟是怎么 rewrite 的！ 如果这个参数是 true，则会执行下面的方法且直接返回：

14.png

看下 executeBatchedInserts 究竟干了什么：

15.png

看到上面我圈出来的代码没，好像已经有点感觉了，继续往下 debug。

果然！SQL 语句被 rewrite了：

image.png

对插入而言，所谓的 rewrite 其实就是将一批插入拼接成 insert into xxx values (a),(b),(c)...这样一条语句的形式然后执行，这样一来跟拼接 SQL 的效果是一样的。

那为什么默认不给这个参数设置为 true 呢？主要有以下两点：

如果批量语句中的某些语句失败，则默认重写会导致所有语句都失败。

批量语句的某些语句参数不一样，则默认重写会使得查询缓存未命中。

看起来影响不大，所以我给我的项目设置上了这个参数！

最后

稍微总结下我粗略的对比（虽然粗略，但实验结果符合原理层面的理解），如果你想更准确地做实验，可以使用 JMH，并且测试更多组数（如 5000，10000等）的情况。

image.png

所以如果有使用 JDBC 的 Batch 性能方面的需求，要将 rewriteBatchedStatements 设置为 true，这样能提高很多性能。

然后如果喜欢手动拼接 SQL 要注意一次拼接的数量，分批处理。

到此这篇关于MyBatis saveBatch 性能调优的实现的文章就介绍到这了,更多相关MyBatis saveBatch 性能调优内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Java继承extends与super关键字详解

    Java继承extends与super关键字详解

    本篇文章给大家详细讲述了Java继承extends与super关键字的相关知识点，需要的朋友们可以参考学习下。
    2018-02-02
  • HashMap在JDK7与JDK8中的实现过程解析

    HashMap在JDK7与JDK8中的实现过程解析

    这几天学习了HashMap的底层实现,但是发现好几个版本的，代码不一，很多文章都是旧版本JDK1.6.JDK1.7的。现在我来分析下JDK7与JDK8中HashMap的实现过程
    2021-09-09
  • java this的应用方法解析

    java this的应用方法解析

    这篇文章主要介绍了java this的应用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • 解决IDEA2020 创建maven项目没有src/main/java目录和webapp目录问题

    解决IDEA2020 创建maven项目没有src/main/java目录和webapp目录问题

    这篇文章主要介绍了IDEA2020 创建maven项目没有src/main/java目录和webapp目录问题解决方法，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-10-10
  • Java定时任务详解

    Java定时任务详解

    定时任务在项目中经常会使用到，本文主要根据博主自己使用定时的经验分如下几点介绍定时任务：1、Quartz定时任务简介及Spring配置Quartz定时任务；2、SchedulerFactory对定时任务进行增删改查
    2017-04-04
  • SpringCloud的Config配置中心详解

    SpringCloud的Config配置中心详解

    这篇文章主要介绍了SpringCloud的Config配置中心详解,SpringCloud Config为微服务架构中的微服务提供集中化的外部配置支持，配置服务器为各个不同微服务应用的所有环境提供了一个中心化的外部配置,需要的朋友可以参考下
    2023-07-07
  • 在ChatGPT的API中支持多轮对话的实现方法

    在ChatGPT的API中支持多轮对话的实现方法

    ChatGPT是由OpenAI研发的一种预训练语言模型，只能在OpenAI平台上进行训练，目前并不对外开放训练接口，这篇文章主要介绍了在ChatGPT的API中支持多轮对话的实现方法,需要的朋友可以参考下
    2023-02-02
  • 浅析JDK和Tomcat的安装与配置方法

    浅析JDK和Tomcat的安装与配置方法

    这篇文章主要介绍了JDK和Tomcat的安装与配置方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧
    2018-12-12
  • 选择java的理由:java之父访谈实录

    选择java的理由:java之父访谈实录

    选择java的理由:java之父访谈实录...
    2006-12-12
  • 基于Javamail实现发送邮件(QQ/网易邮件服务器)

    基于Javamail实现发送邮件(QQ/网易邮件服务器)

    这篇文章主要介绍了基于Javamail实现发送邮件，分别使用QQ邮箱作为smtp邮件服务器发送邮件，使用网易邮箱作为smtp邮件服务器发送邮件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-08-08

最新评论