MySql批量插入时如何不重复插入数据

更新时间：2021年06月22日 10:23:26 作者：DT辰白

Mysql插入不重复的数据，当大数据量的数据需要插入值时，要判断插入是否重复，然后再插入，那么如何提高效率，本文就详细的介绍一下，感兴趣的可以了解一下

前言

Mysql插入不重复的数据，当大数据量的数据需要插入值时，要判断插入是否重复，然后再插入，那么如何提高效率？解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。

一、insert ignore into

会忽略数据库中已经存在的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过当前插入的这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。

控制器方法：

/**
 * 插入员工数据
 */
@PostMapping("save")
@ResponseBody
public CommonResult<Employee> save(@RequestBody Employee employee){
    return employeeService.saveEmp(employee);
}

INSERT INTO 插入数据

<!--插入员工数据-->
<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    INSERT INTO t_employee(id, name, age, salary, department_id)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId})
</insert>

在这里插入图片描述

我们新增一条主键ID为1的员工记录。

当我再发送一次请求的时候，会报SQL语句执行错误，因为主键唯一，并且ID=1的记录已经存在了。

在这里插入图片描述

加上ignore，再次添加一条ID=1的员工记录

INSERT IGNORE INTO

在这里插入图片描述

并没有报错，但是也没有添加成功，忽略了重复数据的添加。

二、on duplicate key update

当主键或者唯一键重复时，则执行update语句。

 ON DUPLICATE KEY UPDATE id = id

我们任然插入ID=1的员工记录，并且修改一下其他字段（age=25）：

在这里插入图片描述

查看数据库记录：

在这里插入图片描述

可以看到并没有改变，数据也只有一条，并且返回了成功的提示。

这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。

扩展：这种方式还有其他业务场景的需求->>>定时更新其他字段。

我们在员工表中，再加入一个时间字段：

private Date updateTime;

在这里插入图片描述

然后我们根据updateTime字段来插入数据：

<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    INSERT INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId},now())
    ON DUPLICATE KEY UPDATE update_time = now()
</insert>

在这里插入图片描述

如果插入的时候需要更新其他字段（比如age）,该怎么做呢？

在这里插入图片描述

三、replace into

如果存在primary or unique相同的记录，则先删除掉。再插入新记录。

REPLACE INTO

 <!--插入员工数据-->
<insert id="saveEmp" parameterType="com.dt.springbootdemo.entity.Employee">
    REPLACE INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES (#{id},#{name},#{age},#{salary},#{departmentId},now())
</insert>

在这里插入图片描述

总结：实际开发中，用得最多的就是第二种方式，进行的批量加。

<!--插入员工数据-->
<insert id="saveEmp" parameterType="java.util.List">
    INSERT INTO t_employee(id, name, age, salary, department_id,update_time)
    VALUES
    <foreach collection="list" item="item" index="index" separator=",">
        (#{item.id},#{item.name},#{item.age},#{item.salary},#{item.departmentId},now())
    </foreach>
    ON DUPLICATE KEY UPDATE id = id
</insert>

控制器：

@PostMapping("save")
@ResponseBody
public CommonResult<Employee> save(@RequestBody List<Employee> employeeList){
    return employeeService.saveEmp(employeeList);
}

在这里插入图片描述

如果存在相同的ID，则不会重复添加。

总结

实际工作中，使用最多的是方法二，根据不同的场景选择不同的方式使用。

到此这篇关于MySql批量插入时如何不重复插入数据的文章就介绍到这了,更多相关MySql不重复插入内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

MySql 修改密码后的错误快速解决方法
今天在MySql5.6操作时报错：You must SET PASSWORD before executing this statement解决方法，需要的朋友可以参考下
2016-11-11
MySQL表的重命名字段添加及字段属性修改操作语法
这篇文章主要为大家介绍了MySQL表的重命名字段添加及字段属性修改语法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-05-05
MySQL之表碎片化的问题解决
MySQL数据库的碎片是由于频繁的增删改查操作导致的数据块不连续或不规则分布,本文主要介绍了MySQL之表碎片化的问题解决,具有一定的参考价值,感兴趣的可以了解一下
2024-08-08
MySQL中存储过程的详细详解
存储过程就是一条或者多条SQL语句的集合,可以视为批文件,它可以定义批量插入的语句,也可以定义一个接收不同条件的SQL,下面这篇文章主要给大家介绍了关于MySQL中存储过程的相关资料,需要的朋友可以参考下
2022-06-06
mysql分区表的增删改查的实现示例
增删查改在数据库中是很常见的操作,本文主要介绍了mysql分区表的增删改查的实现示例,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习吧
2024-01-01
你的like语句为什么没索引详解
这篇文章主要给大家介绍了关于你的like语句为什么没索引的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用mysql具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2018-10-10
利用ssh tunnel链接mysql服务器的方法
这篇文章主要给大家介绍了利用ssh tunnel链接mysql服务器的方法，文中介绍的很详细，需要的朋友可以参考借鉴，下面来一起看看吧。
2017-02-02
MySQL字符编码设置方法
这篇文章主要介绍了MySQL字符编码设置方法的相关资料,需要的朋友可以参考下
2016-05-05
MySQL中隐式转换的踩坑记录以及解决方法分享
这篇文章主要和大家分享一个MySQL隐式转换时踩过的坑，差点把服务器整崩溃了，以及最后的解决办法。文中的示例代码讲解详细，感兴趣的可以了解一下
2022-11-11
mysql中group by与having合用注意事项分享
在mysql中group by分组查询我们经常会用到，并且还同时会与having合用，下面我介绍group by用法与having合用注意事项，希望此教程对各位朋友有所帮助
2013-10-10