脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → MySQL处理重复数据

很全面的MySQL处理重复数据代码

 更新时间：2020年09月01日 08:43:59   作者：码农教程  
这篇文章主要为大家详细介绍了MySQL处理重复数据的实现代码，如何防止数据表出现重复数据及如何删除数据表中的重复数据，感兴趣的小伙伴们可以参考一下

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。

本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。

一、防止表中出现重复数据

你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键） 或者 UNIQUE（唯一） 索引来保证数据的唯一性。

让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。

CREATE TABLE person_tbl
(
 first_name CHAR(20),
 last_name CHAR(20),
 sex CHAR(10)
);

如果你想设置表中字段first_name，last_name数据不能重复，你可以设置双主键模式来设置数据的唯一性， 如果你设置了双主键，那么那个键的默认值不能为NULL，可设置为NOT NULL。如下所示：

CREATE TABLE person_tbl
(
 first_name CHAR(20) NOT NULL,
 last_name CHAR(20) NOT NULL,
 sex CHAR(10),
 PRIMARY KEY (last_name, first_name)
);

如果我们设置了唯一索引，那么在插入重复数据时，SQL语句将无法执行成功,并抛出错。

INSERT IGNORE INTO与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。

以下实例使用了INSERT IGNORE INTO，执行后不会出错，也不会向数据表中插入重复数据：

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
 -> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
 -> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO当插入数据时，在设置了记录的唯一性后，如果插入重复数据，将不返回错误，只以警告形式返回。 而REPLACE INTO into如果存在primary 或 unique相同的记录，则先删除掉。再插入新记录。

另一种设置数据的唯一性方法是添加一个UNIQUE索引，如下所示：

CREATE TABLE person_tbl
(
 first_name CHAR(20) NOT NULL,
 last_name CHAR(20) NOT NULL,
 sex CHAR(10)
 UNIQUE (last_name, first_name)
);

二、统计重复数据

以下我们将统计表中 first_name 和 last_name的重复记录数：

mysql> SELECT COUNT(*) as repetitions, last_name, first_name
 -> FROM person_tbl
 -> GROUP BY last_name, first_name
 -> HAVING repetitions > 1;

以上查询语句将返回 person_tbl 表中重复的记录数。 一般情况下，查询重复的值，请执行以下操作：

1、确定哪一列包含的值可能会重复。
2、在列选择列表使用COUNT(*)列出的那些列。
3、在GROUP BY子句中列出的列。
4、HAVING子句设置重复数大于1。 

三、过滤重复数据

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

mysql> SELECT DISTINCT last_name, first_name
 -> FROM person_tbl
 -> ORDER BY last_name;

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

mysql> SELECT last_name, first_name
 -> FROM person_tbl
 -> GROUP BY (last_name, first_name);

四、删除重复数据

如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：

mysql> CREATE TABLE tmp SELECT last_name, first_name, sex
 ->     FROM person_tbl;
 ->     GROUP BY (last_name, first_name);
mysql> DROP TABLE person_tbl;
mysql> ALTER TABLE tmp RENAME TO person_tbl;

当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

mysql> ALTER IGNORE TABLE person_tbl
 -> ADD PRIMARY KEY (last_name, first_name);

以上就是关于MySQL处理重复数据的全部内容，希望对大家的学习有所帮助。

您可能感兴趣的文章:

相关文章

  • JDBC连接mysql处理中文时乱码解决办法详解

    JDBC连接mysql处理中文时乱码解决办法详解

    这篇文章主要介绍了JDBC连接mysql处理中文时乱码解决办法详解的相关资料,希望通过本文能帮助到大家，需要的朋友可以参考下
    2017-10-10
  • 教你巧用mysql位运算解决多选值存储的问题

    教你巧用mysql位运算解决多选值存储的问题

    如果你不知道什么是位运算的话,那么请你先去看看基础的C语言教程吧,下面这篇文章主要给大家介绍了关于如何巧用mysql位运算解决多选值存储问题的相关资料,需要的朋友可以参考下
    2022-02-02
  • MySql常用数据类型与操作详解

    MySql常用数据类型与操作详解

    MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的。本文将为大家详细介绍一下MySQL的基础操作，需要的可以参考一下
    2022-07-07
  • MySQL打印死锁日志的方法步骤

    MySQL打印死锁日志的方法步骤

    本文主要介绍了MySQL打印死锁日志的方法步骤，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-01-01
  • SQL数据库十四种案例介绍

    SQL数据库十四种案例介绍

    大家好，本篇文章主要讲的是SQL数据库十四种案例介绍，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览
    2021-12-12
  • MySQL存储表情符号小技巧

    MySQL存储表情符号小技巧

    这篇文章主要为大家介绍了MySQL如何存储表情符号的小技巧,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • MySql批量插入优化Sql执行效率实例详解

    MySql批量插入优化Sql执行效率实例详解

    这篇文章主要介绍了MySql批量插入优化Sql执行效率实例详解的相关资料,需要的朋友可以参考下
    2017-04-04
  • 详解mysql三值逻辑与NULL

    详解mysql三值逻辑与NULL

    这篇文章主要介绍了mysql三值逻辑和NULL，感兴趣的同学们，可以参考下，并且把代码实验一下
    2021-05-05
  • Mysql使用函数后不走索引怎么优化

    Mysql使用函数后不走索引怎么优化

    当在MySQL中使用函数时,可能会导致查询不走索引,从而影响性能,本文就介绍一下Mysql使用函数后不走索引怎么优化,感兴趣的可以了解一下
    2023-08-08
  • MySQL 语句执行顺序举例解析

    MySQL 语句执行顺序举例解析

    这篇文章主要介绍了MySQL 语句执行顺序举例解析，文章围绕主题展开详细的内容介绍，具有一定的参考价值需要的小伙伴可以参考一下
    2022-06-06

最新评论