脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → 删除MySQL重复数据

删除MySQL重复数据的方法

 更新时间：2014年12月18日 09:36:39   投稿：shichen2014  
这篇文章主要介绍了删除MySQL重复数据的方法,通过建立中间表实现针对冗余数据的删除功能,非常具有实用价值,需要的朋友可以参考下

本文实例讲述了删除MySQL重复数据的方法。分享给大家供大家参考。具体方法如下：

项目背景

在最近做的一个linux性能采集项目中，发现线程的程序入库很慢，再仔细定位，发现数据库里面很多冗余数据。因为在采集中，对于同一台设备，同一个时间点应该只有一个数据，然而，数据库中存入了多个数据。对于如何造成了这个结果，一时没有想清楚，但为了解决入库慢的问题，首先要删除冗余数据。

问题描述

数据库的表结构很简单，如下：

复制代码 代码如下:
+----------------+--------------+------+-----+---------+-------+
| Field          | Type         | Null | Key | Default | Extra |
+----------------+--------------+------+-----+---------+-------+
| id             | varchar(255) | NO   | PRI | NULL    |       |
| conf_id        | varchar(255) | NO   | MUL | NULL    |       |
| insert_time    | datetime     | YES  |     | NULL    |       |
| cpu_usage      | float(11,2)  | YES  |     | NULL    |       |
| memory_usage   | float(11,2)  | YES  |     | NULL    |       |
| io_usage_write | float(11,2)  | YES  |     | NULL    |       |
| io_usage_read  | float(11,2)  | YES  |     | NULL    |       |
+----------------+--------------+------+-----+---------+-------+

查询所有数据量
复制代码 代码如下:
select count(*) from perf_linux;

输出 427366

查询所有时间点不同设备的数据量

复制代码 代码如下:
select count(distinct conf_id, insert_time) from perf_linux ;

输出42387

由上面的数据可以看出，数据冗余了10倍左右。

再按时间分组看一下:

复制代码 代码如下:
select id, conf_id ,insert_time from perf_linux order by insert_time, conf_id;

输出：
复制代码 代码如下:
| 2a79f7cd-43a9-4c7b-adb2-316b6c04283e | 1       | 2014-12-09 15:09:14 |
| 50d6f6c2-9c8b-45fd-98fd-2be211221cfd | 1       | 2014-12-09 15:09:14 |
| 740b52e1-e868-4074-ba36-74e2634401b3 | 1       | 2014-12-09 15:09:14 |
| 8b0096a4-9e85-417b-a131-e3505ca79a9c | 1       | 2014-12-09 15:09:14 |
| 90a9e882-5220-4508-a56f-8d4ab4a7929b | 1       | 2014-12-09 15:09:14 |
| d17403ed-24a4-45e8-b51b-2a95118383d9 | 1       | 2014-12-09 15:09:14 |
| 0c2da917-579b-4080-857d-7159f38b44ac | 2       | 2014-12-09 15:09:14 |
| 263083eb-8f63-4d2b-a03f-3320aa678735 | 2       | 2014-12-09 15:09:14 |
| d6c57a38-080b-465a-a55a-beafd9daf32d | 2       | 2014-12-09 15:09:14 |
| f672227b-1fb8-4b85-880d-2cc34b02880d | 2       | 2014-12-09 15:09:14 |
| f80020fe-6cb5-48ec-beb0-4e8ebeb0ca57 | 2       | 2014-12-09 15:09:14 |
| ff633a35-824d-49ba-b78c-5bcc5df8d1cc | 2       | 2014-12-09 15:09:14 |
| 5c41e48a-abfc-4108-a00e-ca7def7d5a5a | 3       | 2014-12-09 15:09:14 |
| 60b7ab9e-c91a-4020-a6d3-7bceb1dc47c5 | 3       | 2014-12-09 15:09:14 |
| 7b6cd2b8-ac6d-43eb-8858-e15885e676c8 | 3       | 2014-12-09 15:09:14 |
| d53a3df5-08c4-4604-8fac-cb51077935f6 | 3       | 2014-12-09 15:09:14 |
| d9e4ba14-f98d-42a8-b3bc-2879d58aa797 | 3       | 2014-12-09 15:09:14 |
| f56f82f6-32a7-47f7-ae07-b13168743884 | 3       | 2014-12-09 15:09:14 |
| 076c4c1b-0028-4a9c-a8c4-de655bd6ab6b | 4       | 2014-12-09 15:09:14 |
| 2a90ad9e-11a5-4707-95e8-78491da658ad | 4       | 2014-12-09 15:09:14 |
| 3b17ad1d-e589-4b65-93a7-d61fc99b4071 | 4       | 2014-12-09 15:09:14 |
| 6988d6cf-44ef-47f7-808d-09791caf2d90 | 4       | 2014-12-09 15:09:14 |
| 8404d281-f9e5-4153-a47e-128c05386758 | 4       | 2014-12-09 15:09:14 |
| e042e310-7ff2-4e4d-8c98-71e3e4d57828 | 4       | 2014-12-09 15:09:14 |
+--------------------------------------+---------+---------------------+

由上图可见，同一个时间点的同一个设备的数据有冗余，现在我们要把这些冗余数据去掉。

解决方法

思路是这样的：首先应该按照conf_id和时间点来判断，进行分组（group by）查询，每组中再取一个就可以。分组是很简单，但是分组怎么取一个呢？我采用了中间表的形式。

创建中间表，并把数据导入中间表

复制代码 代码如下:
create table perf_linux_t like perf_linux;
insert into perf_linux_t select * from perf_linux;

在中间表中增加一个字段，此字段是自增长的。
复制代码 代码如下:
ALTER TABLE `perf_linux_t`
ADD COLUMN `auto_id` INT NOT NULL AUTO_INCREMENT ,
DROP PRIMARY KEY,
ADD PRIMARY KEY (`auto_id`);

删除无用数据

先查询一下

复制代码 代码如下:
select min(auto_id) as auto_id from perf_linux_t group by insert_time ;

删除不对的数据
复制代码 代码如下:
delete  from perf_linux_t where auto_id not in (select min(auto_id) as auto_id from perf_linux_t group by insert_time);

慢着，输出错误：

You can't specify target table 'perf_linux_t' for update in FROM clause

不能删除啊，那只能再建一个中间表了。

再建中间表

复制代码 代码如下:
create table tmp like perf_linux_t;

转变思路，不删除不符合的数据，而是把符合的数据存到这张新表中。
复制代码 代码如下:
insert into tmp select * from perf_linux_t where auto_id in (select min(auto_id) as auto_id from perf_linux_t group by insert_time,conf_id );

把这张表中的无用列删除
复制代码 代码如下:
ALTER TABLE `tmp`
DROP COLUMN `auto_id`,
DROP PRIMARY KEY;

导回数据

删除原来的数据

复制代码 代码如下:
truncate table perf_linux;

插入数据
复制代码 代码如下:
insert into perf_linux select * from tmp;

删除中间表
复制代码 代码如下:
drop table tmp;
drop table perf_linux_t;

总结

通过这个方法，数据变为了42387条，删除了冗余的数据。但实际上程序的问题并没有完全定位，还需要观察才能定位问题。

希望本文所述对大家的mysql数据库程序设计有所帮助。

您可能感兴趣的文章:

相关文章

  • MySQL千万级数据的大表优化解决方案

    MySQL千万级数据的大表优化解决方案

    mysql数据库中的表数据量几千万后，查询速度会很慢，日常各种卡慢，严重影响使用体验。在考虑升级数据库或者换用大数据解决方案前，必须优化现有mysql数据库表设计和sql语句。
    2022-11-11
  • 解决MySQL去除密码登录告警的问题

    解决MySQL去除密码登录告警的问题

    这篇文章主要介绍了MySQL去除密码登录告警的问题，解决方法是使用mysql_config_editor,本文通过示例代码给大家介绍的非常详细，需要的朋友可以参考下
    2022-04-04
  • mysql通过group by分组取最大时间对应数据的两种有效方法

    mysql通过group by分组取最大时间对应数据的两种有效方法

    日常开发当中,经常会遇到查询分组数据中指定的记录,下面这篇文章主要给大家介绍了关于mysql通过group by分组取最大时间对应数据的两种有效方法,文章通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • MySQL系统及自定义变量方式

    MySQL系统及自定义变量方式

    这篇文章主要介绍了MySQL系统及自定义变量方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-04-04
  • mysql中获取一天、一周、一月时间数据的各种sql语句写法

    mysql中获取一天、一周、一月时间数据的各种sql语句写法

    今天抽时间整理了一篇mysql中与天、周、月有关的时间数据的sql语句的各种写法，部分是收集资料，全部手工整理，自己学习的同时，分享给大家，并首先默认创建一个表、插入2条数据，便于部分数据的测试，其中部分名词或函数进行了解释说明。直入主题
    2014-05-05
  • MySQL高效导入多个.sql文件方法详解

    MySQL高效导入多个.sql文件方法详解

    MySQL有多种方法导入多个.sql文件,常用的有两个命令：mysql和source,如何提高导入速度,在导入大的sql文件时，建议使用mysql命令
    2018-10-10
  • MySQL的锁机制使用详解

    MySQL的锁机制使用详解

    这篇文章主要介绍了MySQL的锁机制使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-04-04
  • MySQL学习笔记4：完整性约束限制字段

    MySQL学习笔记4：完整性约束限制字段

    完整性约束是对字段进行限制，从而符合该字段达到我们期望的效果比如字段含有默认值，不能是NULL等如果插入的数据不满足限制要求，数据库管理系统就拒绝执行操作
    2013-01-01
  • MySQL数据库表中的约束详解

    MySQL数据库表中的约束详解

    约束是用来限制表中的数据长什么样子的,即什么样的数据可以插入到表中,什么样的数据插入不到表中,下面这篇文章主要给大家介绍了关于如何通过一文理解MySQL数据库的约束与表的设计的相关资料,需要的朋友可以参考下
    2023-03-03
  • mySQL之关键字的执行优先级讲解

    mySQL之关键字的执行优先级讲解

    这篇文章主要介绍了mySQL之关键字的执行优先级讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-11-11

最新评论