脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → mysql数据清理

mysql数据库如何实现亿级数据快速清理

 更新时间：2018年04月20日 10:36:31   作者：戴小码  
这篇文章主要介绍了mysql数据库实现亿级数据快速清理的方法，非常不错，具有参考借鉴价值，需要的朋友参考下吧

今天收到磁盘报警异常，50G的磁盘被撑爆了，分析解决过程如下：

1. 进入linux服务器，查看mysql文件夹中各个数据库所占的磁盘空间大小

看到了吗，光olderdb就占了25G

2. 用SQLyog登录mysql数据库，查看数据库各个表的占用空间情况

SELECT CONCAT(table_schema,'.',table_name) AS 'aaa',  
  table_rows AS 'Number of Rows',  
  CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',  
  CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Index Size' ,  
  CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),6),' G') AS'Total' 
FROM information_schema.TABLES  
WHERE table_schema LIKE 'olderdb';

3. 查询主键索引

SHOW INDEX FROM orbit

采取策略

前提：目前需要删除80%的数据

① delete语句

我们知道delete语句的删除速度与索引量成正比，此表中的索引量已经很大了，而且数据量非常之巨大，若采用常规delete语句删除，必定会话费几天的时间。

Delete语句删除不会释放出磁盘空间，所以肯定还是会出现报警，所以此种方式不可取。

② drop掉表

新建结构相同的表，命名“cc”,'将需要保存的数据插入到此表中，然后drop掉老表。

Sql语句如下：

基于老表新建新表

CREATE TABLE cc LIKE orbit ;

插入数据（几百万的数据量一定要分批插入，一次30万-40万为最佳，毕竟mysql的数据处理能力有限）

按日期查询后插入（每天大概会产生30多万数据量，所以采用日期插入）

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

结果如下：

可以看到50多万的数据量用了不到5分钟，还是比较快的。

清理后数据表空间得以释放

然后drop掉老表

DROP TABLE orbit

目测只用了3秒左右

重命名新表“cc”

ALTER TABLE cc RENAME TO orbit

总结

以上所述是小编给大家介绍的mysql数据库如何实现亿级数据快速清理 ，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

相关文章

  • MySQL学习之三大范式详解小白篇

    MySQL学习之三大范式详解小白篇

    本篇文章为大家介绍了MYSQL数据库学习中三大范式的规则详解，有需要的朋友可以借鉴参考下，希望可以对大家的数据库学习有所帮助
    2021-09-09
  • MySQL 条件查询详解

    MySQL 条件查询详解

    这篇文章主要介绍了MySQL条件查询，本文通过示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-05-05
  • 解决MySQL批量新增或修改时出现异常:Lock wait timeout exceeded

    解决MySQL批量新增或修改时出现异常:Lock wait timeout exceeded

    这篇文章主要给大家介绍了关于如何解决MySQL批量新增或修改时出现异常:Lock wait timeout exceeded;try restarting transaction的相关资料,需要的朋友可以参考下
    2024-01-01
  • 使用cgroups来限制MySQL企业备份服务对资源的占用

    使用cgroups来限制MySQL企业备份服务对资源的占用

    这篇文章主要介绍了使用cgroups来限制MySQL企业备份服务对资源的占用,以限制mysqlbackup相关的进程和线程对CPU和内存的闲时消耗,需要的朋友可以参考下
    2015-06-06
  • MySQL获取binlog的开始时间和结束时间(最新方法)

    MySQL获取binlog的开始时间和结束时间(最新方法)

    这篇文章主要介绍了MySQL如何获取binlog的开始时间和结束时间,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2023-05-05
  • mysql优化配置参数

    mysql优化配置参数

    mysql安装好需要优化配置一下,打开c:\windows\my.ini文件
    2011-03-03
  • MySQL组合索引与最左匹配原则详解

    MySQL组合索引与最左匹配原则详解

    这篇文章主要给大家介绍了关于MySQL组合索引与最左匹配原则的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mysql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-03-03
  • mysql手动删除BINLOG的方法

    mysql手动删除BINLOG的方法

    用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件
    2013-03-03
  • 解决sql server不支持variant数据类型的问题

    解决sql server不支持variant数据类型的问题

    在数据库中,数据类型是非常重要的,但有时候我们可能会遇到 SQL Server 不支持的数据类型,例如 Variant,在本篇博文中,我们将探讨问题的背景,提供解决思路,并总结如何解决 SQL Server 不支持 Variant 数据类型的挑战
    2023-09-09
  • mysql 5.7.21 解压版安装配置图文教程

    mysql 5.7.21 解压版安装配置图文教程

    这篇文章主要为大家详细介绍了mysql 5.7.21 解压版安装配置图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-05-05

最新评论