MySQL清理数据并释放磁盘空间的实现示例

 更新时间:2023年07月12日 08:32:15   作者:杨同学technotes  
本文主要介绍了MySQL如何清理数据并释放磁盘空间,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

在我们的生产环境中有一张表:courier_consume_fail_message,是存放消息消费失败的数据的,设计之初,这张表的数据量评估在万级别以下,因此没有建立索引。

但目前发现,该表的数据量已经达到百万级别,原因产生了大量的重试消费,这导致了该表的慢查询。

因此需要清理该表数据。而实际上,使用 DELETE 命令删除数据后,我们发现查询速度并没有显著提高,甚至可能会降低。为什么?

因为 DELETE 命令只是标记该行数据为“已删除”状态,并不会立即释放该行数据在磁盘中所占用的存储空间,这样就会导致数据文件中存在大量的碎片,从而影响查询性能。所以,除了删除表记录外,还需要清理磁盘碎片。

在表碎片清理前,我们关注以下四个指标。

  • 指标一:表的状态:SHOW TABLE STATUS LIKE 'courier_consume_fail_message';
  • 指标二:表的实际行数:SELECT count(*) FROM courier_consume_fail_message;
  • 指标三:要清理的行数:SELECT count(*) FROM courier_consume_fail_message where created_at < '2023-04-19 00:00:00';
  • 指标四:表查询的执行计划:EXPLAIN SELECT * FROM courier_consume_fail_message WHERE service='courier-transfer-mq';
 -- 清理磁盘碎片
 OPTIMIZE TABLE courier_consume_fail_message;

以下是清理前后的指标对比。

一、清理前

指标一,表的状态:

img

指标二,表的实际行数:76986

指标三,要清理的行数:76813

指标四,表查询的执行计划:

二、清理数据

下面是执行 DELETE FROM courier_consume_fail_message WHERE created_at < '2023-04-19 00:00:00'; 后的统计。

指标一,表的状态:

img

指标二,表的实际行数:173

指标三,要清理的行数:0

指标四,表查询的执行计划:

img

通过指标四可以看到,清理表记录后,查询扫描的行数依然没变:8651048。

三、清理碎片

下面是执行 OPTIMIZE TABLE courier_consume_fail_message; 后的统计。

指标一,表的状态:

img

指标四,表查询的执行计划:

img

通过指标四可以看到,清理表记录后,查询扫描的行数变成了 100。

小结

可以看到,该表的数据行数和数据长度都被清理了,查询语句扫描的行数也减少了。

为了提升 SELECT * FROM courier_consume_fail_message WHERE service='courier-transfer-mq'; 语句的查询效率,还是应当建立索引。

 alter` `table` `ec_courier.courier_consume_fail_message ``add` `index` `idx_service(service);

到此这篇关于MySQL清理数据并释放磁盘空间的实现示例的文章就介绍到这了,更多相关MySQL 清理数据并释放磁盘空间内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 提高MySQL中数据装载效率

    提高MySQL中数据装载效率

    很多时候关心的是优化SELECT 查询,因为它们是最常用的查询,而且确定怎样优化它们并不总是直截了当。
    2009-11-11
  • clickhouse中Nullable与非空字段的建表与类型互转方式

    clickhouse中Nullable与非空字段的建表与类型互转方式

    这篇文章主要介绍了clickhouse中Nullable与非空字段的建表与类型互转方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • 浅析Mysql Join语法以及性能优化

    浅析Mysql Join语法以及性能优化

    在讲MySQL的Join语法前还是先回顾一下联结的语法,呵呵,其实连我自己都忘得差不多了,那就大家一起温习吧,这里我有个比较简便的记忆方法,内外联结的区别是内联结将去除所有不符合条件的记录,而外联结则保留其中部分。外左联结与外右联结的区别在于如果用A左联结B则A中所有记录都会保留在结果中,此时B中只有符合联结条件的记录,而右联结相反,这样也就不会混淆了。
    2014-05-05
  • mysql回表查询是什么,回表查询的使用

    mysql回表查询是什么,回表查询的使用

    这篇文章主要介绍了mysql回表查询是什么,回表查询的使用方式,具有很好的参考价值,希望对大家有所帮助。
    2022-11-11
  • 将MySQL从MyISAM转换成InnoDB错误和解决办法

    将MySQL从MyISAM转换成InnoDB错误和解决办法

    原来自己用的是为了装的, 所以在设置database usage(如下图1)的时候按照discuz官方的建议,选的都是Non-Transactional Database Only(只支持MyISAM数据引擎的非事务数据库),用MyISAM数据库,还没涉及到需要InnoDB,因此打算直接不加载INNODB引擎。
    2011-09-09
  • Mysql for update导致大量行锁的问题

    Mysql for update导致大量行锁的问题

    这篇文章主要介绍了Mysql for update 导致大量行锁的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • MySQL中浮点型转字符型可能会遇的问题详解

    MySQL中浮点型转字符型可能会遇的问题详解

    类型转换是我们日常开发中经常会遇到的一个需求,最近在将浮点型转换成字符型的时候就遇到了一个问题,所以总结分享出来,下面这篇文章主要给大家介绍了MySQL中关于浮点型转字符型可能遇到的问题的相关资料,需要的朋友可以参考下。
    2017-09-09
  • mysql 控制台程序的提示符 prompt 字符串设置

    mysql 控制台程序的提示符 prompt 字符串设置

    mysql 控制台程序的提示符 prompt 字符串设置,学习mysql的朋友可以参考下。
    2011-08-08
  • MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题

    MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题

    这篇文章主要介绍了MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题,需要的朋友可以参考下
    2016-12-12
  • MySQL20个高性能架构设计原则(值得收藏)

    MySQL20个高性能架构设计原则(值得收藏)

    这篇文章主要介绍了MySQL20个高性能架构设计原则,帮助大家更好的理解和使用MySQL,感兴趣的朋友可以了解下
    2020-08-08

最新评论