MySQL如何优雅的删除大表实例详解

 更新时间:2020年12月25日 09:10:01   作者:easydba  
这篇文章主要给大家介绍了关于MySQL如何优雅的删除大表的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

前言

删除表,大家下意识想到的命令可能是直接使用DROP TABLE "表名",这是初生牛犊的做法,因为当要删除的表达空间到几十G,甚至是几百G的表时候。这样一条命令下去,MySQL可能就直接夯住了,外在表现就是QPS急速下降,客户请求变慢。

解决办法

1.业务低峰时间手动执行删除

这个可能就需要DBA不辞辛劳,大晚上爬起来删表了。

2.先清除数据,最后再删除的方式

譬如1000万条数据,写脚本每次删除20万,睡眠一段时间,继续执行。这样也能做到对用户无感知。

3.对表文件(idb文件)做一个硬链接来加速删除

这个方法利用了linux下硬链接的知识,来进行快速删除,不记得话可以回去翻一下《鸟哥的linux私房菜》

ln data_center_update_log.ibd data_center_update_log.ibd.hdlk

[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r----- 1 mysql mysql  9076 10月 17 13:15 data_center_update_log.frm
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

执行上面命令后,我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间,只是增加了一次对磁盘上文件的引用。

当我们删除其中任何一个文件时,都不会影响磁盘上真实的文件,只是将其引用数目减去1。当被引用的数目变为1的时候,再去删除文件,才会真正做IO来删除它。

正是利用这个特点,将由原来mysql来删除大文件的操作,转换为一个简单的操作系统级的文件删除,从而减少了对mysql的影响。

4.登陆mysql,执行drop表操作

很快,200万条数据只用了1秒完成,此操作是在创建硬链接后执行的

mysql> drop tables data_center_update_log;
Query OK, 0 rows affected (1.02 sec)


mysql> exit
Bye

退出来,再次查看数据目录,发现就只剩data_center_update_log.ibd.hdlk硬链接文件了
[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk

5.如何正确删除ibd.hdlk硬链接文件呢

  • 虽然drop table之后,剩下的硬链接文件已经和mysql没有关系了。但如果文件过大,直接用rm命令来删除,也是会造成IO开销飙升,CPU负载过高,进而影响到MySQL。
  • 这里我们用到的方法,可以循环分块删除,慢慢地清理文件,通过一个脚本即可搞定
  • Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。

5.1 安装truncate命令

[root@mysql01 ~]# cruncate
-bash: cruncate: 未找到命令
通常操作系统会安装truncate命令,该命令在coreutils安装包里面,如果没有安装可以使用下面命令安装

[root@mysql01 ~]# yum provides truncate
coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts
源  :base
匹配来源:
文件名  :/usr/bin/truncate

可以看到truncate由coreutils安装包提供,下面安装coreutils安装包:

[root@mysql01 ~]# yum install -y coreutils

5.2 truncate常用选项

-c, --no-create --> 不创建任何文件
-o, --io-blocks --> 将大小视为存储块的数量,而不是字节
-r, --reference=RFILE --> 参考指定的文件大小
-s, --size=SIZE --> 按照指定的字节设置文件大小

5.3 truncate_bigfile.sh脚本

原理:使用truncate -s选项可以指定文件大小,通过脚本指定每次文件减少的大小,并sleep睡眠一定时间,从而达到可控的删除文件

附:truncate_bigfile.sh脚本

#! /bin/bash
#

TRUNCATE=/usr/bin/truncate
FILE=$1

if [ x"$1" = x ];then
 echo "Please input filename in"
 exit 1;
else
 SIZE_M=$(du -sm "$1" | awk '{print $1}')

 for i in $(seq "${SIZE_M}" -100 0)
 do
 sleep 1
 echo "${TRUNCATE} -s ${i}M ${FILE}"
 ${TRUNCATE} -s "${i}"M "${FILE}"
 done
fi

if [ $? -eq 0 ];then
    \rm -f "${FILE}"
else
    echo "Please check file"
fi

总结

到此这篇关于MySQL如何优雅的删除大表的文章就介绍到这了,更多相关MySQL优雅删除大表内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • mysql常见的错误提示问题处理小结

    mysql常见的错误提示问题处理小结

    本文总结了在使用mysql过程中经常遇到的3种错误提示(error1067,error1061,error1045)的问题的处理方法,都是本人在实际应用中处理检验过的,希望对大家有所帮助
    2014-08-08
  • MySQL数据库迁移到Oracle数据库的完整步骤记录

    MySQL数据库迁移到Oracle数据库的完整步骤记录

    在研发过程中可能会用到将表数据库中的表结构及数据迁移到另外一种数据库中,比如说从mysql中迁移到oracle中,这篇文章主要给大家介绍了关于MySQL数据库迁移到Oracle数据库的完整步骤,需要的朋友可以参考下
    2024-06-06
  • 查看 MySQL 已经运行多长时间的方法

    查看 MySQL 已经运行多长时间的方法

    查看MySQL启动时间以及运行了多长时间的方法有利用show与updtime或在linux中直接使用grep mysql 相关参数来查看,下面我们一起来看看
    2014-01-01
  • MySQL联表查询基本操作之left-join常见的坑

    MySQL联表查询基本操作之left-join常见的坑

    这篇文章主要给大家介绍了关于MySQL联表查询基本操作之left-join的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用MySQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2020-05-05
  • mysql5.7.13 环境搭建教程(解压缩版)

    mysql5.7.13 环境搭建教程(解压缩版)

    这篇文章主要为大家详细介绍了mysql解压缩版环境搭建教程,具有一定的实用性,感兴趣的小伙伴们可以参考一下
    2016-07-07
  • MySQL 如何限制一张表的记录数

    MySQL 如何限制一张表的记录数

    能否控制单表在一个固定的记录数,比如说1W条,超过不让插入新记录或者说直接抛出错误?关于这个问题,没有一个简化的答案,比如执行一条命令或者说简单设置一个参数都不能完美解决。接下来便介绍MySQL 如何限制一张表的记录数来给出一些可选解决方案
    2021-09-09
  • 解决修改配置文件导致MySQL服务无法启动和停止且MySQL服务操作按钮变为灰色

    解决修改配置文件导致MySQL服务无法启动和停止且MySQL服务操作按钮变为灰色

    这篇文章主要介绍了解决修改配置文件导致MySQL服务无法启动和停止且MySQL服务操作按钮变为灰色问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-12-12
  • MySql中的IFNULL、NULLIF和ISNULL用法详解

    MySql中的IFNULL、NULLIF和ISNULL用法详解

    在做项目中发现MySql里的isnull和mssql里的有点不同。接下来小编通过本文给大家介绍MySql中的IFNULL、NULLIF和ISNULL用法详解的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下
    2016-09-09
  • Window系统下自动备份MySql数据库方法

    Window系统下自动备份MySql数据库方法

    Window下可以使用Bat批处理文件来对MySql进行备份操作,备份时一般数据量较大的情况可以使用复制文件的方式,但是这种方式要求服务器停机或者停止写入命令,不大使用
    2012-11-11
  • MySQL基础教程之IN的用法详解

    MySQL基础教程之IN的用法详解

    这篇文章主要介绍了MySQL基础教程之IN的用法详解的相关资料,需要的朋友可以参考下
    2017-01-01

最新评论