MySql Online DDL操作记录详解

更新时间：2022年12月20日 17:24:31 作者：Cindy

这篇文章主要为大家介绍了MySql Online DDL操作记录详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

一、环境

为支持用户账号删除功能，需要在 user 表上加一个字段 deleted。

数据库：Mysql5.6

被操作表 user：数量级为100w，外键200多个

操作：alter table user add deleted boolean NOT NULL default false comment '用户注销标识' , algorithm=inplace, lock=none;

二、执行过程分析

在Mysql5.6之后，mysql支持 Online DDL 操作。

Online DDL Support for Column Operations

Operation	In Place	Rebuilds Table	Permits Concurrent DML	Only Modifies Metadata
Adding a column	Yes	Yes	Yes*	No
Dropping a column	Yes	Yes	Yes	No
Renaming a column	Yes	No	Yes*	Yes
Reordering columns	Yes	Yes	Yes	No
Setting a column default value	Yes	No	Yes	Yes
Changing the column data type	No	Yes	No	No
Dropping the column default value	Yes	No	Yes	Yes
Changing the auto-increment value	Yes	No	Yes	No*
Making a column NULL	Yes	Yes*	Yes	No
Making a column NOT NULL	Yes*	Yes*	Yes	No
Modifying the definition of an ENUM or SET column	Yes	No	Yes	Yes

如图所示，所执行的添加列操作整个过程为：

初始化：为创建临时表的表结构，获取MDL的排他锁
执行：根据参数 algorithm=inplace, lock=none ，MDL锁降级为共享锁进行数据拷贝
提交：由于涉及到增量备份和临时表的重命名，MDL锁需要升级为排他锁

分析后认为，整个过程只有在初始化和提交的极短过程内需要用到MDL排他锁（影响线上），故而就直接在线上进行操作尝试。

三、遇到的问题

在初始化和提交阶段需要用到MDL的排他锁，而如果DDL操作一直没获取MDL锁（默认获取MDL锁超时时间为一年），那么就会造成 Waiting for table metadata lock 状态，也会阻塞后面所有对 user 表的操作（包括select）。后面会看到连接占满，服务502：

在遇到这样的问题后，为不影响线上，于是后面进行了工具的尝试。

四、工具尝试

工具涉及到 pt-online-schema-change、gh-ost和阿里云无锁DDL。三个工具大同小异，均为使用临时表，将原表数据拷贝到临时表，最后将临时表重命名替换掉原表。区别是在增量同步方面，一个用的触发器、一个用的binlog日志。

但是在处理外键方面，pt-online-schema-change用的删除、重建外键，gh-ost和阿里云无锁DDL则是不支持主表外键的变更。eg：阿里云无锁DDL的失败尝试

故使用工具进行 DDL 操作也不适合。

五、Online DDL 尝试

在本地测试30w数据新增列只需440ms后，尝试选择了 online ddl 的操作：

设置 session 级别获取 MDL 锁等待时间时间，避免长时间阻塞其他线程

$ set lock_wait_timeout=10;
# 在10s内获取不到MDL锁，直接退出 alter 操作
ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction

kill 掉对应的线程以及事务

$ select group_concat(stat separator ' ') from (select concat('kill query ',id,';') as stat from information_schema.processlist  where command != 'Sleep' and Time > 5 order by Time desc) as stats;
+-------------------------------------+
| group_concat(stat separator ' ')    |
+-------------------------------------+
| kill query 42510; kill query 42514; |
+-------------------------------------+
1 row in set (0.00 sec)
$ select group_concat(stat separator ' ') from (select concat('kill ',trx_mysql_thread_id,';')   as stat from information_schema.innodb_trx order by trx_started desc) as stats;
+-------------------------------------------------------------------------+
| group_concat(stat separator ' ')                                        |
+-------------------------------------------------------------------------+
| kill 42436; kill 42435; kill 42521; kill 42511; kill 42510; kill 42483; |
+-------------------------------------------------------------------------+
1 row in set (0.01 sec)

执行 DDL 操作：

$ alter table user add deleted boolean NOT NULL default false comment '用户注销标识' , algorithm=inplace, lock=none;

结果：

以上是在停服后操作的结果，其中 2 操作在停服后，没有需要 kill 的 ID。

参考文献

InnoDB and Online DDL

以上就是MySql Online DDL操作记录详解的详细内容，更多关于MySql Online DDL操作的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

mysql主从复制读写分离的配置方法详解
一般来说mysql都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离（MySQL-Proxy）来提升数据库的并发负载能力这样的方案来进行部署与实施的。
2018-04-04
详解Mysql取前一天、前一周、后一天等时间函数
本文给大家介绍Mysql取前一天、前一周、后一天等时间函数,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
2023-11-11
MySQL中如何优化order by语句
本文主要介绍了MySQL中如何优化order by语句，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-01-01
MySQL定时器开启、调用实现代码
有些新手朋友对MySQL定时器开启、调用不是很熟悉，本人整理测试一些，拿出来和大家分享一下，希望可以帮助你们
2012-12-12
Sql Server数据库远程连接访问设置详情
这篇文章主要介绍了Sql Server数据库远程连接访问设置详情，文章围绕主题展开详细的内容戒杀，具有一定的参考价值，需要的小伙伴可以参考一下
2022-09-09
草稿整理后mysql两个数据库结构对比
这篇文章主要为大家详细介绍了mysql两个数据库结构对比结果，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助
2022-02-02
MySQL入门(一) 数据表数据库的基本操作
这类文章记录我看MySQL5.6从零开始学》这本书的过程，将自己觉得重要的东西记录一下，并有可能帮助到你们，在写的博文前几篇度会非常基础，只要动手敲，跟着我写的例子全部实现一遍，基本上就搞定了，前期很难理解的东西基本没有
2018-07-07
这种sql写法真的会导致索引失效吗
这篇文章主要给大家介绍了关于网上流传的某种sql写法会导致索引失效的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用sql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-07-07
解决MySQL安装重装时出现could not start the service mysql error:0问题的方法
这篇文章主要为大家详细介绍了解决MySQL安装重装时出现could not start the service mysql error:0问题的方法，感兴趣的小伙伴们可以参考一下
2016-06-06
MySQL Aborted connection告警日志的分析
这篇文章主要介绍了MySQL Aborted connection告警日志的分析，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下
2020-08-08