Mysql在线回收undo表空间实战记录

更新时间：2019年09月10日 10:03:00 作者：Jackgo

这篇文章主要给大家介绍了关于Mysql在线回收undo表空间的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Mysql具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

1 Mysql5.6

1.1 相关参数

MySQL 5.6增加了参数innodb_undo_directory、innodb_undo_logs和innodb_undo_tablespaces这3个参数，可以把undo log从ibdata1移出来单独存放。

innodb_undo_directory：指定单独存放undo表空间的目录，默认为.（即datadir），可以设置相对路径或者绝对路径。该参数实例初始化之后虽然不可直接改动，但是可以通过先停库，修改配置文件，然后移动undo表空间文件的方式去修改该参数。

默认参数：

mysql> show variables like '%undo%';
+-------------------------+-------+
| Variable_name      | Value |
+-------------------------+-------+
| innodb_undo_directory  | .   |
| innodb_undo_logs    | 128  |
| innodb_undo_tablespaces | 0   |
+-------------------------+-------+

innodb_undo_tablespaces：指定单独存放的undo表空间个数，例如如果设置为3，则undo表空间为undo001、undo002、undo003，每个文件初始大小默认为10M。该参数我们推荐设置为大于等于3，原因下文将解释。该参数实例初始化之后不可改动

实例初始化是修改innodb_undo_tablespaces：

mysql_install_db ...... --innodb_undo_tablespaces

$ ls
...
undo001 undo002 undo003

innodb_rollback_segments：默认128个。每个回滚段可同时支持1024个在线事务。这些回滚段会平均分布到各个undo表空间中。该变量可以动态调整，但是物理上的回滚段不会减少，只是会控制用到的回滚段的个数。

1.2 使用

初始化实例之前，我们只需要设置innodb_undo_tablespaces参数（建议大于等于3）即可将undo log设置到单独的undo表空间中。如果需要将undo log放到更快的设备上时，可以设置innodb_undo_directory参数，但是一般我们不这么做，因为现在SSD非常普及。innodb_undo_logs可以默认为128不变。

undo log可以存储于ibdata之外。但这个特性依然鸡肋：

首先你必须在install实例的时候就指定好独立Undo tablespace, 在install完成后不可更改。
Undo tablepsace的space id必须从1开始，无法增加或者删除undo tablespace。

1.3 大事务测试

mysql> create table test.tbl( id int primary key auto_increment, name varchar(200));
Query OK, 0 rows affected (0.03 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into test.tbl(name) values(repeat('1',00));
Query OK, 1 row affected (0.00 sec)

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 1 row affected (0.00 sec)
Records: 1 Duplicates: 0 Warnings: 0

...

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 2097152 rows affected (24.84 sec)
Records: 2097152 Duplicates: 0 Warnings: 0

mysql> commit;
Query OK, 0 rows affected (7.90 sec)

观察undolog已经开始膨胀了！事务commit后空间也没有回收。

$ du -sh undo*
10M  undo001
69M  undo002
10M  undo003

2 Mysql5.7

5.7引入了在线truncate undo tablespace

2.1 相关参数

必要条件：

innodb_undo_tablespaces：最少有两个，这样一个在清理的时候可以使用另一个，该参数实例初始化之后不可改动
innodb_rollback_segments：回滚段的个数，总会有一个回滚段分配给系统表空间，32个保留给临时表空间。所以如果想使用undo表空间的话，这个值要至少为33。例如使用两个undo表空间，这个值就配35。如果设置多个undo表空间，系统表空间中的回滚段会变成非活跃状态。

启动参数：

innodb_undo_log_truncate=on
innodb_max_undo_log_size：超过这个值的表空间会标记为truncate，动态参数默认是1G
innodb_purge_rseg_truncate_frequency：指定purge操作被唤起多少次之后才释放rollback segments。当undo表空间里面的rollback segments被释放时，undo表空间才会被truncate。由此可见，该参数越小，undo表空间被尝试truncate的频率越高。

2.2 清理过程

undo表空间大小超过innodb_max_undo_log_size后，标记该表空间需要清理。标记会循环进行，避免一个表空间被反复清理。
标记表空间内的回滚段变为非活跃状态，正在运行的事务等待执行完。
开始purge
释放undo表空间中的所有回滚段后，运行truncate并将undo表空间截断为其初始大小，初始大小由innodb_page_size决定，默认16KB的大小对应表空间为10MB
重新激活回滚段，以便将它们分配给新事务

2.3 性能建议

truncate表空间时避免影响性能的最简单方法是增加撤消表空间的数量

2.4 大事务测试

配置8个undo表空间，innodb_purge_rseg_truncate_frequency=10

mysqld --initialize ... --innodb_undo_tablespaces=8

开始测试

mysql> show global variables like '%undo%';
+--------------------------+------------+
| Variable_name      | Value   |
+--------------------------+------------+
| innodb_max_undo_log_size | 1073741824 |
| innodb_undo_directory  | ./     |
| innodb_undo_log_truncate | ON     |
| innodb_undo_logs     | 128    |
| innodb_undo_tablespaces | 8     |
+--------------------------+------------+

mysql> select @@innodb_purge_rseg_truncate_frequency;
+----------------------------------------+
| @@innodb_purge_rseg_truncate_frequency |
+----------------------------------------+
|                   10 |
+----------------------------------------+

select @@innodb_max_undo_log_size;
+----------------------------+
| @@innodb_max_undo_log_size |
+----------------------------+
|          10485760 |
+----------------------------+

mysql> create table test.tbl( id int primary key auto_increment, name varchar(200));
Query OK, 0 rows affected (0.03 sec)

mysql> start transaction;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into test.tbl(name) values(repeat('1',00));
Query OK, 1 row affected (0.00 sec)

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 1 row affected (0.00 sec)
Records: 1 Duplicates: 0 Warnings: 0

...

mysql> insert into test.tbl(name) select name from test.tbl;
Query OK, 2097152 rows affected (24.84 sec)
Records: 2097152 Duplicates: 0 Warnings: 0

mysql> commit;
Query OK, 0 rows affected (7.90 sec)

undo表空间情况，膨胀到100MB+后成功回收

$ du -sh undo*
10M    undo001
10M    undo002
10M    undo003
10M    undo004
10M    undo005
10M    undo006
125M   undo007
10M    undo008

$ du -sh undo*
10M    undo001
10M    undo002
10M    undo003
10M    undo004
10M    undo005
10M    undo006
10M    undo007
10M    undo008

3 Reference

https://dev.mysql.com/doc/ref...

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对脚本之家的支持。

您可能感兴趣的文章:

手动管理MySQL8.0中的Undo表空间的使用

详解MySQL中SlowLog的配置方法(图文)
mysql 日志系统上线有段时间了,前端在慢慢切站点过来写入,未雨绸缪 diy了套 mysql 监控工具
2014-02-02
CentOS 7 下使用yum安装MySQL5.7.20 最简单方法
这篇文章主要介绍了CentOS 7 下使用yum安装MySQL5.7.20 最简单方法,需要的朋友可以参考下
2018-11-11
解决MySQL数据库链接超时报1129错误问题
MySQL 为了数据库的安全性默认在链接中断或者错误时记录错误链接的ip 等信息（host_cache），有点像系统的错误日志的一种机制，这篇文章主要介绍了MySQL数据库链接超时报1129错误解决办法,需要的朋友可以参考下
2022-10-10
MySQL判断列的值既不为NULL又不为空字符串的问题
这篇文章主要介绍了MySQL判断列的值既不为NULL又不为空字符串的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
MYSQL更新优化实录
本文给大家分享的是个人在对mysql数据进行刷新的时候遇到的一个效率非常低下的问题的解决全过程，主要是针对sql语句来进行优化，有查找问题的方法，有解决方法，非常的详细，小伙伴可以参考下。
2015-08-08
MySql安装启动两种方法教程详解
本文通过两种方法给大家介绍mysql安装启动的方法，非常不错，具有参考价值，有需要的朋友一起学习吧
2016-05-05
Mysql主键和唯一键的区别点总结
在本篇文章中小编给大家分享了关于Mysql主键和唯一键的区别，有兴趣的朋友们学习下吧。
2019-02-02
Mysql非安装版使用步骤及忘记密码解决方法
这篇文章主要介绍了Mysql非安装版使用步骤及忘记密码的解决方法,需要的朋友可以参考下
2017-04-04
MySQL数据库优化之分表分库操作实例详解
这篇文章主要介绍了MySQL数据库优化之分表分库操作,结合实例形式详细分析了mysql数据库分表分库垂直拆分、水平拆分相关原理以及应用案例,需要的朋友可以参考下
2020-01-01
Linux服务器中MySQL远程连接的开启方法
今天在Linux服务器上安装了msyql数据库，在本地访问的时候可以访问，但是我想通过远程的方式访问的时候就不能访问了，查询资料后发现，Linux下MySQL默认安装完成后只有本地访问的权限，没有远程访问的权限，需要你给指定用户设置访问权限才能远程访问该数据库
2017-06-06

Mysql在线回收undo表空间实战记录

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具