MySQL数据归档小工具mysql_archiver详解

一.主要概述

MySQL数据库归档历史数据主要可以分为三种方式：一.创建编写SP、设置Event；二.通过dump导入导出；三.通过pt-archiver工具进行归档。第一种方式往往受限于同实例要求，往往被大家舍弃。第二种，性能相对较好，但是归档表较多时运维也是比较头疼的事。所以很多DBA往往采用第三种方式--pt-archiver。

pt-archiver是Percona-Toolkit工具集中的一个组件，是一个主要用于对MySQL表数据进行归档和清除的工具。它可以将数据归档到另一张表或者是一个文件中。pt-archiver在清除表数据的过程中并不会影响OLTP事务的查询性能。对于数据的归档，它可以归档到另一台服务器上的另一张表，也可归档到一个文件中。

有一个网友通过Python开发了将pt-archiver打包成了一个小工具—mysql_archiver，它基本实现了归档作业的配置化部署，使用起来挺不错。"MySQL_archiver基本上实现了数据归档的自动运转，统一的归档任务调度管理、自动监控和预警、自动生成报表。在一定程度上节约了生产力，提高了运维效率。"

github地址：https://github.com/dbarun/mysql_archiver

二.pt-archiver主要参数参数

三,安装部署mysql_archiver常见错误

1. 执行python db_archive_exec.py 127.0.0.1 db123 报错

Traceback (most recent call last):
  File "/data/mysql_archiver/mysql_archiver-master/db_archive_exec.py", line 7, in <module>
    import db_conn
  File "/data/mysql_archiver/mysql_archiver-master/db_conn.py", line 4, in <module>
    import MySQLdb
ImportError: No module named MySQLdb

解决方案:

Step 1 基础环境

rm -rf /etc/yum.repos.d/epel*
yum install postgresql-devel python3-devel postgresql-devel python-devel

Step 2安装setuptools

（1） 下载 setuptools-39.2.0.zip
（2） 解压安装 python setup.py build
    python setup.py install

step 3 安装pip

（1） 下载 pip-1.5.4.tar.gz
（2） 安装 python setup.py install

step 4 安装MySQL-python

yum install MySQL-python

2.报错缺少pt-archiver工具

sh: pt-archiver: command not found

解决方案：

下载percona-toolkit-3.2.1_x86_64.tar.gz,安装，并且设置个软连接。

例如:

ln -s /data/mysql_archiver/percona-toolkit-3.2.1/bin/pt-archiver /usr/local/bin/pt-archiver

3.缺少文档

<type 'exceptions.Exception'>
[Errno 2] No such file or directory: u'/software/python_script/db_archive_XXXXdb_XXXtablename.log'

解决方案:

创建文档:/software/python_script

4.字符集问题

Character set mismatch: --source DSN uses utf8, table uses utf8mb4.  You can disable this check by specifying --no-check-charset.

解决方案:

修改db_archive_exec.py可执行文件，针对pt-archiver添加参数--no-check-charset

5.参数设置报错

Usage: pt-archiver [OPTIONS] --source DSN --where WHERE

Errors in command-line arguments:
 * --txn-size and --commit-each are mutually exclusive.

pt-archiver nibbles records from a MySQL table. The --source and --dest
arguments use DSN syntax; if COPY is yes, --dest defaults to the key's value
from --source. For more details, please use the --help option, or try 'perldoc
/usr/local/bin/pt-archiver' for complete documentation.

解决方案:

pt-archiver去掉参数--commit-each

6.Cannot find encoding "utf8mb4"

报错信息:

Cannot find encoding "utf8mb4" at /usr/local/bin/pt-archiver line 6711.

解决方案:

pt-archiver去掉参数 --bulk-insert --bulk-delete

四.主要参考资料

1.MySQL数据归档实战-Python和pt-archiver的强强结合

https://blog.csdn.net/n88lpo/article/details/78905528?utm_medium=distribute.pc_relevant.none-task-blog-baidulandingword-14&spm=1001.2101.3001.4242

2.MySQL数据归档小工具

https://github.com/dbarun/mysql_archiver#readme

3.在linux下安装MySQLdb及基本操作

https://www.cnblogs.com/blogsme/archive/2012/12/12/2814588.html

4.pt工具之pt-archiver

https://www.cnblogs.com/yhq1314/p/10601801.html

5.linux下pip的安装步骤及使用详解

https://www.jb51.net/article/118035.htm

6.Percona-Toolkit 之 pt-archiver 总结

https://www.cnblogs.com/dbabd/p/10721857.html

到此这篇关于MySQL数据归档小工具mysql_archiver详解的文章就介绍到这了,更多相关MySQL数据归档内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论