实例讲解MySQL统计库表大小

 更新时间:2020年07月04日 11:55:07   作者:懂点IT的耿小厨  
这篇文章主要介绍了MySQL统计库表大小的相关资料,文中示例代码非常详细,帮助大家更好的理解和学习,感兴趣的朋友可以了解下

统计每个库每个表的大小是数据治理的其中最简单的一个要求,本文将从抽样统计结果及精确统计结果两方面来统计MySQL的每个库每个表的数据量情况。

1、统计预估数据量

mysql数据字典库information_schema里记录了统计的预估数据量(innodb引擎表不准确,MyISAM引擎表准确)及数据大小、索引大小及表碎片的大小等信息。

如果想了解每个库及表的大概数据量级,可以直接查information_schema.tables进行统计即可。例如:

SELECT table_schema,table_name,table_rows,data_length+index_length+ data_free data_size
 FROM information_schema.`TABLES` WHERE table_schema IN ('db1','db2');

其中data_size单位为B

如上文所述,统计信息里的数据条数及size是根据部分数据抽样统计的值,与实际大小存在差异,且表越大,差异越明显,如果想知道每张表的实际情况,需用后续的方法。

2、统计实际数据量

想要统计每张表的实际大小就得去遍历每个表算出对的记录数,通过查看表空间大小(每个表独立表空间)查看每个表的size。通过以下步骤即可达到精确统计的目的。

创建路径

创建一个工作路径,保存脚本及临时文件等

mkdir -p /usr/local/data_size

创建统计库及表

在需要统计的数据库实例上创建统计库

SQL> create database bak_db;

创建统计的存储过程

SQL> use bak_db;
SQL>CREATE PROCEDURE `p_db_size`()
BEGIN
DECLARE v_id INT;
DECLARE v_maxid INT;
DECLARE v_tbname VARCHAR(50);
DECLARE v_dbname VARCHAR(50);
DECLARE v_sql_upd VARCHAR(200);
SET v_id =(SELECT MIN(id) FROM bak_db.tb_size);
SET v_maxid =(SELECT MAX(id) FROM bak_db.tb_size);
WHILE v_id <=v_maxid
DO
SET v_tbname = (SELECT tbname FROM bak_db.tb_size WHERE id=v_id);
SET v_dbname = (SELECT dbname FROM bak_db.tb_size WHERE id=v_id);
SET v_sql_upd = CONCAT('update bak_db.tb_size set tb_rows=(select count(*) from ',v_dbname,".",v_tbname,") where id=",v_id);
  SET @v_sql_upd := v_sql_upd;
  PREPARE stmt FROM @v_sql_upd;
  EXECUTE stmt ;
  DEALLOCATE PREPARE stmt;
  SET v_id = v_id +1;
END WHILE;
  END;

创建脚本

vim    data.sh
/* 插入如下内容*/

#! /bin/bash
cd /usr/local/data_size
du -s /data/mysql/mysql3306/data/db1/* |grep -v ".frm" |grep -v ".opt" >/usr/local/data_size/data_size     
du -s /data/mysql/mysql3306/data/db2/* |grep -v ".frm" |grep -v ".opt">>/usr/local/data_size/data_size

# 后面4步是拼接成sql 
awk '{print "insert into bak_db.tb_size(size,tb_route)values("""$0}' /usr/local/data_size/data_size >/usr/local/data_size/data_size1  
awk '{print $0";"}' /usr/local/data_size/data_size1 >/usr/local/data_size/data_size.sql
sed -i "s#\t#,'#g" /usr/local/data_size/data_size.sql
sed -i "s#;#');#g" /usr/local/data_size/data_size.sql

# 创建统计表
 /usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.132 -e "drop table if exists bak_db.tb_size;CREATE TABLE IF NOT EXISTS bak_db.tb_size ( id INT(11) NOT NULL PRIMARY KEY AUTO_INCREMENT ,size INT,tb_route VARCHAR(200),tbname VARCHAR(50),dbname VARCHAR(50),tb_rows INT(11));" 

# 导入数据
 /usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.132 -e "use bak_db;truncate table bak_db.tb_size;source /usr/local/data_size/data_size.sql;"

# 生成库名及表名,当然该步骤也可以从数据字段中获取
 /usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.132 -e "use bak_db;UPDATE bak_db.tb_size SET tbname=REPLACE(SUBSTRING_INDEX(tb_route,'/',-1),'.ibd','');"
 /usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.132 -e "UPDATE bak_db.tb_size SET dbname=LEFT (SUBSTRING_INDEX(tb_route,'/',-2),INSTR(SUBSTRING_INDEX(tb_route,'/',-2),'/')-1);"
sleep 10       # 如果之前的步骤在主库金学习学习,则建议暂停一段时间 以免后面统计的时候无法获得表及内容,如果前面的步骤都在从库,则可以省略该步骤
echo 'start call procedure' 
# 调用存储过程 统计每个表的记录条数
/usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.132 -e "use bak_db;call bak_db.p_db_size();"

# 把表及数据导出
/usr/local/mysql5.7/bin/mysqldump -uroot -p'Test#123456' -h 192.168.28.132 --single-transaction bak_db tb_size >/usr/local/data_size/tb_size.sql

# 将表及结果导入主库(从库相当于删除在重建了一次)
/usr/local/mysql5.7/bin/mysql -uroot -p'Test#123456' -h 192.168.28.128 -e "use bak_db;source /usr/local/data_size/tb_size.sql;"

结果如下:

可以看出精确值与统计信息里的值差异还是很大的,且表越大 差异越明显。

TIPS:  本文精确统计的脚本还有许多优化空间,写的比较仓促,大家可以按需自行调整,水平有限,欢迎斧正。如有问题,欢迎与我沟通。

以上就是实例讲解MySQL统计库表大小的详细内容,更多关于MySQL统计库表大小的资料请关注脚本之家其它相关文章!

相关文章

  • Mysql事物锁等待超时Lock wait timeout exceeded;的解决

    Mysql事物锁等待超时Lock wait timeout exceeded;的解决

    本文主要介绍了Mysql事物锁等待超时Lock wait timeout exceeded;的解决,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03
  • mysql8.0.21安装教程图文详解

    mysql8.0.21安装教程图文详解

    这篇文章主要介绍了mysql8.0.21安装教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-09-09
  • MySQL系列之八 MySQL服务器变量

    MySQL系列之八 MySQL服务器变量

    其中有些参数支持运行时修改,会立即生效;有些参数不支持,且只能通过修改配置文件,并重启服务器程序生效;有些参数作用域是全局的,且不可改变;有些可以为每个用户提供单独(会话)的设置
    2021-07-07
  • 在CentOS上MySQL数据库服务器配置方法

    在CentOS上MySQL数据库服务器配置方法

    最近工作中经常需要使用到MySQL,有时候在WINXP,有时候在Linux中,而这次,需要在CentOS中配置一下,还需要用到phpmyadmin, 在网上搜了不少的资料。
    2010-04-04
  • MySQL主从复制的原理图解及Java语言示例使用

    MySQL主从复制的原理图解及Java语言示例使用

    这篇文章主要介绍了MySQL的主从复制原理详细分析,读写分离是基于主从复制来实现的。文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-08-08
  • MySQL的重装问题解决方法

    MySQL的重装问题解决方法

    最近在工作上遇到了MySQL重装的问题,今天记录一下我的解决过程。不论我用控制面板的卸载删除程序方式还是安全卫士的卸载,都会遇到一个问题,就是安装到如下图位置,server start时就程序无响应了,一直死在那里
    2013-04-04
  • mysql模糊匹配多个值的两种方法实例

    mysql模糊匹配多个值的两种方法实例

    我们平时使用msyql需要模糊的匹配字段的时候,我们第一反应就是使用like查询语句来模糊匹配,下面这篇文章主要给大家介绍了关于mysql模糊匹配多个值的两种方法,需要的朋友可以参考下
    2022-12-12
  • MYSQL拒绝访问报错not allowed to connect

    MYSQL拒绝访问报错not allowed to connect

    MYSQL拒绝访问报错not allowed to connect,下面有个可行的方法,可以在其它任何的主机上以root身份登录
    2014-07-07
  • MySQL数据库安全秘籍之守护数据金库防火防盗防攻击

    MySQL数据库安全秘籍之守护数据金库防火防盗防攻击

    MySQL是许多公司和组织的关键数据库,因此其安全性的重要性如此显而易见,为了确保MySQL的安全性,需要采取多种措施来增强其安全性,本文给大家介绍MySQL数据库安全秘籍之守护数据金库防火防盗防攻击,感兴趣的朋友一起看看吧
    2023-03-03
  • 一个简单的MySQL备份Shell脚本

    一个简单的MySQL备份Shell脚本

    这篇文章主要介绍了一个简单的MySQL备份Shell脚本,本文直接给出代码实例,需要的朋友可以参考下
    2015-07-07

最新评论