详解MySQL 表中非主键列溢出情况监控

 更新时间:2020年04月17日 14:22:45   作者:我的二狗呢  
这篇文章主要介绍了详解MySQL 表中非主键列溢出情况监控,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

今天,又掉坑了。 之前踩到过MySQL主键溢出的情况,通过prometheus监控起来了,具体见这篇MySQL主键溢出复盘

这次遇到的坑,更加的隐蔽。 是一个log表里面的一个int signed类型的列写满了。快速的解决方法当然还是只能切新表来救急了,然后搬迁老表的部分历史数据到热表。 

亡羊补牢,处理完故障后,赶紧写脚本把生产的其他表都捋一遍。

下面是我暂时用的一个检测脚本,还不太完善,凑合用

分2个文件(1个sql文件,1个shell脚本)

check.sql 内容如下:

SELECT 
cast( pow(2, case data_type
  when 'tinyint'  then 7
  when 'smallint' then 15
  when 'mediumint' then 23
  when 'int'    then 31
  when 'bigint'  then 63
  end+(column_type like '% unsigned'))-1 as decimal(30,0)) as max_int,
' - ',
concat ('(', concat('select ','max(',COLUMN_NAME,')',' from ',TABLE_SCHEMA,'.',TABLE_NAME),')') 
from 
information_schema.COLUMNS 
where 
TABLE_SCHEMA NOT IN ('information_schema','sys','test','mysql','performance_schema') 
AND 
 DATA_TYPE IN ('int' ) ;

直接到数据库里面执行,效果类似这样:

check.sh 内容如下:

#!/bin/bash
# 监测int类型的当可用空间少500w的时候,提醒做DDL操作 
# 设置 session级别的 max_execution_time为2秒,防止没有索引的大的拖慢数据库,但是这样可能漏判部分列,需要注意下
# 注意:我这里bigint类型的没有检查,如果需要请修改 check.sql where条件中的DATA_TYPE加上 bigint的检查

source /etc/profile
set -u

mkdir $(date +%F) -pv

# step1 检测
for host in {'192.168.1.100','192.168.1.110','192.168.1.120','192.168.1.130'}; do

mysql -udts -pdts -h${host} -BN < check.sql  2>/dev/null > sql.log
wait

echo "说明: | 当前列允许的最大值 | 巡检用的SQL   " >> $(date +%F)/$host.log

while read line; do
  ret=$(mysql -udts -pdts -h${host} -BNe "set session max_execution_time=2000;select $line" 2>/dev/null)
  echo ${ret}
  if [[ "${ret}" == "NULL" ]]; then
  continue
  fi
  if [ ${ret} -lt 5000000 ] ; then 
   echo "$line 剩余空间 ${ret}, 该表可用水位不足500W,建议做DDL修改为bigint类型" >> $(date +%F)/$host.log
  
  fi
done < ./sql.log

done

# step2 将检查的内容打包发邮件(这里可能需要根据自己生产的情况改改)
tar czf $(date +%F).tar.gz $(date +%F)
sendemail -s 192.168.1.200 -f post@domain.com -t ergou@domain.com -a $(date +%F).tar.gz -u "$(date +%F) int水位线巡检日志" -o message-content-type=html -o message-charset=utf8 -m "内容详见附件"

# step3 清理每日生成的以日期命名的目录和tar.gz文件,这里我就不贴命令

再配个每天上午10点的cronjob即可,

最终每天收到邮件里面内容大致类似如下:

到此这篇关于详解MySQL 表中非主键列溢出情况监控的文章就介绍到这了,更多相关MySQL 非主键列溢出内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • mysql sql_mode="" 的作用说明

    mysql sql_mode="" 的作用说明

    在看discuz源码时看到了sql_mode="",不知道是干嘛的,猜想是设置模式,但是不清楚是什么模式,于是从网上搜了下,sql_mode="" 的作用
    2011-08-08
  • MYSQL根据JSON列将一行拆为多行的操作方法

    MYSQL根据JSON列将一行拆为多行的操作方法

    这篇文章主要介绍了MYSQL根据JSON列将一行拆为多行的操作方法,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2023-06-06
  • MySQL 配置文件 my.cnf / my.ini 区别解析

    MySQL 配置文件 my.cnf / my.ini 区别解析

    充分理解 MySQL 配置文件中各个变量的意义对我们有针对性的优化 MySQL 数据库性能有非常大的意义,这篇文章主要介绍了MySQL 配置文件 my.cnf / my.ini 区别,需要的朋友可以参考下
    2022-11-11
  • mysql 数据库备份的多种实现方式总结

    mysql 数据库备份的多种实现方式总结

    这篇文章主要介绍了mysql 数据库备份的多种实现方式,总结分析了MySQL数据库备份的常见语句、使用方法及操作注意事项,需要的朋友可以参考下
    2020-02-02
  • 浅析mysql交互式连接&非交互式连接

    浅析mysql交互式连接&非交互式连接

    下面小编就为大家带来一篇浅析mysql交互式连接&非交互式连接。小编觉挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-03-03
  • MYSQL实现添加购物车时防止重复添加示例代码

    MYSQL实现添加购物车时防止重复添加示例代码

    在向mysql中插入数据的时候最需要注意的就是防止重复发添加数据,下面这篇文章主要给大家介绍了关于MYSQL如何实现添加购物车的时候防止重复添加的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
    2017-09-09
  • MySQL 8.0新特性之集合操作符INTERSECT和EXCEPT

    MySQL 8.0新特性之集合操作符INTERSECT和EXCEPT

    MySQL8.0.31版本开始支持了INTERSECT(交集)和EXCEPT(差集)运算,INTERSECT返回两个结果集中都包含的行,EXCEPT返回左侧结果集存在,右侧不存在的行,这篇文章主要给大家介绍了关于MySQL 8.0新特性之集合操作符INTERSECT和EXCEPT的相关资料,需要的朋友可以参考下
    2022-10-10
  • MySQL(win7x64 5.7.16版本)下载、安装、配置与使用的详细图文教程

    MySQL(win7x64 5.7.16版本)下载、安装、配置与使用的详细图文教程

    这篇文章主要介绍了MySQL(win7x64 5.7.16版本)下载、安装、配置与使用的详细教程,本文图文并茂给大家介绍的非常详细,感兴趣的朋友参考下
    2016-12-12
  • 教你如何使用MySQL8递归的方法

    教你如何使用MySQL8递归的方法

    这篇文章主要介绍了教你如何使用MySQL8递归的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • mysql如何比对两个数据库表结构的方法

    mysql如何比对两个数据库表结构的方法

    这篇文章主要介绍了mysql如何比对两个数据库表结构的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-09-09

最新评论