酷站(www.ku0.com)-致力于为互联网从业者提供动力!

热门关键词:  企业  as  baidu  c4rp3nt3r  美女
【ECS精选特惠】新用户上云低至1折起
百度资源

MySQL表中非主键列溢出情况监控的介绍

来源:互联网搜集 作者:秩名 人气: 发布时间:2020-04-20
本篇文章主要介绍了MySQL表中非主键列溢出情况监控的介绍,对大家的学习或者工作具有一定的参考学习价值,感兴趣的小伙伴们可以参考一下,也感谢大家对酷站(ku0.com)的支持。

这次遇到的坑,更加的隐蔽。 是一个log表里面的一个int signed类型的列写满了。快速的解决方法当然还是只能切新表来救急了,然后搬迁老表的部分历史数据到热表。 

亡羊补牢,处理完故障后,赶紧写脚本把生产的其他表都捋一遍。

下面是我暂时用的一个检测脚本,还不太完善,凑合用

分2个文件(1个sql文件,1个shell脚本)

check.sql 内容如下:

SELECT
cast( pow(2, case data_type
  when 'tinyint'  then 7
  when 'smallint' then 15
  when 'mediumint' then 23
  when 'int'    then 31
  when 'bigint'  then 63
  end+(column_type like '% unsigned'))-1 as decimal(30,0)) as max_int,
' - ',
concat ('(', concat('select ','max(',COLUMN_NAME,')',' from ',TABLE_SCHEMA,'.',TABLE_NAME),')') 
from
information_schema.COLUMNS
where
TABLE_SCHEMA NOT IN ('information_schema','sys','test','mysql','performance_schema')
AND
 DATA_TYPE IN ('int' ) ;
 

直接到数据库里面执行,效果类似这样:

check.sh 内容如下:

#!/bin/bash
# 监测int类型的当可用空间少500w的时候,提醒做DDL操作
# 设置 session级别的 max_execution_time为2秒,防止没有索引的大的拖慢数据库,但是这样可能漏判部分列,需要注意下
# 注意:我这里bigint类型的没有检查,如果需要请修改 check.sql where条件中的DATA_TYPE加上 bigint的检查

source /etc/profile
set -u

mkdir $(date +%F) -pv

# step1 检测
for host in {'192.168.1.100','192.168.1.110','192.168.1.120','192.168.1.130'}; do

mysql -udts -pdts -h${host} -BN < check.sql  2>/dev/null > sql.log
wait

echo "说明: | 当前列允许的最大值 | 巡检用的SQL   " >> $(date +%F)/$host.log

while read line; do
  ret=$(mysql -udts -pdts -h${host} -BNe "set session max_execution_time=2000;select $line" 2>/dev/null)
  echo ${ret}
  if [[ "${ret}" == "NULL" ]]; then
  continue
  fi
  if [ ${ret} -lt 5000000 ] ; then
   echo "$line 剩余空间 ${ret}, 该表可用水位不足500W,建议做DDL修改为bigint类型" >> $(date +%F)/$host.log
  
  fi
done < ./sql.log

done

# step2 将检查的内容打包发邮件(这里可能需要根据自己生产的情况改改)
tar czf $(date +%F).tar.gz $(date +%F)
sendemail -s 192.168.1.200 -f post@domain.com -t ergou@domain.com -a $(date +%F).tar.gz -u "$(date +%F) int水位线巡检日志" -o message-content-type=html -o message-charset=utf8 -m "内容详见附件"

# step3 清理每日生成的以日期命名的目录和tar.gz文件,这里我就不贴命令
 

再配个每天上午10点的cronjob即可,

最终每天收到邮件里面内容大致类似如下:

版权声明:本文内容来源于互联网或用户自行发布贡献,该文观点仅代表原作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 959677720#qq.cn(#换@) 举报,一经查实,本站将立刻删除。
原文链接:https://blog.51cto.com/lee90/2486466

相关文章

  • MySQL explain获取查询指令信息原理介绍

    MySQL explain获取查询指令信息原理介绍

    explain用于获取查询执行计划信息, 一、语法 只需要在select前加上explain即可,如: mysql explain select 1;+----+-------------+-------+------------+------+---------------+------+---------+------+------+----------+----------......
    05-15
  • mysql查询每小时数据和上小时数据的差值的实现方法

    mysql查询每小时数据和上小时数据的差值的实现方法

    一、前言 需求是获取某个时间范围内每小时数据和上小时数据的差值以及比率。本来以为会是一个很简单的 sql ,结果思考两分钟发现并不简单,网上也没找到参考的方案,那就只能自己慢慢分析了。 刚开始没思路,就去问 DBA 同学,结果 DBA ......
    04-25
  • mysql条件查询and or使用方法及优先级

    mysql条件查询and or使用方法及优先级

    mysql and与or介绍 AND 和 OR 可在 WHERE 子语句中把两个或多个条件结合起来。 使用OR关键字时: 只要符合这几个查询条件的其中一个条件,这样的记录就会被查询出来。 如果不符合这些查询条件中的任何一条,这样的记录将被排除掉。 使用a......
    04-23
  • MySQL表中非主键列溢出情况监控的介绍

    MySQL表中非主键列溢出情况监控的介绍

    这次遇到的坑,更加的隐蔽。 是一个log表里面的一个int signed类型的列写满了。快速的解决方法当然还是只能切新表来救急了,然后搬迁老表的部分历史数据到热表。 亡羊补牢,处理完故障后,赶紧写脚本把生产的其他表都捋一遍。 下面是我暂......
    04-20
  • MySQL表自增id溢出的故障复盘解决的方法

    MySQL表自增id溢出的故障复盘解决的方法

    问题:MySQL某个表自增id溢出导致某业务block 背景: tokudb引擎的一个大表tb1,存放业务上的机审日志,每天有大量的写入, 并且由于历史原因,这张表是int signed 类型的,最大只能存 2147483647行记录 。 处理过程: 增加DBLE中间件代......
    04-17
  • mysql外键基本功能与用法的介绍

    mysql外键基本功能与用法的介绍

    本文内容: 什么是外键 外键的增加 外键的修改和删除 外键的约束模式 首发日期:2018-04-12 什么是外键: 外键就是表中存在一个 字段 指向 另外一个表的主键 ,那么这个字段就可以称为外键。 一张表可以有多个外键。 外键用于约束表与表......
    04-15
  • mysql语句书写和执行顺序的介绍

    mysql语句书写和执行顺序的介绍

    mysql语句的书写顺序和执行顺序有很大差异。 书写顺序,mysql的一般书写顺写为: select 要返回的数据列 from 表名 join, left join, right join... join join表 on join条件 where where条件 group by 分组条件 having 分组后的筛选条件......
    03-27
  • 详解MySQL union all与union的区别

    详解MySQL union all与union的区别

    union 是对数据进行并集操作,不包括重复行,同时进行默认排序Union all 是对数据进行并集操作,包括重复行,不进行排序举例说明: 创建数据库表: ? 1 2 3 4 5 6 7 CREATE TABLE `t_demo` ( `id` int (32) NOT NULL , ` name ` varchar ......
    03-26
  • MySQL case when使用方法的介绍

    MySQL case when使用方法的介绍

    首先我们创建数据库表: CREATE TABLE `t_demo` ( `id` int(32) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(2) DEFAULT NULL, `num` int(3) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8; 插入数......
    03-26
  • SQL注入漏洞过程实例及解决方案

    SQL注入漏洞过程实例及解决方案

    代码示例: public class JDBCDemo3 { public static void demo3_1(){ boolean flag=login(aaa OR ,1651561); //若已知用户名,用这种方式便可不用知道密码就可登陆成功 if (flag){ System.out.println(登陆成功); }else{ System.out.pri......
    03-21

最新更新