MySQL性能分析、及调优工具使用详解

本文汇总了MySQL DBA日常工作中用到的些工具,方便初学者,也便于自己查阅。

先介绍下基础设施(CPU、IO、网络等)检查的工具:

vmstat、sar(sysstat工具包)、mpstat、oprofile、nicstat、dstat、iotop、tsar、iostat 掌握几个即可,功能大同小异(个人常用的是 dstat、sar)

CPU

mpstat -P ALL 1  每隔1s显示一次

MySQL性能分析、及调优工具使用详解

上图可以看到CPU调度不均衡。因此我们可以尝试将pid为700的进程绑定到第四颗CPU上。taskset -p 03 700

磁盘:

vmstat -S m 1 10

iostat -xkdz 1

iotop

pt-ioprofile --profile-pid=$(pidof mysqld) --cell=sizes --run-time=30

MySQL性能分析、及调优工具使用详解

内存:

    vmtouch  【很cool的工具】  参考:http://blog.yufeng.info/archives/1903

    作用:

查看一个文件(或者目录)哪些部分在内存中;

把文件调入内存;

把文件清除出内存;

把文件锁住在内存中而不被换出到磁盘上;

1. 看看/bin目录有多少内容在内存中

$ vmtouch /bin/
           Files: 92
     Directories: 1
  Resident Pages: 348/1307  1M/5M 26.6%
         Elapsed: 0.003426 seconds

2. 看看某文件(big-dataset.txt)有多少在内存中

How much ofbig-dataset.txt is currently in memory?

$ vmtouch -v big-dataset.txt
big-dataset.txt
[                                                           ] 0/42116

           Files: 1
     Directories: 0
  Resident Pages: 0/42116  0/164M 0%
         Elapsed: 0.005182 seconds

个即可,其他的状态使用dstat、sar等命令来获取。

注意:下面的2个参数的调用默认是没有地方输入用户名和密码的,因此建议将密码写到/etc/my.cnf 的client段里面。

./orzdba -mysql -C 10 -i 1

MySQL性能分析、及调优工具使用详解

./orzdba -innodb -C 10 -i 1

MySQL性能分析、及调优工具使用详解

tcpdump抓包捕获瞬间的SQL

step1

tcpdump -s 65535 -x -nn -q -tttt -i eth0 -c 5000 port 3306 > /root/dump.txt

上面的命令参数含义:

-s     #snaplen, 也就是数据包的截取长度

-nn    #将地址、端口显示为数字格式【经常用】

-q     #快速输出。只输出较少的协议信息。【经常用】

-tttt # 在每行打印的时间戳之前添加日期的打印【经常用】

-c     #在收到指定的数量的分组后,tcpdump就会停止。

step2

pt-query-digest --type tcpdump/root/dump.txt  即可分析出结果

#!/bin/bash

#实时采集并分析1000个分组的sql包数据

#Date:2017/05/02

#注意部分机器的网卡是eth1或多网卡,脚本里面需要做修改

source/etc/profile

[! -e /usr/sbin/tcpdump ] &&  yum  install  tcpdump -y > /dev/null 2>&1

#如果抓取的数据太少,可以修改-c 5000 多抓取些用于分析

tcpdump -s 65535 -x -nn -q -tttt -i eth0 -c 5000 port 3306 > /root/dump.txt && pt-query-digest --type tcpdump /root/dump.txt > /root/pt_result.log

if[ $? -eq 0 ] ; then

echo "统计结果输出到/root/pt_result.log" && rm -f /root/dump.txt

else

echo "程序运行出错"

fi

dodba 【推荐】

doDBA tools是一个基于控制台的远程监控工具,它不需要在本地/远程系统上安装任何软件,它可以实时收集操作系统、MySQL、InnoDB的实时性能状态数据,并可以生成Doing日志文件,来帮助你快速了解/优化系统及MySQL数据库。

远程收集系统信息是通过ssh(用户名密码或建立信任)的方式连接到远程服务器上收集,收集的方法都是通过读取Linux的proc下的等meminfo,diskstats,uptime,net,vmstat ,cpuinfo ,loadavg等文件,这和pmm,zabbix收集方式一致。

远程收集MySQL信息是通过 MySQL tcp连接到MySQL数据库上收集,只需要授予连接用户PROCESS、SELECT权限即可。

系统信息和MySQL信息的收集可以分离,如果只想收集系统信息,只需要提供系统用户名密码即可,如果只收集MySQL可以只提供MySQL连接信息,如果是rds用户,可以使用-rds参数,在使用mytop时会自动忽略系统信息的收集。

http://www.ywnds.com/?p=7499

下载地址:https://github.com/dblucyne/dodba_tools

wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA--no-check-certificate

wget https://raw.githubusercontent.com/dblucyne/dodba_tools/master/doDBA.conf--no-check-certificate

chmod +x doDBA

功能非常强大,官方地址:https://github.com/dblucyne/dodba_tools 介绍的很详细

具体如何使用在运维帮的公众号上面有比较全面的介绍,下面是我摘录的部分内容:

./doDBA-help   查看帮助

收集Linux性能数据

./doDBA-h=192.168.2.11 -sys  # 通过ssh远程连接去获取信息

MySQL性能分析、及调优工具使用详解

搜集MySQL性能数据

./doDBA-h=127.0.0.1 -mysql

MySQL性能分析、及调优工具使用详解

执行前需要先去修改 doDBA.conf  配置上mysql的用户名密码和端口:

{

"Host":"",

"Huser":"root",

"Hport":"22",

"Hpwd":  "",

个活跃线程时就自动执行show processlist 和show engine innodb status\G 并把采集到的信息存到dbdba.log

配合shell批量采集

cat ip.txt 内容如下:

192.168.2.11

192.168.2.12

cat ip.txt | while read ip;  do  echo $ip;  ./doDBA -h=$ip -mysql -log

重磅推荐:my.cnf 参数计算器(推荐):

http://www.mysqlcalculator.com/

不同物理硬件的服务器,my.cnf 的部分参数需要调整,如果参数设置的太大,可能导致OOM。因此有必要用这个计算器算一下。

上文中部分内容参考自网易王洪权的ppt。

上一篇:性能优化 | JVM性能调优篇——来自阿里P7的经验总结


下一篇:linux 持续构建(自动部署) 重启动tomcat或进程的脚本