本文转载自： https://www.93bok.com
引言
Zabbix并没有提供模板来监控磁盘的IO性能，所以我们需要自己来创建一个，由于一台服务器中磁盘众多，如果只有一两台可以手动添加，但服务集群达到几十那就非常麻烦，因此需要利用自动发现这个功能，自动发现后自动添加对服务器磁盘的监控，而且添加磁盘后也会自动添加到监控，实现自动化运维的效果，接下来我们就来看看怎么自动发现磁盘并自动监控磁盘的IO性能，再设置触发器，IO达到阈值后发出报警
iostat简介
iostat主要用于监控系统设备的IO负载情况，iostat首次运行时显示自系统启动开始的各项统计信息，之后运行iostat将显示自上次运行该命令以后的统计信息。用户可以通过指定统计的次数和时间来获得所需的统计信息。所以在使用iostat监控系统IO负载的时候，不要直接iostat取结果，而是iostat -dxkt 1 2取结果，否则得到的数据根本不正确
iostat安装
yum -y install sysstat
iostat常用参数说明
-c #仅显示CPU统计信息.与-d选项互斥.
-d #仅显示磁盘统计信息.与-c选项互斥.
-k #以K为单位显示每秒的磁盘请求数,默认单位块.
-t #在输出数据时,打印搜集数据的时间.
-V #打印版本号和帮助信息.
-x #输出扩展信息.
iostat命令输出说明
图一
avg-cpu段:
%user: 在用户级别运行所使用的CPU的百分比.
%nice: nice操作所使用的CPU的百分比.
%sys: 在系统级别(kernel)运行所使用CPU的百分比.
%iowait: CPU等待硬件I/O时,所占用CPU百分比.
%idle: CPU空闲时间的百分比.
Device段:
tps: 每秒钟发送到的I/O请求数.
Blk_read /s: 每秒读取的block数.
Blk_wrtn/s: 每秒写入的block数.
Blk_read: 读入的block总数.
Blk_wrtn: 写入的block总数.
图二
rrqm/s：每秒读请求被合并次数
wrqm/s：每秒写请求被合并次数
r/s：每秒完成的读次数
w/s：每秒完成的写次数
rkB/s：每秒读数据量（kb）
wkB/s：每秒写数据量（kb）
avgrq-sz：平均每次IO请求的扇区大小
avgqu-sz：平均每次IO请求的队列长度（越短越好）
await：平均每次IO请求等待时间（毫秒），一般的系统IO等待时间应该低于5ms，如果大于10ms就比较大了。这个时间包括了队列时间和服务时间，也就是说，一般情况下，await大于svctm，它们的差值越小，则说明队列时间越短，反之差值越大，队列时间越长，说明系统出了问题。
r_await：读的平均耗时（毫秒）
w_await：写入平均耗时（毫秒）
svctm：平均每次IO请求处理时间（毫秒），如果svctm的值与await很接近，表示几乎没有I/O等待，磁盘性能很好，如果await的值远高于svctm的值，则表示I/O队列等待太长，系统上运行的应用程序将变慢。
%util：IO队列非空比例，该参数暗示了设备的繁忙程度。一般地，如果该参数是100%表示设备已经接近满负荷运行了
一、在被监控端上编写自动发现和监控磁盘IO脚本
1、创建zabbix脚本存放目录
mkdir -p /etc/zabbix/scripts
2、编写自动发现磁盘脚本
vim /etc/zabbix/scripts/disk_discovery.sh
#!/bin/bash
############################################################
# $Name: disk_discovery.sh
# $Function: DISK DISCOVERY
# $Author: Mr.nong
# $organization: nongziyi.xin
# $Create Date: 2018/1/25
# $Description: Monitor DISK DISCOVERY
############################################################
disk_array=(`grep -E "(vd[a-z]$|sd[a-z]$)" /proc/partitions | awk '{print $4}'`)
length=${#disk_array[@]}
printf "{\n"
printf '\t'"\"data\":["
for ((i=0;i<$length;i++))
do
printf '\n\t\t{'
printf "\"{#DISK_NAME}\":\"${disk_array[$i]}\"}"
if [ $i -lt $[$length-1] ];then
printf ','
fi
done
printf "\n\t]\n"
printf "}\n"
3、编写监控磁盘IO脚本
vim /etc/zabbix/scripts/disk_io.sh
#!/bin/bash
############################################################
# $Name: disk_io.sh
# $Function: DISK IO
# $Author: Mr.nong
# $organization: nongziyi.xin
# $Create Date: 2018/1/25
# $Description: Monitor DISK IO
############################################################
Device=$1
DISK=$2
case $DISK in
#每秒读请求被合并次数
rrqm_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $2}'
;;
#每秒写请求被合并次数
wrqm_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $3}'
;;
#每秒完成的读次数
r_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $4}'
;;
#每秒完成的写次数
w_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $5}'
;;
#每秒读数据量(kb)
rkb_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $6}'
;;
#每秒写数据量(kb)
wkb_s)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $7}'
;;
#平均每次IO请求的扇区大小
avgrq_sz)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $8}'
;;
#平均每次IO请求的队列长度(越短越好)
avgqu_sz)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $9}'
;;
#平均每次IO请求等待时间(毫秒)
await)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $10}'
;;
#读的平均耗时(毫秒)
r_await)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $11}'
;;
#写入平均耗时(毫秒)
w_await)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $12}'
;;
#平均每次IO请求处理时间(毫秒)
svctm)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $13}'
;;
#IO队列非空比例
util)
iostat -dxkt 1 2 | grep "\b$Device\b" | awk 'NR==2{print $14}'
;;
esac
4、给予脚本执行权限
chmod +x /etc/zabbix/scripts/disk_*
5、编辑zabbix_agentd的配置文件支持自定义脚本
vim /etc/zabbix/zabbix_agentd.conf
UnsafeUserParameters=1
6、编辑zabbix_agentd的配置文件添加zabbix配置文件目录
vim /etc/zabbix/zabbix_agentd.conf
Include=/etc/zabbix/zabbix_agentd.conf.d/
7、创建disk_io的key文件
vim /etc/zabbix/zabbix_agentd.conf.d/disk_status.conf
UserParameter=disk.discovery[*],/etc/zabbix/scripts/disk_discovery.sh
UserParameter=disk.io[*],/etc/zabbix/scripts/disk_io.sh $1 $2
参数说明：
其中的格式为UserParameter=<key>,<command>
<key>：就是在web端添加监控脚本时的key值
<command>：就是该key值对应的执行脚本，也就是脚本执行路径
7、重启zabbix_agentd服务
service zabbix_agentd restart
8、在zabbix server端进行测试
/a01/apps/zabbix/bin/zabbix_get -s 192.168.10.26 -k 'disk.discovery[*]'
9、到zabbix web前端创建模板
- “配置”------“模板”------“创建模板”
10、创建应用集
- “配置”------“模板”------“选中模板”------应用集”------“创建应用集”
11、创建自动发现规则
- “配置”------“模板”------“选中模板”------“自动发现规则”------“创建自动发现规则”
- 上图中的“数据更新间隔(秒)”可以调整为久一些，因为服务器添加硬盘不是每天都干的事，这里为了后边验证效果，我就不修改了
12、创建监控项原型（键值[]中的数值必须大写，否则会报错如下）
Cannot create item: item with the same key “diskio.x.[[xxxxxx]] already exists
- 一个一个创建即可，这里只截图一个作为参考
- 创建为完成
13、创建图形原型（名称后边要带哪个磁盘的动态名称，否则会报错如下）
zabbix3 Cannot create graph: graph with the same name "Disk IO" already exists
14、查看是否获取到数据（现在获取到的数据都是0，稍候我们会进行测试）
- 可以看到有sda和sdb两块磁盘被监控到数据了，因为我的这台服务器有两块磁盘
- “监测中”------“最新数据”------“过滤器”------“应用”
16、在被监控端上模拟磁盘写入进行测试
dd if=/dev/zero of=/a.txt bs=8k count=3000000
17、查看我们创建的图形
二、新添一块磁盘，看看是否能自动发现磁盘并监控
- 添加硬盘，分区，格式化过程省略，这里我添加了一块5G硬盘，分区格式化之后挂载在/mnt下，添加完之后直接上zabbix web页面查看是否自己生成图像
三、配置触发器，达到阈值报警
A、IO请求等待时间（await）大于10ms则报警
- “配置”------“选择主机”------“自动发现规则”------“触发器类型”------“创建触发器原型”
上图中的参数说明：
1、监控项：定义被监控项的阈值
2、功能：功能说起来比较麻烦，但是并不难理解，我举个例子，假如设定，一个养鸡场的温度不能低于30度，如果低于30度，则报警；那么我也可以设定，如果温度等于30度，我们就报警；或者说，如果温度高于30度就报警。那到底是低于，等于，还是高于，这得看我们自己怎么设定。还有就是，我们还可以设定，如果5分钟前的检测低于/等于/高于30度，报警；甚至还可以这样，如果连续10分钟内获取的温度值的平均值都低于/等于/高于30度，报警。那么在zabbix中，怎样实现这样灵活的设定呢，就是通过“功能”栏定义的，比如，最近T次监测或者T分钟内的监测，养鸡场的温度出现了小于N度的情况，在功能栏中可以选择“最新的T值<N”。
3、最后一个（T）：我们在“功能”中，已经选择了某种定义，比如“最新的T值<N”，那么T是以时间为单位呢，还是以次数为单位呢，如果我们想定义“最近的第T次，养鸡场的温度小于30度”，那么此处需要选择“计数”。如果我们想要定义“最近T分钟内，养鸡场的温度小于30度”，那么此处需要选择“时间”。
4、排班：如果我们想要定义“最近T分钟内，养鸡场的温度小于30度”，则“最后一个（T）”需要选择“时间”，同时在此处指明时间长度，默认单位是秒。
5、N：此处用于设置N的值，比如“最近一次监测的养鸡场温度小于30度”，那么这里N就是30。
在本例中，我监控了await这个数值，整个触发器的意思就是：在最近的3次监测中，await的状态都大于10，则报警。
B、IO队列非空比例（%util）大于80%时报警
- “配置”------“选择主机”------“自动发现规则”------“触发器类型”------“创建触发器原型”
四、再次模拟磁盘写入，测试会不会触发到报警
dd if=/dev/zero of=/a.txt bs=8k count=3000000