zabbix--3.0--3

2023-07-26 14:05:04

使用JMX监控jvm

vim /usr/local/tomcat/bin/catalina.sh

添加如下内容

CATALINA_OPTS="$CATALINA_OPTS -Dcom.sun.management.jmxremote

  -Dcom.sun.management.jmxremote.port=8888

  -Dcom.sun.management.jmxremote.ssl=false

  -Dcom.sun.management.jmxremote.authenticate=false

  -Djava.rmi.server.hostname=192.168.58.12"

zabbix--3.0--3

重启tomcat，查看监听情况

[root@linux-node2 src]# killall java

[root@linux-node2 src]# killall java

java: no process found

[root@linux-node2 src]# /usr/local/tomcat/bin/startup.sh

Using CATALINA_BASE:   /usr/local/tomcat

Using CATALINA_HOME:   /usr/local/tomcat

Using CATALINA_TMPDIR: /usr/local/tomcat/temp

Using JRE_HOME:        /usr

Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar

Tomcat started.

看到8888端口已经起来了

[root@linux-node2 src]# netstat -lntp

Active Internet connections (only servers)

Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name

tcp        0      0 0.0.0.0:10050           0.0.0.0:*               LISTEN      6938/zabbix_agentd

tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd

tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      1160/sshd

tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1251/master

tcp6       0      0 :::10050                :::*                    LISTEN      6938/zabbix_agentd

tcp6       0      0 127.0.0.1:8005          :::*                    LISTEN      8522/java

tcp6       0      0 :::56614                :::*                    LISTEN      8522/java

tcp6       0      0 :::8009                 :::*                    LISTEN      8522/java

tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd

tcp6       0      0 :::8080                 :::*                    LISTEN      8522/java

tcp6       0      0 :::22                   :::*                    LISTEN      1160/sshd

tcp6       0      0 :::8888                 :::*                    LISTEN      8522/java

tcp6       0      0 :::57945                :::*                    LISTEN      8522/java

tcp6       0      0 ::1:25                  :::*                    LISTEN      1251/master

[root@linux-node2 src]#

在电脑的jdk的bin目录下，找到jconsole

点击update

JMX的key可以在server上使用zabbix-get获取下

[root@linux-node1 ~]# zabbix_get -s 192.168.58.12 -k  jmx["java.lang:type=GarbageCollector,name=Copy",CollectionCount]

ZBX_NOTSUPPORTED: Unsupported item key.

[root@linux-node1 ~]#

不知道为什么，开启debug看看

debug是4

[root@linux-node2 src]# vim /etc/zabbix/zabbix_agentd.conf

这里需要改成4

重启agent

systemctl restart zabbix-agent.service

看agent日志

tail -f /var/log/zabbix/zabbix_agentd.log

显示的并没太多有用信息

先放这里

zabbix监控Nginx

监控过程如下

1、开启Nginx监控
2、编写脚本来进行数据采集
3、设置用户自定义参数
4、重启zabbix-agent
5、添加item
6、创建图形
7、创建触发器
8、创建模板

下载这个脚本

它不仅可以监控nginx，还可以监控memcached，redis，http状态

tcp链接比较多的情况下，ss命令比netstat快

脚本里面的命令

[root@linux-node2 src]# ss -ant | awk 'NR>1 {++s[$1]} END {for(k in s) print k,s[k]}'

LISTEN 14

ESTAB 4

TIME-WAIT 30

[root@linux-node2 src]#

因为上面只显示当前的有数据的，所以下面多了个判断，没数据的项都显示0

把这个函数的第一个参数复制给tcp_stat

这个函数的第一个参数根据下面main里看到，是这个脚本的第二个参数

考虑到一个机器可能起多个nginx，所以加个端口参数区分

memcached的脚本这里的$1 和$2 分别是脚本的$2 和 $3

nc其实是net cat

修改zabbix-agent配置文件，让其包含.conf文件

[root@linux-node1 ~]# vim /etc/zabbix/zabbix_agentd.conf

原本下面文件包含这个目录下的所有文件，改一下，改成*.conf

这样的话，sh脚本也可以放这个目录下了，然后不会被误认为配置文件而加载

[root@linux-node1 ~]# cd /etc/zabbix/zabbix_agentd.d/

[root@linux-node1 zabbix_agentd.d]# ls

nginx.conf  userparameter_mysql.conf

[root@linux-node1 zabbix_agentd.d]# rz -E

rz waiting to receive.

[root@linux-node1 zabbix_agentd.d]# ls

nginx.conf  userparameter_mysql.conf  zabbix_linux_plugin.sh

[root@linux-node1 zabbix_agentd.d]# chmod +x zabbix_linux_plugin.sh

[root@linux-node1 zabbix_agentd.d]# ls

nginx.conf  userparameter_mysql.conf  zabbix_linux_plugin.sh

[root@linux-node1 zabbix_agentd.d]#

改成下划线，对应监控脚本内容

[root@linux-node1 ~]# vim /usr/local/nginx/conf/nginx.conf

[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx -s reload

[root@linux-node1 ~]#

因为脚本里写的就是下划线，要对应上

这里也可以更改，因为agent和nginx在一台机器上

[root@linux-node1 ~]# /usr/local/nginx/sbin/nginx -s reload

[root@linux-node1 ~]#

通过命令简单获取成功

[root@linux-node1 zabbix_agentd.d]# ./zabbix_linux_plugin.sh nginx_status 8080 active

1

[root@linux-node1 zabbix_agentd.d]#

新建自定义key文件，调用这个脚本

[root@linux-node1 zabbix_agentd.d]# cp nginx.conf linux.conf

[root@linux-node1 zabbix_agentd.d]# vim linux.conf

[root@linux-node1 zabbix_agentd.d]# cat linux.conf

UserParameter=linux_status[*],/etc/zabbix/zabbix_agentd.d/zabbix_linux_plugin.sh "$1" "$2" "$3"

[root@linux-node1 zabbix_agentd.d]#

重启agent

[root@linux-node1 zabbix_agentd.d]# systemctl restart zabbix-agent.service

[root@linux-node1 zabbix_agentd.d]#

这个脚本支持传参

[root@linux-node1 ~]# zabbix_get -s 192.168.58.11 -k linux_status[nginx_status,8080,active]

1

[root@linux-node1 ~]#

zabbix_get成功，这样可以添加到web上了

配置---模板---创建模板

add之后，在模板里找到它，然后点进去，看到items等

创建item

更新间隔，30秒太频繁了，可以改成60秒一次，顺便创建一个叫Nginx Status的application

点击add，添加成功

点进去，克隆它

把这几个都加上去

zabbix--3.0--3

依次，克隆加进去

心得。我觉得可以把一些重要的模板克隆了，防止误操作，在模板上改东西

加图形

items选这4个就行了

给linux-node1加这个模板

可以导出这个模板给别人

导出的模板需要自己改名，导出来默认都是同一个名字

graph有数据了

监控tcp的11种状态

tcp 11种状态的模板

node1加这个模板

node2也加此模板

它用的还是上面nginx那个脚本

zabbix用户要能执行它，真正执行它的时候是zabbix执行

[root@linux-node1 zabbix_agentd.d]# pwd

/etc/zabbix/zabbix_agentd.d

[root@linux-node1 zabbix_agentd.d]# ll

total 16

-rw-r--r-- 1 root root   96 Mar 26 15:22 linux.conf

-rw-r--r-- 1 root root  117 Mar 19 20:37 nginx.conf

-rw-r--r-- 1 root root 1531 Mar  2 23:49 userparameter_mysql.conf

-rwxr-xr-x 1 root root 2776 Jun 18  2016 zabbix_linux_plugin.sh

[root@linux-node1 zabbix_agentd.d]#

练习怎么加触发器

先给nginx监控加触发器

这里大于1，出于测试目的

zabbix--3.0--3

找到刚才创建的Nginx status

打开页面，模拟问题。让连接数大于1

自动发送了邮件告警

邮件配置对的话，肯定能收到告警
这里还看到了一个告警，Too many processes on linux-node2
系统自带的触发器，阈值太低，修改下模板里的items里的阀值

默认5分钟的平均值大于300就告警，改成600

改成600

Zabbix告警通知

自定义告警脚本：
1、放在 /usr/lib/zabbix/alertscripts
2、需要支持3个参数，1 收件人，2 主题， 3内容
3、执行权限
4、web界面添加
5、修改actions

短信通道，阿里大鱼，一条0.045左右

http://www.alidayu.com/

它有http的api。很方便

curl -X POST 'http://gw.api.taobao.com/router/rest' \

-H 'Content-Type:application/x-www-form-urlencoded;charset=utf-8' \

-d 'app_key=12129701' \

-d 'format=json' \

-d 'method=alibaba.aliqin.fc.sms.num.send' \

-d 'partner_id=apidoc' \

-d 'sign=DB9F439ACCF950E94514CDF0BF24DFB8' \

-d 'sign_method=hmac' \

-d 'timestamp=2017-03-26+16%3A25%3A33' \

-d 'v=2.0' \

-d 'extend=123456' \

-d 'rec_num=13000000000' \

-d 'sms_free_sign_name=%E9%98%BF%E9%87%8C%E5%A4%A7%E4%BA%8E' \

-d 'sms_param=%7B%5C%22code%5C%22%3A%5C%221234%5C%22%2C%5C%22product%5C%22%3A%5C%22alidayu%5C%22%7D' \

-d 'sms_template_code=SMS_585014' \

-d 'sms_type=normal'

亿美软通短信平台比较古老了。现在很少用

模拟下自己写的脚本发告警流程

脚本放在下面目录下/usr/lib/zabbix/alertscripts

[root@linux-node1 ~]# cd /usr/lib/zabbix/alertscripts

[root@linux-node1 alertscripts]# ls

[root@linux-node1 alertscripts]# vim sms.sh

[root@linux-node1 alertscripts]# chmod +x sms.sh

[root@linux-node1 alertscripts]# cat sms.sh

#!/bin/bash

ALERT_TO=$1

ALERT_TITLE=$2

ALERT_BODY=$3

echo $ALERT_TO >> /tmp/sms.log

echo $ALERT_TITLE >> /tmp/sms.log

echo $ALERT_BODY >> /tmp/sms.log

[root@linux-node1 alertscripts]#

创建新的告警介质

脚本需要加参数，从脚本里取，用大括号括起来，这3个参数分别是$1,$2,$3

改action

用户这里

触发报警

模拟发送成功，实际自己写的脚本就该这么个架构

[root@linux-node1 tmp]# tail -5 /tmp/sms.log

xxxx38@qq.com

PROBLEM: Nginx Active > 1

 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*tus[nginx_status,8080,active]): 3

[root@linux-node1 tmp]#

Zabbix监控MySQL

zabbix自带监控mysql的脚本，真正生产喜欢用的是percona的脚本

percona也有自己的mysql，在某些方面它比官方的性能更好

下面链接

https://www.percona.com/software/documentation

https://www.percona.com/doc/percona-monitoring-plugins/LATEST/index.html

https://www.percona.com/doc/percona-monitoring-plugins/1.1/index.html

可以看到它支持下面3个产品

最早是由cacti改的，由于zabbix太火了。没支持zabbix的不行了，就要被淘汰。

它使用php脚本连接mysql

要监控mysql的话，agent端必须安装php和phpmysql

https://www.percona.com/doc/percona-monitoring-plugins/1.1/zabbix/index.html

https://www.percona.com/doc/percona-monitoring-plugins/1.1/zabbix/index.html#installation-instructions

https://www.percona.com/doc/percona-server/LATEST/installation/yum_repo.html

yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm  -y

[root@linux-node1 ~]# yum install percona-zabbix-templates php php-mysql -y

Loaded plugins: fastestmirror

Loading mirror speeds from cached hostfile

 * base: mirrors.aliyun.com

 * epel: mirror01.idc.hinet.net

 * extras: mirrors.aliyun.com

 * updates: mirrors.aliyun.com

Package percona-zabbix-templates-1.1.7-2.noarch already installed and latest version

Package php-5.4.16-42.el7.x86_64 already installed and latest version

Package php-mysql-5.4.16-42.el7.x86_64 already installed and latest version

Nothing to do

[root@linux-node1 ~]#

相关知识点
1、php脚本用来采集数据
2、shell调用这个php
3、zabbix配置文件
4、zabbix模板文件

拷贝模板配置文件到zabbix配置文件目录下

[root@linux-node1 ~]# rpm -ql percona-zabbix-templates

/var/lib/zabbix/percona

/var/lib/zabbix/percona/scripts

/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh

/var/lib/zabbix/percona/scripts/ss_get_mysql_stats.php

/var/lib/zabbix/percona/templates

/var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf

/var/lib/zabbix/percona/templates/zabbix_agent_template_percona_mysql_server_ht_2.0.9-sver1.1.7.xml

[root@linux-node1 ~]# cp /var/lib/zabbix/percona/templates/userparameter_percona_mysql.conf /etc/zabbix/zabbix_agentd.d/

[root@linux-node1 ~]#

查看

[root@linux-node1 ~]# cd /etc/zabbix/zabbix_agentd.d/

[root@linux-node1 zabbix_agentd.d]# ls

linux.conf  userparameter_mysql.conf          zabbix_linux_plugin.sh

nginx.conf  userparameter_percona_mysql.conf

[root@linux-node1 zabbix_agentd.d]#

重启zabbix-agent

[root@linux-node1 scripts]# systemctl restart zabbix-agent.service

[root@linux-node1 scripts]#

这个shell脚本是调用php脚本

这个配置文件需要拷贝到agent下面

这个模板文件用于导出zabbix server

percona自带的模板不能用。

查看此配置文件，都是一些自定义的key，key的值通过脚本获取

[root@linux-node1 zabbix_agentd.d]# tail -10 userparameter_percona_mysql.conf

UserParameter=MySQL.log-writes,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh hg

UserParameter=MySQL.Query-time-count-04,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh op

UserParameter=MySQL.Query-time-count-05,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh oq

UserParameter=MySQL.Query-time-count-06,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh or

UserParameter=MySQL.Query-time-count-07,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh os

UserParameter=MySQL.Query-time-count-08,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ot

UserParameter=MySQL.Query-time-count-09,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ou

UserParameter=MySQL.Open-files,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh ij

UserParameter=MySQL.State-closing-tables,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh lq

UserParameter=MySQL.running-slave,/var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh running-slave

[root@linux-node1 zabbix_agentd.d]#

通过下面脚本获取key的value

[root@linux-node1 zabbix_agentd.d]# cd /var/lib/zabbix/percona/scripts

[root@linux-node1 scripts]# ls

get_mysql_stats_wrapper.sh  ss_get_mysql_stats.php

[root@linux-node1 scripts]#

创建连接mysql的配置文件，由于root密码是空。所以这里也写的空

[root@linux-node1 scripts]# cat ss_get_mysql_stats.php.cnf

<?php

$mysql_user = 'root';

$mysql_pass = '';

[root@linux-node1 scripts]#

[root@linux-node1 scripts]# mysql

Welcome to the MariaDB monitor.  Commands end with ; or \g.

Your MariaDB connection id is 9629

Server version: 5.5.52-MariaDB MariaDB Server

Copyright (c) 2000, 2016, Oracle, MariaDB Corporation Ab and others.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

MariaDB [(none)]> exit

Bye

[root@linux-node1 scripts]#

测试下此目录下脚本执行是否正常

[root@linux-node1 scripts]# /var/lib/zabbix/percona/scripts/get_mysql_stats_wrapper.sh gg

0

[root@linux-node1 scripts]#

注意此脚本默认配置。如果不符合需要更改。这里由于mysql是yum安装的，环境变量没问题，另外授权登录也是localhost

[root@linux-node1 scripts]# ll get_mysql_stats_wrapper.sh

-rwxr-xr-x 1 root root 1251 Dec 10 02:22 get_mysql_stats_wrapper.sh

[root@linux-node1 scripts]#

这是监控脚本默认的地方，一些东西需要改，比如mysql全路径

默认是localhost权限

zabbix--3.0--3

给node1添加模板

脚本没问题，加入监控监控没问题

脚本调用了php

[root@linux-node1 scripts]# ./get_mysql_stats_wrapper.sh gm

1

[root@linux-node1 scripts]#

Zabbix-Web监控

现在zabbix-get报错，因为原先是root权限执行的脚本，它会在tmp目录下生成下面文件。

[root@linux-node1 scripts]# zabbix_get -s 192.168.58.11 -k MySQL.max-connections

rm: cannot remove ‘/tmp/localhost-mysql_cacti_stats.txt’: Operation not permitted

151

[root@linux-node1 scripts]#

重新授权下

[root@linux-node1 scripts]# ll /tmp/localhost-mysql_cacti_stats.txt

-rw-r--r-- 1 root root 1406 Mar 26 22:15 /tmp/localhost-mysql_cacti_stats.txt

[root@linux-node1 scripts]# chown zabbix.zabbix /tmp/localhost-mysql_cacti_stats.txt

[root@linux-node1 scripts]# ll /tmp/localhost-mysql_cacti_stats.txt

-rw-r--r-- 1 zabbix zabbix 1406 Mar 26 22:15 /tmp/localhost-mysql_cacti_stats.txt

[root@linux-node1 scripts]# zabbix_get -s 192.168.58.11 -k MySQL.max-connections

151

[root@linux-node1 scripts]#

[root@linux-node1 ~]# curl --head http://192.168.58.12:8080/

HTTP/1.1 200 OK

Server: Apache-Coyote/1.1

Content-Type: text/html;charset=UTF-8

Transfer-Encoding: chunked

Date: Sun, 26 Mar 2017 15:14:17 GMT

[root@linux-node1 ~]#

它不依赖于agent，是server自己的

创建一个web场景

agent这里你可以选择一个浏览器

以前也有浏览器，但是没3.0这么全

默认使用agent了

步骤这里

add

add之后

认证相关

认证不配置，点击add即可

add之后

系统默认没加触发器

monitor---web看到如下

这个step的里面下面的作用是，从它会默认从监控的页面里找匹配的字符串，匹配到了它返回OK

假如你不想仅仅看状态的话，

假如你还想看页面关键字

开始手动加触发器，所以最好写个模板

添加表达式

停止tomcat主动触发告警，测试

[root@linux-node2 ~]# /usr/local/tomcat/bin/shutdown.sh

Using CATALINA_BASE:   /usr/local/tomcat

Using CATALINA_HOME:   /usr/local/tomcat

Using CATALINA_TMPDIR: /usr/local/tomcat/temp

Using JRE_HOME:        /usr

Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar

[root@linux-node2 ~]# lsof -i:8080

[root@linux-node2 ~]#

服务器时间不对，导致报警没显示

[root@linux-node1 ~]# date

Mon Mar 27 08:45:34 CST 2017

[root@linux-node1 ~]# systemctl restart ntpd

[root@linux-node1 ~]# date

Mon Mar 27 08:45:46 CST 2017

[root@linux-node1 ~]# date

Mon Mar 27 08:45:47 CST 2017

[root@linux-node1 ~]# date

Mon Mar 27 08:45:48 CST 2017

[root@linux-node1 ~]# date

Wed Mar 29 23:10:17 CST 2017

[root@linux-node1 ~]#

时间对了之后，再次刷新就显示了

发送告警也OK

这是现网用的action告警信息。删了很多

保证70个字符以内

状态:{TRIGGER.STATUS}

主机: ({HOST.NAME1}

监控项：{ITEM.KEY1})：{ITEM.VALUE1}

模拟故障测试方法2，模拟404故障

[root@linux-node2 webapps]# mv ROOT ROOT2

[root@linux-node2 webapps]# ls

docs  examples  host-manager  manager  ROOT2

[root@linux-node2 webapps]# mv ROOT2 ROOT

[root@linux-node2 webapps]#

告警很快下面这里告警比上面关闭tomcat导致端口不可达的告警快很多。模拟404这种发现问题立马告警

[root@linux-node1 ~]# tail -f /tmp/sms.log

 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*e=Runtime",Uptime]): 00:00:09

525031638@qq.com

PROBLEM: linux-node2 is not reachable

 Original ev* (*UNKNOWN*:*UNKNOWN*): *UNKNOWN*e=Runtime",Uptime]): 00:00:25

525031638@qq.com

状态:OK

 监控项：jmx["java.lang:type=Runtime",Uptime])：00:00:5

525031638@qq.com

状态:PROBLEM

 监控项：web.test.rspcode[tomcat web monitor,tomcat index])：40

关于web监控的密码验证，可以post过去用户名和密码

打印机没纸都可以监控，通过snmp

Zabbix监控模式

怎么看zabbix server能不能抗住，看队列就行了，看看item更新超时时间

为什么使用主动模式
1、监控主机多，性能跟不上，延迟大
2、多机房，防火墙

Zabbix轻松解决。Nagios不太好解决
针对Agent来说
1、被动模式
2、主动模式，active

当监控主机超过300+，建议使用主动模式

改成主动模式，这里改成需要0

如果你不设置主机名，它会根据item获取

日志模式设置的地方。

[root@linux-node2 webapps]# systemctl restart zabbix-agent.service

[root@linux-node2 webapps]#

网页制作主动监控模式模板

link的模板去掉。link主动监控的模板

add之后

这里都变成active的了

更改items为主动模式

key的类型都变成active的了

修改node2的模板为主动模式模板

它的状态

数据获取成功

码农公寓

相关文章