zabbix性能优化实践

最近在做数据平台这边的监控,因为之前一直在用zabbix,而且个人比较倾向于把数据放在数据库中(这一点nagios和cacti是没法和zabbix比的),方便后面做进一步的分析和处理(容量规划等)。在架构上考虑到扩展性和性能问题,采用了master---proxy的结构,其中proxy使用active的模式,这样可以减轻master端的压力。
谈几个遇到的问题:
1.首先,为了了解zabbix的性能情况,增加了zabbix相关的metric监控
(具体见:http://1662935.blog.51cto.com/1652935/1345664)

2.监控添加问题,开发了添加监控的前端页面,使用zabbix api的方式来一键添加监控,完成链接模板,分配分组的操作。其中主机到模板的链接通过主机名的方式进行匹配,缺乏可维护性,因为现在cmdb不可用,和同事讨论下来,准备自己在数据库里面维护一套信息(host--process,process--template),每天动态更新。

3.在一个proxy添加了200台机器后,开始遇到了断图的问题
比如下面这个:
zabbix性能优化实践
通过分析zabbix server 数据库中history的数据,发现有数据丢失的情况,interval 为60s,1小时应该有60条数据,但是在数据库中只有十几条,进而分析proxy 数据库中的items表,delay设置是没有问题的,排除config sync的问题,分析agent端的日志,发现在agent端就存在数据获取不完整的问题(agent使用了passive的模式),也就是说proxy busy造成了获取数据不完整,调整StartPollers后解决,这个值默认是5,在passive agent的模式下,远远不够用,建议改成hosts*1.5的值。

4.unreachable 问题
1)接入机器后,出现大批的host unreachable的报警(agent.ping item),但是主机是可以通的,通过部署网络监测脚本,排除agent---proxy---master 3者间的网络连通问题。通过增大 StartPollersUnreachable和UnreachablePeriod解决。
2)报警问题,zabbix在ok--->unknown状态时不会产生报警,因此unreachable的报警不能发现host item获取值的问题,可通过增加host update percent监控实现(具体见:http://1662935.blog.51cto.com/1652935/1345789)。

5.集群整体update percent很低

通过breakdown到host,发现部分host update percent导致(几台机器agent有问题,值状态为unknown)修复后,整体的update percent升高到98%左右。


6.proxy服务器load问题
一个proxy接入350台左右的集群,nvps200左右,但是load比较高,因为agent是passive的模式,数据获取都是proxy负责的,因此如果item比较多,proxy的压力就会比较大。考虑转换agent的模式为active,将压力分散到agent端,proxy只负责数据sync和config sync,调整后,proxy压力减小了很多,具体见下图(没数据的地方是item没有调整为active导致)

zabbix性能优化实践

同时解决了queue过多的问题,调整后,基本没有超过5分钟的delay了。

zabbix性能优化实践

7.housekeeper的问题
master端和proxy端都存在这个问题(proxy不能disable housekeeper),master端可以通过disable 并partition db解决,因为需要停机维护,暂时还没做调整。
通过上面的调整,zabbix基本没什么压力了(单proxy 350台),扩展性也不错,后面需要做benchmark test,看看能跑到多少nvps.


小结:做zabbix的性能调优之前,要做好zabbix性能的监控,调整中要考虑把压力分散,master分散至proxy,proxy分散至agent。
对zabbix的工作机制和各种process的作用要了解,对zabbix的数据库表结构也要有比较好的理解。


本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1346372,如需转载请自行联系原作者
上一篇:效率相关笔记


下一篇:UWP开发入门(十五)——在FlipView中通过手势操作图片