360内部监控系统"Wonder实践之路"

 ADDOPS张振辉 360云计算


360内部监控系统"Wonder实践之路"


女主宣言

Wonder监控系统目前已经是360内部最大、最健全的监控系统。基于open-falcon改造的Wonder,从2016年4月上线至今已经运行了一年多,从最初的“乞丐版”,到现在的“神奇女侠版”,wonder的变化经历了很多。今天小主就为大家分享这篇来自公司内部的分享PPT:“Wonder监控系统实践之路”。

PS:丰富的一线技术、多元化的表现形式,尽在“HULK一线技术杂谈”,点关注哦!


 

前言

Wonder是 ADDOPS、HULK-dev团队基于开源项目Open-Falcon二次开发的监控系统。Wonder从2016年4月在360内部上线至今,节点数量超过了4W+台,采集的监控项超过千万。


特点:

  • 强大灵活的数据采集

  • 高效率的告警策略管理

  • 人性化的告警设置

  • 高效率的历史数据查询

  • 高可用


Wonder对Open-Falcon改进的功能点:

  • Agent自动更新

  • 存活监控、端口监控、日志监控

  • 报警队列控制

  • 超过最大报警次数重报

  • 与硬件报修接口联动自动禁用报警

  • 机房报警屏蔽

  • LastEvent状态持久化存储


 

现状

1

整体架构图 

360内部监控系统"Wonder实践之路"

2

存活组件sniffer 

存活监控组件sniffer:一个独立开发的存活监控组件,多机房部署,可以对机器的网络、端口存活进行多点监控。


360内部监控系统"Wonder实践之路"

如下是两组sniffer-agent存活组件采集的状态图:


360内部监控系统"Wonder实践之路"

360内部监控系统"Wonder实践之路"

3

线上规模 

360内部监控系统"Wonder实践之路"



线上集群指标:

Transfer_QPS:20万/S;大约5分钟上报6千万监控项
采集监控项:1200万+
占用存储空间:2.4T
RRD归档存储时间:2年


4

数据上报 

 {
    metric: df.bytes.used,
    endpoint: w01v.add.bjyt.qihoo.net,
    tags: fstype=ext4,mount=/,
    value: 1.5,
    timestamp: `date +%s`,
    counterType: GAUGE,
    step: 60
 }


Counter(计数器):标识递增的数据,比如接口访问次数、网卡流量。
Gauge(原始值):当前瞬时的一个状态,可能增加,也可能减小,比如CPU使用率,平均延时等等。


sum(df_bytes_used{fstype="ext4",mount="/"}) by (fstype,mount,hulkid) 


5

RRD归档策略 

// 设置各种归档策略
// 1分钟一个点存 3d
c.RRA("AVERAGE", 0.5, 1, RRA1PointCnt)

// 5m一个点存7d
c.RRA("AVERAGE", 0.5, 5, RRA5PointCnt)

// 20m一个点存15d
c.RRA("AVERAGE", 0.5, 20, RRA20PointCnt)

// 3小时一个点存6个月
c.RRA("AVERAGE", 0.5, 180, RRA180PointCnt)

// 12小时一个点存2year
c.RRA("AVERAGE", 0.5, 720, RRA720PointCnt)


6

agent自动更新 

Wonder 目前承接了将近4W台主机(包括非HULK管理的主机),Agent部署和维护升级是个不小的工作量。


  1. 部署:一次性全部安装使用Qcmd。

  2. 版本升级:Wonder Agent支持自动更新



  3. 360内部监控系统"Wonder实践之路"



8

结合CMDB 

沿用的私有云的业务树层级关系,从最初的360 节点-主业务-子业务-角色,策略、自定义监控和日志监控都是继承关系,并且支持下级*关闭继承策略和添加自有策略等操作。用户权限:和hulk强一致

360内部监控系统"Wonder实践之路"


9

报警设置 

报警方式:

报警组设置:针对所有成员生效
个人报警方式设置:针对当前登录用户生效


360内部监控系统"Wonder实践之路"


添加策略:

360内部监控系统"Wonder实践之路"


策略克隆:


360内部监控系统"Wonder实践之路"

自定义监控:

自定义监控(Plugin)在Wonder中使用更为灵活,用户可以自己定义监控项的名称、用户、执行命令、单位等。

360内部监控系统"Wonder实践之路"


日志监控:

日志监控对应用程序的日志进行监控并对日志进行处理后上报。日志路径支持日期函数匹配。

360内部监控系统"Wonder实践之路"


存活监控:

存活监控作为一种特殊的基础监控已经内置,用户只需配置策略即可报警。


360内部监控系统"Wonder实践之路"


端口监控:


360内部监控系统"Wonder实践之路"

Nginx监控:

Nginx监控已经作为Wonder基础监控项加入到Agent中,支持访问统计、请求时间、499、50x错误统计等,展示界面如下。



360内部监控系统"Wonder实践之路"



10

报警统计 

在报警统计中,用户可以非常方便查看报警的状态和历史,并且可以手动忽略报警事件(类似Zabbix的ack功能)。


报警状态:


360内部监控系统"Wonder实践之路"

报警历史:


360内部监控系统"Wonder实践之路"

11

应用监控 

应用监控的原理是监控系统定时到部署业务的各台服务器以及vip*问监控脚本,根据监控脚本返回的信息判断是否需要报警,用户只需写好监控脚本,脚本对项目需要监控的各个要点进行调用,将返回结果按照规定结构显示。

360内部监控系统"Wonder实践之路"


 

正在做的

Wonder目前正在做的事情:

  1. LVS流量突变监控

  2. 数据筛选模块和缓存模块

  3. 接入Prometheus

  4. 提供自定义上报数据接口

  5. 支持同环比查看历史图


 

未来

在提供安全可靠报警的同时,未来Wonder要努力的方向:

  1. 提供尽可能全的基础数据和支持更灵活的自定义数据PUSH

  2. 通过数据挖掘,我们会对业务整体情况进行判断

  3. 智能监控方面,我们不仅仅只做常规报警预测(比如磁盘),后期还会朝动态阈值、报警关联、报警预测等努力

  4. 我们会争取接入更多的业务和提供更多开发的服务


上一篇:熊猫关键词工具v2.8.1.0绿色版SEO工具


下一篇:小学生都开始学Python了,你还不抓紧提升技术?