ADDOPS张振辉 360云计算

女主宣言

Wonder监控系统目前已经是360内部最大、最健全的监控系统。基于open-falcon改造的Wonder，从2016年4月上线至今已经运行了一年多，从最初的“乞丐版”，到现在的“神奇女侠版”，wonder的变化经历了很多。今天小主就为大家分享这篇来自公司内部的分享PPT：“Wonder监控系统实践之路”。

PS：丰富的一线技术、多元化的表现形式，尽在“HULK一线技术杂谈”，点关注哦！

 

前言

Wonder是 ADDOPS、HULK-dev团队基于开源项目Open-Falcon二次开发的监控系统。Wonder从2016年4月在360内部上线至今，节点数量超过了4W+台，采集的监控项超过千万。

特点：

• 强大灵活的数据采集

• 高效率的告警策略管理

• 人性化的告警设置

• 高效率的历史数据查询

• 高可用
  

Wonder对Open-Falcon改进的功能点：

• Agent自动更新

• 存活监控、端口监控、日志监控

• 报警队列控制

• 超过最大报警次数重报

• 与硬件报修接口联动自动禁用报警

• 机房报警屏蔽

• LastEvent状态持久化存储

 

现状

1

整体架构图 

2

存活组件sniffer 

存活监控组件sniffer：一个独立开发的存活监控组件，多机房部署，可以对机器的网络、端口存活进行多点监控。

如下是两组sniffer-agent存活组件采集的状态图：

3

线上规模 

线上集群指标：

Transfer_QPS：20万/S;大约5分钟上报6千万监控项
采集监控项：1200万+
占用存储空间：2.4T
RRD归档存储时间：2年

4

数据上报 

 {
    metric: df.bytes.used,
    endpoint: w01v.add.bjyt.qihoo.net,
    tags: fstype=ext4,mount=/,
    value: 1.5,
    timestamp: `date +%s`,
    counterType: GAUGE,
    step: 60
 }

Counter（计数器）：标识递增的数据，比如接口访问次数、网卡流量。
Gauge（原始值）：当前瞬时的一个状态，可能增加，也可能减小，比如CPU使用率，平均延时等等。

sum(df_bytes_used{fstype="ext4",mount="/"}) by (fstype,mount,hulkid) 

5

RRD归档策略 

// 设置各种归档策略
// 1分钟一个点存 3d
c.RRA("AVERAGE", 0.5, 1, RRA1PointCnt)

// 5m一个点存7d
c.RRA("AVERAGE", 0.5, 5, RRA5PointCnt)

// 20m一个点存15d
c.RRA("AVERAGE", 0.5, 20, RRA20PointCnt)

// 3小时一个点存6个月
c.RRA("AVERAGE", 0.5, 180, RRA180PointCnt)

// 12小时一个点存2year
c.RRA("AVERAGE", 0.5, 720, RRA720PointCnt)

6

agent自动更新 

Wonder 目前承接了将近4W台主机（包括非HULK管理的主机），Agent部署和维护升级是个不小的工作量。

1. 部署：一次性全部安装使用Qcmd。
   

2. 版本升级：Wonder Agent支持自动更新

   
   

   
   

3. 

8

结合CMDB 

沿用的私有云的业务树层级关系，从最初的360 节点-主业务-子业务-角色，策略、自定义监控和日志监控都是继承关系，并且支持下级*关闭继承策略和添加自有策略等操作。用户权限：和hulk强一致

9

报警设置 

报警方式：

报警组设置：针对所有成员生效
个人报警方式设置：针对当前登录用户生效

添加策略：

策略克隆：

自定义监控：

自定义监控（Plugin）在Wonder中使用更为灵活，用户可以自己定义监控项的名称、用户、执行命令、单位等。

日志监控：

日志监控对应用程序的日志进行监控并对日志进行处理后上报。日志路径支持日期函数匹配。

存活监控：

存活监控作为一种特殊的基础监控已经内置，用户只需配置策略即可报警。

端口监控：

Nginx监控：

Nginx监控已经作为Wonder基础监控项加入到Agent中，支持访问统计、请求时间、499、50x错误统计等，展示界面如下。

10

报警统计 

在报警统计中，用户可以非常方便查看报警的状态和历史，并且可以手动忽略报警事件（类似Zabbix的ack功能）。

报警状态：

报警历史：

11

应用监控 

应用监控的原理是监控系统定时到部署业务的各台服务器以及vip*问监控脚本，根据监控脚本返回的信息判断是否需要报警，用户只需写好监控脚本，脚本对项目需要监控的各个要点进行调用，将返回结果按照规定结构显示。

 

正在做的

Wonder目前正在做的事情：

1. LVS流量突变监控

2. 数据筛选模块和缓存模块

3. 接入Prometheus

4. 提供自定义上报数据接口

5. 支持同环比查看历史图

 

未来

在提供安全可靠报警的同时，未来Wonder要努力的方向：

1. 提供尽可能全的基础数据和支持更灵活的自定义数据PUSH

2. 通过数据挖掘，我们会对业务整体情况进行判断

3. 智能监控方面，我们不仅仅只做常规报警预测（比如磁盘），后期还会朝动态阈值、报警关联、报警预测等努力

4. 我们会争取接入更多的业务和提供更多开发的服务