Skywalking告警功能

2023-10-15 13:03:16

Skywalking告警功能是在6.x版本新增的，其核心由一组规则驱动，这些规则定义在config/alarm-settings.yml 文件中。告警规则定义分为两部分： 1、告警规则：它们定义了应该如何触发度量警报，应该考虑什么条件 2、webhook（网络钩子）：定义当告警触发时，哪些服务终端需要被告知一、告警规则告警规则有两种类型：单独规则、复合规则 1.1、单独规则

rules:
 # 规则唯一名称，必须以'_rule'结尾.
 service_resp_time_rule:
 # 度量名称，也是OAL脚本中的度量名，目前Service, Service Instance, Endpoint的度量可以用于告警
 metrics-name: service_resp_time
 # [可选]默认，匹配此指标中的所有服务
 include-names:
 - service_a
 - service_b
 exclude-names:
 - service_c
 # 阈值，对于多种指标值的如percentile可以配置P50、P75、P90、P95、P99的阈值
 threshold: 75
 # 操作符
 op: <
 # 评估度量标准的时间长度
 period: 10
 # 度量有多少次符合告警条件后，才会触发告警
 count: 3
 # 检查多少次，告警触发后保持沉默，默认周期相同
 silence-period: 10
 # 该规则触发时，发送的通知消息
 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes.

1.2、复合规则复合规则仅适用于针对相同实体级别的告警规则例如都是服务级别的告警规则：service_percent_rule && service_resp_time_percentile_rule 不适用于编写不同实体级别的告警规则

rules:
 service_resp_time_rule:
 metrics-name: service_resp_time
 op: ">"
 threshold: 1000
 period: 10
 count: 2
 silence-period: 10
 message: 服务【{name}】的平均响应时间在最近10分钟内有2分钟超过1秒
 service_sla_rule:
 metrics-name: service_sla
 op: "<"
 threshold: 8000
 period: 10
 count: 2
 silence-period: 10
 message: 服务【{name}】的成功率在最近10分钟内有2分钟低于80％
composite-rules:
 # 规则名称：在告警信息中显示的唯一名称，必须以_rule结尾
 comp_rule:
 # 指定如何组成规则，支持&&, ||, ()操作符
 expression: service_resp_time_rule && service_sla_rule
 message: 服务【{name}】在最近10分钟内有2分钟平均响应时间超过1秒并且成功率低于80％

告警规则配置项说明：

Rule name: 规则名称，也是在告警信息中显示的唯一名称。必须以’_rule’结尾，前缀可以自定义
metrics name：度量名称，取值为脚本中的度量名，目前只支持long、double、int类型。
include name：该规则作用于哪些实体名称，比如：服务名，终端名（可选，默认为全部）
exclude name：该规则不作用于哪些实体名称，比如：服务名，终端名（可选，默认为空）
op: 操作符：目前支持 > , < , = 【当然你可以自己扩展开发其他的操作符】
threshold：阈值/目标值：指标数据的目标数据如sample中的1000就是服务响应时间，配合上操作符就是大于1000ms的服务响应
period: 告警检查周期：多久检查一次当前的指标数据是否符合告警规则
counts: 在一个period窗口中，如果values超过threshold值，达到counts值需要发送警报
silence-period：忽略相同告警信息的周期
message：告警信息
webhooks：服务告警通知服务地址

默认告警规则

过去 3 分钟内服务平均响应时间超过 1 秒
最后2分钟服务成功率低于80%
最近 3 分钟内服务响应时间超过 1s 的百分比
服务实例在过去 2 分钟内平均响应时间超过 1s，并且实例名称与正则表达式匹配
过去 2 分钟内端点平均响应时间超过 1 秒
过去 2 分钟内数据库访问平均响应时间超过 1 秒
过去 2 分钟内端点关系平均响应时间超过 1 秒

支持的Hook类型

WebHook（可以简单理解位一种web层面的回调机制，通常由一些事件出发，与代码中得事件回调类似，只不过是Web层面的。由于是web层面的，所以当事件发生时，回调的不再是代码中得方法或函数，而是服务接口。例如：在告警这个场景，告警就是一个事件，当该事件发生时，Skywalking就会主动去调用一个配置好的接口，该接口就是所谓的webhook。skywalking的告警消息会通过HTTP请求进行发送，请求方法为POST，Content-Type为application/json，其JSON数据基于List进行序列化的。）
GRPCHook
SlackHook
WechatHook

DingtalkHook

FeishuHook
测试钉钉告警

测试由于上面配置了阈值是50ms，多点几次应用接口，到告警页面可见如下告警：

钉钉告警示例修改配置：

tee /skywalking/apache-skywalking-apm-bin-es7/config/alarm-settings.yml <<-'EOF'
dingtalkHooks:
  textTemplate: |-
    {
      "msgtype": "text",
      "text": {
        "content": "Apache SkyWalking Alarm: \n %s."
      }
    }
  webhooks:
    - url: https://oapi.dingtalk.com/robot/send?access_token=xxxxx
      secret: xxxxx
EOF

如下：

钉钉告警效果：

webhook，编写回调接口 Skywalking通过HttpClient的方式远程调用在配置项webhooks中定义的告警通知服务地址：

了解了SW所传送的数据格式我们就可以对告警信息进行接收处理，实现我们需要的告警通知服务啦！我们将一个服务停掉，并将另外一个服务的某个对外暴露的接口让他休眠一定的时间。然后调用一定的次数观察服务的状态信息以及告警情况。

打开源码&Live-Demo工程修改oap-server/server-bootstrap/src/main/resources/alarm-settings.yml文件覆盖如下配置(最近1分钟内，应用平均响应时间超过50ms次数达到1次)

rules:
 service_resp_time_rule:
 metrics-name: service_resp_time
 threshold: 50
 op: ">"
 period: 1
 count: 1
 message: Response time of service {name} is more than 50ms in 1 minutes of last 1 minutes.
 
dingtalkHooks:
 textTemplate: |-
 {
 "msgtype": "text",
 "text": {
 "content": "Apache SkyWalking Alarm: \n %s."
 }
 }
 webhooks:
 - url: https://oapi.dingtalk.com/robot/send?access_token=xxx
 secret: xxx 

启动OAP服务 org.apache.skywalking.oap.server.starter.OAPServerStartUp 启动UI服务 org.apache.skywalking.apm.webapp.ApplicationStartUp 启动Eureka test.skywalking.springcloud.test.eureka.service.EurekaService_Main 启动ProjectB test.skywalking.springcloud.test.projectb.ProjectB_Main 执行 curl http://localhost:8762/projectB/test 等待1min中后，访问Skywalking UI界面中的告警界面可以看到对应的告警信息

同时，钉钉群中也可以看到推送的消息

zhuan：https://blog.csdn.net/wb4927598/article/details/119192445

码农公寓

相关文章