docker09-Prometheus

环境准备:

主机名称 IP 安装组件
Prometheus 192.168.1.1 NodeEXporter、cAdvisor、Prometheus Server、Grafana
node1 192.168.1.2 NodeEXporter、cAdvisor
node2 192.168.1.4 NodeEXporter、cAdvisor

注意事项:

全部关闭防火墙,禁用selinux。

需要部署的组件:

Prometheus Server: 普罗米修斯的主服务器。

NodeEXporter: 负责收集Host硬件信息和操作系统信息。

cAdvisor: 负责收集Host上运行的容器信息。

Grafana: 负责展示普罗米修斯监控界面。

1、3个节点,全部部署node-EXporter,和cAdvisor.

//部署node-EXporter,收集硬件和系统信息。
       
docker run -d -p 9100:9100 --name exporter -v /proc:/host/proc -v /sys:/host/sys -v /:/rootfs --net=host prom/node-exporter --path.procfs /host/proc --path.sysfs /host/sys --collector.filesystem.ignored-mount-points "^/(sys|proc|dev|host|etc)($|/)"

  效果图:http://192.168.1.1:9100/  http://192.168.1.2:9100/  http://192.168.1.4:9100/

docker09-Prometheus

 PS:注意,这里使用了--net=host不等于host网络,作用是Prometheus Server可以直接与Node-EXporter通信。

//部署安装cAdvisor,收集节点容器信息。

docker run -v /:/rootfs:ro -v /var/run:/var/run/:rw -v /sys:/sys:ro -v /var/lib/docker:/var/lib/docker:ro -p 8080:8080 --detach=true --name=cadvisor --net=host google/cadvisor
 访问测试:http://IP:8080/ docker09-Prometheus

 

 

2、在Prometheus上部署Prometheus Server服务。

在部署prometheus之前,我们需要对它的配置文件进行修改,所以我们先运行一个容器,先将其配置文件拷贝出来。

#运行普罗米修斯容器
[root@Prometheus ~]# docker run -d -p 9090:9090 --name prometheus --net=host prom/prometheus
WARNING: Published ports are discarded when using host network mode
0015d42a6f0348ff5ba6c0dd7e51cf9bac8656be346b6f433293754002012e8c
#copy配置文件到宿主机
[root@Prometheus ~]# docker cp prometheus:/etc/prometheus/prometheus.yml ./
#修改宿主机copy的配置文件
[root@Prometheus ~]# vim prometheus.yml
docker09-Prometheus
      static_configs:
        - targets: ['localhost:9090','localhost:8080','localhost:9100','192.168.1.5:8080','192.168.1.5:9100','192.168.1.6:8080','192.168.1.6:9100']
PS: 这里指定了prometheus的监控项,包括它也会监控自己收集到的数据。

//重新运行prometheus容器,并且挂载修改的yml文件

[root@Prometheus ~]# docker rm -f prometheus 
prometheus
[root@Prometheus ~]# docker run -d -p 9090:9090 --name prometheus --net=host -v /root/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus
WARNING: Published ports are discarded when using host network mode
2857c1a73e934ad117f0bb6be59c3cec6efe701b776df59df8f54248bcd539d2
#测试访问:IP:9090

docker09-Prometheus三、在prometheus主机上,部署grafana服务,用来展示prometheus收集到的数据。

[root@Prometheus ~]# mkdir grafana-storage
[root@Prometheus ~]# chmod 777 -R   grafana-storage/
[root@Prometheus ~]# docker run -d -p 3000:3000 --name grafana -v /root/grafana-storage:/var/lib/grafana -e "GF_SECURITY_ADMIN_PASSWORD=123.com" grafana/grafana
b95a4c30105ed9a0b8448da49efd4e11e4505f04e2f7a4b454f0e9910bbc4e48
#上述命令中的“-e”选项是为了设置默认的登录用户admin,密码为“123.com”。
#如果启动容器的过程中,提示iptables等相关的错误信息,
#则需要执行命令systemctl restart docker,重启docker服务,然后重新运行容器
#但是需要注意,若运行容器时没有增加“--restart=always”选项的话,
#那么在重启docker服务后,还需将所有容器手动重启。
#重启所有容器命令“docker ps -a -q | xargs docker start”
#访问测试:IP:3000

docker09-Prometheus

 

 //设置Grafana,添加数据来源(prometheus)

docker09-Prometheus

 

 docker09-Prometheus

 

 docker09-Prometheus

 

 PS:看到这个提示,说明prometheus和grafana服务的是正常连接的。此时,虽然grafana收集到了数据,但怎么显示它,仍然是个问题,grafana支持自定义显示信息,不过要自定义起来非常麻烦,不过好在,grafana官方为我们提供了一些模板,来供我们使用。

https://grafana.com/grafana/dashboards

  docker09-Prometheus

 

 导入模板用两种方法:JSON、id!

JSON如下:

docker09-Prometheus

 

docker09-Prometheus

 docker09-Prometheus

 

 docker09-Prometheus

 

 效果图:

docker09-Prometheus

四、配置AlertManager

接下来,我们需要启动 AlertManager 来接受 Prometheus 发送过来的报警信息,并执行各种方式的告警。同样以 Docker 方式启动AlertManager,最简单的启动命令如下

 

#运行报警邮件管理容器
[root@Prometheus ~]# docker run --name alertmanager -d -p9093:9093 prom/alertmanager:latest 
#copy配置文件
[root@Prometheus ~]# docker cp alertmanager:/etc/alertmanager/alertmanager.yml .
#讲原来的yml改名称,修改刚copy的配置文件
[root@Prometheus ~]# cp alertmanager.yml  alertmanager.ymlbak
这里 AlertManager 默认启动的端口为 9093,启动完成后,浏览器访问http://:9093 可以看到默认提供的 UI 页面,不过现在是没有任何告警信息的,因为我们还没有配置报警规则来触发报警。  

docker09-Prometheus

 

AlertManager 配置邮件告警

AlertManager 默认配置文件为 alertmanager.yml,在容器内路径为/etc/alertmanager/alertmanager.yml
docker cp alertmanager:/etc/alertmanager/alertmanager.yml /root/
简单介绍一下主要配置的作用:
  • global: 全局配置,包括报警解决后的超时时间、SMTP 相关配置、各种渠道通知的 API 地址等等
  • route: 用来设置报警的分发策略,它是一个树状结构,按照深度优先从左向右的顺序进行匹配。
  • receivers: 配置告警消息接受者信息,例如常用的 email、wechat、slack、webhook 等消息通知方式。
  • inhibit_rules: 抑制规则配置,当存在与另一组匹配的警报(源)时,抑制规则将禁用与一组匹配的警报(目标)。
那么,我们就来配置一下使用 Email 方式通知报警信息,这里以 QQ 邮箱为例,当然在配置QQ邮箱之前,需要我们登录QQ邮箱,打开SMTP服务,并获取授权码。  
#写入自己的QQ邮箱与效验码
[root@Prometheus ~]# vim /root/alertmanager.yml
global:
  resolve_timeout: 5m
  smtp_from: '2050753687@qq.com'           
  smtp_smarthost: 'smtp.qq.com:465'
  smtp_auth_username: '2050753687@qq.com'    
  smtp_auth_password: 'rxtfqkwfafoidcea'    
  smtp_require_tls: false
  smtp_hello: 'qq.com'
route:
  group_by: ['alertname']
  group_wait: 5s
  group_interval: 5s
  repeat_interval: 5m
  receiver: 'email'
receivers:
- name: 'email'
  email_configs:
  - to: '2050753687@qq.com'                 
    send_resolved: true
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']    
#重新运行
[root@Prometheus ~]#  docker rm -f alertmanager 
alertmanager
[root@Prometheus ~]# docker run -d --name alertmanager -p 9093:9093 -v /root/alertmanager.yml:/etc/alertmanager/alertmanager.yml prom/alertmanager
8c56092d9ef2946f88c10e2e648e62df33bbbc2ac8d9cd503c8700e4445686a0

 //访问查看

docker09-Prometheus

 

  五、Prometheus 配置 AlertManager 告警规则

接下来,我们需要在 Prometheus 配置 AlertManager 服务地址以及告警规则,新建报警规则文件 node-up.rules 如下

 

[root@Prometheus ~]# mkdir  -p prometheus/rules
[root@Prometheus ~]# cd prometheus/rules/
[root@Prometheus rules]# vim node-up.rules 
[root@Prometheus rules]# cat node-up.rules 
groups:
- name: node-up
  rules:
  - alert: node-up
    expr: up{job="prometheus"} == 0
    for: 15s
    labels:
      severity: 1
      team: node
    annotations:
      summary: "{{ $labels.instance }} 已停止运行超过 15s!"
然后,修改 prometheus.yml 配置文件,添加 rules 规则文件  
# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 192.168.1.1:9093
      # - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
  - "/usr/local/prometheus/rules/*.rules"
  # - "first_rules.yml"
  # - "second_rules.yml"

 

docker09-Prometheus

[root@Prometheus rules]# docker rm -f prometheus 
[root@Prometheus rules]#  docker run -d -p 9090:9090 -v/root/prometheus.yml:/etc/prometheus/prometheus.yml -v/root/prometheus/rules:/usr/local/prometheus/rules --name prometheus --net=host prom/prometheus
此时在prometheus主页上可以看到相应规则  

 docker09-Prometheus

触发报警发送 Email

然后开始模拟node1节点 exporter组件失败
[root@node1 ~]# docker stop exporter 
exporter

docker09-Prometheus

 

 切换到QQ邮箱

 docker09-Prometheus

 

 

 

 

              

上一篇:prometheus使用四(alertmanager&grafana告警及服务发现)


下一篇:二叉树的操作集合总结