需求:在服务器 :192.XX.XX.XX 端口:60022 上的 /usr/data/文件夹下安装 kafka dashborad
命令:
1.先进入到home目录下:cd /usr
ls 检查发现当前还不存在data文件夹
2.新建data文件夹:mkdir data
3.进入usr/data目录下:cd data (注:此处没有斜杠)
4.安装kafka_exporter(暴露kafka的工具)
(1)从
https://github.com/danielqsj/kafka_exporter 下载kafka_exporter-1.2.0.linux-amd64.tar
下载命令:wget
https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
(2)解压命令:tar -xvf kafka_exporter-1.2.0.linux-amd64.tar.gz
(3)进入解压后的文件中: cd kafka_exporter-1.2.0.linux-amd64/
5.启动kafka_exporter
(如果当前没有处于kafka_exporter目录下,请先进入: cd kafka_exporter-1.2.0.linux-amd64/)
命令:./kafka_exporter --kafka.server=192.XXX.XX.XX:9092 &
( & 后台工作:单一个& 符号,且放在完整指令列的最后端,即表示将该指令列放入后台中工作。)
访问方式:
http://XXXX:9308 //XXXX为服务器IP地址,默认端口号为9308
6.下载安装prometheus(kafka的数据收集工具)
(1)下载: wget
https://github.com/prometheus/prometheus/releases/download/v2.20.0-rc.1/prometheus-2.20.0-rc.1.freebsd-amd64.tar.gz (注意:这里re.1 是数字1,不是字母l)
(2)解压 : tar -xvf prometheus-2.20.0-rc.1.freebsd-amd64.tar.gz
(3)进入: cd prometheus-2.20.0-rc.1.freebsd-amd64
(4) 修改prometheus组件的prometheus.yml加入kafka监控
命令: vi prometheus.yml
(5)启动:./prometheus --config.file=./prometheus.yml &
访问方式:
http://XXXX:9090 //XXXX为服务器IP地址,默认端口号为9090(在文件prometheus.yml中配置端口号)
(6)如何检测prometheus与kafka_exporter的连接是否正常?
6-1.prometheus解析:
(1)Prometheus周期性的从Exporter暴露的HTTP服务地址(通常是/metrics)拉取监控数据样本。
--Exporter是个相对开放的概念,可以是一个独立运行的程序(独立于监控目标以外),也可以是直接内置在监控目录中。只要能够向Prometheus提供标准格式的监控样本数据即可。
(2)如何停止一个prometheus服务?
查看进程ID:pgrep -f prometheus
杀死这个进程:kill -TERM 进程ID
7.下载安装grafana(可视化仪表盘工具)
(1)下载:wget
https://dl.grafana.com/oss/release/grafana-6.4.3-1.x86_64.rpm
(2)安装:yum -y localinstall grafana-6.4.3-1.x86_64.rpm
(3)启动:
systemctl enable grafana-server
systemctl start grafana-server
//停止grafana:systemctl stop grafana-server
(4)浏览器访问可视化界面:
http://XXXX:3000
//XXXX为服务器IP地址,默认端口号为3000,登录用户名密码均为 admin)
8.登录到grafana中配置数据源为prometheus
配置prometheus地址
导入监控报表:
选择Prometheus
配置完成后点击Import出现以下界面:
实际上是发送了一个Get请求 :
http://192.XXX.XX.XX:9090/api/v1/series?match[]=kafka_consumergroup_current_offset
加上时间戳请求为:
http://192.XXX.XX.XX:9090/api/v1/series?match[]=kafka_consumergroup_current_offset&start=1595311890&end=1595398290