kafka dashborad 安装流程(kafka_exporter + prometheus + grafana)

需求:在服务器 :192.XX.XX.XX 端口:60022 上的 /usr/data/文件夹下安装 kafka dashborad   命令: 1.先进入到home目录下:cd /usr kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana) ls 检查发现当前还不存在data文件夹   2.新建data文件夹:mkdir data   3.进入usr/data目录下:cd data  (注:此处没有斜杠)   4.安装kafka_exporter(暴露kafka的工具)      (1)从 https://github.com/danielqsj/kafka_exporter 下载kafka_exporter-1.2.0.linux-amd64.tar         下载命令:wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz      (2)解压命令:tar -xvf kafka_exporter-1.2.0.linux-amd64.tar.gz     (3)进入解压后的文件中: cd kafka_exporter-1.2.0.linux-amd64/   5.启动kafka_exporter (如果当前没有处于kafka_exporter目录下,请先进入: cd kafka_exporter-1.2.0.linux-amd64/) 命令:./kafka_exporter --kafka.server=192.XXX.XX.XX:9092 & ( & 后台工作:单一个& 符号,且放在完整指令列的最后端,即表示将该指令列放入后台中工作。) 访问方式: http://XXXX:9308    //XXXX为服务器IP地址,默认端口号为9308   6.下载安装prometheus(kafka的数据收集工具) (1)下载: wget  https://github.com/prometheus/prometheus/releases/download/v2.20.0-rc.1/prometheus-2.20.0-rc.1.freebsd-amd64.tar.gz   (注意:这里re.1 是数字1,不是字母l) (2)解压 : tar -xvf prometheus-2.20.0-rc.1.freebsd-amd64.tar.gz (3)进入: cd prometheus-2.20.0-rc.1.freebsd-amd64 (4) 修改prometheus组件的prometheus.yml加入kafka监控     命令: vi prometheus.yml      kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana)   (5)启动:./prometheus --config.file=./prometheus.yml & 访问方式: http://XXXX:9090    //XXXX为服务器IP地址,默认端口号为9090(在文件prometheus.yml中配置端口号) (6)如何检测prometheus与kafka_exporter的连接是否正常?

 kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana)

6-1.prometheus解析: (1)Prometheus周期性的从Exporter暴露的HTTP服务地址(通常是/metrics)拉取监控数据样本。     --Exporter是个相对开放的概念,可以是一个独立运行的程序(独立于监控目标以外),也可以是直接内置在监控目录中。只要能够向Prometheus提供标准格式的监控样本数据即可。 (2)如何停止一个prometheus服务?    查看进程ID:pgrep -f prometheus               杀死这个进程:kill -TERM 进程ID      kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana)   7.下载安装grafana(可视化仪表盘工具) (1)下载:wget https://dl.grafana.com/oss/release/grafana-6.4.3-1.x86_64.rpm (2)安装:yum -y localinstall grafana-6.4.3-1.x86_64.rpm (3)启动: systemctl enable grafana-server systemctl start grafana-server //停止grafana:systemctl stop grafana-server   (4)浏览器访问可视化界面: http://XXXX:3000    //XXXX为服务器IP地址,默认端口号为3000,登录用户名密码均为 admin)   8.登录到grafana中配置数据源为prometheus kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana) 配置prometheus地址 kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana) 导入监控报表: kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana) 选择Prometheus kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana)

 

 

配置完成后点击Import出现以下界面: 实际上是发送了一个Get请求 : http://192.XXX.XX.XX:9090/api/v1/series?match[]=kafka_consumergroup_current_offset 加上时间戳请求为: http://192.XXX.XX.XX:9090/api/v1/series?match[]=kafka_consumergroup_current_offset&start=1595311890&end=1595398290 kafka dashborad 安装流程(kafka_exporter  + prometheus  + grafana)

 

 

 

上一篇:Hadoop权威指南:MapReduce应用开发


下一篇:性能测试之数据库监控分析工具Grafana+Prometheus