Kafka监控安装

2023-03-06 10:11:22

p.MsoNormal { margin: 0pt; margin-bottom: .0001pt; text-align: justify; font-family: Calibri; font-size: 10.5000pt }
h1 { margin-top: 11.0000pt; margin-bottom: 10.5000pt; page-break-after: avoid; text-align: left; line-height: 240%; font-family: Calibri; font-weight: bold; font-size: 18.0000pt }
h2 { margin-top: 13.0000pt; margin-bottom: 13.0000pt; page-break-after: avoid; text-align: justify; line-height: 172%; font-family: Arial; font-weight: bold; font-size: 15.0000pt }
span.10 { font-family: "Times New Roman" }
span.15 { font-family: "Times New Roman"; font-weight: bold }
p.p { margin-top: 5.0000pt; margin-right: 0.0000pt; margin-bottom: 5.0000pt; margin-left: 0.0000pt; text-align: left; font-family: Calibri; font-size: 12.0000pt }
span.msoIns { text-decoration: underline; color: blue }
span.msoDel { text-decoration: line-through; color: red }
table.MsoNormalTable { font-family: "Times New Roman"; font-size: 10.0000pt }
table.MsoTableGrid { text-align: justify; font-family: "Times New Roman"; font-size: 10.0000pt }
div.Section0 { }

Kafka监控安装

一、Kafka监控软件选择

Kafka Web Console：监控功能较为全面，可以预览消息，监控Offset、Lag等信息，但存在bug，不建议在生产环境中使用。

Kafka Manager：偏向Kafka集群管理，若操作不当，容易导致集群出现故障。对Kafka实时生产和消费消息是通过JMX实现的。没有记录Offset、Lag等信息。

KafkaOffsetMonitor：程序一个jar包的形式运行，部署较为方便。只有监控功能，使用起来也较为安全。

若只需要监控功能，推荐使用KafkaOffsetMonito，若偏重Kafka集群管理，推荐使用Kafka Manager。

因为都是开源程序，稳定性欠缺。故需先了解清楚目前已存在哪些Bug，多测试一下，避免出现类似于Kafka Web Console的问题。

二、目前环境状况

已经安装好的zookeeper-3.4.9

已经安装好的kafka2.1.0-0.8.2.1

已经安装好的jdk1.8_121.0（会依赖Java_home版本需要8.0以上）

三台机器sp-04、sp-05、sp-06

三、安装KafkaOffsetMonito

1.KafkaOffsetMonitor简述

KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset，你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message是否消费掉，有木有阻塞等等。

　　这个Web管理平台保留的Partition、Offset和它的Consumer的相关历史数据，我们可以通过浏览Web管理的相关模块，清楚的知道最近一段时间的消费情况。

　　该Web管理平台有以下功能：

*对Consumer的消费监控，并列出每个Consumer的Offset数据

*保护消费者组列表信息

*每个Topic的所有Partition列表包含：Topic、Pid、Offset、LogSize、Lag以及Owner等等

浏览查阅Topic的历史消费信息

　　这些功能对于我们开发来说，已经绰绰有余了。

2.下载kafkaoffsetmonitor

下载kafkaoffsetmonitor的jar包，可以到github搜索kafkaoffsetmonitor，第一个就是，里面可以下载编译好了的包

https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.1/KafkaOffsetMonitor-assembly-0.2.1.jar

3.安装

.新建在kafka的bin下面新建kafka-monitor文件夹，把jar包KafkaOffsetMonitor-assembly-0.2.1.jar丢进去，并且在文件夹里新建脚本文件kafka-monitor，文件内容如下：

cd install_path/kafka_2.10-0.8.2.1/bin/

mkdir kafka-monitor

创建启动脚本

vim kafkaOffsetMoniter.sh

#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk sp-04:2181,sp-05:2181,sp-06:2181 --port 8089 --refresh 10.seconds --retain 2.days &

官网的命令带有--offsetStorage kafka参数，我加上启动的时候会报错，所以把官方的这个参数去掉了。

常用参数说明

· –zk - Zookeeper hosts

· –port - 启动webUI的端口号

· –refresh - 页面数据刷新时间

· –retain - 历史数据存放的时间（存放在SQLlite中）

3.启动

启动kafka之后，然后在运行kafkaOffsetMoniter.sh文件

sh kafkaOffsetMoniter.sh

4.在浏览器中访问

即可使用sp-04:8089访问kafka的监控页面。

四、安装Kafka Manager

1.Kafka Manager 简介

为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能：

1.管理多个kafka集群

2.便捷的检查kafka集群状态(topics,brokers,备份分布情况,分区分布情况)

3.选择你要运行的副本

4.基于当前分区状况进行

5.可以选择topic配置并创建topic(0.8.1.1和0.8.2的配置不同)

6.删除topic(只支持0.8.2以上的版本并且要在broker配置中设置delete.topic.enable=true)

7.Topic list会指明哪些topic被删除（在0.8.2以上版本适用）

8.为已存在的topic增加分区

9.为已存在的topic更新配置

10.在多个topic上批量重分区

11.在多个topic上批量重分区(可选partition broker位置)