消息队列之 kafka 集群搭建

2024-02-23 13:50:10

我们先弄清楚kafka集群环境首先需要些什么

JDK 10+
Zookeeper
Kafka 2.x

首先准备三台虚拟机 centos7 ，更改IP地址为静态地址分别为，29、30.31

cd /etc/sysconfig/network-scripts #进入网卡文件目录
vim ifcfg-ens33 #使用vim编辑器编辑该网卡信息（需要编辑当前链接的网卡）

service network restart #重启网卡服务，依次配置好三台linux的IP地址保证能够相互通信

先安装java jdk

下载

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

授权限

chmod +x jdk-8u131-linux-x64.rpm

安装

rpm -ivh jdk-8u131-linux-x64.rpm

检查是否安装成功

再安装zookeeper ,29.30.31 三台机器需要如下同样的方式安装 zookeeper 形成 zookeeper 集群

下载zookeeper并解压官网推荐下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/ 　　　　//这里解压至/opt目录中使用
cp zoo_sample.cfg zoo.cfg //进入/opt/zookeeper-3.4.14/conf/目录，先拷贝一份配置文件
然后vim编辑zoo.cfg
说明：除了修改zoo.cfg文件外还需要在这个文件中指定的data目录下新增一个 myid 的文件，这个文件里面就只有一个数据，就是上图中配置的 server.x 这个x的值（29,30,31）zookeeper启动时会以此来确定自己的节点标识

切换到 zookeeper 的bin文件夹下，启动三台机器的zookeeper

./zkServer.sh start

启动后发现每台机器的运行模式仍然为单机模式，“试试关闭防火墙然后重新启动”
systemctl stop firewalld.service //关闭防火墙
systemctl disable firewalld.service //禁止开机启动

重启zookeeper后再次查看zookeeper的状态，你会发现，一台leader 两台 follower，说明到此我们的zookeeper安装成功

这里终端工具我使用的是 MobaXterm 可以同时多台机器输入同样的shell命令，操作起来相当方便，建议使用

现在我们开始正式安装kafka

下载kafka并解压下载地址 http://kafka.apache.org/
tar zxvf kafka_2.13-2.5.0.tgz -C /opt/
进入 /opt/kafka_2.13-2.5.0/ 进入到config目录，编辑配置文件：server.properties
三台机器配置信息修改完成之后启动 kafka , -daemon 为后台启动

启动命令 ./kafka-server-start.sh -daemon ../config/server.properties
停止命令 ./kafka-server-stop.sh

检查测试

我们先切回到 zookeeper 的bin 文件夹下，使用zookeeper的客户端工具查看
./zkCli.sh -server 192.168.3.29:2181 随意链接其中的一个节点（能链接上去，且输入 ls / 出现不少信息说明安装已经成功，但看不到我们想要看的信息，不慌，继续

这里我们介绍另一款工具 kafka-manager-1.3.3.7.zip，自行下载（https://github.com/yahoo/kafka-manager ），上传至任意一台机器，然后解压修改配置文件 application.conf

保存后，进入kafka-manager/bin目录下，执行运行命令 ./kafka-manager 默认端口为 9000 可以使用以下命令指定配置文件和端口运行
./kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000

当然也可以使用 nohup & 的形式后台运行