kafka集群搭建

        本文基于kafka2.8.0,下载时需注意kafka有两个版本号以我的举例kafka_2.12-2.8.0,2.12为scala版本号,2.8.0是kafka版本。kafka基于java,需要先把java环境配置好。

1.点击官网kafka下载,将安装文件上传到服务器。

2.将文件解压出三份,分别放入kafka9092,kafka9093,kafka9094目录内。

3.编辑server.properties配置文件

每个broker在集群中唯一标识,每个实例需指定不同brokerid
broker.id=0

端口号,部署在同一台机器上需要指定不同端口号
port=9092

监听内网端口,公网不能访问,注释掉了
#listeners=PLAINTEXT://内网ip:9092

监听公网端口
advertised.listeners=PLAINTEXT://公网ip:9092

log存储地址
log.dirs=/data/logs/kafka9092

zookeeper地址,集群以,分隔
zookeeper.connect=127.0.0.1:2181


4.bin/kafka-server-start.sh   -daemon config/server.properties 后台启动每个实例,-daemon为守护进程启动。

5.创建topic进行验证

bin/kafka-topics.sh --bootstrap-server 127.0.0.1:9092 --create --topic test --partitions 1 --replication-factor 3   

创建名为test的topic,指定1个分区,3个副本,副本对应kafka实例,副本数大于实例数会创建失败

上一篇:Flink tableapi数据写入ES


下一篇:kafka docker 安装