kafka部署

 

版本选择：

http://kafka.apache.org/downloads

Scala 2.12-kafka_2.12-2.7.0.tgz #版本格式 kafka_scala版本_kafka版本

部署三台服务器的高可用kafka环境

 

部署环境：

Server1: 192.168.154.167

Server2: 192.168.154.170

Server3: 192.168.154.171

http://kafka.apache.org/quickstart

 

 

wget  https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz  --no-check-certificate
​
tar xf kafka_2.13-3.0.0.tgz -C /usr/local/
​

修改配置文件

cd  /usr/local/kafka_2.13-3.0.0/config
vim server.properties
​
​
​
​
egrep -v "#|^$" server.properties 
broker.id=1      #有几个节点，改几个，不能重复
listeners=PLAINTEXT://192.168.154.167:9092   #默认没有开启，取消注释，改成本机地址
num.network.threads=3     #可以调高一点
num.io.threads=8         #可以调高一点
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs      #虽然写着log，其实就是数据存放位置
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181   #有几个节点，写几个
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
​

 

 

 

测试

/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --zookeeper 192.168.154.167:2181,192.168.154.170:2181,192.168.154.171:2181 --partitions 3 --replication-factor 3 --topic luoluo
PS:以前的版本
​
​

 

##

在较新版本（2.2 及更高版本）的 Kafka 不再需要 ZooKeeper 连接字符串，即- -zookeeper localhost:2181。使用 Kafka Broker的 --bootstrap-server localhost:9092来替代- -zookeeper localhost:2181。

 

/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --create --bootstrap-server 192.168.154.167:9092 --replication-factor 3 --partitions 3 --topic luoluo
​
​
/usr/local/kafka_2.13-3.0.0/bin/kafka-topics.sh --describe --bootstrap-server 192.168.154.167:9092 --topic luoluo
​
​
​