大数据 --> Kafka集群搭建

Kafka集群搭建

下面是以三台机器搭建为例,(扩展到4台以上一样,修改下配置文件即可)

1、下载kafka

http://apache.fayea.com/kafka/0.9.0.1/ ,拷贝到三台服务器,并解压文件

2、 修改配置文件 server.properties:

183服务器:

broker.id=
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:,132.228.28.184:,132.228.28.185:

184服务器:

broker.id=
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:,132.228.28.184:,132.228.28.185:

185服务器:

broker.id=
host.name=132.228.28.183
advertised.host.name=132.228.28.183
zookeeper.connect=132.228.28.183:,132.228.28.184:,132.228.28.185:

3、 添加主机域名,启动zookeeper可能会找不到host.name导致出错

183服务器:
在文件/etc/hosts末尾添加:
132.228.28.183 dsjtest01 184服务器:
在文件/etc/hosts末尾添加:
132.228.28.184 dsjtest02 185服务器:
在文件/etc/hosts末尾添加:
132.228.28.185 dsjtest03

4、 启动kafka

进入到kafka的bin目录,三台服务器都要启动

启动zookeeper: ./zookeeper-server-start.sh ../config/zookeeper.properties &

启动kafka: ./kafka-server-start.sh ../config/server.properties &

5、测试

在183创建topic:

./kafka-topics.sh --create --zookeeper localhost: --replication-factor  --partitions  --topic test  

在184生产消息,发送到kafka

./kafka-console-producer.sh --broker-list 132.228.28.183: --topic test 

终端输入:hello kafka

在185消费消息

./kafka-console-consumer.sh --zookeeper 132.228.28.183: --topic test --from-beginning

接收到消息:hello kafka

上一篇:原来zabbix监控进程与端口是如此的简单!


下一篇:数据防护无处不在 Forcepoint实现全生命周期的安全防护