Kafka分布式安装及验证测试

        一、安装

        Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。

        (一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:

Kafka分布式安装及验证测试

        我选择的是Kafka0.9.0.1版本,如下:

Kafka分布式安装及验证测试

        (二)Kafka安装步骤

        1、解压

        执行tar命令,如下:

Kafka分布式安装及验证测试

        解压后目录如下:

Kafka分布式安装及验证测试

        其中,bin目录如下:

Kafka分布式安装及验证测试

        config目录如下:

Kafka分布式安装及验证测试

        2、修改参数配置

        编辑config/server.properties文件,如下:

Kafka分布式安装及验证测试

        修改的参数包括:

        2.1、ZooKeeper连接地址:zookeeper.connect

Kafka分布式安装及验证测试

        2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)

Kafka分布式安装及验证测试

Kafka分布式安装及验证测试

        2.3、主机名:host.name

Kafka分布式安装及验证测试

Kafka分布式安装及验证测试

        2.4、分区数目:num.partitions

Kafka分布式安装及验证测试

        2.5、日志地址:log.dirs

Kafka分布式安装及验证测试

        3、启动

        执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties & 

        4、停止

        执行停止命令bin/kafka-server-stop.sh报错,如下:

Kafka分布式安装及验证测试

        所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:

        先查找进程号

Kafka分布式安装及验证测试

Kafka分布式安装及验证测试

        再直接kill

Kafka分布式安装及验证测试

Kafka分布式安装及验证测试

        二、验证测试

        进入kafka根目录

        1、创建topic

        bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create

Kafka分布式安装及验证测试

        2、查看topic

        bin/kafka-topics.sh -zookeeper server3:2181 -list

Kafka分布式安装及验证测试

        其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion

        3、创建producer

        bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic

        4、创建consumer

        bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic

        5、producer发布

Kafka分布式安装及验证测试

        6、consumer订阅

Kafka分布式安装及验证测试

        可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!

上一篇:Mysql连接数据库异常汇总【必收藏】


下一篇:Linux基本操作 9----- 认识与学习bash