Zookeeper+Kafka的单节点配置
环境描述:Ubuntu16.04 server系统,在系统上搭建Java环境,jdk的版本为1.8或更高,我的服务器IP地址为192.168.0.106。
1. 使用命令在根目录下的opt目录下创建data目录。
mkdir /opt/data
2. 在Apache官网http://www.apache.org/dyn/closer.cgi/zookeeper/和https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.0.0/kafka_2.10-0.10.0.0.tgz
上下载zookeeper和kafka的压缩包,我下载的是zookeeper-3.4.10.tar.gz和kafka_2.11-0.10.1.0.gz。
3. 使用命令对zookeeper和kafka压缩文件进行解压,对解压后的文件进行改名和移动位置,移动到/opt/data目录下。
tar -zxvf zookeeper-3.4..tar.gz
tar -zxvf kafka_2.-0.10.1.0.gz
4. 使用命令增加zookeeper节点的IP如下附图所示。
vim /etc/hosts
5. 使用命令
cd /opt/data/zookeeper/conf
进入zookeeper目录下的conf目录,使用命令
cp zoo_sample.cfg zoo.cfg
复制文件zoo.cfg,使用命令
vim zoo.cfg
修改该文件。同时,在/opt/data/zookeeper下创建data目录和logs目录,在/opt/data/zookeeper/data下创建文件myid,使用命令
echo > myid
在文件myid中写入1。
============================================================================================================================================
在此zookeeper的配置已经完成。
============================================================================================================================================
6. 使用命令
vim /opt/data/kafka/config/server.properties
修改kafka的配置文件,同时使用命令
mkdir /opt/data/kafka/kafka-logs
创建目录,修改内容如下附图所示。
============================================================================================================================================
在此kafka的配置已经完成。
============================================================================================================================================
测试zookeeper和kafka的配置是否成功:
1. 启动zookeeper:在/opt/data/zookeeper目录下使用命令
bin/zkServer.sh start
启动zookeeper。使用命令
bin/zkServer.sh status
查看zookeeper的状态,如果现实如下图所示的状态表示zookeeper配置成功。
2.启动kafka:在/opt/data/kafka目录下使用命令
bin/kafka-server-start.sh config/server.properties
启动kafka,显示以下信息为成功启动kafka。
3. 创建会话topic:打开新的终端(我们暂记为终端1),在/opt/data/kafka目录下使用命令
bin/kafka-topics.sh --create --zookeeper 192.168.0.106: --replication-factor --partitions --topic test1
创建会话test1,使用命令
bin/kafka-topics.sh --list --zookeeper 192.168.0.106:
查看会话列表,显示以下信息为成功创建会话。
4.启动生产者Producer发消息:在/opt/data/kafka目录下使用命令
bin/kafka-console-producer.sh --broker-list 192.168.0.106: --topic test1
启动消息生产者。
5.启动消费者Consumer接收消息:再打开一个新的终端(我们暂记为终端2),在/opt/data/kafka目录下使用命令
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.106: --from-beginning --topic test1
来接收消息。
6.在生产者Producer所在的终端1里随便输入一些内容,消费者Consumer所在的终端2将会实时的捕获终端1里发出的消息。如下表示成功建立会话,kafka和zookeeper的单节点配置圆满成功。
7.删除会话topic:在/opt/data/kafka目录下使用命令
bin/kafka-topics.sh --delete --zookeeper 192.168.0.106: --topic test1
再使用命令
bin/kafka-topics.sh --list --zookeeper 192.168.0.106:
查看会话是否存在,如下图所示,表示会话test1删除成功。