Kafka学习之二 Kafka安装和使用

部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0。

1. 单机环境

    官方建议使用JDK 1.8版本,因此本文使用的环境都是JDK1.8。如果小于1.8版本,请看我的博客:https://www.cnblogs.com/xuejiale/p/10504845.html 将环境的JDK更新到1.8版本。(PS:我开始使用机器默认安装的JDK 1.7,在启动kafka时会报错)。

由于Kafka依赖zookeeper,kafka通过zookeeper实现分布式系统的协调,所以我们需要先安装zookeeper。下面开始安装zookeeper:

(1)安装zookeeper

1)下载zookeeper并解压

下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/,我下载的是 zookeeper-3.4.12.tar.gz

2)创建zookeeper配置文件

在zookeeper解压后的目录下找到conf文件夹,进入后,复制文件zoo_sample.cfg,并命名为zoo.cfg。zoo.cfg中一共四个配置项,可以使用默认配置。注意配置文件里面有一个dataDir可以修改成你自己的目录。

3)启动 zookeeper

进入zookeeper根目录执行 ./bin/zkServer.sh start,其他操作 start, stop, restart

[root@centos zookeeper-3.4.]# ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /home/xuejiale/kafka_env/zookeeper-3.4./bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

(2)安装 kafka

1) 下载kafka并解压

下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.0.0/kafka_2.11-2.0.0.tgz,我下载的是:kafka_2.11-2.0.0.tgz

2) 修改kafka的配置文件

进入kafka根目录下的config文件夹下,打开server.properties,修改如下配置项,当然也可以修改 log.dirs 为其他路径。

zookeeper.connect=localhost:
broker.id=
log.dirs=/tmp/kafka-logs

zookeeper.connect是 zookeeper 的链接信息,broker.id 是当前 kafka 实例的 id,log.dirs 是 kafka 存储消息内容的路径。

3)启动kafka

进入kafka根目录执行 ./bin/kafka-server-start.sh ./config/server.properties,config/server.properties配置项为配置项。

[root@centos kafka_2.-2.0.]# ./bin/kafka-server-start.sh ./config/server.properties

启动kafka后,如果控制台没有报错信息,则kafka已经成功启动,我们可以通过查看zookeeper中相关节点值来确认。步骤如下:

  • 启动zookeeper的client

进入zookeeper根目录下,执行 bin/zkCli.sh -server 127.0.0.1:2181。启动后如下:

Kafka学习之二 Kafka安装和使用

  • 输入命令 ls /brokers,回车,可以看到如下信息:

Kafka学习之二 Kafka安装和使用

还记得我们在配置单机环境时,修改的kafka配置项broker.id=0 吗?这里的0就是表示那个kafka的实例已经加入了kafka集群。

2. 集群环境
    集群环境的搭建也很简单,在单机环境的基础上,让多个单机连接到同一个zookeeper即可。需要注意两点:
 (1)每个实例设置不同的broker.id。
 (2)如果多个实例部署在同一台服务器,还要注意修改log.dirs为不同目录,确保消息存储时不会有冲突。

3. kafka 接收消息

我们通过kafka带的工具来创建一个topic,然后尝试发送和消费一个消息,直观的去感受下kafka。

(1)创建topic

进入kafka根目录,执行如下命令:

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaTest

此命令行有几个参数,分别指明了zookeeper的链接信息,分区和副本的数量等。

执行成功后,创建了 kafkaTest 这个topic,如下图所示:

Kafka学习之二 Kafka安装和使用

(2)启动消费者

进入kafka根目录,开启一个消费者并且订阅 kafkaTest 这个topic,执行如下命令:

./bin/kafka-console-consumer.sh --bootstrap-server localhost: --topic kafkaTest  --from-beginning

看到如下图,光标停留在最前面,没有任何信息输出,说明启动消费者成功,此时在等待新的消息。

Kafka学习之二 Kafka安装和使用

(3)开启生产者

新开一个窗口,进入kafka根目录,输入如下命令:

./bin/kafka-console-producer.sh --broker-list localhost: --topic kafkaTest

启动成功后,如下图,等待你输入新的消息:

Kafka学习之二 Kafka安装和使用

(4)发送消息

生产者:在上面生产者的窗口输入一条消息 hello kafka,点击回车,如下图:

Kafka学习之二 Kafka安装和使用

消费者:此时切换到消费者的窗口,可以看到消费者已经消费到这条消息,在窗口中打印了出来:

Kafka学习之二 Kafka安装和使用

总结:本节搭建起kafka单机环境,然后通过kafka自带的工具,直观的感受了kafka运转的整个过程,经历了创建topic、启动生产者、启动消费者、生产者生产消息、消费者消费消息,这几个步骤。后面将会分析kafka的设计理念和原理。

kafka数据存储:https://www.cnblogs.com/jun1019/p/6256514.html

安装kafka遇到问题及解决方法:

问题1:启动kafka报如下错误?

解决方法:JDK版本小于1.8,将当前环境JDK更新到1.8

Kafka学习之二 Kafka安装和使用

问题2:使用 kafka 创建 topic报如下错误?

解决方法:没有启动zookeeper,启动之后再启动 kafka 即可。

Kafka学习之二 Kafka安装和使用

问题3:在启动kafka时报未知的名称或者服务?

解决方法:这是由于无法识别机器名(centos)在/etc/hosts中增加下面红色部分。

192.168.30.134 centos localhost
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
:: localhost localhost.localdomain localhost6 localhost6.localdomain6

Kafka学习之二 Kafka安装和使用

问题4:在启动 kafka 时报找不到java?

解决方法:启动 kafka 等脚本中会使用JAVA环境变量, 要在/etc/profile中设置环境变量。

JAVA_HOME=/usr/jdk
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
JAVA=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH JAVA

参考文献:

  • https://blog.csdn.net/liyiming2017/article/details/82790574
  • http://kafka.apache.org/ (官网)
上一篇:JS面试题(一)


下一篇:php中计算二维数组中某一元素之和