windows 安装运行kafka

一、安装JAVA JDK

1、下载安装包
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

注意:根据32/64位操作系统下载对应的安装包

2、添加系统变量:JAVA_HOME=C:\Program Files\Java\jdk1.8.0_77

二、配置zookeeper

Zookeeper:
官网:https://zookeeper.apache.org/releases.html#download

百度网盘链接:https://pan.baidu.com/s/1R8N0Y8c5kjsG_NZNMzJb4A
提取码:ncln

  1. 将文件解压好了之后我们先进入到conf目录中

  2. 可以看到有一个zoo.cfg文件,若没有可以复制“zoo_sample.cfg”,重命名为“zoo.cfg”

  3. 打开后修改其中的 dataDir的路径,改成我们解压后文件的路径如:E:\SOFT\zookeeper-3.4.13(注意一定要是 \\ )

  4. 编辑系统变量,将zookeeper的bin目录添加进去:E:\SOFT\zookeeper-3.4.13\bin

  5. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181,但是是这里改了之后kafka配置文件也要注意修改)

  6. 打开新的cmd,输入“zkServer“,运行Zookeeper

  7. 命令行提示如下:说明本地Zookeeper启动成功
    windows 安装运行kafka
    windows 安装运行kafka
    windows 安装运行kafka
    注意:不要关了这个窗口

三、配置kafka

Kafka:
官网:http://kafka.apache.org/downloads

百度网盘链接:https://pan.baidu.com/s/1G-4EH8ZQtq0Zt7Z339qDDA
提取码:ncln

注意要下载二进制版本
windows 安装运行kafka

  1. 解压并进入Kafka目录

  2. 进入config目录找到文件server.properties并打开

  3. 找到并编辑log.dirs=E:\SOFT\kafka_2.11-2.1.1\logs

  4. 找到并编辑zookeeper.connect=localhost:2181(如果之前修改了,改成相对应的端口)

  5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

  6. 进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1,按下Shift+右键,选择“在此处打开powershell窗口”选项,打开命令行,输入:

.\bin\windows\kafka-server-start.bat .\config\server.properties

或bin\kafka-server-start.sh config\server.properties

windows 安装运行kafka

windows 安装运行kafka

windows 安装运行kafka
注意:不要关闭这个窗口,且启用Kafka前请确保ZooKeeper实例已经准备好并开始运行

四、测试

(linux直接在bin目录下.sh,windows需要进入bin\winndows下的.bat)

1、创建主题:

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1,按下Shift+右键,选择“在此处打开powershell窗口”选项,打开命令行,输入:

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

windows 安装运行kafka
注意:不要关了这个窗口

2、查看主题:

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

windows 安装运行kafka

3、创建生产者:

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1,按下Shift+右键,选择“在此处打开powershell窗口”选项,打开命令行,输入:

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test

windows 安装运行kafka

注意:不要关了这个窗口

4、创建消费者:

进入Kafka安装目录E:\SOFT\kafka_2.11-2.1.1,按下Shift+右键,选择“在此处打开powershell窗口”选项,打开命令行,输入:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

windows 安装运行kafka

此时,往生产者窗口写入消息,消费者窗口也能同步的接收到消息

windows 安装运行kafka

5、创建消费者操作日志的处理:

  • kafka启动后,如果你去查看kafka所在的根目录,或者是kafka本身的目录,会发现已经默认生成一堆操作日志(这样看起来真心很乱):

  • 而且会不断生成不同时间戳的操作日志。刚开始不知所措,一番研究后,看了启动的脚本内容,发现启动的时候是会默认使用到这个log4j.properties文件中的配置,而在zoo.cfg是不会看到本身的启动会调用到这个,还以为只有那一个日志路径:

  • 在这里配置一下就可以了,找到config下的log4j.properties:

  • 将路径更改下即可,这样就可以归档在一个文件夹下边了,路径根据自己喜好定义:

  • 另外如何消除不断生成日志的问题,就是同一天的不同时间会不停生成。

  • 修改这里,还是在log4j.properties中:

  • 本身都为trace,字面理解为会生成一堆跟踪日志,将其改为INFO即可。

本文参考网址:

http://kafka.apache.org/

https://blog.csdn.net/weixin_38004638/article/details/91893910

http://blog.csdn.net/evankaka/article/details/52421314

上一篇:Docker+Nginx+Ssl


下一篇:azkaban3.9.0安装教程