最近在学习kafka的大数据测试,在测试环境搭建了一套kafka环境,记录过程如下;
首先配置java环境为JDK1.8,不然zookeeper无法启动。
一、zookeeper的安装与配置
1、先在官网下载了最新版本:https://zookeeper.apache.org/releases.html、
2、解压压缩包:tar -zxvf apache-zookeeper-3.6.0-bin.tar.gz
3、修改配置文件:
进入cd apache-zookeeper-3.6.0-bin/conf/目录下,复制zoo_sample.cfg文件为zoo.cfg:cp zoo_sample.cfg zoo.cfg
编辑zoo.cfg文件,vi zoo.cfg,添加下列配置:
dataDir=/apache-zookeeper-3.6.0-bin/data
dataLogDir=/apache-zookeeper-3.6.0-bin/log
clientPort=2181
server.1=10.159.1.1:2888:3888
4、在apache-zookeeper-3.6.0-bin目录下添加data和log文件夹(因为步骤3)
5、在dataDir目录即/apache-zookeeper-3.6.0-bin/data下新建文件myid,touch myid,编辑文件vi myid,内容为:1
6、启动zookeeper,进入bin目录下,执行命令:./zkServer.sh start
二、kafka配置与启动
1、下载kafka并解压到目录/kafka:https://kafka.apache.org/downloads
2、配置kafka:
创建kafka日志目录 mkdir /kafka/log/kafka
进入kafka config目录下,编辑vi server.properties,修改内容如下:
port=9092
host.name=10.159.1.1
log.dirs=/kafka/log/kafka #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181
创建zookeeper日志目录如下:
mkdir /kafka/zookeeper #创建zookeeper目录
mkdir /kafka/log/zookeeper #创建zookeeper日志目录
进入kafka config目录下,编辑vi zookeeper.properties,修改内容如下:
dataDir=/kafka/zookeeper #zookeeper数据目录
dataLogDir=/kafka/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
3、启动kafka:bin/kafka-server-start.sh config/server.properties
环境搭建完成,继续学习生产与消费。。。