centos8 kafka集群安装

##kafka运行涉及zookeeper,kafka和zookeeper都运行在jvm之上。

###准备三台服务器,ip地址如下:
192.168.137.31
192.168.137.32
192.168.137.33

jdk安装

安装jdk8或者以上版本,详细步骤网上很多教程可以参考

zookeeper安装

  1. 下载zookeeper
     wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
    
  2. 解压zookeeper
     tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz
    
  3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7
    mv apache-zookeeper-3.7.0-bin /opt/zookeeper-3.7
    
  4. 向/etc/profile文件追加环境变量,并使配置生效
    echo 'export ZOOKEEPER_HOME=/opt/zookeeper-3.7' >> /etc/profile
    echo 'export PATH=$PATH:$ZOOKEEPER_HOME/bin' >> /etc/profile
    source /etc/profile
    
  5. 编辑配置文件 zoo.cfg
    cd /opt/zookeeper-3.7/conf/
    vim zoo.cfg 
    输入以下内容 
    
    # 服务器心跳时间,单位ms
    tickTime=2000
    # 允许follower连接并同步到leader的初始化连接时间,以tickTime倍数表示
    initLimit=10
    # leader与follwer心跳检测最大容忍时间
    # 超过 tickTime*syncLimit ,判断follower离线
    syncLimit=5
    # 数据目录
    dataDir=/data/zookeeper/data
    # 日志目录
    dateLogDir=/data/zookeeper/log
    # 对外服务端口
    clientPort=2181
    ## 集群配置
    server.1=192.168.137.31:2888:3888
    server.2=192.168.137.32:2888:3888
    server.3=192.168.137.33:2888:3888
    
  6. 创建zookeeper数据目录
    mkdir -p /data/zookeeper/data
    mkdir -p /data/zookeeper/log
    
  7. 创建myid文件,写入服务器编号
    服务器1执行  192.168.137.31 
    echo 1 > /data/zookeeper/data/myid
    服务器2执行  192.168.137.32
    echo 2 > /data/zookeeper/data/myid
    服务器3执行  192.168.137.33 
    echo 3 > /data/zookeeper/data/myid
    
  8. 启动zookeeper
    cd /opt/zookeeper-3.7/bin/; ./zkServer.sh start
    
  9. 查看服务器状态
    ./zkServer.sh status
    

kafka安装

  1. 下载kafka
    wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
    
  2. 解压kafka
     tar -zxvf kafka_2.13-3.0.0.tgz
    
  3. 移动解压后文件夹至/opt 同时重命名文件夹名称为 zookeeper-3.7
    mv kafka_2.13-3.0.0 /opt/
    
  4. 向/etc/profile文件追加环境变量,并使配置生效
    echo 'export KAFKA_HOME=/opt/kafka_2.13-3.0.0' >> /etc/profile
    echo 'export PATH=$PATH:$KAFKA_HOME/bin' >> /etc/profile
    source /etc/profile
    
  5. 编辑配置文件
    cd /opt/kafka_2.13-3.0.0/config/
    vim server.properties 
    重点修改以下参数
    # broker编号,保证每台机器值不同。第一台机器0,第二台机器1,第三台机器2
    broker.id=0
    # broker对外提供服务的入口地址 注意改为本机ip
    listeners=PLAINTEXT://192.168.137.31:9092
    # 存放消息日志文件 不要使用默认值,会丢失数据
    log.dirs=/data/kafka-logs
    # zookeeper集群地址
    zookeeper.connect=192.168.137.31:2181,192.168.137.32:2181,192.168.137.33:2181
    
  6. 创建kafka-logs数据目录
    mkdir -p /data/kafka-logs
    
  7. 启动kafka,需要首先启动zookeeper集群
    cd /opt/kafka_2.13-3.0.0/bin/; ./kafka-server-start.sh -daemon ../config/server.properties
    
上一篇:centos8 docker podman冲突问题技术就是要不断折腾 时刻踩坑


下一篇:centos8 安装gcc4.8.5/g++4.8.5【实测经验】