kafka安装，启动

2023-11-03 22:22:52

先启动所有机器上的zookeeper，再启动所有机器上的kafka（后台启动）(使用了xcall脚本批量运行程序）

开启zookeeper

xcall /opt/zookeeper-3.4.10/bin/zkServer.sh start

开启kakfa

xcall /opt/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.11-0.11.0.0/config/server.properties

关闭zookeeper

xcall /opt/zookeeper-3.4.10/bin/zkServer.sh stop

关闭kafka

xcall /opt/kafka_2.11-0.11.0.0/bin/kafka-server-stop.sh

kafka需要zookeeper单机或集群

Linux 安装zookeeper（单机，分布式安装）

https://kafka.apache.org/downloads

Xftp传输文件到Linux系统中的opt文件夹

Linux安装kafka命令（Xshell）

查看文件夹有哪些文件

进入opt文件夹

cd /opt

解压

tar -zxvf kafka_2.11-0.11.0.0.tgz

进入解压后的kafka文件夹

cd kafka_2.11-0.11.0.0

创建log文件夹（用于存储暂存数据，之后需要修改server.properties）

mkdir log

进入kafka的config文件夹

cd config

修改kafka服务器配置

vi server.properties

可以使用 /broker 定位内容

esc退出insert模式，使用:q退出，:wq保存并退出

这里是服务器的id，在集群中id必须唯一，创建多个kafka服务器组成集群需要修改

下面一点就是：是否能删除消息主题（把#去掉，设为能删除）

修改暂存数据目录（/opt/kafka_2.11-0.11.0.0/log）

修改为zookeeper集群

esc键 :wq保存退出

xsync 分发到其他的机器中

[root@hostname1 opt]# xsync kafka_2.11-0.11.0.0 hostname 2 2

其他机器

进入解压后的kafka文件夹

cd kafka_2.11-0.11.0.0

进入kafka的config文件夹

cd config

修改kafka服务器配置

vi server.properties

修改其他机器中的broker.id（必须唯一）

[root@hostname2 kafka_2.11-0.11.0.0]# bin/zookeeper-server-start.sh -daemon config/server.properties

先启动所有机器上的zookeeper，再启动所有机器上的kafka（后台启动）(使用了xcall脚本批量运行程序）

xcall /opt/zookeeper-3.4.10/bin/zkServer.sh start

xcall /opt/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.11-0.11.0.0/config/server.properties

也可以使用脚本运行kafka

cd /usr/local/bin

创建脚本

touch kafkastart

编辑脚本（就是将批量开启关闭zookeeper和kafka命令放入其中）

#!/bin/bash

for i in hostname1 hostname2
do
        echo --------- $i ----------
        ssh root@$i "/opt/kafka_2.11-0.11.0.0/bin/kafka-server-start.sh -daemon /opt/kafka_2.11-0.11.0.0/config/server.properties"
done

kafkastart

#!/bin/bash

for i in hostname1 hostname2
do
        echo --------- $i ----------
        ssh root@$i "/opt/kafka_2.11-0.11.0.0/bin/kafka-server-stop.sh"
done

kafkastop

#!/bin/bash

for i in hostname1 hostname2
do
        echo --------- $i ----------
        ssh root@$i "/opt/zookeeper-3.4.10/bin/zkServer.sh start"
done

zkstart

#!/bin/bash

for i in hostname1 hostname2
do
        echo --------- $i ----------
        ssh root@$i "/opt/zookeeper-3.4.10/bin/zkServer.sh stop"
done

zkstop

添加执行权限

chmod 777 kafkastart

chmod 777 kafkastop

chmod 777 zkstart

chmod 777 zkstop

运行脚本

开启kafka