【原创】大叔经验分享(36)CM部署kafka

【原创】大叔经验分享(36)CM部署kafka

1 下载kafka parcel

http://archive.cloudera.com/kafka/parcels/latest/
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1

# mv KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha
# cp KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel* /opt/cloudera/parcel-repo/

2 重启cloudera manager

进入菜单 ‘主机’ -> ‘Parcel’

【原创】大叔经验分享(36)CM部署kafka

点击 ‘分配’

【原创】大叔经验分享(36)CM部署kafka

点击 ‘激活’

【原创】大叔经验分享(36)CM部署kafka

等待

【原创】大叔经验分享(36)CM部署kafka

3 添加服务

【原创】大叔经验分享(36)CM部署kafka

启动kafka时有可能报错OOM,查看日志发现

export KAFKA_HEAP_OPTS=-Xmx50M

这个太小了,在control.sh中先设置BROKER_HEAP_SIZE,然后设置KAFKA_HEAP_OPTS

/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/349-kafka-KAFKA_BROKER/scripts/control.sh

直接修改启动脚本

# vi /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/bin/kafka-server-start.sh
...
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS com.cloudera.kafka.wrap.Kafka "$@"

同步到所有服务器上,然后再重试启动kafka

如果要修改Zookeeper Chroot,一定要/开头,比如 /kafka

部署成功

【原创】大叔经验分享(36)CM部署kafka

部署的kafka版本是kafka_2.11-1.0.1-kafka-3.1.1.jar,对应官方版本kafka_2.11-1.0.1

上一篇:$destroy


下一篇:锋利的JQuery 学习笔记