1 下载kafka parcel
http://archive.cloudera.com/kafka/parcels/latest/
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel
KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1# mv KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha1 KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel.sha
# cp KAFKA-3.1.1-1.3.1.1.p0.2-el7.parcel* /opt/cloudera/parcel-repo/
2 重启cloudera manager
进入菜单 ‘主机’ -> ‘Parcel’
点击 ‘分配’
点击 ‘激活’
等待
3 添加服务
启动kafka时有可能报错OOM,查看日志发现
export KAFKA_HEAP_OPTS=-Xmx50M
这个太小了,在control.sh中先设置BROKER_HEAP_SIZE,然后设置KAFKA_HEAP_OPTS
/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent/process/349-kafka-KAFKA_BROKER/scripts/control.sh
直接修改启动脚本
# vi /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/bin/kafka-server-start.sh
...
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS com.cloudera.kafka.wrap.Kafka "$@"
同步到所有服务器上,然后再重试启动kafka
如果要修改Zookeeper Chroot,一定要/开头,比如 /kafka
部署成功
部署的kafka版本是kafka_2.11-1.0.1-kafka-3.1.1.jar,对应官方版本kafka_2.11-1.0.1