kafka topic重分区

该工具有三种使用模式
generate模式,给定需要重新分配的Topic,自动生成reassign plan(并不执行)
execute模式,根据指定的reassign plan重新分配Partition
verify模式,验证重新分配Partition是否成功
下面这个例子将使用该工具将Topic的所有Partition重新分配到Broker 1,2,3上,步骤如下:
1. 使用generate模式,生成reassign plan

kafka 分区不均处理
1、自动生成重分区的json文件
data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "1,2,3" --generate
 

2、生成后的json文件写入到/tmp/reassign-plan.json可能有多条这样的内容需要分配导入导入重分区后的 json文件

data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file /tmp/reassign-plan.json --execute 

3验证
/data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file /tmp/reassign-plan.json --verify

 

上一篇:对话中国人寿:DevOps实践经验分享


下一篇:WePack —— 助力企业渐进式 DevOps 转型