052 kafka对topic的增删改查操作

一:create

1.开始使用命令

  052 kafka对topic的增删改查操作

2.创建

  bin/kafka-topics.sh --create --topic beifeng --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --replication-factor 3 --partitions 4

  成功效果:

  052 kafka对topic的增删改查操作

3.参数说明

  create:表示创建动作

  topic:指定创建的名称

  zookeeper:指定连接kafka集群的zk的配置url

  partitions:给定当前topic的分区数量,一般是broker数量*(1~1.5倍)

  replication-factor:一般建议是3个,副本数

4.变化情况

  ZK:

  052 kafka对topic的增删改查操作

二:list,sescribe

1.config

  当前topic生效的参数,会覆盖掉broker中定义的参数的变量值。

  具体参数,可以参照官网。

2.再次创建一个topic

  bin/kafka-topics.sh --create --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --replication-factor 3 --partitions 4 --config segment.bytes=102400 --config max.message.bytes=10000

  效果:

  052 kafka对topic的增删改查操作

3.列出kafka所有topic名称

  bin/kafka-topics.sh --list --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka

  052 kafka对topic的增删改查操作

4.列出具体topic的描述信息

  bin/kafka-topics.sh --describe --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka

  052 kafka对topic的增删改查操作

三:alter

1.修改配置信息

  bin/kafka-topics.sh --alter --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --config max.message.bytes=100000

2.效果  

  052 kafka对topic的增删改查操作

3.删除配置信息

  bin/kafka-topics.sh --alter --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --delete-config max.message.bytes

  使用--delete-config

  这个是成功的,具体信息的截图就不粘贴了。

  052 kafka对topic的增删改查操作

4.增加分区

  bin/kafka-topics.sh --alter --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka --partitions 5

  052 kafka对topic的增删改查操作

5.不能减少分区

  因为kafka的特性。

  topic中的数据在每个分区中是有序的与不可变的。

  减少分区需要将数据进行重新排序,所以不支持。

6.replication-factor不能修改

  备份因子数量不可以修改

  

四:delete

1.说明

  kafka默认情况下,不支持通过delete参数删除对应的topic

  内部是一种标记删除的操作,实际上没有删除。

2.两种方式

  

3.第一种方式

  修改kafka服务参数。

    delete.topic.enable=true

  然后删除

    bin/kafka-topics.sh --delete --topic beifeng0 --zookeeper linux-hadoop01.ibeifeng.com:2181/kafka

4.手动删除zk与磁盘中的对应的topic目录

  zk目录::/kafka/brokers/topics/beifeng0

    命令:rmr /kafka/brokers/topics/beifeng0

         rmr /kafka/config/topics/beifeng0

  本地文件:${log.dir}/beifeng0-*

    命令:rm -r data/*/beifeng0*

    

上一篇:ABP框架 - 时间


下一篇:(二)Kafka动态增加Topic的副本(Replication)