一、Kafka主要组件
1)producer(生产者):主要用于生产消息,是kafka当中的消息生产者,生产的消息通过topic进行归类,保存到kafka的broker里面去;
2)topic(主题):kafka将消息以topic为单位进行归类,主题始终支持多用户的订阅;
3)partition(分区):一个topic可以有多个分区,每个分区保存部分数据;每一个分区里面的数据是有序的,但全局的数据不能保证有序;
4)consumer(消费者):用于消费kafka中的数据,消费者一定归属于某个消费者组中;
5)consumer group(消费者组):同一个组中的消费者对同一条消息只消费一次;每个分区只能有同一个消费者组内的一个消费者来消费;partition的数量决定了每个消费者组中并发消费者的最大数量;
6)partition replicas(分区副本):
副本数:控制消息保存在几个broker上,一般情况下副本数等于broker数;创建topic时副本因子应该小于等于可用的broker数;每个分区都有各自的主副本(leader)的从副本(follower),处于同步状态的副本为ISR(即当前可用副本);
7)segment:一个partition由多个segment文件组成,segment文件包含两个部分:.log文件和.index文件
二、Kafka集群操作: