Kafka中的重要概念

  • Broker:Kafka服务器进程,生产者、消费者都要连接broker。一个集群由多个broker组成,功能实现Kafka集群的负载均衡、容错。
  • Producer:生产者。
  • Consumer:消费者。
  • Topic:主题。一个Kafka集群中,可以包含多个topic,一个topic可以包含多个分区。Topic是一个逻辑结构,生产、消费消息都需要指定topic。
  • Partition:Kafka集群的分布式是由分区来实现的。一个topic中的消息可以分布在topic中的不同partition中。
  • Replica:副本,实现Kafka集群的容错,实现partition的容错。一个topic至少应该包含>1个副本。
  • Consumer group:消费者组,一个消费者组中的消费者可以共同消费topic中的分区数据。每一个消费者组都有一个唯一的名字。配置group.id一样的消费者是属于同一个组的。
  • Offset:偏移量。相对消费者、partition来说,可以通过offset来拉取数据。
上一篇:Linux磁盘管理(添加磁盘,分区、删除分区、格式化、挂载、卸载)


下一篇:数据直接上传到分区目录上,让分区表和数据产生关联的三种方式