Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域 消息队列好处: 解耦,可扩展性,缓冲,削峰
生产者生产消息 消费者消费消息 Kafka集群管理消息 Zookeeper注册消息 同一个分区的数据,同时只能被同一个组里面的某一个消费者所消费 Zookeeper作用:帮助kafka群组存储一些信息,帮助消费者存储消费到的位置信息 推和拉(消费者)两种模式
群起kafka [atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh config/server.properties
Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的 topic是逻辑上的概念,而partition是物理上的概念,每个partition对应一个log文件
通过二分查找法定位offset的message
HW只能保证副本之间的数据的一致性,并不能保证数据不丢失或者不重复
ack 0,1,-1 ISR :HW ,LEO
P19
陆续更新中。。