kafka的ack确认机制

ack(acknowledgemen 确认收到)

A1 目的

为了保证producer发送的数据能可靠的发送到指定的topic。

A2 过程

topic的每个partition收到producer发送的数据后,都需向producer发送ack,如果producer收到ack,就会进行下一轮的发送,否则重新发送。

kafka的ack确认机制

A3 穿插

ISR机制:

  • Leader维护了一个动态的in-sync replica set (ISR),意为和leader保持同步的follower集合。follower长时间不同步,被踢出ISR ,该时间阈值由replica.lag.time.max.ms参数设定。Leader发生故障之后,就会从ISR中选举新的leader。

A4 ack应答机制:

ack级别:

  • 0:producer不等待broker的ack,最低延迟,broker一收到还没写入磁盘就返回,当broker故障时易丢失数据。
  • 1:producer等待broker的ack,partition的leader落盘成功后返回ack,如果在follower同步成功之前leader故障,那么将会丢失数据。
  • -1(all):producer等待broker的ack,partition的leader和follower全部落盘成功后才返回ack。但是如果在follower同步完成后,broker发送ack之前,leader发生故障,那么会造成数据重复。
上一篇:一文彻底搞懂 Flink 网络流控与反压机制


下一篇:大数据基础系列之kafka011生产者缓存超时,幂等性和事务实现