1、 集群部署
kafka集群的瓶颈主要在网络和磁盘上;kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败。
图 1 kafka流程图
2、 zookeeper在kafka中所起的作用
(1)记录kafka的节点(broker)信息,当有新的节点加入或者退出时,zookeeper会作相应的调整。
(2)记录group中消费的partition的最大偏移量,保证消息不会被重复消费和不被消费
(3)记录consumer信息和consumer消费的分区对应关系,主要是为了保证负载均衡(消息消费请求被均匀的分布到不同的消费者),和当有消息到时,提醒consumer进行消费。