kafka相关问题

1、kafka消息堆积问题

产生背景:
生产者投递消息的速率与消费者消费速率不匹配。
即生产者投递消息的速率>消费者消费的速率,导致我们的消息会堆积在我们的mq服务器中,没有及时的被消费者消费,所以产生消息堆积的问题。
注意
rabbitMQ中消息被消费者消费成功的话,消息会被立即删除。kafka或者rocketMQ消息消费成功,消息不会立马被删除。
解决办法:
1、提高消费者的消费速度,对消费者集群
2、消费者批量形式获取数据,减少网络的传输次数。

2、MQ如何保证消息不丢失:

1、将MQ服务器端的消息持久化到硬盘中
2、生产者,采用ACK模式,确认生产者生产的消息保存到MQ服务器端。
3、MQ服务器端宕机时,将消息记录在第三方redis或者数据库,后期采用定时任务将消息传递到MQ服务器。

3、MQ如何保证消息顺序一致

MQ服务器集群或者MQ采用分区模型架构存放消息,每个分区对于一个消费者消费消息。
解决消息顺序一致性问题:
核心办法:消息一定要投递到同一个MQ,同一个分区模型,最终被同一个消费者消费。
核心方案:设定相同的消息的消息key值,根据相同消息key计算hash存放在同一个分区中。
4、MQ保证消费的幂等性
MQ重试机制,可能会遇到消息的幂等性问题。
解决方案:
1、定义消息的唯一key值,查询redis或者或者数据库该key值是否已经消费过。
2、在数据库中定义唯一索引。防止重复插入。

上一篇:Rabbit MQ安装


下一篇:消息队列MQ总结