RocketMQ 学习笔记(1)
各角色的关系:
1、Name Server与Producer:Producer从Name Server获取Broker地址,将消息发送至这台机器上暂存。
2、Name Server与Consumer:同时Consumer也从Name Server获取地址消费消息。
3、Name Server与Broker:管理Broker,Broker将自身信息上报到Broker。
4、Broker集群为一主一从时Master与Slaver分别充当Producer的写和Consumer的读。
集群特点:
1、NameServer无状态节点。可集群部署,节点之间无任何信息同步。
2、Broker部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的BrokerName,不同的Brokerld来定义,Brokerld为0表示Master,非0表示Slave,Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接,定时注册Topic信息到所有NameServer。
3、Producer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Producer完全无状态,可集群部署。
4、Consumer与NameServer集群中的其中一个节点((随机选择)建立长连接,定期从NameServer取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。
集群工作流程:
1.启动NameServer,NameServer起来后监听端口,等待Broker、Producer、Consumer连上来,相当于一个路由控制中心。2. Broker启动,跟所有的NameServer保持长连接,定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后,NameServer集群中就有Topic跟Broker的映射关系。
3.收发消息前,先创建Topic,创建Topic时需要指定该Topic要存储在哪些Broker上,也可以在发送消息时自动创建Topic.
4.Producer发送消息,启动时先跟NameServer集群中的其中一台建立长连接,并从NameServer中获取当前发送的Topic存在哪些Broker上,轮询从队列列表中选择一个队列,然后与队列所在的Broker建立长连接从而向Broker发消息
5.Consumer跟Producer类似,跟其中一台NameServer建立长连接,获取当前订阅Topic存在哪些Broker上,然后直接跟Broker建立连接通道,开始消费消息。
死讯队列:当一条消息初次消费失败,消息队列RocketMQ会自动进行消息重试;达到最大重试次数后,若消费依然失败,则表明消费者在正常情况下无法正确地消费该消息,此时,消息队列RocketMQ不会立刻将消息丢弃,而是将其发送到该消费者对应的特殊队列中。
在消息队列RocketMQ 中,这种正常情况下无法被消费的消息称为死信消息(Dead-Letter Message),存储死信消息的特殊队列称为死信队列(Dead-Letter Queue) .
死信消息具有以下特性
1. 不会再被消费者正常消费。
2. 有效期与正常消息相同,均为3天,3天后会被自动删除。因此,需要在死信消息产生后的3天内及时处理。
死信队列具有以下特性:
。一个死信队列对应一个Group ID,而不是对应单个消费者实例。
·如果一个Group ID未产生死信消息,消息队列RocketMQ不会为其创建相应的死信队列.。一个死信队列包含了对应Group ID 产生的所有死信消息,不论该消息属于哪个Topic。