默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。要确保消息不会丢失需要做两件事:我们需要将队列和消息都标 记为持久化。在RabbitMQ中要保证消息不会丢失,需要做到以下三点:
(1)设置要求队列必须持久化。
(2)设置要求队列中的消息必须持久化。
(3)发布确认
接下来便详细讲讲这三点该如何完成。
队列持久化
如果要队列实现持久化,则需要在声明队列的时候把 durable 参数设置为持久化,设置完该参数后,即使RabbitMQ重启,此时队列也依旧存在。
...
boolean durable = true;
channel.queueDeclare(ACK_QUEUE_NAME,durable,false,false,null);
...
以下为控制台中持久化与非持久化队列的 UI 显示区
消息持久化
要想让消息实现持久化需要在消息生产者修改代码,参数props中添加MessageProperties.PERSISTENT_TEXT_PLAIN
这个属性。将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉RabbitMQ将消息保存到磁盘,但是这里依然存在当消息刚准备存储在磁盘的时候但是还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强,但是对于我们的简单任务队列而言,这已经绰绰有余了。
...
//设置生产者发送消息为持久化消息(要求保存到磁盘上)
channel.basicPublish("",ACK_QUEUE_NAME, MessageProperties.PERSISTENT_TEXT_PLAIN
,message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出消息:"+message);
...
发布确认
生产者将信道设置成confirm模式,一旦信道进入confirm模式,所有在该信道上面发布的消息都将会被指派一个唯一的ID(从1开始)(使用randomUUID随机生成一个唯一标识),一旦消息被投递到所有匹配的队列之后,broker就会发送一个确认给生产者(包含消息的唯一ID),这就使得生产者知道消息已经正确到达目的队列了,如果消息和队列是可持久化的,那么确认消息会在将消息写入磁盘之后发出,broker回传给生产者的确认消息中delivery-tag域包含了确认消息的序列号,此外 broker也可以设置basic.ack 的multiple域,表示到这个序列号之前的所有消息都已经得到了处理。
confirm模式最大的好处在于他是异步的,一旦发布一条消息,生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息,当消息最终得到确认之后,生产者应用便可以通过回调方法来处理该确认消息,如果RabbitMQ因为自身内部错误导致消息丢失,就会发送一条Nack消息,生产者应用程序同样可以在回调方法中处理该Nack消息。
单个发布确认
这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布,后续的消息才能继续发布, waitForConfirmsOrDie(long)
这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。
这种确认方式有一个最大的缺点就是:发布速度特别的慢,因为如果没有确认发布的消息就会阻塞所有后续消息的发布,这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。
/*
* 发布确认模式,
* 单个确认
* */
public class ComfirmMessage {
// 批量发消息的个数 1000个
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
// 1、单个确认
ComfirmMessage.publishMessageIndividually();
}
public static void publishMessageIndividually() throws Exception {
//使用工具类创建连接工厂并获取信道
Channel channel = RabbitMqUtils.getChannel();
//随机生成队列名字
String queueName = UUID.randomUUID().toString();
//队列的声明
channel.queueDeclare(queueName,false,false,false,null);
// 开启发布确认,如果不写则发布确认默认是不开启的
channel.confirmSelect();
// 开始时间
long begin = System.currentTimeMillis();
// 批量发消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));
// 单个消息马上进行发布确认
boolean flag = channel.waitForConfirms();
if (flag){
System.out.println("消息发送成功");
}
}
// 结束时间
long end = System.currentTimeMillis();
System.out.println("发布"+MESSAGE_COUNT+"个单独确认消息,耗时"+ (end - begin) + "ms");
}
}
批量发布确认
从单个发布确认中我们发现,一个个发布一个个确认效率太低,所以我们想到能不能一批一批消息一起发布然后一起确认,于是有了批量发布确认。批量发布确认的优点是可以极大地提高吞吐量,当然这种方式的缺点就是:当发生故障导致发布出现问题时,不知道是哪个消息出现问题了,我们必须将整个批处理保存在内存中,以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的,也一样阻塞消息的发布。
/*
* 发布确认模式,
* 批量确认
* */
public class ComfirmMessage {
// 批量发消息的个数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
//批量确认
ComfirmMessage.publishMessageBatch();
}
public static void publishMessageBatch() throws Exception{
Channel channel = RabbitMqUtils.getChannel();
String queueName = UUID.randomUUID().toString();
channel.queueDeclare(queueName,false,false,false,null);
// 开启发布确认
channel.confirmSelect();
// 开始时间
long begin = System.currentTimeMillis();
// 批量确认消息大小
int batchSize = 100;
// 批量发送 批量确认
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = i + "";
channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));
// 用取余方式来判断,当消息达到100条的时候,批量确认一次
if (i%batchSize == 0){
// 确认发布
channel.waitForConfirms();
}
}
// 结束时间
long end = System.currentTimeMillis();
System.out.println("发布"+MESSAGE_COUNT+"个批量确认消息,耗时"+ (end - begin) + "ms");
}
}
异步发布确认
异步确认虽然编程逻辑比上两个要复杂,但是性价比最高,无论是可靠性还是效率都没得说,他是利用回调函数来达到消息可靠性传递的,这个中间件也是通过函数回调来保证是否投递成功。
1、生产者发送消息,在信道中以Key-Value形式存储
2、信道中的消息传到broker交换机中,通过角川及传到相应的消费者队列
3、消息被确认存入磁盘时返回ackCallback / 消息没被确认收到时返回NackCallback
/*
* 发布确认模式,
* 异步批量确认
* */
public class ComfirmMessage {
// 批量发消息的个数
public static final int MESSAGE_COUNT = 1000;
public static void main(String[] args) throws Exception {
//异步批量确认
ComfirmMessage.publicMessageAsync();
}
public static void publicMessageAsync() throws Exception{
Channel channel = RabbitMqUtils.getChannel();
String queueName = UUID.randomUUID().toString();
channel.queueDeclare(queueName,false,false,false,null);
// 开启发布确认
channel.confirmSelect();
/*
* 线程安全有序的一个哈希表(跳表效率更高) ,适用于高并发的情况下
* 1、轻松地将序号与消息进行关联
* 2、轻松地批量删除,只要给到序号
* 3、支持高并发
* */
ConcurrentSkipListMap<Long,String> outstandingConfirms = new ConcurrentSkipListMap<>();
// 消息确认成功回调函数
ConfirmCallback ackCallback = (deliveryTag,multiply) -> {
// 删除到已经确认的消息,剩下的就是未确认的消息
if(multiply){
//返回的是小于等于当前序列号的未确认消息,是一个map
ConcurrentNavigableMap<Long, String> confiremed = outstandingConfirms.headMap(deliveryTag);
confiremed.clear();
}else {
//不是批量的情况下,直接删除掉当前成功确认的消息
outstandingConfirms.remove(deliveryTag);
}
System.out.println("确认的消息:"+deliveryTag);
};
// 消息确认失败回调函数
/*
* 参数1:消息的标记
* 参数2:是否为批量确认
* */
ConfirmCallback nackCallback = (deliveryTag,multiply) -> {
String message = outstandingConfirms.get(deliveryTag);
System.out.println("未确认的消息:"+deliveryTag);
};
// 准备消息的监听器,监听哪些消息成功,哪些消息失败
/*
* 参数1:监听哪些消息成功
* 参数2:监听哪些消息失败
* */
channel.addConfirmListener(ackCallback,nackCallback);
// 开始时间
long begin = System.currentTimeMillis();
// 批量发送消息
for (int i = 0; i < MESSAGE_COUNT; i++) {
String message = "消息" + i;
channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));
// 此处记录下所有要发送的消息的总和
outstandingConfirms.put(channel.getNextPublishSeqNo(),message);
}
// 结束时间
long end = System.currentTimeMillis();
System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息,耗时"+ (end - begin) + "ms");
}
}
不公平分发
在最开始的时候我们学习到RabbitMQ.分发消息采用的轮训分发,但是在某种场景下这种策略并不是很好,比方说有两个消费者在处理任务,其中有个消费者1处理任务的速度非常快,而另外一个消费者2处理速度却很慢,这个时候我们还是采用轮训分发的化就会到这处理速度快的这个消费者很大一部分时间处于空闲状态,而处理慢的那个消费者一直在干活,这种分配方式在这种情况下其实就不太好,但是RabbitMQ并不知道这种情况,它依然很公平的进行分发。
为了避免这种情况,我们可以设置参数channel.basicQos(1)
...
// 设置不公平分发
int prefetchCount = 1;
channel.basicQos(prefetchCount);
...
//如果所有的消费者都没有完成手上任务,队列还在不停的添加新任务,队列有可能就会遇到队列被撑满的情况,这个时候就只能添加新的 worker 或者改变其他存储任务的策略。
预取值
本身消息的发送就是异步发送的,所以在任何时候,channel上肯定不止只有一个消息,另外来自消费者的手动确认本质上也是异步的。因此这里就存在一个未确认的消息缓冲区,因此希望开发人员能限制此缓冲区的大小,以避免缓冲区里面无限制的未确认消息问题。这个时候就可以通过使用basicQos.方法设置“预取计数”值来完成的。**该值定义通道上允许的未确认消息的最大数量。**一旦数量达到配置的数量,RabbitMQ将停止在通道上传递更多消息,除非至少有一个未处理的消息被确认,
消息应答和QoS预取值对用户吞吐量有重大影响。通常增加预取将提高向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的,但是在这种情况下已传递但尚未处理的消息的数量也会增加,从而增加了消费者的RAM消耗(随机存取存储器),应该小心使用具有无限预处理的自动确认模式或手动确认模式,消费者消费了大量的消息如果没有确认的话,会导致消费者连接节点的内存消耗变大,所以找到合适的预取值是一个反复试验的过程,不同的负载该值取值也不同100到300范围内的值通常可提供最佳的吞吐量,并且不会给消费者带来太大的风险。预取值为1是最保守的,也称为不公平分发。当然这将使吞吐量变得很低,特别是消费者连接延迟很严重的情况下,特别是在消费者连接等待时间较长的环境中。对于大多数应用来说,稍微高一点的值将是最佳的。
...
// 设置预取值为4
int prefetchCount = 4;
channel.basicQos(prefetchCount);
...