kafka系列(01):消息中间件选型分析

一、   什么是消息中间件?概述   

消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能,其作为分布式系统架构中的一个重要组件,有着举足轻重的地位。场景应用核心的有三个:解耦、异步、削峰。
 

二、消息队列的使用场景  为什么使用消息队列?

其实这个话题也是面试官经常问询的问题,问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么

期望的一个回答是说,你们公司有个什么业务场景,这个业务场景有个什么技术挑战,如果不用MQ可能会很麻烦,但是你现在用了MQ之后带给了你很多的好处

现在你可以下想想你如何回答上述问题,想不起来?  好吧我这里先介绍几个常见使用场景,提醒下。。。

解耦:现场画个图来说明一下,
 

kafka系列(01):消息中间件选型分析

A系统发送个数据到BCD三个系统,接口调用发送,那如果E系统也要这个数据呢?那如果C系统现在不需要了呢?现在A系统又要发送第二种数据了呢?A系统负责人濒临崩溃中。。。再来点更加崩溃的事儿,A系统要时时刻刻考虑BCDE四个系统如果挂了咋办?我要不要重发?我要不要把消息存起来?
 

kafka系列(01):消息中间件选型分析

这是你需要去考虑一下你负责的系统中是否有类似的场景,就是一个系统或者一个模块,调用了多个系统或者模块,互相之间的调用很复杂,维护起来很麻烦。但是其实这个调用是不需要直接同步调用接口的,如果用MQ给他异步化解耦,也是可以的,你就需要去考虑在你的项目里(做过微服务项目的同学这里是不是考虑下  消息总线 搭配Rabbitmq 做解耦 用于广播配置文件的更改或者服务间的通讯?),是不是可以运用这个MQ去进行系统的解耦。在简历中体现出来这块东西,用MQ作解耦。
 

异步:现场画个图来说明一下

kafka系列(01):消息中间件选型分析kafka系列(01):消息中间件选型分析

 

A系统接收一个请求,需要在自己本地写库,还需要在BCD三个系统写库,自己本地写库要3ms,BCD三个系统分别写库要300ms、450ms、200ms。最终请求总延时是3 + 300 + 450 + 200 = 953ms,接近1s,用户感觉搞个什么东西,慢死了慢死了。

更改为 异步后当消息发送到消息队列  自行让对应系统进行消费即可  所以给用户的体验为20 + 5 = 25ms  ,快 好快!
 

削峰:每天0点到11点,A系统风平浪静,每秒并发请求数量就100个。结果每次一到11点~1点,每秒并发请求数量突然会暴增到1万条。但是系统最大的处理能力就只能是每秒钟处理1000个请求啊。。。尴尬了,系统会死。。。

 

kafka系列(01):消息中间件选型分析

kafka系列(01):消息中间件选型分析

 

消息队列有什么优缺点?

优点上面已经说了,就是在特殊场景下有其对应的好处,解耦、异步、削峰

 

缺点呢?显而易见的

kafka系列(01):消息中间件选型分析

 

系统可用性降低:系统引入的外部依赖越多,越容易挂掉,本来你就是A系统调用BCD三个系统的接口就好了,人ABCD四个系统好好的,没啥问题,你偏加个MQ进来,万一MQ挂了咋整?MQ挂了,整套系统崩溃了,你不就完了么。

 

系统复杂性提高:硬生生加个MQ进来,你怎么保证消息没有重复消费?怎么处理消息丢失的情况?怎么保证消息传递的顺序性?头大头大,问题一大堆,痛苦不已

 

一致性问题:A系统处理完了直接返回成功了,人都以为你这个请求就成功了;但是问题是,要是BCD三个系统那里,BD两个系统写库成功了,结果C系统写库失败了,咋整?你这数据就不一致了。

 

所以消息队列实际是一种非常复杂的架构,你引入它有很多好处,但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉,最好之后,你会发现,妈呀,系统复杂度提升了一个数量级,也许是复杂了10倍。但是关键时刻,用,还是得用的。。。
 

MQ消息队列的技术应用
主要用于解耦、异步、削峰

 

特性 ActiveMQ RabbitMQ RocketMQ Kafka
单机吞吐量 万级,吞吐量要比RocketMQ和Kafka低一个量级 万级,吞吐量要比RocketMQ和Kafka低一个量级 10万级,是可以支撑高吞吐量的一种MQ 10万级,Kafka最大的优点就是吞吐量高。一般配合大数据类系统来进行实时计算,日志采集等场景来使用
topic数量对吞吐量的影响     topic可以达到几百,几千的级别,吞吐量会有较小幅度的下降,这也是RocketMQ的一大优势 topic从几十到达几百时,吞吐量会大幅度下降,所以在同等机器下,kafka尽量保证topic的数量不要过多
时效性 ms级别 微秒级别,这是RabbitMQ的一大特点,延迟是最低的 ms级别 延迟在ms级别以内
可用性 高,基于主从架构实现高可用 高,基于主从架构实现高可用 非常高,分布式架构 非常高,kafka是分布式的,一个数据多个副本,少数机器宕机不会数据丢失,不会导致不可用
消息可靠性 有较低的概率丢失数据   经过参数优化陪配置可以做到0丢失 经过参数优化配置,可以达到0丢失
核心特点 MQ领域的功能及其完备 基于erlang开发,所以并发性能及其突出,性能好,延迟低 MQ功能基本完善,分布式的扩展性良好 功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模的使用,是实时上的标准
功能支持 MQ领域的功能及其完备 基于erlang开发,所以并发性能及其突出,性能好,延迟地 MQ功能基本完善,分布式的扩展性良好 功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模的使用,是实时上的标准
优劣势总结 非常成熟,功能强大,在业内大量的公司以及项目中都有应用, 偶尔会有低概率的消息丢失,现在社区以及国内公司使用的越来越少,官方现在对ACtiveMQ 高版本维护越来越少,主要是基于解耦和异步来使用,较少在大规模吞吐的场景使用 erlang语言开发,性能极好,延迟低而且开源提供管理界面非常棒,用起来非常方便,国内一些互联网公司最近几年使用RabbitMQ的比较多。但是问题也是显而易见的,RabbitMQ确实会吞吐量低一些,这是因为其实现机制比较重,而且erlang开发,国内有几个有实力的公司做erlang源码级别的研究和定制??而且RabbitMQ集群动态扩展比较麻烦,不过这个问题不是太大。 其只要是erlang语言本身带来的问题,很难读源码,定制开发,掌控力度不大 接口简单易用,在阿里经过大规模使用,有阿里的品牌保证。日处理消息上百亿之多,可以做到大规模吞吐,性能非常优秀,分布式扩展也很方便,社区维护还可以,可靠性和可用性都是没得说,还可以支撑大规模topic数量,支持复杂的MQ业务场景,而且一个很大的优势在于,阿里出品都是Java系列,我们可以自己读源码,定制自己公司的MQ,可以掌控,社区活跃度相对一般,不过也还可以,文档相对来说简单一些,接口这块不是按照标准的JMS规范走的,有些系统做迁移需要做较大的代码改动,还有就是阿里出台的技术你得做好技术万一别抛弃,社区黄掉的风险,如果公司有一定的技术实力,可以大胆是使用。 kafka的特点的其实很明显,就是仅仅提供较少的核心功能,但是提供超高的吞吐量,ms级别的延迟,极高的可用性和可靠性,分布式架构可以任意扩展,同时kafka最好支撑较少的topic数量,保证其超高的吞吐量,二是kafka唯一的的劣势是有可能消息重复消费,那么对数据准确性会造成极其轻微的影响,在大数据领域中以及日志收集中,这点轻微的影响可以忽略不计。这个特性天然适合大数据实时计算以及日志收集

 

上一篇:[.net 面向对象编程基础] (6) 基础中的基础——运算符和表达式


下一篇:[.net 面向对象编程基础] (4) 基础中的基础——数据类型转换