Dubbo学习系列之八(分布式事务之MQ方案)

自从小王玩起了微服务,发现微服务果然很强大,好处真是太多,心中暗喜,然而,却也遇到了分布式中最棘手的问题:分布式事务。小王遍访各路神仙,也无个完美开源解决方案,当然,也有些实际可行的手法,虽不算完美,但也可拿来研究一番,那今天我们也来说说分布式事务。

分布式事务的起源,即因各服务是独立的,各自使用独立的DB,那本地事务可以保证事务式执行,但其他服务上关联的事务呢?之前Dubbo学习系列之六(微服务架构实战)项目中铺垫的最大bug在于:如果订单付款中异常,本地订单数据将会自动回滚,然而库存服务和物流服务,收到通信消息后,就执行了,并没有同步回滚!这就是典型的分布式事务。

分布式事务的解决思路有二:其一,强一致性方案,2PC(两阶段提交)和TCC(try-confirm-cancel)都是对所有相关的事务做同步协调处理,先尝试准备资源,锁住数据,如果都可执行,才都开始执行事务,执行后再确认,如果有一个事务失败,将全部回滚,这个方案缺点太多,执行效率低,回滚代价高,锁住资源多,对各业务侵入严重,必须人工进行各种事件编码,除了如金融类强调一致性的场景,并不推荐使用。其二,弱一致性(最终一致性)方案,基于可靠性MQ的异步,根据BASE理论以及CAP理论,即形成最终一致性。本地事务先执行,然后发送消息至其他服务,并确保消费者服务执行相关事务。举例:只要订单付款成功,那么就一定会减掉用户的账户金额。下面就动手实现这个例子吧!

准备

Idea201902/JDK11/ZK3.5.5/Gradle5.4.1/RabbitMQ3.7.13/Mysql8.0.11/Lombok0.26/Erlang21.2/postman7.5.0/Redis3.2/Rocket4.5.2

难度:新手--战士--老兵--大师

目标:1.模拟商城系统,订单付款后,通过RocketMQ消息机制实现分布式事务方法  2.使用RabbitMQ延迟队列实现订单过期取消

步骤

1.项目架构及代码基础设施,见往期文章,整体不变,只做增量,如有重大修改,会加以说明。

2.Rocket的安装见文章最后部分后记第2点。

3.RocketMQ事务实现逻辑:“两段提交,回查确认”,首先msg发给Rocket,但msg并没立刻发送给下游消费者,而是等待发起者的事务执行结果,如果执行无误,则Rocket才将消息发送到下游,如果事务执行失败,则消息返回,下游无感知。

4.先实现第二个目标--使用RabbitMQ延迟队列实现订单过期取消,先看一个整体逻辑图:

Dubbo学习系列之八(分布式事务之MQ方案)
 

exchangeA-->queueC是“订单到物流线”,exchangeA-->queueA-->exchangeB-->queueB是“过期订单取消线”。

5.订单到物流线参考往期文章--Dubbo学习系列之六(微服务架构实战),有微调,过期订单取消线,看几个核心点:

(队列属性设置见前面文章)com.biao.mall.business.impl.DubboOrderServiceImpl中saveOrder(orderBO)方法中的最后添加消息的逻辑,即将订单放入过期订单取消线,注意所有订单都会放入,然后在取消处理逻辑中判断是否取消,因为不能选择性从queue取出特定消息:

Dubbo学习系列之八(分布式事务之MQ方案)
 

再定义消息消费者,处理订单消息:com.biao.mall.business.service.DLXMsgConsumer

Dubbo学习系列之八(分布式事务之MQ方案)
 

再定义一个订单取消逻辑:

com.biao.mall.business.impl.DubboOrderServiceImpl中的cancelOrder(String orderId)方法:

在这里判断订单是否需要取消,已经付款的直接返回。需要取消的然后更新订单状态,更新库存:

Dubbo学习系列之八(分布式事务之MQ方案)
 

6.测试流程:启动Redis-->ZK-->Stock-->Business-->Logistics

模拟一个订单:

Dubbo学习系列之八(分布式事务之MQ方案)
 

数据库会生成一个订单:

Dubbo学习系列之八(分布式事务之MQ方案)
 

队列中会生成一个消息:

Dubbo学习系列之八(分布式事务之MQ方案)
 

一段时间过期后,自动进入DLX处理,DB中可以看到最后订单被取消,置为expired,这个过程中同时也可观察到dubbo_stock表,锁定库存数变化又回退的过程。

Dubbo学习系列之八(分布式事务之MQ方案)
 

7.再来看第一个逻辑实现过程,这个稍微复杂一点:现改变下分析顺序,我们按实际逻辑处理顺序来:

Dubbo学习系列之八(分布式事务之MQ方案)
 

controller前端传入后,进入com.biao.mall.business.impl.DubboOrderServiceImpl这个核心逻辑来处理:

Dubbo学习系列之八(分布式事务之MQ方案)
 

这里使用了线程池,充分利用硬件,保证效率。注意这里必须使用事务型消息生产者:TransactionMQProducer,其绑定了一个事务监听器:TransactionListenerImpl,这个是我认为是事务MQ的核心,监听器可以根据处理事务结果决定下一步处理,可以看到msg/orderId/this作为实参传入,为啥这样设计?有点怪异的感觉。看看传入后的地方或许有答案:com.biao.mall.business.impl.DubboOrderServiceImpl

Dubbo学习系列之八(分布式事务之MQ方案)
 

这里我特意构造了一个用于传参的构造函数,对应上一图的实参,答案就是第一个方法executeLocalTransaction是用于处理本地事务的,即业务逻辑要放这里!而且特别注意,我使用的是orderService中构造一个独立的payOrderTrans方法,其实是上一版本中payOrder方法的切割,然后在这里引入使用,且这里的arg不是对应形参Object arg!!执行正常即返回对应的状态常量。

Dubbo学习系列之八(分布式事务之MQ方案)
 

第二个方法checkLocalTransaction是用于检查本地事务执行的结果,即对第一个方法的跟踪,并提供回调,最终结果返回到DubboOrderServiceImpl中。补充说明下三个状态,事务执行结果就是这三个之一:

Dubbo学习系列之八(分布式事务之MQ方案)
 

UNKNOW 时,程序会自动不断check状态,默认15次(可指定)之后报异常,COMMIT表示执行完成,向下游发送消息,ROLLBACK即回滚,下游无感知;我注释了三种状态的check次数。

Dubbo学习系列之八(分布式事务之MQ方案)
 

7.再回到DubboOrderServiceImpl,其中的transactionMQProducer通过com.biao.mall.common.conf.RocketTransMqProducerConf注入,

注意这里必须使用事务型Producer:

Dubbo学习系列之八(分布式事务之MQ方案)
 

8.同理,消息consumer注入在com.biao.mall.common.conf.RocketMqConsumerConf,注意选择的是Push型消费者,然后加入了一个监听器(里面包含真正的消费业务处理逻辑),最后是设置订阅的主题和标签。

Dubbo学习系列之八(分布式事务之MQ方案)
 

9.再进一步,看这个的消费者监听器实现com.biao.mall.common.component.RocketConsumeMsgListener,这里有个核心方法consumeMessage,处理消息,业务逻辑我暂时做个消息展示,后续再实现,要特别注意这个的幂等处理,因消息可能会重复消费。我亲测,如果开另外一个客户端做消费,就会收到重复消息,分布式多实例下,非广播消息是竞争消费,广播型消息全消费,所以幂等必须要处理!

Dubbo学习系列之八(分布式事务之MQ方案)
 

10.回到DubboOrderServiceImpl中,rocketMQService对象实现,两个方法,一个发消息,一个收消息:

Dubbo学习系列之八(分布式事务之MQ方案)
 

11.为了简化并完备逻辑,我直接在DubboOrderServiceImpl中做消息消费处理。即//扣款 注释下。

12. 测试:启动ZK-->Redis-->Rocket-->stock-->business-->logistics

postman先生成一个未付款订单:

Dubbo学习系列之八(分布式事务之MQ方案)
 

模拟付款:

Dubbo学习系列之八(分布式事务之MQ方案)
 

控制台的输出:rocketMQ接收,并模拟扣款处理:

Dubbo学习系列之八(分布式事务之MQ方案)
 

最后订单数据,paid为1,完成!其他表数据变化就不展示了。

Dubbo学习系列之八(分布式事务之MQ方案)
 

13.代码结构集体照:

Dubbo学习系列之八(分布式事务之MQ方案)
 

14.项目代码地址:其中的day11

https://github.com/xiexiaobiao/dubbo-project.git

项目复盘记:

1.MQ在微服务中相当之重要,所以出场比较多,这里我简要的做了个几款主流MQ的比较,之所以我这里同时使用了Rabbit和Rocket,折腾一把,是为了实际的体会与学习使用之目的,后续文章肯定会加入kafka。

Dubbo学习系列之八(分布式事务之MQ方案)
 

2.Rocket的安装要点:A.下载bin-release.zip版本,B.要配置ROCKETMQ_HOME环境变量  C.如果Windows+JDK11环境,要修改runserver.cmd/runbroker.cmd文件,因JDK兼容性问题,如下命令

Dubbo学习系列之八(分布式事务之MQ方案)
 

会提示xxx命令无法识别,修改时直接去掉-XX xxx即可,详细可参考网络资源 D.Rocket的网页管理工具,需自己打包生成jar,项目是https://github.com/apache/rocketmq-externals.git中的console子项目,具体打包步骤参考官网介绍,很详细,但JDK11时要额外添加依赖包,

Dubbo学习系列之八(分布式事务之MQ方案)
 

3.RocketMQ4.5.2+JDK11在window下目前兼容性很差,官方提供的启动脚本不能正常启动,因启动脚本是根据JDK1.8开发,修改启动脚本,能启动RocketMQ后,console管理工具启动也无法连接RocketMQ,重新安装JDK1.8,一切正常!整了一天未果,但我比较钻尖,就是要使用JDK11,最后只能曲线救国,在linux上安装RocketMQ和console,成功!生成console的jar时,以下警告,可以忽略,我尝试添加netty最新的依赖,可以消除该警告。

Dubbo学习系列之八(分布式事务之MQ方案)
 

开启producer,遇到这个错误:

Dubbo学习系列之八(分布式事务之MQ方案)
 

关闭linux防火墙,或者开相应的端口!linux下安装RocketMQ方法在此不表,稍微复杂,但值得操作。

4.Windows下启动Rocket遇到的错误示例(JDK11):

Dubbo学习系列之八(分布式事务之MQ方案)
 

Windows下启动Rocket正常的状态(JDK1.8):

Dubbo学习系列之八(分布式事务之MQ方案)
 

linux下正常启动(JDK11),也要修改启动脚本,参考我的另一篇:

linux下JDK11和RocketMQ安装,启动命令及成功结果如下:

Dubbo学习系列之八(分布式事务之MQ方案)
 
Dubbo学习系列之八(分布式事务之MQ方案)
 

5.linux下安装RocketMQ,详细见我的另一篇:linux下JDK11和RocketMQ安装

6.编程就是“思考十分钟,编写一分钟”,很多设计思维很重要,比如此项目中的“过期订单取消线”,如果看官说,没付款且过期的消息才进入DLX,这个回答就是错误的!因为queue无法跳跃式pop消息。再比如,MQ事务中各业务逻辑的位置是有约定的,就要做转换设计,业务逻辑如何切割整合,各方的调用等。

往期文章导航:

Dubbo学习系列之七(分布式订单ID方案)

Dubbo学习系列之六(微服务架构实战)

Dubbo学习系列之五(MQ实现微服务间通信)

Dubbo学习系列之四(MybaitsPlus+Druid使用)

Dubbo学习系列之三(Gradle打包可运行jar)

Dubbo学习系列之二(Nacos做配置中心)

Dubbo学习系列之一(消费者生产者模式搭建)

欢迎关注我的 公众号,各种技术分析使用实战:

Dubbo学习系列之八(分布式事务之MQ方案)

上一篇:system函数


下一篇:fork() 系统调用的过程