不用异步队列实现异步处理较大数量级导入的开发记录20190612140700

能站别躺,为什么?因为能减肥呀。一样的,能异步别同步,毕竟对于性能、响应都是好的。最近在做基于老系统拓展批量导入的功能,与老系统的交互就用DUBBO RPC了,不接MQ了。
如果是走RPC同步业务处理接口,就不能简单粗暴地直接:
不用异步队列实现异步处理较大数量级导入的开发记录20190612140700
从上面的交互可以看出,如果这样实现,数据量一大的话肯定各种问题:
1.数据量大的话rpc执行时间长,有可能HTTP请求会超时;
2.中间各个网络节点IO流压力大;
3.文件处理有可能内存溢出;
4.发生运行时异常概率非常高,分布式事务导致结果不一致:RPC那边已经提交了,但是调用方后面发生异常导致两边不一致;
5.客户端响应久,交互差...
那这样肯定要用异步了,不走异步队列的话,用定时任务把。处理数据冗余在数据库,定时任务定时去拿数据处理,维护处理结果:
不用异步队列实现异步处理较大数量级导入的开发记录20190612140700
这样执行速度优化了很多,前端响应也快。但是又怕定时器并发问题,虽然是一个服务,但是单个任务执行慢的话怕下一次触发定时任务同步造成脏读,错误并发处理。所以了解了下Spring的定时任务,发现Spring的定时任务默认是单线程的,那这样就不用担心,不然要加锁防止并发了。既然涉及到定时任务的并发控制,顺便记录一下比较简单的设置定时器并发:
一、在定时器上使用@Async注解实现异步任务,并需在启动类配合加上 @EnableAsync才会生效;
二、 手动设置定时任务的线程池大小:不使用@Async注解,新增启动代码配置类:
不用异步队列实现异步处理较大数量级导入的开发记录20190612140700
好了,简单做一下记录,虽然初级但是至少培养记录总结的习惯吧。

上一篇:CSS中使用background:url(地址)显示,但是background-image:url(地址)不显示的原因


下一篇:医院:“在线问诊”--不用跑医院就可以得到医生指导了