挑战
2018 年 11 月12 日零点 , 天猫双 11 大屏显示全球狂欢节全天成交额 2135 亿元, 再创纪录新高 , 同时物流订单量 也超过 10 亿。每年的双 11 于阿里而言都是一次数据大考,天猫双 11 大屏更是万众瞩目,全球大数据泄洪般涌 入,对数据处理系统提出了极高的要求:低延迟,GMV 首屏显数控制 5s 以内;高并发,实时日志处理峰值每秒 17 亿条(约合每秒 1.7 TB);高稳定,全球直播,不能间断。阿里云实时计算面临着各项性能极高要求的巨大挑 战,在这种场景下阿里云实时计算迎难而上,给出了完美的答卷。
解决方案
2018 年的天猫双 11 大屏在实时数据处理上完全采用了实时计算作为计算引擎。首先,双 11 场景数据来源多样 化,例如:TT,SLS 等,实时计算支持多方输入与输出并支持多条数据流的对接,能够方便快捷地连接计算场 景。其次,实时计算作为批流统一的大数据计算引擎,既能支持流计算也能支持批计算;实时计算的批计算能力 能帮助业务大幅减少数据的 IO,提高计算速度与效率。再次,在准确性上,实时计算的 Exactly-once 特性与背 压策略保证了数据的计算速度,保证数据不重复不丢失;同时在稳定性上,实时计算的监控以及 Failover 加快照 点机制保障,失败数据必须全部从快照点处重新计算,保障了数据的准确性。最后,实时计算还支持历史数据回 刷保障了数据容灾,利用数据回刷能力进行大量压测验证保存 30 天的订单数据能够在 10 分钟内全部计算完 成。
业务优势
2018 年双 11,阿里巴巴集团数十个 BU 都采用实时计算解决其流计算、实时数据分析与统计等问题。实时计算 的强大 Flink SQL 使双 11 各项业务整体性能提升 1 倍多,大约节省几千台机器成本。实时计算对天猫双 11 海量 成交数据的实时分析不仅成功应用在大屏展示中,还为商家实时查看后台数据提供支持,确保了双 11 大屏展示 各项奇迹的同时也为商家,小二提供包括成交,会员,种草,好友,消息等多种业务实时数据,并能够根据业务 场景设立实时的排行,促进线下场景中导购的积极度,为双 11 的实时交易额创造新的增量。
客户评价
实时计算在数据处理上,依靠增量模型,微批处理,分布式计算,性能优化等从上到下减少了计算数据,提升 了计算能力也保证了秒级数据实时算力。在准确性上,实时计算依靠增量模型,状态管理,容灾恢复,强大的 调试工具保证了数据计算的准确性。在稳定上,实时计算通过增量模型,热点解决,背压调整,容灾恢复,各 种性能优化保证天猫双 11 大屏数据链路的稳定性,完美应对了天猫双 11 大屏的各项挑战。
实时计算 Flink 版产品交流群阿里云实时计算Flink - 解决方案:
https://developer.aliyun.com/article/765097
阿里云实时计算Flink - 场景案例:
https://ververica.cn/corporate-practice
阿里云实时计算Flink - 产品详情页:
https://www.aliyun.com/product/bigdata/product/sc