前言
淘宝在2016年推出直播平台,和娱乐直播性质不同,电商直播的主角多为网红店铺及网红达人,以直播带动产品售卖。在淘宝的双11流量加持之下,淘宝直播平台关注度持续攀升,通常的网红店主一场直播带来的收益不亚于一场大型促销。
直播的观看体验和互动效果,会直接影响到店主的收益,这也是淘宝直播技术小二非常关心的技术指标。在上线之初,淘宝直播采用中心式架构,业务集中部署位于一线城市的云中心。随着业务发展,在线主播量大、地区分布广泛、网络质量参差不齐、链路复杂等情况带来的问题不断涌现。首次推流不成功、推流中断、推流质量不稳定、连麦卡顿与高延时、观看端播放卡顿,是技术小二们亟待解决的问题。
本次双11,淘宝直播基于淘宝技术部基础平台音视频通讯基础团队提供的ARTC解决方案,采用阿里云边缘节点服务(ENS),用中心-边缘-终端的新架构,升级替代了传统中心-终端架构,解决上述问题。淘宝的音视频通讯基础团队与阿里云边缘计算技术团队合作,通过边缘节点收流、合流、构建低延时音视频通信链路,完美地解决由于地域分布广泛、网络质量不稳定带来的体验问题和延时问题。
技术架构及优化
升级后的淘宝直播技术架构如下图所示,其中红色框内的模块部署在边缘节点服务ENS之上。
淘宝直播基于ENS重点优化两个问题:
1. 网络链路
基于ENS提供的全国各地区、运营商以及海外的边缘覆盖能力,在距离主播或粉丝最近的网络边缘,智能接入时延和质量等指标最优的节点。节点中部署的音视频流转发模块,快速并稳定地接收主播的推流或者粉丝连麦的数据流,同时基于对覆盖节点间实时网络质量的评估,寻找最优网络链路,转发到直播中心进行处理。
这样的网络链路方案能够有效避免不可预知的网络抖动及网络拥塞,并且具备足够的动态能力,大大提升主播推流的稳定性,降低网络延时,尤其对主播和粉丝连麦的体验有非常好的保障。目前淘宝直播已经在全端、全场景覆盖了基于边缘计算ENS服务的新架构,包括海外的部署和覆盖能力,为全球淘宝用户提供更高质量的直播服务。
2. 业务逻辑边缘下沉
淘宝直播还将部分适合在边缘处理的业务逻辑进行了改造和下沉,来获得更好的性价比。
比如将不同主播或粉丝的流推到某个边缘核心节点后,由该节点内的合成推流模块进行多流的合并、打包转发等处理,形成音视频流的多级聚合架构,有效提升了资源利用率,减轻了单点压力,在带宽等成本节省方面也有很好的效果。
把部分中心模块下沉到边缘,是技术架构上的重要演进,是中心架构到分布式架构的变化,能够获得分布式系统的诸多优势,比如提升系统对业务容量的支撑,具备更灵活的弹性能力,加强系统的可用性及可扩展性等。当然分布式架构方案的复杂度也会提升,这对业务团队的开发和运维能力都提出了很高的要求,ENS在DevOps层面也具备了非常丰富的PaaS形态服务能力及配套运维体系,能方便地支撑业务方快速构建边缘业务架构。
业务指标优化
1. 直播卡顿率降低40-60%,端到端的音频时延50ms以内
采用边缘节点可明显降低业务方端到接入点的时延,平均可优化50ms,带来的优势是对于网络丢包可以做快速补偿。线上数据表明,采用边缘节点后直播卡顿率国内降低40%,海外降低60%。
音视频通话和视频会议是去中心化应用,通过边缘节点可实现调度的局部收敛。例如天猫精灵的音视频通话的使用者都是亲朋好友,他们大多在同一个城市,这时所有的数据分发都收敛在一个城市内部节点。相比中心化的调度方式,这种调度可将端到端的音频时延最低压制50ms以内。
2. 弹性扩容,1分钟完成资源创建
依托ENS在全国各地区和运营商的完整覆盖,以及节点丰富的计算和带宽资源能力,能够支撑大型赛事或活动的直播的资源弹性需求。ENS具备应用和镜像下发能力,资源创建可以在1分钟左右完成,极大提升资源扩缩容的效率。
3. 零运维,降低管理成本
ENS将一些自建设施的问题封装到底层,业务方不可见也不需关心,使业务启动或扩容的资金大大减少,也省去很大的管理成本。
边缘节点服务场景延伸
除淘宝直播外,阿里云ENS还支持了众多的互动直播、在线教育、SD-WAN等行业客户,这些客户有着全网覆盖类场景的共性特点:用户量大、分布广泛、数据量大、体验要求高。他们或是从发展初期就采用边缘·中心架构,或是随业务发展要变更为边缘·中心架构。以某在线教育巨头为例,从2013年开始采用边缘·中心架构,到2018年在全球范围内运行业务的边缘节点已经数以百计。
边缘计算与物流管理、仓储监控、无人售卖管理、电商直播、智能推荐等众多新零售相关场景的深度融合应用,能够助力客户获得技术、体验、成本优势,赢得竞争。
随着双11用户场景的不断升级,需求和业务逻辑越来越复杂,而购物体验的要求却越来越高,对产品技术提出更极致的要求。边缘计算技术作为中心云的能力拓展,将与中心协同支撑更复杂的业务架构。可预见在未来十年,在新零售的大背景下,企业以互联网、物联网、人工智能、边缘计算等众多先进技术手段,将对商品的生产、流通与销售过程进行全面升级、融合与重塑。