选自《不一样的技术创新——阿里巴巴2016双11背后的技术》,全书目录:https://yq.aliyun.com/articles/68637
本文作者:蔡华
前言
在今年的双11中,双11天猫狂欢夜的直播成为一大亮点。
根据官方披露数据,直播总观看人数超4257万,同时观看人数峰值达529万,在云端实现了高计算复杂度的H.265实时转码和窄带高清技术。其实不光是双11,直播已经成为了2016年互联网最火爆的话题。除了内容的大规模涌现,背后其实是计算、存储、带宽的升级和成本的下降。而ApsaraVideo的出现,让直播的技术门槛更是迅速下降,可以使企业快速的上线自己的视频业务。
笔者作为参与双11视频云的工程师,希望通过本文和大家分享阿里云的ApsaraVideo如何为双11这个场景快速创建这种大规模直播场景的经验。
在传统的视频业务中,我们通常要面临这些技术痛点:
- 一般需要部署上传服务、缓存服务、存储服务器、视频编转码服务、调度服务。
- 硬件需要准备IDC机房、CDN节点等一系列的硬件和设施。
- 对于初创团队或者个人来讲,很难逾越这种技术和硬件设置带来的障碍。而最大的坑是耗时耗力,而且很难获得弹性。
在双11中,我们用阿里云ApsaraVideo获得了这些优势:
- 快速上线:基于阿里云视频服务提供的客户端SDK和服务端openAPI,用户可以最快几天内上线一个大规模的视频业务。
- 技术成熟稳定:基于阿里云视频服务多年的技术积累和沉淀,可以输出高质量视频编解码服务和稳定可靠的CDN分发服务。
- 节省:ApsaraVideo服务秉承了云计算的特点,是按使用量付费的,比传统的自建IDC和构建CDN网络节省大量的人力和物力。
那么,如何用阿里ApsaraVideo搭建出视频服务?通常来讲,一个视频业务会分成3个重要的部分,我们以直播业务为例说明一下:第一,客户端上的功能,包括直播视频的采集、编码、视频流网络推送和播放,还可能会包括美颜、弹幕、连麦互动等高级功能。第二,业务服务端的功能,包括转码、截图、水印、直播间管理、直播流状态显示、直播的录制转点播、内容审核、BOSS系统等。第三,CDN网络部分,包括直播域名管理、域名加速、带宽流量扩展资源监控等等功能。
而阿里云视频服务在这3个部分,分别提供了客户端SDK,不但包含上述直播业务端上所需的功能,还做了很多的弱网环境的推流优化和首屏秒开等功能。直播openAPI,提供了开放的API接口,可以用来控制转码、截图、水印、管理直播间、观察直播流状态、配置直播录制等功能。对CDN网络的管理,提供了增删直播域名、分发加速配置和优化、带宽流量监控等功能。
所以用户可以使用阿里云视频服务提供的SDK和openAPI快速方便地搭建自己的业务。
图1. 阿里云直播端到端的解决方案
今年阿里巴巴组织的双11晚会,集结了大量的本年度当红明星加入,而且本次晚会在手机淘宝客户端、天猫客户端、优酷土豆客户端这三个有巨大活跃用户的流量入口进行直播。其背后所要承担的视频直播并发量可想而知。
在本次晚会直播中,我们采用了如下直播优化方案:
- 直播推流端使用H.264码流推直播流到云端, 服务端转码服务把H.264转成H.265。
- 然后经过CDN分发到各业务方,客户端播放器需要根据一定的标记来支持H.265播放。
- 在视频云服务端对标准协议进行了扩展,来支持区分H.264码流还是H.265码流。
- 增强了服务端转码服务模块来支持对H.265的实时转码。
- 在网络线路以及直播中心都采用了各自的主备方案以及应急措施来保证晚会在各种突发状况下都可以顺利的直播。这个直播据实际演练的测算,在不降低清晰度的情况下。可以节省大概30%的带宽成本。
- 提供内容的甄别的全套解决方案:直播云端服务除了标配直播必须的转码、录制、截图功能外,还增加了智能鉴黄、人脸识别、语音识别等人工智能相关的功能。
- 随时动态扩展所需要的带宽资源,并且如果带宽峰值变化太大,还可以借助于阿里云在视频领域多年积累的经验,进行系统动态优化。
双11晚会的直播优化方案只是阿里云直播服务在这一年多以来做过上百场直播优化方案中的一个,随着直播在今年的爆发,我们的客户随时都会面临流量高峰的来临,使用直播云服务除了计算、存储、带宽资源可以动态扩展之外,阿里云资深的直播云架构师也在每天帮助我们的客户优化直播系统的架构,以系统化的能力帮助客户度过一个又一个直播流量的高峰。
作为视频云服务,除了接入方便、对网络的压力可以从容的处理以外,对视频编解码的深入研究更是ApsaraVideo产品的核心技术,阿里云的视频技术专家在码率更小、视频更清晰的方向上已经进行了数年的研究和积累。
我们对观影体验一直以来都有着执着的追求,独家推出画质重生服务,集成了阿里巴巴与各大高校、研究所在视频领域多年合作的研究成果,让使用阿里云客户的视频观感得到质的飞越。经过画质重生处理,数十年前的怀旧老片也能提供高清画质播放,常规摄像机拍摄的30帧/秒视频影像也能提供60帧/秒的极致平滑观感,多次压缩造成的马赛克、移动拍摄造成的画面抖动,都可以被去除或缓解,大大改善观影体验。以下是我们推出的广电级的视频处理产品:
1. 高帧率视频重制
目前人们观看的大部分影视节目每秒都会刷新24-30帧画面,这样的帧率能够满足基本的观影需要,但在快速运动的场景中,30帧/秒的影片播放起来存在可感知的顿挫感。随着视频行业的主流分辨率越来越高,普通帧率视频在播放时的顿挫感也越来越明显。在现下流行的4K电视上,60帧/秒的刷新率已经成为了观影的基本需求。然而,受限于拍摄设备的性能,除了少量大制作的影片(例如《霍比特人》)采用了48-60帧/秒的拍摄技术,大部分影视节目源的帧率依然在30帧/秒以下,难以满足超高清视频观看的需求。因此,阿里云推出高帧率视频重制服务,无论是用户节目库里存放多年的经典剧集,还是最新拍摄的节目内容,任何普通帧率的片源都可以经过插帧算法,被重制为60帧/秒甚至120帧/秒的高帧率视频。借助这项服务,任何视频服务商都有能力提供极致平滑的高帧率视频观看体验。
2. 2K转4K重制
眼下,4K电视机已经逐渐成为家用电视的主流,4K大屏内容确实能够在视觉感官上给观众带来巨大的冲击。然而由于目前片源的匮乏,购买4K电视机的观众更多的还是在观看1080p及以下的视频内容。因此业内兴起了2K转4K服务,利用视频处理算法来将1080p影片重制为4K版本。目前大部分2K转4K的功能都主要依赖经典的超分辨率算法,因此市面上的伪4K片源的效果都大同小异,带有明显的人工制作痕迹——例如油画效果等等。阿里云推出的2K转4K重制服务,除了引入学术界最新的超分辨率算法外,还借鉴了阿里云在视频质量评估上的研究成果,经过影视行业的多年打磨,重制效果在业界首屈一指。
3. 片源修复
今天1080p、4K清晰度的影片已经逐渐成为主流,但很多怀旧老片虽然仍有庞大的受众群,但由于分辨率低、介质老化等因素,画质模糊且充满噪声。另一方面,即使是近年来的UGC内容,由于在互联网平台上过度压缩,含有大量的马赛克和毛刺,让观众难以接受。因此,阿里云针对这类受损片源推出了画质修复服务,通过深度学习网络,去除马赛克和噪声,恢复出抹掉的线条,让互联网上的低清片源重获收藏价值,让怀旧老片焕发新的生命力。
ApsaraVideo产品完全秉承了云计算产品的所有特点,“按量付费”“共享经济”等,使视频这种表达方式不再只是影视行业的专属,使用视频云服务,普通的企业和个人也可以很容易拥有视频这种更直观的表达方式。