阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

在本月的重庆云栖大会飞天技术汇专场中,阿里云高级算法专家黄海宇分享了题为《超大规模直播码率控制》的议题,从生产的链路角度来说世界杯怎么让观众看到更加清晰的视频。

阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

这一次的世界杯,与以往世界杯最大的区别在于,有很多互联网用户观看直播,而不是在电视上。在互联网观看直播,互联网的网络条件不一样,观众会看不同码率的视频。所以主要分享下阿里云在直播中怎么做码率控制。

分享分三个部分,首先讨论一下为什么要关注码率控制、其次是宏观上怎么做码率控制,最后是介绍下微观上怎么做码率控制。

为什么我们要关注码率控制

我们先看一下个直播的一个简单的过程。
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

世界杯通常会拿到一个非常高清的直播源,它的码率非常大,不太适合在互联网上直接传输。所以整条链路中会有一个视频内容的再生产的过程,这个再生产的过程最重要的就是视频的转码,将这个转成不同分辨率的几个档位。比如说我们看视频有流畅的、标清、高清、超清的视频,这些都是为了让不同网络的用户可以流畅的观看视频。在进行转码以后,视频流会经过CDN放大,很多用户会进行观看。

其中,码率控制是发生在转码这个环节,就是把高清视频进行解码再进行重新编码,视频的转码是一个有损的压缩的过程,把原来的视频进行处理,将里面的细节进行忽略,这样能够以一个更低的带宽去满足用户播放流畅的需求。

码率控制有什么影响

阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

第一,码率控制对清晰度有影响。我们通常的概念是清晰度越高码率越高,要求用户的下行的带宽更高。

第二,码率控制影响用户流畅度的影响,用户播放的网络各不相同,当用户的带宽大于视频码率时,才够流畅播放。

第三,码率控制的影响是成本的影响,在整个世界杯直播的过程中,最大的费用在CDN带宽上,CDN的总带宽消耗为不同的码率以及这种码率并发在线人数的乘积之和。

所以我们的问题是用户的网络是有限的,我们如何在有限的网络下最好的控制码率,提供给用户最清晰的视频。

宏观码率控制

下图是一个在世界杯期间直播的例子,左边是另外一个直播平台做的一个视频直播,右边是优酷上面的。可以清楚的看到左边的视频在抢角球的场景是很模糊的,而右边的视频是看起来比较光滑和细腻的,这两个视频是相同的码率,左边是1080P的2.5M,右边是720P的2.5M,但是为什么会出现这样的场景?
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

我们先看一下整个视频编码的过程是怎么样的:

下图上面这条线是一个1080P的视频转成1080P的视频进行播放的一个流程,首先是解码,这一步是不会有视频清晰度的损失的;然后是视频的编码,比如说一个视频25帧,需要把这25帧的图像编码成3M的1080P的图像,在这个过程中,为了保证输出码率为3M,有大量的细节损失;第三步是这个视频经过了CDN网络的传输到达用户的播放器,用户会进行解码播放,这一步是没有信息的损失。最后一步是播放器的渲染,这一步也没有信息损失。
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

我们再来看720P转码,经过1080P的视频解码,下采样到720P,720P编码,传输,解码,最后在播放器端进行上采样,重新编成1080P以及渲染的过程。这个过程中有两次的视频清晰度的损失,第一次是发生在上采样以及下采样的过程中,这个信息实际上是一个固定的损失,它和我们的采样算法有关系;第二是在720P的图像编码成3M的视频中发生的。为什么1080P不如720P清晰,是因为在720P编码中,我们可以把720P的每一个象素都描述得非常清晰,这部分的信息损失加上采样的信息损失只和小于1080P编码时的信息损失。

所以总结一下我们需要控制码率。码率控制的目的就是在一定的带宽条件下,需要使每一个比特都能够发挥它的作用,把它分配到最需要他的地方,从而提升用户的观看体验。

说到把每一个比特分配到最需要它的地方,通常会有很多方式,在整个编码过程中什么地方有信息的损失,就可以在哪里做。比如:
第一是在分辨率做文章,对给定的码率,可以选择不同的分辨率进行调整。
第二是在帧率做文章,对给定的码率,可以选择不同的帧率。
第三是在视频中码率在不同的帧间进行码率分配,对于复杂的场景,分配更多码率,对于简单的场景,分配较少的码率。
第四是在帧内进行码率分配,在一帧之内,根据图像的复杂程度和人眼敏感程度进行码率分配。
在世界杯实现的场景中,要考虑到播放器的兼容性,使用的是分辨率、帧间码率,帧内码率的优化手段。

宏观码率控制——分辨率

首先看一下在宏观的码率选择上,如何去根据码率选择一个最佳的分辨率。
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

这是一个对世界杯的视频做的试验,采用不同的分辨率来进行编码,相同的码率进行编码。上图可以看到信息的损失量,我们可以在相同的码率下,随着我们的分辨率的增高,实际上视频的清晰度逐渐升高。到了一个最高点以后,反而会由于视频的分辨率的增加,它的清晰度会降低。这也验证了之前我们看到例子。

所以根据这样一条曲线可以得到分辨率和码率的模型,对于任何一个分辨率可以找到一个最佳的码率。在实际上世界杯的这个场景中,我们把视频分成了很多码率,在给定的任意一个码率上我们都能找到相应的分辨率。

如果关注过阿里云的直播,会看到转码的建议上会给出很多不常见的分辨率,比如说432P、648P这样的分辨率,这些分辨率通常能在相应档位的码率上得到很好的清晰度。

微观码率控制——帧间码率

说到微观上的码率控制的时候,第一件事情就是如何将码率在很多帧间进行分配。

阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

上图给出了多种码率分配的算法,第一个算法是传统的CBR,就是说不管视频的变化是怎么样,统一采用相同的码率对视频进行编码,尽量做到每一秒的码率是相同的。CBR是途中的红线,我们可以看到实际上视频清晰度的损失波动非常大,在红线中可以看到高的时候可以非常高,低的时候非常低。在播放的时候肯定不希望能够看到一个清晰度剧烈抖动的视频,这对人眼的观看是极其糟糕的,于是我们尝试用一种叫CQP的方式进行视频编码,这实际是确定了视频编码的量化步长,这个情况下可以得到清晰度相对稳定的视频。但是采用这种编码不是没有代价的,采用CBR时码率比较稳定,但是采用CQP,在画面比较复杂的地方,为了把这个清晰度提高,码率就会非常高,可以看到,在右图中,CQP(绿线)的码率飙到了12mbps,这对普通用户来说显然是不可以接受的。所以最终采用了VBR+VBV的方式。当使用VBR+VBV的控制策略以后,蓝线比红线的码率质量波动会稍微好一点,VBV模型也能保证用户带宽在达到VBV指定最大码率时,视频一定能够流畅播放。

VBR的烦恼

VBR在大规模直播中也会带来一些问题,这张图是在世界杯的开幕式的时候一张CDN的带宽的分布图,横坐标是时间,纵坐标是CDN的带宽。

阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

这个图就可以看到两个非常明显的波动,第一个发生在中场休息,第二个发上在23:00,开幕式结束,比赛正式开始前。第一个波动很好解释,因为中场休息时很多观众离开,中途的精彩进球会回来一部分观众,下半场开始又有很多观众继续观看。在前面的波谷就不太好解释了,通过观察了码率的分布图,我们发现当时码率非常低,实际上,在这段时间正好是普京讲话,这是一个相对静止的画面,由于采用了VBR,码率发生了剧烈的波动,从而引起带宽剧烈波动。

这种波动对通常的直播是没有问题的,不同的用户在看不同的直播,所以码率的峰值叠加起来会趋向于码率的平均值。但是世界杯的场景下,有70%的流量都观看相同的直播内容, CDN的带宽非常高,这使得CDN的带宽随着码率的波动而波动。通常的CDN通常会使用当前的水位来评估一个新进用户应该放在什么CDN节点,或者说根据一些历史的状况估计CDN放在什么节点。在世界杯中,这个问题通过CDN引入新型的调度策略来解决。

帧内码率分配

阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

帧内码率分配考虑的是如何在一帧图像内对码率分配,以得到最好的视觉效果,我们会根据人眼的关注点来调整码率分配。在上图中,人眼关注的重点毫无疑问是梅西的头像,人眼可能会对后面虚化的内容不关注。所以在做转码处理的时候,会优先考虑这个图像的聚焦区在那里,在这些地方提高它的码率。另一方面,人眼对规则的纹理非常敏感,这部分也需要分配更多的码率,而在脱焦区域,我们会适当的减少一些码率。通过上述手段,整个视频的码率没有上升,但人眼的主观感觉会更清晰。

如果对阿里云视频相关产品/技术感兴趣,欢迎钉钉扫码加入视频云技术交流群
阿里视频云黄海宇:解析世界杯超大规模直播场景下的码率控制

上一篇:阿里云建站:企业网站定制/速成美站/响应式功能建站官方购买及优惠详解!


下一篇:报名 | 蚂蚁金服ATEC科技大会 · 上海:数字金融新原力