DCC2020:VVC帧间预测中的几何划分

 

本文来自DCC2020论文《Advanced Geometric-based Inter Prediction for Versatile Video Coding

DCC2020:VVC帧间预测中的几何划分

几何划分相较于三角划分,能更好的贴合物体轮廓。

相关工作

VVC中的三角划分TPM

三角划分TPM是VVC帧间预测工具,通过主对角线或副对角线将块划分为两个三角区域,每个区域使用单向帧间预测分别只需要一个运动矢量,MV是需要传输其在merge list里的索引。两个MV都是通过运动补偿得到,会产生两个w x h的中间预测块Pi,最终的预测块P_B通过将两个块加权得到。

DCC2020:VVC帧间预测中的几何划分

其中W0+W1=8,且都是整数权重。权重由像素值到分割线的曼哈顿距离决定,例如W0=clip(0,8, w_TMP0+4)。w_TMP0是距离,对于左上角到右下角的三角划分,距离可由下式求得,

DCC2020:VVC帧间预测中的几何划分

a,b是常数因子,由块的宽高比决定。

AV1这的楔形预测

AV1定义了16种楔形划分方式,楔形要么是水平垂直,要么是±2,±0.5(取决于形状)。和TPM类似,最终也需要对两个预测块进行加权。

基于几何划分的帧间预测GIP

GIP(Geometric-based Inter Prediction)是对TPM的补充,它可以更好的适应物体的形状,它们的MV的merge方法和编码方法也都相同。GIP共支持82种划分,只支持不小于8x8的块。编码端需要决定块使用的GIP索引Si∈{0...81},并通过截断二元编码传到解码端。GIP定义的边界能更好的贴合物体轮廓,从而提高编码效率。

DCC2020:VVC帧间预测中的几何划分

分割边界定义

分割边界在极坐标系中定义,需要两个参数角度ϕ和偏移值ρ 确定。像素(x_c,y_c)到边界的距离由下式计算(坐标原点为块中心),

DCC2020:VVC帧间预测中的几何划分

注:我推导的距离公式和论文中给出的不一致,通过查阅作者在TSCVT2020中的文章《Geometric Partitioning Mode in Versatile Video Coding: Algorithm Review and Analysis》找到对应公式,TCSVT中的公式和我推导一致,公式如下:

DCC2020:VVC帧间预测中的几何划分

其中ϕ和ρ是定义分割边界的参数,定义如下:

DCC2020:VVC帧间预测中的几何划分

边界参数量化

边界参数ϕ和ρ需要量化处理,从而使82种划分方式能对空间进行均匀划分。

参数ϕ需要量化到预定义的ϕj,j∈{0...23}。ϕj对2π进行不均匀划分使得tan(ϕj)保持固定,tan(ϕj) {0, ±1/4, ±1/2, ±1, ±2, ±4, ∞}。

 

参数ρ需要量化到预定义的ρk,k∈{0...3}。为了避免对于不同尺寸块的分界线分布不均匀,ρk按下面方式求得,

DCC2020:VVC帧间预测中的几何划分

其中j<12时ρx,k 和ρy,k取负值,否则取正值。

DCC2020:VVC帧间预测中的几何划分

上图是GIP部分划分方式。GIP总共有NGIP = NϕNρ−Nϕ/2−2 = 82种划分方式,Nϕ=24,Nρ=4,其中对称的水平和垂直划分由于和二叉树划分结果一样所以去掉了。

GIP加权

对于几何划分后的两个预测块要进行加权生成最终预测块,权重和像素到分割边界的距离有关。

DCC2020:VVC帧间预测中的几何划分

其中f_B函数如下图所示,

DCC2020:VVC帧间预测中的几何划分

下面是一个加权示例,

DCC2020:VVC帧间预测中的几何划分

实验结果

下表分别是RA和LD配置下的实验结果,

DCC2020:VVC帧间预测中的几何划分

DCC2020:VVC帧间预测中的几何划分

下图是RA配置下不同QP下使用TPM和GIP的像素的百分比。

DCC2020:VVC帧间预测中的几何划分

DCC2020:VVC帧间预测中的几何划分

感兴趣的请关注微信公众号Video Coding

DCC2020:VVC帧间预测中的几何划分

上一篇:Win11要的TPM 2.0不一定是独立芯片,你的CPU固件可能已经支持 || 杨澜对话尹志尧:美国顶尖半导体专家华人很多,国内却奇缺


下一篇:jtpm1是什么接口