JVET-W0132

在本提案中，报告了使用不同网络组件测试基于 NN 的超分辨率后置滤波器的性能的结果。

当缩放因子不是 2 的幂或不是整数时，使用复杂卷积进行放大的基于 NN 的超分辨率后置滤波器往往会增加参数的数量。由于参数数量的增加导致编码效率的降低，因此需要一种使用更少的参数以更高的比例因子的*度进行放大的方法。

本实验中使用的超分辨率 1.5x 后置滤波器基于简化的 ESRGAN ，如下图所示。损失函数是 L1 范数，部分 BVI-DVC 测试集 [2] 用作 训练序列。 训练的补丁大小和批量大小分别为 96（对于 HR）和 32。 训练迭代次数为 100,000。

 我们将上图所示网络中 Upsample 层的性能与下图 所示配置进行了比较。

• Configuration A: 2x, PixelShuffle，parameters: 483597
• Configuration B: 2x, Bicubic interpolation(2.0x)，parameters: 335884
• Configuration C: 1.5x, PixelShuffle + Bicubic interpolation(0.75x)，Parameters: 483597
• Configuration D: 1.5x, Bicubic interpolation(1.5x)，Parameters: 335884

 

在BD-rate(Y)中，PixelShuffle和插值之间的差异在+/- 0.3%的范围内。

下表显示了每个基于 NN 的过滤器的运行时间的比较。 在 2.0x 的情况下，配置 B 需要比传统方法多 26% 的时间，而配置 D 比 C 需要的时间少 24%。对于使用插值的方法，运行时间在 2.0x 和 1.5x 之间的变化更小。