基于NN的编码:1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)

JVET-W0132

在本提案中,报告了使用不同网络组件测试基于 NN 的超分辨率后置滤波器的性能的结果。

当缩放因子不是 2 的幂或不是整数时,使用复杂卷积进行放大的基于 NN 的超分辨率后置滤波器往往会增加参数的数量。由于参数数量的增加导致编码效率的降低,因此需要一种使用更少的参数以更高的比例因子的*度进行放大的方法。

本实验中使用的超分辨率 1.5x 后置滤波器基于简化的 ESRGAN ,如下图所示。损失函数是 L1 范数,部分 BVI-DVC 测试集 [2] 用作 训练序列。 训练的补丁大小和批量大小分别为 96(对于 HR)和 32。 训练迭代次数为 100,000。

基于NN的编码:1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)

 我们将上图所示网络中 Upsample 层的性能与下图 所示配置进行了比较。

基于NN的编码:1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)

  • Configuration A: 2x, PixelShuffle,parameters: 483597
  • Configuration B: 2x, Bicubic interpolation(2.0x),parameters: 335884
  • Configuration C: 1.5x, PixelShuffle + Bicubic interpolation(0.75x),Parameters: 483597
  • Configuration D: 1.5x, Bicubic interpolation(1.5x),Parameters: 335884

 

基于NN的编码:1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)

在BD-rate(Y)中,PixelShuffle和插值之间的差异在+/- 0.3%的范围内。

下表显示了每个基于 NN 的过滤器的运行时间的比较。 在 2.0x 的情况下,配置 B 需要比传统方法多 26% 的时间,而配置 D 比 C 需要的时间少 24%。对于使用插值的方法,运行时间在 2.0x 和 1.5x 之间的变化更小。

基于NN的编码:1.5x/2.0x Upsample method for NN-Based Super-Resolution Post-Filters(Sharp)

 

 

 

上一篇:SQL注入


下一篇:谈谈基于模型的设计(Model-Based Design)