本文介绍了一种用多卷积层深度神经网络对图像进行超分辨的方法,也是与SRCNN进行了比较。
本文认为SRCNN主要有三点限制:
①SRCNN依赖的是图像中临近的小范围区域,因此对于图像中细节的恢复质量不够好;
②与前一篇FSRCNN中提到的相同,SRCNN训练的收敛速度很慢;
③SRCNN只能够实现对单一倍数的图像进行超分辨操作。
而针对这些限制,本文提出了VD(Very Deep)SR方法使得超分辨质量更高,收敛速度更快,并且可以用于多倍数图像的超分辨。
VDSR的网络层数有20层,与想象中不同的是,如此深的网络结构并没有使得计算的时间变得很高,反而因为使用的自适应梯度裁剪方法变得更加高效。VDSR的网络结构如图所示:
其中所应用到的原理是:高分辨的图像能够被分解为低频的信息和高频的信息。其中低频信息对应的是低分辨的图像,而高频信息对应的则是残差图像或是图像细节。基于这个原理,网络对输入图像的残差进行学习,将学习到的残差信息再与输入图像结合,就得到了最终的高分辨图像。
在整个网络中,有四个主要的特点需要注意:
1、这个深度的神经网络具有很大的感受野(receptive field),在本文中为(2D+1)*(2D+1),因此图像中的更多细节能够被采出用于建构超分辨图像;
2、残差学习(residual learning)以及自适应梯度裁剪(adjustable gradient clipping)使得网络能够快速收敛;
3、由于卷积层会使得输出的图像比上一层输入的图像更小,而在VDSR实现的过程中,输入图像是源图像先经过插值到所需的大小得到的,因此为了使得输出与输入图像大小一致,在每个卷积层之前都要进行补零操作,这样才能使得所有的特征映射的大小能够保持不变;
4、VDSR 将不同放大倍数的图像收集在一起进行训练,因此训练模型适用于不同倍数的超分辨问题,且表现良好。
总的来说,VDSR应用了更深层的卷积神经网络,特别的采用了残差学习和自适应梯度裁剪方法,使得神经网络的收敛速度显著增加。同时,由于网络层数的增加和感受野的增大,生成的超分辨图像的质量和细节都更加优越。此外,VDSR能适应不同放大倍数的图像超分辨操作。