一.真实失真图像的盲评是一大挑战,当前方法大多是关于合成数据集的,泛化能力差,因此本文提出一种自适应的超网络结构对真实的图像进行评价。图像质量评价算法在真实数据集上遇到如下三个挑战:1受限于真值图的获取;2真实数据集失真类型过多;3.真实数据集包含过多的图片内容。采用最初设计用于学习如何识别对象的网络体系结构来完成IQA的任务,存在两个缺点:第一,真实数据集失真大都存在于局部失真,而当前的深度模型大都学习的是全局失真,以至于模型预测的质量分数与人眼不一致。第二,没有在识别图片内容的基础上预测图片质量。基于上述两个挑战论文提出 local distortion aware module to extract local features以及一个超网络结构用于为质量预测网络根据不同的图片内容动态产生权重。
二.提出的模型简析
传统的基于深度学习的图像质量预测模型可简单表示为:
ϕ(x, θ) = q
x代表图像的输入, θ代表权重
论文中提出的模型为:
ϕ(x, θx) = q
其中θx根据输入图像内容的变化而变化。
θx = H(S(x), γ)
H为超网络映射函数,S(x)代表输入图像的语义特征,γ为参数,超网络的功能是学习从图像内容到如何判断图像质量规则的映射,整体表示为:
ϕ(vx, H(S(x), γ)) = q
其中vx = Sms(x)。
三.论文提出的模型架构
网络整体可分为三部分:语义特征提取网络,学习感知规则的超网络、质量预测目标网络
1.语义特征提取网络
语义特征提取网络以ResNet50作为骨干网络,将特征提取网络的最后两层(平均池化层、全连接层)移除,在卷积层 conv2 10, conv3 12, conv4 18提取特征,输入局部失真感知模型,输出多尺度内容向量vx
局部特征感知网络
2.学习感知规则的超网络
超网络由三个1×1卷积层和几个生成权重的分支组成。
3.质量预测目标网络
我们的目标网络由四个完全连接的层组成,它接收多尺度内容特征向量作为输入,并通过权重确定的层传播以获得最终的质量分数。 在目标网络中,我们选择sigmoid函数作为激活函数。
四.试验
根据PLCC,SRCC指标在LIVEC, BID and KonIQ-
10k数据集上与其他方法进行比较,明显优于其他方法。
论文提出的方法无论在合成数据集上还是在真实数据集上都表现出良好的性能,泛化能力好。