图像质量评估函数的分类曾是一个比较有争议的话题,在2l世纪以前曾经有过 比较多的讨论。但是随着研究的深入和技术的广泛应用,研究人员对于图像质量 评估函数的分类有了统一的认识,即从实际应用中参考信息供给的角度,将图像质量 评估函数分为以下三种方式:
·全信息评估(full reference)
·盲信息评估(no reference)
· 部分信息评估(reduced reference)
其中全信息评估是指参考图像完全清楚时候,即参考目标信息完全清楚的情况 下,对被测图像进行评估方式;盲信息评估是指在没有可以参考图像信息的时候,对 被测图像进行评估的方式;介于全信息和盲信息之间的评估方式为部分信息评估,是 指假定参考图像只有部分信息(如边缘信息或者某些统计量)知道的时候,对被测图 像进行评估的方式。
应该说这三种图像质量评估方式在现实应用中都有比较明显的背景,全信息评估 可以用在如压缩图像的质量判断的场合,而盲信息和部分信息的评估方式可以在光学 器件的自动调焦环境下充当反馈信息而作用于系统。盲信息评估方法需要的信息量最 少,而全信息评估方法需要的信息量最多,从未来图像质量评估函数发展方向来看盲 信息评估方法将是主要的研究方向,而从可靠性的角度来讲,全信息图像质量评估函数由于占有最多的信息,往往能够达到较高的可靠性。部分信息评估作为一种研究中 的中间体,相信随着研究的深入将越来越向盲信息评估的研究靠近。本文工作也是基 于这种分类之上对全信息质量评估函数和盲信息质量评估函数进行了研究。
1997年,来自多 个国家的图像研究人员组成了图像质量专家工作组(Video Quality Expert Group, VQEG)[2l,221,为图像质量评估函数的测评研究提供了系统支持。他们总结了从1970 年到1995年出现的不同的图像质量评估函数,并对其做出了系统的比较。他们采用 了客观图像质量评估的结果相关于主观评估结果这一理念,并建立了已知主观评价的 图像数据库。基于此,对常用的图像评估方法进行测量和主观预测,然后比较客观图 像质量评估结果的预测准确性。但有趣的是,根据VQEG的结果,当时很多所谓先 进的图像质量评估方法在统计角度上并没有和PSNR存在明显差异。虽然VQEG的 工作并没有直接研究出最优秀的图像质量评估方法,但是他们的工作第一次系统地总 结出了图像质量函数间进行客观的比较方法,并且明确了比较方法的四个要素:具有 主观评估结果的图像数据库、客观评估函数计算值、主观图像质量的客观预测方法、 客观预测的准确性性能指标。VQEG的工作对图像质量评估的研究产生了巨大的影 响,可以认为后续的图像质量评估工作大都是在VQEG的测评标准下进行的,因此 VQEG的工作可以认为是图像质量评估研究中的里程碑。
由于VQEG的杰出工作,图像质量评估函数的优劣有了准确一致的客观标准。 进入2000年以后,图像质量评估研究进入到了较快发展阶段,其中以美国Texas大 学的Bovik研究工作组的工作尤为出色。他们针对VQEG图像数据库数据量少,模 糊种类单一的缺点,构建了Laboratory for Image&Video Engineering(LIVE)图像评估 数据库【23】。在LIVE数据库中,他们全部采用彩色图像作为评估对象,并引入了JPEG2000图像,离焦图像等5种类型。可以认为LIVE数据库是在VQEG之后第一 个专业用于图像质量评估的数据库。同时,他们从信息需求的角度,第一次系统地将 图像质量评估函数分为:全信息评估(full reference),盲信息评估(no reference),部 分信息评估(reduced reference)=种方式。并构造了全局质量指标(universal image quality index,UQI)【24],结构相似度指标(structural similarity image metric,SSIM) 【8,25】,信息逼真度(information fidelity criterion,IFC)[26]和视觉信息逼真度(visual information fidelity,VIF)【27]等一系列全信息图像质量评估方法,以及【29】【30】等盲信 息图像质量评估方法,并在LIVE数据库上进行比较。根据他们的结果[28】,这些方 法在LIVE数据库.卜都有较好的性能,其中全信息方法以视觉信息逼真度最为优异, 盲信息方法以工作【30】较为优秀,成为了Bovik工作组最具有代表性的工作。
除了Bovik工作组之外,美国Oklahoma大学的Damon M.Chandler研究组对图 像质量评估也有较多的贡献。他们在精心研究视觉响应地基础上提出了视觉信噪比 (visual signal noise rate,VSNR)【3l】方法,并对经典的主观视觉响应做出了一定修正。 为了适应实际中人眼对不同质量图像的响应,他们采用双重策略的方法构造出了优势 策略融合(most apparent distortion,MAD)【32]评估方法。同时,在数据库构建上, 他们通过采用不同的参考图像,并加入对比度和有色噪声的评估实验环节,构造出了 Categorical Subjective Image Quality(CSlQ)图像评估数据库[331。根据他们的研究结 果,由于加入了更多主观试验的类型,CSIQ数据库比LIVE数据库更能反映出评估 函数的优劣。更为难能可贵的是,相对于VIF只能在LIVE数据库上具有较好的性能, 他们构造的优势策略融合方法在CSIQ和LIVE数据库.均有较好的性能。
1经典的全信息图像质量评估方法介绍
1空间距离模型
空间距离模型是最早的图像质量评估函数设计模型【2】。这种模型认为图像的质 量是弓参考图像和被测图像之间的直接差异相关的。这类模型通过对参考图像和被测 图像间的对应像素位置差异为基础,通过各种窄间变换或者区域选择,反映出被测图 像和参考图像间的差距。 经典的基于空间距离模型的评估方法有均方根误差评估方法(PuMSE),信噪比 方法(SNR)和峰值信噪比方法(PSNR)。这些方法都是建立在全局范围内(整个图 像)的对应像素差异(直接求差值)基础上的。如果将方法的作用范围限定到图像的 一个个局部区域,并用其它的距离模型替代直接求差的方法,也可以得到用于图像质 量评估的函数,如2006年提出的奇异值图谱法(singular value decomposition graphic metric,SVDGM[4l】),其计算过程就是在局部范围内,对图像矩阵的奇异值距离的 进行计算比较来得到图像质量。
2统计模型
统计方法着重于全局,对信号的描述反映出信号的整体特征,因此应用统计模型 构造新的图像质量评估函数受到了很大关注。常用的作为模型的特征量有:均值 (mean)、相关系数(correlation coefficients)、标准差(standard deviation)、熵(entropy)、斜度(skewness)和峭度(kurtosis)等
而近年来,随着对图像质量的深入理 解,对于统计模型的使用更加注重了时空特性,比如:结构相似度指标(SSIM)【8,24], 小波系数统计量(DWTS)【42】。其中结构相似度指标是建立在空间局部领域内的相 似度的统计方法,小波系数统计量是建立在多尺度(小波)范围内的标准差统计方法。 应该说近年来的图像质量评估函数有一大部分是基于统计模型而建立的。
3视觉信息模型 由于图像质量评估的目的是描述图像中的主观有效信息,而单纯的理论模型是很 难反映出图像中人的主观兴趣区域,因而很自然地想到利用视觉信息对图像质量进行 建模进而进行图像质量评价。而在实际中,研究人员也发现可以有效地利用图像的视 觉信息来构建图像质量评价函数的确能够较为准确的反映出图像的主观质量。实际中 的视觉信息一般分为两类:一种根据图像内容相关的,即来自图像本身,如轮廓(边 缘),颜色等;另一种与图像内容无关,来自生理学和心理学的统计研究,如人的主 观兴趣区频率,视皮层的纹理响应,视神经对彩色图像的信息分离作用,视神经响应 的分段性,视神经响应的方向性等。
常用框架:MDSI RankIQA