传奇国际娱乐注册|龙8国际娱乐网址
《电子技术应用》
您所在的位置:首页 > 嵌入式技术 > 设计应用 > 感知特征互补的图像质量评价
感知特征互补的图像质量评价
2019年电子技术应用第6期
王赛娇1,2
1.台州广播电视大学,浙江 台州318000;2.杭州电子科技大学 计算机学院,浙江 杭州310018
摘要: 针对图像质量客观评价方法在实际应用场景下性能退化的问题,将人眼视觉特性融入图像特征处理的多个?#26041;冢?#25552;出一种融合视觉结构显著和视觉能量显著特征互补的方法。首先,根据人眼特性对图像的灰度能量、对比度能量和梯度结构三层互补特征进行空域-频域联合变换处理;其次,分别提取前述三层视觉特征的多通道信息并进行评价;最后,基于视觉特性和图像失真度将各层视觉特征评价从内层至外层逐步自适应综合。实验表明,本方法具有较高的水平和更好的稳定性,提高了实际应用场景下的评价性能。
中图分类号: TN391.41
文献标识码: A
DOI:10.16157/j.issn.0258-7998.190168
中文引用格式: 王赛娇. 感知特征互补的图像质量评价[J].电子技术应用,2019,45(6):37-40,45.
英文引用格式: Wang Saijiao. Image quality assessment based on complementary of perceptive feature[J]. Application of Electronic Technique,2019,45(6):37-40,45.
Image quality assessment based on complementary of perceptive feature
Wang Saijiao1,2
1.Taizhou Radio & TV University,Taizhou 318000,China; 2.Computer College,Hangzhou Dianzi University,Hangzhou 310018,China
Abstract: Aiming at the performance degradation of objective methods for image quality assessment in practical application scenarios, a visual saliency and complementary features method based on pooling of structure and energy by integrating human visual characteristics into many parts of image feature processing is proposed. Firstly, the three complementary features of image gray energy, contrast energy and gradient structure are processed based on spatial-frequency joint transformation, according to the human eye characteristics. Secondly, multichannel information of the above three layers of visual feature is extracted and assessed, respectively. Finally, the visual feature assessment of each layer is adaptively pooled from the inner layer to the outer layer based on visual characteristics and image distortion. The experiments show that the proposed method holds higher level, better stability, and assessment performance is improved in practical application scenarios.
Key words : image quality assessment;human vision system;visual structure saliency;visual energy saliency

0 引言

    当前,随着数码电子产品和多?#25945;?#32456;端设备的普及,图像信号获得了广泛的应用[1-3],伴随而来的图像质量评价的研究引起了人们的重视[4]。误差或者信噪比等经典方法?#38469;?#22522;于像素失真程度大小来评价图像质量,这些方法虽具有最广泛的应用领域,但?#20174;?#20154;眼主观判断结果存在较大的差距。通过引入人眼视觉机制而提出的结构相似度(Structural Similarity,SSIM)方法则基于局部像素域相似度大小来评价图像质量[5]。近年来,学者们相继提出了一些改进的SSIM评价方法,例如,多尺度结构(Multi Scale Structural,MSS)方法融合了图像的多个尺度评价结果[6],梯度相似度(Gradient Similarity Metric,GSM)方法融合了图像的边缘信息[7],特征相似度(Feature Similarity,FSIM)方法结合了相位信息和边缘信息[8],视觉显著索引(Visual Saliency Index,VSI)方法融合了图像的频率、颜色和局部3种先验视觉特征[9]。此外,基于图像特征和视觉特性的联合处理还提出了一些其他SSIM类方法[10-13]。总结起来,上述SSIM类改进方法虽然取得了一些成果,但仍然存在一些问题,主要体现在:(1)仅仅提高了部?#36136;?#30495;类型图像的评价指标水平,整体?#20808;?#19982;人眼主观判断结果存在一定差距;(2)对于图像不同失真程度的评价结果不稳定性;(3)多特征评价结果的乘积融合算法导致性能的改进效果不明显。上述问题说明针对复杂的实际应用场景,现有方法性能将会出现非常明显的退化。

    针对上述问题,本文提出了一种融合视觉结构显著视觉能量显著(Visual Saliency of Structure and Energy,VSSE)特征互补的评价方法,并通过实验测试了所提方法的评价性能。

1 VSSE方法原理

    VSSE方法原理可用图1描述,包括了视觉特征处理、视觉特征评价和视觉特征评价融合3个阶段,其中,每个阶段都融合了人眼视觉系统(Human Vision System,HVS)的感知处理特性。VSSE方法具体包括以下步骤:(1)利用高斯滤波函数[8-9]对原始图像进行卷积处理,模拟了HVS的瞳孔感光散射特性;(2)利用Log-gabor小波对滤波后的图像进行二维变换,提取图像不同层次的信息特征,模拟了HVS的多通道信息感知特性,并通过对比?#20154;?#23376;[5]和梯?#20154;?#23376;[9]提取每个尺度分辨率下的对比度视图和梯度视图;(3)将HVS的中央凹特性函数T(i,j)和对比度敏感特性函数CSF[f(s,o)]融入恰可识别阈值滤波算法,获取每个尺度下的每层视觉特征稀疏视图,其中,s代表Log-gabor小波的尺度因子,o代表Log-gabor小波的方向因子;(4)基于SSIM评价算法计算失真图像在每个尺度下的每层视觉特征的评价视图;(5)以T(i,j)作为权重,对失真图像的每个尺度下的每层视觉特征的评价视图分别进行融合,获得对应尺度下的对应视觉特征的评价结果?#31181;擔?6)以CSF[f(s,o)]作为权重,对失真图像同一个视觉特征下的多个尺度评价结果?#31181;?#36827;行融合,获得对应视觉特征下的评价结果?#31181;擔?7)基于HVS的视觉自适应特性和图像失真程度,对视觉灰度能量特征评价、视觉对比度能量特征评价和视觉梯度结构评价依次进行融合,最终获得失真图像质量的结果?#31181;怠?/p>

rgzn1-t1.gif

1.1 视觉特征评价原理

    基于SSIM评价算法,分别对失真图像的视觉灰度特征、视觉对比度特征和视觉梯度特征的多尺度通道视图进行评价,原理如下:

rgzn1-gs1.gif

1.2 视觉特征评价融?#26174;?#29702;

1.2.1 尺度内局部中央凹空域加权融合

    鉴于现有参考文献的不足[5,8,14-16],本研究提出视觉特征显著和视觉中央凹空域分辨率两步联合权重,视觉特征显著加权融合算法如下:

rgzn1-gs2-3.gif

1.2.2 尺度间对比度频域加权融合

    基于对比度频域权重的尺度间融合算法如下:

    rgzn1-gs4.gif

式中,J为o的数量,K为s的数量。

1.2.3 基于图像失真度的视觉自适应融合

    基于回归拟合函数将各层视觉特征评价从内至外逐层融合,首先将视觉灰度评价ZL和视觉对比度评价Zσ进行融合,获得视觉能量评价ZE如下:

rgzn1-gs5-6.gif

2 实验分析

2.1 实验方案设置

    本实验方案如图2所示,本实验采用了国际?#20808;?#23041;的LIVE数据库,根据LIVE数据库中不同的图像失真类型,将每帧失真图像的客观评价?#31181;?#36890;过曲线方程进行数据拟合,然后根据主观评价结果(Difference Mean Opinion Score,DMOS)测试所提方法的评价指标水平。

rgzn1-t2.gif

    参照VQEG标准,本实验曲线拟合方程如下:

    rgzn1-gs7.gif

式中,x为客观评价结果?#31181;擔瑈(x)为拟合结果?#31181;擔?sub>1、β2、β3、β4、β5均为根据VQEG标准设置的拟合?#38382;?#27979;试指标采用了VQEG标准建议的RMSE、PLCC和SROCC,其中,RMSE为均方根误差指标,该项数值越大说明对应方法的RMSE指标水平越低,PLCC为主客观评价结果的拟合相关系数,SROCC为主客观评价结果的?#21028;?#30456;关系数,PLCC和SROCC的数值越大说明对应方法的PLCC和SROCC指标水平越高。参照相关参考文献[10-13]对有关?#38382;?#36827;行设置,其中,C=0.000 1,[Q(s,o),P(s,o)]=16×16。

2.2 失真类型的测试结果分析

    表1是各种方法基于5?#36136;?#30495;类型图像的均方根误差RMSE、Spearman秩序相关系数PLCC和Pearson线性相关系数SROCC 3个指标水平的测试结果,参与比较的方法除了引言中介绍的一些方法外还增加了多尺度结构相似度(Multi Scale Structure Similarity,MSSIM)、信息评价(Information Fidelity Criterion,IFC)和视觉信息评价(Visual Information Fidelity,VIF)3个主流方法。实验结果数据说明,针对复杂的实际应用场景,当图像面临不同的干扰因素而表现出不同的失真类型时,现有客观方法的评价性能将会出现非常明显的退化。其中,SSIM方法的3项评价指标水平在JPEG失真类型上退化明显(RMSE=6.749 3,PLCC=0.960 5,SROCC=0.961 0),MSSIM方法的RMSE和PLCC?#36739;?#35780;价指标水平在JPEG2000、JPEG和fastfading 3?#36136;?#30495;类型上均出现明显下降(RMSE=6.010 5,PLCC=0.958 1),IFC方法的RMSE评价指标水平在JPEG2000和JPEG两?#36136;?#30495;类型上出现明显下降(RMSE=6.316 7),VIF方法的3项评价指标水平在gblur失真类型上均出现严重下降(RMSE=8.252 7,PLCC=0.925 2,SROCC=0.900 3),GSM方法的RMSE和PLCC?#36739;?#35780;价指标水平在JPEG、gblur和fastfading 3?#36136;?#30495;类型上均出现明显下降(RMSE=6.844 1,PLCC=0.959 4),FSIM方法的RMSE和PLCC?#36739;?#35780;价指标水平在JPEG2000、JPEG和fastfading 3?#36136;?#30495;类型上均出现明显下降(RMSE=7.122 9,PLCC=0.955 9),VSI方法的RMSE和PLCC?#36739;?#35780;价指标水平在JPEG2000、JPEG、gblur和fastfading 4?#36136;?#30495;类型上均出现明显下降(RMSE=7.059 6,PLCC=0.947 6)。

rgzn1-b1.gif

    相对上述方法的不足,本研究所提VSSE方法的优?#21697;?#24120;明显,针对JPEG2000、JPEG、WN、gblur和fastfading 5种不同的失真类型,VSSE方法的3项评价指标均保?#33267;?#36739;高的水平(RMSE≤6.0,PLCC≥0.962 0,SROCC≥0.960 9)。表1中数据还说明,当图像的失真机理很难明确或者存在较多的综合失真因素时,即针对各?#36136;?#30495;类型的总体ALL评价上,SSIM、MSSIM、VIF、GSM、FSIM和VSI方法的3项评价指标水平均有非常严重的退化(RMSE≥7.276 2,PLCC≤0.949 2,SROCC≤0.960 9),而IFC方法?#27493;?#20165;是对PLCC一个指标水平取得了提高(PLCC=0.964 3),但是RMSE和SROCC两个指标水平仍然不高(RMSE=6.122 1,SROCC=0.949 2)。相对上述方法的不足,本研究所提VSSE方法的3项评价指标水平均取得了明显的优势(RMSE=5.760 1,PLCC=0.968 5,SROCC=0.963 0),其中,RMSE指标水?#36739;?#23545;最优IFC方法提高了6个百分点,PLCC和SROCC?#36739;?#25351;标也分别优于其他的最优方法。综上,针对实际应用场景,其他方法客观评价性能均出?#33267;?#38750;常明显的退化,但是所提VSSE方法却具有较好的性能,评价结果更接近人眼的主观判断。图3是SSIM、MSSIM、VSI、FSIM、IFC、VIF、GSM?#36864;?#25552;VSSE方法的主、客观评价结果散点分布图,对?#20154;?#26126;所提VSSE方法的主、客观评价结果具有最好的线性度和区分度。

rgzn1-t3.gif

3 结论

    本文充分将人眼视觉系统的多种显著感知特性融入图像特征处理、图像特征评价和图像评价融合的多个?#26041;冢?#24182;基于视觉特性和图像失真度将各层特征评价逐步进行深度自适应融合。实验结果表明,所提方法提高了现有方法在实际应用场景下的评价性能。下一步研究将结合人类视觉系统和人工智能理论?#25945;?#22270;像质量客观评价算法的评价融合策略。

参考文献

[1] 李先友,赵曙光,段永成,等.基于FPGA的实时MIPI CSI-2图像采集与处理系统[J].电子技术应用,2019,45(1):97-100.

[2] 吴晓元,常海涛,苟军年.Faster R-CNN定位后的工业CT图像缺陷分割算法研究[J].电子技术应用,2019,45(1):76-80.

[3] 陈文艺,张龙,杨辉.HDR图像色调?#25104;?#30340;自适应色?#23454;?#33410;算法[J].电子技术应用,2018,44(11):107-110.

[4] ZHANG Y C,KING N N,MA L,et al.Objective quality assessment of image retargeting by incorporating fidelity measures and inconsistency detection[J].IEEE Transactions on Image Processing,2017,26(11):5980-5993.

[5] WANG Z,BOVIK A C,SHEIKH H R,et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004,13(4):600-612.

[6] GUO L,CHEN W L,LIAO Y,et al.Multi-scale structural image quality assessment based on two-stage low-level features[J].Computers and Electrical Engineering,2014,40(4):1101-1110.

[7] LIU A,LIN W,NARWARIA M.Image quality assessment based on gradient similarity[J].IEEE Transaction on Image Processing,2012,21(4):1500-1512.

[8] ZHANG L,ZHANG L,MOU X Q,et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transaction on Image Processing,2011,20(8):2378-2386.

[9] ZHANG L,SHEN Y,LI H Y.VSI:a visual saliency-induced index for perceptual image quality assessment[J].IEEE Transaction on Image Processing,2014,23(10):4270-4281.

[10] 丰明坤,王?#20449;簦?#21494;绿.视觉稀疏化多通道多特征自适应的图像评价[J].仪器仪表学报,2016,37(3):667-674.

[11] 丰明坤,赵生妹,邢超.基于视觉显著失真度的图像质量自适应评价方法[J].电子与信息学报,2015,37(9):2062-2068.

[12] 丰明坤,赵生妹,施祥.视觉多通道梯度与低阶矩自适应图像评价[J].仪器仪表学报,2015,36(11):2531-2537.

[13] ?#31181;?#27905;,丰明坤.深度视觉特征与策略互补融合的图像质量评价[J].模式识别与人工智能,2017,30(8):682-691.

[14] XUE W F,ZHANG L,MOU X Q,et al.Gradient magnitude similarity deviation:s highly efficient perceptual image quality index[J].IEEE Transactions on Image Processing,2014,23(2):684-695.

[15] ZHANG X D,FENG X C,WANG W W,et al.Edge strength similarity for image quality assessment[J].IEEE Signal Processing Letters,2013,20(4):319-322.

[16] WANG T H,JIA H Z,SHU H Z.Full reference image quality assessment algorithm based on gradient magnitude and histogram of oriented gradient[J].Journal of Southeast University,2018,48(2):276-281.



作者信息:

王赛娇1,2

(1.台州广播电视大学,浙江 台州318000;2.杭州电子科技大学 计算机学院,浙江 杭州310018)

传奇国际娱乐注册 黑龙江p62开奖号码 快乐时时是全国号码 时时彩qq群 体彩6+1彩票开奖结果 单肖精准规律公式 手机资料开奖1378结果 云购彩app 时时彩为什么改为20分钟 新疆25选7开奖结果是多少 平特三肖精准