謝立志，李玉惠，李 勃

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,云南 昆明 650000)

一種基于視覺特性加權(quán)的圖像質(zhì)量評(píng)價(jià)方法

謝立志，李玉惠，李 勃

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,云南 昆明 650000)

圖像質(zhì)量評(píng)價(jià)在視頻圖像的各種應(yīng)用中起著重要的作用。由于結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法在利用視覺特性方面的不足，因此文中在結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法的基礎(chǔ)上，引入包含重要視覺信息的梯度幅值和對(duì)不同頻率感知差異的對(duì)比敏感度特性對(duì)其進(jìn)行改進(jìn)，提出了一種基于視覺特性加權(quán)的圖像質(zhì)量評(píng)價(jià)方法。首先采用Sobel算子計(jì)算圖像的梯度幅值，對(duì)結(jié)構(gòu)相似度評(píng)價(jià)方法進(jìn)行改進(jìn)；再利用對(duì)比敏感度函數(shù)計(jì)算圖像塊的感知因子，給圖像塊賦予相應(yīng)的權(quán)值；最后通過圖像塊評(píng)價(jià)值的加權(quán)得到整體評(píng)價(jià)值。實(shí)驗(yàn)結(jié)果表明，該算法優(yōu)于結(jié)構(gòu)相似度和峰值信噪比圖像質(zhì)量評(píng)價(jià)方法，更好地反映了人眼的主觀感受。

圖像處理;圖像質(zhì)量評(píng)價(jià);人眼視覺特性;梯度幅值;結(jié)構(gòu)相似度;峰值信噪比

1 概 述

隨著數(shù)字圖像技術(shù)的發(fā)展，圖像質(zhì)量評(píng)價(jià)在圖像壓縮、傳輸、水印處理及模式識(shí)別等圖像處理領(lǐng)域中發(fā)揮著重要作用，因此對(duì)圖像質(zhì)量的有效評(píng)價(jià)具有重要意義。圖像質(zhì)量的評(píng)價(jià)方法大致可分為主觀評(píng)價(jià)方法和客觀評(píng)價(jià)方法[1]。主觀評(píng)價(jià)方法雖然能準(zhǔn)確地評(píng)價(jià)圖像質(zhì)量，但其費(fèi)時(shí)、成本高、易受環(huán)境因素的影響，很難應(yīng)用到實(shí)際當(dāng)中。而客觀評(píng)價(jià)方法計(jì)算簡(jiǎn)便、穩(wěn)定、能夠?qū)崟r(shí)處理，因此有較多的研究人員對(duì)客觀評(píng)價(jià)方法進(jìn)行研究，并產(chǎn)生了一系列的圖像質(zhì)量評(píng)價(jià)方法。

在客觀評(píng)價(jià)方法中，比較經(jīng)典的圖像質(zhì)量評(píng)價(jià)方法有均方根誤差(Mean Squared Error,MSE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)等。這些方法從單個(gè)像素的角度對(duì)圖像質(zhì)量進(jìn)行分析，沒有充分考慮人眼視覺特性以及像素之間的相關(guān)性，因此，與主觀評(píng)價(jià)的相關(guān)性較差。在此基礎(chǔ)上，文獻(xiàn)[2-5]根據(jù)人眼視覺的某些特性進(jìn)行了一系列的改進(jìn)。其中文獻(xiàn)[2]在充分分析人類視覺系統(tǒng)(HVS)的亮度、紋理、邊緣等特性的基礎(chǔ)上，提出一種結(jié)合HVS特性的加權(quán)峰值信噪比計(jì)算方法。文獻(xiàn)[3]通過主觀眼動(dòng)跟蹤實(shí)驗(yàn)和客觀Itti模型提取的感興趣權(quán)重矩陣對(duì)PSNR進(jìn)行改善。文獻(xiàn)[4]根據(jù)人眼視覺閾值特性，提出了基于小波的視覺信號(hào)信噪比的圖像質(zhì)量評(píng)價(jià)方法。文獻(xiàn)[5]根據(jù)人眼圖像色差對(duì)比敏感的感知特性，提出了一種基于人眼視覺特性的色差均方誤差和色差峰值信噪比統(tǒng)計(jì)參數(shù)的評(píng)價(jià)彩色圖像質(zhì)量的方法。

隨著人們對(duì)人眼視覺系統(tǒng)研究的不斷深入，Wang等[6]根據(jù)人眼視覺系統(tǒng)對(duì)圖像結(jié)構(gòu)信息的高度感知性，提出了基于結(jié)構(gòu)相似度(Structural SIMilarity,SSIM)的圖像質(zhì)量評(píng)價(jià)方法。該方法比MSE和PSNR更加符合人眼特性。后來的研究者在此基礎(chǔ)上又進(jìn)行了不同程度的改進(jìn)。例如，文獻(xiàn)[7-8]考慮了邊緣信息對(duì)人眼感知結(jié)構(gòu)的重要性，加入邊緣信息特性對(duì)結(jié)構(gòu)相似度評(píng)價(jià)方法進(jìn)行改進(jìn)。文獻(xiàn)[9]考慮了感興趣區(qū)域(Region Of Interest,ROI)對(duì)圖像質(zhì)量的影響，提出了一種基于SSIM與ROI的視頻質(zhì)量評(píng)價(jià)方法。文獻(xiàn)[10]考慮了人眼對(duì)比敏感度(CSF)特性在圖像感知中的重要作用，提出了小波模擬對(duì)比敏感度(CSF)特性的加權(quán)結(jié)構(gòu)相似度(W-MSSIM)評(píng)價(jià)方法。文獻(xiàn)[11]根據(jù)視覺特征顯著和失真嚴(yán)重引起的注意轉(zhuǎn)移對(duì)視覺感知圖像的影響，提出了一種基于注意轉(zhuǎn)移機(jī)制的結(jié)構(gòu)相似度圖像質(zhì)量客觀評(píng)價(jià)方法。文獻(xiàn)[12]提出了一種結(jié)合HVS和SSIM的無參考模糊圖像評(píng)價(jià)方法。

這些改進(jìn)方法均取得了較好的效果，體現(xiàn)了視覺特性在圖像質(zhì)量評(píng)估中的重要作用，也反映了Wang等提出的結(jié)構(gòu)相似度評(píng)價(jià)方法考慮的視覺特性不夠充分。

由于結(jié)構(gòu)相似度評(píng)價(jià)方法在視覺特性方面運(yùn)用的不足，故考慮到了包含理解場(chǎng)景重要信息的梯度幅值，但單獨(dú)利用梯度幅值改進(jìn)結(jié)構(gòu)相似度評(píng)價(jià)方法也存在一些問題，故又考慮了對(duì)不同頻率感知差異的人眼對(duì)比敏感度特性進(jìn)行進(jìn)一步改進(jìn)。在此，文中提出一種基于視覺特性加權(quán)的圖像質(zhì)量評(píng)價(jià)方法。

2 結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法

Wang等提出的結(jié)構(gòu)相似度SSIM圖像質(zhì)量評(píng)價(jià)方法，主要考慮了人類視覺系統(tǒng)最為關(guān)注的圖像結(jié)構(gòu)信息。假設(shè)X和Y為兩個(gè)圖像信號(hào)，X為原始圖像，Y為失真圖像。SSIM評(píng)價(jià)方法分為三個(gè)部分：亮度度量函數(shù)l(x,y)，對(duì)比度度量函數(shù)c(x,y)，結(jié)構(gòu)度量函數(shù)s(x,y)。SSIM的計(jì)算公式如下：

(1)

(2)

根據(jù)SSIM的定義，可知MSSIM的分值越高，兩幅圖像越相似，失真圖像的質(zhì)量越好。

3 基于視覺特性的圖像質(zhì)量評(píng)價(jià)方法

人是圖像的最終感受者，圖像質(zhì)量評(píng)判的好壞主要看是否更好地符合人眼感知。因此一個(gè)符合人眼感知特性的圖像質(zhì)量評(píng)價(jià)算法，就應(yīng)當(dāng)充分利用人眼視覺特性。文中結(jié)合梯度幅值和對(duì)比敏感度特性對(duì)結(jié)構(gòu)相似度評(píng)價(jià)方法進(jìn)行有效改進(jìn)。

3.1 梯度幅值特性

由于梯度幅值包含理解場(chǎng)景至關(guān)重要的視覺信息，且人眼對(duì)比度敏感特性對(duì)梯度幅值特性較為敏感，故提取梯度幅值作為圖像特征。文獻(xiàn)[13]提取圖像的梯度幅值作為其中一個(gè)特征，并對(duì)圖像進(jìn)行質(zhì)量評(píng)價(jià)，取得了較好的評(píng)價(jià)效果。

圖像梯度幅值的計(jì)算是求取圖像邊緣、圖像分析等圖像處理領(lǐng)域的基本步驟，求取梯度幅值常見的掩蓋算子有Sobel算子[14]、Prewitt算子[14]和Scharr算子[15]。表1分別列出了3種算子的偏導(dǎo)算子，圖像的梯度幅值(Gradient Magnitude,GM)為：

(3)

文中實(shí)驗(yàn)分別通過3種算子提取梯度幅值改進(jìn)SSIM算法對(duì)圖像的質(zhì)量進(jìn)行評(píng)價(jià)，發(fā)現(xiàn)Sobel算子的效果最好，故采用Sobel算子提取圖像的梯度幅值。

對(duì)梯度幅值的相似性度定義如下：

(4)

其中，σx，σy分別為梯度幅值圖像塊x,y的標(biāo)準(zhǔn)方差；σxy為梯度幅值圖像塊x和y之間的協(xié)方差；C4為較小的常數(shù)。

表1 使用不同的梯度算子得到的偏導(dǎo)數(shù)

3.2 對(duì)比敏感度特性

對(duì)比敏感視覺特性主要體現(xiàn)了人眼視覺的帶通特性，可由對(duì)比敏感度函數(shù)(Contrast Sensitivity Function,CSF)表示。雖然，不同實(shí)驗(yàn)所得的CSF函數(shù)表達(dá)式有所不同，但基本上都認(rèn)為人眼對(duì)比敏感特性是空間頻率的函數(shù)，具有一定的帶通濾波器的性質(zhì)，且各方向也不同。采用Mannos和Sakrison等[16]提出的CSF模型，其數(shù)學(xué)表達(dá)式為：

CSF(f)=2.6(0.192+0.114f)e[-(0.114f)1.1]

(5)

采用文獻(xiàn)[17]的方法計(jì)算圖像的空間頻率f，對(duì)于選定的N×N圖像塊，水平和垂直方向上的空間頻率的計(jì)算公式如下所示：

(6)

因此，可以計(jì)算得到空間頻率f的值，對(duì)f進(jìn)行歸一化，將其映射到0到0.5之間，如下式所示：

(7)

式中，f*為歸一化的空間頻率值；fmax和fmin分別為空間頻率的最大、最小值。

將f*代入到式(5)，就可以得到最終的對(duì)比敏感度函數(shù)量化值CSF，并且CSF是在0～1之間變化的。

對(duì)比敏感度特性其在水平和垂直方向?qū)θ搜鄣拇碳ぷ蠲舾校趯?duì)角線方向上的敏感度是最弱的，故只采用了水平和垂直方向上的對(duì)比敏感度特性。實(shí)驗(yàn)中由水平和垂直方向上的空間頻率計(jì)算得到的空間頻率f的對(duì)比敏感度特性曲線如圖1所示。

圖1 空間頻率f的CSF特性曲線

圖2中給出的是利用3×3圖像塊計(jì)算敏感度因子，并對(duì)原始圖像進(jìn)行因子調(diào)節(jié)得到的圖像。圖像中亮度越大的地方則對(duì)比敏感因子越大，越暗的地方則對(duì)比敏感因子越小。圖2中圖像的邊緣有較大的對(duì)比敏感度因子，而平滑區(qū)域?qū)Ρ让舾幸蜃虞^小，突出體現(xiàn)了圖像的紋理和邊緣部分。

圖2 CSF特性的感知圖像

3.3 文中評(píng)價(jià)方法

(1)利用梯度幅值對(duì)結(jié)構(gòu)相似度評(píng)價(jià)方法進(jìn)行改進(jìn)。利用g(x,y)代替式(1)中的s(x,y)，得到改進(jìn)的SSIM評(píng)價(jià)方法，即梯度結(jié)構(gòu)相似度方法。

GSSIM(x,y)=[l(x,y)]α·[c(x,y)]β· [g(x,y)]γ

(8)

為了計(jì)算簡(jiǎn)便，文中在計(jì)算過程中取α=β=γ=1。因此有

GSSIM(x,y)=l(x,y)·c(x,y)·g(x,y)

(9)

(2)計(jì)算圖像塊的加權(quán)因子。根據(jù)對(duì)比敏感度特性給圖像中的每個(gè)圖像塊都賦予相應(yīng)的權(quán)值，為保證加權(quán)后圖像的評(píng)價(jià)結(jié)果范圍為[0,1]，則對(duì)感知因子進(jìn)行歸一化處理得到相應(yīng)圖像塊的權(quán)值。歸一化的圖像塊的加權(quán)因子為：

(10)

(3)加權(quán)輸出。由于每個(gè)圖像塊在人眼視覺中的感知不同，故將求得的M個(gè)圖像塊的GSSIM評(píng)價(jià)值進(jìn)行加權(quán)求和，得到整幅圖像的評(píng)價(jià)值。利用加權(quán)因子加權(quán)的GSSIM圖像質(zhì)量評(píng)價(jià)方法計(jì)算式如下所示：

(11)

4 實(shí)驗(yàn)結(jié)果與分析

文中采用美國TEXAS大學(xué)LIVE(LabofImageandVideoEngineer)圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫[18]進(jìn)行仿真實(shí)驗(yàn)。該數(shù)據(jù)庫含有29張?jiān)紙D像，失真圖像779張，共有5種失真類型。數(shù)據(jù)庫給出了相應(yīng)失真圖像的主觀評(píng)分差值(DifferenceMeanOpinionScore，DMOS)，它是滿分值與主觀評(píng)分(MeanOpinionScore，MOS)的差值，DMOS的值越小則圖像質(zhì)量越好，反之越差。

首先利用文中算法計(jì)算出所有圖像的客觀評(píng)分，再與DMOS進(jìn)行非線性擬合。最后按照VQEG對(duì)客觀質(zhì)量評(píng)價(jià)算法的檢驗(yàn)標(biāo)準(zhǔn)[19]，選取皮爾遜相關(guān)系數(shù)(CC)、斯皮爾曼相關(guān)系數(shù)(SROCC)和肯德爾相關(guān)系數(shù)(KROCC)作為這些算法的評(píng)價(jià)指標(biāo)，對(duì)算法評(píng)價(jià)結(jié)果進(jìn)行比較。這里CC、SROCC和KROCC的值越大，則算法客觀分值與主觀分值的相關(guān)性就越好。

圖3分別給出了PSNR、SSIM、GSSIM和HGSSIM算法評(píng)分相對(duì)于主觀評(píng)分的散點(diǎn)圖。散點(diǎn)越集中，表明客觀算法評(píng)價(jià)效果越好，與主觀評(píng)價(jià)的相關(guān)性越好。

(a)PSNR

(b)SSIM

(c)GSSIM

(d)HGSSIM

從圖3中可以看出，GSSIM散點(diǎn)圖相比SSIM散點(diǎn)圖的聚合度有了一定改善，而且散點(diǎn)圖的分布更加均勻、集中，說明利用梯度幅值改進(jìn)的SSIM算法取得了一定的效果。但是改進(jìn)后的結(jié)果中存在一個(gè)結(jié)果為負(fù)的評(píng)價(jià)值，這個(gè)值不符合實(shí)際評(píng)價(jià)結(jié)果。在此基礎(chǔ)上再利用對(duì)比敏感度特性對(duì)GSSIM算法進(jìn)行改進(jìn)，得到HGSSIM評(píng)價(jià)方法。通過HGSSIM散點(diǎn)圖可以看出，通過對(duì)比敏感度感特性改進(jìn)后的算法解決了不符合實(shí)際的負(fù)值評(píng)價(jià)結(jié)果的現(xiàn)象，且比GSSIM散點(diǎn)圖的聚合度有了較好的提高，散點(diǎn)的分布更加接近擬合曲線。

根據(jù)理論分析，如果客觀評(píng)價(jià)完全與主觀評(píng)價(jià)相符合，則散點(diǎn)會(huì)呈一條直線分布。同時(shí)也可以看出，HGSSIM散點(diǎn)分布比PSNR和SSIM算法散點(diǎn)分布更加接近理想的線性關(guān)系。

通過表2數(shù)據(jù)的計(jì)算可知，HGSSIM算法在CC、SROCC和KROCC指標(biāo)方面比PSNR算法分別提高了13.6%、11.1%和17.9%；比SSIM算法分別提高了27.8%、4.6%和7.3%，比單獨(dú)對(duì)SSIM算法改進(jìn)的GSSIM算法分別提高了3.9%、4.2%和6.9%。綜合

表2 圖像質(zhì)量評(píng)價(jià)算法在LIVE庫上的測(cè)試結(jié)果

分析可知，文中算法HGSSIM優(yōu)于PSNR和SSIM算法，其評(píng)價(jià)值與主觀分值的相關(guān)性較高，更加接近主觀評(píng)價(jià)。

5 結(jié)束語

文中算法在結(jié)構(gòu)相似度圖像質(zhì)量評(píng)價(jià)方法上，考慮了視覺特性在圖像評(píng)估中的重要作用，引入包含重要視覺信息的梯度幅值特性和對(duì)不同頻率圖像產(chǎn)生感知差異的對(duì)比敏感度特性，并利用Sobel算子計(jì)算梯度幅值，利用對(duì)比敏感度函數(shù)計(jì)算感知因子。實(shí)驗(yàn)結(jié)果表明，文中算法利用的有效人眼視覺特性，使圖像質(zhì)量評(píng)估取得了較好的評(píng)價(jià)結(jié)果，更好地反映了人的主觀感受。

[1]WangZ,BovikAC,LuL.Whyisimagequalityassessmentsodifficult[C]//JCASSP.Florida:IEEE,2002:3313-3316.

[2] 潘春華,朱同林,劉 浩.圖像質(zhì)量的HVS評(píng)價(jià)方法[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(4):149-151.

[3] 凌 云,夏 軍,屠 彥,等.視覺感興趣區(qū)的提取及其在視頻圖像質(zhì)量評(píng)估中的應(yīng)用[J].東南大學(xué)學(xué)報(bào):自然科學(xué)板,2009,39(4):753-757.

[4]ChandlerDM,HemamiSS.VSNR:awavelet-basedvisualsignal-to-noiseratiofornaturalimages[J].IEEETransactionsonImageProcess,2007,16(9):2284-2298.

[5] 姚軍財(cái).基于人眼對(duì)比度敏感視覺特性的圖像質(zhì)量評(píng)價(jià)方法[J].液晶與顯示,2011,26(3):390-396.

[6]WangZ,BovikAC,SheikhHR,etal.Imagequalityassessment:Fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcess,2004,13(4):600-612.

[7] 田浩南,李素梅.基于邊緣的SSIM圖像質(zhì)量客觀評(píng)價(jià)方法[J].光子學(xué)報(bào),2013,42(1):110-114.

[8] 廖 斌,陳 巖.雙尺度邊緣結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)估[J].計(jì)算機(jī)工程,2007,33(19):199-200.

[9] 王正友,胡國勝,明建華,等.基于SSIM與ROI的視頻質(zhì)量評(píng)價(jià)方法[J].儀器儀表學(xué)報(bào),2009,30(9):1906-1911.

[10] 朱愛紅,張玉葉,李 連.小波模擬CSF加權(quán)的失真圖像質(zhì)量評(píng)價(jià)[J].北京理工大學(xué)學(xué)報(bào),2010,30(6):713-717.

[11] 張 樺,夏一行,周文暉.基于注意轉(zhuǎn)移機(jī)制的圖像質(zhì)量評(píng)價(jià)方法[J].儀器儀表學(xué)報(bào),2010,31(9):2056-2061.

[12] 袁萬立,李朝鋒.結(jié)合HVS及SSIM的無參考模糊圖像評(píng)價(jià)方法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(1):210-212.

[13]ZhangL,ZhangL,MouXQ,etal.FSIM:afeaturesimilarityindexforimagequalityassessment[J].IEEETransactionsonImageProcessing,2011,20(8):2378-2386.

[14]JainR,KasturiR,SchunckBG.Machinevision[M].[s.l.]:McGraw-Hill,Inc.,1995.

[15]JahneB,HaubeckeHR,GeiblePR.Handbookofcomputervisionandapplications[M].[s.l.]:AcademicPress,1999.

[16]MannosJL,SakrisonDH.Theeffectsofavisualfidelitycriterionontheencodingofimages[J].IEEETransactionsonInformationTheory,1974,20(4):525-536.

[17] 胡許明,張登福,南 棟,等.基于人眼視覺特性的圖像視覺質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)應(yīng)用,2012,32(7):1882-1884.

[18]SheikhHR,WangZ,CormackL,etal.Liveimagequalityassessdatabaserelease2[EB/OL].2015.http://live.ece.utexas.edu/research/quality.

[19]BrunnstromK,HandsD,SperanzaF,etal.VQEGvalidationandITUstandardizationofobjectiveperceptualvideoqualitymetrics[J].IEEESignalProcessingMagazine,2009,26(3):96-101.

An Image Quality Assessment Method Based on Visual Features Weighting

XIE Li-zhi，LI Yu-hui，LI Bo

(College of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650000，China)

Image quality assessment plays an important role in a variety of applications for video images.Because of the deficiency of the image quality assessment method based on structural similarity in visual characteristics,on the basis of image quality assessment method of structure similarity,the gradient magnitude which contains the important visual information is introduced and the contrast sensitivity characteristics which is the differences in the perception of different frequency to improve,presentation of a method of image quality assessment based on visual features weighting.Firstly,the method of structural similarity evaluation is improved by gradient magnitude which is calculated with Sobel operator.Then,the perception factors of image block is calculated with the contrast sensitivity function,and the weight is given to the image block.Finally,the whole evaluation value is obtained by adding the image block evaluation value by weight of the image block.Experimental results show that the proposed algorithm is superior to structural similarity and peak signal to noise ratio of image quality assessment method,and better to reflect the subjective feelings of the human eye.

image processing;image quality evaluation;human visual characteristics;gradient magnitude;structural similarity;peak signal to noise ratio

2015-10-22

2016-01-27

時(shí)間：2016-06-22

國家自然科學(xué)基金資助項(xiàng)目(61363043)

謝立志(1989-),男,碩士研究生,研究方向?yàn)閳D像處理、模式識(shí)別、嵌入式系統(tǒng)開發(fā);李玉惠,博士,教授,通信作者，研究方向?yàn)榍度胧较到y(tǒng)的研究與開發(fā)、圖像處理系統(tǒng)的研究與開發(fā)、RFID射頻識(shí)別系統(tǒng)的研究與開發(fā);李 勃,教授,研究方向?yàn)橹悄苡?jì)算、圖像處理系統(tǒng)的研究與開發(fā)、物聯(lián)網(wǎng)技術(shù)與應(yīng)用。

http://www.cnki.net/kcms/detail/61.1450.TP.20160622.0842.016.html

TP301

A

1673-629X(2016)08-0177-05

10.3969/j.issn.1673-629X.2016.08.038