徐漫飛

(西安電子科技大學(xué)CAD研究所，陜西西安 710071)

圖像是人類感知和機(jī)器模式識(shí)別的重要信息源，其質(zhì)量對(duì)所獲取信息的充分性和準(zhǔn)確性具有決定性作用。然而圖像在獲取、壓縮、處理、傳輸、存儲(chǔ)和顯示過程中會(huì)有不同程度和類型的失真。如何在視頻傳輸、字符識(shí)別、安全監(jiān)控、醫(yī)學(xué)等領(lǐng)域建立有效的圖像質(zhì)量評(píng)價(jià)機(jī)制具有重要意義。

傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)方法分為主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)。由于人眼視覺系統(tǒng)(HVS)是圖像處理的終端，所以合理的圖像質(zhì)量評(píng)價(jià)方法是主觀評(píng)價(jià)方法。然而，主觀評(píng)價(jià)需要組織觀察者對(duì)失真圖像進(jìn)行評(píng)分，勞動(dòng)強(qiáng)度增加、費(fèi)時(shí)費(fèi)力，且不能直接應(yīng)用于圖像處理系統(tǒng)中，隨時(shí)改善圖像處理算法?？陀^評(píng)價(jià)方法采用數(shù)學(xué)模型計(jì)算失真圖像和原始圖像的相似度，得到評(píng)價(jià)結(jié)果，具有簡(jiǎn)單、便于內(nèi)置于圖像處理系統(tǒng)中的優(yōu)點(diǎn)。

傳統(tǒng)的客觀評(píng)價(jià)方法均方誤差(MSE)和峰值信噪比(PSNR)，是對(duì)整幅圖像進(jìn)行誤差綜合，該方法表達(dá)簡(jiǎn)單、計(jì)算方便，但不符合人的主觀感受。圖像最終接受者是人，所以好的圖像評(píng)估方法應(yīng)考慮人眼視覺系統(tǒng)(HVS)的特性?，F(xiàn)有的將HVS與圖像余弦變換［1］和圖像質(zhì)量評(píng)價(jià)結(jié)合的方法。還有從空間距離、空間頻率、圖像尺寸對(duì)比度變化及對(duì)比度掩蓋效應(yīng)等方面考察圖像失真情況，提出了基于失真模型［2］的圖像質(zhì)量評(píng)價(jià)方法。Wang［3］等認(rèn)為人眼視覺系統(tǒng)的主要功能是提取圖像和視頻中的結(jié)構(gòu)信息，提出結(jié)構(gòu)相似度(SSIM)的圖像質(zhì)量評(píng)價(jià)方法，SSIM計(jì)算簡(jiǎn)單、易于實(shí)現(xiàn)。但SSIM是在空間域提出的，將其推廣應(yīng)用在HWD變換域，對(duì)HWD域的圖像處理有重要的指導(dǎo)意義。文中對(duì)HWD域圖像的結(jié)構(gòu)特性進(jìn)行了深入的研究提出了基于頻率、空間和方向的圖像質(zhì)量評(píng)估方法(SSO_IQM)。

1 圖像結(jié)構(gòu)相似度(SSIM)

Wang Zhou等人認(rèn)為自然圖像的像素之間存在很強(qiáng)的相關(guān)性，這種相關(guān)性表現(xiàn)為圖像的高度結(jié)構(gòu)性，人眼在觀察一幅圖像時(shí)首先提取的是圖像的結(jié)構(gòu)信息，人眼對(duì)一幅降質(zhì)圖像質(zhì)量好壞的判斷更多的是對(duì)結(jié)構(gòu)信息失真的判斷，所以可以通過對(duì)降質(zhì)圖像與原圖像結(jié)構(gòu)信息的比較得到一個(gè)對(duì)該降質(zhì)圖像的質(zhì)量評(píng)分，該評(píng)分能很好地近似主觀評(píng)分。SSIM方法包括亮度、對(duì)比度和結(jié)構(gòu)3個(gè)方面。設(shè)原始圖像塊為，待評(píng)價(jià)圖像塊為，則它們的結(jié)構(gòu)相似性的模型定義為

其中，

μR、μT為圖像 R、T 的均值，反映圖像的亮度信息;σR、σT為圖像R、T的方差，反映圖像的對(duì)比度信息;σRT為R、T的相關(guān)系數(shù)，反映其結(jié)構(gòu)信息的相似性。C1，C2，C3均為較小的正數(shù)，是為避免分母為零或接近于零而造成不穩(wěn)定，參數(shù)α＞0，β＞0，γ＞0。一般取α=β=γ =1，C1=(K1L)2，C2=(K2L)2，C3=C2/2，L 是像素的動(dòng)態(tài)范圍。

2 HWD變換

Eslami等提出了一組新的小波變換與方向?yàn)V波器組相結(jié)合的圖像變換方法HWD［4］。該方法首先對(duì)圖像進(jìn)行小波變換，然后對(duì)各子帶進(jìn)行md(md＜L，L為小波分解級(jí)數(shù))級(jí)方向?yàn)V波器組分解，根據(jù)各細(xì)節(jié)的不同選用不同的濾波器，得到相應(yīng)的方向信息。同時(shí)對(duì)最精細(xì)尺度上的系數(shù)使用DFB和改進(jìn)型DFB來增加小波分解的方向性特征。改進(jìn)型DFB是通過對(duì)圖像從垂直和水平方向進(jìn)行分鋸，構(gòu)成VDFB和HDFB這兩個(gè)方向?yàn)V波器組。根據(jù)使用的濾波器組的不同，HWD又可以被分為HWDI和HWD2，方向?yàn)V波器頻率劃分如圖1所示。

圖1 方向?yàn)V波器頻率劃分

(1)HWDl。1)對(duì)子波變換后的對(duì)角方向子帶進(jìn)行DFB分解。2)對(duì)子波變換后的水平方向子帶進(jìn)行HDFB分解。3)對(duì)子波變換后的垂直方向子帶進(jìn)行VDFB分解。

(2)HWD2。1)對(duì)子波變換后的對(duì)角方向子帶進(jìn)行DFB分解。2)對(duì)子波變換后的水平方向子帶進(jìn)行VDFB分解。3)對(duì)子波變換后的垂直方向子帶進(jìn)行HDFB分解。

圖像經(jīng)3級(jí)HWD1或HWD2分解后的結(jié)果如圖2所示，前者在紋理檢索效果優(yōu)于后者，但會(huì)造成塊效應(yīng)，折中考慮，采用HWD2變換處理圖像。

圖2 圖像HWD分解

3 SSO_IQM

根據(jù)人眼傾斜效應(yīng)［5］，人眼對(duì)水平和垂直方向分量的敏感度與對(duì)角方向分量的敏感度不同，把人眼的這種特性與客觀圖像質(zhì)量評(píng)估方法結(jié)合起來，提出基于頻率、空間和方向的圖像質(zhì)量評(píng)價(jià)方法。對(duì)圖像進(jìn)行HWD變換后，將SSIM直接用于各HWD分解頻帶，用頻帶相關(guān)性圖加權(quán)各頻帶的結(jié)構(gòu)相似度得到局部質(zhì)量，然后對(duì)不同方向的局部質(zhì)量求加權(quán)和得到整幅圖像的結(jié)構(gòu)相似度，該權(quán)值由粒子群優(yōu)化算法確定，SSO_IQM的具體運(yùn)算步驟如下:

Step1分別對(duì)M×N尺寸的源圖像和失真圖像進(jìn)行3級(jí)HWD變換，得到36個(gè)子帶，記為Rhwd(u，v，i)和 Thwd(u，v，i)，其中，u=1，2，…，M，v=1，2，…，N，i=1，2，…，36。

Step2計(jì)算源圖像和失真圖像子帶的結(jié)構(gòu)相似圖 Si(u，v)，i=1，2，…，36，以及子帶間的相關(guān)圖 αi(x，y)，得到局部圖像質(zhì)量為

其中，WSi=αiSi。

Step3同一尺度上的水平子帶和垂直子帶的權(quán)值與對(duì)角子帶的權(quán)值不同，用粒子群優(yōu)化算法計(jì)算該權(quán)值 ωi，i=1，2，…，7，求加權(quán)和得到整幅圖像的結(jié)構(gòu)相似度，如下式所示

根據(jù)SSO_IQM的定義，SSO_IQM值越大表示圖像質(zhì)量越好。

4 實(shí)驗(yàn)結(jié)果與分析

采用數(shù)據(jù)庫(kù)LIVE，TID，CSIQ進(jìn)行仿真實(shí)驗(yàn)，圖庫(kù)中還給出了所有失真圖像的主觀差異評(píng)分(Difference Mean Opinion Scores，DMOS)，描述的是主觀評(píng)分(Mean Opinion Scores，MOS)和滿分100分的差值，因此DMOS越大表示圖像質(zhì)量越差，DMOS越小表示圖像質(zhì)量越好，且 DMOS的取值范圍為［0，100］。

圖3給出了SSO_IQM相對(duì)于主觀評(píng)分的散點(diǎn)圖，圖中的每個(gè)點(diǎn)代表圖像，不同的顏色代表不同的失真類型，縱軸坐標(biāo)表示主觀評(píng)分，橫軸坐標(biāo)表示SSO_IQM得到的客觀評(píng)分，黑色實(shí)線是用回歸函數(shù)擬合主觀評(píng)分和SSO_IQM客觀評(píng)分的結(jié)果?？梢钥闯觯Ⅻc(diǎn)緊密的圍繞在擬合曲線周圍，說明所提方法與主觀評(píng)分的一致性，驗(yàn)證了SSO_IQM的有效性。

圖3 SSO_IQM與主觀評(píng)估的對(duì)應(yīng)分布

比較了SSO_IQM 相對(duì)于 PSNR，SSIM，MS－SSIM，IW－SSIM，VIF，VSNR，PSNR －HMA，DWT －SSIM 的性能，利用非線性回歸條件下的相關(guān)系數(shù)(PLCC)作為評(píng)價(jià)圖像質(zhì)量的指標(biāo)，PLCC值越高說明客觀評(píng)價(jià)方法與DMOS相關(guān)性越好，實(shí)驗(yàn)結(jié)果如圖4所示。本文所提算法SSO_IQM和VIF性能優(yōu)于其他質(zhì)量評(píng)估方法，雖然SSO_IQM算法性能沒有大幅度提高，但這屬正常范圍，因?yàn)檫@些用于比較質(zhì)量評(píng)估方法本身，已實(shí)現(xiàn)了良好的評(píng)估效果，要在此基礎(chǔ)上再實(shí)現(xiàn)更大超越還需進(jìn)一步研究。

圖4 各評(píng)估方法的PLCC性能比較

5 結(jié)束語(yǔ)

將空間域圖像質(zhì)量評(píng)價(jià)方法結(jié)構(gòu)相似度SSIM推廣到HWD變換域，結(jié)合人眼視覺傾斜效應(yīng)和粒子群優(yōu)化算法，提出基于頻率、空間和方向的圖像質(zhì)量評(píng)估方法SSO_IQM。由于充分利用了人眼高度自適應(yīng)窄帶刺激這一特點(diǎn)，SSO_IQM取得了更好的評(píng)判效果，從實(shí)驗(yàn)結(jié)果可以看到，SSO_IQM在各方面都優(yōu)于SSIM。將本文所提方法SSO_IQM用于3D圖像質(zhì)量評(píng)估是下一步的研究方向。

［1］楊軍，劉藻珍，王寅龍.基于人眼視覺特征的圖像質(zhì)量評(píng)價(jià)模型［J］.彈箭與制導(dǎo)學(xué)報(bào)，2003，23(2):59－62.

［2］DAMERA －VENKATA N，KITE T D，GEISLER W S，et al.Image quality assessment based on a degradation model［J］.IEEE Trans on Image Processing，2000，4(4):636 －650.

［3］WANG Z，BOVIK A C，SHEIKH H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.Image Process，2004，13(4):600 －612.

［4］ESLAMI R，RADHA H.New image transforms using hybrid wavelets and directional filter banks:analysis and design［C］.IEEE International Conference Image Process，2005:733 －6.

［5］LI B，PETERSON M R，F(xiàn)REEMAN R D.Oblique effect:a neural basis in the visual Cortex［J］.J.Neurohpysiol，2003，90(1):204－217.