張引玉，王 慈

(上海交通大學(xué) 電子工程系，上海200240)

在娛樂行業(yè)和科學(xué)應(yīng)用的推動下，3D影像成為近年來重要的研究對象。彩色立體圖像質(zhì)量評價(Stereo Color Image Quality Assessment，SCIQA)可以給出人眼觀看立體圖片真實(shí)度的判斷依據(jù)。

圖像質(zhì)量評價分為主觀和客觀質(zhì)量評價兩種。圖像質(zhì)量的主觀評價(Subjective Measurement，Mean Opinion Score，MOS)應(yīng)用廣泛，但也存在顯而易見的缺點(diǎn)，如耗時耗力、成本昂貴。相反，圖像質(zhì)量的客觀評價能在很短時間內(nèi)客觀地給出圖像質(zhì)量的衡量結(jié)果，這在實(shí)時應(yīng)用中是非常重要的。

3D圖像的質(zhì)量評價比傳統(tǒng)的2D圖像質(zhì)量評價更為復(fù)雜。它不僅需要考慮影響視覺的2D因素，如壓縮損失、塊效應(yīng)、模糊等，還要考慮3D圖像顯示大小和顯示技術(shù)等因素給觀察者帶來的影響。研究表明，3D視頻的顯示格式和對應(yīng)的編碼方法也與感知的立體效果有著緊密聯(lián)系［1-2］。

早期的研究試圖將傳統(tǒng)2D圖像質(zhì)量評價方法直接應(yīng)用于對3D圖像的質(zhì)量評價，對左右通道的圖像分別使用2D評價方法進(jìn)行評價，然后計(jì)算兩個通道的均值得到3D圖像的質(zhì)量評價結(jié)果。但是這種評價方法與人眼視覺系統(tǒng)HVS的雙目感知機(jī)理是不吻合的，所以評價結(jié)果也很難與立體圖像的主觀評價結(jié)果進(jìn)行擬合［3］。由此可知，在立體圖像質(zhì)量評價過程中充分考慮人眼視覺對3D因素的感知特性對于準(zhǔn)確地評價3D圖像是非常重要的。

現(xiàn)階段大多數(shù)立體圖像質(zhì)量客觀評價方法都集中在信號處理方面。主要有以下兩個途徑:將深度信息與二維質(zhì)量評價方法結(jié)合;將由左右圖像產(chǎn)生的差距圖和cyclopean圖的評價結(jié)果結(jié)合。Benoit等在文獻(xiàn)［4-5］中試圖將深度信息與2D質(zhì)量評價方法結(jié)合起來，利用深度信息度量差距圖的失真，并通過分別取左右圖像失真的平均值來度量2D圖像失真，最后將二者結(jié)合產(chǎn)生一種新的SIQA(Stereo Image Quality Assessment)方法。Malaouf等在文獻(xiàn)［6-7］中分別產(chǎn)生了原始圖像和失真圖像的差距圖和cyclopean圖，并將這兩者的評價值結(jié)合起來與主觀評價的MOS值進(jìn)行擬合。

近年來，隨著對人眼視覺系統(tǒng)研究的不斷深入，對立體圖像客觀質(zhì)量評價的研究也由傳統(tǒng)的誤差統(tǒng)計(jì)方法轉(zhuǎn)到考慮視覺感知特性的方法上來，出現(xiàn)了許多基于人眼基本視覺特性的圖像質(zhì)量評價模型，于是也產(chǎn)生了一些基于人眼視覺特征的立體圖像質(zhì)量客觀評價方法。Yang等在文獻(xiàn)［8］中分析了影響人類立體視覺的因素，通過沿用基于人眼視覺的圖像質(zhì)量評價模型，提出了一種評價立體圖像的方法，該方法分圖像質(zhì)量和圖像立體感兩部分對立體圖像進(jìn)行客觀評價，實(shí)驗(yàn)結(jié)果與主觀評價結(jié)果基本一致，能夠反映圖像質(zhì)量和立體感的優(yōu)劣。Rafik等在文獻(xiàn)［9］中提出了一種針對彩色立體圖像的利用視覺能量模型的質(zhì)量評價方法。

1 雙目能量模型

雙眼視差(Binocular Disparity)簡稱視差，兩眼從稍有不同的兩個角度去觀察客觀三維世界的景物，景物像點(diǎn)落在左右兩眼視網(wǎng)膜上的像就在不同的位置上。這種兩眼視網(wǎng)膜上位置的差異稱為雙眼視差，它反映了客觀景物的深度，大腦的視覺系統(tǒng)正是利用上述視差才能夠感知立體感。視差經(jīng)腦部區(qū)域融合，產(chǎn)生立體視覺，雙眼視差的大小由雙眼視差角的大小決定。

3D圖像在HVS系統(tǒng)中的重建質(zhì)量首先取決于人單眼視網(wǎng)膜上接收到的圖像信息，這些信息之后從視網(wǎng)膜傳入視覺皮層進(jìn)行雙目信息的融合，獲得感知的3D景象。JCA Read等人提出的V1細(xì)胞雙目視覺能量模型［10］如圖1所示。在視覺皮層，分別有簡單細(xì)胞和復(fù)雜細(xì)胞來負(fù)責(zé)處理雙目接收信息的融合工作，這些細(xì)胞的接收場有特定的方向和大小。其中，簡單細(xì)胞又分為單目簡單細(xì)胞(Monocular Simple Cells，MS)和雙目簡單細(xì)胞(Binocular Simple Cells，BS)。圖像被人眼接收后，先經(jīng)過單目簡單細(xì)胞的處理，單目簡單細(xì)胞的接收場可以用二維Gabor函數(shù)描述，將視網(wǎng)膜中的圖像與接收場函數(shù)內(nèi)積之后，產(chǎn)生一個響應(yīng)強(qiáng)度信號，這個強(qiáng)度信號被饋入雙目簡單細(xì)胞進(jìn)行能量計(jì)算，之后兩對雙目簡單細(xì)胞的輸出被送入復(fù)雜細(xì)胞(Complex Cells，CX)進(jìn)行V1細(xì)胞的綜合響應(yīng)能量計(jì)算。

圖1 V1細(xì)胞雙目視覺能量模型

2 本文算法

2.1 簡單細(xì)胞

簡單細(xì)胞接收場的響應(yīng)函數(shù)可以用一個空間線性濾波器ρ(x，y)來描述，它代表了在視網(wǎng)膜上位置為(x，y)處單位亮度刺激能引起的響應(yīng)大小。ρ(x，y)的正值部分代表了接收場中的ON區(qū)域，負(fù)值部分代表了接收場中的OFF區(qū)域。在ON區(qū)域，亮的刺激使接收場的響應(yīng)增大;而在OFF區(qū)域，暗的刺激使響應(yīng)增大。如果使用I(x，y)表示視網(wǎng)膜中感受到的圖像，其中，I(x，y)的正值代表圖像中亮的刺激，而負(fù)值代表暗的刺激，于是一個線性單目簡單細(xì)胞(MS)對該圖像刺激的響應(yīng)就是視網(wǎng)膜圖像與接收場函數(shù)的內(nèi)積，如式(1)所示

在本文算法中，首先將彩色圖像從RGB空間轉(zhuǎn)換到CIEL*a*b*空間，這是因?yàn)楹笳吣苷_地表示HVS感知圖像信息的色彩組成。于是，立體圖像的左圖和右圖就分別被一個亮度分量L*和兩個正交的色度分量a*和b*代表，如圖2所示。

圖2 圖像CIEL*a*b*空間顯示結(jié)果

因?yàn)橐曈X系統(tǒng)中存在單目和雙目兩種信息，與之對應(yīng)，在視覺皮層中也存在兩種簡單細(xì)胞——單目簡單細(xì)胞和雙目簡單細(xì)胞。單目簡單細(xì)胞負(fù)責(zé)分別接收左右視網(wǎng)膜中的圖像信息，而雙目簡單細(xì)胞具有雙目的接收場，且由大小、相位和方向這幾個特性來表征。每對雙目簡單細(xì)胞之間有90°的相位差，一對單目簡單細(xì)胞的輸出連接到一個單目復(fù)雜細(xì)胞，而一對雙目簡單細(xì)胞的輸出連接到一個雙目復(fù)雜細(xì)胞。

一對簡單細(xì)胞的響應(yīng)通常是如下形式:C(x)=ρ(x)eφ(x)，為了表示細(xì)胞的這種兼具大小、幅度、相位和方向的空間—頻率特性，需要選取一種合適的方向小波，它需具有多分辨率、空間定位、無冗余等特性。本文采用以下3種數(shù)學(xué)模型來模擬細(xì)胞的這種特性，分別是復(fù)雜小波變換(CWT)、離散小波變換(DWT)和Bandelet變換。

Kingsbury［11］在1999年提出了DT-CWT(對偶樹復(fù)小波變換變換，Dual Tree-Complex Wavelet Transform)，它是基于實(shí)數(shù)小波變換實(shí)現(xiàn)復(fù)數(shù)小波變換，通過2個并行的實(shí)數(shù)濾波器組計(jì)算得到實(shí)部和虛部系數(shù)。相較于傳統(tǒng)的實(shí)離散小波變換(2d-DWT)，DT-CWT具有近似平移不變性、良好的方向選擇性、有限的數(shù)據(jù)冗余4∶1、完備重構(gòu)及計(jì)算復(fù)雜度低等優(yōu)點(diǎn)。本文采用DT-CWT在每一個尺度下分解生成6個復(fù)系數(shù)高頻帶子圖，分別代表±15°，±45°和±75°方向的脈沖響應(yīng)。

對圖像的亮度分量(L*)使用CWT變換得到亮度分量的實(shí)部和虛部，同時對兩個色度分量分別使用DWT，得到色度分量(a*，b*)的實(shí)部和虛部，結(jié)果如圖3所示。

圖3 圖像亮度CWT結(jié)果和圖像色度DWT結(jié)果顯示

對于幾何正則圖像，小波分解的高頻子帶大幅值系數(shù)主要沿圖像的幾何流分布，為了得到更多的零系數(shù)，Mallat和Peyre在2006年提出Bandelet變換［12］，對各高頻子帶實(shí)施Bandelet化，實(shí)現(xiàn)小波系數(shù)的進(jìn)一步壓縮。Bandelet化是在二維小波變換的基礎(chǔ)上，沿著高頻子帶系數(shù)的幾何流對小波系數(shù)進(jìn)行重采樣，得到一維信號，再對一維信號做小波變換，并在局部區(qū)域用一組平行直線逼近該區(qū)域的幾何流走向。由于不同區(qū)域內(nèi)幾何流方向不同，因此必須對高頻子帶進(jìn)行分割。經(jīng)過Bandelet變換之后，得到與簡單細(xì)胞對應(yīng)的四叉分割結(jié)果和每個分割塊的方向信息。

于是，對于一幅彩色立體圖像的左圖或者右圖，經(jīng)過CWT，DWT和Bandelet變換之后，可以使用如下4個分量來表示，即Re［CWT(L*)］，lm［CWT(L*)］，DWT［C(a*)］和DWT［C(b*)］。

2.2 復(fù)雜細(xì)胞

復(fù)雜細(xì)胞的大小跟簡單細(xì)胞是一致的，區(qū)別在于它們對方向和位置信息不敏感。經(jīng)過CWT和Bandelet變換確定圖像小波系數(shù)的分塊和每塊的方向之后，需要根據(jù)得到的方向進(jìn)行左右圖像中對應(yīng)塊的匹配，本文采用的是在同一水平位置的搜索方法。對右邊的某幅圖像，如果有特定的方向，就在左圖中跟它同一水平位置找到相近的對應(yīng)匹配塊。對于那些沒有明顯方向的塊，選擇不進(jìn)行匹配。圖4為其中一對圖像在最大小波分解層次時水平方向的匹配塊對應(yīng)圖。

圖4 左右小波匹配塊對應(yīng)圖

將左右圖中的對應(yīng)塊全部匹配好之后，需要模擬復(fù)雜細(xì)胞的工作模式，進(jìn)行最終的能量計(jì)算?？梢杂肅l(x)=ρl(x)eφl(x)和Cr(x)=ρr(x)eφr(x)分別代表左右對應(yīng)匹配塊的響應(yīng)值，用E(x)表示一個雙目復(fù)雜細(xì)胞的響應(yīng)能量值。

匹配塊之間的位置和方向關(guān)系有以下3種情況:

1)左右圖像間的2個匹配塊具有相同的位置和方向，雙目響應(yīng)能量為

其中，ρi(x)是單目響應(yīng)幅度，由亮度或色度分量的實(shí)部和虛部通過以下公式計(jì)算得到)

Δφ(x)表示左右對應(yīng)像素間的相位差，Δφ(x)=φl(x)-φr(x)。單目響應(yīng)相位是匹配塊除大小、位置和方向之外另一個重要特征描述量，通過式(4)計(jì)算得到

2)左右圖像間兩個匹配塊的方向相同位置不同，存在雙目水平差距d，Cr(x)是Cl(x)平移之后的值，即Cr(x)=Cl(x-d)。因?yàn)槲恼轮豢紤]校正過的圖像，所以雙目差距只存在水平方向的位移。于是，相位關(guān)系為φr(x)=φl(x-d)，對雙目相位差進(jìn)行泰勒展開，即

雙目響應(yīng)能量為

3)當(dāng)雙目水平差距d繼續(xù)增大，左右圖像間的兩個匹配塊不僅位置不同，方向也會發(fā)生改變，這使得雙目相位差需要用差距d和方向改變Δω來表示，如式(7)所示

雙目響應(yīng)能量為

2.3 雙目能量和評價分?jǐn)?shù)計(jì)算

本文進(jìn)行全參考圖像的立體圖像客觀質(zhì)量評價。其中失真圖像與參考圖像的匹配塊具有相同的位置和大小，但是兩者的方向卻是不一樣的。這是因?yàn)閳D像失真導(dǎo)致圖像的幾何流方向有所改變，同時簡單細(xì)胞的感知方向也有所相應(yīng)的改變。同時，由于小波變換的系數(shù)跟空間失真是有直接關(guān)系的，所以失真圖像的實(shí)部和虛部系數(shù)相對于參考圖像是有改變的，于是在計(jì)算雙目能量的時候，幅度ρ(x)和相位φ(x)都跟參考圖像的對應(yīng)結(jié)果存在差別。

在本文中，最終的質(zhì)量評價是通過比較失真圖像和參考圖像的雙目能量實(shí)現(xiàn)的

將圖像小波分解為L個等級，于是小波分解的子帶總數(shù)為S=(3×L)+1;Ni是對應(yīng)第i個子帶中簡單細(xì)胞，即匹配塊的個數(shù);C是色彩空間分量個數(shù)，在該算法中，C=2，分別對應(yīng)亮度分量和色度分量。

3 實(shí)驗(yàn)結(jié)果

本文在評估算法時采用文獻(xiàn)［13］的立體圖像庫。由于數(shù)據(jù)庫的限制，只評價了JPEG壓縮對彩色立體圖像質(zhì)量的影響。首先使用由VQEG［14］建議的方法，根據(jù)得到的客觀評價值和主觀分?jǐn)?shù)進(jìn)行非線性映射，映射公式為

式中:s是輸入的客觀評價值，在本文算法中就是由式(9)計(jì)算出的能量分?jǐn)?shù)值;M(s)是得到的映射分?jǐn)?shù);β1，β2，β3，β4是在曲線擬合過程中決定的自由參數(shù)。然后根據(jù)M(s)和主觀評價值做線性擬合，如圖5所示，圖中橫坐標(biāo)為得到的M(s)，縱坐標(biāo)為主觀MOS值。

圖5 本文算法擬合結(jié)果

本文使用的圖像庫中，JPEG壓縮有7個質(zhì)量等級(Quality Score，QS)，分別為QS=10，15，27，37，55，79，100，QS越高，圖像質(zhì)量越好。一共采用了11組圖像，所以圖中存在77個數(shù)據(jù)點(diǎn)。圖6為仿真文獻(xiàn)［11］的算法并且使用相同的擬合方法得到的數(shù)據(jù)結(jié)果?？梢钥吹剑瑘D5比圖6在擬合效果上更好。

圖6 文獻(xiàn)［11］算法擬合結(jié)果

通過計(jì)算由VQEG建議的4個統(tǒng)計(jì)參數(shù)值來評估本文算法結(jié)果跟主觀評價值的一致性，分別是非線性回歸條件下的線性相關(guān)系數(shù)(Correlation Coefficient，CC)、Spearman排序相關(guān)系數(shù)(Spearman Rank Order Correlation Coefficient，SROCC)、絕對誤差均值(Mean Absolute Error，MAE)和均方差的平方根(Root Mean Squared Error，RMSE)。同時比較了本文算法與仿真文獻(xiàn)［11］中算法得到的數(shù)據(jù)，結(jié)果見表1。

表1 不同算法結(jié)果數(shù)據(jù)的比較

根據(jù)以上結(jié)果可以看到，本文算法相較于文獻(xiàn)［11］中的算法與主觀評價值具有更好的擬合度，即具有更大的CC和ROCC，更小的MAE和RMAE。

4 小結(jié)

本文提出一種針對彩色立體圖像的全參考圖像質(zhì)量客觀評價算法，通過模擬視覺系統(tǒng)對視網(wǎng)膜圖像的響應(yīng)達(dá)到評價圖像質(zhì)量的目的。首先通過用復(fù)雜小波變換、離散小波變換來模擬視覺皮層細(xì)胞接收場的作用，再通過Bandelet變換來模擬視覺系統(tǒng)中簡單細(xì)胞的組成結(jié)構(gòu)，繼而根據(jù)視覺系統(tǒng)中簡單細(xì)胞和復(fù)雜細(xì)胞的合作方式構(gòu)建出能量模型，最終將能量計(jì)算結(jié)果作為人腦對彩色立體圖像的響應(yīng)大小，并判斷這個能量響應(yīng)大小與主觀評價值的相符性。實(shí)驗(yàn)結(jié)果表明，該算法的結(jié)果與引用圖像庫的主觀評價結(jié)果有較好的擬合度，能較好地評價彩色立體圖像質(zhì)量。

［1］LAMBOOIJ M，IJSSELSTEIJN W，HEYNDERICKX I.Visual discomfort in stereoscopic displays:a review［C］//Proc.SPIE 6490，Stereoscopic Displays and Virtual Reality Systems XIV.San Jose，CA，USA:SPIE Press，2007:1-13.

［2］成于慶，姜秀華.立體電視視頻質(zhì)量影響因素分析［J］.電視技術(shù)，2011，35(12):80-83.

［3］CAMPISI P，CALLET P L，MARINI E.Stereoscopic images quality assessment［EB/OL］.［2012-11-02］.http://www.irccyn.ec-nantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［4］BENOIT A，CALLET P L，CAMPISI P，et al.Using disparity for quality assessment of stereoscopic images［C］//Proc.ICIP’08.［S.l.］:IEEE Press，2008:389-392.

［5］BENOIT A，CALLET P L，CAMPISI P，et al.Quality assessment of stereoscopic images［EB/OL］.［2012-11-02］.http://www.irccyn.ecnantes.fr/～lecallet/paper/lecallet-Eusipco07.pdf.

［6］MAALOUF A，LARABI M C.CYCLOP:a stereo color image quality assessment metric［C］//Proc.ICASSP 2011.［S.l.］:IEEE Press，2011:1161-1164.

［7］BOEV A，GOTCHEV A，EGIAZARIAN K.Towards compound stereovideo quality metric:a specific encoder-based framework［C］//Proc.IEEE Southwest Symposium Image Analysis and Interpretation.Denver，CO，USA:IEEE Press，2006:218-222.

［8］YANG J，HOU C，ZHOU Y，et al.Objective quality assessment method of stereo images［C］//Proc.IEEE 3DTV Conference.Potsdam，Germany:IEEE Press，2009:1-4.

［9］BENSALMA R，CHAKER M.Towards a perceptual quality metric for color stereo images［C］//Proc.IEEE 17th International Conferences on Image Processing.Hong Kong:IEEE Press，2010:26-29.

［10］READ J，PARKER A J，CUMMING B G.A simple model accounts for the response of disparity-tuned V1 neurons to anticorrelated images［J］.Visual Neuroscience，2002(19):735-753.

［11］KINGSBURY N.The dual-tree complex wavelet transform:a new technique for shift invariance and directional filters［C］//Proc.8th IEEE DSP Workshop.Bryce Canyon，USA:IEEE Press，1998:319-322.

［12］PEYRE G，MALLAT S.Surface compression with geometric bandelets［J］.ACM Transactions on Graphics，2005，24(3):601-608.

［13］SAZZAD Z，YAMANAKA S，KAWAYOKE Y，et al.Stereoscopic image quality prediction［C］//Proc.IEEE QoMEX.San Diego，CA，USA:IEEE Press，2009:29-31.

［14］VQEG final report of FR-TV phase II validation test 2003［EB/OL］.［2012-11-02］.http://www.vqeg.org.