張爽爽，周武杰

(浙江科技學(xué)院 信息與電子工程學(xué)院，杭州 310023)

立體圖像的相關(guān)應(yīng)用越來(lái)越多地出現(xiàn)在人們的日常生活中。在立體圖像的收集、傳輸、處理和顯示過(guò)程中，可能會(huì)發(fā)生多種失真。因此，建立一種高性能的立體圖像質(zhì)量評(píng)價(jià)方法具有重要的現(xiàn)實(shí)意義。立體圖像質(zhì)量評(píng)價(jià)分為客觀評(píng)價(jià)方法和主觀評(píng)價(jià)方法兩種方式。由于主觀評(píng)價(jià)方法耗時(shí)、費(fèi)力，在實(shí)時(shí)場(chǎng)景中的應(yīng)用成為一大難題，因此，客觀評(píng)價(jià)方法的應(yīng)用更加廣泛，它包括全參考評(píng)價(jià)、部分參考評(píng)價(jià)和無(wú)參考評(píng)價(jià)3種主要方法。全參考評(píng)價(jià)方法利用原始參考圖像與失真圖像進(jìn)行對(duì)比，從而獲得它們之間的差異性；部分參考評(píng)價(jià)方法使用了部分未失真原始參考圖像信息；無(wú)參考評(píng)價(jià)方法則完全沒(méi)有使用未失真原始參考圖像。由于未失真的原始參考圖像在實(shí)際應(yīng)用中很難得到，所以無(wú)參考評(píng)價(jià)方法具有更高的實(shí)際應(yīng)用價(jià)值。

在對(duì)客觀立體圖像質(zhì)量評(píng)價(jià)的研究中，Chen等[1]提出一種傳統(tǒng)的立體圖像質(zhì)量評(píng)價(jià)方法，即使用二維圖像拓展到立體圖像的評(píng)價(jià)方法。隨著深度學(xué)習(xí)方法的發(fā)展，Lv等[2]提出了一種傳統(tǒng)算法與深度學(xué)習(xí)算法結(jié)合的方法——基于雙目自相似性(binocular self-similarity，BS)和深層神經(jīng)網(wǎng)絡(luò)(deep neural network，DNN)的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法；Zhang等[3]提出了一種基于深度學(xué)習(xí)端到端的網(wǎng)絡(luò)框架進(jìn)行訓(xùn)練測(cè)試。此外，還有一些比較經(jīng)典的傳統(tǒng)質(zhì)量評(píng)價(jià)方法，如Sun等[4]基于雙目視覺(jué)機(jī)制的質(zhì)量評(píng)價(jià)方法；Jiang等[5]不僅利用雙目相互作用作為圖像質(zhì)量評(píng)價(jià)特征，還利用非負(fù)矩陣因子分解的顏色視覺(jué)特征；Hachicha等[6]提出基于小波分解和統(tǒng)計(jì)模型聯(lián)合的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法；Yang等[7]提出基于梯度字典顏色視覺(jué)特征學(xué)習(xí)的立體圖像質(zhì)量評(píng)價(jià)方法。2019年立體圖像質(zhì)量評(píng)價(jià)領(lǐng)域依舊呈快速發(fā)展的狀態(tài)[8-12]，Wu等[8]提出了一種基于層級(jí)結(jié)構(gòu)的無(wú)參考圖像質(zhì)量評(píng)價(jià)方法，一種從局部結(jié)構(gòu)到深度語(yǔ)義的方法。為了準(zhǔn)確評(píng)價(jià)多種失真圖像質(zhì)量，Jiang等[9]和Liu等[10]提出針對(duì)一種或多種圖像失真的質(zhì)量評(píng)價(jià)方法，前者通過(guò)學(xué)習(xí)單目和雙目局部視覺(jué)基元(monocular and binocular local visual primitives，MB-LVPs)來(lái)表征視覺(jué)皮層的局部感受野特征，從而進(jìn)行圖像質(zhì)量評(píng)價(jià)，后者提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)框架進(jìn)行分類(lèi)和預(yù)測(cè)的立體圖像質(zhì)量評(píng)價(jià)方法。

上述研究雖然在立體圖像評(píng)價(jià)問(wèn)題上取得了一定的成果，但均沒(méi)有考慮通用性，也沒(méi)有將圖像顯著性作為研究對(duì)象，而且很少慮及立體圖像左右視點(diǎn)權(quán)重分配問(wèn)題，因此，在上述研究的基礎(chǔ)上本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)方法，并通過(guò)試驗(yàn)分析驗(yàn)證了算法的有效性和魯棒性。

1 理論基礎(chǔ)

1.1 融合圖生成原理

立體圖像左右視點(diǎn)的融合圖采用文獻(xiàn)[1]中的方法，又叫中央眼圖。融合圖像的生成公式如下：

Merge(x,y)=WL(x,y)IL(x,y)+WR(x+d,y)IR(x+d,y)。

(1)

式(1)中：Merge為立體圖像左右視點(diǎn)的融合圖像；WL和WR分別為左右視點(diǎn)的權(quán)值；IL和IR分別為立體圖像的左視點(diǎn)圖像和右視點(diǎn)圖像；(x,y)表示圖像某一像素點(diǎn)位置；d為立體圖像左右視點(diǎn)的視差值。WL和WR是由歸一化Gabor濾波器幅值響應(yīng)得到的，其公式如下：

(2)

(3)

式(2)～(3)中：GL和GR分別為立體圖像左右視點(diǎn)的卷積響應(yīng)和。濾波器的形式如式(4)所示，是一個(gè)復(fù)數(shù)Gabor濾波器：

(4)

式(4)中：σx和σy分別為橢圓高斯包絡(luò)線x軸和y軸的標(biāo)準(zhǔn)差；ζx和ζy分別為x方向和y方向的空間頻率；θ為濾波器方向；R1=xcosθ+ysinθ，R2=-xsinθ+ycosθ。

1.2 深度學(xué)習(xí)原理

深度學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù)，教計(jì)算機(jī)執(zhí)行人類(lèi)與生俱來(lái)的活動(dòng)：從示例中學(xué)習(xí)。在深度學(xué)習(xí)中,計(jì)算機(jī)模型直接從圖像、文本或聲音中學(xué)習(xí)執(zhí)行分類(lèi)任務(wù)或其他任務(wù)。深度學(xué)習(xí)模型可以達(dá)到相對(duì)最優(yōu)的精確度，有時(shí)甚至超過(guò)人類(lèi)的表現(xiàn)。該模型使用大量的標(biāo)簽化數(shù)據(jù)及包含許多層的神經(jīng)網(wǎng)絡(luò)架構(gòu)訓(xùn)練得到。深度學(xué)習(xí)廣泛應(yīng)用于自動(dòng)駕駛、航空、國(guó)防、醫(yī)學(xué)、工業(yè)自動(dòng)化、電子學(xué)等領(lǐng)域。大多數(shù)深度學(xué)習(xí)方法使用神經(jīng)網(wǎng)絡(luò)架構(gòu)，這也是深度學(xué)習(xí)模型通常被稱(chēng)為深度神經(jīng)網(wǎng)絡(luò)的原因。深度一詞通常是指神經(jīng)網(wǎng)絡(luò)中的隱藏層數(shù)。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)只包含2～3個(gè)隱藏層，而深度網(wǎng)絡(luò)可能多達(dá)150個(gè)隱藏層。深度學(xué)習(xí)模型通過(guò)使用大量的標(biāo)簽化數(shù)據(jù)進(jìn)行訓(xùn)練，而神經(jīng)網(wǎng)絡(luò)架構(gòu)直接通過(guò)數(shù)據(jù)學(xué)習(xí)特征，不需要手動(dòng)提取特征。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)是最流行的深度神經(jīng)網(wǎng)絡(luò)類(lèi)型之一。CNN使用二維卷積層學(xué)習(xí)輸入數(shù)據(jù)的特征，這樣的方式很適合處理二維數(shù)據(jù)(例如圖像)。CNN通過(guò)直接從圖像提取特征來(lái)運(yùn)作，這種自動(dòng)化的特征提取使深度學(xué)習(xí)模型能夠?yàn)橛?jì)算機(jī)視覺(jué)任務(wù)(如圖像質(zhì)量評(píng)價(jià))提供高精確度。

2 模型方法

基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)價(jià)方法整體結(jié)構(gòu)如圖1所示，將立體圖像的融合圖像輸入質(zhì)量圖生成網(wǎng)絡(luò)中，得到相應(yīng)的質(zhì)量評(píng)分，然后加權(quán)融合得到最終的質(zhì)量評(píng)分。質(zhì)量圖生成模塊和加權(quán)融合模塊是基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)價(jià)方法的主要組成部分。

圖1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量評(píng)價(jià)方法的整體結(jié)構(gòu)

2.1 質(zhì)量圖生成模塊

質(zhì)量圖生成網(wǎng)絡(luò)模型主要采用SegNet網(wǎng)絡(luò)[13]，其主要組成層為卷積層，在編碼器部分，基本結(jié)構(gòu)是兩層卷積加一層池化作為一個(gè)小模塊，輸入失真圖像的大小為w×h×3，輸出質(zhì)量圖的大小為w×h，卷積核的大小都是3×3，激活函數(shù)采用線性修正單元(ReLU)函數(shù)。第l層具有C個(gè)濾波器的卷積層，其第i個(gè)濾波器的輸出

(5)

網(wǎng)絡(luò)中使用的監(jiān)督標(biāo)簽是基于圖像結(jié)構(gòu)相似度(feature similarity，F(xiàn)SIM)的質(zhì)量圖，局部求FSIM質(zhì)量圖的效果要好于全局[14]。因此，本文中的FSIM質(zhì)量圖是局部映射矩陣。

2.2 加權(quán)融合模塊

由于人眼對(duì)不同的立體圖像的視覺(jué)關(guān)注度不一樣，關(guān)注度越高的地方如果失真程度越大，則會(huì)嚴(yán)重影響立體視覺(jué)的整體質(zhì)量，因此本文采用視覺(jué)顯著的方法對(duì)質(zhì)量圖進(jìn)行加權(quán)，得到最終的立體圖像視覺(jué)質(zhì)量

(6)

式(6)中：Qmap為立體圖像融合視點(diǎn)圖像的預(yù)測(cè)質(zhì)量圖；Smap為立體圖像融合視點(diǎn)圖像的視覺(jué)顯著圖；x為立體圖像融合視點(diǎn)圖像的尺寸。

3 試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)數(shù)據(jù)庫(kù)

將三維圖像質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)LIVE Phase Ⅰ[15]和LIVE Phase Ⅱ[16]用于試驗(yàn)結(jié)果對(duì)比分析。

LIVE Phase Ⅰ：20對(duì)未失真的原始參考立體圖像，365對(duì)失真立體圖像；每個(gè)視點(diǎn)圖像的大小為640 pixel×360 pixel；包含JPEG壓縮失真、JPEG2000壓縮失真、加性高斯白噪聲(white noise，WN)失真、快速衰減(fast fading，F(xiàn)F)通道失真和高斯模糊(gaussian blur，GB)失真5種不同程度的失真；每對(duì)失真圖像均為對(duì)稱(chēng)失真，且都有一個(gè)差分均值意見(jiàn)得分(different mean opinion score，DMOS)。

LIVE Phase Ⅱ：8對(duì)未失真的原始參考立體圖像，360對(duì)失真立體圖像；每個(gè)視點(diǎn)圖像的大小為640 pixel×360 pixel；與LIVE Phase Ⅰ一樣，包含5種不同程度的失真；針對(duì)每種失真類(lèi)型，每對(duì)原始立體圖像生成3組對(duì)稱(chēng)失真立體圖像對(duì)和6組非對(duì)稱(chēng)失真立體圖像對(duì)，非對(duì)稱(chēng)表示立體圖像的左右視點(diǎn)為不同類(lèi)型的失真或不同的失真等級(jí)；每對(duì)立體圖像都有一個(gè)DMOS值。

3.2 試驗(yàn)訓(xùn)練階段

試驗(yàn)在操作系統(tǒng)64位的計(jì)算機(jī)上實(shí)現(xiàn)，使用NVIDIA GTX 1080 TI顯卡。深度融合網(wǎng)絡(luò)框架是在以TensorFlow為后端的Keras深度框架上運(yùn)行的。在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，使用的優(yōu)化器是Adam。在迭代過(guò)程中，批量大小(batch size)為16，次數(shù)(epochs)為100，損失(loss)為均方誤差(mean square error，MSE)。

3.3 試驗(yàn)結(jié)果分析

利用皮爾森線性相關(guān)系數(shù)(Pearson linear correlation coefficient，PLCC)、斯皮爾曼秩相關(guān)系數(shù)(Spearman rank order correlation coefficient，SROCC)、均方根誤差(root mean square error，RMSE)3個(gè)評(píng)價(jià)指標(biāo)對(duì)比模型的精確度。用PLCC度量模型的預(yù)測(cè)準(zhǔn)確性，若PLCC相關(guān)系數(shù)的值越接近1，則說(shuō)明該圖像質(zhì)量評(píng)價(jià)算法的性能越好。由于我們創(chuàng)建的平面數(shù)據(jù)庫(kù)只包含JPEG、JPEG2000、WN和GB 4種失真類(lèi)型，所以試驗(yàn)中只對(duì)這些失真進(jìn)行測(cè)試分析。表1和表2分別為用PLCC和SROCC兩個(gè)性能指標(biāo)將本文方法與一些經(jīng)典評(píng)價(jià)方法進(jìn)行對(duì)比的結(jié)果。對(duì)比的6種方法分別是SSIM、FSIM、GMSD、Chen[1]、Bensalma[11]和Shao[12]，前3種為平面全參考圖像評(píng)價(jià)方法，后3種為立體圖像質(zhì)量評(píng)價(jià)方法。所有失真包含JPEG2000、JPEG、WN、GB 4種失真類(lèi)型。PLCC系數(shù)顯示，本文方法在整體上占優(yōu)勢(shì)；SROCC系數(shù)對(duì)比結(jié)果表明，本文方法應(yīng)用于非對(duì)稱(chēng)失真立體圖像會(huì)有更好的效果。由于本文為無(wú)參考評(píng)價(jià)方法，本文方法可能略低于全參考評(píng)價(jià)方法，但相比較于無(wú)參考方法，本文方法確實(shí)達(dá)到了一定的預(yù)期。

表1 本文方法與其他方法在PLCC評(píng)價(jià)指標(biāo)上的結(jié)果對(duì)比

表2 本文方法與其他方法在SROCC評(píng)價(jià)指標(biāo)上的結(jié)果對(duì)比

4 結(jié) 語(yǔ)

本研究基于自制的失真平面圖像數(shù)據(jù)集提出了一種有效的立體圖像質(zhì)量評(píng)價(jià)方法。首先以自制平面圖像數(shù)據(jù)集及其相應(yīng)的高性能全參考圖像質(zhì)量評(píng)價(jià)方法求得的質(zhì)量圖為標(biāo)簽，對(duì)質(zhì)量圖生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，利用深度卷積神經(jīng)網(wǎng)絡(luò)能夠較好地模擬人類(lèi)視覺(jué)系統(tǒng)神經(jīng)元的生理功能，使得網(wǎng)絡(luò)的預(yù)測(cè)與人類(lèi)主觀得分保持高度一致；然后使用訓(xùn)練好的網(wǎng)絡(luò)對(duì)融合視點(diǎn)進(jìn)行質(zhì)量圖預(yù)測(cè)；最后經(jīng)加權(quán)融合得到立體圖像的質(zhì)量得分。在此基礎(chǔ)上，將本文方法在兩個(gè)知名的三維LIVE質(zhì)量評(píng)價(jià)數(shù)據(jù)庫(kù)進(jìn)行試驗(yàn)分析，結(jié)果表明我們提出的算法在一定程度上提高了圖像質(zhì)量評(píng)價(jià)的性能。