王 寬，楊 環(huán)，潘振寬，司建偉

（青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東青島 266071）

0 概述

隨著社會(huì)的發(fā)展，不同的3D 應(yīng)用場(chǎng)景已經(jīng)深入人們的日常生活，如電影業(yè)、制造業(yè)、游戲業(yè)等領(lǐng)域。立體圖像在傳輸、存儲(chǔ)和處理時(shí)會(huì)因失真導(dǎo)致視覺感知質(zhì)量下降。近年來，隨著高質(zhì)量立體圖像需求的增加，立體圖像質(zhì)量評(píng)價(jià)（Stereoscopic Images Quality Assessment，SIQA）成為現(xiàn)代圖像處理技術(shù)的研究熱點(diǎn)。

在客觀圖像質(zhì)量評(píng)價(jià)方面，研究人員提出一系列高性能的2D圖像質(zhì)量評(píng)估（2D Image Quality Assessment，2D-IQA）算法［1-3］。SIQA 不僅考慮2D 單目圖像的失真程度，還考慮雙目視覺感知體驗(yàn)帶來的影響。

立體圖像是由一對(duì)2D 單目圖像組成，又稱左右視圖圖像，分別代表投影到觀看者每只眼睛上的景象。當(dāng)人們?cè)谟^看立體圖像時(shí)，人類視覺系統(tǒng)（Human Visual System，HVS）經(jīng)過復(fù)雜的雙目融合和雙目競(jìng)爭(zhēng)的過程，將立體圖像中的左右視圖融合為人腦中的3D 視圖，這種融合的視圖不僅依賴于雙眼受到刺激的差異，還依賴于呈現(xiàn)給每只眼睛不同圖案部分的幾何關(guān)系［4］。因此，立體圖像質(zhì)量不僅與每張單獨(dú)的左視圖或右視圖失真程度有關(guān)，還與雙目立體感知體驗(yàn)有關(guān)。

雙目視覺具有更復(fù)雜的感知過程，難以準(zhǔn)確量化。針對(duì)SIQA 的量化問題，解決策略主要是分別計(jì)算左視圖和右視圖的質(zhì)量分?jǐn)?shù)，再利用不同方法給左右視圖分配權(quán)重，用加權(quán)和的形式得到立體圖像的質(zhì)量分?jǐn)?shù)?；诖瞬呗缘难芯糠椒ㄍǔＪ窃谧笥乙晥D上分別使用2D-IQA 方法，然后將獲得的兩個(gè)質(zhì)量得分進(jìn)行融合，融合方式主要是基于眼睛加權(quán)［5］、增益控制［6］、神經(jīng)網(wǎng)絡(luò)［7］、矢量求和［8］等模型來實(shí)現(xiàn)。雖然左右視圖均能夠反映立體圖像質(zhì)量的特征信息，但具有較高對(duì)比度的一側(cè)圖像在SIQA 中會(huì)產(chǎn)生更重要的影響［9］。這種方法在模擬HVS 感知信息的過程中未充分考慮到雙目視覺感知特性的影響，有可能導(dǎo)致評(píng)價(jià)結(jié)果與真實(shí)結(jié)果的偏差。SIQA 量化問題的解決策略還可以利用圖像融合方法將左視圖和右視圖融合為一幅圖像，再基于此幅圖像進(jìn)行SIQA。左右視圖融合后的圖像被稱為中間視圖，用于模擬人類大腦中感知到的真實(shí)圖像。人們?cè)谟^察過程中，左右眼睛分別從外界獲取兩張視覺場(chǎng)景，同時(shí)HVS 自發(fā)地將兩者進(jìn)行融合，使觀察者只感受到一個(gè)場(chǎng)景。當(dāng)HVS 融合左右眼睛獲取的視覺場(chǎng)景時(shí)，中間視圖會(huì)受深度感知［10］、雙目視差［11］、雙目競(jìng)爭(zhēng)［12］等因素的影響。文獻(xiàn)［12］從失真立體圖像和參考立體圖像中分別融合中間視圖，然后針對(duì)這兩張中間視圖利用2D-IQA 方法來評(píng)價(jià)立體圖像的質(zhì)量。圖像融合方法提取的特征信息是基于生成的中間視圖，雖然這種方法考慮到了雙目視覺的感知特性，在一定程度上提高了立體圖像質(zhì)量的預(yù)測(cè)性能，但并沒有直接針對(duì)2D 單目圖像提取特征，忽略了單目視覺信息產(chǎn)生的影響。

研究人員提出一些基于深度學(xué)習(xí)的SIQA 模型：文獻(xiàn)［13］構(gòu)建一種將局部特征融合為全局特征的無參考SIQA 模型，將左右視圖切割后分別輸入卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）得到局部特征，最后將這些局部特征融合為全局特征以預(yù)測(cè)立體圖像的質(zhì)量得分；文獻(xiàn)［14］提出一種三列CNN 模型，以學(xué)習(xí)左右視圖和視差圖中圖像塊的局部結(jié)構(gòu)信息，利用多層感知器將學(xué)習(xí)到的特征融合為SIQA 得分。這些基于深度學(xué)習(xí)的模型雖然可以自動(dòng)提取圖像的特征，但是由于特征提取的封閉性，使得這些模型可解釋性較低，可能導(dǎo)致網(wǎng)絡(luò)難以優(yōu)化，并且CNN 的訓(xùn)練具有很高的時(shí)間復(fù)雜度。相反，傳統(tǒng)模型具有可解釋性較高且時(shí)間復(fù)雜度較低等優(yōu)點(diǎn)。

本文提出一種基于單目視覺信息和雙目視覺信息的SIQA 模型。通過結(jié)合顯著圖、Gabor 能量響應(yīng)圖和視差矩陣生成中間視圖，分別利用左右視圖和中間視圖提取單目視覺信息和雙目視覺信息，根據(jù)上述特征信息計(jì)算單目質(zhì)量分?jǐn)?shù)和雙目質(zhì)量分?jǐn)?shù)并融合為整體質(zhì)量分?jǐn)?shù)。同時(shí)在全局特征提取過程的基礎(chǔ)上增加局部相位特征和局部幅度特征，提高提取特征的完整性。在結(jié)合單目圖像的特征相似性上平衡亮度、對(duì)比度和相位一致性特征之間的相似度關(guān)系，從而提高單目圖像質(zhì)量評(píng)價(jià)的準(zhǔn)確性。

1 MB-FR-SIQA 模型

MB-FR-SIQA 模型結(jié)構(gòu)如圖1 所示。虛線部分分別代表生成中間視圖的過程、提取單目視覺信息和雙目視覺信息的過程，最后基于提取的特征信息分別計(jì)算單目質(zhì)量分?jǐn)?shù)和雙目質(zhì)量分?jǐn)?shù)，并將其融合為整體質(zhì)量得分。

圖1 MB-FR-SIQA 模型結(jié)構(gòu)Fig.1 Structure of MB-FR-SIQA model

MB-FR-SIQA 模型是基于單目視覺信息和雙目視覺信息評(píng)估立體圖像的質(zhì)量，其包括生成中間視圖、基于中間視圖提取雙目視覺信息、基于單目圖像提取單目視覺信息、基于單目和雙目視覺信息的質(zhì)量評(píng)估4 個(gè)主要階段。

1.1 中間視圖生成

在SIQA 模型中，中間視圖用于模擬觀察者大腦中形成的圖像，根據(jù)人類雙目視覺感知特性而形成。當(dāng)觀察者觀察圖像時(shí)，兩只眼睛接收到圖像的刺激強(qiáng)度并不是完全相同的，由于雙目信息不匹配而發(fā)生雙目競(jìng)爭(zhēng)現(xiàn)象，因此在中間視圖的生成過程中需要考慮到雙目競(jìng)爭(zhēng)現(xiàn)象。Gabor 濾波器能夠較準(zhǔn)確地模擬人眼的感受野，并且在提取目標(biāo)的局部空間和頻率域信息方面具有較好的效果［12］。因此，MBFR-SIQA 模型在左右視圖上使用Gabor 濾波器能量響應(yīng)以模擬刺激強(qiáng)度。基于文獻(xiàn)［15］所做的工作，本文對(duì)2D Gabor 濾波器定義為：

其中：R1=xcosθ+ysinθ，R2=ycosθ-xsinθ；σx和σy分別為橢圓高斯包絡(luò)沿x和y軸的標(biāo)準(zhǔn)偏差；ζx和ζy為空間頻率；θ為確定濾波器的方向。

在Gabor 濾波器空間頻率為3.67（°）的條件下，該模型在4 個(gè)方向（水平、對(duì)角線和垂直）上通過Gabor 濾波器幅度響應(yīng)求和來估算局部能量［12］。

在立體圖像中，顯著性反映了人眼對(duì)不同區(qū)域的關(guān)注程度，在顯著區(qū)域上的失真對(duì)圖像質(zhì)量評(píng)價(jià)結(jié)果具有較大的影響。因此，本文通過改進(jìn)左右眼加權(quán)系數(shù)的計(jì)算方法，將顯著性圖加入計(jì)算過程中，對(duì)Gabor 能量響應(yīng)進(jìn)行調(diào)整，從而提高加權(quán)系數(shù)的準(zhǔn)確性，其中基于SDSP 方法［16］獲取顯著性圖。在中間視圖的生成過程中，雙目視差信息也需要被考慮在內(nèi)，本文利用基于SSIM 的立體視差算法［12］得到參考和失真立體圖像的視差矩陣，結(jié)合Gabor 能量響應(yīng)圖、顯著性圖和視差矩陣，通過線性組合方式生成中間視圖，如式（2）所示：

其中：C為中間視圖；IL和IR分別為左視圖和右視圖圖像；WL和WR分別為左眼和右眼的加權(quán)系數(shù)，在生成中間視圖的過程中視差補(bǔ)償表示為（x+d）。加權(quán)系數(shù)的計(jì)算如式（3）、式（4）所示：

圖2 中間視圖生成Fig.2 Generation of cyclopean images

1.2 雙目視覺信息的提取

中間視圖代表左右視圖在人的大腦中產(chǎn)生的立體圖像，通過從中間視圖提取相應(yīng)的特征信息反映其雙目質(zhì)量，除考慮到傳統(tǒng)的全局特征以外，本文還結(jié)合局部特征信息。全局特征包括基于中間視圖提取的亮度、對(duì)比度和結(jié)構(gòu)特征，局部特征包括基于中間視圖提取的局部相位和局部幅度特征。

文獻(xiàn)［2］給出圖像的亮度相似度、對(duì)比度相似度和結(jié)構(gòu)相似度特征，如式（5）～式（7）所示：

根據(jù)相位一致性理論，局部特征可以通過最大化傅里葉分量提取局部相位和局部幅度特征［17］。文獻(xiàn)［18］研究表明，使用log-Gabor 能夠很好地模擬初級(jí)視覺皮層中的簡(jiǎn)單細(xì)胞［18］。因此，文獻(xiàn)［19］是通過log-Gabor 濾波器進(jìn)行相位一致性計(jì)算，并在傅里葉頻域中通過應(yīng)用log-Gabor 濾波器Gs，o來獲得在尺度s和方向o上的一組響應(yīng)，用［ηs，o，ξs，o］表 示。Gs，o(r，θ)如式（8）所示：

其中：s和o分別為空間尺度指數(shù)和方向指數(shù)；參數(shù)ω和θ為濾波器的歸一化徑向頻率和方向角；ωs和θo分別為濾波器的相應(yīng)中心頻率和方向；參數(shù)σs和σo決定了濾波器的強(qiáng)度。在位置x處的局部幅度如式（9）所示：

沿方向o的局部能量如式（10）所示：

其中：ε為一個(gè)極小的正數(shù)。與文獻(xiàn)［20-21］的方法不同，MB-FR-SIQA 模型沒有直接使用相位一致性來表示特征，而是采用局部相位和局部幅度表示圖像的特征。局部相位被定義為Fo(x)和Ho(x)的反正切函數(shù)值，如式（12）所示：

其中：om為對(duì)應(yīng)于最大相位一致性值的方向。局部幅度定義為沿om方向上所有尺度的局部幅度之和，如式（13）所示：

在實(shí)驗(yàn)中，關(guān)于log-Gabor 濾波器的參數(shù)選擇，本文設(shè)置：ωs=1/6，θo=0，σs=0.3，σo=0.4，并且濾波器的比例和方向數(shù)均設(shè)置為4?；谥虚g視圖提取的局部相位特征圖和局部幅度特征圖如圖3 所示。

圖3 基于中間視圖提取的局部相位特征圖和局部幅度特征圖Fig.3 Local phase feature images and local amplitude feature images extracted based on cyclopean image

1.3 單目視覺信息的提取

立體圖像中左視圖和右視圖具有反映3D 圖像質(zhì)量的特征信息，在此階段，從左右視圖中分別提取單目視覺信息，其中包含相位一致性、亮度和對(duì)比度特征，然后分別計(jì)算這3 種特征對(duì)應(yīng)的相似性，同時(shí)將其進(jìn)行有效地融合。

相位一致性可以通過式（11）獲取，參考圖像和失真圖像的相位一致性分別表示為則相位一致性相似度如式（14）所示：

其中：C4為一個(gè)極小的正數(shù)。

亮度相似性、對(duì)比度相似性通過式（5）、式（6）獲取，基于文獻(xiàn)［2］的工作，用Sl(x)、Sc(x)分別代表實(shí)驗(yàn)中圖像的亮度相似性和對(duì)比度相似性。同時(shí)，本文提出一種特征相似性的融合方式，有效結(jié)合以上3 種特征信息，計(jì)算出參考圖像與失真圖像之間的相似性S(x)，如式（15）所示：

其中：α、β和γ為用于調(diào)整相位一致性、亮度和對(duì)比度相對(duì)重要性的平衡參數(shù)。本文設(shè)置α=β=γ=1。

1.4 基于單目和雙目視覺信息的質(zhì)量評(píng)估

基于1.2 節(jié)提取的雙目視覺信息計(jì)算2 個(gè)雙目質(zhì)量分?jǐn)?shù)Q1、Q2，并且基于1.3 節(jié)提取的單目視覺信息計(jì)算出單目質(zhì)量分?jǐn)?shù)Q3。本文提出一種適合MB-FR-SIQA 模型的合并方法，將雙目質(zhì)量分?jǐn)?shù)與單目質(zhì)量分?jǐn)?shù)融合為立體圖像的整體質(zhì)量得分。

式（5）～式（7）能夠從中間視圖中得到亮度、對(duì)比度和結(jié)構(gòu)特征信息，然后采用MS-SSIM［2］方法計(jì)算雙目質(zhì)量分?jǐn)?shù)Q1，如式（16）所示：

其中：Cref為參考中間視圖；Cdis為失真中間視圖。

基于式（12）、式（13）可以從中間視圖中獲得局部相位和局部幅度特征信息，然后計(jì)算雙目質(zhì)量分?jǐn)?shù)Q2。令分別表示從參考和失真中間視圖中提取的局部相位特征，為從參考和失真中間視圖中提取的局部幅度特征。則中間視圖中每個(gè)像素位置對(duì)應(yīng)的質(zhì)量分?jǐn)?shù)如式（17）所示：

其中：WP和WA分別為局部相位和局部幅度對(duì)應(yīng)的權(quán)重，本實(shí)驗(yàn)中設(shè)置WP=0.6，WA=0.4。

雙目質(zhì)量分?jǐn)?shù)Q2如式（18）所示：

其中：C為中間視圖；Nc為中間視圖的像素?cái)?shù)。

基于式（15）可以得到參考圖像與失真圖像之間的相似度信息，每個(gè)像素位置x對(duì)應(yīng)的相似度為S(x)。依據(jù)相似度信息可以計(jì)算單目質(zhì)量分?jǐn)?shù)，在計(jì)算過程中要注意到不同的像素位置產(chǎn)生的視覺信號(hào)對(duì)HVS 刺激程度不同。由于人類的視覺皮層對(duì)相位一致性的結(jié)構(gòu)比較敏感［22］，因此本文使用來加權(quán)S(x)可以更精確地得到單目質(zhì)量分?jǐn)?shù)。以左視圖為例，其質(zhì)量分?jǐn)?shù)如式（19）所示：

其中：Ω 為圖像的空間域；SL為參考左視圖與失真左視圖的相似度指數(shù)；是基于這兩張左視圖獲取的質(zhì)量分?jǐn)?shù)。本文利用同樣的方法得到右視圖的質(zhì)量分?jǐn)?shù)QR，然后將左右視圖的質(zhì)量分?jǐn)?shù)融合為單目質(zhì)量分?jǐn)?shù)Q3，如式（20）所示：

其中：WL為左視圖質(zhì)量分?jǐn)?shù)對(duì)應(yīng)的權(quán)重；WR為右視圖質(zhì)量分?jǐn)?shù)對(duì)應(yīng)的權(quán)重。本文設(shè)置WL=WR=0.5。

當(dāng)人們觀看立體圖像時(shí)，單目視覺與雙目視覺會(huì)同時(shí)發(fā)生，通過結(jié)合單雙目視覺特征可以全面地反映圖像特征信息，從而提高SIQA 的精確度?；趶闹虚g視圖提取的全局特征信息和局部特征信息分別獲得雙目質(zhì)量分?jǐn)?shù)Q1、Q2，基于從單目圖像提取的特征信息獲得單目質(zhì)量分?jǐn)?shù)Q3，將3 個(gè)質(zhì)量分?jǐn)?shù)進(jìn)行融合，本文提出一種適合此模型的合并方法來獲取整體質(zhì)量分?jǐn)?shù)，如式（21）所示：

其中：a、b、c為分配給Q1、Q2和Q3的不同權(quán)重，并且約束a+b+c=1，在實(shí)驗(yàn)過程中，a、b、c取值范圍均為［0.1，0.2，…，0.8］，通過使用不同的參數(shù)組合進(jìn)行實(shí)驗(yàn)結(jié)果分析，當(dāng)a=0.4、b=0.3、c=0.3 時(shí)，實(shí)驗(yàn)結(jié)果最佳，因此將其設(shè)為本文模型的最終權(quán)重。

2 實(shí)驗(yàn)與結(jié)果分析

本節(jié)將分析MB-FR-SIQA 模型預(yù)測(cè)立體圖像質(zhì)量的能力。首先描述用于實(shí)驗(yàn)的數(shù)據(jù)庫和性能指標(biāo)；其次給出該模型在數(shù)據(jù)庫上的性能表現(xiàn)，同時(shí)也列出了每種失真類型的評(píng)價(jià)結(jié)果。此外，為驗(yàn)證將單目視覺信息與雙目視覺信息結(jié)合的有效性，本文把基于單目圖像的評(píng)價(jià)結(jié)果和基于中間視圖的評(píng)價(jià)結(jié)果分別與MB-FR-SIQA 模型進(jìn)行比較，進(jìn)一步證明該模型的合理性。

2.1 數(shù)據(jù)庫

本文在美國(guó)德克薩斯州大學(xué)奧斯汀分校的LIVE 3D 圖像質(zhì)量數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)［23］，該數(shù)據(jù)庫分為L(zhǎng)IVE 3D 數(shù)據(jù)庫Phase I（LIVE-I）和LIVE 3D 數(shù)據(jù)庫Phase II（LIVE-II）。LIVE-I 包含20 幅參考立體圖像和365 幅失真立體圖像，對(duì)應(yīng)于JPEG2 000 壓縮失真（JP2K）、JPEG 壓縮失真（JPEG）、加性高斯白噪聲（WN）、快速衰落（Fast Fading，F(xiàn)F）和高斯模糊（BLUR）5 種失真類型。在LIVE-I 中，所有立體圖像的左右失真都是對(duì)稱的，即左視圖和右視圖具有相同的失真程度。LIVE-II 包含8 幅參考立體圖像，以及120 幅對(duì)稱失真的立體圖像和240 幅非對(duì)稱失真的立體圖像，其失真類型與LIVE-I 相同，而且每幅參考立體圖像都經(jīng)過處理，由于各失真類型分別創(chuàng)建3幅對(duì)稱失真圖像和6 幅非對(duì)稱失真圖像，因此每種失真類型都具有9 個(gè)不同的失真級(jí)別。同時(shí)，LIVE-I和LIVE-II 為每張失真圖像提供了對(duì)應(yīng)的差分平均意見得分（Differential Mean Opinion Score，DMOS），DMOS 值表示主觀評(píng)估結(jié)果，其中較高的DMOS 值表示較低的視覺質(zhì)量。

2.2 性能指標(biāo)

本文實(shí)驗(yàn)依據(jù)文獻(xiàn)［24］方法，采用3 種通用的性能指標(biāo)評(píng)價(jià)此模型的性能，包括皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、斯皮爾曼等級(jí)相關(guān)系數(shù)（Spearman Rank Correlation Coefficient，SROCC）、均方根誤 差（Root Mean Square Error，RMSE）。在 這3 個(gè)性能指標(biāo)中，SROCC 和PLCC 分別表示預(yù)測(cè)的質(zhì)量分?jǐn)?shù)與主觀分?jǐn)?shù)之間的單調(diào)相似性和線性相關(guān)性，RMSE 可以衡量預(yù)測(cè)的準(zhǔn)確性，該準(zhǔn)確性代表主觀分?jǐn)?shù)與預(yù)測(cè)分?jǐn)?shù)之間的差值。較高的PLCC 和SROCC 值表示預(yù)測(cè)值與HVS 感知的圖像質(zhì)量具有良好的相關(guān)性，而較低的RMSE 表示該模型具有良好的性能。在評(píng)價(jià)MB-FR-SIQA 模型的性能之前，本文首先應(yīng)用邏輯函數(shù)將預(yù)測(cè)值調(diào)整為與DMOS 值相同的范圍［25］，當(dāng)PLCC=SROCC=1，RMSE=0 時(shí)，表明預(yù)測(cè)的圖像質(zhì)量分?jǐn)?shù)與真實(shí)的圖像質(zhì)量分?jǐn)?shù)完美匹配。

2.3 模型性能

為全面評(píng)價(jià)MB-FR-SIQA 模型，本文將其與5 個(gè)現(xiàn)有的無參考（No-Reference，NR）SIQA 模型和5個(gè)現(xiàn)有的全參考（Full-Reference，F(xiàn)R）SIQA 模型進(jìn)行比較。在數(shù)據(jù)庫LIVE 3D 上不同模型的性能指標(biāo)對(duì)比如表1 所示，其中“—”表示不可用的結(jié)果。從表1 可以看出，MB-FR-SIQA 模型優(yōu)于當(dāng)前多數(shù)FR SIQA和NR SIQA 模型，在LIVE-I 和LIVE-II 數(shù)據(jù)庫上性能較優(yōu)。文獻(xiàn)［12］的模型只結(jié)合左視圖和右視圖的單目視覺信息，沒有考慮HVS 的雙目視覺效應(yīng)，在數(shù)據(jù)庫上沒有表現(xiàn)出良好的性能。文獻(xiàn)［26］通過生成中間視圖來評(píng)估3D 圖像的質(zhì)量分?jǐn)?shù)，雖然考慮到HVS 的雙目視覺效應(yīng)，但未針對(duì)左右視圖提取單目視覺信息，忽略了單目信息對(duì)預(yù)測(cè)結(jié)果的影響。與MB-FR-SIQA 模型相比，文獻(xiàn)［26］模型的性能較差。因此，本文結(jié)合基于中間視圖的評(píng)價(jià)模型與基于單目圖像的評(píng)價(jià)模型是合理的，從不同方面評(píng)價(jià)3D 圖像的質(zhì)量是必要的。同時(shí)，與具有深度學(xué)習(xí)功能的NR 模型相比，在LIVE 3D 數(shù)據(jù)庫上MB-FR-SIQA 模型表現(xiàn)出較優(yōu)的預(yù)測(cè)性能。

表1 在LIVE 3D 數(shù)據(jù)庫上不同模型的性能指標(biāo)對(duì)比Table 1 Performance indexs comparison among different models on LIVE 3D database

不同失真類型的PLCC 和SROCC 對(duì)比如表2 和表3 所示。從表2 和表3 可以看出，MB-FR-SIQA 模型在預(yù)測(cè)JP2K、BLUR、FF 這3 種失真類型的立體圖像質(zhì)量分?jǐn)?shù)方面，相較于其他模型的性能較優(yōu)，在失真類型WN 上的預(yù)測(cè)已接近對(duì)比模型中的最佳結(jié)果。因此，MB-FR-SIQA 模型能夠有效預(yù)測(cè)不同失真類型的3D 圖像質(zhì)量分?jǐn)?shù)。

表2 不同失真類型的PLCC 對(duì)比Table 2 PLCC comparison among different distortion types

表3 不同失真類型的SROCC 對(duì)比Table 3 SROCC comparison among different distortion types

2.4 實(shí)驗(yàn)對(duì)比

本文利用單目視覺信息和雙目視覺信息分別獲得單目質(zhì)量分?jǐn)?shù)和雙目質(zhì)量分?jǐn)?shù)。本文的立體圖像質(zhì)量分?jǐn)?shù)是由單目質(zhì)量分?jǐn)?shù)Q1、Q2和雙目質(zhì)量分?jǐn)?shù)Q3合并而成。圖4 列舉了單目質(zhì)量分?jǐn)?shù)與雙目質(zhì)量分?jǐn)?shù)差異較大的立體圖像分?jǐn)?shù)，其中左右視圖的單目質(zhì)量分?jǐn)?shù)QL、QR依據(jù)式（19）所得，雙目質(zhì)量分?jǐn)?shù)Q2依據(jù)式（18）所得。在單雙目質(zhì)量分?jǐn)?shù)存在一定差異的條件下，本文結(jié)合單目和雙目質(zhì)量分?jǐn)?shù)以綜合評(píng)估立體圖像的質(zhì)量分?jǐn)?shù)。同時(shí)，本文在LIVE-I 和LIVE-II上分別測(cè)試Scheme-I、Scheme-II、Scheme-III 這3 種評(píng)價(jià)方案的性能。不同實(shí)驗(yàn)方案的評(píng)價(jià)指標(biāo)對(duì)比如表4所示，其中Q1、Q2、Q3分別對(duì)應(yīng)于Scheme-I、Scheme-II、Scheme-III 方案。3 種實(shí)驗(yàn)方案的評(píng)價(jià)指標(biāo)與MB-FRSIQA 模型都存在一定的差距，因此，該模型結(jié)合單目與雙目視覺信息進(jìn)行質(zhì)量評(píng)價(jià)。

表4 不同實(shí)驗(yàn)方案的評(píng)價(jià)指標(biāo)對(duì)比Table 4 Evaluation indexs comparison among different experimental schemes

圖4 不同質(zhì)量分?jǐn)?shù)的立體圖像Fig.4 Stereoscopic images with different quality scores

3 結(jié)束語

本文提出一種基于單目與雙目視覺信息的立體圖像質(zhì)量評(píng)價(jià)模型MB-FR-SIQA，通過結(jié)合Gabor 能量響應(yīng)圖、顯著性圖和視差矩陣生成中間視圖，基于2D 單目圖像和中間視圖分別計(jì)算單目質(zhì)量分?jǐn)?shù)及雙目質(zhì)量分?jǐn)?shù)，并融合為立體圖像整體質(zhì)量分?jǐn)?shù)，以模擬人類視覺系統(tǒng)對(duì)立體圖像質(zhì)量的感知。實(shí)驗(yàn)結(jié)果表明，MB-FR-SIQA 模型能夠有效提高預(yù)測(cè)精度，預(yù)測(cè)結(jié)果符合人類的主觀評(píng)估。后續(xù)將在立體圖像質(zhì)量評(píng)價(jià)模型中加入人類視覺系統(tǒng)的注意力機(jī)制，進(jìn)一步提高圖像質(zhì)量評(píng)價(jià)模型的預(yù)測(cè)性能。