管非凡,郁 梅,宋 洋,邵 華,蔣剛毅
(寧波大學(xué) 信息科學(xué)與工程學(xué)院,浙江 寧波 315211) (*通信作者電子郵箱jianggangyi@126.com)
高動(dòng)態(tài)范圍圖像客觀質(zhì)量評(píng)價(jià)方法
管非凡,郁 梅,宋 洋,邵 華,蔣剛毅*
(寧波大學(xué) 信息科學(xué)與工程學(xué)院,浙江 寧波 315211) (*通信作者電子郵箱jianggangyi@126.com)
針對(duì)當(dāng)前高動(dòng)態(tài)范圍(HDR)圖像質(zhì)量評(píng)價(jià)方法未考慮圖像色度和結(jié)構(gòu)信息的問(wèn)題,提出了一種新的HDR圖像客觀質(zhì)量評(píng)價(jià)方法。首先,利用HDR-VDP-2.2中的基于視覺(jué)感知的模型得到關(guān)于亮度與對(duì)比度的視覺(jué)保真度特征;然后,將HDR圖像轉(zhuǎn)換到Y(jié)IQ彩色空間,對(duì)彩色空間中的Y、I、Q通道分別進(jìn)行處理,求得色度相似度和結(jié)構(gòu)相關(guān)度特征;最后,利用支持向量回歸(SVR)的方法對(duì)特征進(jìn)行融合,預(yù)測(cè)得到高動(dòng)態(tài)范圍圖像質(zhì)量的客觀評(píng)價(jià)值。實(shí)驗(yàn)結(jié)果表明,與HDR-VDP-2.2相比,該方法的Pearson相關(guān)系數(shù)和Spearman等級(jí)相關(guān)系數(shù)分別提升了23.09%和25.34%;均方根誤差(RMSE)降低了38.01%。所提出的方法與主觀視覺(jué)感知具有更高的一致性。
高動(dòng)態(tài)范圍圖像;質(zhì)量評(píng)價(jià);特征;支持向量回歸;視覺(jué)感知
近年來(lái),隨著成像技術(shù)和數(shù)字處理技術(shù)的快速發(fā)展,高動(dòng)態(tài)范圍圖像以其更大的亮度范圍、豐富的細(xì)節(jié)信息以及給人更好的視覺(jué)感受,吸引了越來(lái)越多的研究者的廣泛關(guān)注[1]。
與低動(dòng)態(tài)范圍(Low Dynamic Range, LDR)圖像類似,高動(dòng)態(tài)范圍(High Dynamic Range, HDR)圖像在獲取、處理、壓縮、存儲(chǔ)、和傳輸時(shí)也會(huì)存在不同程度的失真[2],這些失真會(huì)影響HDR圖像的視覺(jué)效果。由于HDR圖像有著更大的動(dòng)態(tài)范圍,如何對(duì)HDR圖像進(jìn)行有效的評(píng)估是當(dāng)前研究的難點(diǎn)。主觀質(zhì)量評(píng)價(jià)方法需針對(duì)多個(gè)測(cè)試圖像進(jìn)行多次重復(fù)實(shí)驗(yàn),耗時(shí)多、費(fèi)用高,難以操作[3],所以需要一種客觀質(zhì)量評(píng)價(jià)方法。依據(jù)對(duì)參考圖像的依賴程度,圖像客觀質(zhì)量評(píng)價(jià)可分為全參考、半?yún)⒖己蜔o(wú)參考等3類。典型的全參考LDR圖像質(zhì)量評(píng)價(jià)方法有基于像素誤差統(tǒng)計(jì)的均方誤差(Mean Squared Error, MSE)方法[4],它計(jì)算簡(jiǎn)單,但不能很好地與人的主觀感知保持一致;Wang等提出了基于結(jié)構(gòu)相似度(Structural Similarity Index Metric, SSIM)的方法[5]和改進(jìn)的多尺度結(jié)構(gòu)相似性(Multi-scale Structure Similarity Index Metric, MSSIM)方法[6],其通過(guò)比較參考圖像與失真圖像的結(jié)構(gòu)、亮度及對(duì)比度信息來(lái)綜合評(píng)價(jià)圖像質(zhì)量,取得了不錯(cuò)的效果;Sheikh等提出了基于信息保真度的方法(Visual Information Fidelity, VIF)[7],它通過(guò)衡量失真圖像和參考圖像之間的共同信息的多少來(lái)評(píng)價(jià)失真圖像的質(zhì)量,由于其對(duì)人類視覺(jué)系統(tǒng)的合理建模,取得了較好的效果;Chandler等提出了基于小波變換的評(píng)價(jià)模型(Visual Signal-to-Noise Ratio, VSNR)[8],主要通過(guò)生理和心理學(xué)實(shí)驗(yàn)獲得人類視覺(jué)系統(tǒng)的前端特征構(gòu)建視覺(jué)模型,從而模擬人的視覺(jué)來(lái)對(duì)評(píng)價(jià)圖像客觀質(zhì)量,但是該方法并沒(méi)有得到令人滿意的效果。
目前常用的HDR圖像質(zhì)量評(píng)價(jià)方法是Mantiuk等提出的視覺(jué)差異預(yù)測(cè)方法HDR-VDP-2(HDR Visual Difference Predictor, HDR-VDP-2)[9]及其權(quán)重修正的HDR-VDP-2.2[10]算法。其通過(guò)合理地模擬人類視覺(jué)系統(tǒng),建立一系列人眼視覺(jué)模型,綜合HDR圖像的亮度和對(duì)比度特征,提出了一種HDR圖像的客觀全參考質(zhì)量評(píng)價(jià)方法。由于其適應(yīng)自然界圖像的所有亮度范圍,很好地模擬了人類對(duì)HDR圖像的高亮度范圍的感知,所以該評(píng)價(jià)方法得到了廣泛的應(yīng)用,但是,由于其只考慮了HDR圖像的高亮度范圍特征,對(duì)于HDR圖像尤為重要的色度特征和對(duì)人類視覺(jué)感知影響重大的結(jié)構(gòu)特征卻沒(méi)有進(jìn)行良好度量,該評(píng)價(jià)方法存在一定的局限性。
本文在HDR-VDP-2.2的基礎(chǔ)上結(jié)合HDR圖像的色度相似度和結(jié)構(gòu)相關(guān)度,提出了一種基于SVR的HDR圖像客觀質(zhì)量評(píng)價(jià)模型。解決了經(jīng)典LDR圖像質(zhì)量評(píng)價(jià)方法只能良好地對(duì)低亮度范圍圖像的處理的問(wèn)題,又補(bǔ)充了當(dāng)前HDR圖像質(zhì)量評(píng)價(jià)方法中缺少的色度和結(jié)構(gòu)的度量。與當(dāng)前HDR圖像質(zhì)量評(píng)價(jià)方法及經(jīng)典的LDR圖像質(zhì)量評(píng)價(jià)方法進(jìn)行了對(duì)比。實(shí)驗(yàn)表明,本文提出的方法與人類主觀視覺(jué)感知具有更高的一致性。
HDR圖像包含了更高的亮度范圍、更豐富的細(xì)節(jié)信息,能夠給人帶來(lái)更好的視覺(jué)體驗(yàn)。對(duì)高動(dòng)態(tài)范圍圖像質(zhì)量的度量除了考慮亮度的范圍之外,同時(shí)也應(yīng)考慮普通圖像所包含的對(duì)比度信息、感知結(jié)構(gòu)以及對(duì)HDR圖像尤為重要的色度信息。本文綜合以上信息,建立更全面的感知質(zhì)量評(píng)價(jià)模型,實(shí)現(xiàn)對(duì)HDR圖像質(zhì)量評(píng)價(jià)。具體的算法框圖如圖1所示。
圖1 本文模型算法框圖
本文模型共包括三大部分。第一部分為HDR-VDP-2.2中通過(guò)模擬人眼來(lái)度量HDR圖像的高亮度和對(duì)比度特征,從而得到兩幅圖像的差異的過(guò)程。其中,包括光學(xué)與視網(wǎng)膜路徑、多尺度分解及池聚合等模塊;第二部分考慮到HDR圖像特有的鮮明的色度信息不可忽視,對(duì)色度特征度量。首先將HDR圖像的RGB顏色空間轉(zhuǎn)換為亮度與顏色容易分離的YIQ顏色空間,分別對(duì)I、Q顏色分量求色度相似度作為圖像色度特征度量;第三部分對(duì)結(jié)構(gòu)特征度量,通過(guò)對(duì)HDR圖像的亮度分量Y求取結(jié)構(gòu)相關(guān)度作為結(jié)構(gòu)特征的度量。最后聯(lián)合以上三部分內(nèi)容,通過(guò)加權(quán)聚合和支持向量回歸兩種方案綜合評(píng)價(jià)HDR圖像的客觀質(zhì)量。
1.1 特征度量
1.1.1HDR-VDP-2.2
視覺(jué)差異預(yù)測(cè)器(VisibleDifferencePredictor,VDP)是一種有效評(píng)估圖像保真度的算法。其利用算法來(lái)模擬人眼觀看圖像的過(guò)程,從而預(yù)測(cè)人眼所看到的兩幅圖像的差異。由Daly等[11]提出的針對(duì)普通低動(dòng)態(tài)范圍LDR圖像的視覺(jué)差異預(yù)測(cè)器(VDP)在LDR圖像的客觀質(zhì)量評(píng)價(jià)中得到了廣泛的應(yīng)用。HDR圖像有著更大的動(dòng)態(tài)范圍,需要一個(gè)新的視覺(jué)模型去模擬人眼處理更大亮度范圍的過(guò)程。HDR-VDP-2是目前較常用的預(yù)測(cè)HDR圖像質(zhì)量的客觀評(píng)價(jià)方法。
HDR-VDP-2實(shí)現(xiàn)了模擬人眼對(duì)高動(dòng)態(tài)范圍圖像的處理過(guò)程。其第一部分模擬人眼的光學(xué)和視網(wǎng)膜通路,模擬光在人眼內(nèi)部的散射過(guò)程。第一步,通過(guò)調(diào)制傳遞函數(shù)模擬光通過(guò)眼角膜、晶狀體到達(dá)視網(wǎng)膜的整個(gè)散射過(guò)程;第二步,在光散射到視網(wǎng)膜后,模擬感光器感光光譜的靈敏性;第三步,感光器根據(jù)進(jìn)入人眼光的亮度來(lái)控制人的感知過(guò)程,模擬感光器對(duì)光亮度的非線性反應(yīng)。第二部分通過(guò)多尺度分解來(lái)模擬視覺(jué)皮質(zhì)中人眼對(duì)光照的不同空間頻率和方向的選擇過(guò)程,BT[f,o]和BR[f,o]分別表示左眼和右眼在f頻率o方向人眼可感知到的光照。采用可操縱金字塔方法較好地實(shí)現(xiàn)空間頻率和方向的分離;由于得到的兩幅圖像的差異可以認(rèn)為是由不同的輸入噪聲引起的,而這些噪聲是由獨(dú)立噪聲和非獨(dú)立噪聲兩部分組成。所以,第三部分來(lái)模擬這兩種噪聲的形成,用對(duì)比度敏感函數(shù)(ContrastSensitivityFunction,CSF)來(lái)模擬獨(dú)立噪聲,對(duì)比度掩蔽(Masking)函數(shù)來(lái)模擬依賴于信號(hào)的非獨(dú)立噪聲。算法輸出的D[f,o]即為人眼在某一頻率和方向上可感知到的兩幅圖像的差異。最后把D[f,o]轉(zhuǎn)換為評(píng)價(jià)HDR圖像的客觀質(zhì)量分?jǐn)?shù),具體過(guò)程見(jiàn)參考文獻(xiàn)[9-10]。
HDR-VDP-2.2在HDR-VDP-2的基礎(chǔ)上對(duì)其中的不同頻率、不同方向上的權(quán)重系數(shù)wf進(jìn)行了修正,添加了約束條件,使得wf的設(shè)置更加合理,評(píng)價(jià)效果較之前的HDR-VDP-2有一定提升。用SVDP表示HDR-VDP-2.2的特征度量結(jié)果,聚合方程如式(1)所示:
(1)
其中:i是像素指數(shù);ε是小常數(shù)(10-5),以避免當(dāng)D為0時(shí)產(chǎn)生奇點(diǎn);I為像素的總數(shù);wf為每個(gè)頻帶的權(quán)重。
1.1.2 色度相似度
HDR-VDP-2.2 只考慮了圖像的亮度特征,其適用于自然界所有亮度范圍。現(xiàn)實(shí)世界中的場(chǎng)景都是繽紛多彩的,并不是通常處理的灰度圖像。所以,基于彩色圖像的質(zhì)量評(píng)價(jià)要比基于灰度圖像的圖像質(zhì)量評(píng)價(jià)更加可靠,評(píng)價(jià)結(jié)果也要好于灰度圖像。色度信息對(duì)人眼視覺(jué)系統(tǒng)的影響不可忽視,尤其對(duì)于色彩更加鮮明的HDR圖像。本文在評(píng)價(jià)模型中引入色度特征度量,實(shí)現(xiàn)了對(duì)彩色圖像的質(zhì)量評(píng)價(jià)。
首先,將HDR圖像的RGB顏色空間轉(zhuǎn)換為更符合人類視覺(jué)系統(tǒng)感知且亮度和色度容易分離的顏色空間,因此,本文選擇了廣泛使用的YIQ顏色空間,其中,Y表示亮度信息,I和Q表示色度信息。將RGB顏色空間轉(zhuǎn)換為YIQ顏色空間轉(zhuǎn)換公式如式(2)所示:
(2)
用Ix(Iy)和Qx(Qy)表示參考(測(cè)試)圖像的I和Q色度通道的對(duì)應(yīng)像素點(diǎn)位置的顏色分量值。分別對(duì)I和Q通道求顏色相似度。色度特征的相似度分別用SI,SQ表示,分別由式(3)、(4)確定:
(3)
(4)
其中,C1和C2是正的小常數(shù)。因?yàn)镮和Q分量動(dòng)態(tài)范圍幾乎相同。所以本文令C1=C2。聯(lián)合SI與SQ得到綜合色度相似度度量方法,表示為SC:
SC=SI·SQ
(5)
1.1.3 結(jié)構(gòu)相關(guān)度
結(jié)構(gòu)信息反映了場(chǎng)景中的主要結(jié)構(gòu)特征,且結(jié)構(gòu)特征是影響視覺(jué)感知的主要因素。一個(gè)良好的圖像質(zhì)量評(píng)價(jià)方法應(yīng)符合人類視覺(jué)系統(tǒng)(HumanVisualSystem,HVS)的主觀感知。本文在建立的評(píng)價(jià)模型中實(shí)現(xiàn)了對(duì)結(jié)構(gòu)特征度量。Wang等提出的通用質(zhì)量評(píng)價(jià)模型(UsualQualityIndex,UQI)[12]得到了廣泛的應(yīng)用,其中的相關(guān)度比較包含了結(jié)構(gòu)的度量。本文對(duì)UQI模型進(jìn)行整合,使其在HDR圖像中同樣適用。對(duì)1.1.2節(jié)中得到的YIQ顏色空間中的Y分量計(jì)算結(jié)構(gòu)相關(guān)度SS,由式(6)確定:
(6)
1.2 質(zhì)量預(yù)測(cè)
方案一 HDR-VDP-2中的亮度度量與對(duì)比度度量SVDP和色度相似度度量SC以及結(jié)構(gòu)相關(guān)度度量SS分別作為圖像質(zhì)量聚合模型中的3個(gè)部分。圖像客觀質(zhì)量分?jǐn)?shù)應(yīng)與主觀結(jié)果保持一致,因此,以SROCC值最大為約束條件,尋找最佳的聚合策略。為了得到最佳的聚合策略,本文測(cè)試了多種組合方法,最終得到如下聚合方式:
S=αSVDP+(1-α)(SS·SC)
(7)
其中:α(0≤α≤1)為權(quán)重調(diào)節(jié)系數(shù),調(diào)節(jié)SVDP與SS,SC分量之間的相對(duì)重要性。因?yàn)镾VDP、SS、SC的值均在[0,1],所以整體質(zhì)量值S也在[0,1]。S越接近于1,表明測(cè)試圖像與原始圖像之間的差異越小,質(zhì)量越好;而S越接近于0,表明測(cè)試圖像與原始圖像間的差異越大,質(zhì)量越差。
方案二 由于人類視覺(jué)系統(tǒng)非常復(fù)雜,使用簡(jiǎn)單的加權(quán)聚合可能不能合理地體現(xiàn)特征之間的關(guān)系。而支持向量回歸(Support Vector Regression, SVR)算法可以通過(guò)核函數(shù)來(lái)有效地解決非線性的問(wèn)題。本文方案二以SVDP、SS、SC三個(gè)客觀值作為特征,聯(lián)合主觀意見(jiàn)分值(MeanOpinionScore,MOS),以客觀評(píng)價(jià)值與主觀評(píng)價(jià)值之間的Spearman等級(jí)相關(guān)系數(shù)(SpearmanRankOrderCorrelationCoefficient,SROCC)最大為約束條件,通過(guò)SVR方法,建立感知質(zhì)量評(píng)價(jià)模型,綜合評(píng)價(jià)方法的性能。
本文采用法國(guó)Nantes大學(xué)提供的HDR圖像數(shù)據(jù)庫(kù)[13]。該數(shù)據(jù)庫(kù)包含10幅原始超高清(分辨率為1 920×1 080)HDR圖像,每幅圖像分別對(duì)應(yīng)14種不同程度的失真,得到共140幅失真圖像。該庫(kù)同時(shí)提供每幅圖像的主觀意見(jiàn)分值MOS。實(shí)驗(yàn)依據(jù)VQEG(VideoQualityExpertsGroup)的相關(guān)流程進(jìn)行[14],將模型的輸出值Q′作四參數(shù)Logistic函數(shù)非線性擬合,獲得預(yù)測(cè)MOSp:
(8)
其中a、b、c、d為常量。利用非線性回歸后的客觀模型預(yù)測(cè)值與主觀意見(jiàn)分值的相關(guān)性來(lái)度量客觀評(píng)價(jià)方法的性能。實(shí)驗(yàn)結(jié)果由3個(gè)常用的性能評(píng)價(jià)指標(biāo)給出,分別是:1)Pearson線性相關(guān)系數(shù)(PearsonCorrelationCoefficient,PCC),反映預(yù)測(cè)的精確性。是區(qū)間[-1,1]上的值,其絕對(duì)值越接近于1,表明主客觀評(píng)價(jià)間的相關(guān)性越好。2)Spearman等級(jí)相關(guān)系數(shù)(SpearmanRankOrderCorrelationCoefficient,SROCC),表征了評(píng)價(jià)方法的單調(diào)性。也是區(qū)間[-1,1]的值,同PCC一樣,其絕對(duì)值越接近于1,表明主客觀評(píng)價(jià)間的一致性越好。3)均方根誤差(RootMeanSquareError,RMSE),表征了數(shù)據(jù)的離散程度。均方根誤差越小,說(shuō)明對(duì)模型的預(yù)測(cè)越準(zhǔn)確;誤差越大,則對(duì)模型的預(yù)測(cè)越不準(zhǔn)確。
方案一 對(duì)于聚合關(guān)系式中權(quán)值的確定,本文通過(guò)多次實(shí)驗(yàn),以客觀質(zhì)量評(píng)價(jià)值與主觀意見(jiàn)分值(MOS)之間的SROCC值來(lái)確定最佳的α值。最終得出,當(dāng)α=0.65時(shí),評(píng)價(jià)性能最好。
方案二SVR過(guò)程共包括訓(xùn)練和測(cè)試兩個(gè)階段。依據(jù)常用的訓(xùn)練過(guò)程,隨機(jī)地將數(shù)據(jù)庫(kù)中140幅HDR圖像中的80%共112幅HDR圖像用來(lái)訓(xùn)練,得到模型。剩余20%的28幅HDR圖像用來(lái)對(duì)模型進(jìn)行性能測(cè)試。為了保證訓(xùn)練結(jié)果的穩(wěn)定性和可靠性,并盡可能多地消除偏差,隨機(jī)地重復(fù)該過(guò)程(80%訓(xùn)練,20%測(cè)試)1 000次,并取1 000次迭代的中值作為最終性能評(píng)價(jià)結(jié)果。
目前,關(guān)于HDR圖像質(zhì)量評(píng)價(jià)的方法研究不多,較為常用的HDR圖像質(zhì)量評(píng)價(jià)方法是HDR-VDP-2及其權(quán)重修正的HDR-VDP-2.2。為了驗(yàn)證模型的有效性,將本文方法與HDR-VDP-2.2及MSE、SSIM、MSSIM、VSNR和VIF等這類經(jīng)典LDR圖像客觀質(zhì)量評(píng)價(jià)方法進(jìn)行對(duì)比。表1給出了各評(píng)價(jià)方法的各項(xiàng)性能指標(biāo)。
由表1可以看出,方案一和方案二的各項(xiàng)指標(biāo)性能均優(yōu)于HDR-VDP-2.2方法,且性能提升明顯,說(shuō)明色度和結(jié)構(gòu)特征對(duì)HDR圖像質(zhì)量的影響比較重要,不可忽視,這與HDR圖像鮮明的色彩信息和豐富的細(xì)節(jié)信息對(duì)應(yīng),較好地體現(xiàn)了本文模型所選圖像特征的合理性和可靠性;方案二的各項(xiàng)性能優(yōu)于方案一,說(shuō)明支持向量回歸的機(jī)器學(xué)習(xí)方法優(yōu)于簡(jiǎn)單的加權(quán)聚合方法;同時(shí)可以看出,經(jīng)典的低動(dòng)態(tài)范圍圖像質(zhì)量評(píng)價(jià)方法對(duì)HDR圖像的客觀評(píng)價(jià)性能普遍較差,將低動(dòng)態(tài)范圍圖像的客觀評(píng)價(jià)方法直接應(yīng)用在高動(dòng)態(tài)范圍圖像上是不合理的。LDR圖像只能處理低亮度范圍的自然圖像及其失真圖像,無(wú)法較好地對(duì)HDR圖像中高亮度范圍的區(qū)域進(jìn)行處理,這也是傳統(tǒng)質(zhì)量評(píng)價(jià)無(wú)法較好地評(píng)價(jià)HDR圖像的根本問(wèn)題所在。綜上可見(jiàn),本文提出的新的評(píng)價(jià)模型優(yōu)于HDR-VDP-2.2及經(jīng)典LDR圖像質(zhì)量評(píng)價(jià)方法,且與主觀視覺(jué)感知具有更好的一致性。
表1 各評(píng)價(jià)方法的各項(xiàng)性能比較
圖2給出了2種HDR圖像質(zhì)量評(píng)價(jià)方法的客觀評(píng)價(jià)結(jié)果與主觀意見(jiàn)分值(MOS)的散點(diǎn)圖。其中,橫坐標(biāo)表示方法的客觀質(zhì)量分?jǐn)?shù),縱坐標(biāo)表示圖像的MOS值,曲線代表四參數(shù)擬合曲線。散點(diǎn)越集中,越接近擬合曲線,說(shuō)明客觀模型與主觀感知的一致性越好。由圖可以看出本文提出的圖像客觀質(zhì)量評(píng)價(jià)模型散點(diǎn)圖比較集中,與主觀評(píng)價(jià)數(shù)據(jù)之間的吻合度較高,能較好地評(píng)價(jià)HDR圖像的質(zhì)量。
圖2 兩種HDR圖像質(zhì)量評(píng)價(jià)方法的客觀質(zhì)量值與MOS值的散點(diǎn)圖
本文主要結(jié)合了HDR圖像的色度信息、結(jié)構(gòu)信息及HDR-VDP-2.2中的亮度信息、對(duì)比度信息和一些人眼視覺(jué)模型,利用加權(quán)聚合及SVR兩種方案來(lái)綜合評(píng)價(jià)HDR圖像客觀質(zhì)量。實(shí)驗(yàn)結(jié)果表明,所提出的方法性能比當(dāng)前廣泛使用的HDR-VDP-2.2及一些經(jīng)典的LDR圖像質(zhì)量評(píng)價(jià)方法更為有效,且預(yù)測(cè)性能均衡、穩(wěn)定。在本文的基礎(chǔ)上,考慮用無(wú)參考方法進(jìn)行HDR圖像質(zhì)量評(píng)價(jià),改善評(píng)價(jià)效果,是未來(lái)工作的研究方向。
)
[1]NARWARIAM,DASILVAMP,LECALLETP.Studyofhighdynamicrangevideoqualityassessment[C]//ProceedingsofSPIE9599:ApplicationsofDigitalImageProcessingXXXVIII.Bellingham,WA:SPIE, 2015: 95990V.
[2]HANHARTP,BERNARDOMV,PEREIRAM,etal.BenchmarkingofobjectivequalitymetricsforHDRimagequalityassessment[J].EurasipJournalonImageandVideoProcessing, 2015, 39(1):1-18.
[3] 蔣剛毅,黃大江,王旭,等.圖像質(zhì)量評(píng)價(jià)方法研究進(jìn)展[J].電子與信息學(xué)報(bào),2010,32(1):219-226.(JIANGGY,HUANGDJ,WANGX,etal.Overviewonimagequalityassessmentmethods[J].JournalofElectronicsandInformationTechnology, 2010, 32(1): 219-226.)
[4]ESKICIOGLUAM,FISHERPS.Imagequalitymeasuresandtheirperformance[J].IEEETransactionsonCommunications, 1995, 43(12): 2959-2965.
[5]WANGZ,BOVIKAC,SHEIKHHR,etal.Imagequalityassessment:fromerrorvisibilitytostructuralsimilarity[J].IEEETransactionsonImageProcessing, 2004, 13(4): 600-612.
[6]WANGZ,SIMONCELLIEP,BOVIKAC.Multiscalestructuralsimilarityforimagequalityassessment[C]//Proceedingsofthe2004ConferenceRecordofthe37thAsilomarConferenceonSignals,SystemsandComputers.Piscataway,NJ:IEEE, 2004: 1398-1402.
[7]SHEIKHHR,BOVIKAC.Imageinformationandvisualquality[J].IEEETransactionsonImageProcessing, 2006, 15(2): 430-444.
[8]CHANDLERDM,HEMAMISS.VSNR:awavelet-basedvisualsignal-to-noiseratiofornaturalimages[J].IEEETransactionsonImageProcessing, 2007, 16(9): 2284-2298.
[9]MANTIUKR,KIMKJ,REMPELAG,etal.HDR-VDP-2:acalibratedvisualmetricforvisibilityandqualitypredictionsinallluminanceconditions[J].ACMTransactionsonGraphics, 2011, 30(4): 76-79.
[10]NARWARIAM,MANTIUKR,CALLETPL,etal.HDR-VDP-2.2:acalibratedmethodforobjectivequalitypredictionofhighdynamicrangeandstandardimages[J].JournalofElectronicImaging, 2015, 24(1): 010501.
[11]DALYS.Thevisibledifferencespredictor:analgorithmfortheassessmentofimagefidelity[M]//DigitalImagesandHumanVision.Cambridge,MA:MITPress, 1993: 179-206.
[12]WANGZ,BOVIKAC.Auniversalimagequalityindex[J].IEEESignalProcessingLetters, 2002, 9(3): 81-84.
[13]NARWARIAM,LECALLETP.Tonemapping-basedhigh-dynamic-rangeimagecompression:studyofoptimizationcriterionandperceptualquality[J].OpticalEngineering, 2013, 52(10): 190-197.
[14] Video Quality Experts Group. Final report from the video quality experts group on the validation of objective models of video quality assessment [EB/OL]. [2016- 01- 04]. http://www.vqeg.org/.
This work is partially supported by the National Natural Science Foundation of China (61271270), the Natural Science Foundation of Zhejiang Province (LY15F010005).
GUAN Feifan, born in 1990, M. S. candidate. His research interests include image and video quality assessment.
YU Mei, born in 1968, Ph. D., professor. Her research interests include multimedia signal processing, video compression and communication.
SONG Yang, born in 1989, Ph. D. candidate. His research interests include image and video quality assessment.
SHAO Hua, born in 1979, Ph. D. candidate. His research interests include image processing, video coding.
JIANG Gangyi, born in 1964, Ph. D., professor. His research interests include digital video compression and communication, image processing and video coding.
Objective quality assessment method of high dynamic range image
GUAN Feifan, YU Mei, SONG Yang, SHAO Hua, JIANG Gangyi*
(FacultyofInformationScienceandEngineering,NingboUniversity,NingboZhejiang315211,China)
Aiming at the problem that High Dynamic Range (HDR) image quality evaluation method does not consider the color and structure information of HDR image, a novel objective quality assessment method of HDR image was proposed. Firstly, the feature of visual fidelity about brightness and contrast was obtained based on the visual model of HDR-VDP-2.2. Then, the HDR image was transformed into the YIQ color space, and the color similarity and structural correlation coefficient were gotten by dealing with the Y, I, Q channel, respectively. Finally, Support Vector Regression (SVR) was used to fuse the features, and the objective evaluation value of the high dynamic range image quality could be obtained by predicting the similarity degree and the structural relevance degree. The experimental results show that compared with HDR-VDP-2.2, the Pearson correlation coefficient and Spearman rank correlation coefficient of the proposed method are increased by 23.09% and 25.34%, respectively; the Root Mean Square Error (RMSE) is reduced by 38.01%. The proposed method has higher consistency with subjective visual perception.
High Dynamic Range (HDR) image; quality assessment; feature; Support Vector Regression (SVR); visual perception
2016- 07- 25;
2016- 09- 30。
國(guó)家自然科學(xué)基金資助項(xiàng)目(61271270);浙江省自然科學(xué)基金資助項(xiàng)目(LY15F010005)。
管非凡(1990—),男,安徽蚌埠人,碩士研究生,主要研究方向:圖像與視頻質(zhì)量評(píng)價(jià); 郁梅(1968—),女,江蘇無(wú)錫人,教授,博士,主要研究方向:多媒體信號(hào)處理、視頻壓縮與通信; 宋洋(1989—),男,浙江寧波人,博士研究生,主要研究方向:圖像與視頻質(zhì)量評(píng)價(jià); 邵華(1979—),男,浙江杭州人,博士研究生,主要研究方向:圖像處理、視頻編碼; 蔣剛毅(1964—),男,浙江紹興人,教授,博士,CCF會(huì)員,主要研究方向:數(shù)字視頻壓縮與通信、圖像處理、視頻編碼。
1001- 9081(2017)03- 0695- 04
10.11772/j.issn.1001- 9081.2017.03.695
TN
A