桑慶兵,高 雙
江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122
四元數(shù)小波變換的無(wú)參考圖像質(zhì)量評(píng)價(jià)*
桑慶兵+,高 雙
江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122
提出了一種新的利用四元數(shù)小波變換的通用型無(wú)參考圖像質(zhì)量評(píng)價(jià)算法,其利用四元小波金字塔將二維圖像映射到四維空間,每層可以表示為1個(gè)幅值和3個(gè)相位(Φ,θ,ψ),其中ψ相位包含豐富的圖像紋理信息,能有效表征圖像的結(jié)構(gòu)信息。因此,通過(guò)提取各尺度ψ相位中能有效表征圖像失真程度的特征,并構(gòu)成特征向量,通過(guò)支持向量回歸(support vector regression,SVR)模型預(yù)測(cè)圖像質(zhì)量得分。實(shí)驗(yàn)結(jié)果表明,該算法能有效反映各失真類型圖像的視覺(jué)感知質(zhì)量,斯皮爾曼等級(jí)相關(guān)系數(shù)值能達(dá)到0.942。
無(wú)參考圖像質(zhì)量評(píng)價(jià);四元數(shù)小波變換;四元小波金字塔;支持向量回歸(SVR)
圖像/視頻質(zhì)量表示圖像向設(shè)備和人提供信息的能力[1],是評(píng)估圖像/視頻處理系統(tǒng)或算法性能的重要指標(biāo)。在實(shí)際應(yīng)用中,往往不能獲得原始圖像相關(guān)信息,大大限制了全參考(full-reference,F(xiàn)R)和半?yún)⒖迹╮educed reference,RR)圖像質(zhì)量評(píng)價(jià)方法的應(yīng)用。因此,開(kāi)發(fā)一種簡(jiǎn)單且有效的無(wú)參考圖像評(píng)價(jià)算法(no-reference image quality assessment,NR-IQA)尤為重要。
判斷圖像質(zhì)量的好壞主要依據(jù)圖像中邊緣和輪廓的判斷,紋理作為圖像的基本特性,可以有效反映圖像的邊緣和結(jié)構(gòu)特征變化,在一定程度上表征了圖像質(zhì)量的失真程度。常用的圖像紋理分析方法主要有結(jié)構(gòu)法、統(tǒng)計(jì)法和模型法。然而,這些方法都是在鄰域、單一范圍的空間中相互作用的分析,因此往往局限在顯微紋理方面的分析,并且采用的單分辨率技術(shù)也導(dǎo)致了紋理分析結(jié)果不理想。
近年來(lái),小波變換作為新興的一種多尺度分析方法,主要被應(yīng)用于基于小波的紋理分類[2]、紋理分析[3]等。雖然傳統(tǒng)小波變換在紋理分類中已經(jīng)取得了顯著成果,但僅僅是把指定圖像分解為0°、90°、135°的水平、垂直和對(duì)角線3個(gè)方向上的平滑子帶,這就嚴(yán)重制約了小波變換對(duì)于旋轉(zhuǎn)不變紋理圖像的分析[4]。
由于四元數(shù)可以表示2D實(shí)值信號(hào),從而相應(yīng)的基于四元數(shù)的小波尺度函數(shù)、小波函數(shù)的構(gòu)造就成為解析二維信號(hào)的關(guān)鍵。四元數(shù)小波變換(quaternion wavelet transform,QWT)理論是實(shí)小波、二維希爾伯特變換及四元數(shù)代數(shù)理論相結(jié)合產(chǎn)生的,可以為二維圖像提供具體的相位信息。相對(duì)于小波變換,QWT克服了實(shí)小波變換的兩個(gè)不足:第一,當(dāng)信號(hào)(圖像)微小平移后,圖像的邊緣區(qū)域和平滑的特征會(huì)產(chǎn)生很大的變化,造成邊緣的模糊;第二,用相位來(lái)表示圖像的局部信息。雙樹(shù)復(fù)小波變換(dual-tree complex wavelet transform,DCWT)雖然很好解決了第一個(gè)問(wèn)題,但它只有一個(gè)幅角,在表示二維圖像特征時(shí)容易出現(xiàn)信號(hào)相位歧義。Gabor變換[5]能很好地同時(shí)在頻域、時(shí)域中滿足信號(hào)對(duì)分辨率的要求,成為圖像紋理特征提取中最常用的方法,但其計(jì)算復(fù)雜,一般在提取特征后,還要進(jìn)行降維處理。QWT具有旋轉(zhuǎn)不變性,并且能對(duì)二維信號(hào)進(jìn)行局部幅值和相位分析,計(jì)算簡(jiǎn)單。這些都可以彌補(bǔ)傳統(tǒng)小波變換在圖像處理中的一些不足。目前國(guó)內(nèi)外已有將QWT應(yīng)用到圖像處理上的研究。文獻(xiàn)[6]利用QWT理論提出了一種基于圖像多分辨率的視差估計(jì)方法。文獻(xiàn)[7]充分利用了QWT的旋轉(zhuǎn)不變性、平移不變性進(jìn)行圖像的分析與處理。文獻(xiàn)[8]首次將QWT理論應(yīng)用在圖像紋理分類方面,并證明了其方法的可行性。目前把QWT中紋理特征分類與圖像質(zhì)量評(píng)價(jià)聯(lián)系起來(lái)還沒(méi)有相關(guān)的研究。
本文在上述思想的基礎(chǔ)上,綜合利弊,將QWT理論與支持向量機(jī)(support vector machine,SVM)相結(jié)合進(jìn)行無(wú)參考圖像質(zhì)量評(píng)價(jià),擴(kuò)展了QWT理論的應(yīng)用范圍。首先對(duì)圖像進(jìn)行四元數(shù)小波變換,提取失真圖像多個(gè)角度和不同尺度的1個(gè)幅值和3個(gè)相位(Φ,θ,ψ)信息,在考慮圖像失真和人類視覺(jué)系統(tǒng)的局部性特點(diǎn)基礎(chǔ)上,利用ψ相位所蘊(yùn)含的圖像紋理信息,分別在每個(gè)尺度提取平均梯度、加權(quán)方差、能量,共計(jì)27個(gè)參數(shù)作為紋理特征,把這27個(gè)參數(shù)作為分類特征,利用支持向量回歸(support vector regression,SVR)模型預(yù)測(cè)圖像質(zhì)量。以下在分析QWT和SVM理論的基礎(chǔ)上,詳細(xì)介紹了本文算法,并通過(guò)實(shí)驗(yàn)驗(yàn)證了算法的有效性。
2.1 四元數(shù)代數(shù)
四元數(shù)是傳統(tǒng)復(fù)數(shù)概念的推廣,是Clifford代數(shù)的一個(gè)子代數(shù)[9]。四元數(shù)q可以用式(1)表示如下:
其中,qr、qi、qj、qk均是實(shí)數(shù);i、j、k均是虛部單位且滿足:
由上可知,Hamilton四元數(shù)不符合乘法交換律。四元數(shù)q的共軛為q=qr-qii-qjj-qkk。四元數(shù)的幅值。
在極坐標(biāo)下四元數(shù)q可以表示為:q=|q|eiΦejψekθ。其中|q|表示四元數(shù)的幅值,它具有平移不變性,(Φ,θ,ψ)是四元數(shù)的3個(gè)相位角[10],取值范圍為:
2.2 四元數(shù)小波變換
定義1[11]令 f是一個(gè)實(shí)二維信號(hào)。二維四元數(shù)解析信號(hào)定義為:
其中:
函數(shù) fHi1和函數(shù) fHi2是 f(x)的部分Hilbert變換函數(shù);δ(x)和δ(y)是分別沿二維坐標(biāo)軸的脈沖函數(shù);**是二維卷積操作。QWT的4個(gè)標(biāo)準(zhǔn)正交基用矩陣形式可表示為:
其中每一行表示QWT的一路獨(dú)立小波,每一列表示其變換的一個(gè)子帶。如下是對(duì)角子帶的表示形式:
利用四元數(shù)代數(shù),可以將4個(gè)組分組成為一個(gè)四元數(shù)小波函數(shù)[10],即:
四元數(shù)的相位角(Φ,θ,ψ)的具體計(jì)算可參考文獻(xiàn)[10]。如圖1所示給出一個(gè)三級(jí)四元數(shù)小波變換的例子。從圖中可以看出ψ相位包含圖像的紋理信息,Φ、θ相位編碼圖像結(jié)構(gòu)的空間位置信息,在一些文獻(xiàn)中Φ、θ相位被用來(lái)做視差估計(jì)。由于ψ相位可以很好地反映圖的紋理結(jié)構(gòu)信息[12],本文選用其相位信息預(yù)測(cè)圖像質(zhì)量。
四元數(shù)小波變換(QWT)有非常豐富的多尺度空間分析能力,因此QWT在二維信號(hào)的幅值和相位信息特征提取方面具有獨(dú)特優(yōu)勢(shì)。每個(gè)子帶任何位置的特征都可以用幅值表示,同時(shí)相位提供了局部特征。隨著更多表征圖像紋理信息的特征被選取,QWT在某種程度上為SVR分類提供了一個(gè)良好的基礎(chǔ)。為了能準(zhǔn)確有效地度量圖像的失真程度,通過(guò)QWT選取平均梯度、加權(quán)方差和能量來(lái)提取圖像特征。
Fig.1 Result of image three level quaternion wavelet transform圖1 圖像三級(jí)四元數(shù)小波變換實(shí)驗(yàn)結(jié)果
3.1 平均梯度
平均梯度能有效反映圖像的清晰度。它通過(guò)一階差分來(lái)獲取該像素點(diǎn)和其相鄰像素之間的差異程度,其變化的快慢反映了圖像細(xì)節(jié)信息上反差的大小,最終決定了圖像的清晰度。在一定程度上它還能反映出圖像的紋理變換特征。平均梯度計(jì)算公式為:
其中,ΔIx與ΔIy分別為沿坐標(biāo)軸x與y方向上的一階差分。四元數(shù)小波分解中的高頻信息ψ相位包含表征圖像的局部紋理特征,文中用平均梯度來(lái)度量局部紋理特征。
3.2 加權(quán)標(biāo)準(zhǔn)偏差
標(biāo)準(zhǔn)偏差在四元數(shù)小波中表示相位的相對(duì)分布態(tài)勢(shì),為了使標(biāo)準(zhǔn)偏差更能反映圖像的特征,本文對(duì)標(biāo)準(zhǔn)偏差進(jìn)行加權(quán)。一個(gè)高的幅度值意味著一個(gè)顯著的圖像特征,然而一個(gè)低的幅度值意味著沒(méi)有特征或者是不重要的特征,幅度值很好地展現(xiàn)了其關(guān)注顯著性特征性質(zhì),因而使測(cè)量更具有代表性。定義權(quán)重函數(shù)W是該子帶QWT低頻系數(shù)歸一化的值,它和標(biāo)準(zhǔn)偏差結(jié)合的公式如下:
式中,uw=∑ijwijψij是權(quán)重均值;N是子帶系數(shù)中像素的個(gè)數(shù);i、j分別為圖像像素點(diǎn)的離散坐標(biāo),若圖像的原始尺寸為M×N,則1≤i≤M,1≤j≤N。
3.3 能量
圖像銳利度是圖像的一種重要視覺(jué)感知度量,它可以通過(guò)小波變換后的子帶能量進(jìn)行計(jì)算,可以有效反映圖像包含信息的豐富程度。本文通過(guò)四元數(shù)小波變換,提取小波分解各個(gè)方向ψ相位的對(duì)數(shù)能量來(lái)計(jì)算圖像的銳利度。具體公式如下:
式中,E為各子帶能量矩陣;T為子帶中元素個(gè)數(shù);C為相應(yīng)子帶的系數(shù)矩陣;s表示分解的尺度數(shù);o是各尺度上的方向數(shù)。本文在計(jì)算時(shí)只選用各尺度ψ方向上的系數(shù),為保證計(jì)算各子帶對(duì)數(shù)能量C時(shí)出現(xiàn)接近0的異常數(shù)值,Φ為調(diào)整因子,本文選為1。i、j為子帶系數(shù)矩陣中像素點(diǎn)的離散坐標(biāo)值。為與人類主觀視覺(jué)相一致,本文選取圖像的視覺(jué)重要區(qū)域作為考察對(duì)象,即將一幅圖像按內(nèi)容劃分成邊緣、紋理和平坦區(qū)域3部分。具體步驟如下:
步驟1對(duì)圖像進(jìn)行三尺度四元數(shù)小波基變換;其次對(duì)LH、HL和HH小波子帶中包含ψ相位的每一個(gè)方向子帶,邊緣紋理區(qū)域由系數(shù)絕對(duì)值大于該子帶絕對(duì)值均值1.2倍的系數(shù)來(lái)確定。
步驟2對(duì)邊緣紋理區(qū)域進(jìn)行膨脹操作,得到膨脹區(qū)域。
步驟3對(duì)邊緣紋理區(qū)域和膨脹區(qū)域分配權(quán)值1,其他區(qū)域分配權(quán)值0。
本文選擇菱形進(jìn)行膨脹,半徑根據(jù)尺度由高到低依次選擇2、3、4,獲取不同尺度下的視覺(jué)關(guān)注度區(qū)域;最后整個(gè)子帶的系數(shù)由包含加權(quán)區(qū)域的系數(shù)來(lái)替代,進(jìn)而得到整個(gè)子帶的能量。
4.1 支持向量機(jī)基本原理
支持向量機(jī)由Vapnik首先提出,用于模式分類和非線性回歸。它在模式分類問(wèn)題上提供極好的泛化性能,這是其他機(jī)器學(xué)習(xí)方法所不具有的。因此,本文采用支持向量機(jī)在回歸方面的一種算法ε-SVR,回歸方程[13]為:
可轉(zhuǎn)化為如下規(guī)劃問(wèn)題:
其中,K(xi,x)為核函數(shù)。本文采用RBF核函數(shù),因此SVR模型需要預(yù)先設(shè)定的參數(shù)包括懲罰系數(shù)、核函數(shù)寬度系數(shù)和不敏感損失系數(shù)ε。
支持向量機(jī)預(yù)測(cè)圖像質(zhì)量的優(yōu)劣,關(guān)鍵是要找到能有效反映圖像失真強(qiáng)度的特征向量。由生物學(xué)原理可知,人類視覺(jué)系統(tǒng)對(duì)圖像的紋理結(jié)構(gòu)區(qū)域關(guān)注度比較高。為此本文先對(duì)圖像進(jìn)行四元數(shù)小波變換,獲取圖像的紋理信息,提取平均梯度、加權(quán)方差和能量3個(gè)特征,最后組成特征向量,輸入到ε-SVR模型中來(lái)預(yù)測(cè)圖像的質(zhì)量。
4.2 基于QWT-SVR圖像質(zhì)量評(píng)價(jià)模型
利用QWT和SVR分類評(píng)價(jià)圖像質(zhì)量算法如下:
步驟l對(duì)待測(cè)圖像進(jìn)行三級(jí)四元數(shù)小波基變換。
步驟2對(duì)變換后的系數(shù)生成圖像幅/相矩陣,提取幅/相矩陣中高頻HL、LH和HH子帶中相位表示的紋理特征,并組合成一個(gè)高維特征向量,輸入到SVR模型中進(jìn)行訓(xùn)練。
步驟3用訓(xùn)練得到的SVR模型預(yù)測(cè)圖像的質(zhì)量得分。
算法流程如圖2所示。
5.1 數(shù)據(jù)庫(kù)和性能評(píng)價(jià)指標(biāo)
在公開(kāi)數(shù)據(jù)庫(kù)LIVE[14]、CSIQ[15]和TID2008[16]上對(duì)本文算法進(jìn)行測(cè)試,數(shù)據(jù)庫(kù)中包括圖像的失真類型和它們的主觀得分DMOS,利用DMOS值可以對(duì)圖像進(jìn)行訓(xùn)練和預(yù)測(cè),它們的詳細(xì)特征如表1。
LIVE圖像評(píng)估數(shù)據(jù)庫(kù)有5類失真類型圖像(169幅JPEG2000壓縮,175幅JPEG壓縮,145幅白噪聲污染,145幅高斯模糊和145幅快速退化)及29幅無(wú)失真原始圖像和每幅圖像相對(duì)應(yīng)的DMOS值,它的數(shù)值在1到100之間變化,數(shù)值越小說(shuō)明圖像質(zhì)量越好。CSIQ數(shù)據(jù)庫(kù)有6類失真及30幅原始圖像,總共900幅圖像。TID2008數(shù)據(jù)庫(kù)有25幅原始圖像及17種失真類型,共1 700幅圖像。將本文算法和BLIINDS-Ⅱ、DIIVINE、NSS-GS和CORNIA無(wú)參考圖像質(zhì)量評(píng)價(jià)算法進(jìn)行了性能比較。
為了驗(yàn)證本文算法與主觀感受的一致性,選用了兩個(gè)評(píng)價(jià)準(zhǔn)則來(lái)度量其性能:(1)反映客觀評(píng)價(jià)算法的準(zhǔn)確性的線性相關(guān)系數(shù)(linear correlation coefficient,LCC),其不受主觀評(píng)估尺度的影響,取值越接近1,說(shuō)明算法評(píng)價(jià)圖像質(zhì)量越精準(zhǔn);(2)反映客觀評(píng)價(jià)算法的單調(diào)性的斯皮爾曼等級(jí)相關(guān)系數(shù)(Spearman rank order correlation coefficient,SROCC),取值范圍[-1,1],取值越接近1或-1,表明客觀圖像質(zhì)量評(píng)價(jià)算法單調(diào)性越好。
Fig.2 Framework of no-reference image quality assessment based on QWT-SVR圖2 基于QWT-SVR的無(wú)參考圖像質(zhì)量評(píng)價(jià)算法框架圖
Table 1 Benchmark test databases for IQA表1 IQA的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)
5.2 參數(shù)設(shè)計(jì)及仿真實(shí)驗(yàn)
在LIVE圖像庫(kù)上,本文按照文獻(xiàn)[17]中的方法,隨機(jī)抽取20%的圖片作為測(cè)試集,剩余的作為訓(xùn)練集,根據(jù)SVR訓(xùn)練模型獲得預(yù)測(cè)值,循環(huán)100次,取其中間值作為最后結(jié)果。實(shí)驗(yàn)中SVR相關(guān)參數(shù)值設(shè)置如下:懲罰系數(shù)C由交叉驗(yàn)證算法尋優(yōu)得到,本文為128;不敏感損失系數(shù)ε值設(shè)為0.1,徑向基核的寬度系數(shù)γ取1。
在CSIQ圖像評(píng)測(cè)數(shù)據(jù)庫(kù)上,本文排除LIVE圖像評(píng)估數(shù)據(jù)庫(kù)上的快速失真類型和原始參考圖像,得到剩余634幅圖像作為訓(xùn)練集,根據(jù)訓(xùn)練得到的模型,在CSIQ上測(cè)試對(duì)應(yīng)4種失真類型(總共600幅)。由于在CSIQ庫(kù)上缺乏相應(yīng)的交叉數(shù)據(jù)庫(kù)實(shí)驗(yàn)數(shù)據(jù),選用經(jīng)典SSIM和PSNR算法做比較。同理,在TID2008數(shù)據(jù)庫(kù)上,因?yàn)槊糠N失真類型包含4幅人工合成的圖像,所以沒(méi)有包括在內(nèi),總共選取384幅圖像作為測(cè)試集。同樣選用LIVE數(shù)據(jù)庫(kù)上634幅圖像作為訓(xùn)練集,用LIVE數(shù)據(jù)庫(kù)的訓(xùn)練模型測(cè)試TID2008上圖片集的質(zhì)量。各項(xiàng)實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)如下。
從表2和表3中可以看出,本文算法和同樣對(duì)5種失真類型評(píng)價(jià)的BLIINDS-Ⅱ、BIQI相比,各個(gè)失真類型都有明顯的提高。同樣體現(xiàn)了對(duì)JPEG評(píng)測(cè)有待進(jìn)一步的提高。同基于兩部框架的DIIVINE、NSS-GS、NSS-TS相比,各項(xiàng)指標(biāo)各有優(yōu)劣,但本文算法不用判斷失真類型,計(jì)算也更加方便;同較新的基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neutral networks,CNN)的CORNIA算法相比,單個(gè)失真類型各有優(yōu)劣,但在總體測(cè)試上具有一定的優(yōu)勢(shì)。從圖3、圖4的100次隨機(jī)實(shí)驗(yàn)的結(jié)果可以看出,本文算法可以有效評(píng)估各失真類型,尤其在WN、GBLUR、ALL上表現(xiàn)出非常不錯(cuò)的穩(wěn)定性。從表4~表6、圖5和圖6可以看出,本文算法在獨(dú)立數(shù)據(jù)CSIQ和TID2008上相對(duì)其他算法也有一定的優(yōu)勢(shì),進(jìn)一步反映了本文算法的有效性和推廣性。
為了進(jìn)一步驗(yàn)證本文算法的有效性和健壯性,在LIVE混合失真圖像庫(kù)上對(duì)算法進(jìn)行進(jìn)一步測(cè)試。由于缺乏相應(yīng)的混合失真對(duì)比數(shù)據(jù),選用一些比較經(jīng)典的算法進(jìn)行比較。方法同上,實(shí)驗(yàn)結(jié)果和對(duì)比如表7和表8所示。
Table 2 Comparison of SROCC on LIVE2 database表2LIVE2數(shù)據(jù)庫(kù)上SROCC對(duì)比
Fig.3 Box plot of SROCC on LIVE2 database圖3LIVE2數(shù)據(jù)庫(kù)上SROCC箱線圖
Table 3 Comparison of LCC on LIVE2 database表3LIVE2數(shù)據(jù)庫(kù)上LCC對(duì)比
Fig.4 Box plot of LCC on LIVE2 database圖4LIVE2數(shù)據(jù)庫(kù)上LCC箱線圖
Table 4 Comparison of SROCC on TID2008 database表4TID2008數(shù)據(jù)庫(kù)上SROCC對(duì)比
Table 5 Comparison of SROCC on CSIQ database表5CSIQ數(shù)據(jù)庫(kù)上SROCC對(duì)比
Table 6 Comparison of LCC on CSIQ database表6CSIQ數(shù)據(jù)庫(kù)上LCC對(duì)比
Fig.5 Result of CSIQ tested by LIVE model圖5LIVE模型測(cè)CSIQ散點(diǎn)圖
從表7、表8可以看出,本文算法相對(duì)傳統(tǒng)算法也具有非常明顯的優(yōu)勢(shì),所提取的特征能較好地反映圖像失真變化規(guī)律,對(duì)各種失真類型都能有效度量圖像質(zhì)量。從以上對(duì)比實(shí)驗(yàn)結(jié)果可見(jiàn),無(wú)論在混合失真集或者多種混合失真圖像集上,本文算法都能取得較高的算法指標(biāo)。
Fig.6 Result of TID2008 tested by LIVE model圖6 LIVE模型測(cè)TID2008散點(diǎn)圖
Table 7 Comparison of SROCC for different assessing methods on multi-kind distortion LIVE database表7 不同評(píng)價(jià)方法在LIVE混合失真圖像庫(kù)上SROCC對(duì)比
Table 8 Comparison of LCC for different assessing methods on multi-kind distortion LIVE database表8 不同評(píng)價(jià)方法在LIVE混合失真圖像庫(kù)上LCC對(duì)比
Fig.7 Result of image quality assessment on LIVE database and different N圖7 參數(shù)N變化在LIVE圖像庫(kù)上的圖像質(zhì)量評(píng)價(jià)結(jié)果
綜上所述,本文算法能準(zhǔn)確地將圖像質(zhì)量與人類主觀感建立起很好的相關(guān)度,具有較好的推廣性和主客觀一致性。
5.3 參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響
影響本文算法的參數(shù)還有求圖像特征矩陣時(shí)QWT的分解尺度數(shù)N,通常情況下研究人員取尺度3,但沒(méi)有定量分析這個(gè)參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響。為了增加算法的普適性,本文通過(guò)實(shí)驗(yàn)來(lái)定量研究分解尺度數(shù)N對(duì)實(shí)驗(yàn)結(jié)果的影響。實(shí)驗(yàn)結(jié)果如圖7所示。
很明顯,隨著QWT分級(jí)尺度的增加,圖像質(zhì)量的度量越精確,分解層數(shù)N對(duì)圖像質(zhì)量的度量有較大影響,并且隨著分解尺度的增加逐漸趨于穩(wěn)定,有一個(gè)獲得最佳值的取值范圍。對(duì)圖7的分析可知,最佳的取值范圍在3、4、5、6,且彼此差距幅度很小,考慮到算法運(yùn)行的效率,取尺度數(shù)3,這從另一方面證明了本文特征選取也具有普適性。尺度N對(duì)算法影響的關(guān)鍵原因在于ψ相位包含圖像的相位信息,隨著分解尺度數(shù)的增加,可以得到更多記錄圖像邊緣改變的高頻信息,因此更能精確描述圖像質(zhì)量的變化程度,這也與實(shí)驗(yàn)結(jié)果分析相一致。
5.4 算法時(shí)間復(fù)雜度分析
在圖像質(zhì)量評(píng)價(jià)過(guò)程中,提取特征過(guò)程所需的計(jì)算時(shí)間往往要遠(yuǎn)大于對(duì)其進(jìn)行分類和預(yù)測(cè)的過(guò)程,后者的時(shí)間復(fù)雜度往往也只與特征維數(shù)和機(jī)器學(xué)習(xí)方式有關(guān)。本文主要對(duì)算法中特征提取時(shí)間進(jìn)行分析。在CPU 3.4 GHz,Core 4,RAM 4配置環(huán)境下,對(duì)LIVE圖像庫(kù)中的自然圖像parrots.bmp進(jìn)行特征提取,對(duì)所需的時(shí)間進(jìn)行比較,結(jié)果如表9所示。可以看出QWT-SVR所用的時(shí)間復(fù)雜度要遠(yuǎn)低于DIIVINE和BLIINDS-Ⅱ算法。
Table 9 Comparison of time for feature extraction of 3 NR-IQAalgorithms表9 3類無(wú)參考特征提取方法所需時(shí)間對(duì)比
本文介紹了四元數(shù)小波變換理論以及它在圖像處理中的應(yīng)用,通過(guò)將四元數(shù)小波幅值相位特征的提取與SVR算法相結(jié)合,提出了一種基于QWT-SVR的無(wú)參考圖像質(zhì)量評(píng)價(jià)算法。本文算法既考慮到圖像的多分辨特性,也考慮到圖像的內(nèi)容和視覺(jué)感知特性,從整體上反應(yīng)了IQA的主客觀一致性,獲得了非常不錯(cuò)的圖像質(zhì)量評(píng)價(jià)效果。探討基于小波域統(tǒng)計(jì)模型以及與多核學(xué)習(xí)、深度學(xué)習(xí)相結(jié)合的評(píng)價(jià)方法,是今后研究的主要工作。
[1]Li Ying,Wang Bo,Kong Xiangwei,et al.Image tampering detection using no-reference image quality metrics[J].Journal of Harbin Institute of Technology,2014,21(6):51-56.
[2]Unser M.Texture classification and segmentation using wavelet frames[J].IEEE Transactions on Image Processing,1995,4(11):1549-1560.
[3]Mallat S G.A theory for multi-resolution signal decomposition: the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1989,11(7):674-693.
[4]Arivazhagan S,Ganesan L,Padam P S.Texture classification using Gabor wavelets based rotation invariant features [J].Pattern Recognition Letters,2006,27(16):1976-1982.
[5]Corner B R,Narayanan R M,Reichenbach S E.Noise estimation in remote sensing imagery using data masking[J]. International Journal of Remote Sensing,2003,24(4):689-702.
[6]Liu Lianhua,Ding Wanshan.Application of quaternion wavelet transform in image processing[J].Electronic Science&Technology,2010,23(4):89-93.
[7]Chan W L,Choi H,Baraniuk R.Quaternion wavelets for image analysis and processing[C]//Proceedings of the 2004 International Conference on Image Processing,Singapore, Oct 24-27,2004.Piscataway,USA:IEEE,2004:3057-3060.
[8]Soulard R,Carré P.Quaternionic wavelets for texture classification[C]//Proceedings of the 2010 IEEE International Conference on Acoustics Speech and Signal Processing, Dallas,USA,Mar 14-19,2010.Piscataway,USA:IEEE,2010:4134-4137.
[9]Li Hongbo.Algebra of Clifford,geometric calculations and geometric reasoning[J].Advances of Mathematics,2003,32 (4):405-415.
[10]Ulow T B.Hypercomplex spectral signal representations for the processing and analysis of images[D].Kiel,Germany: ChristianAl-brechts University,1999.
[11]Moorthy A K,Bovik A C.A two-step framework for constructing blind image quality indices[J].IEEE Signal Processing Letters,2010,17(5):513-516.
[12]Soulard R,Carré P.Quaternionic Wavelets for Texture Classification[J].Pattern Recognition Letters,2011,32(13):1669-1678.
[13]Kale A,Sundaresan A,Rajagopalan A N,et al.Identification of humans using gait[J].IEEE Transactions on Image Processing,2004,13(9):1163-1173.
[14]Sheikh H R,Wang Zhou,Cormack L,et al.LIVE image quality assessment database release 2[DB/OL].(2007-06-30)[2014-02-26].http://live.ece.utexas.edu/research/quality.
[15]Larson E C,Chandler D M.Categorical image quality (CSIQ)database[EB/OL].(2009)[2014-07-23].http://vision. okstate.edu/csiq.
[16]Ponomarenko N,Lukin V,Zelensky A,et al.TID2008—A database for evaluation of full-reference visual quality assessment metrics[J].Advances of Modern Radioelectronics, 2009,10(1):30-45.
[17]Gao Xinbo,Gao Fei,Tao Dacheng,et al.Universal blind image quality assessment metrics via natural scene statistics and multiple kernel learning[J].IEEE Transactions on Neural Networks and Learning Systems,2013,24(12):2013-2026.
[18]Saad M A,Bovik A C,Charrier C.DCT statistics modelbased blind image quality assessment[C]//Proceedings of the 2011 IEEE International Conference on Image Processing, Brussels,Belgium,Sep 11-14,2011.Washington:IEEE Computer Society,2011:3093-3096.
[19]Moorthy A K,Bovik A C.Blind image quality assessment from natural scene statistics to perceptual quality[J].IEEE Transactions on Image Processing,2011,20(12):3350-3364.
[20]Ye Peng,Kumar J,Kang Le,et al.Unsupervised feature learning framework for no-reference image quality assessment[C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition,Provience,USA, Jun 16-21,2012.Piscataway,USA:IEEE,2012:1098-1105.
[21]Tong Hanghang,Li Mingjing,Zhang Hongjiang,et al.Noreference quality assessment for JPEG2000 compressed images[C]//Proceedings of the 2004 International Conference on Image Processing,Singapore,Oct 24-27,2004.Piscataway,USA:IEEE,2004,5:3539-3942.
[22]Zhou Wang,Simoncelli E P,Bovik A C.Multi-scale structural similarity for image quality assessment[C]//Proceedings of the 37th IEEE Asilomar Conference on Signals,Systems and Computers,Pacific Grove,USA,Nov 9-12,2003. Piscataway,USA:IEEE,2003:1398-1402.
[23]Sheikh H R,Bovik A C,Veciana G D.An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEE Transactions on Image Processing,2005, 14(12):2117-2128.
[24]Chandler D M,Hemami S S.A wavelet-based visual signalto-noise ratio for natural images[J].IEEE Transactions on Image Processing,2007,16(9):2284-2298.
附中文參考文獻(xiàn):
[6]柳蓮花,丁萬(wàn)山.四元數(shù)小波變換在圖像處理中的應(yīng)用[J].電子科技,2010,23(4):89-93.
[9]李洪波.Clifford代數(shù),幾何計(jì)算和幾何推理[J].數(shù)學(xué)進(jìn)展,2003,32(4):405-415.
SANG Qingbing was born in 1973.He received the Ph.D.degree in image processing from Jiangnan University in 2013.Now he is an associate professor and M.S.supervisor at Jiangnan University.His research interests include image quality assessment and pattern recognition,etc.
桑慶兵(1973—),男,安徽明光人,2013年于江南大學(xué)圖像處理專業(yè)獲得博士學(xué)位,現(xiàn)為江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院副教授、碩士生導(dǎo)師,主要研究領(lǐng)域?yàn)閳D像質(zhì)量評(píng)價(jià),模式識(shí)別等。
GAO Shuang was born in 1987.He is an M.S.candidate at School of Internet of Things Engineering,Jiangnan University.His research interest is image quality assessment.
高雙(1987—),男,河南南陽(yáng)人,江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院碩士研究生,主要研究領(lǐng)域?yàn)閳D像質(zhì)量評(píng)價(jià)。
No-Reference Image QualityAssessment via Quaternion Wavelet Transform*
SANG Qingbing+,GAO Shuang
School of Internet of Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
+Corresponding author:E-mail:sangqb@163.com
This paper proposes a new general purpose no-reference image quality assessment based on quaternion wavelet transform.It projects a two-dimenisonal image to four-dimenisonal space by using the quaternion wavelet pyramid.Each level of pyramid provides a shift-invariant magnitude and 3-angle(Φ,θ,ψ)phase.Phase ψ includes image texture information and can effectively characterize the structural information of the image.So the method extracts the features which can reflect the degree of image distortion and constitute the feature vector.Finally,the extracted feature is inputted to the support vector regression(SVR)model to predict image quality score.The experimental results show that the proposed algorithm can effectively reflect the visual quality of the image in different distortion types.Spearman correlation coefficient(SROCC)value can reach 0.942.
no-reference image quality assessment;quaternion wavelet transform;quaternion wavelet pyramid;support vector regression(SVR)
10.3778/j.issn.1673-9418.1512042
A
TN911
*The National Natural Science Foundation of China under Grant No.61170120(國(guó)家自然科學(xué)基金);the Prospective Research Project of Jiangsu Province under Grant No.BY2013015-41(江蘇省產(chǎn)學(xué)研項(xiàng)目).
Received 2015-12,Accepted 2016-03.
CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-03-07,http://www.cnki.net/kcms/detail/11.5602.TP.20160307.1710.010.html
SANG Qingbing,GAO Shuang.No-reference image quality assessment via quaternion wavelet transform. Journal of Frontiers of Computer Science and Technology,2017,11(4):633-642.