王同罕　 賈惠珍　 舒華忠

(1東華理工大學江西省放射性地學大數(shù)據(jù)技術(shù)工程實驗室， 南昌 330013)(2東南大學影像科學與技術(shù)實驗室， 南京 210096)

圖像質(zhì)量評價主要分為主觀評價和客觀評價.主觀評價是由人眼直接觀察并進行評價的，符合人的感知特性，結(jié)果準確可靠，但容易受客觀條件和主觀情緒等因素影響，存在評價結(jié)果不夠穩(wěn)定、耗時、費用高、難以操作等缺點.根據(jù)對原始信息的依賴程度，客觀評價可以分為全參考、部分參考和無參考圖像質(zhì)量評價[1].全參考圖像質(zhì)量評價是在參考圖像完全可用的情況下評價圖像質(zhì)量，部分參考圖像質(zhì)量是利用參考圖像的部分信息對失真圖像進行評價，無參考圖像質(zhì)量評價是不需要參考圖像的任何信息，直接對圖像進行評價.全參考評價算法的結(jié)果相對可靠穩(wěn)定，被稱為最可靠的評價算法.

早期的全參考質(zhì)量評價算法(如MSE和PSNR)沒有考慮人類的視覺特性，評價結(jié)果與人的主觀一致性較差.隨后，學者們從人類視覺系統(tǒng)的仿生學角度和基于系統(tǒng)理論的工程學角度來設(shè)計評價模型[2-15].其中的典型算法包括SSIM算法[2]、IFC算法[5]、VIF算法[6]、MAD算法[7]、FSIM算法、VSI算法、 GSM算法[10]、GMSD算法[11]等.這些基于工程學的典型算法均采用與人類視覺特性相關(guān)的感知特征和有效的池化策略.人類視覺系統(tǒng)理解一幅圖像主要是基于其底層特征，如邊界和零交叉[11].梯度是邊界的構(gòu)成要素，廣泛應(yīng)用于參考圖像質(zhì)量評價中，如FSIM，GSM和GMSD等.梯度方向直方圖可表示邊界的結(jié)構(gòu)信息，能準確地描述邊界的局部形狀信息.基于此，本文提出了一種結(jié)合梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評價算法.

1　梯度方向直方圖

梯度方向直方圖(HOG)的基本思想是，根據(jù)一幅圖像中的局部強度梯度或邊界方向分布，可以準確地描述局部物體表象和形狀[16].針對圖像I，其梯度方向直方圖的提取步驟如下：

Gh(x,y)=I(x+1,y)-I(x-1,y)

(1)

Gv(x,y)=I(x,y+1)-I(x-1,y)

(2)

梯度幅度M(x,y)和梯度方向θ(x,y)分別為

(3)

(4)

② 空間/方向的劃分.先將圖像按照空間位置劃成一定大小的小塊，由若干個小塊組成一個大的局域分塊.根據(jù)每個小塊內(nèi)的像素，通過加權(quán)投票的方式對方向直方圖進行投票.將局域分塊中所有小塊的方向直方圖串聯(lián)起來，形成局域分塊的特征描述子.其中，每個小塊的形狀可為矩形或圓形；方向直方圖的方向取值為0°～180°或0°～360°，一般將方向分為9個通道；加權(quán)投票方式一般采用高斯加權(quán)，或者根據(jù)像素梯度幅度及其相關(guān)函數(shù)進行加權(quán).

2　基于梯度幅度和梯度方向直方圖的評價算法

在本文算法中，首先計算參考圖像和失真圖像的梯度幅度圖以及梯度方向直方圖；其次，計算參考圖像和失真圖像的梯度幅度相似度圖和梯度方向直方圖的相似度向量；然后，統(tǒng)計梯度幅度相似度的標準方差和所有分塊的梯度方向直方圖相似度的標準方差；最后，將采用加權(quán)方式綜合形成整幅圖像的相似度標準方差作為失真圖像的預測分數(shù)值.本文算法的工作框架見圖1.

圖1　本文算法的工作框架圖

2.1　梯度幅度相似度圖

人類視覺系統(tǒng)理解一幅圖像主要根據(jù)其底層特征，如邊界、零交叉等.梯度是邊界的構(gòu)成要素，梯度幅度能反應(yīng)細節(jié)變化和紋理變化，廣泛應(yīng)用于參考圖像質(zhì)量評價算法設(shè)計中，如FSIM，GSM，GMSD，VSI等.其中GSM，GMSD這2種算法均僅通過梯度幅度相似度來設(shè)計評價模型，但二者采用的圖像預處理、梯度算子和池化算法不同，這2種模型的預測效果均較好，且GSM的預測效果更優(yōu).據(jù)此，本文采用梯度幅度相似度作為衡量失真圖像失真程度的重要依據(jù)之一，采用GMSD進行梯度幅度相似度計算.

梯度通常采用線性濾波卷積進行計算，典型濾波器包括Roberts，Sobel，Prewitt，Scharr等.本文算法采用水平方向Prewitt算子hx和垂直方向Prewitt算子hy來計算圖像任意像素點i在水平方向上的梯度Gx(i)和垂直方向上的梯度Gy(i)，進而得到該像素點的梯度幅值G(i).其中，hx和hy分別為

(5)

Gx(i)=I(i)?hx

(6)

Gy(i)=I(i)?hy

(7)

(8)

令參考圖像和失真圖像的梯度幅度圖分別為Gr和Gd，則梯度幅度相似度圖的計算公式為

(9)

式中，C為一個正數(shù)常量.Q圖是基于像素方式進行計算的，而梯度幅度是基于小局域分塊的方式進行計算.Gr(i)和Gd(i)相同時，Q(i)達到最大值1.

2.2　梯度方向直方圖相似度

人們識別物體和場景的關(guān)鍵依據(jù)是物體和區(qū)域的形狀.形狀作為物體的固有屬性之一，主要由封閉的輪廓曲線包圍而成，不受顏色、紋理、光照等變化影響，并易于被人眼捕捉，因此形狀的失真易于被人眼所觀察.梯度方向直方圖能很好地描述物體的表象和形狀，因此將梯度直方圖的相似度作為衡量圖像失真的另一個重要依據(jù).其計算過程如下：

① 先按照公式分別計算參考圖像和失真圖像的水平梯度、垂直梯度、梯度幅度和梯度方向.

② 將參考圖像和失真圖劃塊，其中每個細胞大小為8×8.由2×2個細胞組成一個大的局域分塊，計算每個細胞的梯度方向直方圖.然后，將局域分塊中所有細胞的梯度方向直方圖串起來，得到梯度方向直方圖特征向量.最后，將所有具有一定重疊程度的分塊的特征向量組合在一起，形成整幅圖像的梯度方向直方圖特征.令參考圖像和失真圖像的梯度方向直方圖分別為Xr和Xd. 其中，每個細胞梯度方向直方圖的計算方法是假定梯度方向取值范圍0°～180°，將其分成9份，然后采用加權(quán)梯度幅值的投票方式對梯度方向直方圖進行投票.

③ 梯度方向直方圖的相似度主要通過方向直方圖的均值和方差來衡量，即

T(i)=c(i)k(i)

(10)

(11)

(12)

式中，mr(i)和md(i)分別為參考圖像和失真圖像中第i個局域分塊梯度方向直方圖的均值；sr(i)和sd(i)分別為參考圖像和失真圖像中第i個局域分塊梯度方向直方圖的方差；T(i)為失真圖像的梯度方向直方圖的相似度.當參考圖像和失真圖像中第i個分塊相同時，T(i)達到最大值1.

2.3　標準方差加權(quán)合并策略

合并策略的選取對于全參考圖像質(zhì)量評價來說至關(guān)重要.平均合并策略和加權(quán)平均合并策略廣泛應(yīng)用于模型設(shè)計中.就預測精度而言，加權(quán)平均策略較平均合并策略具有更好的效果，但其復雜度較高. GMSD中，基于單一特征計算相似圖時，采用標準方差策略效果較好；基于多個特征計算相似圖時，采用標準方差策略的效果較差，究其原因在于不同特征之間的某種關(guān)聯(lián)會導致評價圖像質(zhì)量時更加復雜.基于此，本文采用標準方差加權(quán)合并策略，先分別計算梯度幅度相似度圖和梯度方向直方圖相似度的標準方差，然后通過加權(quán)求和的方式得到最后的分數(shù)s，即

s=w1D(Q)+w2D(T)

(13)

式中，w1和w2為權(quán)重，且w1+w2=1；D為標準方差函數(shù).

3　實驗結(jié)果與分析

3.1　圖像庫和評價標準

采取3個公開的自然圖像數(shù)據(jù)庫(LIVE[17],TID2008[18]和IVC[19])來驗證本文算法的有效性.其中，LIVE庫是由美國德州大學奧斯汀分校提供，包含29幅高分辨率的彩色圖像以及對應(yīng)的5種失真類型，每種失真類型又包含幾種不同失真程度的圖像.該圖像庫包含982幅圖像，其中失真圖像779幅.每幅圖像都有對應(yīng)的差分主觀分數(shù)(DMOS)，其值越大，則圖像質(zhì)量越差.TID2008庫是由芬蘭坦佩雷理工大學提供.該庫由25幅參考圖像生成1 700幅失真圖像，共包含17種失真類型，每種失真類型包含100幅圖像. 25幅參考圖像中前24幅為自然圖像，最后1幅為失真圖像.IVC庫包含10幅原始圖像和185幅失真彩色圖像，共包含4種失真類型.

分析客觀評價方法與主觀評價相關(guān)程度的常用統(tǒng)計指標包括斯皮爾曼秩相關(guān)系數(shù)(SROCC)、肯德爾秩相關(guān)系數(shù)(KROCC)、皮爾森相關(guān)系數(shù)(PLCC)和均方根誤差(RMSE).其中，前2種評價指標表征算法預測的單調(diào)性，PLCC表征算法預測的精度，RMSE表征算法預測的誤差.SROCC，KROCC，PLCC指標越大，說明算法評價準確率性能越高，RMSE指標越低，即評價準確率越高.采用PLCC和RMSE兩種指標進行評價前，通常需要進行非線性回歸，將預測值和主觀分數(shù)映射到同一級別，采用的非線性回歸方程為[20]

(14)

式中，p(x)為非線性回歸后的預測分數(shù)；αi(i=1,2,3,4,5)為待擬合的參數(shù)；x為原預測分數(shù).

3.2　加權(quán)權(quán)重設(shè)置實驗

在標準方差加權(quán)合并策略中，需要對算法中的權(quán)重進行設(shè)置.為了選擇合適權(quán)重，對3個數(shù)據(jù)庫中不同權(quán)重下的SROCC進行了對比，結(jié)果見圖2.由圖可知，在LIVE庫上，當梯度幅度相似度圖標準差的權(quán)重設(shè)置為0.3，而梯度直方圖相似度標準差的權(quán)重設(shè)置為0.7時，SROCC值最高；在TID2008庫上，當梯度幅度相似度圖標準差的權(quán)重設(shè)置為0.3和0.4時，SROCC值最高；在IVC庫上，當梯度幅度相似度圖標準差權(quán)重設(shè)置為0.2時，SROCC值最高.本文算法設(shè)置梯度幅度相似度圖標準差的權(quán)重w1=0.3，梯度方向直方圖相似度標準方差權(quán)重w2=0.7.

3.3　性能比較實驗

在實驗中，設(shè)置C=170，C1=C2=1.計算梯度幅度相似度之前，需對圖像進行2×2高斯加權(quán)平均濾波，然后進行下采樣.為驗證所提算法的有效性，將其與目前具有代表性的8種參考圖像質(zhì)量評價算法(SSIM，IW-SSIM，VIF，MAD，F(xiàn)SIM，GSM，GMSD，VSI)進行比較.這些算法中除了FSIM和VSI能夠同時評價彩色圖像和灰度圖像外，其他算法都是針對灰度圖像進行設(shè)計的.所提算法與8種代表性算法在LIVE，TID2008和IVC庫上的結(jié)果見表1.根據(jù)3個庫中測試圖像的個數(shù)對各指標進行加權(quán)平均，以反映評價算法的總體評價性能.

(a) LIVE庫

(b) TID2008庫

(c) IVC庫

由表1可以看出，所提算法的性能均優(yōu)于主流算法.為了更好地顯示各算法預測結(jié)果與主觀評價的一致性，給出了各算法在TID2008圖像庫上的散點圖，結(jié)果見圖3.由圖可知，本文算法的散點相對比較集中，說明具有較好的主客觀一致性.

4　結(jié)論

1) 根據(jù)人類視覺系統(tǒng)視覺特性，人眼不僅易于捕捉圖像細節(jié)紋理的變化，并且對局域物體的形狀失真比較敏感.梯度幅度可反映紋理細節(jié)變化，梯度方向直方圖能描述局部物體的表象和形狀.基于此，本文提出一種基于梯度幅度和梯度方向直方圖的全參考圖像質(zhì)量評價算法.

表1　各算法性能比較

(a) SSIM

(b) IWSSIM

(c) MAD

(d) FSIM

(e) GMSD

(f) 本文算法

圖3各算法在TID2008庫上的散點圖

2) 在本文算法中，首先提取參考圖像和失真圖像的梯度幅度特征和梯度方向直方圖特征；然后，計算參考圖像和失真圖像的梯度幅度相似度圖和梯度方向直方圖相似度向量；最后，采用標準方差加權(quán)策略得到失真圖像的最終預測值.

3) 3個圖像數(shù)據(jù)庫LIVE，TID2008，IVC上的實驗結(jié)果表明，本文所提算法具有較高的主客觀一致性.

4) 下一步工作主要研究梯度直方圖分塊及細胞大小對圖像質(zhì)量評價的影響，以進一步提高算法的預測性能.

參考文獻(References)

[1] Wang Z, Bovik A. Modern image quality assessment[J].SynthesisLecturesonImageVideo&MultimediaProcessing, 2006,2(1):1-156.

[2] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: From error visibility to structural similarity[J].IEEETransImageProcess, 2004,13(4): 600-612. DOI:10.1109/tip.2003.819861.

[3] Wang Z, Simoncelli E P, Bovik A C. Multiscale structural similarity for image quality assessment[C]//TheThirty-SeventhAsilomarConferenceonSignals,SystemsandComputers. Pacific Grove, CA, USA, 2003: 1398-1402. DOI:10.1109/acssc.2003.1292216.

[4] Wang Z, Li Q. Information content weighting for perceptual image quality assessment[J].IEEETransImageProcess, 2011,20(5): 1185-1198. DOI:10.1109/TIP.2010.2092435.

[5] Sheikh H R, Bovik A C, de Veciana G. An information fidelity criterion for image quality assessment using natural scene statistics[J].IEEETransImageProcess, 2005,14(12): 2117-2128. DOI:10.1109/tip.2005.859389.

[6] Sheikh H R, Bovik A C. Image information and visual quality[J].IEEETransImageProcess, 2006,15(2): 430-444. DOI:10.1109/tip.2005.859378.

[7] Chandler D M. Most apparent distortion:Full-reference image quality assessment and the role of strategy[J].JournalofElectronicImaging, 2010,19(1): 011006-1-011006-21. DOI:10.1117/1.3267105.

[8] Zhang L, Zhang L, Mou X, et al. FSIM: A feature similarity index for image quality assessment[J].IEEETransImageProcess, 2011,20(8): 2378-2386. DOI:10.1109/TIP.2011.2109730.

[9] Zhang L, Shen Y, Li H. VSI:A visual saliency-induced index for perceptual image quality assessment[J].IEEETransImageProcess, 2014,23(10): 4270-4281. DOI:10.1109/TIP.2014.2346028.

[10] Liu A, Lin W, Narwaria M. Image quality assessment based on gradient similarity[J].IEEETransImageProcess, 2012,21(4): 1500-1512. DOI:10.1109/TIP.2011.2175935.

[11] Xue W, Zhang L, Mou X, et al. Gradient magnitude similarity deviation: A highly efficient perceptual image quality index[J].IEEETransImageProcess, 2014,23(2): 684-695. DOI:10.1109/TIP.2013.2293423.

[12] Wang T, Zhang L, Jia H, et al. Multiscale contrast similarity deviation: An effective and efficient index for perceptual image quality assessment[J].SignalProcessing:ImageCommunication, 2016,45: 1-9. DOI:10.1016/j.image.2016.04.005.

[13] Shi Z, Chen K, Pang K, et al. A perceptual image quality index based on global and double-random window similarity[J].DigitalSignalProcessing, 2017,60: 277-286. DOI:10.1016/j.dsp.2016.09.013.

[14] Shi Z, Zhang J, Cao Q, et al. Full-reference image quality assessment based on image segmentation with edge feature[J].SignalProcessing, 2018,145: 99-105. DOI:10.1016/j.sigpro.2017.11.015.

[15] Xing L, Cai L, Zeng H, et al. A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J].SignalProcessing, 2018,145: 233-240. DOI:10.1016/j.sigpro.2017.12.013.

[16] Dalal N, Triggs B. Histograms of oriented gradients for human detection[C]// 2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR'05). San Diego, CA, USA, 2005:886-893.DOI:10.1109/cvpr.2005.177.

[17] Sheikh H, Wang Z, Cormack L, et al. LIVE image quality assessment database release 2 [EB/OL]. (2005)[2017-06-02].http: //live. ece. utexas.edu/research/ quality.

[18] Ponomarenko N, Lukin V, Zelensky A, et al. TID2008—A database for evaluation of full-reference visual quality assessment metrics[J].AdvModernRadioelectron, 2004,10(4):30-45.

[19] Ninassi A, le Callet P, Autrusseau F. Pseudo no reference image quality metric using perceptual data hiding[C]//ProceedingsofSPIEHumanVisionandElectronicImaging. San Jose, CA, USA, 2006: 146-157. DOI:10.1117/12.650780.

[20] Sheikh H R, Sabir M F, Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J].IEEETransImageProcess, 2006,15(11): 3440-3451. DOI:10.1109/tip.2006.881959.