張丹丹　趙迎會

摘要：5G時代的到來使得圖像處理技術(shù)也得到了迅猛發(fā)展，自然圖像質(zhì)量評價方法成為圖像處理領(lǐng)域的重要研究熱點。在自然圖像獲取、圖像壓縮、存儲等處理時，圖像質(zhì)量不可避免的產(chǎn)生各種類型的失真，從而自然圖像質(zhì)量評價方法的應(yīng)用越來越廣泛。首先闡述自然圖像的失真類型和公開標(biāo)準(zhǔn)圖像數(shù)據(jù)庫的相關(guān)知識，然后分別從主觀評價和客觀評價兩種方法分析自然圖像質(zhì)量評價，最后對未來自然圖像質(zhì)量評價方法的發(fā)展趨勢進行了總結(jié)和展望。

關(guān)鍵詞：圖像質(zhì)量評價;自然圖像質(zhì)量;主觀評價;客觀評價;圖像處理

中圖分類號：TP391 文獻標(biāo)識碼：A

文章編號：1009-3044（2020）09-0203-03

1 引言

自然圖像以立體、豐富、生動直觀和精彩的特點向我們傳送大量信息，無論是人或動物都是通過眼睛通過光學(xué)信號來獲取信息，從而人眼感知就作為自然圖像質(zhì)量評價的較為可靠的依據(jù)。但是在圖像獲取、圖像重建、圖像傳輸及壓縮等處理過程均會給圖像質(zhì)量帶來各種失真（降質(zhì)、下降）[1][2]，因此圖像的失真是無法避免的。自然圖像質(zhì)量的好壞直接影響到信息獲取和主觀感受，自然圖像質(zhì)量評價（ natural image quality assess-ment，NIQA）方法的研究比較具有實際應(yīng)用價值。NIQA劃分為主觀和客觀圖像質(zhì)量評價方法兩大類。主觀質(zhì)量評價主要是根據(jù)參與觀測評價人員的視覺感知而計算出圖像質(zhì)量的主觀評價值（mean option score， MOS）或差分平均主觀分（Differen-tial mean opinion score，DMOS）（即人眼對無失真圖像和有失真圖像評價得分的差異）。客觀質(zhì)量評價方法依據(jù)參考圖像（原始圖像）是否存在將其分為三大類：1）全參考（Full Reference.FR）評價方法、2）半?yún)⒖迹≧educed Reference， RR）評價方法，3）無參考（No Reference，NR）評價方法也稱為盲圖像質(zhì)量評價方法。有些質(zhì)量評價方法是專門針對如噪聲、壓縮等特定的失真類型進行圖像質(zhì)量評價，有些評價方法是先進行失真原因分類，再進行質(zhì)量評價。所以本文在介紹圖像不同種類的失真和已經(jīng)公開的圖像數(shù)據(jù)庫后，將自然圖像評價方法進行詳細(xì)的分析研究。

2 自然圖像不同類型失真

在現(xiàn)實應(yīng)用及生活中自然圖像經(jīng)常伴隨著不同種類的失真而使得圖像的質(zhì)量受到不同程度的影響，因此只有在精準(zhǔn)有效的判別出具體的圖像失真類型后，才能有針對地選擇較為匹配的圖像質(zhì)量評價方法。

2.1 圖像噪聲

對于人類聽覺感知而言，談話過程中如果伴隨有嘈雜的聲音，直接影響到接收對方信息的清晰度。同樣的，相較于圖像，如果在獲取蘊含豐富有效信息的圖像時出現(xiàn)一些影響接收圖像數(shù)據(jù)信息的因素，就可以稱之為圖像的噪聲。概率統(tǒng)計學(xué)上不可預(yù)測的隨機誤差[3]的存在稱之為理論上的噪聲。

2.2 圖像模糊

高斯模糊（ Gaussian Blur）[4]是圖像中較為常見的圖像降質(zhì)，也將其稱之為高斯平滑效應(yīng)，圖像模糊的實現(xiàn)原理實際上就是對圖像進行平滑操作以達到降低圖像細(xì)節(jié)和噪聲的目的，圖像處理中的平滑操作也即是對圖像做卷積操作，一般均采用行和列為奇數(shù)的卷積核進而形成圖像的模糊。模糊形成的原因多種多樣，如運動拍攝、大氣及光等因素，目前超分辨的圖像重構(gòu)、圖像的復(fù)原和增強等均成為模糊圖像技術(shù)處理方法。

2.3 圖像壓縮

圖像壓縮根據(jù)對原始圖像信息能否全部得到還原分為兩大類：有損壓縮和無損壓縮。有損壓縮方式能夠最大限度地減少壓縮后所需要的存儲空間而犧牲了壓縮后圖像的質(zhì)量，JPEG[5]（Joint Photographic Experts Group）就是其中一種首個國際標(biāo)準(zhǔn)的有損壓縮格式。另外一種是JPEG 2000c6]壓縮標(biāo)準(zhǔn)，它同時支持有損和無損兩種壓縮方式。

3 公開圖像數(shù)據(jù)庫

圖像質(zhì)量評價方法的研究越來越深入，相對的較為標(biāo)準(zhǔn)的圖像數(shù)據(jù)庫也是迫切需要建立的，因為任何一種自然圖像質(zhì)量評價方法都需要去檢測。目前供人們研究使用的公開圖像數(shù)據(jù)大約有二十個，它們是由大量的研究者和觀測人員共同建立的。本文接下來將會針對目前較為常用且具有代表性的公開圖像數(shù)據(jù)庫進行簡介，包含CsIQ、TID2008，LIVE和IVC四個圖像數(shù)據(jù)庫，四個圖像數(shù)據(jù)庫之外的可參見文獻[7]。

3.1 LIVE圖像數(shù)據(jù)庫

LIVE[8]（Laboratory for image&video engineering圖像數(shù)據(jù)庫的實際應(yīng)用也是比較廣泛的。它提供了BMP格式原始參考圖像共29幅，五種不同類型失真圖像共982幅，其中包含的五種失真類型分別是：JPEG、JPEG2000、高斯白噪聲、快衰落和高斯模糊，每種失真類型又提供了約五種不同失真程度。另外還提供了每一張失真圖像的DMOS值，這些值是由約161名觀測評價者給出的約20000多條數(shù)據(jù)綜合統(tǒng)計后所得到的。

3.2 IVC圖像數(shù)據(jù)庫

IVC[9]數(shù)據(jù)庫是在2005年由法國中央理工大學(xué)建立的共享型圖像數(shù)據(jù)庫，圖像數(shù)據(jù)庫提供BMP格式原始參考圖像共10幅，還提供了LAR（ Locally Adaptive Resolution）編碼、JPEG、JPEG2000和高斯模糊共四種失真類型且包含不同程度失真的185幅圖像。IVC公開標(biāo)準(zhǔn)圖像數(shù)據(jù)庫一共提供了由15位測試者通過主觀評價值統(tǒng)計得到的所有失真圖像的MOS（MeanOpinion Scores）值。

3.3 CSIQ圖像數(shù)據(jù)庫

在2010年美國俄克拉荷馬州立大學(xué)建立了CSIQ[10]（ Cate-gorical subj ective image quality）公開共享的圖像數(shù)據(jù)庫，該圖像數(shù)據(jù)庫提供了PNG格式的原始參考圖像共計30幅。其中包含有：JPEG和JPEG2000壓縮、對比度縮減、加性高斯粉紅噪聲等共六種不同失真類型的圖像共計866幅，每種失真類型的圖像是由約5種程度等級的失真所組成。該數(shù)據(jù)庫中所有失真圖像的DMOS（ Difference Mean Opinion Scores）值是來自參與觀測評價的35名人員給出的約5000條數(shù)據(jù)綜合總計而所得。

3.4 TID2008圖像數(shù)據(jù)庫

TID 2008[11]（ Tampere image database）是在2008年由烏克蘭國家航空航天大學(xué)建立的，它提供了BMP格式的原始參考圖像共計25幅，約十七種不同失真類型的圖像，同時每種失真類型是由4個不同程度失真等級組成的一共1700幅圖像。庫中包含了所有失真類型圖像的標(biāo)準(zhǔn)差和MOS值，這些值是由838名不同國家的觀測評價者根據(jù)人眼感知系統(tǒng)主觀評價得到的約256428條數(shù)據(jù)綜合統(tǒng)計得到的。MOS的取值范圍是[0，9】，圖像質(zhì)量的好壞程度隨著MOS值的遞增而遞增，遞減而遞減。

4 自然圖像質(zhì)量評價方法

主觀評價方法主要依據(jù)人類的視覺感知神經(jīng)，在特定的相同環(huán)境下，觀測人員根據(jù)圖像亮度、圖像噪聲以及圖像清晰度等綜合分析圖像的質(zhì)量好壞給出相應(yīng)的觀測值。但是主觀評測結(jié)果值最容易受所處環(huán)境和觀測者本身等客觀因素的限制。它有著自身顯著的劣勢存在，其一：需要耗費時間組織觀測人員，且結(jié)果易受個人主觀意見的影響;其二：當(dāng)需要處理的圖像數(shù)量達到一定值時，該方法在時間上存在極大限制;其三：該方法不能嵌入到計算機或圖像處理系統(tǒng)中達到自動化評價，耗時費力。由此可看出主觀評價方法在實際進行圖像質(zhì)量評價時并不適合，所以接下來主要分析研究幾種不同的客觀評價方法。

4.1 客觀評價方法

下面本文主要介紹目前較為常見使用的客觀圖像質(zhì)量評價方法。其中無參考（No Reference，NR）圖像質(zhì)量評價方法由于該方法不需要原始圖像作為參考而受到更多的研究關(guān)注。其中費歇爾信息量[12]（ Fisher Information）、點銳度[13]（Sharp-ness）、中值濾波梯度相似性[14]以及均方根對比度㈣等都是比較常用的無參考（No Reference，NR）圖像質(zhì)量評價方法。

4.1.1 費歇爾信息量（Fisher Information）

Fisher信息（費歇爾信息量）也可以稱為費歇爾信息矩陣。費歇爾信息量主要是對數(shù)學(xué)中：對數(shù)似然函數(shù)對總體分布參數(shù)倒數(shù)的方差。在實際應(yīng)用中我們將該數(shù)學(xué)計算公式到圖像質(zhì)量評價中，可以得到費歇爾（Fisher）信息量公式：

上述公式（1）中的F是表示被評價的自然圖像，M代表圖像的長，N表示的是圖像的寬。

4.1.2 均方根對比度（root-mean-square contrast，RMS-con-trast）

均方根對比度（ RMS-contrast）：真實值與預(yù)測值之間的偏差與被測量總數(shù)比值的平方根，應(yīng)用在圖像中表示的是圖像的強度與平均強度之間的偏差與圖像像素總數(shù)N比值的平方根。該評價方法能夠很容易的因圖像內(nèi)容的變化而變化，因此該方法被廣泛領(lǐng)用到圖像質(zhì)量評價的研究領(lǐng)域內(nèi)。

上述公式（3）中的F是表示被評價的自然圖像，N就是上述圖像像素總數(shù)。

4.1.3 點銳度（Sharpness）

邊緣銳度[16]是一種常用的圖像處理方法，它可以用來增強視頻或圖像的邊緣對比度來改善圖像明顯的清晰度（銳度）。點銳度（Sharpness）就是由該圖像處理方法改進后的一種圖像質(zhì)量評價方法。該評價方法的計算函數(shù)定義：

其中F是表示被評價的自然圖像，M和N是圖像的長和寬即圖像的大小。

4.1.4 中值濾波梯度相似性（Median Filter-Gradient Similarity，MFGS）

基于中值濾波的結(jié)構(gòu)相似性（ MFGS）方法由鄧輝[1]等人在2015年提出的一種新的無參考圖像質(zhì)量評價方法。MFGS圖像質(zhì)量評價方法主要的計算函數(shù)：

上述公式（5）中表示的是首先將待評價圖像R通過一個3*3尺寸的濾波器進行中值濾波處理得到圖像p，公式（6）中g(shù)r和gP分別表示的是待評價圖像R和處理后圖像p的每個像素梯度值。

本文選取CSIQ公開圖像數(shù)據(jù)庫中的噪聲失真類型的圖像為實驗對象，表1和表2分別列出了高斯粉紅噪聲和白噪聲失真類型圖像的不同評價方法的實驗結(jié)果。表中線性相關(guān)（Lin-early correlation，LC）CC系數(shù)和斯皮爾曼（SROCC）系數(shù)分別表示主客觀評價方法之間的線性相關(guān)性以及直線相關(guān)性和數(shù)據(jù)間單調(diào)性，另外平均cv系數(shù)能夠體現(xiàn)出數(shù)據(jù)的變異程度，系數(shù)值越大體現(xiàn)出客觀圖像質(zhì)量評價方法性能越好。

5 結(jié)論

本文綜合分析相關(guān)圖像質(zhì)量評價方法文獻的基礎(chǔ)上，將圖像失真類型、公開標(biāo)準(zhǔn)圖像數(shù)據(jù)庫、主觀和客觀圖像質(zhì)量評價方法進行綜合分析。我們從實驗統(tǒng)計結(jié)果總結(jié)：1）相同的客觀圖像質(zhì)量評價方法在評價高斯粉紅噪聲和白噪聲時結(jié)果不盡理想;2）同種失真類型的圖像使用不同的評價方法的效果相差甚遠(yuǎn)。所以目前存在的多種客觀圖像質(zhì)量評價方法只是適應(yīng)于某種特定失真類型的圖像時才有效，那么適用于多種失真類型的通用自然圖像質(zhì)量評價方法有待繼續(xù)研究。

參考文獻：

[1] Wu H R，Yuen M.A generalized block-edge impairment metricfor video coding[Jl.lEEE Signal Processing Letters， 1997，4（11）：317-320.

[2]P.C.Teo， and D.J.Heeger.Perceptual image distortion， [Jl.inProc. lEEE Int. Conf. Image Processing， Austin， TX，1994，2：982-986.

[3]何東健.數(shù)字圖像處理[M]西安：西安電子科技大學(xué)出版社，2003.

[4] Hummel R A，Kimia B，Zucker S W.Deblurring Gaussian blur[J]. Computer Vision， Graphics，and Image Processing， 1986， 36f1、：134.

[5] Information technology. Digital compression and coding of con-tinuous-tone still images[S]. BSl British Standards，.DOI：10.3403/bsisoiec10918

[6] Schelkens P，Skodras A，Ebrahimi T.The JPEG 2000 suite[Ml.Chichester， UK： John Wiley&Sons， Ltd， 2009.

[7] Chandler D M.Seven challenges in image quality assessment：past， present， and future research[Jl. ISRN Signal Processing，2013，2013：1-53.

[8] Sheikh H R，Wang Z，Cormack L，Bovik A C.LIVE Imagequality assessment database release 2[01]， available： http：//live.ece.utexas.edu/research/quality， February 4，2015

[9] Callet P L，Autrusseau F.Subjective quality assessment lRC-CyN，IVC database [OLl， available： http：//www. irccyn. ec- nantes.fr/ivcdb/. February 4，2015

[10]E.C.Larson and D.M. Chandler， "Categorical subjective im-age quality CSIQ database[0L]，”2009， http：//vision. okstate.edu/csiq/

[11] Chandler D M，Hemami S S.Dynamic contrast-based quantiza-tion for lossy wavelet image compression[Jl.IEEE Transactionson Image Processing， 2005，14（4）：397-410.

[12] Barrett H H，Denny J L，Wagner R F，et al.Objective assess-ment of image quality Il Fisher information，F(xiàn)ourier crosstalk，and figures of merit for task performance[J].Journal of the Opti-cal Society of America A，1995，12（5）：834.

[13]王鴻南，鐘文，汪靜，等.圖像清晰度評價方法研究[Jl.中國圖象圖形學(xué)報，2004，9（7）：828-831.

[14] Deng H，Zhang D D，Wang T，et al.Objective image-quality as-sessment for high-resolution photospheric images by Medianfilter-gradient similarity[J]. Solar Physics， 2015， 290（5）： 1479-1489.

[15] Denker C，Mascarinas D，Xu Y，et al.High-spatial-resolutionimaging combining high-order adaptive optics，frame selection，and speckle masking reconstruction[J].Solar Physics， 2005，227（2）：217-230.

[16]張霞，張兵，趙永超，等，中巴地球資源一號衛(wèi)星多光譜掃描圖象質(zhì)量評價[J].中國圖象圖形學(xué)報，2002，7（6）：581-586.

【通聯(lián)編輯：梁書】

收稿日期：2019-11-29

作者簡介：張丹丹（1989-），女，河南駐馬店人，助教，碩士研究生，主要研究方向為圖像處理;趙迎會（1990-），女，河南新鄉(xiāng)人，助教，碩士研究生，研究方向：信號處理。