王宇慶

(中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033)

圖像融合算法的性能評價

王宇慶

(中國科學(xué)院 長春光學(xué)精密機械與物理研究所，吉林 長春 130033)

圖像融合算法的性能評價需要考慮在融合圖像中傳遞的信息是否滿足人眼視覺特性，而傳統(tǒng)的基于信息論的方法并沒有考慮人眼視覺特性。針對此提出了一種綜合考慮多種圖像結(jié)構(gòu)信息的信息合并方法，將局部方差和梯度等信息作為反映圖像結(jié)構(gòu)的重要特征,將結(jié)構(gòu)特征矩陣進(jìn)行分塊奇異值分解，從而設(shè)計了相應(yīng)的評價算法。實驗結(jié)果表明，該方法能夠準(zhǔn)確度量融合圖像中的信息增量,評價結(jié)果與人眼視覺特性的一致性優(yōu)于傳統(tǒng)方法。

圖像融合；梯度；局部方差

0 引言

圖像融合的最終目的是為了增加融合圖像中的信息量，這與信息融合的研究目的是類似的，所不同的是，融合圖像中的信息分布形式必須符合人眼的視覺特性。事實上，人類視覺系統(tǒng)并不能實現(xiàn)圖像融合功能，圖像融合僅僅是借鑒了信息論中的類似概念而已，因此，圖像融合的關(guān)鍵步驟無法引入人類視覺系統(tǒng)的生理學(xué)模型，僅能憑借信息論中的一些基本概念完成圖像處理過程。

與各種圖像處理過程類似，圖像融合同樣需要進(jìn)行質(zhì)量評價?？陀^評價是目前幾乎所有圖像質(zhì)量評價算法的研究重點，根據(jù)對參考圖像的依賴程度可以分為無參考圖像質(zhì)量評價、半?yún)⒖紙D像質(zhì)量評價以及全參考圖像質(zhì)量評價3種。對于圖像融合這樣的圖像處理過程，評價算法則更加特殊。圖像融合的優(yōu)劣不僅要考慮圖像的畫質(zhì)，還要考慮信息量的增量，這就需要與源圖像進(jìn)行比對才能實現(xiàn)，因此，圖像融合的評價過程更加復(fù)雜，要考慮多方面因素，并且要引入信息論中的一些基本理論才能實現(xiàn)。

傳統(tǒng)的圖像融合性能評價指標(biāo)[1-2]主要從信息論的角度評價融合圖像中信息量的增量值，通過度量信息傳遞的數(shù)量實現(xiàn)對融合圖像的質(zhì)量評價,從而實現(xiàn)對相應(yīng)融合算法的評價。這一機制所存在的問題在于所評價的信息量增量沒有考慮人眼視覺特性的需要，無用的噪聲甚至失真的圖像信息都可以被認(rèn)為是融合過程中傳遞的信息，從而給融合算法的評價結(jié)果帶來嚴(yán)重的誤差。因此，融合算法的評價不應(yīng)該僅僅考慮信息傳遞的數(shù)量，還應(yīng)該考慮信息傳遞的類型，將符合人眼視覺特性的圖像信息作為評價的主要內(nèi)容。針對傳統(tǒng)融合評價算法的不足，本文設(shè)計了一種能夠反映圖像中人眼敏感結(jié)構(gòu)信息的融合算法評價指標(biāo),從而使得評價結(jié)果更加接近于相應(yīng)融合算法的真實性能。

1 基于人眼敏感圖像結(jié)構(gòu)信息的融合算法性能評價

人眼對圖像中各種信息的敏感程度不同，對各類信息的正確區(qū)分是關(guān)系到評價算法是否合理的關(guān)鍵。圖像的梯度和局部方差都能較為全面地刻畫圖像的輪廓信息，圖像的輪廓信息描述了圖像中人眼敏感的主要信息。根據(jù)文獻(xiàn)[3]的描述，對于二維灰度圖像矩陣，位于二維矩陣中(x,y)像素點的圖像梯度可以表示為：

(1)

根據(jù)文獻(xiàn)[4]，圖像的局部方差可以表示為：

(2)

圖像的梯度側(cè)重于描述圖像的輪廓，所得到的梯度矩陣具有較好的可視效果，局部方差能夠較好地體現(xiàn)圖像的細(xì)節(jié)變化。但是，細(xì)節(jié)并不是圖像的全部，因此，這里將細(xì)節(jié)和輪廓兩種信息進(jìn)行合并處理。合并的方法采用四元數(shù)信息合并的方法，即：

(3)

公式(3)是一種簡化的四元數(shù)表示方法。根據(jù)Hamilton等人于1843年提出的四元數(shù)理論[5]，將四元數(shù)的3個虛部表示為梯度、局部方差和0，從而得到了一種新的圖像結(jié)構(gòu)信息表示方法。

信息論中的互信息與人眼敏感的視覺信息并沒有直接的聯(lián)系，這里需要將由公式(3)組成的矩陣變換為可度量的實數(shù)矩陣，矩陣中還應(yīng)包含圖像中人眼敏感的視覺信息。根據(jù)文獻(xiàn)[6-7]給出的復(fù)數(shù)伴隨矩陣的定義，四元數(shù)矩陣仍然可以進(jìn)行奇異值分解。對圖像進(jìn)行分塊奇異值分解[8]，從而得到每一分塊的奇異值特征向量，這樣，對于相應(yīng)的灰度圖像，就可以得到一個實數(shù)矩陣，表征該圖像的視覺特征信息。假設(shè)分塊大小為k×k，對于N×M大小的彩色圖像，相應(yīng)的奇異值分解后的奇異值特征向量矩陣大小為：(N/k)×(M/k)。這樣得到的實數(shù)矩陣包含了四元數(shù)運算過程中的一些新的數(shù)學(xué)特征，矩陣中的每一個元素都是實數(shù)，接下來的運算可以采用實數(shù)域的一些方法進(jìn)行。

令F為融合圖像的四元數(shù)奇異值矩陣，A和B為源圖像的四元數(shù)奇異值矩陣，F(xiàn)與A、B之間的交互信息量分別表示為MIFA和MIFB，根據(jù)文獻(xiàn)[1]有：

(4)

(5)

其中：pA、pB和pF分別為矩陣A、B和F的灰度直方圖分布；pFA(k,i)和pFB(k,j)分別為矩陣F與A和矩陣F與B的歸一化聯(lián)合灰度直方圖分布。將MIFA和MIFB之和作為融合圖像與源圖像A、B的交互信息量總和：

(6)

式(6)給出的指標(biāo)QMI可以作為對該融合圖像以及相應(yīng)融合算法的性能評價結(jié)果，其度量的是圖像局部方差和梯度的合并互信息，與文獻(xiàn)[1]、[2]有所不同。文獻(xiàn)[2]的互信息方法僅僅度量了兩圖像像素分布的互信息，而文獻(xiàn)[1]的方法度量的是兩圖像經(jīng)過邊緣提取之后的結(jié)構(gòu)差異，并沒有考慮圖像的細(xì)節(jié)信息。

2 實驗結(jié)果

圖像融合的質(zhì)量評價不僅要考慮圖像的主觀感知質(zhì)量，還要考慮圖像信息的增量。圖像融合的質(zhì)量評價已經(jīng)不是一個簡單的下意識感知過程，而是需要詳細(xì)分析圖像的融合過程以及圖像內(nèi)容的具體變化。實驗中采用了經(jīng)典的CAMP圖像驗證本文算法的性能，該系列的圖像已經(jīng)在拍攝過程中進(jìn)行了配準(zhǔn)，直接進(jìn)行融合處理就可以得到融合圖像。為了使得實驗結(jié)果盡可能清晰明確，并且與主觀觀察效果具有較好的一致性，采用了常用的4種經(jīng)典融合算法(小波方法、金字塔分解方法、均值方法以及PCA方法)針對實驗圖像進(jìn)行相應(yīng)的圖像融合實驗。為了驗證所提算法的性能，對于融合圖像的質(zhì)量以及相應(yīng)的融合算法的性能還采用了傳統(tǒng)的互信息方法以及文獻(xiàn)[1]的融合評價方法對相應(yīng)的融合算法進(jìn)行了評價。融合圖像質(zhì)量測試見圖1，評價結(jié)果見表1。

從圖1的實驗結(jié)果中可以看到，小波和金字塔方法算法復(fù)雜,圖像處理過程與人眼的視覺感知過程有類似，融合圖像的細(xì)節(jié)豐富，效果較好。而PCA方法和均值方法效果較差。均值方法的成像質(zhì)量和源圖像相比有較大差距，PCA方法得到的融合圖像沒有實現(xiàn)多源的信息傳遞。實驗的最終目的是為了驗證所提的融合算法評價指標(biāo)的合理性。由表1可知，根據(jù)QMI方法的評價結(jié)果，圖1(e)和圖1(f)的融合效果最好，圖1(c)和圖1(d)的融合效果較差，這與我們?nèi)搜鄣闹饔^觀測也是一致的。對于效果接近的金字塔方法和小波方法，QMI也給出了明顯的區(qū)分度，這說明算法對圖像的細(xì)節(jié)變化具有較好的區(qū)分能力。而文獻(xiàn)[1]的邊緣比較方法和文獻(xiàn)[2]的簡單互信息方法給出的結(jié)果都與相應(yīng)的融合算法的輸出結(jié)果不符，其原因在于：文獻(xiàn)[1]的方法僅僅考慮了圖像的邊緣信息，丟失了部分結(jié)構(gòu)信息；而文獻(xiàn)[2]的互信息方法沒有考慮圖像中人眼敏感的結(jié)構(gòu)信息，所以評價結(jié)果與人眼的主觀感知一致性較差。

圖1融合圖像質(zhì)量測試

方法圖1(c)圖1(d)圖1(e)圖1(f)文獻(xiàn)[1]的方法0.36590.51270.47860.4312文獻(xiàn)[2]的互信息法1.37554.05391.68941.5818QMI1.71321.66902.56222.7166

3 結(jié)論

在本文的研究中，采用信息合并的方法實現(xiàn)了對融合圖像的質(zhì)量評價，既考慮了圖像的細(xì)節(jié)信息，又考慮了多種未知因素對圖像質(zhì)量的影響；結(jié)合人眼視覺特性與信息論的基本概念實現(xiàn)了對多種融合算法的性能評價，實驗證明，所提的方法與人眼視覺特性的一致程度優(yōu)于傳統(tǒng)方法。

[1] Xydaes C,Petrovi V.Objective image fusion performance Measure[J]. Electronic Letters,2000, 36(4): 308-309.

[2] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion[J]. Electronics Letters,2002,37(7):313-315.

[3] Valdimir S Petrovic', Costas S Xydeas. Gradient-based multiresolution image fusion[J].IEEE Transactions on Image Processing,2004,13:228-237.

[4] Zhou Wang, Bovik A C, Sheikh H R, et a1.Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004,13(4):600-612.

[5] Hamilton W R. On quaternions[G]//Proceeding of the Royal Irish Academy.[s.l.]:[s.n.],1844.

[6] Zhang F.Quaternion and matrices of quaternion[J].Lin Alge Appl,1997,215:21-57.

[7] Nicolas Le Bihan,Jerome Mars.Singular value decomposition of quatemion matrices:a new tool for vector-sensor signal processing[J]. Signal Processing,2004,84(7):1177-1199.

[8] Aleksandr Shnayderman, Alexander Gusev, Ahmet M Eskicioglu. An SVD-based grayscale image quality mea-sure for local and global assessment[J]. IEEE Transactions on Image Processing, 2006,15(2):422-429.

(英文摘要Assessment of Image Fusion Method

WANG Yu-qing

(Changchun Institute of Optics, Fine Mechanics and Physics, Chinese Academy of Sciences, Changchun 130033, China)

The information increment in fusion image should be assessed in order to assess the performance of the fusion method. Image perception is performed by human visual system in order to perceive significant information in an image, so the properties of the human visual system should also be considered. In order to improve the performance of assessment method, information combination method is used to perform the task. Gradient information and local variance are used to combine the matrix. Then singular value decomposition is performed on the combination matrix. Results from experiments show that the proposed method can assess the performance of the fusion method properly. It is more consistent with human visual system than traditional methods.

image fusion; gradient; local variance

1672- 6413(2015)06- 0003- 02

國家自然科學(xué)基金青年基金資助項目(61201368)

2015- 07- 06；

2015- 11- 01

王宇慶(1979-)，男，吉林長春人，副研究員，博士，主要研究方向：圖像質(zhì)量評價、圖像增強、圖像融合、FPGA設(shè)計、群體智能。

TN911.73

A