李 蘊(yùn) 奇

(吉林省經(jīng)濟(jì)信息中心, 長(zhǎng)春 130061)

圖像融合是指將多幅由不同傳感器或在不同環(huán)境下獲得的同一場(chǎng)景圖像合成一張圖像, 并使合成后的圖像信息更豐富, 更適合后期處理[1]. 該技術(shù)目前已應(yīng)用于醫(yī)療輔助診斷和治療、 遙感圖像、 機(jī)器人視覺(jué)等領(lǐng)域. 優(yōu)異的融合算法應(yīng)滿(mǎn)足3個(gè)條件[2]： 1) 在融合圖像中應(yīng)保留所有與輸入圖像相關(guān)的信息； 2) 不能引入影響肉眼觀(guān)察或影響下一步計(jì)算機(jī)處理的不一致性； 3) 具有平移不變性和旋轉(zhuǎn)不變性.

目前的融合算法按融合層次可歸結(jié)為像素級(jí)、 特征級(jí)和決策級(jí)3類(lèi)[3]. 像素級(jí)的圖像融合方法又可分為空域類(lèi)和頻域類(lèi)兩種[2], 空域類(lèi)包括最大值法、 最小值法和PCA法等; 而頻域類(lèi)相對(duì)于空域類(lèi)過(guò)程更復(fù)雜, 其過(guò)程分為3個(gè)階段： 將圖像融合空域變換到頻域, 融合算子作用于頻域參數(shù), 頻域再轉(zhuǎn)換至空域. 頻域類(lèi)包括： 塔式分解法、 Fourier變換法和小波變換法等. 這些算法的不同之處在于頻域與空域的變換方式不同. 頻域類(lèi)算法盡管算法繁瑣, 時(shí)間開(kāi)銷(xiāo)大, 但它使融合效果得到極大提高. 而產(chǎn)生這種優(yōu)越性的原因?yàn)? 在頻域內(nèi), 可將圖像按頻率分解, 使得高頻信息(如形狀、 紋理等)與低頻信息(如背景等平滑部分)分開(kāi), 融合算子可視具體融合參數(shù)進(jìn)行選取, 針對(duì)性更強(qiáng). 特征級(jí)融合類(lèi)指融合算子運(yùn)行在特征級(jí)[4], 一般過(guò)程為： 先對(duì)圖像分割, 再提取區(qū)域特征信息, 最后進(jìn)行特征融合. 決策及圖像融合的一般步驟為圖像分割、 提取區(qū)域特征信息, 再建立對(duì)同一目標(biāo)的判別, 最后進(jìn)行決策級(jí)融合. 本文采用在像素級(jí)別下頻域內(nèi)的融合模型, 在不引入額外信息的前提下將重要信息導(dǎo)入融合圖像. 同時(shí), 基于圖像顯著性信息最大化選取融合算子.

1 輪廓波分解與重構(gòu)

多尺度信號(hào)分解方法----輪廓波變換(contourlet transform)[5]的信號(hào)分解是在離散域內(nèi)通過(guò)濾波器組實(shí)現(xiàn)的. 該方法可分解出任意多的方向信息, 而方向性對(duì)于有效的圖像表示至關(guān)重要. 輪廓波變換由于能較完整地獲取信號(hào)的幾何結(jié)構(gòu), 所以是一種多分辨分析的、 局部的并具有方向性的表示方法.

圖1 輪廓波變換Fig.1 Contourlet transform

輪廓波變換可通過(guò)多尺度分解和方向分解兩步完成, 如圖1所示. 輪廓波變換將多尺度性和多方向性有機(jī)結(jié)合. 在第一階段的Laplace濾波過(guò)程中, 主要尋找圖像中的奇異點(diǎn), 使圖像中的能量主要集中于奇異點(diǎn)上[6]. 而在圖像處理過(guò)程中, 本文更關(guān)注圖像的邊緣紋理信息, 而不是奇異點(diǎn). 因此, 需要有效地刻畫(huà)出奇異點(diǎn)連成的曲線(xiàn). 輪廓波變換第二階段中, 方向?yàn)V波器在Laplace分解層上進(jìn)一步濾波, 使圖像的能量集中于奇異線(xiàn)段[7]. 圖像經(jīng)輪廓波變換后, 可表示為一個(gè)由帶有不同分解尺度和方向信息的子圖組成的集合.

2 模型框架

本文模型可分為： 圖像Contourlet變換、 顯著性計(jì)算、 參數(shù)融合和逆變換4個(gè)階段, 如圖2所示.

圖2 模型框架Fig.2 Model framework

n(n>1)個(gè)輸入圖像記為I1,I2,…,In, 模型的計(jì)算過(guò)程如下：

1) 對(duì)于任意一幅原圖像, 利用輪廓波變換將其分解為高頻子帶和低頻子帶, 并將每i幅原圖像對(duì)應(yīng)的子帶集合記為CCi;

2) 計(jì)算CCi內(nèi)子帶中各處的顯著性, 并記為集合SMi;

3) 利用顯著性矩陣, 為高頻子帶和低頻子帶分別選取融合系數(shù), 并記為集合FC;

4) 利用輪廓波逆變換獲取最終融合圖像.

2.1 顯著性計(jì)算

本文基于譜冗余理論(spectral residual)[8]進(jìn)行顯著性計(jì)算. 信息可分為冗余部分和變化部分, 人們的視覺(jué)對(duì)變化部分更敏感. 視覺(jué)系統(tǒng)的一個(gè)基本原則是抑制對(duì)頻繁出現(xiàn)的特征響應(yīng), 同時(shí)對(duì)非常規(guī)的特征保持敏感, 從而可將圖像分為如下兩部分:

H(img)=H(Innovation)+H(prior Konwledge).

設(shè)輸入圖像為I(x), 則根據(jù)譜冗余理論, 計(jì)算步驟如下：

1) 對(duì)圖像進(jìn)行Fourier變換, 并求出振幅譜A(f)和相位譜P(f):A(f)=R(F(I)),P(f)=I(F(I));

2) 計(jì)算圖像log振幅譜:L(f)=log(A(f));

3) 計(jì)算冗余譜:R(f)=L(f)-hn×L(f), 其中h是一個(gè)n×n均值濾波的卷積核;

4) 獲得圖像顯著性區(qū)域:S(I)=g(x)×F-1[exp(R(f)+P(f)]2, 其中g(shù)(x)為高斯核函數(shù).

最終s(x)記為圖像I(x)對(duì)應(yīng)的顯著性矩陣.

2.2 融合規(guī)則

若n(n>1)個(gè)輸入圖像記為I1,I2,…,In, 經(jīng)輪廓波變換后, 任意一幅輸入圖像的第m層包含N(m)個(gè)子圖, 則第i幅輸入圖像可表示為{CCi(j,k)|i=1,2,…,n;j=1,2,…,L;k=1,2,…,N(j)}, 其中M表示輪廓波變換中Laplace分解層數(shù). 同理任意一幅輸入圖像CCi對(duì)應(yīng)的顯著性矩陣可表示為集合: {SMi(j,k)|i=1,2,…,n;j=1,2,…,L;k=1,2,…,N(j)}. 融合參數(shù)可表示為{FCi(j,k)|i=1,2,…,n;j=1,2,…,L;k=1,2,…,N(j)}. 于是, 可定義融合規(guī)則為

其中:x和y為圖像中的橫、 縱坐標(biāo);αi(j,k,x,y)為各圖像的權(quán)重, 計(jì)算公式為

其中SM(j,k,x,y)表示所有分解層為j、 排在k位的子圖在坐標(biāo)為(x,y)處的顯著性集合.

該融合規(guī)則的意義在于顯著性大的像素一般在人類(lèi)視覺(jué)所關(guān)注的區(qū)域出現(xiàn), 而融合的目的是將輸入圖像中這些能引起視覺(jué)感應(yīng)的信息融入到融合圖像中.

3 實(shí)驗(yàn)與討論

3.1 客觀(guān)評(píng)價(jià)指標(biāo)

本文驗(yàn)證融合模型有效性時(shí)使用兩項(xiàng)客觀(guān)評(píng)估指標(biāo), 從多角度比較本文算法與其他融合算法的性能.

2) 文獻(xiàn)[8]提出一種基于邊緣的圖像融合客觀(guān)評(píng)價(jià)指標(biāo)QAB/F, 該評(píng)價(jià)指標(biāo)度量了融合圖像的邊緣完整性, 計(jì)算公式為

其中:QAF(n,m)和QBF(n,m)分別表示融合圖像F與輸入圖像A,B之間在(m,n)處的相似性;ωA(n,m)和ωB(n,m)分別表示輸入圖像A,B在(m,n)處的權(quán)重.

3.2 實(shí) 驗(yàn)

本文選取一組通用的融合圖像, 并選取小波變換圖像融合法作為比較對(duì)象, 如圖3所示. 輸入圖像A和B包含相同的目標(biāo), 二者的區(qū)別在于圖像A的焦點(diǎn)位于右側(cè), 圖像B的焦點(diǎn)位于左側(cè). 將兩者融合成一幅圖像, 有利于提高圖像的清晰度, 弱化原始圖像中模糊的信息. 與本文模型作比較的算法為梯度金字塔變換法、 形態(tài)學(xué)金字塔法和離散小波變換法, 這些方法在圖像融合領(lǐng)域應(yīng)用廣泛, 并取得了較好的效果. 實(shí)驗(yàn)中, 利用梯度金字塔變換法、 形態(tài)學(xué)金字塔法和離散小波變換法進(jìn)行圖像融合時(shí), 采用3層分解結(jié)構(gòu), 高頻部分的融合規(guī)則為絕對(duì)值最大法, 低頻部分的融合規(guī)則為均值法.

圖3(F)是本文模型得到的融合結(jié)果, 與圖3(C)～(E)相比, 亮度與兩幅輸入圖像更接近, 表明在保留輸入圖像信息方面更優(yōu)秀, 客觀(guān)評(píng)價(jià)指標(biāo)列于表1.

圖3 輸入圖像與融合圖像Fig.3 Source images and fused images

表1 客觀(guān)指標(biāo)評(píng)價(jià)結(jié)果

兩項(xiàng)客觀(guān)指標(biāo)越大, 表明融合效果越好. 由表1可見(jiàn), 本文模型更有效. 輪廓波變換能有效捕捉圖像的邊緣信息, 而基于譜冗余的顯著信息檢測(cè)能保證有用信息盡可能多的被保存到融合圖像中.

綜上所述, 本文提出了一種新的基于顯著性的圖像融合算法. 該算法首先對(duì)輸入圖像進(jìn)行輪廓波分解, 使每幅輸入圖像產(chǎn)生一組不同分辨率的含有方向信息的子圖序列； 再分別在每層子圖像序列上計(jì)算局部顯著性, 并根據(jù)顯著性大小選取相應(yīng)的融合參數(shù)； 最后進(jìn)行輪廓波逆變換, 得到融合圖像. 輪廓波變換的使用保證了圖像信息的有效分解及邊緣信息的充分采集, 基于顯著性的融合策略則有利于將輸入圖像中的重要信息保存到最終融合圖像中.

[1] LI Shu-tao, YANG Bin, HU Jing-wen. Performance Comparison of Different Multi-resolution Transforms for Image Fusion [J]. Information Fusion, 2011, 12(2): 74-84.

[2] Citardi Martin J, Batra Pete S. CT-MR Image Fusion for the Management of Skull Base Lesions [J]. Otolaryngol Head Neck Surg, 2006, 134(5): 868-876.

[3] TU Te-ming, SU Shun-chi, SHYU Hsuen-chyun, et al. A New Look at IHS-Like Image Fusion Methods [J]. Information Fusion, 2001, 2(3): 177-186.

[4] Rockinger Oliver, Fechner Thomas, Daimler Benz Ag. Pixel-Level Image Fusion: The Case of Image Sequences [C]//Proc SPIE. Bellingham: SPIE, 1998: 378-388.

[5] YANG Bo, JING Zhong-liang, ZHAO Hai-tao. Review of Pixel-Level Image Fusion [J]. Journal of Shanghai Jiaotong University: Science, 2010, 15(1): 6-12.

[6] Bender Edward J, Reese Colin E, Wal Gooitzen S. Comparison of Additive Image Fusion vs Feature-Level Image Fusion Techniques for Enhanced Night Driving [C]//Proceedings of SPIE. Bellingham: SPIE, 2003: 140.

[7] Do Minh N, Vetterli Martin. The Contourlets Transform: An Efficient Directional Multiresolution Image Representation [J]. IEEE Transactions on Imege Processing, 2005, 14: 357-360.

[8] Burt P, Adelson E. The Laplacian Pyramid as a Compact Image Code [J]. IEEE Transactions on Communications, 1983, 31(4): 532-540.

[9] Bamberger R H, Smith M J T. A Filter Bank for the Directional Decomposition of Images: Theory and Design [J]. IEEE Transactions on Signal Processing, 1992, 40(4): 882-893.