李洋，焦淑紅，孫新童

(哈爾濱工程大學(xué)信息與通信工程學(xué)院，黑龍江哈爾濱150001)

圖像融合就是將不同傳感器在同一時(shí)間(或者不同時(shí)間)獲得同一目標(biāo)的2幅或者多幅影像通過一種特定算法合成為一幅新圖像的技術(shù)[1].隨著科技的發(fā)展，圖像融合在自動(dòng)目標(biāo)識(shí)別、遙感、醫(yī)學(xué)圖像處理、計(jì)算機(jī)視覺等領(lǐng)域有著廣泛的應(yīng)用.

紅外圖像與可見光圖像融合是圖像融合領(lǐng)域的重要組成部分，紅外圖像主要反映目標(biāo)和場景的紅外輻射特性，不易受環(huán)境影響，但缺乏對(duì)目標(biāo)場景紋理細(xì)節(jié)的表現(xiàn)，不利于人眼的判讀.而可見光圖像能較好地顯示對(duì)比度、形狀、彩色和紋理細(xì)節(jié)，但它卻受光照條件和環(huán)境條件的約束.因此可以利用紅外圖像獲取場景中的非自然(冷或熱)目標(biāo)，而利用可見光圖像獲取場景的背景細(xì)節(jié)信息，這使得紅外圖像與可見光圖像的融合可以很好地提高對(duì)目標(biāo)的探測和識(shí)別能力，在軍事作戰(zhàn)、電子產(chǎn)品檢測、資源探測等眾多領(lǐng)域中都有廣泛的實(shí)用價(jià)值[2].

圖像融合可分為3級(jí)，即像素級(jí)融合、特征級(jí)融合和決策級(jí)融合[3-5].目前的融合方法大多為像素級(jí)融合，常用方法包括IHS變換、PCA、金字塔變換、小波變換、Contourlet變換等融合方法[6-11]其中PCA法是一種選取最優(yōu)像素權(quán)值的方法，但無法突出光譜特性，不適用于相關(guān)性弱的圖像融合;金字塔變換法是多分辨率分析方法，有較好的融合效果，但是該類方法計(jì)算量大，并且融合結(jié)果為灰度圖像，無法保持可見光圖像的光譜特性;Contourlet變換是小波變換的一種擴(kuò)展，是一種多分辨率、多方向的分析方法，能較好地保持圖像的光譜特性.

IHS變換因其計(jì)算簡單，并能極大地提高圖像空間分辨率，而被廣泛應(yīng)用，但會(huì)出現(xiàn)光譜扭曲現(xiàn)象[12].而小波變換將圖像分解為水平、垂直及對(duì)角方向的高頻分量和相應(yīng)分辨率下的低頻分量，在進(jìn)行融合時(shí)，對(duì)高頻分量和低頻分量使用不同的融合規(guī)則，這樣它就能較好地保持原始圖像的光譜信息，但會(huì)出現(xiàn)分塊效應(yīng)，計(jì)算速度比IHS變換相對(duì)慢一些.因此將IHS和小波變換結(jié)合的圖像融合方法既可以保留光譜信息，又可以保持空間信息.目前此方法普遍應(yīng)用于遙感影像融合.

針對(duì)可見光圖像和紅外圖像的特點(diǎn)，本文提出一種基于IHS和小波變換的圖像融合方法，該方法不僅能較好地保持圖像光譜信息和提高空間細(xì)節(jié)信息，而且還可以獲得紅外圖像中的熱目標(biāo)信息.實(shí)驗(yàn)結(jié)果證明，該方法優(yōu)于傳統(tǒng)的IHS變換法和小波變換等方法，取得了很好的融合效果.

1 基于IHS和小波變換的圖像融合方法

1.1 IHS變換融合方法

常用的色彩空間有RGB色彩空間和IHS色彩空間[13]，RGB色彩空間常用于計(jì)算機(jī)彩色顯示器的顯示系統(tǒng)中，RGB中R代表紅色，G代表綠色，B代表藍(lán)色，3種色彩疊加形成其他的色彩.而IHS色彩空間包含亮度I、色度H與飽和度S三要素，這三要素相關(guān)性很低，這就使IHS空間中的3個(gè)分量可以單獨(dú)地被處理.而且這種模型面向視覺感知，更適合基于人的視覺對(duì)彩色感知特性進(jìn)行處理分析，所以在圖像融合中被廣泛使用.傳統(tǒng)IHS變換公式如下:

1)IHS正變換公式:

2)IHS逆變換公式:

式中:R0、G0、B0代表RGB空間的3種色彩.

傳統(tǒng)IHS變換融合原理:在已配準(zhǔn)可見光圖像與紅外圖像下，對(duì)可見光圖像進(jìn)行IHS正變換，提取I分量，然后用紅外圖像替換掉可見光圖像的I分量，保持可見光圖像的H分量和S分量不變，然后進(jìn)行IHS逆變換，最后便得出融合的新圖像.

1.2 小波變換融合方法

通常使用的是二維的Mallat小波算法[14]，它是一種常用的離散小波變換的快速實(shí)現(xiàn)算法，它將圖像分解為水平、垂直及對(duì)角方向的高頻信息和相應(yīng)分辨率下的低頻分量.由于小波基的正交性，所以圖像小波分解過程中不產(chǎn)生冗余數(shù)據(jù)[15].這樣，就可以方便地分析信號(hào)在不同頻帶上的頻域特性.根據(jù)算法，圖像的第j次小波分解后生成3個(gè)高頻分量分別為水平方向?qū)欠较駾Dj和一個(gè)低頻分量Cj，j表示小波分解尺度，H表示低通濾波器，G表示高通濾波器.分解公式為:

式中:下標(biāo)m和n分別表示圖像的行與列，重構(gòu)公式如下:

式中:H*、G*分別為H、G的共軛轉(zhuǎn)置矩陣.

基于小波變換的圖像融合基本步驟為:首先對(duì)已配準(zhǔn)的源圖像A、B分別進(jìn)行N層小波分解，得到3N個(gè)高頻子帶圖和一個(gè)低頻子帶圖;接下來分別對(duì)每一層、每一方向的相應(yīng)子帶圖進(jìn)行融合處理，產(chǎn)生融合后的各子帶圖;最后對(duì)融合后的子帶圖進(jìn)行小波重構(gòu)得到融合圖像F.圖1為基于小波變換的圖像融合原理圖.

圖1 基于小波變換的圖像融合原理Fig.1 Image fusion principles for wavelet transforms

1.3 基于IHS和小波變換的圖像融合方法

由于紅外成像器件本身存在的缺陷和環(huán)境因素的影響，造成了成像效果不理想，主要表現(xiàn)為紅外圖像中噪聲較大、對(duì)比度較低、視覺效果不好、分辨圖像細(xì)節(jié)能力比較差等缺點(diǎn)，這些都將影響后續(xù)與可見光圖像的配準(zhǔn)效果以及融合質(zhì)量[16].所以，本文方法先對(duì)紅外圖像進(jìn)行增強(qiáng)處理，改善紅外圖像的視覺效果，在這里采用的增強(qiáng)方法是灰度變換方法.它能夠使圖像的動(dòng)態(tài)范圍加大，增大圖像對(duì)比度，使目標(biāo)更加清晰明顯，更方便融合.

在圖像融合中，融合規(guī)則非常重要.一般情況下，圖像所含信息不是一個(gè)像素所能表現(xiàn)的，而是由局部區(qū)域中多個(gè)像素共同表征和體現(xiàn)的.在人類視覺感知對(duì)象中，對(duì)單個(gè)像素的灰度值并不能很好地感知，而是對(duì)圖像特定區(qū)域內(nèi)像素比較敏感地感知.另外，圖像中某一局部區(qū)域各像素之間往往具有較強(qiáng)的相關(guān)性[17-18].綜上可知，基于像素的融合規(guī)則有片面性，所以融合效果往往不夠理想.然而基于區(qū)域窗口的融合規(guī)則相比于基于像素的融合規(guī)則更復(fù)雜，花費(fèi)時(shí)間更長，但可以獲得更好的融合效果.為得到更好的融合效果，本文低頻和高頻融合規(guī)則都采用基于窗口的融合規(guī)則.

本文提出了一種基于IHS和小波變換的圖像融合算法，該算法步驟如下:

1)對(duì)紅外圖像和可見光圖像進(jìn)行嚴(yán)格配準(zhǔn).

2)對(duì)可見光圖像進(jìn)行IHS變換，得到I、H、S分量，對(duì)紅外圖像進(jìn)行灰度變換.

灰度變換采用的是三段線性變換法，表示為

式中:f和g分別是灰度變換前和變換后的灰度值，[f1，f2]為實(shí)際圖像的灰度范圍，[g1，g2]為灰度變換后圖像的灰度范圍.圖2為灰度變換對(duì)比圖像.

圖2 灰度變換對(duì)比圖像Fig.2 The comparison images of gray-scale transformation

3)對(duì)可見光圖像的I分量和已增強(qiáng)的紅外圖像進(jìn)行二次小波分解，得到各自高頻和低頻子圖.

4)對(duì)小波分解后的低頻近似分量采用基于窗口能量的低頻子帶圖融合準(zhǔn)則.小波系數(shù)的低頻分量，包含了圖像信息的主要輪廓信息，它相當(dāng)于在一定尺度下對(duì)原始信號(hào)的近似.而低頻能量是圖像強(qiáng)度的一種有效測度，在某種程度上反應(yīng)圖像基本信息，因此可以用局部能量作為低頻系數(shù)重要性的度量.本文采用基于窗口能量的低頻子帶圖融合方法，其思想是:用低頻子帶圖的窗口能量表征系數(shù)的重要性，根據(jù)窗口能量的大小決定融合源圖像子帶系數(shù).

源圖像A、B的低頻子帶圖在位置(i，j)處的窗口局部能量(i，j)定義為

比較2幅圖像對(duì)應(yīng)的窗口能量，得出新的低頻分量:

5)小波系數(shù)分解后的高頻分量包含圖像的顯著細(xì)節(jié)特征，如邊緣、紋理、細(xì)節(jié)等信息.因此對(duì)高頻部分處理的主要目的是盡可能增強(qiáng)融合圖像的細(xì)節(jié)信息.而圖像局部區(qū)域的標(biāo)準(zhǔn)差能夠反映各像素灰度對(duì)應(yīng)于區(qū)域灰度均值的離散情況，標(biāo)準(zhǔn)差越大，則灰度級(jí)分別越分散，從而可以更好地反映圖像的紋理、邊緣等信息.因此本文采用了基于窗口標(biāo)準(zhǔn)差取大法的融合規(guī)則.此融合方法的思想是，選定M×N的窗口，計(jì)算窗口內(nèi)像素點(diǎn)灰度值標(biāo)準(zhǔn)差，比較2幅圖像高頻分量對(duì)應(yīng)窗口的標(biāo)準(zhǔn)差，取標(biāo)準(zhǔn)差較大的高頻分量作為新的高頻分量.高頻分量窗口標(biāo)準(zhǔn)差的定義為

得出標(biāo)準(zhǔn)差后按照下式確定新的高頻分量.

6)對(duì)新分塊圖像進(jìn)行小波重建，得到新強(qiáng)度分量圖像Inew，然后再進(jìn)行IHS逆變換得到融合圖像F.

2 融合實(shí)驗(yàn)及評(píng)價(jià)

圖3(a)、(b)給出了一組同一場景的彩色可見光圖像和紅外圖像.圖3(a)亮度較高、可視性好、細(xì)節(jié)信息豐富，但是由于有煙霧的存在，觀察不到煙霧后面的目標(biāo)人物和發(fā)熱源.圖3(b)中2個(gè)目標(biāo)人物、發(fā)熱源和房屋都清晰可見，但是周圍其他景物很模糊，細(xì)節(jié)信息缺失嚴(yán)重，只能看到大概輪廓.

圖3 不同圖像融合方法的實(shí)驗(yàn)結(jié)果Fig.3 The results of different image fusion methods

為了驗(yàn)證本方法的有效性，還采用了其他5種圖像融合算法進(jìn)行對(duì)比實(shí)驗(yàn)，如圖3(c)～(h).圖3(c)能夠觀察到紅外目標(biāo)，但是光譜失真并且細(xì)節(jié)信息缺失嚴(yán)重;圖3(d)整體偏暗，雖然光譜效果較好，但卻丟失了紅外圖像中重要的信息，只能觀察到一個(gè)目標(biāo)人物，而且紅外目標(biāo)不清晰;圖3(e)與圖3(c)效果接近，但是細(xì)節(jié)信息保留較好;圖3(f)、(g)視覺效果較好、清晰度高、邊緣清晰、光譜失真較小，但是紅外圖像中的重要信息卻表現(xiàn)不夠明顯，只能觀察到一個(gè)目標(biāo)人物.利用本文算法融合的圖像3(h)視覺效果最好，圖像整體亮度高、色彩鮮明并且圖像邊緣清晰，既保留了可見光圖像中背景信息(樹、房子、煙霧等)又保留了紅外圖像中的重要信息，2個(gè)目標(biāo)人物與發(fā)熱源均清晰可見.綜上比較本文算法優(yōu)于上述其他算法，獲得了很好的融合效果.

本文還采用均值、信息熵、標(biāo)準(zhǔn)差和平均梯度等客觀評(píng)價(jià)標(biāo)準(zhǔn)將文中提出的方法與其他的方法進(jìn)行了對(duì)比，以下為評(píng)價(jià)標(biāo)準(zhǔn)的計(jì)算公式.

1)均值(average value).它指的是像素的灰度平均值，對(duì)人眼反應(yīng)為平均亮度，其定義為

式中:圖像大小是M×N，F(xiàn)(i，j)表示的是在點(diǎn)(i，j)的灰度值.

2)標(biāo)準(zhǔn)差(standarn deviation).它反映了圖像相對(duì)于平均灰度值的離散情況.標(biāo)準(zhǔn)差越大，圖像的灰度級(jí)分布越分散，說明融合效果越好.

3)信息熵(information entropy).它是圖像信息量的度量，其定義為

式中:Pi為灰度i的分布概率，L為灰度級(jí)總數(shù)，熵值越大說明圖像信息量越大.

4)平均梯度(mean grade).它反映了圖像中的微小細(xì)節(jié)反差與紋理變化特征以及圖像的清晰度，其定義為

式中:Δxf(i，j)、Δyf( i，j)分別為像素(i，j)在 x、y方向上的一階差分值.

從表1中可看出，本文所提出的方法在灰度均值、信息熵、平均梯度上優(yōu)于其他算法，其中灰度均值和平均梯度優(yōu)勢明顯.這表明對(duì)比其他算法，利用本文的算法，融合后的圖像亮度更高，微小細(xì)節(jié)及紋理反映更好，圖像的清晰度更高，融合圖像攜帶的信息更豐富.

表1 圖像融合試驗(yàn)結(jié)果Table 1 Results of image fusion

3 結(jié)束語

針對(duì)可見光與紅外圖像融合，本文提出了一種基于IHS變換和小波變換的方法.首先對(duì)紅外圖像進(jìn)行適當(dāng)?shù)幕叶茸儞Q，并對(duì)可見光進(jìn)行IHS變換，然后對(duì)可見光圖像中I亮度分量和紅外圖像進(jìn)行小波分解得到低頻和高頻分量，對(duì)于低頻和高頻分量分別采用基于窗口能量的加權(quán)平均法和基于窗口區(qū)域標(biāo)準(zhǔn)差取大法.實(shí)驗(yàn)仿真結(jié)果表明，本文方法不僅能夠大大增強(qiáng)融合圖像的亮度與清晰度，并且能夠保留可見光圖像中的光譜信息與紅外圖像中的重要信息，是一種有效的圖像融合方法.

[1]POHL C，Van GENDEREN J L.Multisensor image fusion in remote sensing:concepts，methods and applications[J].International Journal of Remote Sensing，1998，9(5):823-854.

[2]葛小青.紅外與可見光圖像融合的研究[D].重慶:重慶大學(xué)，2010:1-3.GE Xiaoqing.Research on fusion of infrared and visible images[D].Chongqing:Chongqing University，2010:1-3.

[3]蔣曉瑜.基于小波變換和偽彩色方法的多重圖像融合算法研究[D].北京:北京理工大學(xué)，1997:1-5.JIANG Xiaoyu.Multiple image fusion algorithm based on wavelet transform and pseudo-color method[D].Beijing:Beijing Institute of Technology，1997:1-5.

[4]胡江華，柏連發(fā)，張保民.像素級(jí)多傳感器圖像融合技術(shù)[J].南京理工大學(xué)學(xué)報(bào)，1996，20(5):453-456.HU Jianghua，BAI Lianfa，ZHANG Baomin.Pixel level multisensor image fusion technique[J].Journal of Nanjing University of Science and Technology，1996，20(5):453-456.

[5]張加友，王江安.紅外圖像融合[J].光電子·激光，2000，11(5):337-539.ZHANG Jiayou，WANG Jiang’an.Infrared image fusion[J].Journal of Optoelectronics· Laser，2000，11(5):537-539.

[6]CARPER W J，LILLESAND T M，KIEFER R F.The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data[J].Photogrammetric Engineering＆ Remote Sensing，1990，56(4):459-467.

[7]Jr CHAVEZ P S，SIDES S C，ANDERSON J A.Comparison of three difference methods to merge multiresolution and multipectral data:landsat TM and SPOT panchromatic[J].Photogrammetric Engineering＆ Remote Sensing，1991，57(3):295-303.

[8]BURT P J，ADELSON E H.The Laplacian pyramid as a compact image code[J].IEEE Trans Commun，1983，31(4):532-540.

[9]LAINE I K A，TAYLOR F.Image fusion using steerable dyadic wavelet transform[C]//Proc of the IEEE Int'l Conf on Image Processing.Washington DC，USA，1995:232-235.

[10]DO M N，VETTERLI M.The contourlet transform:an efficient directional multi-resolution image representation[J].IEEE Transactions on Image Processing，2005，14(12):2091-2106.

[11]吳懷群，黃宵寧，王建，等.一種基于熵值的自動(dòng)閾值圖像分割方法[J].應(yīng)用科技，2011，38(8):1-4.WU Huaiqun，HUANG Xiaoning，WANG Jian，et al.A method of image segmentation for automatically calculating threshold based on entropy[J].Applied Science and Technology，2011，38(8):1-4.

[12]TU T，SU S，SHYN H，et al.A new look at IHS-like image fusion methods[J].Information Fusion，2001(2):177-186.

[13]張曉煜，李向.基于IHS變換與小波變換的圖像融合[J].計(jì)算機(jī)與現(xiàn)代化，2007(8):48-53.ZHANG Xiaoyu，LI Xiang.Image fusion based on IHS and wavelet transforms[J].Computer and Modernization，2007(8):48-53.

[14]MALLAT S.A theory for multiresolution signal decomposition:the wavelet representation[J].IEEE Transactions on Pattern Analysis and Machine Intellience，1989，11(7):674-693.

[15]唐國良，普杰信，黃心漢.一種基于IHS和小波變換的彩色圖像融合算法[J].計(jì)算機(jī)應(yīng)用研究，2006(10):174-175.TANG Guoliang，PU Jiexin，HUANG Xinhan.Color image fusion algorithm based on IHS and wavelet transformation[J].Application Research of Computers，2006(10):174-175.

[16]郭佳.紅外與可見光圖像融合技術(shù)的研究[D].西安:西安工業(yè)大學(xué)，2009:7-16.GUO Jia.Research on fusion technology of infrared and visible image[D].Xi'an:Xi'an Technological University，2009:7-16.

[17]孫即祥.圖像處理[M].北京:科學(xué)出版社，2009:25-27.

[18]曲昆鵬，鄭麗穎.基于目標(biāo)、背景比例的灰度圖像自動(dòng)閾值選取法[J].應(yīng)用科技，2011，37(2):52-54.QU Kunpeng，ZHENG Liying.Automatic thresholding of gray-scale image based on the proportion of object and background[J].Applied Science and Technology，2010，37(2):52-54.