陳樹(shù)越，劉金星，丁 藝

(常州大學(xué)信息科學(xué)與工程學(xué)院，常州213164)

引 言

圖像融合是指采用某種算法對(duì)兩幅或多幅不同的圖像進(jìn)行綜合處理，得到一幅或多幅信息更加豐富的新圖像［1］。紅外與可見(jiàn)光圖像融合是一種典型的圖像融合，即在一幅圖像中既保留豐富的外在特征信息，同時(shí)又顯示圖像中的熱輻射信息。目前，可見(jiàn)光與紅外圖像的融合技術(shù)在民用領(lǐng)域、醫(yī)學(xué)成像、國(guó)防科技等都有廣泛的應(yīng)用［2］。

圖像融合采用的方法主要有灰度加權(quán)平均法、主成分分析(principal component analysis，PCA)法、金字塔變換、小波變換等融合方法［3－5］，其中小波變換是一種有效的信號(hào)分析及處理技術(shù)，受到人們的廣泛關(guān)注和應(yīng)用。由于紅外圖像和X光圖像不能直接進(jìn)行小波變換融合，所以首先將紅外圖像和X光圖像分別轉(zhuǎn)化為灰度圖像，然后把這兩幅灰度圖像進(jìn)行小波融合，獲得小波融合圖。然后采用YIQ彩色空間變換將融合后的圖像進(jìn)行彩色處理，將紅外圖像的顏色信息轉(zhuǎn)移到融合后的小波圖像上，最終獲得小波融合圖。

紅外圖像與X光圖像進(jìn)行融合，不僅能獲得構(gòu)件表面的溫度場(chǎng)分布，還可以透過(guò)構(gòu)件內(nèi)部獲得不可視零部件的結(jié)構(gòu)，進(jìn)而可根據(jù)融合圖像的溫度場(chǎng)分布判斷和追蹤熱輻射來(lái)源，使得圖像的信息更加豐富，該方法對(duì)發(fā)現(xiàn)構(gòu)件內(nèi)部熱源提供了一條新思路。在融合方法上借鑒紅外與可見(jiàn)光融合方法，提出了基于小波變換的紅外圖像與X光圖像融合，并通過(guò)特征參量對(duì)融合圖像的效果進(jìn)行評(píng)價(jià)。

1 小波融合

1.1 小波變換MALLAT算法

若利用Hr，Hc和Gr，Gc分別表示鏡像與共軛濾波器H和G的行濾波器值和列濾波器值，它們對(duì){Cj(m1，m2)}(m1，m2∈Z2)行和列進(jìn)行濾波，Z2是一個(gè)點(diǎn)的集合，則2維MALLAT分解算法可表示為:

式中，Cj+1表示圖像f(x，y)的低頻部分;D1，j+1，D2，j+1，D3，j+1分別表示高頻部分的水平方向分量、垂直方向分量、對(duì)角方向分量。

2維MALLAT分解算法的重構(gòu)算法表達(dá)式為:

式中，H'，G'分別表示H，G的共軛轉(zhuǎn)置矩陣。

1.2 YIQ變換

YIQ色彩空間中，亮度信息Y代表灰度級(jí)信息，而色調(diào)I和飽和度Q攜帶顏色信息。從RGB到Y(jié)IQ的轉(zhuǎn)換關(guān)系［8］是:

1.3 基于小波分解和重構(gòu)的融合原理

利用2維小波對(duì)圖像進(jìn)行分解，在不同的分解層采用不同的融合規(guī)則，對(duì)應(yīng)用規(guī)則處理過(guò)的各層圖像用小波重構(gòu)的方法重構(gòu)。紅外與X光圖像融合過(guò)程如下:(1)首先對(duì)配準(zhǔn)后的圖像進(jìn)行灰度變換，然后采用2維離散小波對(duì)灰度圖像分別進(jìn)行分解，把灰度圖像分解到不同的頻率和方向上，可以指定小波和分解層數(shù)，常用小波基有 Haar小波、Daubechies(dbN)小波、Mexican Hat(mexh)小波、Morlet小波、Meyer小波等5種，由于Daubechies小波基在表達(dá)圖像的細(xì)節(jié)部分效果較好，在此選擇了DBSS(2，2)小波的2層和3層分解［9］;(2)對(duì)獲得的各層分解圖像分別進(jìn)行融合處理，對(duì)各分解層采用對(duì)應(yīng)的融合規(guī)則，在此高頻系數(shù)選擇最大值，低頻系數(shù)選擇加權(quán)平均法［10－11］;(3)對(duì)上一步得到的小波系數(shù)矩陣進(jìn)行重構(gòu)，重構(gòu)圖像即為小波變換融合圖像;(4)對(duì)原紅外RGB圖像進(jìn)行YIQ顏色空間變換，提取其I，Q顏色分量，該顏色分量表示溫度信息。然后提取小波融合圖像的Y分量，該分量表示亮度。最后，將它們合成為新的YIQ空間圖像，通過(guò)YIQ變換轉(zhuǎn)換為RGB圖像，即為最終的小波融合圖像。

Fig.1 Flow chart of wavelet fusion of infrared and X－ray images

上述步驟的流程圖如圖1所示。

2 質(zhì)量評(píng)價(jià)

對(duì)同樣的兩幅圖像，不同的融合方法可以得到不同的融合圖像，采用不同的融合方法有不同的優(yōu)點(diǎn)。因此，對(duì)融合圖像進(jìn)行質(zhì)量評(píng)價(jià)，有助于選擇適當(dāng)?shù)膱D像融合算法和改進(jìn)現(xiàn)有的融合算法。

客觀評(píng)價(jià)主要有:熵、平均梯度、標(biāo)準(zhǔn)差、均方根誤差、峰值信噪比、聯(lián)合熵等。由于在實(shí)際應(yīng)用中很難得到融合圖像的標(biāo)準(zhǔn)圖像，因此，對(duì)于紅外與X光圖像融合效果，可以采用圖像的熵、平均梯度、標(biāo)準(zhǔn)差等參量來(lái)評(píng)價(jià)圖像融合前后的變化和融合圖像質(zhì)量。

(1)圖像的熵越大，說(shuō)明圖像的信息量越豐富。信息熵定義為［12］:

式中，L為圖像總的灰度級(jí)數(shù)，Pi表示圖像中像素灰度值為i的概率。

(2)標(biāo)準(zhǔn)差越大，說(shuō)明圖像的對(duì)比度大，圖像融合效果越好。其定義為［13］:

式中，F(xiàn)(i，j)和分別表示在點(diǎn)(i，j)的灰度值和平均灰度，這里的圖像大小為M×N。

(3)圖像的平均梯度越大，說(shuō)明圖像越清晰。其定義為［14］:

式中，f(m，n)表示圖像中點(diǎn)(m，n)的灰度大小。

3 實(shí)驗(yàn)結(jié)果及分析

電路在工作中，其中的元器件會(huì)產(chǎn)生熱量，實(shí)驗(yàn)以電路板為研究對(duì)象。首先，采用紅外熱像儀和X光機(jī)獲取紅外與X光圖像，如圖2a、圖2b所示。

Fig.2 a—infrared image b—X－ray image

由于紅外圖像與X光圖像不能直接進(jìn)行融合，先將配準(zhǔn)后的紅外圖像和X光圖像分別進(jìn)行灰度變換，然后采用小波變換對(duì)變換后的灰度圖像進(jìn)行融合，高頻系數(shù)選取最大的方法，低頻系數(shù)取兩幅圖像對(duì)應(yīng)的均值，本次實(shí)驗(yàn)中選用DBSS(2，2)小波變換分解和重構(gòu)圖像，分解層數(shù)分別為2層、3層，得到融合后的圖像，如圖3所示，然后將圖3a和圖3b進(jìn)行YIQ顏色空間變換，獲得最終融合圖像，如圖4所示。通過(guò)融合實(shí)驗(yàn)結(jié)果可以清晰地觀察到電路板所反映的溫度信息和內(nèi)部結(jié)構(gòu)細(xì)節(jié)。

Fig.3 Image of wavelet fusion

Fig.4 YIQ transform of wavelet fusion image

由于不存在標(biāo)準(zhǔn)的融合圖像，因此，采用熵、標(biāo)準(zhǔn)差和聯(lián)合熵來(lái)客觀評(píng)價(jià)獲得融合圖像。此外，為了驗(yàn)證小波融合的效果，還做了一組灰度平均加權(quán)的圖像融合實(shí)驗(yàn)。由于本實(shí)驗(yàn)中主要是獲得構(gòu)件內(nèi)部溫度場(chǎng)分布和細(xì)節(jié)，尤其是芯片的溫度場(chǎng)分布，因此，選取芯片附近互相對(duì)應(yīng)的區(qū)域進(jìn)行融合質(zhì)量評(píng)價(jià)，如圖5所示，評(píng)價(jià)結(jié)果如表1所示。

從主觀視覺(jué)上看，融合的幾幅圖像都能得到比較滿意的視覺(jué)效果，融合的圖像既能看到電路板上芯片溫度場(chǎng)分布，也能看到芯片的細(xì)節(jié)信息，圖像較融合前的紅外圖像清晰了許多，對(duì)比度也有了很大的提高。

Fig.5 Region image

Table 1 Evaluation results

從客觀評(píng)價(jià)上看，融合圖像的清晰度較紅外圖像高、較X光圖像低，這說(shuō)明融合圖像在繼承了兩幅圖像的信息基礎(chǔ)上進(jìn)行了折中，既包含了構(gòu)件的溫度場(chǎng)分布，同時(shí)也反映了構(gòu)件內(nèi)部清晰的結(jié)構(gòu)。從表1中也可以看出，2層、3層小波分解在信息熵、標(biāo)準(zhǔn)差、平均梯度等方面的指標(biāo)較平均值融合都有了較大的提高，融合質(zhì)量較好。評(píng)價(jià)結(jié)果對(duì)比情況如表2所示。

Table 2 Comparison results of evaluation parameter average of two and three wavelet transform

4 結(jié)論

采用小波融合方法對(duì)紅外與X光圖像融合能夠較好地反映構(gòu)件內(nèi)部細(xì)節(jié)和溫度場(chǎng)分布。從主觀上看，與融合前的紅外圖像相比，融合后的圖像所含有的信息更加豐富，圖像也更加清晰。從客觀上看，小波融合的圖像在熵值、標(biāo)準(zhǔn)差以及平均梯度上都比融合前的紅外圖像得到提高，分別提高了12.53%，63.28%，757.11%。另外，融合圖像在這些評(píng)價(jià)參量上比X光圖像低，分別降低了4.49%，27.17%，6.32%?？梢?jiàn)，融合后的圖像在繼承了兩幅圖像的信息基礎(chǔ)上進(jìn)行了折中，既包含構(gòu)件的溫度場(chǎng)分布，同時(shí)也反映了構(gòu)件內(nèi)部清晰的結(jié)構(gòu)，從而有利于發(fā)現(xiàn)內(nèi)部熱輻射源。

［1］ YU K L，XIE Zh Y，YUAN Zh W，et al.Application of improved wavelet image fusion algorithms［J］.Computer and Digital Engineering，2014，42(4):592－593(in Chinese).

［2］ REN H P.Research progress and development trends of infrared and visible image fusion［J］.Ship Electronic Engineering，2013，33(1):16－17(in Chinese).

［3］ ZHU L，SUN F，XIA F L，et al.Review on image fusion research［J］.Transduce and Microsystem Technologies，2014，33(2):14－15(in Chinese).

［4］ RANI K，SHARMA R.Study of different image fusion algorithm［J］.International Journalist of Emerging Technology and Advanced Engineering，2013，3(5):288－289.

［5］ SAPKAL R J，KULKARNI S M.Image fusion based on wavelet transform for medical application［J］.International Journal of Engineering Research and Applications，2012，2(5):624－627.

［6］ GAO Y，WANG A M，WAG F H，et al.Application of improved wavelet transform algorithm in image fusion［J］.Laser Technology，2013，37(5):691－693(in Chinese).

［7］ CHENG G，GUO L，ZHAO T Y，et al.Multi－focus image method based on wavelet transform［J］.Computer Engineering and Applications，2012，48(1):194－195(in Chinese).

［8］ Lü Y N，ZHU X，ZHU Ch H，et al.Common color space and its conversions in image processing［J］ .Computer and Digital Engineering，2006，34(11):55－56(in Chinese).

［9］ ZHAO Y H.Studies on wavelet transform based image fusion［D］.Shanghai:Shanghai Jiaotong University，2002:30－34(in Chinese).

［10］ ZHANG W，WANG P L.A image fusion algorithm with wavelet transform based on multi－scale edge detection［J］.Microcomputer Information，2009，25(10):130－131(in Chinese).

［11］ CHENG F，ZHANG W W，YU W J，et al.Fusion algorithm of EMCCD’s low－light－level images based on wavelet transform［J］.Laser Technology，2014，38(2):157－159(in Chinese).

［12］ XING S X，CHEN T H，SUN M.Study on quality measures for infrared and low－light－level image fusion［J］.Infrared Technology，2009，31(7):407－408(in Chinese).

［13］ MANDHARE R A，UPADHYAY P，GUPTA S.Pixel－level image fusion using brovey transforme and wavelet transform［J］.International Journal of Advanced Research in Electrical，Electronics and Instrcumentation Engineering，2013，2(6):2692－2693.

［14］ XUE D J，HE Zh W，QIU W X，et al.Quality assessment and application of remote sensing image fusion based on EML and SML［J］.Remote Sensing Information，2009(6):63－64(in Chinese).