劉娜 田大為

摘 要： 圖像融合是改善圖像質(zhì)量的一個重要途徑，傳統(tǒng)算法難以正確地對圖像進行有效融合。為了提高圖像融合的質(zhì)量，提出一種基于小波變換的圖像融合算法。首先對2幅原始圖像進行小波變換，提取它們的小波系數(shù)，然后采用不同的規(guī)則對不同層次的小波系數(shù)進行融合，并采用小波變換對融合的系數(shù)進行融合，最后采用不同類型對圖像融合結(jié)果進行測試和分析。結(jié)果表明，小波變換融合后的圖像更加自然、清晰，提高了圖像的信噪比，并且圖像融合速度明顯加快，獲得了比對比算法更加理想的圖像融合效果。

關(guān)鍵詞： 圖像質(zhì)量； 小波變換； 神經(jīng)網(wǎng)絡(luò)； 加權(quán)融合； 信噪比； 圖像融合

中圖分類號： TN911.73?34； TP391 文獻標(biāo)識碼： A 文章編號： 1004?373X（2018）07?0071?04

Research on image fusion algorithm based on wavelet transform

LIU Na1， TIAN Dawei2

（1. Center of Health Administration and Development Studies， Hubei University of Medicine， Shiyan 442000， China；

2. Dongfeng Affiliated Hospital of Hubei University of Medicine， Shiyan 442000， China）

Abstract： The image fusion is an important way to improve the image quality， but the traditional algorithm is difficult to fuse the image effectively. In order to improve the quality of image fusion， an image fusion algorithm based on wavelet transform is proposed. Wavelet transform is performed for two original images to extract their wavelet coefficients. The different rules are used to fuse the wavelet coefficients at different levels， and then the wavelet transform is used to fuse the fused coefficients. The images with different types are adopted to test and analyze the image fusion results. The results show that the image after wavelet transform fusion is more natural and clearer， the proposed algorithm can improve the signal?to?noise ratio of the image， quicken the speed of image fusion， and can obtain more satisfactory image fusion effect than the comparing algorithms.

Keywords： image quality； wavelet transform； neural network； weighted fusion； signal?to?noise ratio； image fusion

0 引 言

當(dāng)圖像采集環(huán)境不理想時，采集單一的一幅圖像無法準確地描述目標(biāo)信息，需要通過對目標(biāo)的多幅圖像進行融合，以更加全面、準確地描述目標(biāo)信息。圖像融合成為圖像處理的一個重要方面，在遙感、氣象等領(lǐng)域具有十分重要的實際應(yīng)用價值。為此，圖像融合算法的研究引起了人們的高度關(guān)注[1?3]。

針對圖像融合問題，國內(nèi)外專家進行了深入的分析。通常情況下，傳感器對同一個目標(biāo)的圖像信息進行采集，并進行去噪、歸一化等預(yù)處理操作，最后通過圖像融合算法實現(xiàn)信息互補，得到一幅比原圖像質(zhì)量更高的圖像[4?5]。最初采用單一傳感器進行信息采集，但是單一傳感器的缺陷十分明顯，如分辨率、光譜等方面的不足。為了克服單一傳感器的局限性，當(dāng)前主要采用多個傳感器同時對目標(biāo)信息進行采集，可以更加全面地反映目標(biāo)狀態(tài)，改善圖像質(zhì)量[6]。當(dāng)前圖像融合分為三個層次：第一個層次為像素級融合，也是最低層次的圖像融合，可以最大可能地保留原始信息，是當(dāng)前主要的研究方向；第二個層次為特征級融合，首先提取圖像的相關(guān)特征，如邊緣特征、紋理特征、顏色特征等，然后進行融合，該類方法易丟失圖像中的重要信息，融合后的圖像失真比較嚴重[7?9]；第三個層次為決策級融合，是最高層次的圖像融合，也要提取圖像的特征，然后通過決策模塊進行圖像融合，但工作過程復(fù)雜，不易實現(xiàn)。在圖像融合過程中，圖像融合算法的選擇最為關(guān)鍵，當(dāng)前圖像融合算法有很多，如金字塔分解、傅里葉變換等，它們對圖像進行多尺度分解，然后根據(jù)不同尺度進行相應(yīng)的圖像融合，但是它們也存在一定的不足，如分解尺度有限，無法使圖像融合達到最佳[10?11]。

針對傳統(tǒng)圖像融合算法存在的缺陷，為了改善融合后的圖像質(zhì)量，本文提出基于小波變換的圖像融合算法。測試結(jié)果表明，小波變換可以明顯改善圖像的信噪比，而且圖像融合的速度快，比采用其他方法得到的圖像融合效果更佳。

1 小波變換

相對于傅里葉變換，小波變換更加靈活，具有更強的自適應(yīng)能力，可以對圖像進行不同分辨率的分解，便于對圖像進行后期處理。

1.1 連續(xù)小波變換

小波變換通過一個母小波[ψ（t）]產(chǎn)生相應(yīng)尺度和位移函數(shù)，其定義如下：

[ψa，b（t）=1aψt-ba] （1）

式中[a]和[b]分別表示尺度因子和位移因子。

信號[f（t）]的小波變換可以定義如下：

[W（a，b）=Rψa，b（t）f（t）dt] （2）

[f（t）]的小波逆變換可以定義如下：

[f（t）=a=0+∞b=-∞+∞1CψW（a，b）ψa，b（t）dadb] （3）

式中：[Cψ=Rψ（ω）ωdω；][ψ（ω）]是[ψ（t）]的傅里葉變換。

連續(xù)小波變換要求a和b是連續(xù)變量，[f（t）]也是連續(xù)函數(shù)，而圖像是一種數(shù)字信號，難以滿足該條件，為此出現(xiàn)離散小波變換，導(dǎo)致小波系數(shù)的冗余度比較高。

1.2 離散小波變換

為了解決連續(xù)小波變換的不足，將a和b限制在一定的范圍，對它們進行離散處理，具體為：

1） [a]的離散化，具體為：對[a]進行冪級數(shù)化處理，即[a=am0，][a>0，]相應(yīng)的小波函數(shù)為[a-j20ψa-j0（t-b），][j=0，1，2，…]。

2） [b]的均勻離散，這樣[ψa，b（t）]變?yōu)椋?/p>

[a-j20ψa0-j（t-kaj0b0）=a-j20ψa0-jt-kb0] （4）

離散小波變換定義為：

[W（aj0，kb0）=ψaj0，kb0（t）f（t）dt，j=0，1，2，…，k] （5）

2 小波變換的圖像融合算法

2.1 圖像的小波分解

在小波變換中，Mallat算法是一種最常用的分解算法，圖像經(jīng)過Mallat算法分解后，可以表示為：

[Cj+1（m，n）=r∈Z c∈ZHr-2mHc-2nCjDHj+1（m，n）=r∈Z c∈ZGr-2mHc-2nCjDVj+1（m，n）=r∈Z c∈ZHr-2mGc-2nCjDDj+1（m，n）=r∈Z c∈ZGr-2mGc-2nCj] （6）

式中：[Hr]和[Hc]表示高通濾波器；[Gr]和[Gc]表示低通濾波器；r和c表示圖像的行和別；[Cj+1]表示圖像的低頻部分，也可以采用LL表示；[DHj+1，][DVj+1，][DDj+1]分別表示圖像在[x，][y，xy]方向的邊緣細節(jié)，即高頻部分，它們可以分別采用LH，HL，HH表示。

小波變換的三層分解原理可以采用圖1表示，第一次分解，可以得到4個子帶，其中3個為高頻子帶，1個為低頻子帶，下次分解只對低頻子帶進行分解。

圖像重構(gòu)的二維Mallat算法為：

2.2 小波變換的圖像融合步驟

設(shè)原始待融合的2幅圖像為A和B，融合的圖像為F，圖像融合的步驟具體如下：

綜上可知，基于小波變換的圖像融合流程如圖2所示。

2.3 圖像融合的規(guī)則設(shè)計

在小波變換的圖像融合過程中，融合規(guī)則設(shè)計扮演著重要的角色，因為小波系數(shù)對圖像融合結(jié)果越有利，那么為該小波系數(shù)提供的信息就越多。當(dāng)前圖像融合規(guī)則包括兩種：像素融合規(guī)則；窗口融合規(guī)則。其中，像素融合規(guī)則十分簡單，但是融合結(jié)果不理想；窗口融合規(guī)則考慮了相鄰像素的相關(guān)性，可以得到豐富的細節(jié)信息，圖像視覺更佳，為此本文選擇窗口融合規(guī)則實現(xiàn)圖像融合。

設(shè)圖像A和B經(jīng)過[N]層的小波變換分解后，它們的最低頻子帶系數(shù)為[LAN（x，y）]和[LBN（x，y），][HAN（x，y）]和[HBN（x，y）]分別表示它們的最高頻子帶系數(shù)，[（x，y）]為系數(shù)的坐標(biāo)，[LFN（x，y）]和[HFi（x，y）]分別表示圖像融合的系數(shù)，那么對于最低頻子帶系數(shù)[LAN（x，y）]和[LBN（x，y），]其融合規(guī)則具體如下：

對于最高頻子帶系數(shù)[HAN（x，y）]和[HBN（x，y）]，可以得到：

3 實驗結(jié)果與分析

3.1 實驗平臺

為了分析小波變換的圖像融合算法的性能，選擇Matlab 2014作為仿真工具箱，編程實現(xiàn)圖像融合算法。實驗平臺為： AMD 4核3.0 GHz CPU，隨機存儲器（RAM）的大小為16 GB，采用Unix作為軟件運行系統(tǒng)。選擇待融合圖像如圖3，圖4所示。選擇文獻[12]的圖像融合算法在相同實驗平臺下進行對比測試，以驗證小波變換的優(yōu)越性。

當(dāng)前判斷圖像融合結(jié)果的標(biāo)準有很多，如基于人視覺效果的主觀指標(biāo)評價、客觀指標(biāo)評價。但單一的主觀評價結(jié)果或客觀評價結(jié)果都難以對圖像融合結(jié)果進行全面、有效的評價，因此本文綜合考慮主觀和客觀兩個方面對圖像融合結(jié)果進行描述?？陀^評價指標(biāo)為互信息、均方根誤差、相關(guān)系數(shù)，其中互信息用于描述原圖像和融合圖像之間信息的量，具體為：

式中：[PA（a）]表示圖像A的直方圖；[PB（b）]表示圖像B的直方圖。

均方根誤差主要反映融合圖像（F）和最理想圖像（R）之間的誤差，其定義如下：

式中[M]和[N]分別表示圖像的行和列。

相關(guān)系數(shù)主要用于刻畫融合后圖像和理想圖像之間的相關(guān)程度，具體定義為：

式中[I（x，y）]和[If（x，y）]分別表示融合后的圖像和理想圖像的灰度值。

3.2 結(jié)果與分析

小波變換對原始紅外圖像和原始Clock圖像進行分解，然后分別對低頻子帶系數(shù)和高頻子帶系數(shù)進行融合，得到的實驗結(jié)果如圖5，圖6所示。從圖5，圖6可知，利用小波變換得到的融合后圖像視覺效果好，可以清楚地看到圖像中的目標(biāo)，而且相對于原始圖像，圖像邊緣細節(jié)信息得到增強，圖像對比度明顯改善。這是因為通過小波變換對圖像進行細分，對不同層次的低頻子帶系數(shù)和高頻子帶系數(shù)采用不同規(guī)則進行融合。而對比方法得到的融合圖像的對比度低，圖像模糊不清，圖像細節(jié)信息丟失十分嚴重，圖像清晰度難以滿足實際應(yīng)用要求，給圖像后續(xù)處理帶來不利影響。

統(tǒng)計融合圖像和理想圖像的均方根誤差和相關(guān)系數(shù)，同時計算原圖像和融合圖像之間的互信息，結(jié)果見表1。從表1可知，小波變換的均方根誤差較小，說明圖像質(zhì)量、互信息值較高，表示在融合過程中，圖像丟失的細節(jié)信息較少，相關(guān)系數(shù)也得到了一定的提高，表示融合圖像和理想圖像之間的偏差很??；而對比方法的均方根誤差較大，相關(guān)系數(shù)和互信息值較小。對比結(jié)果表明，小波變換的圖像融合綜合性能要明顯優(yōu)于對比方法。

4 結(jié) 語

為了降低圖像融合的錯誤，改善圖像質(zhì)量，以便于對圖像進行后期處理，根據(jù)圖像融合的特點，本文提出基于小波變換的圖像融合算法，并對不同層次的小波系數(shù)采用不同的融合規(guī)則。結(jié)果表明，小波變換獲得了高質(zhì)量的圖像融合結(jié)果，與理想圖像之間的錯誤相當(dāng)小，可以保留原始圖像中的一些重要信息，圖像過渡十分自然，為圖像效果增強提供了一種重要工具。

注：本文通訊作者為田大為。

參考文獻

[1] ALPARONE L， BARONTI S， GARZELLI A. Landsat ETM+ and SAR image fusion based on generalized intensity modulation [J]. IEEE transactions on geosciences and remote sensing， 2004， 42（12）： 2832?2842.

[2] 周浦城，韓裕生，薛模根，等.基于非負矩陣分解和IHS顏色模型的偏振圖像融合方法[J].光子學(xué)報，2010，39（9）：1682?1686.

ZHOU Pucheng， HAN Yusheng， XUE Mogen， et al. The method of polarization image fusion based on nonnegative matrix decomposition and IHS color model [J]. Acta photonica sinica， 2010， 39（9）： 1682?1686.

[3] 王宏，敬忠良，李建勛.一種基于圖像塊分割的多聚焦圖像融合方法[J].上海交通大學(xué)學(xué)報，2003，37（11）：1743?1750.

WANG Hong， JING Zhongliang， LI Jianxun. Multi focus image fusion using image black segment [J]. Journal of Shanghai Jiao Tong University， 2003， 37（11）： 1743?1750.

[4] CHEN Shaohui， ZHANG Renhua， SU Hongbo， et al. SAR and multispectral image fusion using generalized IHS transform based on atrous wavelet and EMD decompositions [J]. IEEE journals and magazines， 2010， 10（3）： 737?745.

[5] 張華，黃輝，劉邦明.結(jié)合Contourlet變換和區(qū)域特征的圖像融合算法[J].計算機工程與應(yīng)用，2013，49（22）：160?162.

ZHANG Hua， HUANG Hui， LIU Bangming. Image fusion algorithm based on Contourlet transform and region features [J]. Computer engineering and applications， 2013， 49（22）： 160?162.

[6] 劉濤，張登福，何宜寶.基于區(qū)域分割和非下采樣輪廓波變換的多聚焦圖像融合算法[J].計算機應(yīng)用，2010，30（10）：2805?2807.

LIU Tao， ZHANG Dengfu， HE Yibao. Multi?focus image fusion algorithm based on region segmentation and nonsubsampled contourlet transform [J]. Journal of computer applications， 2010， 30（10）： 2805?2807.

[7] 牛佳.基于CVX和非負矩陣分解的圖像融合研究[J].計算機工程與設(shè)計，2008，29（20）：5311?5313.

NIU Jia. Study for image fusion based on CVX and non?negative matrix factorization [J]. Computer engineering and design， 2008， 29（20）： 5311?5313.

[8] 吳川，楊冬.改進的多光譜雙邊濾波圖像融合[J].中國圖象圖形學(xué)報，2013，18（9）：1170?1175.

WU Chuan， YANG Dong. Improved multispectral bilateral filter video fusion algorithm [J]. Journal of image and graphics， 2013， 18（9）： 1170?1175.

[9] 張強，郭寶龍.基于非采樣Contourlet變換的遙感圖像融合算法[J].光學(xué)學(xué)報，2008，28（1）：74?80.

ZHANG Qiang， GUO Baolong. Remote sensing image fusion based on the nonsubsampled Contourlet transform [J]. Acta optica sinica， 2008， 28（1）： 74?80.

[10] 陳煥平，何明一，李旭.基于SWT區(qū)域?qū)Ρ榷认袼靥崛〉亩嗑劢箞D像融合[J].中國圖象圖形學(xué)報，2011，16（5）：865?870.

CHEN Huanping， HE Mingyi， LI Xu. Multi?focus image fusion using pixel extraction based on SWT regional contrast [J]. Journal of image and graphics， 2011， 16（5）： 865?870.

[11] 閆莉萍，劉寶生，周東華.一種新的圖像融合及性能的評價方法[J].系統(tǒng)工程與電子技術(shù)，2007，29（4）：509?513.

YAN Liping， LIU Baosheng， ZHOU Donghua. Novel image fusion algorithm with novel performance evaluation method [J]. Systems engineering and electronics， 2007， 29（4）： 509?513.

[12] 孫偉，郭寶龍，陳龍.非降采樣Contourlet域方向區(qū)域多聚焦圖像融合算法[J].吉林大學(xué)學(xué)報（工學(xué)版），2009，39（5）：1384?1389.

SUN Wei， GUO Baolong， CHEN Long. Multifocus image fusion algorithm based on directional window statistics in nonsubsampled Contourlet domain [J]. Journal of Jilin University （engineering and technology edition）， 2009， 39（5）： 1384?1389.