易圖明 王先全 袁威 何曉冬

摘? 要：針對傳統(tǒng)模型在跨模態(tài)下易產(chǎn)生光暈偽影、顏色失真等問題，提出一種基于導(dǎo)向?yàn)V波和小波變換的紅外可見光圖像融合改進(jìn)算法。將源圖像經(jīng)由小波變換獲得二維低頻及高頻的子代系數(shù)，低頻分量采用加權(quán)平均融合，高頻分量提取權(quán)重圖后經(jīng)導(dǎo)向?yàn)V波獲得細(xì)節(jié)增強(qiáng)；再將所處理的各分量經(jīng)小波逆變換獲得融合圖像。該算法使用開源數(shù)據(jù)集TNO檢驗(yàn)效果，經(jīng)過主客觀評估，得出該算法的效果明顯優(yōu)于傳統(tǒng)算法，符合研究預(yù)期。

關(guān)鍵詞：圖像融合；小波變換；導(dǎo)向?yàn)V波；多尺度分解；紅外可見光圖像

中圖分類號：TP391? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）06-0041-05

Research on Improved Infrared Visible Light Image Fusion Algorithm Based on Guided Filtering and Wavelet Transform

YI Tuming1， WANG Xianquan2， YUAN Wei1， HE Xiaodong1

（1.Southwest Computer Co.， Ltd.， Chongqing? 400060， China; 2.Chongqing University of Technology， Chongqing? 400054， China）

Abstract： Aiming at the problem that the traditional model is prone to produce halo artifacts and color distortion in cross-mode， an improved infrared visible light image fusion algorithm based on guided filtering and wavelet transform is proposed. The sub-generation coefficients of two-dimensional low frequency and high frequency are obtained from the source image through wavelet transform. The low frequency components are fused by weighted average， and the high frequency components are extracted from the weight map， and then the details are enhanced by guided filtering; then the processed components are transformed by inverse wavelet transform to obtain the fused image. The algorithm uses the open source data set TNO to test the effect. After subjective and objective evaluation， it is concluded that the effect of the algorithm is significantly better than the traditional algorithm， which is in line with the research expectation.

Keywords： image fusion; wavelet transform; guided filtering; multi-scale decomposition; infrared visible light image

0? 引? 言

準(zhǔn)確獲取目標(biāo)紅外圖像信息是軍事安防和醫(yī)學(xué)影像領(lǐng)域不可或缺的一部分。如何將紅外圖像對外部噪聲的抗干擾能力與可見光圖像豐富的表征信息相結(jié)合，彌補(bǔ)紅外圖像視覺效果差、對比度低的缺陷，同時(shí)加強(qiáng)自然光在低光照條件下的描述能力，成為該技術(shù)研究的主流方向。

針對上述跨模態(tài)圖像融合技術(shù)發(fā)展過程中遇到的難點(diǎn)，學(xué)者們陸續(xù)開展了對基于多尺度分解的紅外可見光圖像融合算法的研究。小波變換和金字塔變換作為變換域中經(jīng)典的跨模態(tài)融合算法，自20世紀(jì)90年代就開始進(jìn)軍圖像融合領(lǐng)域。金字塔變換因分解過程中存在的數(shù)據(jù)冗余問題，融合效果很差；小波變換則因具有刻畫時(shí)域信號局部特征的優(yōu)勢，為此得到了廣泛的應(yīng)用。但傳統(tǒng)小波變換依舊存在一個(gè)很大的問題：小波變換各方向變換相同，無法體現(xiàn)圖像的各相異性特征。因此，大量改進(jìn)優(yōu)化的小波變換圖像融合算法被提出：平穩(wěn)小波變換融合算法在采樣過程中剔除了下采樣，進(jìn)而克服了小波變換存在的振鈴效應(yīng)和光譜失真，大大提升了圖片融合效果并具有更優(yōu)的平移不變性。雙樹復(fù)小波變換融合算法引出兩個(gè)獨(dú)立的離散小波樹作為實(shí)部和虛部，單次從行列上分解的高頻子帶較離散小波多3個(gè)方向，大大提高了重構(gòu)精度，提高了圖像分解能力及方向選擇性；可協(xié)調(diào)的經(jīng)驗(yàn)小波變換通過構(gòu)造自適應(yīng)的濾波器實(shí)現(xiàn)對信號的自適應(yīng)分解，并改進(jìn)高低頻融合規(guī)則，客觀評價(jià)指標(biāo)與標(biāo)準(zhǔn)圖像最為接近。

為進(jìn)一步去除融合圖像噪聲保留細(xì)節(jié)信息，近年來以導(dǎo)向?yàn)V波為首提出的邊緣濾波器廣受青睞。基于導(dǎo)向?yàn)V波（GFF）提出一種以源圖像作為引導(dǎo)圖重構(gòu)不同圖像權(quán)重的方案，在較好保持圖像邊緣信息的同時(shí)，可以有效緩解融合過程中高頻信號帶來的光暈、偽影等問題，達(dá)到平滑紋理，保留邊緣信息以及提取圖像細(xì)節(jié)的目的。但是導(dǎo)向?yàn)V波仍具有相當(dāng)程度的局限性：

（1）導(dǎo)向?yàn)V波在處理圖像邊緣時(shí)仍然會引入部分細(xì)節(jié)“光暈”。

（2）在非高曝光條件下，易導(dǎo)致顏色失真，且融合結(jié)果主觀評價(jià)不及傳統(tǒng)融合方法。

（3）處理輸入圖像和引導(dǎo)圖像不一致時(shí)會出現(xiàn)濾波不靈敏甚至失靈的情況。

為解決上述問題，本文提出一種基于導(dǎo)向?yàn)V波和小波變換的紅外可見光圖像融合改進(jìn)算法。首先，將紅外可見光圖像作為源圖像經(jīng)由小波變換獲得二維低頻及高頻的子代系數(shù)；其次，低頻系數(shù)處理中，我們將紅外圖像的自帶低頻進(jìn)行局部對比度增強(qiáng)，然后經(jīng)由導(dǎo)向?yàn)V波加權(quán)平均；同時(shí)，對分離的高頻子帶提取權(quán)重圖后經(jīng)導(dǎo)向?yàn)V波獲得細(xì)節(jié)增強(qiáng)；最后將處理的各分量經(jīng)小波逆變換獲得融合圖像，并且通過開源數(shù)據(jù)集TNO上的測試及主客觀評價(jià)來驗(yàn)證算法的優(yōu)越性。

1? 二維小波分解與重構(gòu)

二維小波變換（DWT）即一維小波變換在橫縱兩個(gè)方向上的拓展。任意二維圖像可定義為f （x， y）∈L2（R），其中x、y分別為二維圖像的橫縱坐標(biāo)。定義二維小波母函數(shù)為f （x， y），伸縮、平移處理后的小波基函數(shù)為：

（1）

二維小波分別在橫縱方向上進(jìn)行一維小波變換，其定義公式為：

（2）

其中，bx、by分別表示橫軸和縱軸兩個(gè)維度上的平移，其相應(yīng)的二維小波逆變換重構(gòu)算法為：

（3）

其中：

（4）

當(dāng)對輸入圖像進(jìn)行二維離散小波變換時(shí)，依照式（1）（2）采用常用的Mallat算法，根據(jù)不同的頻帶、分辨率分解為系列子帶圖像：

（5）

其中，Hr、Hc表示高通濾波器；Gr、Gc表示低通濾波器；r、c表示行列。每層小波系數(shù)分解為水平和垂直方向低頻子帶（LL）、水平方向低頻和垂直方向高頻子帶（LH）、水平方向高頻和垂直方向低頻子帶（HL）、垂直和水平方向高頻子帶（HH），當(dāng)分解層數(shù)為3層時(shí)如圖1所示。

當(dāng)二維離散小波變換對紅外和可見光圖片同時(shí)進(jìn)行分解時(shí)，基于Mallat的小波融合算法的具體流程如圖2所示。

2? 導(dǎo)向?yàn)V波

與雙邊濾波相同，導(dǎo)向?yàn)V波可以在高度保持圖像高頻表征的情況下達(dá)到圖像平滑的效果。但相較于傳統(tǒng)的邊緣保持濾波，導(dǎo)向?yàn)V波存在兩大明顯優(yōu)勢：

（1）相較于雙邊濾波器極高的計(jì)算復(fù)雜度，導(dǎo)向?yàn)V波僅存在線性計(jì)算復(fù)雜度，計(jì)算速度大大提高。

（2）雙邊濾波器的數(shù)學(xué)模型易導(dǎo)致圖像的梯度反轉(zhuǎn)進(jìn)而使圖像受損，而導(dǎo)向?yàn)V波從線性組合出發(fā)，輸出圖片和引導(dǎo)圖片梯度方向一致，避免了梯度反轉(zhuǎn)的問題。

導(dǎo)向?yàn)V波的實(shí)現(xiàn)是利用給定的輸入圖像P，經(jīng)由導(dǎo)向?yàn)V波輸出圖像O，且假定引導(dǎo)圖像I之間存在線性變換，即：

（6）

其中，N（i）表示以像素i為中心的鄰域，在N（i）內(nèi)線性系數(shù)ai和bi為常數(shù)，由回歸計(jì)算得到。像素點(diǎn)i包含在相鄰的窗口N（i）內(nèi)，故式（7）中濾波輸出Oi的值會隨著窗口N（i）的改變而改變。為解決這個(gè)問題，對所有存在可能的ai和bi進(jìn)行平均，得到輸出Oj，即：

（7）

其中， 和? 表示平均系數(shù)。

從濾波后呈現(xiàn)效果來看，導(dǎo)向?yàn)V波與雙邊濾波差距不大，但在細(xì)節(jié)處理過程中，導(dǎo)向?yàn)V波可以構(gòu)造出時(shí)間復(fù)雜度無關(guān)窗口大小的算法，且效率更高。

3? 本文算法

本文將二維離散小波變換和導(dǎo)向?yàn)V波相結(jié)合，同時(shí)采用局部對比度增強(qiáng)的方法進(jìn)行紅外可見光圖像融合，具體流程如圖3所示。設(shè)V、I分別為可見光和紅外源圖像，該融合算法的計(jì)算步驟如下：

（1）基于二維離散小波的多尺度分解：對V、I進(jìn)行小波分解，得到高頻子帶和低頻子帶系數(shù)。

（2）對I分解得到的低頻子帶進(jìn)行局部對比度增強(qiáng)，并與V的低頻子帶一起經(jīng)由導(dǎo)向?yàn)V波后加權(quán)平均得到低頻融合圖。

（3）對V、I分離的高頻信號分量提取權(quán)重圖后經(jīng)導(dǎo)向?yàn)V波得到高頻融合圖。

（4）最后采用二維離散小波逆變換將高頻和低頻融合在一起。

3.1? 基于二維離散小波分解

運(yùn)用式（1）（2）（5）對源圖像V、I進(jìn)行圖像多尺度分解。實(shí)驗(yàn)中，我們固定小波分解系數(shù)為3層，單次小波變換得到一個(gè)低頻子帶（LL）和三個(gè)高頻子帶（LH、HL、HH）。

3.2? 高頻子帶融合

首先，經(jīng)過小波變換得到可見光和紅外圖像的多層高頻信號Vn、In。將兩類圖像經(jīng)過均值濾波器，得到雙尺度表示：

（8）

其中，Z表示的均值濾波器通常設(shè)置為31×31，以此獲得基礎(chǔ)層，進(jìn)而通過原高頻信號減去基礎(chǔ)層獲得細(xì)節(jié)層：

（9）

緊接著對兩張高頻圖的權(quán)重進(jìn)行重構(gòu)，使In、Vn分別經(jīng)過3×3的拉普拉斯濾波得到高通圖像HVn、HIn：

（10）

分別對HVn、HIn取絕對值化的局部平均值，構(gòu)造相應(yīng)的顯著映射SVn、SIn：

（11）

其中，g表示一個(gè)（2rg+1）×（2σg+1）的高斯低通濾波器，這里我們將rg、σg設(shè)為5，測量圖可以很好地表現(xiàn)細(xì)節(jié)特征的顯著性。對顯著性映射進(jìn)行權(quán)重映射：

（12）

其中，、 為第n幅圖中的顯著性值。為避免權(quán)重圖因本身自帶噪聲且邊界不一致易造成偽影等情況，利用每張圖的權(quán)重圖進(jìn)行導(dǎo)向?yàn)V波，將原高頻圖像作為引導(dǎo)圖像：

（13）

其中，r1、ε1表示導(dǎo)向?yàn)V波的參數(shù)，、、、 分別表示濾波后生成的權(quán)重圖。

經(jīng)過導(dǎo)向?yàn)V波的優(yōu)化，采用雙尺度的圖像重建進(jìn)行融合。首先對所獲得的新權(quán)重圖和基礎(chǔ)層進(jìn)行加權(quán)平均處理：

（14）

其中，k表示增強(qiáng)的常量，最后將兩張?jiān)磮D像的高頻部分進(jìn)行結(jié)合，以此得到最終的融合圖像：

（15）

3.3? 低頻融合準(zhǔn)則

圖像的低頻信號通常表示圖像的近似特性及輪廓信息，為進(jìn)一步保留源圖像中的細(xì)節(jié)信息，同時(shí)又不會產(chǎn)生過多的噪點(diǎn)，在加權(quán)平均前首先使用導(dǎo)向?yàn)V波對源圖像的低頻子帶Vn、In進(jìn)行自引導(dǎo)，達(dá)到去除高噪聲的目的：

（16）

其中，y=13，ε=0.01，隨后，對In進(jìn)行局部對比度增強(qiáng)，以此來突出想要保留的亮度細(xì)節(jié)：

（17）

其中，xn表示某張圖像的局部像素平均值，C表示增強(qiáng)常量，mxn表示單張圖像的低頻分量。

最后，我們采用像素加權(quán)平均的策略進(jìn)行低頻子帶的融合：

（18）

其中，a1、a2表示加權(quán)系數(shù)，且a1+a2=1。因?yàn)榧t外可見光的圖像融合中，低頻分量涵蓋信息大致相同，因此取a1=a2=0.5。

4? 實(shí)驗(yàn)結(jié)果分析

隨著近年來圖像融合領(lǐng)域的快速發(fā)展，與不同類型融合算法相對應(yīng)的評估標(biāo)準(zhǔn)也變得多樣化。圖像融合的質(zhì)量評估策略分為兩大類，即主觀評價(jià)策略和客觀評價(jià)策略。主觀評價(jià)策略就是利用肉眼對融合效果圖進(jìn)行直觀評判，其優(yōu)點(diǎn)是簡單直接。客觀評價(jià)策略就是利用科學(xué)量化模型給出的諸多指標(biāo)來評判融合的效果。本文綜合主觀和客觀兩個(gè)方向?qū)D像融合結(jié)果進(jìn)行描述，其中客觀評價(jià)指標(biāo)分為兩大部分：

（1）方差、信息熵、互信息、對比度等常規(guī)無參考評估標(biāo)準(zhǔn)。

（2）brenner、laplacian、SMD、SMD2等梯度函數(shù)、方差函數(shù)、energy函數(shù)、Vallath函數(shù)、entropy函數(shù)的無參考清晰度評估模型。

4.1? 主觀評估

為驗(yàn)證本文算法的優(yōu)越性，在TNO數(shù)據(jù)集中選取紅外可見光圖像作為基準(zhǔn)，與三個(gè)經(jīng)典紅外可見光融合算法（小波變換、TIF、IHS）進(jìn)行比對。圖4展示了原始紅外可見光圖像與小波變換圖像算法結(jié)果以及本文融合算法的結(jié)果。

從融合結(jié)果來看，小波融合更為柔和，其對細(xì)節(jié)輪廓等沒有做過多的處理。本文算法能夠更好地保留邊緣信息和細(xì)節(jié)信息。TIF算法和IHS算法在邊緣處理上出現(xiàn)了重影、模糊等情況。為了進(jìn)行更加清晰的比較，框出部分細(xì)節(jié)進(jìn)行局部比較，如圖5所示。

小波的融合結(jié)果雖然在整體上更為清晰，像素明暗因原本的加權(quán)平均融合策略相較于源圖像更為中和。但與本文算法相比，本文算法因?qū)驗(yàn)V波的邊緣保持特性，對自然光圖像的細(xì)節(jié)保留更為充分，且在真實(shí)物體的輪廓細(xì)節(jié)上有所增強(qiáng)，更符合人眼感官。TIF算法和IHS算法在邊緣保留上存在劣勢，使得本文算法在紅外圖像的特征提取和自然光圖像細(xì)節(jié)紋理刻畫保留方面獲得了更佳的表現(xiàn)。

4.2? 客觀評價(jià)

針對融合結(jié)果的信息，本文采取兩類客觀評價(jià)標(biāo)準(zhǔn)及模型選取對本文算法進(jìn)行有效的量化評價(jià)，參數(shù)如表1所示。從表1中可以看出：在第一類評價(jià)中，本文算法在均值和方差的數(shù)值上比小波變換的融合結(jié)果更大，表示灰度分級更分散，圖像質(zhì)量更好；在圖像熵的表現(xiàn)上，本文算法高于小波變換的數(shù)值表明其所涵蓋的信息量更大；在對比度的表現(xiàn)上，本文算法明顯優(yōu)于小波變換，表明圖像更清晰色彩表現(xiàn)更豐富。從四項(xiàng)對比來看，本文算法更為優(yōu)越；從表2的客觀評價(jià)模型來看，本文算法在無參考清晰度評估模型上的各項(xiàng)數(shù)值都遠(yuǎn)遠(yuǎn)超過小波變換的融合結(jié)果。由此可見本文算法比小波圖像融合算法更為優(yōu)越，無論是從清晰度、信息量還是主觀感受方面來看，本文算法均具有更好的預(yù)測性能和應(yīng)用價(jià)值。

5? 結(jié)? 論

對于傳統(tǒng)圖像融合算法存在的噪聲、偽影和信息丟失尤其是高曝光條件下易出現(xiàn)的顏色失真等問題，本文提出一種基于導(dǎo)向?yàn)V波和小波變換的紅外可見光圖像融合改進(jìn)算法，并通過實(shí)驗(yàn)和主客觀評估模型校驗(yàn)了算法的優(yōu)越性。實(shí)驗(yàn)和評估量化結(jié)果表明，本文算法所得到的融合圖像，無論是信息攜帶量還是圖像清晰度上都優(yōu)于傳統(tǒng)的圖像融合算法。在紅外和可見光圖像的細(xì)節(jié)信息保留、圖像邊緣信息刻畫等方面，本文算法更是汲取了導(dǎo)向?yàn)V波本身對該類信息處理的優(yōu)勢，大大提高了信息提取的有效性，圖像過渡更加自然，在圖像融合、機(jī)器視覺等領(lǐng)域具有廣闊的前景。

參考文獻(xiàn)：

[1] MA J Y，MA Y，LI C. Infrared and visible image fusion methods and applications： a survey [J].Information Fusion，2019，45：153-178.

[2] LIU Y，CHEN X，WARD R K，et al. Medical image fusion via convolutional sparsity based morphological component analysis [J].IEEE Signal Processing Letters，2019，26（3）：485-489.

[3] ZHOU Z Q，WANG B，SUN L，et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters [J].Information Fusion，2016，30：15-26.

[4] CHEN X G，LI X K. Application of Uniform Design and Genetic Algorithm in Optimization of Reversed Phase Chromatographic Separation [J].Chemometrics and Intelligent Laboratory Systems，2003，68（2）：157-166.

[5] HE K M，SUN J，TANG X O. Guided image filtering [EB/OL].[2022-10-05].https：//link.springer.com/chapter/10.1007/978-3-642-15549-9_1/.

[6] XIE W，ZHOU Y Q，YOU M. Improved guided image filtering integrated with gradient information [J].Journal of Image and Graphics，2016，21（9）：1119-1126.

[7] YANG H，WU X T，HE B G，et al. Image fusion based on multiscale guided filters [J].Journal of Optoelectronics·Laser，2015，26（1）：170-176.

[8] ZHU H R，LIU Y Q，ZHANG W Y. Infrared and visible image fusion based on contrast enhancement and multi-scale edge-preserving decomposition [J].Journal of Electronics and Information Technology，2018，40（6）：1294-1300.

[9] NOEL O C，YUKIHIKO Y. Anisotropic guided filtering [J].IEEE Transactions on Image Processing，2019，29：1397-1412.

[10] JIN H Y，WANG Y Y. A Fusion Method for Visible and Infrared Images Based on Contrast Pyramid with Teaching Learning Based Optimization [J].Infrared Physics & Technology，2014（64）：134-142.

[11] LIU C H，QI Y，DING W R. Infrared and visible image fusion method based on saliency detection in sparse domain [J].Infrared Physics and Technology，2017，83：94-102.

[12] CUI G M，F(xiàn)ENG H J，XU Z H，et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition [J].Optics Communications，2015，341：199-209.

[13] SHEN Y，CHEN X P，LIU C. Infrared and visible image fusion based on hybrid model driving [J].Control and Decision，2021，36（9）：2143-2151.

[14] 常青，楊程偉，羅彬杰，等.基于小波變換的擴(kuò)散焊超聲C圖像融合算法 [J/OL].鄭州大學(xué)學(xué)報(bào)：工學(xué)版，2022：1-7[2022-10-03].https：//kns.cnki.net/kcms/detail/detail.aspx？dbcode=CAPJ&dbname=CAPJLAST&filename=ZZGY20220609002&uniplatform=NZKPT&v=0DDgriRsGa8lm2Rel30-g1NfK3xU62OPjWKiQT-kbqv9zfFR5OL3PWcQvMD08LEe.

[15] 宮睿，王小春.基于可協(xié)調(diào)經(jīng)驗(yàn)小波變換的多聚焦圖像融合 [J].計(jì)算機(jī)工程與應(yīng)用，2020，56（2）：201-210.

作者簡介：易圖明（1969.10—），男，漢族，四川南充人，正高級工程師，國務(wù)院政府特殊津貼專家，本科，主要研究方向：通信技術(shù)；通訊作者：王先全（1968.09—），男，漢族，四川華鎣人，教授，碩士研究生，主要研究方向：計(jì)算機(jī)軟件技術(shù)和智能儀器。

收稿日期：2022-10-26