郝帥 安倍逸 付周興 馬瑞澤 趙新生 馬旭 劉彬

摘 要：針對利用傳統(tǒng)方法進行紅外與可見光圖像融合時易出現(xiàn)邊緣模糊以及細節(jié)分辨能力弱的問題，提出一種基于小波變換和各向異性擴散的紅外和可見光圖像融合算法。首先，將紅外圖像和可見光圖像利用小波變換進行多尺度分解，獲取原圖像所對應(yīng)的高頻部分和低頻部分;其次，將高頻部分和低頻部分分別進行各向異性擴散，生成對應(yīng)圖像的基礎(chǔ)層和細節(jié)層;然后，采用KL變換對異源圖像的細節(jié)層進行融合，采用加權(quán)平均方法對基礎(chǔ)層進行融合;最后，將融合后的細節(jié)層和基礎(chǔ)層通過線性重構(gòu)得到最終的融合圖像。為了驗證所提出算法的優(yōu)勢，將其與3種經(jīng)典融合算法進行比較。通過大量融合實驗表明，相比于其他3種經(jīng)典融合算法，所提出的算法不僅實時性好，而且融合結(jié)果能夠較好保留原圖像豐富的細節(jié)信息，具有較高的清晰度。

關(guān)鍵詞：圖像融合;小波變換;各向異性擴散;多尺度分解

中圖分類號：TP 391??????????? 文獻標志碼：A

文章編號：1672-9315（2022）01-0184-07

DOI：10.13800/j.cnki.xakjdxxb.2022.0124開放科學(xué)（資源服務(wù)）標識碼（OSID）：

Infrared and visible image fusion algorithm based on

wavelet transform and anisotropic diffusion

HAO Shuai1，AN Beiyi1，F(xiàn)U Zhouxing1，MA Ruize1，ZHAO Xinsheng1，MA Xu1，LIU Bin2

（1.College of Electrical and Control Engineering，Xi’an University of Science and Technology，Xi’an 710054，China;

2.Xi’an Satellite Control Center，Xi’an 710043，China）

Abstract：In order to solve the problems of edge blur and weak detail resolution when using traditional methods to fuse infrared and visible images，an infrared and visible image fusion algorithm is proposed based on wavelet transform and anisotropic diffusion.Firstly，the wavelet transform is used to perform a multiscale decomposition on infrared image and visible image，and the corresponding high frequency and low frequency parts of the source images are obtained.Secondly，the high frequency part and the low frequency part are respectively anisotropic diffused to generate the basic layer and detail layer of source images.Then，KL transforming is used to fuse the detail layer of the heterogeneous image，and the weighted average method is used to fuse the base layer.Finally，the fusion image is generated by linear reconstruction of the fused detail layer and the base layer.

A comparison between the proposed algorithm and three traditional ones has been made to confirm the advantages.A large number of fusion experiments show that

the proposed algorithm

is better in real-time and the fusion result can better reserve the very details of the source with? higher clarity.Key words：image fusion;wavelet transform;anisotropic diffusion;multi-scale decomposition

0 引 言

圖像融合一直是計算機視覺領(lǐng)域中的研究熱點，主要是將同一場景中的異源/同源圖像按照一定的融合策略生成融合圖像，從而增強圖像中目標細節(jié)表達能力，以便后續(xù)處理。目前，圖像融合技術(shù)已在測繪遙感[1]、人臉識別[2]、醫(yī)學(xué)成像[3]、軍事偵察[4]、輸電線路故障檢測[5]等領(lǐng)域廣泛應(yīng)用。紅外圖像和可見光圖像是圖像融合中研究最為廣泛的2類圖像[6]，紅外圖像主要是利用目標與背景的熱輻射差異來區(qū)分目標和背景，它受光照變化以及天氣條件影響較小[7]。然而，相比可見光圖像，紅外圖像對目標的細節(jié)表達能力往往不足?？梢姽鈭D像具有較強的細節(jié)分辨力，但是它受光照變化影響嚴重。為此，將紅外與可見光圖像進行融合，綜合二者優(yōu)點，可以使融合圖像能夠更加符合人類視覺感知標準，便于后續(xù)任務(wù)處理。

根據(jù)圖像表征層次的不同，圖像融合可以分為像素級、特征級和決策級融合[8]。決策級融合主要是依據(jù)一定的融合準則對每種傳感器采集的數(shù)據(jù)進行可信度綜合判斷。該方法計算量小，但是由于每種傳感器的決策結(jié)果都會傳遞到最終的決策層，所以該方法的融合精度嚴重依賴于所選取決策函數(shù)的容錯能力。特征級融合是對各原圖像所提取的特征（如形狀、邊緣、紋理等）進行融合。該方法可以有效降低處理的數(shù)據(jù)量，計算速度快，但是往往會損失部分細節(jié)特征。像素級融合方法是直接在像素點基礎(chǔ)上進行融合，該方法可以保留圖像中豐富的細節(jié)信息，但是處理時存在數(shù)據(jù)量大且易受噪聲干擾等問題。李海賓等在研究中證明了像素級圖像融合方法具有較好的融合效果，而且計算復(fù)雜度低[9]。為此，本方法研究重點是基于像素級的融合方法。像素級圖像融合方法大致可分為基于空域和基于變換域的融合方法[10]。在基于變換域的圖像融合方法中，由于基于多尺度的融合方法模擬了人類視覺系統(tǒng)感知方式，是目前最常用的像素級融合方法之一。劉先紅等提出了基于多尺度方向引導(dǎo)濾波和卷積稀疏表示的圖像融合方法[11]，陳勇等提出了基于小波變換的融合方法[12]，ZHANG等提出了基于非采樣Contourlet變換的融合算法[13]，吳延海等提出了基于NSCT變換和壓縮感知的融合算法[14]，他們通過融合實驗證明了基于多尺度融合的方法能夠獲取較好視覺效果。但是葉明等在研究中指出，基于小波變換的融合圖像算法會隨小波分解尺度的增大出現(xiàn)較為明顯的非均勻效應(yīng)，而且融合結(jié)果中會存在細節(jié)信息保留不完整問題[15]。為了使融合結(jié)果具有較好的細節(jié)表達能力，大量學(xué)者利用濾波的方法來增強圖像融合效果。如朱浩然等提出了基于迭代導(dǎo)向濾波的圖像融合算法[16]，KUMAR采用交叉雙邊濾波算法進行圖像融合[17]，趙程等提出了基于滾動導(dǎo)向濾波和混合多尺度分解的紅外與可見光圖像融合方法[18]，涂超平等提出了基于各向異性熱擴散方程的多聚焦圖像融合算法[19]。上述方法的思想都是先將源圖像分解為基礎(chǔ)層和細節(jié)層，然后利用不同的融合策略生成融合圖像。封子軍等在研究中指出，相比于濾波融合方法，基于各向異性擴散的方法能夠更好的保留圖像邊緣信息，而且圖像具有較好的去噪能力[20]。但目前針對各向異性擴散模型提出的改進方式大多都是針對擴散方程本身提出的，忽略了圖像的自身特征信息，可能造成圖像細節(jié)部分（紋理、弱邊緣等）的丟失或模糊。綜上所述，為了使融合圖像具有較好的細節(jié)分辨能力的同時，更加符合人類視覺感知特性，提出一種基于小波變換和各向異性擴散的紅外和可見光圖像融合算法。

1 小波分解與重構(gòu)小波變換作為一種有效的多尺度分析工具，可以將圖像分解為低頻分量和高頻分量[21]。文中利用2個一維濾波器實現(xiàn)對二維圖像的快速小波分解，然后通過2個一維重構(gòu)濾波器實現(xiàn)圖像的重構(gòu)。j-1尺度下的分解公式可以表示為

H*和G*為H和G的共軛轉(zhuǎn)置矩陣。

2 各向異性擴散通過各向異性擴散可將給定的圖像保留常規(guī)比例下的特性，并借助偏微分方程可以保存邊緣輪廓信息，獲取區(qū)域邊界清晰的圖像。為此，選擇通過各向異性擴散來增強圖像的細節(jié)表達能力。各向異性擴散方程可以表示為

融合算法

3.1 融合流程

整個算法的流程如圖1所示。

1）對源圖像分別進行小波變換，提取高頻部分和低頻部分，在各自尺度進行疊加后形成最終高頻層和最終低頻層。

2）

對上一步疊加生成的低頻層和高頻層分別

進行各向異性擴散從而生成相應(yīng)的基礎(chǔ)層和細節(jié)層。

3）細節(jié)層融合利用KL變換進行融合，基礎(chǔ)層利用加權(quán)平均的方法進行融合。

4）將細節(jié)層和基礎(chǔ)層通過線性融合重構(gòu)出最終融合圖像。

3.2 融合策略紅外圖像與可見光圖像分別進行小波變換后，將得到的高頻部分和低頻部分分別進行加權(quán)平均疊加，從而獲得融合后的低頻圖像與高頻圖像。假設(shè)低頻融合圖像為IL（x，y），高頻融合圖像記為

4 仿真結(jié)果及分析為了驗證所提出融合算法（WDK）的優(yōu)勢，選取多尺度奇異值分解（MSVD）算法、小波變換（WT）、雙尺度融合（TS）算法進行比較，從主觀和客觀2個方面來對算法的性能進行評估。本算法的運行環(huán)境為戴爾筆記本電腦（型號為靈越7380），軟件平臺為MATLAB R2019a，所用的異源圖像來自于數(shù)據(jù)庫https：//figshare.com/articles/TN_Image_Fusion_Dataset/1008029。

4.1 主觀評價為了驗證本算法的主觀評價效果，從上述數(shù)據(jù)庫中隨機選取5組經(jīng)過配準的紅外與可見光圖像進行融合實驗，各算法的融合結(jié)果如圖3所示。

從圖3第1組圖像可以看出，圖3（d）（f）背景細節(jié)和房屋邊緣對比度不高，融合結(jié)果較為模糊，圖3（e）圖像對比度較高，但房屋邊緣及背景信息保留不完整，而本算法圖3（c）可以明顯看出房屋邊緣紋理較為清晰，如圖中紅色矩形框區(qū)域所示。從圖3第2組圖像可以看出，圖3（d）（e）（f）背景信息較為模糊，本算法圖3（c）具有較高的圖像對比度，在紅色矩形框標注的部分可以清晰的看到人的邊緣輪廓信息，融合效果較好。從圖3第3組圖像可以看出，本算法相比于其它算法更好地保留了樹木細節(jié)信息。從第4組圖像可以看出，圖3（d）（e）圖像清晰度較低，圖3（c）和（f）的圖像清晰度較高，但是圖3（c）中紅色矩形框中所示的樹木細節(jié)信息相比于圖3（f）更加豐富。而在第5組中，4種方法的融合圖像都能將煙霧中的人物較為清楚的表示出來，但本算法能夠更好地保留源圖像的人物邊緣輪廓，融合效果較好。通過以上5組對比實驗可以看出，相比于其他3種融合算法，本

算法能夠更好的保留融合圖像中目標的細節(jié)信息。

4.2 客觀評價為了客觀評價本算法的優(yōu)越性，實驗中選取

香農(nóng)熵（shannon entropy，EN）、圖像交叉熵（cross entropy，CE）、特征相似度（feature SIMilarity，F(xiàn)SIM）、圖像互信息（mutual information，MI）、相對標準偏差（relative standard deviation，RSD）以及運行時間作為評價指標[23]。其中，EN反映圖像所含信息量的豐富程度，數(shù)值越大表明獲得的融合圖像所包含的信息量越大;CE表示融合后2幅圖像與原始圖像的交叉熵。交叉熵越小，圖像間的差異越小，融合效果越好;FSIM用于評價圖像間相似度，數(shù)值越大說明融合圖像與源圖像在某些特征方面更相似;RSD表示原始圖像與融合圖像的相對標準偏差，反映了與真實值的偏差程度，相對標準偏差越小，融合精度越高，圖像融合效果越好;MI表示融合后的圖像與原始圖像之間的相互信息，MI越大，2幅圖像的相似度越高。

利用4.1節(jié)主觀評價中的5組圖像進行測試驗證，其客觀評價指標結(jié)果分別見表1～表5。

從表1～表5可以看出，所提出算法的EN值在4組實驗中效果最好，F(xiàn)SIM值在2組實驗中保持數(shù)值最優(yōu)，其余3組均為次優(yōu)值，說明所提出的算法可以較好的保留源圖像的信息，而且融合后的圖像與原始圖像特征具有較高的相似度。通過5組對比實驗的CE數(shù)值可以看出，所提出算法生成的融合圖像與源圖像差異較小。通過5組實驗的RSD指標可以看出，本算法在其中4組對比實驗中效果最好。通過5組對比實驗的MI指標可以看出，本算法均為最優(yōu)數(shù)值，表明本算法相較于其他算法，融合圖像的特征相似度與原始圖像最為接近。從各算法的運行時間可以看出，所提出算法和TS算法的實時較好，其運行時間遠小于其他算法，可以用于對實時性要求較高的場合。

通過各客觀評價指標可以看出，所提出的算法綜合性能最好。

通過主觀評價與客觀評價的對比分析，可以發(fā)現(xiàn)本算法的融合效果優(yōu)于其他3種經(jīng)典融合方法。本算法能夠從源圖像中提取更多輪廓、細節(jié)及紋理等信息，更符合人類視覺認知效果，同時具有較好的實時性。

5 結(jié) 論

1）將小波變換能夠進行多尺度分辨以及各向異性擴散能夠較好保留圖像邊緣特征的優(yōu)點相結(jié)合，提出了一種基于小波變換和各向異性擴散的紅外和可見光圖像融合算法。2）將所提出的算法與3種經(jīng)典融合算法通過公共數(shù)據(jù)庫進行主觀評價對比，實驗結(jié)果證明了本算法所獲取的融合圖像具有清晰的邊緣信息并且融合結(jié)果符合人類視覺感知特性。3）通過與3種經(jīng)典融合算法的客觀對比實驗，驗證了提出的算法在香農(nóng)熵、特征相似度、圖像互信息等客觀評價指標方面，相比于對比算法具有明顯優(yōu)勢，能夠較好的保留源圖像細節(jié)信息。此外，提出的算法具有較好的實時性，可以應(yīng)用于對實時性要求較高的場合。

參考文獻（References）：

[1] 尹雯，李元祥，周則明，等.基于稀疏表示的遙感圖像融合方法[J].光學(xué)學(xué)報，2013，33（4）：259-266.YIN Wen，LI Yuanxiang，ZHOU Zeming，et al.Remote? sensing image fusion method based on sparse representation[J].Acta Optics，2013，33（4）：259-266.

[2]阮小利，王順芳.基于多分辨率局部與全局特征融合的人臉識別[J].計算機工程與設(shè)計，2018，39（9）：237-241.

RUAN Xiaoli，WANG Shunfang.Face recognition based

on multi-resolution local and global feature fusion[J].Computer Engineering and Design，2018，39（9）：237-241.

[3]EI-HOSENY H，EI-KAREH Z，MOHAMED W，et al.An optimal wavelet-based multi-modality medical image fusion approach based on modified central force optimization and histogram matching[J].Multimedia Tools & Applications，2019，78（18）：26373-26397.

[4]于周鋒，吳凡，寧新潮，等.基于無人機載的光電與SAR圖像融合技術(shù)研究[J].應(yīng)用光學(xué)，2017，38（2）：174-179.YU Zhoufeng，WU Fan，NING Xinchao，et al.Fusion? method of optical image and SAR based on UAV[J].Journal of Applied Optics，2017，38（2）：174-179.

[5]肖安南，張蔚翔，焦玉平，等.多模態(tài)的光譜融合圖像識別技術(shù)在輸電線路火災(zāi)監(jiān)測中的研究應(yīng)用[J].自動化應(yīng)用，2018，2：52-53.XIAO Annan，ZHANG Weixiang，JIAO Yuping，et al.

Research and application of multi-modal spectral fusion? image recognition technology in transmission line fire? monitoring[J].Automation Application，2018，2：52-53.

[6]張燁，劉曉佩.一種改進的壓縮感知圖像融合方法[J].西安科技大學(xué)學(xué)報，2018，38（4）：690-696.

ZHANG Ye，LIU Xiaopei.An improved compressed sensing image fusion method[J].Journal of Xi’an? University of Science and Technology，2018，38（4）：690-696.

[7]徐雅薇，謝曉竹.多傳感器圖像融合方法及應(yīng)用綜述[J].四川兵工學(xué)報，2015，36（10）：116-119.XU Yawei，XIE Xiaozhu.Overview of approaches and? applications of multi-sensor image fusion[J].Journal of Sichuan Ordnance，2015，36（10）：116-119.

[8]冉向書，任金昌.圖像融合中的特征選取及分類與決策[J].計算機應(yīng)用研究，2005，22（9）：170-172.

RAN Xiangshu，REN Jinchang.Feature selection and? classification and decision in image fusion[J].Computer? Application Research，2005，22（9）：170-172.

[9]李海賓，葛秘蕾.一種新的紅外與可見光圖像像素級融合方法[J].半導(dǎo)體光電，2018，39（2）：290-293.

LI Haibin，GE Milei.A new pixel-level fusion method of infrared and visible images[J].Semiconductor Optoelectronics，2018，39（2）：290-293.

[10]劉羽.像素級多源圖像融合方法研究[D].合肥：中國科學(xué)技術(shù)大學(xué)，2015.

LIU Yu.Research on pixel-level multi-source image fusion method[D].Hefei：University of Science and Technology of China，2015.

[11]劉先紅，陳志斌.基于多尺度方向引導(dǎo)濾波和卷積稀疏表示的紅外與可見光圖像融合[J].光學(xué)學(xué)報，2017，37（1

1）：111-120.LIU Xianhong，CHEN Zhibin.Infrared and visible image fusion based on multi-scale directional guided filtering and convolution sparse representation[J].Acta Optica? Sinica，2017，37（11）：111-120.

[12]陳勇，皮德富，周士源，等.基于小波變換的紅外圖像融合技術(shù)研究[J].紅外與激光工程，2001，30（1）：17-19.

CHEN Yong，PI Defu，ZHOU Shiyuan，et al.Study for? infrared image fusion based on wavelet transform[J].Infrared and Laser Engineering，2001，30（1）：17-19.

[13]ZHANG Y，LI Y J，ZHANG K，et al.Fusion of infrared and visible images based on nonsubsampled Contourlet transform[J].Computer Engineering & Applications，2011，8009（14）：1309-1311.

[14]吳延海，張燁，馬孟新.基于NSCT變換和壓縮感知的

圖像融合[J].西安科技大學(xué)學(xué)報，2015，35（4）：88-93.

WU Yanhai，ZHANG Ye，MA Mengxin.Image fusion based on NSCT transform and compressed sensing[J].Journal of Xi’an University of Science and Technology，2015，35（4）：88-93.

[15]葉明，唐敦兵.區(qū)域清晰度的小波變換圖像融合算法研究[J].電子測量與儀器學(xué)報，2015，29（9）：1328-1333.YE Ming，TANG Dunbing.Research on image fusion algorithm of regional clarity based on wavelet transform[J].Journal of Electronic Measurement and Instrument，2015，29（9）：1328-1333.

[16]朱浩然，劉云清，張文穎.基于迭代導(dǎo)向濾波與多視覺權(quán)重信息的紅外與可見光圖像融合[J].光子學(xué)報，2019，48（3）：190-200.ZHU Haoran，LIU Yunqing，ZHANG Wenying.Infrared and visible image fusion based on iterative guided filtering and multi-visual weight information[J].Acta Photonica Sinica，2019，48（3）：190-200.

[17]KUMAR S.Image fusion based on pixel significance using cross bilateral filter[J].Signal Image & Video Processing，2015，9（5）：1193-1204.

[18]趙程，黃永東.基于滾動導(dǎo)向濾波和混合多尺度分解的紅外與可見光圖像融合方法[J].激光與光電子學(xué)進展，2019，56（14）：98-112.ZHAO Cheng，HUANG Yongdong.Infrared and visible light image fusion method based on rolling guided filtering and mixed multi-scale decomposition[J].Laser & Optoelectronics Progress，2019，56（14）：98-112.

[19]涂超平，肖進勝，杜康華，等.基于各向異性熱擴散方程的多聚焦圖像融合算法[J].電子學(xué)報，2015，43（6）：1192-1199.

TU Chaoping，XIAO Jinsheng，DU Kanghua，et al.Multi-focus image fusion algorithm based on anisotropic? thermal diffusion equation[J].Acta Electronica Sinica，2015，43（6）：1192-1199.

[20]封子軍，張曉玲，張靖波.各向異性擴散與高斯差分模型的多聚焦圖像融合方法[J].中國圖象圖形學(xué)報，2011，16（11）：2054-2059.

FENG Zijun，ZHANG Xiaoling，ZHANG Jingbo.Multi-focus image fusion method of anisotropic diffusion? and Gaussian difference model[J].Journal of Image and Graphics，2011，16（11）：2054-2059.

[21]張春森，范金健，胡平波.小波變換和Arnold變換的數(shù)字水印技術(shù)[J].西安科技大學(xué)學(xué)報，2012，32（1）：95-100.

ZHANG Chunsen，F(xiàn)AN Jinjian，HU Pingbo.Digital watermarking technology of wavelet transform and Arnold transform[J].Journal of Xi’an University of Science and Technology，2012，32（1）：95-100.

[22]徐冬冬，付天驕，張宇，等.基于改進的K-L變換的多光譜圖像壓縮算法[J].光電子·激光，2015，26（6）：1200-1205.XU Dongdong，F(xiàn)U Tianjiao，ZHANG Yu，et al.Multi-spectral image compression algorithm based on improved K-L transform[J].Journal of Optoelectronics? Laser，2015，26（6）：1200-1205.

[23]MA J Y，MA Y，LI C.Infrared and visible image fusion methods and applications：A survey[J].Information Fusion，2019，45（2）：153-178.

2141501705259