朱亞輝

(陜西學(xué)前師范學(xué)院 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院,西安 710100)

紅外與可見光圖像融合技術(shù)在軍事和民用領(lǐng)域中占有重要地位,如目標(biāo)檢測(cè)、監(jiān)控和情報(bào)收集等.其中,可見光圖像含有豐富的細(xì)節(jié)和紋理信息,但易受光線和天氣等因素的影響,難以捕捉到場(chǎng)景內(nèi)的所有信息;紅外圖像是經(jīng)紅外成像傳感器獲得的圖像,易丟失許多空間細(xì)節(jié)信息,視覺感受不自然.紅外與可見光圖像融合的目的是充分利用紅外圖像和可見光圖像的優(yōu)勢(shì),生成一幅含有豐富細(xì)節(jié)背景和熱目標(biāo)的高質(zhì)量圖像,便于計(jì)算機(jī)視覺任務(wù)[1].

由于成像機(jī)理的不同,同一空間位置的紅外和可見光圖像的像素強(qiáng)度往往差異很大,為了得到具有良好視覺感知的融合結(jié)果,引入多尺度變換(Multi-Scale Transformation,MST).常用的MST 方法包括:Curvelet[2]、Contourlet[3]、DTCWT[4]等,這些方法能將圖像分解為低頻子帶和高頻子帶,但它們不具有平移不變性,容易造成偽Gibbs 現(xiàn)象.雖然NSCT 變換[5]、NSST 變換[6]等增強(qiáng)了圖像的平移不變性,但在融合過程中未考慮空間一致性,也容易引起亮度失真.隨著機(jī)器學(xué)習(xí)的發(fā)展,稀疏表示具有良好的去噪能力和空間一致性等特征,但仍存在捕獲全局結(jié)構(gòu)的能力有限以及細(xì)節(jié)信息不足的缺點(diǎn).為了解決稀疏表示的問題,Liu 等[7,8]提出的潛在低秩表示法(Latent Low-Rank Representation,LatLRR),該方法能夠提取源圖像的全局結(jié)構(gòu)信息和局部結(jié)構(gòu)信息.已有學(xué)者[9-11]將其應(yīng)用到紅外與可見光圖像融合中,并取得較好的融合結(jié)果.但僅使用潛在低秩方法分解源圖像,存在高頻信息提取不完全的問題,導(dǎo)致融合效果不佳.

本文針對(duì)紅外與可見光圖像融合過程中出現(xiàn)的細(xì)節(jié)損失嚴(yán)重等問題,提出了潛在低秩表示和導(dǎo)向?yàn)V波的紅外與可見光圖像融合方法.該方法將潛在低秩表示方法和導(dǎo)向?yàn)V波相結(jié)合,較充分地挖掘源圖像的基礎(chǔ)信息、細(xì)節(jié)信息和顯著信息,并應(yīng)用各信息的特征進(jìn)行融合.實(shí)驗(yàn)結(jié)果表明本文方法能保留較多的源圖像的細(xì)節(jié)信息.

1 相關(guān)理論

1.1 潛在低秩表示方法

LatLRR 方法具有較好的空間一致性,能有效提取原始數(shù)據(jù)中的全局結(jié)構(gòu)和局部結(jié)構(gòu).它將圖像分解為基礎(chǔ)子帶與顯著子帶,其表達(dá)式為:

式中,X是輸入圖像,B是低秩系數(shù),D是顯著系數(shù);XB,DX分別表示低秩圖層和顯著圖層;N表示稀疏噪聲.

將LatLRR 問題進(jìn)行最優(yōu)化求解,其表達(dá)式為:

式中,‖·‖*表示核范數(shù),‖·‖1表示l1范數(shù),α ＞0表示平衡系數(shù).為便于分析,令低秩圖層=BX,顯著圖層=DX.

1.2 導(dǎo)向?yàn)V波

He 等[12]提出了導(dǎo)向?yàn)V波(Guided Filtering,GF)的概念,通過引導(dǎo)圖像完成濾波過程,不僅能夠?yàn)V除圖像噪聲,而且能夠平滑邊緣、保持其梯度特性.

設(shè)輸入圖像I,導(dǎo)向圖J,導(dǎo)向?yàn)V波過程表示為:

其中,wk為半徑為r的正方形窗口,系數(shù)ak,bk為常數(shù),可直接通過線性回歸求出,即:

式中,|w|為wk內(nèi)的像素點(diǎn)個(gè)數(shù),,分別為圖像I和圖像J在窗口wk的均值,σ2k為方差,ε為正則化參數(shù).

2 融合方法及融合規(guī)則

已知紅外圖像I,可見光圖像V,設(shè)融合結(jié)果為F,圖1給出了本文融合方法的流程圖,具體融合步驟為:

圖1 本文融合方法流程圖

Step 1.應(yīng)用LatLRR和導(dǎo)向?yàn)V波將源圖像分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層.

Step 2.各圖層融合規(guī)則:基礎(chǔ)圖層、細(xì)節(jié)圖層、顯著圖層分別以視覺顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法為融合規(guī)則,考慮到初始權(quán)重具有噪聲且不與物體邊界對(duì)齊,應(yīng)用導(dǎo)向?yàn)V波優(yōu)化初始權(quán)重.

Step 3.將基礎(chǔ)融合圖層、細(xì)節(jié)融合圖層和顯著融合圖層疊加,得到融合圖像.

2.1 圖層分解

首先,采用LatLRR 方法分解紅外圖像I和可見光圖像V,分別得到紅外低秩圖層、紅外顯著度圖層、可見光低秩圖層、可見光顯著圖層;再分別以低秩圖層,為輸入圖,以紅外圖像I和可見光圖像V為導(dǎo)向圖,應(yīng)用導(dǎo)向?yàn)V波將低秩圖像,分解為基礎(chǔ)圖層和細(xì)節(jié)圖層.

其中,GF表示導(dǎo)向?yàn)V波器;IBased,VBased分別為紅外圖像的基礎(chǔ)圖層和可見光圖像的基礎(chǔ)圖層;IDetail,VDetail分別為紅外圖像的細(xì)節(jié)圖層和可見光圖像的細(xì)節(jié)圖層.r,ε分別為導(dǎo)向?yàn)V波的濾波大小和正則化參數(shù).圖2給出了源圖像的圖層分解示意圖,將源圖像依次分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層.

圖2 源圖像分解

由圖2可以看出,基礎(chǔ)圖層包含著基本信息,結(jié)構(gòu)信息較少,例如可見光圖像中的文字基本已經(jīng)模糊不清;細(xì)節(jié)圖層包含著圖像結(jié)構(gòu)信息,例如紅外圖像中行人的輪廓、汽車等輪廓信息;顯著圖層包含著源圖像的顯著信息,例如行人、車輛、紅綠燈、招牌等信息.因此,將LatLRR和導(dǎo)向?yàn)V波相結(jié)合,可充分地分解源圖像信息.

2.2 融合規(guī)則及融合圖像重建

可見光圖像和紅外圖像均被分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層,該節(jié)分別針對(duì)每層的特征,采用視覺顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法作為每層的融合規(guī)則.具體介紹如下:

(1)基礎(chǔ)圖層融合規(guī)則

基礎(chǔ)圖層包含著圖像大部分信息,尤其以顯著性目標(biāo)為主.因此,該層以視覺顯著度加權(quán)法作為融合規(guī)則,其融合公式為:

其中,FBased,IBased,VBased分別為基礎(chǔ)融合圖層、紅外基礎(chǔ)圖層、可見光基礎(chǔ)圖層;權(quán)重分別為Guided filtering 及其濾波大小和正則化參數(shù);,分別為紅外顯著圖和可見光顯著圖.

(2)細(xì)節(jié)圖層融合規(guī)則

細(xì)節(jié)圖層包含著源圖像大量的邊緣信息和結(jié)構(gòu)信息,采用Scharr 算子[13]En和拉普拉斯能量和[14]Em分別衡量邊緣信息和結(jié)構(gòu)信息,結(jié)合這兩個(gè)特征,定義梯度顯著度,即為:

其中,EI,EV分別為紅外梯度顯著度和可見光梯度顯著度;EmI,EnI分別為紅外圖像的邊緣信息和拉普拉斯能量和;EmV,EnV分別為可見光圖像的邊緣信息和拉普拉斯能量和.

融合圖像的細(xì)節(jié)層融合公式為:

其中,FDetail,IDetail,VDetail分別為細(xì)節(jié)融合圖層、紅外圖像的細(xì)節(jié)圖層、可見光圖像的細(xì)節(jié)圖層;權(quán)重wDetail=GF(0.5+0.5(EI-EV),I,r,ε).

(3)顯著圖層融合規(guī)則

由圖2可以看出,紅外與可見光顯著圖信息相輔相成,故采用絕對(duì)值最大為權(quán)重圖.即:

其中,權(quán)重w=GF(w′,I,r,ε),w′(i,j)=分別為顯著融合圖層、紅外顯著圖層和可見光顯著圖層.

(4)融合圖像重建

將基礎(chǔ)融合層FBased、細(xì)節(jié)融合層FDetail和顯著融合層疊加,得到融合圖像F為:

3 實(shí)驗(yàn)及結(jié)果分析

在本節(jié)中,通過主、客觀評(píng)價(jià)多組融合圖像的效果,分析本文融合方法的有效性.其中,3 組紅外與可見光源圖像對(duì)分別是“Camp”、“Road”和“Kaptein”,它們均來自于TNO Image Fusion Dataset;采用的融合方法包括:DTCWT[4]、GCF[15]、VSM[16]、LatLRR[9]和本文方法.其中,DTCWT和GCF 屬于多尺度分解,DTCWT 濾波器參數(shù)為“l(fā)egall”、“qshift_06”,分解級(jí)數(shù)為2 級(jí);GCF 采用高斯曲率濾波迭代分解源圖像,其迭代次數(shù)為20 次;VSM 融合方法通過滾動(dòng)引導(dǎo)濾波器分解源圖像,其中σS=2,σr=0.05,迭代分解4 次.LatLRR融合方法中的參數(shù)α=0.8;在本文融合方法中,導(dǎo)向?yàn)V波器的參數(shù)設(shè)置為σS=5,σr=100,潛在低秩表示方法中參數(shù) α=0.1.圖3給出了多組紅外與可見光圖像融合結(jié)果.

圖3 多組紅外與可見光融合結(jié)果

3.1 融合圖像的主觀評(píng)價(jià)

對(duì)比第1 組的融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,雖然左側(cè)樹杈的紋理較為清晰,但行人周邊存在明顯的光暈.這是因?yàn)榛贒TCWT不具有平移不變性;在基于GCF和VSM 融合結(jié)果中,無論左側(cè)樹杈的紋理還是行人的邊緣都存在模糊性,說明它們未能充分提取源圖像的細(xì)節(jié)信息;在基于LatLRR 融合結(jié)果中,左側(cè)樹杈紋理明顯模糊不清,房頂細(xì)節(jié)不清晰.基于本文融合方法的融合結(jié)果較好地保留了左側(cè)樹杈紋理信息,且行人邊緣較為清楚,熱目標(biāo)亮度適中,符合人眼視覺效果.

對(duì)比第2 組融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,整幅圖像較為模糊、偏暗,行人周邊存在明顯光暈,紅綠燈亮度不明顯;在基于GCF 融合結(jié)果中,行人邊緣存在鋸齒狀;在基于VSM 融合結(jié)果中,整幅圖像較為模糊,例如招牌上的文字、行人邊緣等;雖然基于LatLRR 融合方法提高了圖像亮度,但也存在細(xì)節(jié)信息挖掘不充分的問題,例如,招牌上的文字、窗戶的邊緣、車身的邊緣等;基于本文方法的融合結(jié)果不僅保留了可見光場(chǎng)景的細(xì)節(jié)信息,且行人、車輛、紅綠燈等紅外熱目標(biāo)邊緣清晰,接近自然場(chǎng)景.

對(duì)比第3 組融合結(jié)果可以看出,在基于DTCWT融合結(jié)果中,整幅圖像亮度偏暗,熱目標(biāo)邊緣存在光暈;在基于GCF和VSM 融合結(jié)果中,地面紋理不清晰,左側(cè)草叢紋理不清晰,且路燈周邊存在明顯的偽邊緣;基于LatLRR 融合方法導(dǎo)致整幅圖像較為模糊,且熱目標(biāo)亮度不均勻;基于本文方法的融合結(jié)果保留了可見光場(chǎng)景的細(xì)節(jié)信息,如地面紋理信息、草叢紋理信息,且行人和窗戶等邊緣清晰.

3.2 融合圖像的客觀評(píng)價(jià)

為了更加客觀地評(píng)價(jià)本文融合方法的有效性,應(yīng)用互信息MI[17]、邊緣信息傳遞量QAB|F[18]、結(jié)構(gòu)相似度SSIM[19]和特征相似度FSIM[20]分別從互信息、邊緣信息保留程度、結(jié)構(gòu)相似度和特征相似度評(píng)價(jià)融合圖像質(zhì)量.這4 個(gè)指標(biāo)數(shù)值越大,則融合效果越好.表1給出了3 組融合圖像的客觀評(píng)價(jià)值.

由表1可以看出:1)對(duì)比“Camp”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM 值和FSIM值,表明本文融合方法在互信息、邊緣保留度、結(jié)構(gòu)相似度和特征相似度上均優(yōu)于其他融合方法;2)對(duì)比“Road”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM 值,表明本文融合方法較好地保留了源圖像的邊緣信息、結(jié)構(gòu)信息等;在FSIM 指標(biāo)上,5 種融合方法的FSIM 值基本接近,表明這5 種融合方法都較好地保留了源圖像的特征信息;3)對(duì)比“Kaptein”,本文方法的融合結(jié)果具有較高的MI 值、QAB|F值、SSIM值和FSIM 值,也表明本文融合方法較好地保留了源圖像的灰度信息、邊緣信息、結(jié)構(gòu)信息和特征信息.

表1 多組融合結(jié)果評(píng)價(jià)指標(biāo)值

表2給出了3 組融合圖像的客觀評(píng)價(jià)均值.

表2 融合方法客觀評(píng)價(jià)均值

由表2可以看出,本文融合方法在互信息、邊緣保持度、結(jié)構(gòu)相似度和特征相似度均優(yōu)于其他融合方法,尤其是MI 指標(biāo)和QAB|F指標(biāo).這4 個(gè)評(píng)價(jià)指標(biāo)均反映了融合圖像與源圖像間的細(xì)節(jié)保留程度,因此,本文融合方法能有效保留源圖像的細(xì)節(jié)信息.

4 結(jié)論與展望

針對(duì)紅外與可見光圖像融合過程中出現(xiàn)的細(xì)節(jié)損失嚴(yán)重等問題,提出一種基于潛在低秩表示與導(dǎo)向?yàn)V波的紅外與可見光圖像融合方法.該方法結(jié)合潛在低秩表示方法和導(dǎo)向?yàn)V波的優(yōu)勢(shì),將源圖像分解為基礎(chǔ)圖層、細(xì)節(jié)圖層和顯著圖層,并分別以視覺顯著度加權(quán)法、梯度顯著度加權(quán)法、絕對(duì)值最大選擇法作為融合規(guī)則.最后通過疊加3 個(gè)圖層獲得最終融合結(jié)果.通過對(duì)多組融合結(jié)果的主、客觀評(píng)價(jià),分析了本文方法是切實(shí)可行的,能夠得到具有豐富信息且較為清晰的融合圖像,在視覺質(zhì)量和客觀評(píng)價(jià)方法較優(yōu)于其他方法.但本文方法的融合結(jié)果的FSIM 評(píng)價(jià)值較其他融合方法略高,優(yōu)勢(shì)不是很明顯,其主要原因可能在于導(dǎo)向?yàn)V波的參數(shù)設(shè)置.因此,后續(xù)將對(duì)本文方法的靈敏度進(jìn)行分析,優(yōu)化參數(shù)設(shè)置.