劉 丹,朱鴻泰,程 虎,桑賢偵

(中科芯集成電路有限公司,江蘇 無錫 214072)

1 引 言

單一圖像傳感器可能無法提供目標(biāo)場景的完整信息,為了解決這一問題,“多傳感器圖像融合技術(shù)”應(yīng)運(yùn)而生[1-2]。目前常見的融合方式包括遙感圖像融合、多聚焦圖像融合、醫(yī)學(xué)圖像融合、紅外和可見光圖像融合等。其中,紅外和可見光圖像融合是最具研究價(jià)值的融合技術(shù)之一,廣泛應(yīng)用于目標(biāo)跟蹤、檢測識別[3-4]等領(lǐng)域。

紅外和可見光圖像融合算法分為像素級、特征級、決策級三個(gè)層次。其中,像素級融合方式得到的圖像信息最為豐富,本文所研究的融合算法是基于該層次進(jìn)行的。Li等人提出的基于引導(dǎo)濾波的圖像融合算法(Guided Filter Fusion,GFF)[5],采用均值濾波對圖像進(jìn)行分解,之后利用拉普拉斯、高斯和引導(dǎo)濾波生成顯著圖和融合權(quán)重,在多種應(yīng)用場景表現(xiàn)出優(yōu)越性能,但利用拉普拉斯算子生成的顯著圖會損失部分圖像特征。之后,Gan[6]和Javed[7]等人通過調(diào)整GFF算法中的部分組件來提升算法性能,但算法時(shí)間開銷增加。Shreyamsha提出的交叉雙邊濾波融合算法(Cross Bilateral Filter,CBF)[8],利用協(xié)方差矩陣的特征值計(jì)算融合權(quán)重,融合圖像中會引入人工偽影。Zhou等人[9]采用非線性方式構(gòu)造權(quán)重圖,將重要紅外特征注入可見光圖像中,但在過度曝光場景下,部分圖像特征會被淹沒。近年來,深度學(xué)習(xí)在圖像處理等領(lǐng)域展示出優(yōu)越性能,也已成功應(yīng)用于圖像融合。Liu提出的基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[10]的融合算法,利用CNN計(jì)算權(quán)重高斯金字塔,但該算法對過曝光等低質(zhì)量圖像融合效果差;Zhang[11]提出的具有多分類約束的生成對抗網(wǎng)絡(luò)可對低質(zhì)量圖像進(jìn)行較好融合,但二者均存在算法時(shí)間開銷大的問題,在圖像融合服務(wù)于目標(biāo)檢測、跟蹤等實(shí)時(shí)性要求高的場景時(shí),上述算法不適用。Zhang[12]提出的用于多模態(tài)圖像融合的壓縮分解網(wǎng)絡(luò)以及Ma[13]等人提出的基于顯著目標(biāo)檢測的融合網(wǎng)絡(luò),在算法融合速度方面得到了改善,但這兩種算法訓(xùn)練難度高,所需數(shù)據(jù)量大,對于小樣本情況不適用。因此,盡管基于深度學(xué)習(xí)的圖像融合算法在部分性能指標(biāo)上得到提升,但在圖像數(shù)據(jù)集、硬件條件受限,處理速度要求高的情況下,算法無法滿足應(yīng)用需求[14];

為解決上述問題,本文提出了一種基于引導(dǎo)濾波多尺度分解的圖像融合算法,利用雙引導(dǎo)濾波器將圖像分解為小尺度紋理、大尺度邊緣和基礎(chǔ)圖像;之后,直接利用紋理及邊緣層圖像構(gòu)建顯著性映射圖,突出源圖像顯著性信息的同時(shí)降低算法復(fù)雜度;根據(jù)顯著信息構(gòu)造權(quán)重圖,紋理層權(quán)重采用非線性方式構(gòu)造,將互補(bǔ)的紋理細(xì)節(jié)信息以較大比重注入到融合圖像中,邊緣層權(quán)重采用等比例方式構(gòu)造,簡單但有效地將大尺度特征進(jìn)行融合,同時(shí)不會出現(xiàn)由于過度注入而產(chǎn)生的圖像對比度下降問題;基礎(chǔ)層采用平均加權(quán)方式融合,控制圖像的整體觀感。

2 引導(dǎo)濾波

引導(dǎo)濾波器是一種邊緣保持濾波器,其操作基于局部線性模型,以像素k為中心的局部窗口wk中,濾波輸出q與導(dǎo)向圖G之間關(guān)系如下:

qi=akGi+bk?i∈wk

(1)

其中,wk表示半徑為r的方形窗口;ak,bk是wk上的常系數(shù),可通過最小化以下代價(jià)函數(shù)估計(jì):

(2)

其中,ε是為了防止ak太大的正則化參數(shù);I為輸入圖像。利用最小二乘法可得:

(3)

(4)

(5)

2.1 濾波核半徑r的影響

由引導(dǎo)濾波原理可知,濾波核半徑r越大,鄰域像素的影響越大,平滑越明顯。

2.2 正則化參數(shù)ε的影響

2.3 引導(dǎo)圖像G的影響

引導(dǎo)濾波具有結(jié)構(gòu)轉(zhuǎn)移特性。當(dāng)引導(dǎo)圖像與輸入圖像相同時(shí),則進(jìn)行保持邊緣的濾波操作;當(dāng)引導(dǎo)圖像與輸入圖像不同時(shí),平滑操作由引導(dǎo)圖像的結(jié)構(gòu)來調(diào)節(jié)。

引導(dǎo)濾波是一種很好的保邊濾波方法,不需要像其他濾波方法那樣直接進(jìn)行卷積操作,它可以通過使用積分圖像技術(shù)[15]的盒形濾波器快速實(shí)現(xiàn),計(jì)算時(shí)間與濾波器的參數(shù)無關(guān)。

3 基于引導(dǎo)濾波多尺度分解的圖像融合算法

紅外圖像和可見光圖像對同一目標(biāo)場景的亮度響應(yīng)可能存在較大差異,這主要是由于兩類圖像的成像原理不同所致。前者依據(jù)物體的熱輻射特性進(jìn)行成像,在光照不足或霧、煙等惡劣條件下仍能捕獲目標(biāo);后者依據(jù)物體的光反射特性進(jìn)行成像,圖像分辨率更高,包含更豐富的紋理細(xì)節(jié)信息?；诖?結(jié)合引導(dǎo)濾波性質(zhì),設(shè)計(jì)圖像多尺度分解框架,將紅外和可見光圖像分為小尺度紋理、大尺度邊緣和基礎(chǔ)圖像,之后對兩類圖像的相應(yīng)分量采用不同策略進(jìn)行融合得到融合后圖像。

3.1 多尺度圖像分解

引導(dǎo)濾波器是一種良好的邊緣保持濾波器,濾波器參數(shù)對濾波結(jié)果的影響已在第2節(jié)中進(jìn)行了分析說明,其中,不同正則化參數(shù)ε對濾波結(jié)果的影響如圖1所示。

圖1 不同正則化參數(shù)的濾波結(jié)果

由圖1可知,正則化參數(shù)越大,圖像越模糊,濾波后圖像包含的高頻信息越少。為進(jìn)一步驗(yàn)證濾波核半徑對濾波結(jié)果的影響,測試不同ε(0.01,104)下濾波核半徑分別為2、4、8、16的濾波結(jié)果和迭代濾波效果,如圖2和圖3所示。

圖2 ε=0.01時(shí)不同濾波核半徑的濾波結(jié)果和迭代濾波結(jié)果

圖3 ε=104時(shí)不同濾波核半徑的濾波結(jié)果和迭代濾波結(jié)果

由圖2、3可知,當(dāng)ε=0.01時(shí),不同半徑濾波器對圖像的紋理細(xì)節(jié)信息起到平滑作用,圖像邊緣信息保留較好;當(dāng)ε=104時(shí),隨著濾波核半徑的增大,圖像邊緣成分被顯著平滑,圖像變得十分模糊。

綜上,設(shè)計(jì)基于雙引導(dǎo)濾波的多尺度圖像分解方法,如圖4所示。引導(dǎo)濾波器1的參數(shù)ε設(shè)置為非常大的數(shù)值,引導(dǎo)濾波器2的參數(shù)ε設(shè)置為非常小的數(shù)值。因此,級聯(lián)的引導(dǎo)濾波器1反復(fù)平滑輸入圖像的高頻成分,級聯(lián)的引導(dǎo)濾波器2反復(fù)平滑輸入圖像的紋理細(xì)節(jié),同時(shí)保留邊緣特征。進(jìn)而,我們可以通過以下計(jì)算得到濾波器2去除的紋理細(xì)節(jié)和相對于濾波器1額外保留的邊緣特征。

圖4 基于引導(dǎo)濾波多尺度分解的圖像融合算法框架

D(j,0)=GFrj-1,ε1(I1_(j-1))-GFrj,ε2(I2_j)

(6)

D(j,1)=GFrj,ε2(I2_j)-GFrj,ε1(I1_j)

(7)

其中,j=1,2,…,n表示分解級數(shù);GFr0,ε1(I1_0)=IvisorIir,濾波器1的最終輸出結(jié)果表示多尺度分解的基礎(chǔ)圖像。上述圖像分解思想與文獻(xiàn)[16]類似,并將其推廣到多尺度分解,得到紅外與可見光圖像在不同尺度上的特征信息。與傳統(tǒng)引導(dǎo)濾波圖像融合算法相比,本文采用雙引導(dǎo)濾波器代替均值濾波器對圖像進(jìn)行更加精細(xì)地劃分,融合時(shí)可更好的保留源圖像中不同尺度上的特征信息。

多尺度分解獲得的基礎(chǔ)圖像包含了最粗尺度的信息。理論上,我們可以繼續(xù)進(jìn)行分解操作,直至得到源圖像的平均信息為止。但在實(shí)際應(yīng)用中不需要這樣做,因?yàn)榛A(chǔ)圖像中含有一定量的低頻殘余信息可以很好地控制融合后圖像的整體觀感。此外,該種方式需要大量的分解級數(shù),這將大大增加算法計(jì)算量。結(jié)合不同正則化參數(shù)下不同濾波核半徑的處理效果(圖2、圖3),設(shè)置分解級數(shù)n=3即可有效提取源圖像中的紋理、邊緣信息。

源圖像I可通過分解后的多尺度圖像和基礎(chǔ)圖像重構(gòu),表示如下:

(8)

3.2 權(quán)重圖構(gòu)造及圖像融合

(9)

(10)

之后,利用Sigmoid函數(shù)進(jìn)行調(diào)整,函數(shù)定義如下:

(11)

函數(shù)圖像如圖5所示,函數(shù)值在0～1之間,且在x=0時(shí),f(x)=0.5。依據(jù)上述函數(shù)性質(zhì),構(gòu)造基于S函數(shù)的對任意輸入變量輸出概率在0與1之間,且輸出概率和為1的權(quán)重函數(shù),表示如下:

圖5 Sigmoid函數(shù)圖像

(12)

(13)

(14)

根據(jù)權(quán)重圖得到小尺度紋理層的融合信息為:

(15)

該融合策略可將源圖像中的紋理細(xì)節(jié)信息盡可能多的注入融合圖像中,融合結(jié)果如圖6(a)所示。

圖6 圖像融合結(jié)果

(16)

(17)

根據(jù)權(quán)重圖得到大尺度邊緣層的融合信息為:

(j=1,i=1;j=2,…,n,i=0,1)

(18)

利用等比例映射策略得到的大尺度邊緣層融合圖像如圖6(b)所示,可很好地保留源圖像中邊緣信息,同時(shí)不會引入額外的人工偽影。

基礎(chǔ)層圖像融合采用平均加權(quán)方式,將紅外和可見光圖像的最粗尺度信息進(jìn)行整合,控制融合后圖像的整體觀感,如圖6(c)所示,公式表示如下:

(19)

最后,將融合后的各層圖像整合得到最終融合圖像如圖6(d)所示,公式表示如下:

(20)

3.3 彩色圖像融合方法

根據(jù)彩色空間信息的表達(dá)形式,基于灰度圖像融合方法,設(shè)計(jì)彩色圖像的融合方式。傳統(tǒng)方法通常將彩色圖像按照RGB三基色分成R通道、G通道、B通道,后對三通道圖像分別進(jìn)行融合,之后將各通道融合結(jié)果合并形成最終融合圖像。但是,由于彩色圖像本身的復(fù)雜性,融合后圖像會出現(xiàn)偏色失真嚴(yán)重等致命問題。

為解決上述問題,通過對色彩模型的研究,采用色彩模型轉(zhuǎn)換方法對彩色圖像融合進(jìn)行優(yōu)化。其中,YUV色彩模型可將圖像亮度信息和色彩信息分離,Y描述圖像亮度信息,UV描述色彩信息。所以,對彩色圖像進(jìn)行融合操作前,將RGB圖像轉(zhuǎn)換為YUV格式圖像,后根據(jù)灰度圖像融合策略,對Y通道圖像進(jìn)行融合,最后,將融合圖像與UV通道圖像YUV格式圖像轉(zhuǎn)換為RGB格式圖像,得最終的融合圖像。

4 實(shí)驗(yàn)結(jié)果與分析

本文所使用的紅外-可見光圖像對從數(shù)據(jù)集[17-18]中收集,涵蓋多種場景及工作條件,如樹木、戰(zhàn)場、房屋、過度曝光和低照度等,部分測試數(shù)據(jù)如圖7所示,圖中第一、三行是可見光圖像,第二、四行是紅外圖像。每對紅外-可見光圖像均已被嚴(yán)格配準(zhǔn),以確保圖像融合算法可以成功執(zhí)行及實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。算法參數(shù)設(shè)置如下:引導(dǎo)濾波器1和2的正則化參數(shù)ε1,ε2分別設(shè)置為104,0.01,濾波核半徑rj+1=2rj,r1=2,分解級數(shù)n=3。實(shí)驗(yàn)在Matlab 2016a環(huán)境下進(jìn)行,PC規(guī)格包括i7-10510U CPU(2.30 GHz),16.0 GB內(nèi)存。

圖7 紅外和可見光圖像數(shù)據(jù)

4.1 定性分析

在圖像融合質(zhì)量評價(jià)中,定性評價(jià)是一種重要的評價(jià)方法,它以人眼視覺系統(tǒng)為基礎(chǔ)對融合圖像質(zhì)量進(jìn)行評價(jià)。因此,為了驗(yàn)證所提算法的有效性,首先對其進(jìn)行定性評估。并與其他基于多尺度分解、深度學(xué)習(xí)的圖像融合算法CBF[8]、GFF[5]、CNN[10]進(jìn)行比較。圖8為不同算法在過度曝光圖像上的融合結(jié)果。圖8(a)可見光圖像可提供場景信息,但是由于汽車燈光的過度曝光,汽車周圍的行人不可見。圖8(b)紅外圖像可提供行人信息,但缺少場景細(xì)節(jié)。由圖可知,CBF算法會產(chǎn)生人工偽影;CNN算法汽車周圍的人不清晰;與GFF算法相比,本文算法含更豐富的場景細(xì)節(jié)。

圖8 不同融合算法在過度曝光圖像上的融合結(jié)果

圖9、10(a)可見光圖像可提供樹木、圍欄等場景信息;圖9、10(b)紅外圖像可提供可見光圖像中由于樹木遮擋、能見度低等原因?qū)е虏豢梢姷娜说男畔?。如圖(c)～(f)所示,與其他融合算法相比,本文算法可成功地將互補(bǔ)的紅外光譜信息注入到融合圖像中,同時(shí)也很好地保留了可見光圖像中的場景細(xì)節(jié)。

圖9 不同融合算法在戰(zhàn)場圖像上的融合結(jié)果

圖10 不同融合算法在樹木圖像上的融合結(jié)果

為驗(yàn)證本文彩色圖像融合算法相比于RGB三通道分別融合方式的優(yōu)越性,分別在停車場、房屋彩色場景圖片上進(jìn)行測試。由圖11可知,利用本文方法處理得到的融合圖像對色彩信息的保留效果更好,融合圖像偏色失真問題更小,更貼近自然場景。

圖11 不同彩色圖像融合策略的融合結(jié)果

4.2 定量分析

定性評價(jià)不足以判斷融合算法的有效性,因此本節(jié)將對算法的融合性能進(jìn)行定量評估。使用平均梯度[19]、邊緣強(qiáng)度[19]、空間頻率[20]、結(jié)構(gòu)相似度[19]和一種基于人類感知啟發(fā)的度量標(biāo)準(zhǔn)[20]五種質(zhì)量指標(biāo)進(jìn)行客觀評價(jià)。前三種指標(biāo)直接測量生成融合圖像的質(zhì)量,不需要使用輸入圖像。后兩種是為圖像融合設(shè)計(jì)的質(zhì)量評價(jià)指標(biāo),測量輸入圖像與融合圖像之間的相似性。不同圖像融合算法的定量測試結(jié)果如表1所示,性能最優(yōu)及次優(yōu)的結(jié)果分別用下劃直線及下劃曲線區(qū)分顯示。

表1 不同圖像融合算法的定量測試結(jié)果

從表1可以看出,本文算法在空間頻率、結(jié)構(gòu)相似度、Qcv指標(biāo)上表現(xiàn)最優(yōu),在平均梯度、邊緣強(qiáng)度指標(biāo)上表現(xiàn)次優(yōu)。然而值得注意的是,雖然CBF算法在平均梯度、邊緣強(qiáng)度指標(biāo)上獲得了最好的定量性能,但其定性性能不是很好,從圖4可以明顯看出,利用CBF算法得到的融合圖像中引入了大量偽影。綜上可得,本文算法能夠?qū)⒓t外和可見光圖像中的互補(bǔ)信息注入到融合圖像中,信息損失少。

表2給出了不同圖像融合算法在4種典型圖像上的運(yùn)行時(shí)間及21對測試圖像上的平均運(yùn)行時(shí)間。CBF算法利用雙邊濾波、特征值等方式進(jìn)行圖像融合,二者均比較耗時(shí),導(dǎo)致算法時(shí)間開銷大幅增加;CNN算法使用卷積神經(jīng)網(wǎng)絡(luò)計(jì)算權(quán)重金字塔,耗時(shí)最大;GFF算法雖然在圖像分解階段均采用兩尺度分解方式,但圖像分解或權(quán)重圖計(jì)算操作復(fù)雜,導(dǎo)致算法運(yùn)行時(shí)間增加;本文算法采用多尺度分解方式進(jìn)行圖像融合,引導(dǎo)濾波可使用盒形濾波器快速實(shí)現(xiàn),利用分解的特征圖構(gòu)造顯著圖及權(quán)重圖,無需引入額外特征提取操作,保證算法融合效果的同時(shí)提升處理速度。

表2 不同算法運(yùn)行時(shí)間

5 結(jié) 論

本文提出了一種基于引導(dǎo)濾波多尺度分解的圖像融合算法,用于紅外和可見光圖像的融合。該算法采用雙引導(dǎo)濾波器代替均值濾波器對紅外和可見光圖像進(jìn)行更加精細(xì)地劃分;融合時(shí),根據(jù)不同尺度層細(xì)節(jié)圖像構(gòu)造顯著性映射圖,用其代替額外的特征提取操作,突出源圖像顯著信息的同時(shí)大大降低算法復(fù)雜度;利用顯著性映射圖、Sigmoid函數(shù)構(gòu)造權(quán)重圖,有效地保留了源圖像中的場景細(xì)節(jié)和邊緣特征;利用先RGB到Y(jié)UV色彩模型轉(zhuǎn)換后融合方式,更好地保留了圖像的色彩信息,減小融合圖像的偏色失真。定性和定量實(shí)驗(yàn)結(jié)果表明,與其他圖像融合算法相比,本文算法能更好地將紅外和可見光圖像中的互補(bǔ)信息注入到融合圖像中,偏色失真小,引入偽影少,計(jì)算復(fù)雜度低。