陳洋，王世峰，都凱悅，王銳

（長(zhǎng)春理工大學(xué) 光電工程學(xué)院，長(zhǎng)春 130022）

隨著視覺傳感器的不斷發(fā)展，紅外傳感器和可見光傳感器獲得的圖像質(zhì)量得到了提升，在導(dǎo)彈引導(dǎo)、航空航天、視屏監(jiān)控、機(jī)器人、自主導(dǎo)航、醫(yī)學(xué)等領(lǐng)域得到了廣泛的應(yīng)用，單一圖像往往不能反映詳細(xì)的信息，需要不同的圖像進(jìn)行融合，這樣才能反映出機(jī)器提供給人們的詳細(xì)信息，例如在遙感圖像處理中，常常融合多聚焦的圖像，用以提高特征提取的效果[1，2]。紅外圖像是根據(jù)物體的熱輻射特性成像，能夠拍攝到被遮擋的物體，發(fā)現(xiàn)隱蔽的目標(biāo)，由于可見光圖像受光照和氣候等因素影響較大，因此將紅外圖像和可見光圖像進(jìn)行融合取長(zhǎng)補(bǔ)短，可以得到空間中良好的視覺效果。

基于像素級(jí)的融合能夠保留更多的原始信息，其中常用的方法是：1.基于空間域的圖像融合，例如加權(quán)平均法，像素加權(quán)平均法是將感興趣區(qū)域附上相對(duì)大的權(quán)值以獲得優(yōu)勢(shì)顯示，這種方式計(jì)算簡(jiǎn)單，并且實(shí)時(shí)性好，缺點(diǎn)是權(quán)值的大小無(wú)法準(zhǔn)確確定。2.基于變換域的圖像融合。如基于離散余弦變換的圖像融合（DCT）[3-5]。還有將多尺度、多分辨算法應(yīng)用到圖像融合中，如基于小波變換的圖像融合算法，基于Contourlet變換的圖像融合算法等，雖然基于變換域的圖像融合算法可根據(jù)不同的頻段特性選擇不同的融合策略，但是不同的頻率段的像素缺乏相關(guān)性，重構(gòu)后的圖像會(huì)顯得生硬而不自然，并且計(jì)算復(fù)雜度高，不利于實(shí)時(shí)處理顯示[6，7]。

為了使融合過(guò)后的圖像自然，耗時(shí)少，文中采用了基于改進(jìn)的引導(dǎo)濾波的圖像融合算法，充分利用可見光圖像和紅外圖像的優(yōu)勢(shì)，適當(dāng)提高目標(biāo)對(duì)比度，提高觀察效果。

1 引導(dǎo)濾波介紹及其改進(jìn)

引導(dǎo)濾波器是基于局部線性模型的局部線性平移變量濾波器。和高斯濾波不同的是，引導(dǎo)濾波對(duì)圖像濾波的同時(shí)也對(duì)邊緣起到了一定的保留效果，和雙邊濾波相比，它具備保護(hù)邊緣的優(yōu)點(diǎn)，同時(shí)克服了雙邊濾波在主要邊緣附近梯度變形的不足[8，9]。

1.1 引導(dǎo)濾波器

現(xiàn)在定義引導(dǎo)濾波器。引導(dǎo)濾波器的關(guān)鍵是假設(shè)引導(dǎo)圖像Ii和濾波輸出qi之間的是局部線性模型。設(shè)qi是Ii在以像素k為中心，濾波器模板wk的線性變換：

其中，ak是在濾波器模板wk（大小為（2r+1）*（2r+1））保持不變的線性系數(shù)。從上面等式可知Ii，qi兩幅圖像擁有相同的邊緣信息，因?yàn)?q=a?I，為了確定的線性系數(shù)ak和bk，又假設(shè)輸出圖像qi是輸入圖像pi減去噪聲n得到：

為了最小化qi與pi之間的差距，定義損失函數(shù)如下，并且參考嶺回歸模型[10]引入了正則化參數(shù)用于限制ak

根據(jù)線性回歸模型可知ak，bk的解如下：

其中，μk是Ii在窗口|w|中的像素平均值，是窗口wk中的方差，|w|是窗口wk中像素的數(shù)量，是待濾波圖像pi在窗口wk中的均值。

此外，在計(jì)算每個(gè)窗口的線性系數(shù)時(shí)，可以發(fā)現(xiàn)一個(gè)像素會(huì)被多個(gè)窗口包含，也就是說(shuō)，每個(gè)像素都由多個(gè)線性函數(shù)所描述。因此，如之前所說(shuō)，要具體求某一點(diǎn)的輸出值時(shí)，只需將所有包含該點(diǎn)的線性函數(shù)值求平均值即可[11]，如下：

公式（7）至公式（17）給出了引導(dǎo)濾波的基本步驟和偽代碼。fmean為一個(gè)均值濾波器（對(duì)應(yīng)的窗口大小為（（2r+1）*（2r+1））），corr為相關(guān)運(yùn)算，var為方差，cov為協(xié)方差運(yùn)算。

（1）對(duì)引導(dǎo)圖像I和輸入圖像P進(jìn)行均值濾波并做相關(guān)運(yùn)算

（2）求引導(dǎo)圖像I的方差varI并且求出與源圖像P的協(xié)方差covIP

（3）確定線性系數(shù)a和b

（4）求均值meana、meanb和輸出濾波結(jié)果q

1.2 算法改進(jìn)

對(duì)引導(dǎo)圖像Ii和輸入圖像qi通過(guò)最近鄰或者雙線性插值的方式下采樣減少像素點(diǎn)，這樣所有的均值濾波都是在低分辨率情況下進(jìn)行，在計(jì)算meana和meanb后進(jìn)行上采樣恢復(fù)到原有的尺寸大小，假設(shè)縮放比例為s，那么縮小后在進(jìn)行均值濾波的時(shí)間復(fù)雜度從O(N)變?yōu)镺(N/s^2)，最后采用的上采樣方式依舊是最近鄰或者雙線性插值，采樣過(guò)后的圖像和原圖像稍有差距，但是對(duì)實(shí)驗(yàn)結(jié)果影響不大。公式（18）至公式（34）以下是給出的改進(jìn)算法的偽代碼[12]。

（1）對(duì)引導(dǎo)圖I、輸入圖p降采樣，r′是新的濾波器模板尺寸

（2）對(duì)降采樣的后的圖像進(jìn)行均值濾波并做相關(guān)運(yùn)算

（3）求引導(dǎo)圖像I的方差varI并且求出與源圖像P的協(xié)方差covIP

（4）確定線性系數(shù)a和b

（5）求均值meana、meanb

（6）對(duì)均值meana、meanb上采樣，從而得到最后的結(jié)果q

2 融合算法的基本流程

首先對(duì)紅外圖像進(jìn)行濾波處理，通過(guò)加速引導(dǎo)濾波得到突出目標(biāo)的紅外圖像，然后將它與可見光圖像融合。

2.1 最大值濾波

利用滑動(dòng)窗口對(duì)紅外圖像進(jìn)行最大值濾波處理，獲得紅外圖像中高亮部分。假設(shè)輸入圖像是IIR(z)，輸出圖像

其中，r(x)表示以x為中心坐標(biāo)，滑動(dòng)窗口邊長(zhǎng)是r。

圖1 最大值濾波效果

圖1（a）是原始的紅外圖像，圖1（b）是經(jīng)過(guò)最大值濾波后的圖像，可以清晰地看出目標(biāo)人物變得高亮。

2.2 加速引導(dǎo)濾波

其中，fastguidedfilter()表示加速引導(dǎo)濾波器，濾波器模板大小為（2r+1）*（2r+1），ε表示正則化參數(shù)，s表示采樣尺度。圖2是加速引導(dǎo)濾波后的圖像。

圖2 濾波過(guò)后的圖像

2.3 像素級(jí)融合

融合規(guī)則有很強(qiáng)的靈活性，但最終目的是將濾波后圖像和原始可見光圖像融合成一幅圖像。這里采用加權(quán)平均法進(jìn)行圖像融合。

其中，I是融合后的圖像，Iv是可見光圖像，IFGFIR是經(jīng)過(guò)加速引導(dǎo)性濾波后的紅外圖像，α、β是圖像權(quán)值，根據(jù)具體情況而言選擇不同的權(quán)值。

3 實(shí)驗(yàn)與討論

實(shí)驗(yàn)采用的是CPU i7-4790@3.6GHz，內(nèi)存8GB。下面圖3到圖6是從公共數(shù)據(jù)集中（www.imagefusion.org）找的不同場(chǎng)景，低分辨率的可見光圖像（左圖）和紅外圖像（右圖）。

圖3 測(cè)試組一

圖4 測(cè)試組二

圖5 測(cè)試組三

圖6 測(cè)試組四

為客觀評(píng)價(jià)不同融合方法用于紅外圖像和可見光圖像融合圖像的性能，文中選擇了基于平穩(wěn)小波變換的圖像融合法（SWT），和基于空間域的主成分分析的圖像融合法（PCA）進(jìn)行對(duì)比。分別從主觀和客觀評(píng)價(jià)算法，客觀評(píng)價(jià)中由于標(biāo)準(zhǔn)的融合圖像無(wú)法獲得，這里采用的是無(wú)參考的評(píng)價(jià)標(biāo)準(zhǔn)：標(biāo)準(zhǔn)差（STD）、信息熵（En）、平均梯度（AG）和運(yùn)行時(shí)間（t）作為主要的客觀評(píng)價(jià)標(biāo)準(zhǔn)[13，14]。具體的融合圖像的質(zhì)量評(píng)價(jià)參數(shù)見表1至表4。

表1 圖3中融合后的圖像的質(zhì)量評(píng)定

表2 圖4中融合后的圖像的質(zhì)量評(píng)定

表3 圖5中融合后的質(zhì)量評(píng)定

表4 圖6中融合后的質(zhì)量評(píng)定

融合后的圖像如圖7到圖10所示，其中的圖a是利用PCA法融合后的圖像，圖b是利用SWT法融合后的圖像，圖c是文中方法融合后的圖像。主觀上看圖7測(cè)試組一目標(biāo)無(wú)論從人物的輪廓，還是背景上看，文中所述方法效果好于其它的兩個(gè)方法。圖8測(cè)試組二，PCA方法丟失文字信息，SWT方法對(duì)比原始紅外圖像，可以知道背景中丟失部分窗口亮燈信息。圖9測(cè)試組三，PCA的方法過(guò)于明亮，SWT的方法過(guò)于暗淡，并且在招牌的字體對(duì)比對(duì)不夠大，并且人物和車輛相比于文中提出的方法較為暗淡，沒(méi)有凸顯車輛和人物目標(biāo)。圖10測(cè)試組四，文中的方法在雖不影響觀察效果，但是相比于PCA法和SWT法，還是過(guò)于明亮。

圖7 融合后的測(cè)試組一

圖8 融合后的測(cè)試組二

標(biāo)準(zhǔn)差（STD）反映了相對(duì)灰度均值的離散程度，標(biāo)準(zhǔn)差越大融合效果越好。信息熵（En）表示圖像中所包含的平均信息量的多少；平均梯度（AG）能反映圖像中細(xì)節(jié)反差和紋理變換，它在一定程度上反映了圖像的清晰程度；運(yùn)行時(shí)間（T/s）反應(yīng)的是算法的復(fù)雜程度，運(yùn)行時(shí)間越小越利于實(shí)時(shí)的處理。從表1到表4可以看見文中提到的方法的參數(shù)指標(biāo)。相比較而言，雖然在表2和表4中個(gè)別指標(biāo)略低于其他兩種融合方式，但從整體而言文中的圖像融合方法要略好于PCA融合法和SWT融合法。

圖9 融合后的測(cè)試組三

圖10 融合后的測(cè)試組四

4 結(jié)論

本文提出了一種利用加速引導(dǎo)濾波器對(duì)紅外圖像與可見光圖像像素級(jí)融合的算法，先將紅外圖像進(jìn)行加速引導(dǎo)濾波，增加目標(biāo)區(qū)域的對(duì)比度，然后與可見光圖像融合得到融合結(jié)果。實(shí)驗(yàn)表明，所采用的方法能夠使融合圖像具有較好的視覺效果，并且其客觀的評(píng)價(jià)較高、運(yùn)算速度較快。

在此基礎(chǔ)上，今后的工作在于1）采用高分辨率圖像進(jìn)行像素融合，2）在實(shí)驗(yàn)條件允許下，可結(jié)合深度學(xué)習(xí)改進(jìn)文中算法。