張振杰 李 巖 石 敏 賈 麗

（中國(guó)人民解放軍91977部隊(duì) 北京 100036）

1 引言

紅外和可見光圖像融合是多傳感器信息融合研究的重要方向，是圖像處理、計(jì)算機(jī)視覺、人工智能等領(lǐng)域要解決的重要問題。圖像融合是一種增強(qiáng)技術(shù)，對(duì)同一場(chǎng)景下不同傳感器獲取的圖像進(jìn)行處理，獲得一幅信息更豐富的圖像，便于后續(xù)處理和輔助決策。紅外圖像能夠通過物體的紅外輻射差異實(shí)現(xiàn)目標(biāo)的檢測(cè)，能夠全天候全天時(shí)工，但清晰度和空間分辨率低，場(chǎng)景細(xì)節(jié)獲取能力差；而可見光圖像具有較高的空間分辨率和豐富的場(chǎng)景細(xì)節(jié)信息[1]。紅外和可見光融合圖像既可保留目標(biāo)場(chǎng)景細(xì)節(jié)信息，又能凸顯目標(biāo)，廣泛應(yīng)用于偵察監(jiān)測(cè)、目標(biāo)識(shí)別和目標(biāo)跟蹤等領(lǐng)域。

紅外和可見光影像常用的融合方法是基于變換域，該方法的基本步驟是將圖像變化到特定的圖像表示域，然后利用融合規(guī)則對(duì)圖像表示系數(shù)進(jìn)行融合，最后利用逆變換得到融合圖像。主要算法有小波變換[2]、contourlet變換[3～4]、稀疏表示（SR）[5]等。

在現(xiàn)有算法研究的基礎(chǔ)上，本文提出了一種紅外和可見光圖像快速融合算法。相較于現(xiàn)有算法，提出的算法有更好的融合效果，同時(shí)提高了融合效率，拓展了融合算法的應(yīng)用范圍。

2 提出的圖像融合算法

本文針對(duì)紅外和可見光圖像融合問題，提出了一種基于顯著性檢測(cè)和雙尺度圖像分解的快速融合算法。首先基于視覺顯著性檢測(cè)算法將原始圖像分解為顯著性部分和冗余部分，利用雙尺度圖像分解算法將原始圖像分解為基礎(chǔ)層和細(xì)節(jié)層；接著通過雙尺度圖像分解算法將顯著性部分進(jìn)一步分解為基礎(chǔ)層和細(xì)節(jié)層；通過融合策略對(duì)原始圖像的顯著部分和細(xì)節(jié)層分別進(jìn)行融合處理，最終得到紅外和可見光圖像的融合圖像。

2.1 基于譜殘差的視覺顯著性檢測(cè)

基于譜殘差[6]的視覺顯著性檢測(cè)是基于空間頻域分析的方法，算法實(shí)現(xiàn)過程如式（1）所示，首先對(duì)圖像進(jìn)行傅里葉變換，得到幅值譜和相位譜，然后計(jì)算幅值譜的對(duì)數(shù)譜，進(jìn)而計(jì)算得到譜殘差，最后對(duì)譜殘差進(jìn)行傅里葉逆變換得到顯著圖。該算法與圖像中的目標(biāo)特征、種類和其他先驗(yàn)知識(shí)無關(guān)，算法適用性強(qiáng)；算法簡(jiǎn)單，實(shí)時(shí)性好。

其中，I(x)為空間域圖像，A(f)為幅度譜，P(f)為相位譜，L(f)為對(duì)數(shù)譜，hn(f)為均值濾波器，R(f)為譜殘差，g(x)為高斯濾波器。

2.2 雙尺度圖像分解

雙尺度圖像分解[7]可以將原始圖像I分解為基礎(chǔ)層Ib和細(xì)節(jié)層Id，即I=Ib+Id。其中，基礎(chǔ)層Ib包含了圖像的大部分信息，細(xì)節(jié)層Id為圖像的局部結(jié)構(gòu)信息。

基礎(chǔ)層可通過解算式的優(yōu)化問題得到：

其中，I為原始圖像，Ib為分解后的基礎(chǔ)層，gx=[-1 1]，gy=[-1 1]T，η為正則項(xiàng)參數(shù)。

從原始圖像I分解得到基本層Ib后，根據(jù)式（2）進(jìn)而可以得到細(xì)節(jié)層Id=I-Ib。

2.3 圖像融合

圖像融合可分為分解、融合策略和重構(gòu)三個(gè)過程。圖像分解是基于顯著性檢測(cè)和雙尺度分解將原始圖像分解為不同部分；融合策略分為局部信息融合和全局信息融合；將兩部分融合結(jié)果通過重構(gòu)得到最終的融合圖像。

1）圖像分解

對(duì)紅外圖像I1通過顯著性檢測(cè)得到顯著部分I1_s和冗余部分I1_r，結(jié)果如圖1所示；對(duì)可見光圖像I2通過顯著性檢測(cè)得到顯著部分I2_s和冗余部分I2_r，結(jié)果如圖2所示。

圖1 基于顯著性檢測(cè)的紅外圖像分解

圖2 基于顯著性檢測(cè)的可見光圖像分解

對(duì)紅外圖像I1通過雙尺度分解處理后得到基礎(chǔ)層和細(xì)節(jié)層，結(jié)果如圖3所示；對(duì)可見光圖像I2通過雙尺度分解處理后得到基礎(chǔ)層和細(xì)節(jié)層，結(jié)果如圖4所示。

圖3 基于雙尺度分解的紅外圖像分解

圖4 基于雙尺度分解的可見光圖像分解

對(duì)顯著圖I1_s和I2_s再次進(jìn)行雙尺度分解，得到，以及。

2）融合策略

融合策略可分為局部信息融合和全局信息融合。

局部信息的融合是對(duì)原始圖像的顯著部分和細(xì)節(jié)層的融合，融合策略如式（3）所示，融合結(jié)果如圖5（b）所示。

圖5 圖像重構(gòu)

全局信息的融合是對(duì)原始圖像的基礎(chǔ)層的融合，包含了原始圖像的大部分信息，融合策略如式（4）所示，融合結(jié)果如圖5（a）所示。

其中，w1和w2是權(quán)值參數(shù)，這里取0.5。

3）圖像重構(gòu)

將局部信息和全局信息進(jìn)行重構(gòu)，可得到最終融合圖像F，如式（5）所示，融合結(jié)果如圖5（c）所示。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)所用的數(shù)據(jù)為21組不同環(huán)境條件下、不同分辨率、經(jīng)過嚴(yán)格配準(zhǔn)的紅外和可見光圖像，如圖6所示。

圖6 紅外和可見光圖像對(duì)

在算法性能上，比較了以下三種算法。

1）CSR[8]，基于卷積稀疏表示的圖像融合算法；

2）LatLRR[9]，Li提出基于 LatLRR的圖像融合算法；

3）Proposed method，本文提出的圖像融合算法。

算法的運(yùn)行環(huán)境：Matlab R2017a，3.2 GHz Intel（R）Core（TM）CPU ，8 GB RAM。

對(duì)21組紅外和可見光圖像，分別采用CSR算法、Li提出的算法和文中提出的算法進(jìn)行融合處理。其中一組圖像的處理結(jié)果如圖7所示，圖中（a）～（c）分別為不同算法處理的融合圖像。

圖7 不同算法的圖像融合結(jié)果

為了進(jìn)一步驗(yàn)證本文中提出算法的有效性，客觀地評(píng)價(jià)不同算法的融合結(jié)果，實(shí)驗(yàn)中選取了四個(gè)圖像融合質(zhì)量評(píng)價(jià)指標(biāo)作為量化評(píng)判標(biāo)準(zhǔn)。這四個(gè)指標(biāo)分別為 Qabf[10]、Nabf[11]、SCD[12]和SSIMa[9]，Qabf、Nabf表示。對(duì)于這四個(gè)指標(biāo)，Qabf、SCD和SSIMa的值越大，Nabf越小，圖像融合效果越好。不同算法的圖像融合質(zhì)量評(píng)價(jià)指標(biāo)值如圖8所示，指標(biāo)均值如表1所示，不同算法的時(shí)間如圖9所示。

圖8 不同算法的圖像融合質(zhì)量評(píng)價(jià)指標(biāo)值對(duì)比

圖9 不同算法的時(shí)間對(duì)比

表1 不同算法的指標(biāo)參數(shù)均值對(duì)比

綜合實(shí)驗(yàn)結(jié)果，可以得到以下結(jié)論。提出的算法Nabf、SCD和SSIMa指標(biāo)參數(shù)均優(yōu)于其他算法，提出的算法不僅有較好的融合效果，算法效率也得到大大提高，顯著優(yōu)于其他算法，能夠應(yīng)用于對(duì)實(shí)時(shí)性要求較高的場(chǎng)合。

4 結(jié)語

本文針對(duì)紅外和可見光圖像融合問題，提出了一種基于顯著性檢測(cè)和雙尺度圖像分解的快速融合算法。實(shí)驗(yàn)結(jié)果表明提出的算法在融合效果方面優(yōu)于比較的算法，同時(shí)算法效率得到有效提高，能夠應(yīng)用于目標(biāo)跟蹤等實(shí)時(shí)性要求較高的場(chǎng)合。