馬朝振，劉 杰，聶仁燦

(云南大學(xué) 信息學(xué)院，云南 昆明 650091)

融合是圖像分析和處理的重要內(nèi)容，旨在將多個(gè)傳感器獲得的同一場景的具有信息互補(bǔ)特性的多幅圖像合成一幅新的圖像，以增強(qiáng)人們對場景信息的直觀理解，它在醫(yī)學(xué)成像[1]、目標(biāo)識(shí)別[2]、遙感[3]和軍事[4]等多個(gè)領(lǐng)域被廣泛應(yīng)用.紅外圖像由于依靠物體的熱輻射成像，往往能有效地反映場景中的目標(biāo)特征；而可見光圖像通過光譜反射成像，則能揭示場景更多的外觀細(xì)節(jié)信息.因此，紅外與可見光圖像融合技術(shù)能有效提高人機(jī)的目標(biāo)識(shí)別與環(huán)境解釋能力[5].常見的圖像融合方法有加權(quán)平均[6]、主成分分析[7]、基于小波變換[8]等的多尺度變換(MST)的融合方法[9]等.

圖像融合方法一般可分為像素級、特征級和決策級[10]3個(gè)不同的處理層次，本文方法即屬于像素級的融合方法,并紅外與可見光源圖像已被配準(zhǔn)[11].典型的像素級融合方法是加權(quán)平均和MST.加權(quán)平均法簡單直接，但較難實(shí)現(xiàn)權(quán)值的精確估計(jì)，往往會(huì)出現(xiàn)對比度降低的問題.基于MST方法得到的融合圖像保持了物質(zhì)多尺度的一致性，可提供更好的融合結(jié)果，如比率金字塔(RP，Ratio pyramid)[12]，小波變換(WT，Wavelet transform)[8]，雙樹復(fù)小波變換(DTCWT，Dual-tree complex Wavelet transform)[13]，曲波變換(CVT，Curvelet transform)[14]，非下采樣剪切波變換(NSST，Non-Subsampled Shearlet Transform)[15]，非下采樣輪廓變換(NSCT，Non-subsampled Contourlet transform)[16]等.然而，這些MST方法在提取不同源圖像的特征時(shí)，使用了相同的表征算法，這對于存在較大特征差異的紅外與可見光圖像的特征提取是不恰當(dāng)?shù)模鶗?huì)造成熱輻射目標(biāo)退化和場景細(xì)節(jié)的丟失.

本文提出了一種基于總變分和顯著性檢測的紅外與可見光圖像融合方法.通過在變分模型中構(gòu)建加權(quán)的保真項(xiàng)，以有效平衡紅外與可見光圖像中的重要特征融合；而利用l1范數(shù)構(gòu)建的梯度稀疏正則項(xiàng)，實(shí)現(xiàn)可見光中場景外觀細(xì)節(jié)的充分融合.另外，基于亮度對比度(LC,Luminance Contrast)[17]的顯著性檢測方法，提出了一種對總變分模型中保真項(xiàng)權(quán)值的有效估計(jì)方法.實(shí)驗(yàn)仿真驗(yàn)證了所提出方法的有效性.

1 問題建模與求解

1.1 模型建立

對于一對紅外與可見光圖像u和v，融合圖像z應(yīng)盡可能地包含源圖像的特征信息，這可以通過最小化他們之間的l2,2范數(shù)來描述，即

(1)

然而，由于沒有考慮不同位置間的特征差異，總變分模型(1)的優(yōu)化總會(huì)傾向于那些具有高頻統(tǒng)計(jì)特性的特征，使得一些低頻統(tǒng)計(jì)特性的重要特征難以融入z.一個(gè)自然的想法是對(1)中的各保真項(xiàng)進(jìn)行加權(quán)處理，對那些更重要的特征，分配更大的權(quán)值.此時(shí)，(1)可重寫為

(2)

式(2)中，w1+w2=1，°表示矩陣間的點(diǎn)乘操作.另外，紅外圖像更多的包含具有熱輻射特性的顯著目標(biāo)，而可見光圖像則可表現(xiàn)更多的場景外觀細(xì)節(jié)信息.因此，融合圖像z與可見光圖像v的梯度信息應(yīng)盡可能的相似.同時(shí)，考慮到圖像的梯度往往是稀疏的，z與v梯度的最大相似性可用l1范數(shù)來描述，即

(3)

最終，結(jié)合(2)和(3)，可將紅外與可見光圖像融合任務(wù)建模為下面的總變分模型：

(4)

1.2 模型求解

為了方便求解變分模型(4)，記φ=z-v，則(4)可重寫為

(5)

顯然，式(5)中的▽φ1是一個(gè)典型的TV模型[18].然后，對(5)中的φ求偏導(dǎo)，則有

(6)

(7)

(8)

式(8)中，Δt為學(xué)習(xí)率，并在后述的實(shí)驗(yàn)中統(tǒng)一地設(shè)為 0.00 001.一旦利用(8)式求解出φ，即可得到融合圖像z=φ+v.然而，式(8)的迭代計(jì)算涉及一個(gè)關(guān)鍵的問題，即如何估計(jì)權(quán)值ω1.對此，基于LC的顯著性檢測方法，本文在下節(jié)提出了一種有效的估計(jì)方法.

2 權(quán)值估計(jì)

2.1 基于亮度對比度(LC)的顯著性檢測

在一幅圖像I中，某個(gè)像素Ik的顯著性定義為該像素與其它所有像素在灰度上的距離之和，也即全局的亮度對比[17].

(9)

式(9)中，Ii的取值范圍為[0,255]，將其展開后可得

(10)

式(10)中的N表示圖像中像素的數(shù)量.可以看到，像素Ik的顯著性和它的空間位置無關(guān)，也即那些具有相同灰度值的像素將具有同樣的顯著性.因此，利用圖像的歸一化直方圖，式(10)可簡寫為

(11)

式(11)中，fb表示圖像中灰度值為b的像素的歸一化頻數(shù).

2.2 權(quán)值估計(jì)方法

圖像中具有高顯著性的像素通常是人們最為關(guān)心的特征，融合圖像z應(yīng)盡可能地包含這些像素的信息.于此，可利用紅外u與可見光圖像v的顯著性來構(gòu)建變分模型(4)中保真項(xiàng)的權(quán)值w1或w2，那些具有更高顯著性值的像素給予更高的加權(quán)值，以鼓勵(lì)源圖像中的顯著信息被融合.在各源圖像顯著性基礎(chǔ)上實(shí)施線性分配操作，w1可簡單地估計(jì)為

(12)

注意到LC的顯著性檢測僅依賴于像素間的絕對灰度差異，而和像素的亮度無關(guān).同時(shí)考慮到圖像的高亮度像素不總是顯著的，因此，式(12)的權(quán)值估計(jì)并不能保證源圖像的亮度信息被充分的融合，也即不能從根本上避免融合圖像的亮度退化.為了在有效融合源圖像顯著特征的同時(shí)，也充分將源圖像的亮度信息進(jìn)行融合，可在式(12)中加入源圖像的亮度成分，則有

(13)

3 算法流程

本文基于顯著性檢測與總變分的紅外與可見光圖像融合方法主要包含兩個(gè)主要的步驟.首先對圖像實(shí)施基于亮度對比度的顯著性檢測，以構(gòu)建總變分模型中的保真項(xiàng)權(quán)值.然后對總變分模型實(shí)施基于梯度下降法的優(yōu)化求解，得出最終的融合結(jié)果.具體的算法流程如表1所示.

表1 算法流程

4 仿真結(jié)果與分析

為了驗(yàn)證本文方法的有效性，在圖1前兩行所示從Pair 1到Pair 6共6對紅外與可見光圖像構(gòu)成的數(shù)據(jù)集上進(jìn)行融合實(shí)驗(yàn)，并和比率金字塔RP[12]，多分辨率奇異值分解MSVD[19]，雙樹復(fù)小波變換DTCWT[13]，曲波變換CVT[14]等4種融合方法進(jìn)行比較，其視覺融合結(jié)果如圖1所示.

紅外圖像更特別地突出圖像中的熱輻射目標(biāo)，如人物、汽車、建筑，而可見光圖像中則含有更詳細(xì)的背景信息，如燈光、紋理.從圖1可看到，本文的融合圖像不僅有效地融合了源圖像的亮度信息，也保留了源圖像中詳細(xì)的外觀信息，增強(qiáng)了良好的外觀感知.特別地，無論是紅外圖像的熱輻射目標(biāo)，還是可見光圖像中的高亮度區(qū)域，RP等4種方法所得結(jié)果在視覺上均不同程度地出現(xiàn)了明顯的亮度退化現(xiàn)象.由此，本文方法相較于其它方法體現(xiàn)了更好地視覺融合質(zhì)量.

另外，進(jìn)一步從圖像融合質(zhì)量的客觀評價(jià)角度來評估本文方法的融合性能，這里采用了廣泛使用的熵(EN)[20],邊緣特征保持性(Qabf)[21]，結(jié)構(gòu)相似度(SSIM)[22]以及峰值信噪比(PSNR)[23]等4種客觀評價(jià)指標(biāo).作為無參考的質(zhì)量評價(jià)指標(biāo)，EN從信息論角度來度量融合圖像所包含的信息量.而作為有參考的質(zhì)量評價(jià)指標(biāo)，Qabf、SSIM、PSNR分別用于度量融合圖像從源圖像中融合的邊緣強(qiáng)度、結(jié)構(gòu)信息及噪聲抑制情況.這些指標(biāo)的值越大，代表融合圖像的質(zhì)量越好.

表2 各種方法融合結(jié)果的EN

表3 各種方法融合結(jié)果的Qabf

表4 各種方法融合結(jié)果的SSIM

表5 各種方法融合結(jié)果的PSNR

從表2-表3可看出，相較于所比較的方法，本文方法對于不同的評價(jià)指標(biāo)，均在更多的源圖像對上取得了好的結(jié)果.特別地，在所有源圖像對的平均值上來看，本文方法在所有指標(biāo)上均取得了最優(yōu)的結(jié)果.因此，本文方法無論從視覺觀察還是客觀評價(jià)來看，均優(yōu)于所比較的方法，這有效地驗(yàn)證了該方法的有效性.

4 結(jié)語

提出了一種基于總變分與顯著性檢測的紅外與可見光圖像融合方法.通過變分模型中的加權(quán)保真項(xiàng)，以有效平衡紅外與可見光圖像中的重要特征融合；同時(shí)利用稀疏的梯度正則項(xiàng)限制，從可見光圖像融入更多的場景外觀細(xì)節(jié)信息.另外，基于LC的顯著性檢測方法，構(gòu)建了一種有效的保真項(xiàng)權(quán)值估計(jì)方法，使得源圖像中更多的顯著信息和亮度信息被更有效地融合.實(shí)驗(yàn)仿真表明，本文方法有效地融入了紅外圖像中的熱輻射目標(biāo)，以及可見光中的場景外觀；無論是視覺觀察還是客觀評價(jià)，本文方法均優(yōu)于所比較的方法，體現(xiàn)了良好的融合性能.