王學(xué)霜，王肖霞，吉琳娜，郭小銘

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051）

0 引言

雙模態(tài)紅外圖像是指紅外光強圖像和紅外偏振圖像，其中紅外光強圖像是紅外熱成像技術(shù)通過探測景物紅外輻射強度形成的[1]，而紅外偏振圖像是利用紅外偏振成像技術(shù)在紅外熱成像基礎(chǔ)上獲得多方向偏振量得到的[2]，兩者在醫(yī)學(xué)、農(nóng)業(yè)、消防、軍事等領(lǐng)域都發(fā)揮巨大的作用[3-4]。紅外光強圖像有明顯的亮度和外表輪廓，紅外偏振圖像有清晰的邊緣和紋理細節(jié)，兩者構(gòu)成互補信息，使雙模態(tài)紅外圖像的融合成為近年來研究的重點內(nèi)容[5]。目前雙模態(tài)紅外圖像融合算法的融合方式較為單一，存在圖像融合效果不明顯甚至差的問題，因此如何有效利用雙模態(tài)紅外圖像互補信息，實現(xiàn)圖像信息的高質(zhì)量融合成為亟待解決的問題。

圖像融合方法主要包括多尺度變換和非多尺度變換的融合方法，其中也存在對經(jīng)典方法的改進及混合融合[6]。Li[7]提出了一種基于引導(dǎo)濾波的加權(quán)平均技術(shù)，以利用空間一致性融合基礎(chǔ)層和細節(jié)層；Liu[8]結(jié)合多尺度變換和稀疏表示提出了一種通用的圖像融合框架；Liu[9]利用連體卷積網(wǎng)絡(luò)集成紅外和可見光圖像的像素活動信息。這些融合方法雖然可以獲得較好的融合性能，但由于融合方式的單一性，不能實現(xiàn)圖像融合的自適應(yīng)性。針對此類問題，為便于對圖像差異信息的有效融合，Hu[10]構(gòu)建差異特征來定向描述雙模態(tài)紅外圖像的互補信息，并驗證能夠用差異特征引導(dǎo)融合，為研究差異特征融合，實現(xiàn)雙模態(tài)紅外圖像互補信息的有效融合奠定基礎(chǔ)。

針對上述問題，本文結(jié)合差異特征驅(qū)動融合機制，提出了一種擬態(tài)融合方法。差異特征的有效融合使雙模態(tài)紅外圖像互補信息得到有效利用，能夠從中獲得更全面的融合信息。

1 研究方法

面向雙模態(tài)紅外圖像差異的擬態(tài)融合方法主要包括兩部分，主差異特征的選擇，各層變元和擬態(tài)結(jié)構(gòu)的確定。其中主差異特征選擇模塊用于確定圖像組的主差異特征類型，各層變元和擬態(tài)結(jié)構(gòu)的確定模塊用來對應(yīng)主差異特征類型的高層變元、低層變元、基層變元和擬態(tài)結(jié)構(gòu)。具體方法流程如圖1所示。

圖1 面向雙模態(tài)紅外圖像差異的擬態(tài)融合方法流程Fig.1 Flow chart of mimic fusion method for dual-mode infrared image difference

1.1 主差異特征的選擇

從成像影響因素、物體輻射特性、目標(biāo)探測效果角度分析雙模態(tài)紅外圖像特點[11]，雙模態(tài)紅外圖像特征中亮度、邊緣與紋理特征差異明顯，因此從中進行差異特征的選擇。亮度特征有平均能量（average energy,AE）、熵（entropy,EN）、對比度（contrast,CD）；邊緣特征有標(biāo)準差（standard deviation,STD）、邊緣強度（edge strength,ES）、邊緣豐度（edge abundance,EA）、平均梯度（average gradient,AG）；紋理差異特征有Tamura 對比度（Tamura contrast,TCD）、均勻度（homogeneity degree,HD）、清晰度（definition,DF）。

特征差異度是用來描述雙模態(tài)紅外圖像差異特征的差異程度，范圍[0～1]，如公式(1)所示：

式中：Dif 代表特征差異度；Df 代表差異特征值；I 和P 分別代表紅外光強與偏振圖像；w1、w2分別為紅外光強、偏振圖像的權(quán)重；σ是一個極小的常數(shù)用于防止分母為0。

將多樣本圖像劃分為32×32 尺寸的局部圖像，從中隨機選擇64 組計算亮度、邊緣和紋理特征的差異度如圖2所示，通過觀測64 組樣本圖像特征差異度的分布情況對圖像特征進行粗篩，確定雙模態(tài)紅外圖像的差異特征。亮度特征中，AE 與CD 的差異度值較高且存在較大的幅值范圍，但是EN 差異特征差異度較低，對兩類圖像的差異表示不明顯，因此選擇AE 和CD 作為亮度差異特征；邊緣特征中，由于EA與AG 相比于STD 與ES 來說，它們存在高差異度值的數(shù)量較多，STD 與ES 的特征差異在圖像中不明顯，因此選擇EA 和AG作為邊緣差異特征；紋理特征中，TCD 和DF 差異特征存在高的差異度和較大的幅值，而HD 差異度值的變化趨勢與TCD 相近且大多數(shù)值較低于TCD 差異度值，因此選擇TCD 和DF 作為紋理差異特征。

圖2 亮度、邊緣和紋理特征下的特征差異度Fig.2 Feature difference under brightness,edge and texture features

利用主差異特征類型選取規(guī)則，獲取圖像的3 種主差異特征類型。將亮度特征和邊緣紋理特征設(shè)為兩組，先分別得到兩組中包含主差異特征的個數(shù)MTea如式(3)所示，兩組的差異特征按差異度排序后，分別選擇對應(yīng)個數(shù)的差異特征，得到主差異特征類型。

1.2 各層變元和擬態(tài)結(jié)構(gòu)的確定

1）特征融合度

在確定差異特征與各層變元、擬態(tài)結(jié)構(gòu)的關(guān)系時，需要選擇出圖像融合效果較好的組合，除了對視覺效果的判斷以外，還要進行客觀描述。在圖像不失真的情況下，差異特征值越高代表圖像質(zhì)量越好，由于對差異特征值直接比較并不直觀，為了更方便地觀測出雙模態(tài)紅外圖像差異特征的融合效果，采用特征融合度來描述在不同變元組合下差異特征的融合情況，選擇變元分層結(jié)構(gòu)中融合主差異特征效果較好的變元，如公式(4)所示：

式中：xi為不同變元融合得到差異特征值；n為各層變元的總數(shù)；yi為計算所得差異特征的特征融合度數(shù)值。yi＞0 認為變元所對應(yīng)圖像差異特征擁有較好的融合效果，且數(shù)值越大融合效果越好，yi＝1 時融合效果最好；反之認為融合效果不好，并且數(shù)值越小融合效果越差。

2）各層變元的確定

擬態(tài)融合的組成結(jié)構(gòu)包括擬態(tài)變元和擬態(tài)結(jié)構(gòu)，將擬態(tài)變元分為高層變元、低層變元和基層變元，構(gòu)造擬態(tài)融合方法的擬態(tài)變元集合，具體如表1所示。其中高層變元代表各類多尺度分解算法；低層變元代表高低頻融合規(guī)則；基層變元則代表融合參數(shù)。

表1 擬態(tài)變元集Table 1 Set of mimic variables

在各層變元中，由于高層變元包含低層和基層變元，因此依次確定差異特征與高層變元、低層變元和基層變元的關(guān)系。

建立單一差異特征與高層變元類間的關(guān)系，確定高層變元類。固定低層與基層變元，在不同高層變元類內(nèi)各選一種高層變元分別進行6 類差異特征的融合，比較融合后對應(yīng)差異特征的特征融合度值，由于同類型的高層變元分解方式相似，因此至少選擇前2個特征融合度最大的高層變元類，來確定單一差異特征的高層變元類，如式(5)所示：

式中：DF(n)代表第n個差異特征，HVkn表示與差異特征n對應(yīng)的第k個高層變元類，其中n＝1,2,…,6，k＝1,2,…,K。

建立單一差異特征與高層變元類內(nèi)的關(guān)系，確定類內(nèi)高層變元。確定高層變元類后，將類內(nèi)所有高層變元進行差異特征的融合，分別計算6 類差異特征不同高層變元的特征融合度，保留特征融合度大于0 的高層變元，確定單一差異特征的類內(nèi)高層變元，如式(6)所示：

式中：j＝1,2,…,J為差異特征對應(yīng)的類內(nèi)高層變元個數(shù)的變量。

建立單一差異特征與低層變元的關(guān)系。固定基層變元，將差異特征對應(yīng)高層變元的所有低層變元組合情況進行差異特征的融合，先進行主觀判斷，剔除融合失真、視覺效果差的變元組合情況后，再計算特征融合度，選擇特征融合度值大于0 的低層變元，確定低層變元，如式(7)所示：

式中：LV 代表低層變元，h＝1,2,…,H為高層變元下低層變元個數(shù)的變量。

建立單一差異特征與基層變元的關(guān)系。將不同基層變元代入式(7)下得到的高層和低層變元組合中，選擇在高層和低層變元相同的情況下，不同基層變元中差異特征的特征融合度最大值，確定差異特征對應(yīng)的基層變元，變元分層結(jié)構(gòu)也由此確定，如式(8)所示：

式中：BV 代表基層變元；l＝1,2,…,L為低層變元下基層變元個數(shù)的變量。

3）擬態(tài)結(jié)構(gòu)的確定

擬態(tài)結(jié)構(gòu)代表高層變元的組合方式，常見的擬態(tài)結(jié)構(gòu)為串聯(lián)式、并聯(lián)式和內(nèi)嵌式結(jié)構(gòu)。串聯(lián)式結(jié)構(gòu)（tandem structure,TS）將前一級高層變元的輸出作為后一級高層變元的輸入，同時要保證第二級后各高層變元輸入的合理設(shè)計；并聯(lián)式結(jié)構(gòu)（parallel structure,PS）不同高層變元具有相同的輸入，對圖像同時進行融合，最后將不同融合結(jié)果合成獲得并聯(lián)式結(jié)構(gòu)的融合結(jié)果；內(nèi)嵌式結(jié)構(gòu)（embedded structure,ES）是由不同高層變元層層嵌套獲得最終融合結(jié)果，其內(nèi)部輸出能作為其他高層變元的輸入，其他高層變元能夠嵌入其中，當(dāng)內(nèi)部融合結(jié)束后，外部高層變元將內(nèi)部不同融合結(jié)果組合得到內(nèi)嵌式結(jié)構(gòu)的融合結(jié)果。

確定變元分層結(jié)構(gòu)后，建立主差異特征類型與擬態(tài)結(jié)構(gòu)的關(guān)系，即確定對高層變元的組合結(jié)構(gòu)，從而形成變體。由式(3)的主差異特征類型選取規(guī)則得到圖像的主差異特征，對應(yīng)出各層變元后，按照不同擬態(tài)結(jié)構(gòu)對高層變元進行組合，計算各擬態(tài)結(jié)構(gòu)不同主差異特征類型融合結(jié)果的特征融合度，確定特征融合度最大值占比最高的擬態(tài)結(jié)構(gòu)，形成變體，如式(9)所示：

式中：MDF代表主差異特征類型；MS表示擬態(tài)結(jié)構(gòu)；E表示變體；y表示高層變元的個數(shù)，s＝1,2,…,S，代表擬態(tài)結(jié)構(gòu)個數(shù)的變量。

2 實驗及結(jié)果分析

2.1 實驗結(jié)果

通過對圖3 中6 組雙模態(tài)紅外圖像進行實驗來驗證本文擬態(tài)融合方法的融合效果，圖像組中第一行為紅外光強圖像，第二行為紅外偏振圖像。本文在擬態(tài)變元集中高層變元類內(nèi)選擇具有代表性的多尺度融合方法，例如金字塔變換類內(nèi)有拉普拉斯金字塔（Laplacian pyramid,LP）[12]、低通比率金字塔（low-pass ratio pyramid,RP）[13]等；小波變換類內(nèi)包括離散小波變換（discrete wavelet transform,DWT）[14]、雙樹復(fù)小波變換（dual-tree complex wavelet transform,DTCWT）[15]等；方向濾波類包括非下采樣剪切波變換（non-subsampled Shearlet transform,NSST）[16]等；邊緣保持類內(nèi)包括導(dǎo)向濾波（directed filtering,GF）[7]、L0邊緣保持濾波（L0 edge-preserving filtering,LEP）[17]等。低層變元中的融合規(guī)則組合表示為（高頻規(guī)則_低頻規(guī)則）?；鶎幼冊械娜诤蠀?shù)包含在融合算法內(nèi)，如LP、RP、DWT 等存在分層參數(shù)n，NSST 算法中剪切波的方向參數(shù)（dcomp)、尺度參數(shù)（dsize)，GF 的濾波參數(shù)（filter）等。

圖3 實驗圖像Fig.3 Experimental images

首先由式(1)計算得到6 組圖像差異特征的特征差異度，再利用式(3)結(jié)合特征差異度確定各組圖像的主差異特征類型，結(jié)果如表2所示。

表2 主差異特征類型Table 2 Main difference feature types

根據(jù)確定的變元分層結(jié)構(gòu)，對應(yīng)出6 組圖像主差異特征類型的各層變元。由于圖像組的主差異特征類型不同，對應(yīng)的變元也不相同，最后確定的各層變元如表3所示。

表3 圖像組的各層變元Table 3 Variables of each layer of image group

選擇擬態(tài)結(jié)構(gòu)，確定高層變元合適的組合方式，從而形成變體。分別對6 組雙模態(tài)紅外圖像的不同高層變元按不同擬態(tài)結(jié)構(gòu)組合，計算在3 種擬態(tài)結(jié)構(gòu)組合下融合結(jié)果的特征融合度，如圖4所示。

圖4 6 組圖像的特征融合度Fig.4 Feature fusion degree of six groups of images

由于串聯(lián)式結(jié)構(gòu)在融合過程中，每次串聯(lián)時融合圖像的選擇對融合結(jié)果起關(guān)鍵作用，因此在串聯(lián)時需要選擇合適的圖像輸入進行融合；并行式結(jié)構(gòu)在最后融合時權(quán)重的不同影響著融合的質(zhì)量，本文權(quán)重取均值，從圖中結(jié)果可以看出差異特征融合效果不理想；內(nèi)嵌式結(jié)構(gòu)中圖像的融合質(zhì)量與高層變元的嵌套位置有關(guān)，當(dāng)圖像分解后需要選擇合適的高層變元對高頻或低頻分量進行融合。觀測圖4 不同圖像組差異特征的特征融合度結(jié)果，得出a、b、c、d、f 圖像組的特征融合度最大值串聯(lián)式結(jié)構(gòu)占比最高，因此確定擬態(tài)結(jié)構(gòu)為串聯(lián)式結(jié)構(gòu)；e 圖像組中特征融合度最大值占比最高的是內(nèi)嵌式結(jié)構(gòu)，因此其作為e 組圖像的擬態(tài)結(jié)構(gòu)。

最后的實驗結(jié)果如圖5所示，其中(1)組為擬態(tài)融合方法形成變體后最終得到的融合結(jié)果，對比實驗使用LP_SR[8]與CNN[9]算法，實驗結(jié)果分別為(2)組與(3)組。

圖5 紅外光強與偏振圖像融合結(jié)果Fig.5 Fusion results of infrared light intensity and polarized images

2.2 結(jié)果分析

1）主觀分析

從視覺效果來看，a(1)右上角建筑的邊緣和紋理部分比a(2)和a(3)更明顯，b(1)中汽車刮雨器附近的細節(jié)比b(2)和b(3)更多，c(1)欄桿處的視覺效果比c(2)和c(3)好，d 和e 組圖像在方法1 下的結(jié)果亮度比在方法2 和方法3 下結(jié)果的亮度高，其中e(1)圖中坦克炮筒部分的邊緣比e(2)和e(3)圖像清晰，f(1)結(jié)果的紋理比f(2)和f(3)的紋理更明顯。

2）客觀分析

利用9 種常用評價指標(biāo)對6 組圖像的3 種不同融合結(jié)果進行比較，如表4所示。雖然評價指標(biāo)結(jié)果的最大值沒有都在(1)組圖像中，但整體來說，利用(1)組方法所得融合圖像的常用評價指標(biāo)結(jié)果最優(yōu)值總體所占比重比其他兩種方法得到融合圖像的評價指標(biāo)結(jié)果大得多，高達77.8%，其中(2)組中算法評價指標(biāo)最優(yōu)值占 5.6%，(3)組中算法評價指標(biāo)最優(yōu)值占16.6%。因此從常用指標(biāo)評價結(jié)果可知，針對圖像差異的擬態(tài)融合方法能夠?qū)崿F(xiàn)較好的融合效果。

表4 評價指標(biāo)結(jié)果Table 4 Evaluation index results

用擬態(tài)指標(biāo)進行評價，分析擬態(tài)融合方法的優(yōu)勢。融合有效度是比較雙模態(tài)紅外圖像各類差異特征融合效果的評價指標(biāo)，其作用是評價融合方法對源圖像差異信息的融合情況，如式(10)所示：

式中：I 和P 分別為紅外光強與偏振圖像；T 代表差異特征的編號；Df 為差異特征值；FD 代表差異特征的融合度。wI,T和wp,T代表權(quán)重因子，為了說明源圖像中差異特征較大者其重要性也越大，反之越小。

用3 種融合方法得到的6 組雙模態(tài)紅外圖像融合結(jié)果的融合有效度如表5所示。通過觀察差異特征融合有效度的最大值分布可知，(1)中方法對差異特征的融合效果總體比其他兩種方法對差異特征的融合效果好。另外觀察表中數(shù)據(jù)可知(1)中方法的融合有效度都為正值，而(2)組所用方法的融合有效度在b、c、e圖像組中存在負值，(3)組所用方法的融合有效度在a、b、c、e 圖像組中存在負值，代表本文方法可以通過對融合策略進行自適應(yīng)選擇，實現(xiàn)對源圖像差異特征的有效融合，而其他方法存在對源圖像差異特征的無效融合

表5 融合有效度結(jié)果Table 5 Fusion effectiveness results

3 結(jié)論

本文提出一種面向圖像差異的擬態(tài)融合方法，該方法通過確定變元分層結(jié)構(gòu)，根據(jù)圖像主差異特征類型確定各層變元和擬態(tài)結(jié)構(gòu)，實現(xiàn)對變體的獲取，達到融合雙模態(tài)紅外圖像互補信息的目的，實現(xiàn)了對融合算法的針對性選擇和圖像的自適應(yīng)性融合，從主客觀進行評價，特別是擬態(tài)評價指標(biāo)的結(jié)果得出本文方法實現(xiàn)了對圖像差異信息的有效融合和圖像融合的自適應(yīng)性，提高了圖像的融合質(zhì)量。本文研究為下一步面向圖像區(qū)域劃分，提高局部區(qū)域融合質(zhì)量的擬態(tài)融合研究提供參考。