張耀軍，吳桂玲，栗 磊

?

基于ST與量子理論模型的紅外與可見光圖像融合

張耀軍，吳桂玲，栗 磊

（信陽農(nóng)林學院計算機系，河南 信陽 464000）

針對傳統(tǒng)的紅外與可見光圖像融合方法計算復雜度高、運行機制過于機械的問題，提出一種基于剪切波變換（ST）與量子理論（QT）模型的紅外與可見光圖像融合方法。該方法利用ST優(yōu)越的圖像信息捕捉性能對源圖像進行多尺度多方向分解；其次，采用QT理論針對低頻子帶圖像和一系列高頻子帶圖像進行融合；最后，采取ST反變換獲得最終融合結(jié)果圖像。

剪切波變換；量子理論；圖像融合；紅外圖像；可見光圖像

0 引言

來自紅外傳感器的紅外圖像側(cè)重于探測和描述場景中相關目標的熱輻射信息，能夠在光線條件不佳的情況下顯示暴露在場景中或遮蔽物后的熱源目標；而可見光圖像是利用場景中目標的光反射信息對圖像加以顯示，側(cè)重于整體場景環(huán)境信息的描述，因此，可見光圖像信息的多寡很大程度上取決于場景中的光線水平。不難看出，紅外圖像與可見光圖像之間存在大量的互補信息，將二者信息加以融合并歸入一幅圖像中無疑將大幅提升圖像的信息量。目前，紅外與可見光圖像的融合已經(jīng)成為信息融合領域內(nèi)的熱點問題，相關研究成果也被廣泛應用于反恐等軍事領域[1-4]。

目前，紅外與可見光圖像的融合主要采用變換域方法加以進行。小波變換被用于完成兩類圖像的融合，并取得了良好的實驗效果[5-10]。由于經(jīng)典小波變換僅能捕捉奇異“點”信息而不能捕捉奇異“線”信息，基于此，脊波變換[11]、曲波變換[12-13]以及輪廓波變換[14-15]等變換域圖像融合方法相繼出現(xiàn)，較大幅度地提升了圖像融合性能。剪切波變換（shearlet transform，ST）[16-18]相比前幾類模型，無論在圖像信息捕捉能力還是算法計算復雜度方面均占有顯著的優(yōu)勢，并已經(jīng)逐漸成為圖像融合領域內(nèi)的主流方法和熱點研究對象，目前，ST已被廣泛地應用于圖像融合、圖像特征提取等領域。

另一方面，Tseng等人在2003年提出將量子理論（quantum theory，QT）模型[19]用于圖像處理領域，實驗結(jié)果表明QT模型能夠從純數(shù)學的角度利用計算機的比特特性對圖像融合問題加以研究，極大程度地避免了以往融合規(guī)則制定過程中主觀因素的干擾。Mao等人[20]將QT模型用于圖像去噪，取得了良好的圖像處理效果。

本文針對傳統(tǒng)的紅外與可見光圖像融合方法計算復雜度高、運行機制過于機械的問題，提出一種基于ST與QT模型的紅外與可見光圖像融合方法。首先，將利用ST對源圖像進行多尺度、多方向的分解，各生成一幅低頻微觀子帶圖像和一系列高頻微觀子帶圖像。然后，采用QT模型完成對應微觀子帶圖像的融合過程。最后，采用ST反變換生成最終融合結(jié)果圖像。

1 ST基本模型

Easley等在文獻[21]中構(gòu)造了合成膨脹下的仿射系統(tǒng)模型，并提出在維數(shù)＝2條件下的系統(tǒng)表達公式：

式中：?2(2)；和為可逆矩陣，矩陣規(guī)模為2×2，且滿足|det|=1。若M()滿足緊支撐條件，則M()的元素為合成小波。稱為各向異性膨脹矩陣，與尺度變換相關聯(lián)；為剪切矩陣，與保持面積不變的幾何變換相關聯(lián)。和的表達式分別為＝[0, 01/2]，＝[1, 0 1]。簡單方便起見，通常?。?，＝1，即＝[4 0, 0 2]，＝[1 1, 0 1]。此時，該合成小波即為剪切波。

令2(2)滿足下列條件：

*()＝*(1,2)1*(1)2*(1/2) (2)

*表示函數(shù)的傅氏變換，1和2分別滿足：

每一個剪切波位于近似大小為22j×2、線方向斜率為2-j的梯形對上，如圖1(a)所示。根據(jù)小波理論，由一維小波張成的二維小波基具有正方形的支撐區(qū)間，在尺度，其近似邊長為2，如圖1(b)所示。當尺度變大時，小波支撐基的面積隨之變大，但是由于其無方向性，非零的小波系數(shù)以指數(shù)形式增長，導致大量不可忽略的系數(shù)出現(xiàn)。小波逼近奇異曲線最終表現(xiàn)為“點”逼近過程，而非原曲線最優(yōu)的稀疏表示。剪切波以近似長條形即梯形對去逼近曲線，當尺度變大時，其支撐基的線方向斜率2-j也隨之變化，使得這種近似長條形的支撐基具有各向異性，能夠有效捕獲方向信息，它是圖像中邊緣等特征的真正的稀疏表示。圖2給出了剪切波變換中的頻率分割示意圖。

圖1 ST與二維離散小波支撐區(qū)間示意圖

圖2 ST頻率分割示意圖

2 QT模型

Tseng等[19,22-23]提出：不同于經(jīng)典比特的含義，量子比特是一種包含有兩種完全相反基態(tài)的量子系統(tǒng)，每一個量子比特可以表示為這兩種基態(tài)的線性組合，即：

＝*|0>＋*|1> (5)

式中：表示一個量子比特系統(tǒng)，|0>與|1>分別代表兩種基態(tài)，、分別為兩種基態(tài)的系數(shù)，需要注意的是，、均為復數(shù)，且滿足下式：

||2＋||2＝1 (6)

因而，結(jié)合式(5)、(6)可知，在一個量子比特系統(tǒng)中，基態(tài)|0>出現(xiàn)的概率為||2，而基態(tài)|0>出現(xiàn)的概率為||2。

對應至一幅已經(jīng)經(jīng)過歸一化處理后的灰度圖像，(,)表示其中的像素點灰度值，由于(,)的數(shù)值介于0和1之間，因此，可以用量子比特系統(tǒng)來表示圖像，其中灰度值為1的概率系數(shù)為(,)，灰度值為0的概率系數(shù)為1－(,)，即滿足下式：

式中：兩種基態(tài)|0＞和|1＞分別表示像素點灰度值為0時以及像素點灰度值為1時的狀態(tài)。

進一步地，對單個像素點信息進行擴展，延伸至鄰域像素點灰度值信息，以行相鄰像素點(－1,)，(,)，(＋1,)為例，由于每個像素點均存在0和1兩種初始基態(tài)，因此，3個像素點共可以構(gòu)成8種基態(tài)：000,001,010,011,100,101,110,111。故量子比特系統(tǒng)可以表示為：

沿用量子坍縮理論，僅針對中心像素點(,)進行處理，則式(8)可以改寫為(9)、(10)。

顯然，量子坍縮理論消除了原先行鄰域中中心像素點灰度值對整個鄰域造成的潛在影響，這一思路與現(xiàn)行許多基于區(qū)域像素點的圖像處理方法是相吻合的。

3 基于ST與QT模型的紅外與可見光圖像融合算法

基于上節(jié)中的QT模型和量子坍縮理論，可以得出例如在(i－1, j)＝1，(,)＝1，(＋1,)＝1狀態(tài)下的概率。結(jié)合式(8)、(10)，可以得到像素點(,)的重構(gòu)灰度值：

(,)=|111>/|111> (11)

式中：|111>＝(－1,)(,)(＋1,)|111>，b|111>＝(－1,)(＋1,)|111>。

假設歸一化后源圖像的數(shù)量為，ST將對幅源圖像進行分解，并得到一系列低頻微觀子圖像和高頻微觀子圖像。針對K幅圖像中的同一空間位置像素點1(,),2(,),…,I(,)，其初始基態(tài)概率為1|111>,2|111>,…,a|111>，坍縮后的基態(tài)概率為1|111>,2|111>,…,b|111>，則幅源圖像的最終融合圖像F為：

提取各項的概率密度，式(12)進一步改寫為：

簡單起見，令式(13)中的各項系數(shù)為1,2,…,a，顯然1＋2+…＋a＝1。因此，式(13)等價于對幅源圖像像素點灰度值的加權(quán)處理。特別地，當系數(shù)的分母為0時，可以選取灰度值最大的像素點作為最終融合圖像中的像素點。

圖3給出了以兩幅源圖像為例的基于ST與QT模型的紅外與可見光圖像融合過程。

圖3 基于ST與QT模型的紅外與可見光圖像融合過程

首先，采用ST理論獲得一系列多尺度、多方向下的微觀子圖像；接著，利用構(gòu)建的QT模型實現(xiàn)對應尺度、對應方向的微觀子圖像的融合過程；最后，進行ST反變換獲得最終結(jié)果。這里，以兩幅待融合紅外與可見光源圖像A和B為例，其中A和B為關于同一場景的不同圖像傳感器獲取的已完成配準的源圖像。其中，A、B為兩幅源圖像，low和high分別代表低頻微觀融合子圖像和高頻微觀融合子圖像部分，ST表示剪切波變換，F(xiàn)表示最終融合圖像?；赟T與QT模型的紅外與可見光圖像融合算法具體步驟如下：

INPUT：兩幅已配準的紅外與可見光源圖像A和B；

OUTPUT：最終融合圖像F；

STEPS：

1）ST將源圖像A、B分解為低頻微觀系數(shù){A, 0,B, 0}和高頻微觀系數(shù){A, L,B, L}，其中，尺度級數(shù)為，是下的方向分解級數(shù)；

2）分別計算低頻微觀系數(shù)和高頻微觀系數(shù)的概率密度數(shù)值，完成高、低頻微觀子圖像的融合過程。

3）利用ST反變換對融合后的低頻微觀子帶融合圖像和一系列高頻微觀子帶融合圖像進行處理獲取結(jié)果圖像F。

4 仿真實驗

為了驗證本文方法的實際運行效果，本節(jié)選取兩組已配準紅外與可見光圖像作為待融合源圖像進行本文方法的性能驗證實驗，并以WINDOWS 7系統(tǒng)和MATLAB 2012為平臺，仿真、比較與分析包括本文方法在內(nèi)的幾種融合方法的融合效果。

兩組待融合源圖像如圖4所示。其中，這兩組圖像均含有256級灰度級，且圖片大小均為512×512像素。在第一組待融合源圖像中，可見光圖像僅能捕捉到場景中的背景信息，譬如鐳射光下的商鋪名稱，但由于光線條件較差，其他信息沒有能夠得到很好地體現(xiàn)和描述；在紅外圖像中，我們可以發(fā)現(xiàn)該場景中實際上包含了大量的信息，如街道左側(cè)的行人以及行駛中的兩輛汽車等。在第二組待融合源圖像中，光線條件較好，背景信息量大且紋理較為清晰，但無法捕捉到隱藏在叢林中的熱源信息；而紅外圖像中可以準確地捕捉到熱輻射源信息，發(fā)現(xiàn)叢林中的人員信息。顯然，將同一場景中的紅外與可見光圖像加以融合將極大地豐富原始待融合源圖像中的重要目標信息。

圖4 仿真源圖像

在融合仿真實驗中，本文方法的參數(shù)設置情況如下：ST多尺度分解級數(shù)為3層，按照尺度分解次序，各尺度下的方向分解級數(shù)分別為10，10和18，鄰域空間半徑＝3。為了與本文方法作比較，本節(jié)還選取了另外3種方法，分別為：多通道PCNN方法（方法1）[24]、ST方法（方法2）[18]以及拉普拉斯變換方法（方法3）[25]。為了保證融合效果的公正客觀性，方法1～方法3中的參數(shù)仍沿用相關文獻中的設置模式。融合結(jié)果除采取主觀評價外，還選取了信息熵（IE）[26]、互信息量（MI）[26]以及空間頻率（SF）[26]3種客觀評價指標作為評價依據(jù)。IE數(shù)值表征圖像中包含信息量的大小，數(shù)值越大，融合圖像信息越豐富。MI數(shù)值反映了最終融合圖像與源圖像間的交互信息，MI數(shù)值越大，表征融合圖像中涉及到源圖像的原始信息越豐富。SF可以在一定程度上反映融合圖像中各像素點的活躍程度，SF數(shù)值越大，代表融合圖像包含的顯著信息越豐富。IE，MI，SF的詳細內(nèi)容請參見文獻[26]。圖5，圖6給出了兩組待融合源圖像的融合效果圖。

圖5 第一組待融合源圖像融合效果圖

圖6 第二組待融合源圖像融合效果圖

實驗結(jié)果表明，基于方法1的融合圖像在主觀視覺效果上非常糟糕，在實驗一中出現(xiàn)了大量的虛假信息，在實驗二中的視覺效果非常模糊，待融合源圖像中的信息并沒有在最終融合結(jié)果中得以體現(xiàn)?；诜椒?生成的最終融合效果圖像雖然較方法1有所改觀，但在細節(jié)信息表達上表現(xiàn)不佳，例如商鋪篷布上方的“NERO”標記非常模糊，難以識別，實驗二中也損失了部分源圖像中的欄桿信息。方法3相對于方法1、方法2而言有較好的視覺效果，實驗一中的汽車以及“NERO”標記已經(jīng)可以辨別出來，在實驗二中也對待融合源圖像中的主體和細節(jié)信息進行了較好地融合和表達，但有關人體的紅外信息不太完整。相比前3種方法，基于本文方法的融合效果圖像更為清晰，擁有更理想的主觀視覺效果，表現(xiàn)也更令人滿意。

表1中列出了兩組融合實驗中以IE、MI、SF為客觀評價指標的評價結(jié)果。表格內(nèi)容顯示：結(jié)果表明，方法1的融合結(jié)果在IE、SF兩項指標上較方法2、3有明顯優(yōu)勢，從側(cè)面表明方法1的融合圖像含有較豐富的信息和較高的活躍程度。本文方法較其他3種融合方法擁有更理想的客觀指標結(jié)果，無論在信息量、交互信息量還是空間頻率指標上均占有顯著優(yōu)勢。顯然，客觀評價結(jié)果與主觀視覺評價效果是基本一致的。

以上兩組仿真實驗分別從主觀視覺效果和客觀評價指標兩個方面驗證了本文方法的合理有效性。此外，計算代價也是衡量算法性能的重要指標之一。為了盡可能保證比較的客觀公正性，本節(jié)選取第二組仿真實驗為例，對每種方法均運行3次給出算法的平均運行時間，如表2所示。黑色粗體代表本方法3次實驗中的最佳數(shù)據(jù)。

由表2數(shù)據(jù)可知，方法1由于運行機制不涉及多尺度幾何變換，因此在平均運行時間指標上占有明顯的優(yōu)勢，僅耗時1.362s；方法3的融合機制較為復雜，因此較其他3種方法較為耗時；方法2和本文方法均涉及ST變換，但本文方法采用量子理論模型對微觀子帶圖像進行融合，因此具有更低的計算復雜度。綜合表1和表2數(shù)據(jù)分析，本文方法不僅具有更理想的圖像融合效果，而且在算法運行效率上同樣占有較為明顯的優(yōu)勢，預期能夠適用于實時性要求較高的應用領域。

表1 四種融合方法的客觀指標值比較

表2 算法平均運行時間比較

5 結(jié)論

本文綜合shearlet變換理論以及量子理論模型的優(yōu)勢，提出一種新型的紅外與可見光圖像融合方法。本文首先對待融合源圖像進行多尺度、多方向分解，接著采用量子理論模型作為高、低頻微觀子帶圖像的融合方法。仿真實驗選取了兩組源圖像進行實驗，實驗結(jié)果表明本文方法無論在直觀視覺效果還是客觀評價結(jié)果中均占有顯著的優(yōu)勢。

[1] Li X, Qin S Y. Efficient fusion for infrared and visible images based on compressive sensing principle[J]., 2011, 5(2): 141-147.

[2] Chang X, Jiao L C, Liu F, et al. Multicontourlet-based adaptive fusion of infrared and visible remote sensing images[J]., 2010, 7(3): 549-553.

[3] Kong W W, Lei Y, Ni X L. Fusion techniques for grey-scale visible lightand infrared images based on non-subsampled contourlet transform and intensity hue saturation transform[J]., 2009, 5(1): 75-80.

[4] Ulusoy I, Yuruk H. New method for the fusion of complementary information from infrared and visual images for object detection[J]., 2011, 5(1): 36-48.

[5] 鄭繼明, 耿金玲. 小波變換在圖像融合中的應用研究[J]. 重慶郵電大學學報: 自然科學版, 2008, 20(5): 561-567.

[6] 劉斌, 劉維杰, 彭嘉雄. 采用三通道不可分對稱小波的紅外與可見光圖像融合[J]. 紅外與激光工程, 2011, 40(5): 974-979.

[7] 孫新德, 劉國梅, 薄樹奎. 基于QPSO和統(tǒng)計特征的紅外與可見光圖像融合[J]. 紅外技術, 2014, 36(11): 900-904.

[8] 劉思汝, 楊風暴, 陳磊. 基于關鍵幀提取的紅外與可見光序列圖像快速融合[J]. 紅外技術, 2014, 36(5): 350-354.

[9] 王宇慶, 王索建. 紅外與可見光融合圖像的質(zhì)量評價[J]. 中國光學, 2014, 7(3): 396-401.

[10] 陳小林, 王延杰. 非下采樣變換的紅外與可見光圖像融合[J]. 中國光學, 2011, 4(5): 489-496.

[11] 趙子沂, 鄭永果. 基于脊波的多光譜和全色圖像融合方法研究[J]. 計算機工程與應用, 2012, 48(15): 164-167.

[12] 趙景朝, 曲仕茹. 基于Curvelet變換與自適應PCNN的紅外與可見光圖像融合[J]. 西北工業(yè)大學學報, 2011, 29(6): 849-853.

[13] 薛琴, 范勇, 李繪卓, 等. 基于曲波變換的紅外與可見光圖像融合算法[J]. 計算機工程, 2011, 37(3): 224-226.

[14] 王斐, 梁曉庚, 崔彥凱, 等. 非負矩陣分解和新輪廓波變換的圖像融合方法[J]. 計算機工程與應用, 2013, 49(5): 150-153.

[15] 莫建文, 馬愛紅, 首照宇, 等. 基于Brenner函數(shù)與新輪廓波變換的多聚焦融合算法[J]. 計算機應用, 2012, 32(12): 3353-3356.

[16] 馮鑫, 王曉明, 黨建武, 等. 基于Shearlet變換的紅外與可見光圖像融合[J]. 光電子×激光, 2013, 24(2): 384-390.

[17] 鄭紅, 鄭晨, 閆秀生, 等. 基于剪切波變換的可見光與紅外圖像融合算法[J]. 儀器儀表學報, 2012, 33(7): 1613-1619.

[18] Miao Q G, Shi C, Xu P F, et al. A novel algorithm of image fusion using shearlets[J]., 2011, 284(6): 1540-1547.

[19] Tseng C C, Hwang T M. Quantum digital image processing algorithms[C]//16th,, Kinmen, 2003: 827-834.

[20] Yuan S Z, Mao X, Chen L J, et al. Quantum digital image processing algorithms based on quantum measurement[J]., 2013, 124(23): 6386-6390.

[21] Easley G, Labate D, Lim W Q. Sparse directional image representation using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[22] 謝可夫, 許悟生. 量子衍生圖像分解和邊緣檢測[J]. 計算機應用, 2013, 33(4): 1089-1091.

[23] 付游, 許悟生, 謝可夫. 基于量子理論的自適應圖像融合規(guī)則[J/OL]. 計算機工程與應用, 2014: http://www.cnki.net/kcms/doi/ 10.3778/j.issn.1002-8331.1310-0273.html.

[24] Wang Z B, Ma Y D. Medical image fusion using m-PCNN[J]., 2008, 9(2): 176-185.

[25] Burt P, Adelson E. The laplacian pyramid as a compact image code[J]., 1983, 31(4): 532-540.

[26] Liu Z, Blasch E, Xue Z Y, et al. Fusion algorithms for context enhancement in night vision: a comparative study[J]., 2012, 34(1): 94-109.

Fusion for Infrared and Visible Light Images Based on Shearlet Transform and Quantum Theory Model

ZHANG Yao-jun，WU Gui-ling，LI Lei

(,,464000,)

In order to settle the drawbacks including high computational complexities and the unreasonable mechanism of traditional fusion methods for infrared and visible light images, a novel fusion technique for infrared and visible light images based on shearlet transform（ST） and quantum theory（QT） model is proposed in this paper. Due to the better competence of image information capturing, ST is utilized to conduct the multi-scale and multi-directional decomposition of source images. In addition, the fusion of low-frequency sub-images and a series of high-frequency ones is conducted by using QT. Finally, the final fused image can be obtained by using inverse ST.

shearlet transform，quantum theory，image fusion，infrared image，visible light image

TP182

A

1001-8891(2015)05-0418-06

2015-01-25；

2015-03-11.

張耀軍（1979-），男，河南信陽人，碩士，講師，主要研究方向為網(wǎng)絡信息安全、圖像智能信息處理等。