于振海,張珍明,陳　茹

(第二炮兵指揮學院,湖北 武漢 430012)

基于Contourlet變換的紅外與可見光圖像融合方法

于振海,張珍明,陳茹

(第二炮兵指揮學院,湖北 武漢 430012)

摘要針對紅外與可見光圖像的特點和Contourlet變換的多分辨率和多方向的特性，提出了一種基于Contourlet變換的紅外與可見光圖像融合方法。該方法將源圖像做Contourlet變換，獲得低頻分量和各帶通方向子帶的高頻分量，根據低頻和高頻分量各自的特點采用不同融合規(guī)則。低頻分量反映源圖像的平均特性，包含源圖像的光譜信息和大部分的能量信息，對低頻分量采用基于塊的標準差加權的融合規(guī)則；針對高頻分量包含大量有用的邊緣和紋理等細節(jié)信息，對融合圖像質量影響較大，考慮到不同尺度上的高頻系數包含的信息量不同，對高頻分量的不同尺度的系數制定不同的融合規(guī)則，在較大尺度上采用系數絕對值取大的方法，在較小尺度上采用小系數區(qū)域能量取大的方法和大系數絕對值取大的方法。最后經Contourlet逆變換重構獲得最后的融合圖像。仿真結果表明，通過主觀視覺效果和客觀評價指標進行評價，與傳統(tǒng)圖像融合算法相比，該方法能有效提取源圖像的有用信息，取得較好的融合圖像結果。

關鍵詞Contourlet變換;圖像融合;紅外圖像;可見光圖像

A Method for Fusion of Infrared and Visible Images

Based on Contourlet Transform

YU Zhen-hai,ZHANG Zhen-ming,CHEN Ru

(TheSecondArtilleryCommandCollege,WuhanHubei430012,China)

AbstractAiming at the features of infrared and visible images and the advantages of multi-scale and multiple directions in the Contourlet transform,this paper proposes a method for fusion of infrared and visible images based on Contourlet transform.Firstly,the original images are decomposed by using Contourlet transform to obtain low and high frequency coefficients.The different fusion rules are used based on the different features of low and high frequency coefficients.For low frequency coefficients,the weighted regional standard variance fusion rule is adopted in view of the image average characteristics.For high frequency coefficients,and a fusion rule based on multi-scale is adopted in the view of different scale with different information.The maximum absolute coefficients are used with bigger scales.The rest scales are divided into two parts:small and big coefficients.This paper chooses the biggest absolute coefficient with big coefficients,and adopts the coefficients with maximum regional power of small coefficients.Finally,the final fusion image is acquired through Contourlet inverse transform.The simulation results show that the proposed method is superior both in vision and in objective evaluation compared with traditional image fusion methods,and can get more useful information from original images and better image fusion.

Key wordscontourlet transform;image fusion;infrared image;visible image

0引言

圖像融合是通過一定技術手段，綜合2幅或多幅來自不同信源的圖像信息以及其他信息，以獲得對同一場景更精確、全面、可靠的圖像描述[1]。將不同模式下同一個場景的多幅信源圖像融合成一幅圖像，使融合圖像具有各信源圖像所包含的有用信息。圖像融合并不是簡單的疊加，它可以消除多信源之間可能的冗余與矛盾，降低信息不確定性和模糊度，將有用信息重點突出出來，增強圖像中信息的透明度，提高圖像解釋的可靠性和準確性。圖像融合要在盡量保留源圖像信息的基礎上，將多幅圖像的信息綜合到一幅圖像中。紅外與可見光圖像融合是圖像融合領域的重要組成部分，經過圖像融合可以提高紅外目標的可識別度和圖像的清晰度，在軍事領域有廣泛的應用價值[2]。

近年來，大部分發(fā)展出來的像素級圖像融合算法都是基于圖像多分辨率技術的算法[3]，尤其是基于多尺度幾何分析的圖像融合方法被廣泛的運用。最經典的有金字塔變換和小波變換[4]，以及其后陸續(xù)提出的Ridgelet、Curvelet和Contourlet等后小波變換方法(也稱X-let算法)[5]，已成為像素級圖像融合中的一類主流方法。基于金字塔分解的圖像融合方法能在不同尺度和頻率空間上有針對性的突出圖像的重要特征和細節(jié)信息，但其變換無方向性，融合后容易出現(xiàn)模糊現(xiàn)象；小波變換保持了金字塔分解的優(yōu)點，有一定的方向選擇性、正交性和可變的時頻分辨特性，但變換只有有限的3個方向，不能有效增強空間細節(jié)信息。Contourlet變換[6]具有多分辨率、局域性和方向性的優(yōu)點[7]。這些優(yōu)良特性，使它在圖像融合領域也有很好的應用。Contourlet變換具有更加靈活的多方向性、多尺度特性和各向異性，能更好地提取特性的邊緣、方向等細節(jié)信息，獲得比金字塔分解和小波變換更好的融合效果。本文基于Contourlet變換的優(yōu)勢提出了一種紅外與可見光圖像的融合方法。

1Contourlet變換理論

Contourlet變換又稱為塔形濾波器組(Pyramidal Directional Filter Bank,PDFB)分解。PDFB是由一個拉普拉斯金字塔濾波器(LP)和方向濾波器組(DFB)級聯(lián)而成的。所產生的支集為長方形，具有各向異性[7]，所以能很好地滿足奇異曲線的各向異性尺度關系。Contourlet變換的流程圖和頻率分解圖如圖1所示。

圖1　Contourlet變換流程圖及頻率分解

由圖1可以看出，Contourlet變換是用2個步驟實現(xiàn)多尺度分析和方向分析，即先用LP變換對圖像做多尺度分解來“捕獲”點奇異，接著用方向濾波器組(DFB)將散布在同方向上的奇異點合成一個集，Contourlet變換的最終結果是把原圖像用類似輪廓線段的基結構來逼近[8]。

由于Contourlet變換的基函數是在二維連續(xù)空間中定義的多方向基，所以它能用各個尺度上的基結構對原圖像進行良好的非線性逼近。并且在每一尺度上都可以分解為2j(j為任意正整數)個方向子帶，因而可以實現(xiàn)靈活多變的多分辨多尺度分析，能有效提取圖像中具有局部性和多方向性的幾何特征。用小波變換和Contourlet變換對奇異曲線進行逼近的比較如圖2所示。圖2(a)是由一維小波張成的二維小波基具有正方形的支撐區(qū)間，在不同分辨率下，其支撐區(qū)間為不同尺寸大小的正方形，二維小波逼近奇異曲線的過程，最終表現(xiàn)為用“點”來逼近線的過程[7]，因此具有各向同性和無方向性。圖2(b)為用Contourlet變換來逼近奇異曲線的過程，其支撐基表現(xiàn)為具有多方向的長條形結構，因為在不同分辨率下，其支撐區(qū)間為不同尺寸、不同方向的長條形，因而能用比小波更少的系數來描述奇異曲線。因而Contourlet變換較小波變換而言能對曲線進行更稀疏的表示。

圖2　小波和Contourlet變換曲線逼近示意

2基于Contourlet變換圖像融合

2.1　融合步驟

本文所做的工作是在源圖像已經配準的情況下進行的，其融合基本框架[9]和具體的步驟如下：

① 對源圖像分別做J層Contourlet變換，獲得各自的Contourlet系數，該系數包含低頻子帶系數和高頻子帶系數；

② 對低頻和高頻子帶系數分別采用本文制定的融合規(guī)則做處理，獲得融合圖像的Contourlet系數；

③ 對融合后的低頻和高頻子帶系數做Contourlet逆變換獲得最后的融合圖像。

圖像融合過程如圖3所示。

圖3　基于Contourlet圖像融合框架

2.2　低頻分量融合規(guī)則

經變換后的低頻分量是源圖像的近似分量，反映圖像的輪廓特征，包含了圖像的大部分能量，對低頻子帶的處理要盡可能地保留這些整體概貌特征。使用傳統(tǒng)的像素值極值法、像素值平均法會造成融合圖像的邊緣相對模糊，無法反應像素之間的相關性。所以本文采用基于塊的標準差加權的方法[10]進行低頻子帶的融合。圖像的標準差能反映局部像素灰度值的離散水平，標準差越大灰度級分布越分散，局部圖像所含的信息量越大。用基于塊的標準差加權的方法能夠有效地提取源圖像中的有用信息。具體規(guī)則如下：

(1)

分別在對應的塊中依據各自標準差的權值來確定該塊中的低頻系數，最后得到整個融合圖像的低頻子帶系數。

2.3　高頻子帶分量融合規(guī)則

因為經Contourlet變換得到的高頻子帶系數含有豐富的圖像細節(jié)信息，包括紋理和邊緣等[11]。對高頻子帶系數進行融合，其目的就是盡可能保留源圖像中的清晰細節(jié)。考慮到隨著變換尺度的不同，高頻子帶系數所包含的信息有所不同，在較大尺度上，系數越大，表示的紋理和邊緣等細節(jié)越豐富，因此在高頻子帶中的較大尺度上采用系數絕對值取大的融合規(guī)則，如式(2)所示。

(2)

在高頻子帶的較小尺度上，設定一個閾值來區(qū)分大系數和小系數，該閾值是通過多次實驗選定的經驗值，針對小系數采取局部能量取大的方法，針對大系數直接采用系數絕對值取大的方法。具體融合規(guī)則實現(xiàn)如下：

① 小系數的融合規(guī)則?？紤]到一個區(qū)域內各系數的相關性較強，對小系數的選擇采用基于區(qū)域能量特征來選取。選取掩模窗口算子如下：

(3)

相同尺度高頻子帶位置(x,y)處的區(qū)域能量可表示為：

(4)

(5)

② 對于較大系數，仍然采取系數絕對值取大的融合規(guī)則，如式(2)所示。

2.4　融合評價指標

本文選取了信息熵、標準差、空間頻率和平均梯度[12，13]作為評價融合圖像質量的指標。

2.4.1信息熵(E)

信息熵描述了圖像信息的多少，定義為：

(6)

式中，H為圖像的信息熵；L為圖像的灰度級數；pi為灰度值為i的像素數與總的像素數之比。信息熵是衡量一幅圖像信息量豐富程度的一個主要指標，熵值越大表明圖像所含的信息越豐富，融合質量越好；反之，融合質量差。

2.4.2標準差(SE)

標準差是一種表示分散程度的統(tǒng)計量，反映了圖像灰度值的分布情況。計算公式為：

(7)

2.4.3空間頻率(SF)

空間頻率表示圖像空間的總體活躍水平。其定義如下：融合后的圖像F的大小為M×N，則融合后的空間行頻率(RF)和空間列頻率(CF)如式(8)和式(9)所示，在RF和CF的基礎上定義圖像的空間頻率(SF)如式(10)所示。

(8)

(9)

(10)

空間頻率值越大，表明圖像中的細節(jié)信息越豐富，融合質量越好。

2.4.4平均梯度(AG)

平均梯度是對圖像細節(jié)對比表達能力的描述，也稱為圖像的清晰度，其計算公式為：

(11)

3實驗結果與分析

為了驗證所提算法的有效性，選擇兩組圖像進行驗證。 Contourlet變換選擇‘9-7’LP濾波器和‘pkva’方向濾波器組，分解層數為5，方向數分別為2,4,8,16,32。系數閾值通過多次實驗選取為1，即系數值≥1的判定為大系數，<1的判定為小系數。通過實驗與小波局部能量的融合方法、DBSS(2，2)小波的融合方法和拉普拉斯金字塔融合方法進行了對比。而且探索了尺度大小對融合效果的影響，本文實驗中的方法1、2、3分別是第5層系數絕對值取大、第4層和第5層系數絕對值取大和第3層、第4層和第5層系數絕對值取大。針對第1組圖像的實驗結果融合表1和圖4所示，第二組圖像的實驗結果融合表2和圖5所示。

在第1組實驗中,由表1可以看出本文方法的各項評價指標比小波方法都有所提高，雖然信息熵和標準差比拉普拉斯算法略低，但是由圖4可以看出本文方法融合圖像視覺效果比拉普拉斯金字塔的視覺效果要好，可以明顯地發(fā)現(xiàn)拉普拉斯金字塔方法融合圖像中屋頂部分有較大失真，灌木叢部分較為模糊，本文算法則較好地解決了這種失真和模糊現(xiàn)象。

表1　第1組圖像不同融合方法的融合評價

圖4　第1組圖像經不同融合方法處理后的結果

融合方法信息熵標準差空間頻率平均梯度小波局部能量7.276643.089816.76806.8898DBSS(2,2)小波7.228437.829018.95608.0501拉普拉斯金字塔7.405450.070619.30128.1294本文方法17.436447.279319.35098.5841本文方法27.440647.343619.53858.6392本文方法37.441547.417619.58048.6448

對第2組圖像，由表2可以看出本文方法的各項指標都比小波方法有較大提高，雖然標準差較拉普拉斯金字塔方法偏小，但是其他3項指標均高于拉普拉斯金字塔算法，而且從圖5的結果可以發(fā)現(xiàn)，本文方法視覺效果更優(yōu)，拉普拉斯金字塔方法的融合圖像目標區(qū)域太亮而導致目標不清晰，本文算法在細節(jié)體現(xiàn)上更有優(yōu)勢。

圖5　第2組圖像經不同融合方法處理后的結果

4結束語

提出了一種基于Contourlet變換的紅外與可見光圖像融合方法，將Contourlet變換后的高頻子帶系數根據變換尺度的大小加以區(qū)分，不同的尺度上運用不同的融合規(guī)則，在較大尺度上用系數絕對值取大的方法，在較小尺度上的大系數用系數絕對值取大，小系數采取區(qū)域能量取大的方法；低頻子帶采用基于塊的標準差加權的方法，得到了比傳統(tǒng)方法好的結果。在融合圖像視覺效果和客觀評價指標上都有所提高，達到了從源圖像提取更多有用信息和使融合圖像更加清晰的目的，提高了紅外目標的可識別度。

參考文獻

[1]POHL C.Multisensor Image Fusion in Remote Sensing:concepts,method and applications[J].International Journal of Remote Sensing,1998,19(5):823-854.

[2]沈永玲，薛毅.戰(zhàn)場偵察圖像融合技術[J].無線電工程，2011,41(5)：43-35.

[3]楊思天.基于小波變換的圖像融合技術[J].無線電工程，2006,36(8)：19-21.

[4]朱煉，孫楓.圖像融合研究綜述[J].傳感器與微系統(tǒng)，2014,33(2)：14-18.

[5]DO M N,VETTERLI M.Contourlet:A Directional Multiresolution Image Representation[C]∥Processings of IEEE International Conference on Image Processing,2002:357-360.

[6]DO M N,VETTERLI M.Contourlets:A Directional Multi- resolution Image Representation[C]∥IEEE International Conference on Image Processing,NY:Rochester,IEEE,2002:357-360.

[7]焦李成，譚山.圖像的多尺度結合分析：回顧和展望[J].電子學報，2003,31(12A)：1 975-1 981.

[8]倪偉，郭寶龍，楊镠.圖像多尺度幾何分析新進展：Contourlet[J].計算機科學，2006,33(2):234-236.

[9]張鑫，陳偉斌.Contourlet變換系數加權的醫(yī)學圖像融合[J].中國圖形圖像學報，2014,19(1):133-140.

[10]歐陽洪波.基于Contourlet變換的自適應圖像去噪及圖像融合研究[D].長沙：湖南大學，2012:48-54.

[11]趙飛翔，陶忠祥.基于NSCT的紅外與可見光圖像融合[J].電光與控制，2013,20(9)：29-33.

[12]郭雷，李暉暉，鮑永生.圖像融合[M].北京：電子工業(yè)出版社，2008：183-248.

[13]牛軼峰，趙博欣.像素級圖像優(yōu)化融合客觀評價指標分析[J].計算機與數字工程，2010,38(3)：116-122.

于振海男，(1986—)，碩士研究生。主要研究方向：圖像融合與目標識別。

張珍明男，(1971—)，副教授，博士。主要研究方向：數字圖像處理、模式識別。

作者簡介

收稿日期：2015-05-13

中圖分類號TN911.73

文獻標識碼A

文章編號1003-3106(2015)08-0030-05

doi:10.3969/j.issn.1003-3106.2015.08.09

引用格式：于振海,張珍明,陳茹.基于Contourlet變換的紅外與可見光圖像融合方法[J].無線電工程,2015,45(8):30-34.