符 強，任風(fēng)華，蔣昌茂，紀(jì)元法，趙嶺忠

（1.桂林電子科技大學(xué) 信息與通信工程學(xué)院，廣西 桂林 541004；2.桂林師范高等?？茖W(xué)校，廣西 桂林 541002）

遙感圖像（包括航空攝影像片和航天遙感圖像）以特定的空間分辨率和波譜段，如實地、無遺漏地記錄地面上的一切客體和地面以下的部分地理信息.無論是全色圖像、多光譜圖像、紅外圖像或全息圖像，都是地面的綜合圖像.高空間分辨率全色圖像反映了空間結(jié)構(gòu)信息，能夠詳盡地表達(dá)地物的細(xì)節(jié)特征；低空間分辨率多光譜圖像的光譜信息豐富，有利于對地物的識別與解釋.將全色圖像和多光譜圖像進(jìn)行融合，盡量增強多光譜圖像的空間分辨率，可以改善后續(xù)處理效果，在土地利用調(diào)查、城區(qū)識別和森林資源調(diào)查等遙感應(yīng)用領(lǐng)域中有著極其重要的作用［1－2］.

目前關(guān)于多光譜圖像與高分辨率圖像的融合方法主要有IHS變換方法、主成分分析法（PCA）、纓帽變換法（BT）、基于張量積離散小波變換（DWT）的融合方法及基于ARSIS概念的融合方法等.在這些方法中，使用最廣泛的是IHS變換方法和小波變換方法.IHS變換方法和小波變換方法都有其不足：IHS變換方法能得到高空間分辨率的圖像，但融合結(jié)果圖像的光譜信息損失嚴(yán)重；采用離散小波變換方法所得融合結(jié)果圖像有好的光譜信息，但其空間分辨率低，且由于對圖像進(jìn)行分解和重構(gòu)時進(jìn)行了抽樣，使得融合結(jié)果圖像中有方塊效應(yīng)［3－5］.

基于上述不足，本文提出了一種新的圖像融合方法，即將小波變換和符合生物視覺特性的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）相結(jié)合進(jìn)行遙感圖像的融合方法.為了不損失光譜信息，在小波基的選擇上進(jìn)行了對比，并選取了圖像保光譜性的DB1作為小波基；同時，為保證融合后圖像具有詳盡的空間結(jié)構(gòu)信息和豐富的光譜信息，在融合算法中采用了對比度與脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法來完成融合系數(shù)的選擇.

1 圖像小波的分解

Mallat在Burt和Adelson的塔形圖像分解和重構(gòu)算法的啟發(fā)下，提出了小波變換的Mallat快速算法.若設(shè)H（低通）和G（高通）為兩個一維鏡像濾波算子，其下標(biāo)r和c分別對應(yīng)于圖像的行和列，則按照二維Mallat算法，在尺度j－1上有如式（1）的Mallat分解公式：

其中，Cj，D1j，D2j，D3j分別對應(yīng)于圖像Cj－1r低頻成分、垂直方向上的高頻成分、水平方向上的高頻成分和對角方向上的高頻成分.與之相應(yīng)的二維圖像的Mallat重構(gòu)算法如式（2）：

其中，H＊和G＊分別為H和G的共軛轉(zhuǎn)置矩陣［3，8］.

為了使圖像在分解和重構(gòu)過程中，損失的信息更少，本文對Daubechies（DBN）、Coiflets（coiefN）、Syslets（symN）、Discrete Meyer wavelet（dmey）、BiorSplines（biorNr.Nd）小波基進(jìn)行了對比，最后選取了DB1作為本文小波變換的小波基［9］.

2 圖像處理中的PCNN模型

PCNN是由若干個神經(jīng)元互相連接而成的反饋型網(wǎng)絡(luò)，其每一神經(jīng)元由3部分組成：接收部分、調(diào)制部分和脈沖產(chǎn)生部分.PCNN用于圖像處理時，是一個單層二維的局部連接的網(wǎng)絡(luò)，神經(jīng)元的個數(shù)等于輸入圖像中的像素點的個數(shù)，神經(jīng)元與像素點一一對應(yīng).為了更好地將其用于圖像處理，人們提出了各種改進(jìn)模型.本文采用的是文獻(xiàn)［2］中提出的一種簡化模型，其數(shù)學(xué)方程描述如式（3）所示：

其中，i，j是神經(jīng)元的標(biāo)號，F(xiàn)ij（n）是（i，j）神經(jīng)元在第n次迭代時的反饋輸入，Iij（n）為外部輸入刺激信號（在圖像處理中，則為第（i，j）個像數(shù)的灰度值）；Lij（n）是神經(jīng)元的鏈接輸入，β是鏈接強度，T為閾值，Uij（n）是神經(jīng)元的內(nèi)部行為，Yij（n）則是第n次迭代時（i，j）神經(jīng)元的輸出；w為神經(jīng)元之間的連接權(quán)系數(shù)矩陣，VL是連接輸入的放大系數(shù)；θij和Vθ是變閾值函數(shù)輸出和閾值放大系數(shù)，αL和αθ分別為鏈接輸入和變閾值函數(shù)的時間常數(shù).n表示迭代次數(shù).如果Uij（n）大于θij（n），則神經(jīng)元產(chǎn)生一個脈沖，稱為一次點火.事實上，n次迭代以后，人們常利用（i，j）神經(jīng)元總的點火次數(shù)來表示圖像對應(yīng)處的信息.經(jīng)過PCNN點火，由神經(jīng)元總的點火次數(shù)構(gòu)成的點火映射圖作為PCNN的輸出［5－7］.

3 圖像的融合算法

3.1 算法步驟

本文融合算法的步驟如下：

1）對多光譜圖像進(jìn)行IHS變換，將其分解為強度I、色調(diào)H和飽和度S的3個近似正交分量，并將高分辨率圖像與強度分量I進(jìn)行直方圖像匹配；

2）對匹配后的高空間分辨率圖像和強度分量I進(jìn)行小波分解；

3）為了提高圖像的對比度和邊緣特殊，小波分解后的低頻系數(shù)采用基于邊緣的選擇方案；

4）小波分解后的高頻系數(shù)采用改進(jìn)的PCNN融合算法；

5）最后將融合得到的I分量進(jìn)行小波反變換得到I，再結(jié)合色調(diào)分量H、飽和度分量S進(jìn)行IHS反變換得到最后融合結(jié)果.

3.2 低頻系數(shù)融合方法

圖像低頻的變化反映圖像的信息量和清晰程度，低頻變化越大的圖像越清晰.一方面，低頻信息包含圖像的大量信息，是圖像變化緩慢的部分，然而經(jīng)典算法往往注重研究高頻信息的變化特性，而忽略低頻信息的變化，這會導(dǎo)致融合圖像的對比度不高、圖像模糊.另一方面，圖像的低頻為圖像中變化緩慢的分量，僅僅考慮其變化會在一定程度上造成圖像的斑點效應(yīng).本文采用Laplacian算子來對低頻系數(shù)進(jìn)行融合可以克服大多數(shù)頻率域算法因為忽略了圖像低頻變化對圖像的影響而導(dǎo)致的圖像清晰度不夠的缺點.

3.3 高頻系數(shù)融合方法

在選擇高頻系數(shù)時，由于傳統(tǒng)的基于PCNN的圖像融合中，所有神經(jīng)元的鏈接強度都取相同的數(shù)值，但是在人眼視覺系統(tǒng)中，視覺對于特征明顯區(qū)域的反應(yīng)比特征不明顯的區(qū)域反應(yīng)強烈，不可能每個神經(jīng)元的鏈接強度都相同.因此，我們有理由認(rèn)為PCNN中神經(jīng)元鏈接強度的取值與對應(yīng)像素的特征有一定的關(guān)系，而不是固定的常數(shù).

為了得到更合理的PCNN神經(jīng)元鏈接強度的取值，本文采用基于小波方向?qū)Ρ榷茸鳛镻CNN神經(jīng)元鏈接強度的值.文獻(xiàn)2在研究對比度金字塔時提出了局部亮度對比度的定義，如式（4）所示：

式中，L為圖像局部亮度；LB為圖像的局部背景亮度，可以認(rèn)為低頻分量，LH＝L－LB是局部亮度減去局部背景得到的局部細(xì)節(jié)，可以認(rèn)為是高頻分量，文獻(xiàn)3結(jié)合式（4）表達(dá)的意義，定義了小波對比度如式（5）：

式中，Al－1為圖像在2j－1分辨率上的低頻近似分量；為圖像在2l－1分辨率上的垂直高頻細(xì)節(jié)；為圖像在2l－1分辨率上的水平高頻細(xì)節(jié)；為圖像在2l－1分辨率上的對角高頻細(xì)節(jié).經(jīng)過式（5）的計算得到了在2l－1分辨率上的對比度值分別為

改進(jìn)的基于PCNN的融合步驟如下：

1）利用式（5）計算在2l－1分辨率上的垂直方向、水平方向和對角方向上的對比度值；

2）將以上的對比度值分別作為2l－1分辨率在不同方向上PCNN中相應(yīng)神經(jīng)元的鏈接強度值；

3）根據(jù)式（3）計算每個方向上的PCNN的點火次數(shù)；

4）最后比較兩幅圖像的點火次數(shù)來選擇高頻系數(shù).

4 實驗結(jié)果與分析

為了驗證算法的有效性，本文選取一組全色光圖像和多光譜圖像進(jìn)行融合試驗.將本文算法（方法4）與目前圖像融合處理中常用的Laplacian金字塔方法（簡稱為方法1）、傳統(tǒng)的基于小波方法（簡稱方法2）和傳統(tǒng)的基于NSCT的融合方法（簡稱為方法3）作比較；其中方法1和方法2中融合規(guī)則都采用低頻系數(shù)取平均值，高頻系數(shù)采用區(qū)域能量法；方法3中的低頻系數(shù)采用平均值，高頻子帶系數(shù)采用邊緣法.

圖1 多光譜與全色圖像及融合結(jié)果Fig.1 Multispectral image，Panchromatic image and the fusion results of every method.

實驗結(jié)果如圖1所示，圖1（a）為多光譜圖像，圖1（b）為全色圖像，圖1（c）為方法1融合結(jié)果，圖1（d）為方法2融合結(jié)果，圖1（e）為方法3融合結(jié)果，圖1（f）為本文算法融合結(jié)果.從視覺效果方面看：在頻譜信息表現(xiàn)方面，3種方法得到的融合結(jié)果分別有不同程度的顏色失真，其中方法1較為嚴(yán)重，相反地，本文方法得到的融合效果較好；在空間細(xì)節(jié)信息表現(xiàn)方面看，3種方法和本文方法得到的效果都較好.

為了進(jìn)一步對融合效果進(jìn)行評價，本文采用熵、標(biāo)準(zhǔn)差、互信息和光譜所扭曲度客觀評價指標(biāo)對上述四種方法進(jìn)行客觀比較.其中熵是圖像信息豐富程度的一個重要指標(biāo)；圖像的標(biāo)準(zhǔn)差反映了圖像像素值的分布情況；互信息是計算源圖像有多少信息轉(zhuǎn)移到了融合結(jié)果中，數(shù)值越大，說明融合結(jié)果越好；圖像的扭曲度則直接反映了多光譜圖像的光譜失真程度，光譜扭曲度越大，這表明其光譜信息保持最差.通過表1中可知，不同的融合方法得到熵、互信息、標(biāo)準(zhǔn)差、光譜扭曲度的值都不同；通過比較，本文算法在熵、互信息、標(biāo)準(zhǔn)差、光譜扭曲度的指標(biāo)中效果都是最好的；需要注意的是，該算法性能的提高是以復(fù)雜度的增加作為代價的.

表1 融合算法性能的比較Fab.1 Compare of the fusion algorithm

5 結(jié)論

圖像對比度的變化反映了圖像內(nèi)各個對象的差異，更加適合人眼的生理視覺特點；神經(jīng)元的鏈接強度β反映網(wǎng)絡(luò)中神經(jīng)元之間耦合關(guān)系的強弱.本文提出的基于小波分解的自適應(yīng)PCNN遙感圖像融合算法，是在PCNN神經(jīng)網(wǎng)絡(luò)脈沖數(shù)（即點火次數(shù)）基礎(chǔ)上采用基于小波方向?qū)Ρ榷茸鳛镻CNN神經(jīng)元鏈接強度的值，用符合人類視覺特性的圖像對比度來進(jìn)行調(diào)節(jié)，是一種可調(diào)節(jié)鏈接強度的圖像融合算法.仿真實驗表明，該算法在融合后的圖像中空間結(jié)構(gòu)信息和光譜信息都得到明顯的提高，說明該算法有效、可行、性能良好，對于進(jìn)一步深入研究利用PCNN及小波變換實現(xiàn)圖像融合有重要的意義.

［1］Zhongni Wang，Xianchuan Yu.A Remote Sensing image fusion algorithm based on constrained nonnegative matrix factorization［J］.Image and Signal Processing，2008，672－676.

［2］Shaohui Chen，Renhua Zhang.SAR and multispectral image fusion using generalized IHS transform based on a trous wavelet and EMD decompositions［J］.Sensors Journal，2010，10（3）：737－745.

［3］陳 浩，王延杰.基于小波變換的圖像融合技術(shù)研究［J］.微電子學(xué)與計算機(jī)，2010，27（5）：39－41.

［4］Zhenhua Li，Henry Lenug.Fusion of multispectral and panchromatic images using a estoration－based method［J］.2009，47（5）：1482－1491.

［5］李美麗，李言俊，王紅梅，等.基于NSCT和PCNN的紅外與可見光圖像融合方法［J］.光電工程，37（6）：90－95.

［6］王志慧，趙保軍，沈庭芝.基于MMPN和可調(diào)節(jié)鏈接強度的圖像融合［J］.電子學(xué)報，2010，38（5）：1162－1166.

［7］苗啟廣，王寶樹.一種自適應(yīng)PCNN多聚集圖像融合新方法［J］.電子與信息學(xué)報，2006，28（2）：466－470.

［8］王 麗，盧 迪，呂劍飛.一種基于小波方向?qū)Ρ榷鹊亩嗑奂瘓D像融合方法 ［J］.中 國圖象 圖形 學(xué)報，2008，13（1）：145－150.

［9］龔建周，劉彥隨，夏北成，等.小波基及其參數(shù)對遙感影像融合圖像質(zhì)量的影響［J］.地理與地理信息科學(xué)，2010，26（2）：6－10.

［10］吳 艷、李 明，楊萬海，等.多光譜與高分辨率圖像融合的新算法［J］.西安電子科技大學(xué)學(xué)報：自然科學(xué)版，2008，35（4）：696－702.

［11］洪日昌，吳秀清，袁 勛.基于雙正交多小波變換的多光譜與全色圖像融合研究［J］.中國圖象圖形學(xué)報，2007，12（4）：684－690.