劉佳，段先華，孫慶國(guó)

（江蘇科技大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇 鎮(zhèn)江 212003）

圖像以特定的空間分辨率和波譜段記錄地面上的一切客體和地面以下的部分地理信息。高空間分辨率全色圖像反映了空間結(jié)構(gòu)信息，能夠詳盡地表達(dá)地物的細(xì)節(jié)特征；低空間分辨率多光譜圖像的光譜信息豐富，有利于對(duì)地物的識(shí)別與解釋。將高分辨率的全色圖像與含有豐富光譜信息的多光譜圖像進(jìn)行有效地融合，得到一幅既保持豐富光譜信息又有較高分辨率的圖像。

感圖像融合中，較成熟的像素級(jí)融合方法主要有線性加權(quán)平均算法，HIS變換法，PCA變換法，小波變換法以及這幾種不同方法結(jié)合的方法[1-3]。線性加權(quán)平均算法雖然簡(jiǎn)單運(yùn)算量小，但是每幅原圖像特征被極大的削弱了，融合效果欠佳。而HIS變換直接替換融合法由于高分辨率圖像和多光譜圖像的成像原理等條件存在很大差異，造成這兩種圖像之間相關(guān)性弱，因此會(huì)降低圖像的光譜信息。而直接小波變換會(huì)丟失原始圖像一些邊緣信息，造成細(xì)節(jié)不夠清晰，紋理比較粗糙[1]，另外小波變換是依賴(lài)于小波基可以用較少的非零小波系數(shù)去逼近實(shí)際函數(shù)，因此選擇小波基應(yīng)該是以盡量產(chǎn)生接近于零的小波系數(shù)為最優(yōu)，但是這需要小波基的一些特性為前提，正交性確保圖像分解系數(shù)不具有冗余性；緊致性保證濾波器的有限響應(yīng)；對(duì)稱(chēng)性適合于人眼的視覺(jué)系統(tǒng)；但是Duabechies等人證明在實(shí)數(shù)域中除Harr小波外，對(duì)稱(chēng)、正交、緊支集非平凡單小波基是不存在的，這限制了單小波的應(yīng)用。而多小波卻克服了這些，具有這些特性。1994年，Geronimo等人應(yīng)用分形插值方法構(gòu)造出了具有緊支撐，正交性，對(duì)稱(chēng)性和二階消失矩的多小波中兩尺度函數(shù)。1996年，Geronimo等人再次應(yīng)用分形插值方法構(gòu)造出了GHM多小波系統(tǒng)，該系統(tǒng)由兩個(gè)尺度函數(shù)和兩個(gè)小波組成[4]。所以本文采用結(jié)合HIS變換與GHM多小波變換的變換方法。

變換方法之外，不同的融合規(guī)則的選擇對(duì)融合效果有重要的影響。第三代人工神經(jīng)網(wǎng)絡(luò)脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN），是一種不同于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的新型神經(jīng)網(wǎng)絡(luò)。1989年，ReinhardEckhorn和Charles M.Gray研究了貓的大腦視覺(jué)皮層，提出了具有脈沖同步發(fā)放特性的網(wǎng)絡(luò)模型。1990年，ReinhardEckhorn根據(jù)貓的大腦皮層同步脈沖發(fā)放現(xiàn)象，提出了展示脈沖發(fā)放現(xiàn)象的連接模型。1994年，Johnson發(fā)表論文，闡述了PCNN的周期波動(dòng)現(xiàn)象及在圖像處理中具有旋轉(zhuǎn)、可伸縮、扭曲、強(qiáng)度不變性，通過(guò)對(duì)Eckhorn提出的模型進(jìn)行改進(jìn)，就形成脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）模型。Li等人[5]提出了一種基于小波包分解與PCNN相結(jié)合的圖像融合方法，它將PCNN網(wǎng)絡(luò)的脈沖輸出量作為圖像融合的準(zhǔn)則，由于采用小波包對(duì)圖像進(jìn)行處理，實(shí)驗(yàn)結(jié)果表明該方法融合圖像后易出現(xiàn)邊緣移位的現(xiàn)象；武治國(guó)等人設(shè)計(jì)實(shí)現(xiàn)了一種基于自適應(yīng)PCNN和小波變換的融合技術(shù)[6]，效果不錯(cuò)?；谏鲜?，本文采用了一種將HIS變換，多小波變換及PCNN神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖像融合算法。

1 相關(guān)圖像融合方法介紹

1.1 HIS變換及逆變換

人眼不能直接感覺(jué)紅、綠、藍(lán)三色的比例，而只能通過(guò)感知顏色的亮度、色調(diào)以及飽和度來(lái)區(qū)分物體，而色調(diào)和飽和度與紅、綠、藍(lán)的關(guān)系是非線性的。IHS模型是另一種表色系統(tǒng)，它是基于視覺(jué)原理的一個(gè)系統(tǒng)，定義了3個(gè)互不相關(guān)，相互獨(dú)立的屬性：明度（I），色調(diào)（H）和飽和度（S），可分別對(duì)它們進(jìn)行控制來(lái)獲得不同的顯示效果。明度是指彩色光所引起的人眼對(duì)明暗程度的感覺(jué)，明度和照射光的強(qiáng)度有關(guān)。色調(diào)是指光的顏色，改變色光的光譜成分，就會(huì)引起色調(diào)的變化。色的飽和度是指色的顏色的深淺程度。HIS變換方法，將一幅彩色圖像的R、G、B成分分離成代表空間信息的明度（I）與代表光譜信息的色調(diào)（H）和飽和度（S）3個(gè)成分。變換方法有很多[3]，三角形法，圓柱體法，六棱錐法。本文采用圓柱體法。

1.2 多小波變換原理

小波變換是信號(hào)分析發(fā)展史上的里程碑。與單小波相比較，多小波同時(shí)具備諸如緊支性、正交性、對(duì)稱(chēng)性等諸多在信號(hào)處理中非常重要的良好性質(zhì)，決定了多小波是一種優(yōu)于單小波的信號(hào)處理技術(shù)。在小波分析中，一個(gè)多分辨率分析是由一個(gè)小波函數(shù)平移與伸縮構(gòu)成L2（R）空間的基。多分辨率分析多小波變換，則是多個(gè)小波函數(shù)平移與伸縮構(gòu)成L2（R）空間的基，這些小波函數(shù)被稱(chēng)為多小波。

方程（1）和（2）成為二尺度方程。r×r階矩陣序列{Hk}k∈Z和分別為低通濾波器和高通濾波器滿足其平移和伸縮形成正交補(bǔ)子空間的正交基，即Vj在Vj+1中的補(bǔ)子空間。

圖1為r=2的多小波的進(jìn)行2層分解，當(dāng)多小波分解進(jìn)行到第L層，會(huì)生成一個(gè)包含3L+1塊矩陣的結(jié)共有（3L+1）r2個(gè)子圖像。

圖1 多小波的進(jìn)行2層分解Fig.1 2 layer of multiwavelet decomposition

用離散的小波系數(shù)進(jìn)行分解和重構(gòu)的Mallat算法對(duì)于多小波同樣適用，多小波基于矢量濾波器對(duì)信號(hào)進(jìn)行分解、重構(gòu)。濾波對(duì)象必須是滿足一定要求的矢量信號(hào)。因此在進(jìn)行多小波分解前必須通過(guò)前置濾波器對(duì)原始信號(hào)進(jìn)行預(yù)處理得到初始矢量，預(yù)濾波方法有多種，常用的預(yù)濾波方法有：odd/even法，Haar法，標(biāo)Haar法，平滑法[7]。然后在進(jìn)行多小波變換，重構(gòu)后的信號(hào)也要進(jìn)行后處理才能得到最終結(jié)果。

本文以GHM多小波進(jìn)行分解與重構(gòu)，其中低通濾波器系數(shù)矩陣如下：

由于多小波變換具有矢量性，其變換系數(shù)表現(xiàn)出矢量性，所以在低頻分量采用矢量融合策略，綜合矢量的分量之間的關(guān)系[7]。

1.3 PCNN模型

PCNN是由若干個(gè)神經(jīng)元互相連接而成的反饋型網(wǎng)絡(luò)，其每一個(gè)神經(jīng)元由3各部分組成：接收部分、調(diào)制部分和脈沖產(chǎn)生部分，PCNN用于圖像處理時(shí)，是一個(gè)單層二維的局部連接的網(wǎng)絡(luò)，神經(jīng)元的個(gè)數(shù)等于輸入圖像中的像素點(diǎn)的個(gè)數(shù)，神經(jīng)元與像素點(diǎn)一一對(duì)應(yīng)，人們并提出了很多模型，本文采用其中的一種簡(jiǎn)化模型[8－9]，如圖2所示。

圖2 神經(jīng)元簡(jiǎn)化模型Fig.2 A simplified model of neuron

其數(shù)學(xué)方程描述

其中，i，j是神經(jīng)元標(biāo)號(hào)，F(xiàn)ij（n）是（i，j）神經(jīng)元在第 n 次迭代時(shí)的反饋輸入。Iij（n）為外部輸入刺激信號(hào)，圖像中的像素值；Lij（n）是神經(jīng)元的鏈接輸入，β 是鏈接強(qiáng)度，Yij（n）則是第次迭代時(shí)（i，j）神經(jīng)元的輸出；Wij，pq為神經(jīng)元之間的連接權(quán)系數(shù)矩陣，VL是連接輸入的放大系數(shù)；θij和Vθ是變閾值函數(shù)輸出和閾值放大的放大系數(shù)，αL和αθ分別為鏈接輸入和變閾值函數(shù)的時(shí)間常數(shù)，表示迭代次數(shù)。 若 Uij（n）＞θij（n），脈沖發(fā)生器打開(kāi)則神經(jīng)元產(chǎn)生一個(gè)脈沖，稱(chēng)該神經(jīng)元一次點(diǎn)火，輸出為1，之后θij在閾值信號(hào)發(fā)生器中通過(guò)反饋而迅速得到提高，當(dāng)其提高到大于Uij時(shí)，脈沖發(fā)生器關(guān)閉，輸出為0，從而形成脈沖信號(hào)。

2 HIS變換，多小波變換及PCNN神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖像融合算法

2.1 基于HIS變換，多小波變換及PCNN相結(jié)合的圖像融合方法步驟

第1步：多光譜圖像空間配準(zhǔn)。因?yàn)椴捎孟袼丶?jí)融合，所以采用的圖像必須進(jìn)行嚴(yán)格的配準(zhǔn)。否則會(huì)嚴(yán)重影響融合結(jié)果。

第2步：多光譜圖像進(jìn)行HIS變換。得到3個(gè)分量I、H、S。

第3步：將第2步得到的I分量與高分辨率圖像分別進(jìn)行GHM多小波變換1級(jí)分解，預(yù)濾波采用”O(jiān)dd/even”方法。

第4步：對(duì)上步分解后的子塊高低頻分別進(jìn)行融合。

第5步：將融合后的F進(jìn)行反GHM變換，然后在進(jìn)行后處理濾波得到I′。

第6步：將I′與第2步得到H、S分量進(jìn)行HIS逆變換得到融合結(jié)果。

2.2 低頻融合方法

低頻采用矢量加權(quán)平均[7]。令A(yù)，B為將待融合圖像多小波變換后的矢量，F(xiàn)為多小波變換域融合圖像矢量，即

式中 α，β 為加權(quán)系數(shù)（α，β 非負(fù)，α+β=1）。 采取。

2.3 高頻融合方法

在選擇高頻系數(shù)時(shí)，采用了PCNN方法。由于傳統(tǒng)的基于PCNN的圖像融合中，所有神經(jīng)元鏈接強(qiáng)度取相同數(shù)值，但是單個(gè)神經(jīng)元的點(diǎn)火會(huì)對(duì)其鏈接的鄰近神經(jīng)元做出貢獻(xiàn)，鏈接強(qiáng)度β與圖像該像素處的特征信息有一定的關(guān)系，應(yīng)該隨著圖像特征變化進(jìn)行自適應(yīng)地調(diào)整，這樣才可以有效地提取圖像細(xì)節(jié)信息。所以本文采用方向性信息來(lái)自適應(yīng)鏈接強(qiáng)度[8]。高頻系數(shù)采用點(diǎn)火次數(shù)取大者作為融合后的圖像像素點(diǎn)。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境：win7 64位系統(tǒng)，matlab R2010b

為了測(cè)試本文融合算法的有效性，用兩組IKONOS衛(wèi)星圖像進(jìn)行仿真實(shí)驗(yàn)，采用IKNOS 1 m高分辨率圖像和4 m的多光譜數(shù)據(jù)。并與HIS變換直接替換I分量方法（簡(jiǎn)稱(chēng)方法1），HIS變換與單小波變換結(jié)合的方法（Daubechies小波系中‘db4’，n=3）（簡(jiǎn)稱(chēng)方法 2）， 基于多小波極大方差－極大能量的矢量方法（MV－ME）[7]（簡(jiǎn)稱(chēng)方法 3），參考文獻(xiàn)[8]中的方法（簡(jiǎn)稱(chēng)方法4）從平均梯度，偏差指數(shù)，信息熵3個(gè)方面進(jìn)行融合結(jié)果比較。兩組實(shí)驗(yàn)相應(yīng)融合結(jié)果見(jiàn)圖3和圖4，相應(yīng)數(shù)據(jù)結(jié)果比較見(jiàn)表1和表2。

本文所采用的方法中PCNN神經(jīng)元的參數(shù)選擇[8]迭代次數(shù)選擇n=200

結(jié)果分析：

1）視覺(jué)方面：方法1，2的融合效果更清晰，其次清晰的是方法4和本文方法，方法3在這幾個(gè)方法中最不清晰，但是方法1和方法2光譜失真較其它方法嚴(yán)重。所以從視覺(jué)上綜合看方法4以及本文方法會(huì)令人滿意些，在提高空間分辨率的同時(shí)最大的保持了光譜特性。

2）客觀評(píng)價(jià)方面，本文從信息熵，平均梯度，偏差指數(shù)3個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。熵是圖像信息豐富程度的一個(gè)指標(biāo)。融合圖像的熵越大，則融合圖像的信息量越大。平均梯度可敏感的反映圖像對(duì)微小細(xì)節(jié)反差表達(dá)的能力，可以用來(lái)衡量圖像的清晰度，其越大越清晰。偏差系數(shù)反映了融合圖像與源圖像的光譜信息上的匹配程度，偏差系數(shù)越小，表明圖像融合效果越好。

圖3 5種方法融合結(jié)果Fig.3 Five results of fusion

圖4 5種方法融合結(jié)果圖像Fig.4 Five results of fusion image

表1 5種方法融合結(jié)果表格Tab.1 Table of fusion results

表2 5種方法融合結(jié)果表格Tab.2 Table of fusion results

①熵：方法2的熵最大，然后依次是本文方法＞方法3＞方法 1＞方法 4

②平均梯度：方法2＞方法1＞本文方法＞方法4＞方法3

③偏差指數(shù)：方法3<本文方法<方法4<方法2<方法1

方法1的3個(gè)指標(biāo)都沒(méi)有方法2好。方法2偏差指數(shù)很大，說(shuō)明光譜失真很?chē)?yán)重。方法3清晰度很差。所以從以上數(shù)據(jù)顯示方法4和本文方法綜合起來(lái)效果比較好，但是時(shí)間上看方法4在多小波分解之后融合花費(fèi)102.542秒而本方法花費(fèi)46.094秒。綜上所述本文方法取得的結(jié)果綜合比較起來(lái)比其他方法好。

4 結(jié) 論

由于PCNN方法[10]計(jì)算有些復(fù)雜又有不斷的迭代計(jì)算，運(yùn)行時(shí)間較作比較的方法有點(diǎn)長(zhǎng)，所以低頻系數(shù)融合采用矢量加權(quán)，減少了PCNN方法計(jì)算次數(shù)，縮短了時(shí)間，實(shí)驗(yàn)結(jié)果表明，本文方法在實(shí)驗(yàn)效果綜合起來(lái)由于前3種方法，時(shí)間上優(yōu)于第4種方法并保持了其效果?？臻g信息得到了提高，光譜信息失真也可容許。但是在高頻系數(shù)融合時(shí)采用的PCNN自適應(yīng)鏈接強(qiáng)度β的選擇沒(méi)有進(jìn)行更明確的比較研究，什么樣的方案更合適，而只是采用參考文獻(xiàn)中一種根據(jù)的方向信息決定的β，這點(diǎn)是應(yīng)該做進(jìn)一步研究的。

[1]朱福珍，李金宗，李冬冬.HIS變換與小波變換相結(jié)合的圖像融合新方法[J].計(jì)算機(jī)應(yīng)用研究，2009，26（2）:784－786.ZHU Fu-zhen，LI Jin-zong，LI Dong-dong.New image fusion method based on combination of HIS and wavelet transform[J].Application Research of Computers，2009，26 （2）:784－786.

[2]張桂銘，朱小麗，張興明.基于HIS變換融合IKONOS不同分辨率影像[J].科技資訊，2009（20）：4－6 ZHANG Gui-ming，ZHU Xiao-li，ZHANG Xing-ming.Image fusion of IKONOS different resolution based on HIS[J].Science&Technology Information，2009（20）:4－6.

[3]王仁禮，戚銘堯.用于圖像融合的IHS變換方法的比較[J].測(cè)繪學(xué)院學(xué)報(bào)，2000，17（4）:269－272 WANG Ren-li，QI Ming-yao，WANG Hui.Comparative study on the method of HIS transformation for image fusion[J].Journal of Institute of Surveying and Mapping.，2000，17（4）:269－272.

[4]Geronimo J，Hardin D P，Massopust P.Fractal functions and wavelet expansions based on several scaling funxtions[J].J Approx Theory，1994（78）:373－401.

[5]LI W，ZHU X F.A new image fusion algorithmbased on wavelet packet analysis and PCNN[C]//Proceedings of the Fourth International Conference on Machine Learning and Cybernetics，2005:5297－5301.

[6]武治國(guó)，王延杰，李桂菊.應(yīng)用小波變換的自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像融合中的應(yīng)用 [J].光學(xué)精密工程，2010，18（3）:708－715.WU Zhi-guo，WANG Yan-jie，LI Gui-ju.Application of adaptive PCNN based on wavelet transform to image fusion[J].Optics and Precision Engineering，2010，18（3）:708－715.

[7]吳曉蓉，何明一.基于多小波分解的多光譜圖像矢量融合[J]. 電子與信息學(xué)報(bào)，2007，29（4）:789－794.WU Xiao-rong，HE Ming-yi.Vector fusion of multispectral images based on multiwavelet decomposition[J].Journal of Electronics&Information Technology，2007，29（4）:789－794.

[8]夏加星.醫(yī)學(xué)圖像融合方法研究[D].鎮(zhèn)江：江蘇科技大學(xué)，2012.

[9]王志慧，趙保軍，沈庭芝.基于MMPN和可調(diào)節(jié)鏈接強(qiáng)度的圖像融合[J].電子學(xué)校，2010（5）:1162－1166.WANG Zhi-hui，ZHAO Bao-jun，SHEN Ting-zhi.Image fusion based on MMPN and adjustable linking strength[J].ACTA Electronica Sinica，2010（5）:1162－1166.

[10]胡玉成，王創(chuàng)新.基于區(qū)域方向的NSCT與PCNN圖像融合算法[J].電子科技，2014（4）:30－33.HU Yu-cheng，WANG Chuang-xin.The NSCT and PCNN image fusion algorithm based on regional direction[J].Electronic Science and Technology，2014（4）:30－33.