馬立新，周小波，單 宇

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

圖像融合技術(shù)［1］是指將來自不同傳感器的兩幅或多幅圖像，按照某種規(guī)則，融合成一幅新圖像，即融合圖像。融合圖像細(xì)節(jié)豐富、輪廓清晰、信息量大，能夠精確地描述目標(biāo)。通過對紫外放電圖和可見光圖像的融合，可以獲取電暈更多的信息，定位電暈放電的位置。

脈沖 耦 合 神 經(jīng) 網(wǎng) 絡(luò)［2－3］(Pulse Coupled Neural Network，PCNN)是Eckhorn 于20 世紀(jì)90 年代開始提出的一種基于貓的視覺原理構(gòu)建的簡化神經(jīng)網(wǎng)絡(luò)模型，其不同于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，具有同步脈沖發(fā)放和全局耦合等特性，更符合人類視覺神經(jīng)系統(tǒng)的生理學(xué)特征。PCNN 在圖像處理方面有著先天的優(yōu)勢，在圖像分割、圖像增強(qiáng)、邊緣檢測、圖像識別和圖像融合等方面應(yīng)用廣泛［4－9］。文獻(xiàn)［10 ～11］提出了基于NSCT 和PCNN 的紅外和可見光圖像融合的方法，同時(shí)將此類方法應(yīng)用于醫(yī)學(xué)圖像融合和多聚焦圖像融合。文獻(xiàn)［12］針對PCNN 融合算法中每個(gè)神經(jīng)元鏈接強(qiáng)度取同一常數(shù)的不足，提出了一種使用像素的拉普拉斯能量和標(biāo)準(zhǔn)差分別作為PCNN 對應(yīng)神經(jīng)元的鏈接強(qiáng)度的自適應(yīng)PCNN 圖像融合新算法［13－14］。

市場上常用的紫外成像儀的融合模式多是加權(quán)融合，能根據(jù)環(huán)境的需要調(diào)節(jié)紫外和可見光圖像的疊加百分比［15］。近年來，有關(guān)方面的研究較少。針對小波變換和簡單融合規(guī)則的不足，本文在簡化PCNN 模型的基礎(chǔ)上，以圖像空間頻率和信息熵作為PCNN 對應(yīng)神經(jīng)元的鏈接強(qiáng)度值，提出了一種自適應(yīng)調(diào)節(jié)PCNN參數(shù)的融合方法。實(shí)驗(yàn)結(jié)果表明，此方法適用于紫外圖像和可見光圖像的融合，融合效果優(yōu)于加權(quán)平均法、拉普拉斯金字塔變換方法和小波方法，能夠應(yīng)用于電暈放電故障的檢測和定位。

1 PCNN 基本原理及改進(jìn)模型

基本PCNN 神經(jīng)網(wǎng)絡(luò)是由若干個(gè)神經(jīng)元互連形成的反饋型神經(jīng)網(wǎng)絡(luò)，構(gòu)成PCNN 的神經(jīng)元是一個(gè)復(fù)雜的非線性動態(tài)系統(tǒng)。一個(gè)PCNN 神經(jīng)元由接收部分、調(diào)制部分、脈沖發(fā)生器3 部分組成，其數(shù)學(xué)模型如下

其中，Sij為神經(jīng)元強(qiáng)制激發(fā)的外部激勵(lì);VF、V 和VE分別是反饋輸入域、耦合連接域L 和動態(tài)門限E 的放大系數(shù);αF、αL和αE分別是反饋輸入域、耦合連接域L和動態(tài)門限E 的衰減時(shí)間常量;Mijkl和Wijkl權(quán)值矩陣分別是反饋輸入域和耦合連接域的連接矩陣;β 是內(nèi)部活動項(xiàng)的鏈接系數(shù)。

基本模型參數(shù)多，實(shí)現(xiàn)相對復(fù)雜。本文采用簡化的改進(jìn)型PCNN，其模型的數(shù)學(xué)形式如下

2 自適應(yīng)參數(shù)調(diào)整

當(dāng)鏈接系數(shù)β=0 時(shí)，認(rèn)為各個(gè)神經(jīng)元之間獨(dú)立運(yùn)行。這時(shí)，神經(jīng)元循環(huán)運(yùn)行，興奮并產(chǎn)生脈沖。不同灰度值的像素不受干擾，其獨(dú)立點(diǎn)火頻率依賴于該像素灰度值，與其它像素的灰度值無關(guān)。當(dāng)β 不為0 時(shí)，有耦合存在。神經(jīng)元的點(diǎn)火不僅與自身灰度值有關(guān)，而且受其存在鏈接的神經(jīng)元的影響。由改進(jìn)型PCNN 數(shù)學(xué)模型可知，當(dāng)鏈接系數(shù)β、鏈接域L 值越大，能夠點(diǎn)火的范圍就越大。所以，在耦合狀態(tài)下，PCNN 集群發(fā)放同步脈沖串序列，當(dāng)一個(gè)神經(jīng)元點(diǎn)火后，輸出脈沖信號會在整個(gè)網(wǎng)絡(luò)中迅速傳遞。因此，對PCNN 參數(shù)進(jìn)行優(yōu)化時(shí)，主要優(yōu)化鏈接系數(shù)β。

在圖像處理中，空間頻率和信息熵是融合效果的重要評價(jià)指標(biāo)。圖像的空間頻率反映了圖像空間的總體活躍程度，其值越大，圖像越清晰;信息熵用于衡量圖像信息的豐富程度，值越大，說明圖像內(nèi)容越豐富。空間頻率SF 包括空間行頻率RF 和空間列頻率CF。空間頻率SF 和信息熵H 的計(jì)算公式為

其中，f(i，j)是圖像f 以任像素(i，j)為中心的M×M 的鄰域;L 為圖像f 所包含的的全部灰度級數(shù);Pi為像素點(diǎn)的灰度值為i 的概率。本文提出的圖像融合算法步驟如下:(1)對待融合的兩幅圖像A、B 進(jìn)行配準(zhǔn)。(2)設(shè)置PCNN 參數(shù)初始值。(3)取出各自點(diǎn)火圖A1和B1各個(gè)像素的局部區(qū)域A1(i，j)和B1(i，j)。(4)設(shè)定初始閾值T，融合圖像F。采用

當(dāng)abs(max(A1(i，j)) －max(B1(i，j))) ＞T 且max(A1(i，j))＞max(B1(i，j))時(shí)，F(xiàn)(i，j)=A(i，j);

當(dāng)abs(max(A1(i，j)) －max(B1(i，j))) ＞T 且max(A1(i，j))＜max(B1(i，j))時(shí)，F(xiàn)(i，j)=B(i，j);

當(dāng)abs(max(A1(i，j))－max(B1(i，j)))＜=T 時(shí)，F(xiàn)(i，j)=(A(i，j)+B(i，j))/2

其中，max(A1(i，j))、max(B1(i，j))分別表示各像素的局部區(qū)域A1(i，j)、B1(i，j)的最大值。

3 仿真及實(shí)驗(yàn)分析

為驗(yàn)證算法的有效性，選取了一組紫外和可見光圖像進(jìn)行融合試驗(yàn)，尺寸為256×256。并與常用的圖像融合算法簡單加權(quán)方法、拉普拉斯金字塔方法和小波方法進(jìn)行比較。方法一采用加權(quán)平均的融合規(guī)則;方法二采用文獻(xiàn)［14］中，金字塔的分解層數(shù)為5，融合規(guī)則是:頂層子圖像采用基于區(qū)域平均梯度取大進(jìn)行融合，其余層子圖像采用基于區(qū)域能量取大進(jìn)行融合;方法三中，小波的低頻區(qū)采用灰度值加權(quán)、高頻區(qū)采用基于局部區(qū)域絕對值取大的融合規(guī)則。文中方法的鏈接矩陣W=［0.707，1.000，0.707;1.000，0，1.000;0.707，1.000，0.707］，αθ=2.0，Vθ=20，T=0.15?？梢姽夂妥贤鈭D像以及各種算法融合圖像如圖1 所示。

采用平均梯度(AG)、熵(H)、空間頻率(SF)、互信息(MI)和標(biāo)準(zhǔn)差(SD)5 個(gè)評價(jià)指標(biāo)對融合結(jié)果進(jìn)行客觀評價(jià)，評價(jià)結(jié)果如表1 所示。由表中數(shù)據(jù)可知，本文方法融合圖像的熵與其他3 種方法的熵相近，而平均梯度、空間頻率、互信息和標(biāo)準(zhǔn)差均高于其他3 種方法。平均梯度反映圖像對細(xì)節(jié)對比的表達(dá)能力與紋理反差特征，熵用于衡量圖像信息豐富程度，圖像的空間頻率反映了圖像空間的總體活躍程度，互信息能很好地描述融合結(jié)果對源圖像信息量包含的多少，標(biāo)準(zhǔn)差代表了圖像均值分散程度，其值越大，說明融合效果越好。由實(shí)驗(yàn)數(shù)據(jù)的綜合分析可知，本文提出的方法優(yōu)于其他3 種方法，從而證實(shí)了該方法的有效性。

圖1 可見光和紫外圖像及融合圖像

表1 圖像融合評價(jià)指標(biāo)對比

4 結(jié)束語

文中提出了一種基于PCNN 的自適應(yīng)紫外圖像融合方法，利用圖像空間頻率和信息熵作為PCNN 對應(yīng)神經(jīng)元的鏈接強(qiáng)度值，通過仿真實(shí)驗(yàn)，該方法優(yōu)于加權(quán)平均方法、拉普拉斯金字塔方法和小波方法，獲得了良好的融合效果。

［1］ 郭雷，李暉暉，鮑永生.圖像融合［M］.北京:電子工業(yè)出版社，2008.

［2］ Wang Zhaobin，Ma Yide，Cheng Feiyan，et al.Review of pulse－coupled neural networks［J］.Image and Vision Computing，2010，28(1):5－13.

［3］ Eckhorn R，Reitboeck H J，Amdt M，et al.Feature linking via synchronization among distributed assemblies:Simulations of results from cat visual cortex［J］.Neural Computer，1990，2(3):293－307.

［4］ 鄭欣，彭真明.基于活躍度的脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像分割［J］.光學(xué)精密工程，2013，21(3):821－827.

［5］ Cheng Feiyan，Wang Zhaobin，Ma Yide，et al.A new approach for edge detection for color microscopic image using modified pulse coupled neural networks［C］.Beijing:ICBBE 2009:3rdInternational Conference on Bioinformatics and Biomedical Engineering，2009:1－4.

［6］ Zhang Yudong，Wu Lenan，Wang Shuihua，et al.Color image enhancement based on HVS and PCNN［J］.Science China Information Sciences，2010，53(10):1963－1976.

［7］ 韓麗娜，耿國華，周明全.PCNN 模型在彩色圖像增強(qiáng)中的應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2012，48(1):5－7.

［8］ Johnson J L，Padgett M L S.PCNN models and applications［J］.IEEE Transaction on Neural Networks，1999，10(3):480－498.

［9］ Lu Yunfeng，Miao Jun，Duan Lijuan，et al.A new approach to image segmentation based on simplified region growing PCNN［J］.Applied Mathematics and Computation，2008，205(2):807－814.

［10］李美麗，李言俊，王紅梅，等.基于NSCT 和PCNN 的紅外與可見光圖像融合方法［J］.光電工程，2010，37(6):90－95.

［11］郭傳奇，汪文革，儲彬彬.一種改進(jìn)的PCNN 圖像融合算法［J］.計(jì)算機(jī)工程與應(yīng)用，2011，47(19):176－178.

［12］李美麗，李言俊，王紅梅，等.基于自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像融合新算法［J］.光電子激光，2010，21(5):779－782.

［13］李偉，龐其昌，李洪，等.小波變換在紫外圖像融合中的應(yīng)用［J］.科學(xué)技術(shù)與工程，2005，5(15):1067－1069.

［14］陳浩，王延杰.基于拉普拉斯金字塔變換的圖像融合算法研究［J］.激光與紅外，2009，39(4):439－442.

［15］Otazu X.Introduction of sensor spectral response into image fusion methods.application to wavelet－based methods，geoscience and remote sensing［J］.IEEE Transactions on Geoscience and Remotg，2005，43(10):2376－2385.