施文娟

（鹽城師范學(xué)院 物理科學(xué)與電子技術(shù)學(xué)院，江蘇 鹽城 224002）

圖像融合是指將兩幅或多幅包含不同信息的圖像融合成一幅信息量最大化的圖像，以獲得更多信息。傳統(tǒng)的圖像融合算法大體可以分成兩類[1-2]：一類在空間域上，對(duì)匹配后的源圖像直接進(jìn)行加權(quán)平均處理，從而得到一幅新的融合圖像。這種方法簡(jiǎn)單易行，但容易使得到的融合圖像產(chǎn)生明顯的人工拼接痕跡。另一類是基于變換的方法，該方法將多尺度變換作為抽取圖像顯著特征的工具，包括圖像金字塔分解的算法[3-4]、基于小波的方法[5-6]和基于非降采樣輪廓波變換NSCT（Nonsubsampled Contourlet Transform）[7]。隨著小波理 論的發(fā)展，小波分析逐漸成為圖像融合領(lǐng)域的研究熱點(diǎn)。但由于小波融合算法具有有限個(gè)方向，在水平、垂直、對(duì)角方向的缺乏使得小波變換不能充分利用圖像本身的幾何正則性，容易丟失圖像中的細(xì)節(jié)信息。

NSCT具有多尺度、方向性和平移不變性等特點(diǎn)，可以有效提取待融合圖像中的方向信息，使得融合后的圖像更好地滿足人眼的視覺要求。

本文主要研究多聚焦圖像的融合，將具有平移不變性的NSCT引入圖像融合，根據(jù)NSCT分解方向子帶特點(diǎn)[7]，提出一種新的基于局部區(qū)域特性的NSCT自適應(yīng)多聚焦圖像融合算法。該算法基于局部均值和局部方差選擇低頻子帶系數(shù)，并在帶通方向子帶信息中引用局部方向?qū)Ρ榷茸鳛闇y(cè)量算子來選擇帶通方向子帶系數(shù)，改善融合后圖像模糊現(xiàn)象。實(shí)驗(yàn)結(jié)果也驗(yàn)證了該算法的有效性。

1 非降采樣輪廓波變換基本理論

4小波變換因其良好的時(shí)域和頻域局域性，被廣泛用作圖像多尺度幾何分析工具。但是小波變換難以表達(dá)二維圖像中邊緣的奇異性。針對(duì)小波變換在圖像處理中的缺陷，DO M N和VETTERLI M于2002年提出了一種新的圖像多尺度幾何分析工具——Contourlet變換[8]。Contourlet變換是在離散域中直接給出圖像的Contourlet變換定義，采用濾波器組實(shí)現(xiàn)圖像的多尺度、多方向分解。Contourlet變換將多尺度分析和多方向分析分開進(jìn)行，首先使用拉普拉斯金字塔LP（Laplacian Pyramid）變換對(duì)圖像進(jìn)行多方向分解，以捕獲圖像中的奇異點(diǎn)，然后對(duì)每一級(jí)LP分解所獲得的高頻分量采用方向?yàn)V波器組DFB（Directional Filer Bank）進(jìn)行多方向分解，將同方向上的奇異點(diǎn)連接成輪廓段，從而實(shí)現(xiàn)對(duì)圖像的多尺度、多方向分解。但是，采用Contourlet變換對(duì)圖像進(jìn)行分解和重構(gòu)的過程中需要對(duì)圖像進(jìn)行降采樣和上采樣操作，使得Contourlet變換缺少平移不變性。為此，CUNHA A L等人提出了一種具有平移不變特性的Contourlet變換——NSCT變換。

NSCT采用非降采樣塔式濾波器組 NSPB（Nonsubsampled Pyramid FilterBank）和非降采樣方向?yàn)V波器組 NSFB（Nonsubsampled Directional FilterBank）對(duì)圖像進(jìn)行迭代分解。其結(jié)構(gòu)如圖1所示，其理想頻域劃分示意圖如圖2所示。與Contourlet變換不同，NSCT去掉了LP分解和DFB分解中信號(hào)經(jīng)分析濾波后的下采樣抽取和綜合濾波前的上采樣插值，而是對(duì)對(duì)應(yīng)的濾波器進(jìn)行上采樣，再對(duì)信號(hào)進(jìn)行分析濾波和綜合濾波。因此，所有的分解后的低頻和高頻子帶與輸入圖像大小相同，NSCT的完全平移不變性、多尺度和多方向擴(kuò)展的特性應(yīng)用到圖像融合中恰到好處，能夠更加有效地提取源圖像的輪廓特征，使融合過程中特征提取和處理更加方便，并可以在融合圖像中保留更多有效的原始特征，從而得到更優(yōu)的融合效果。

圖1 NSCT的結(jié)構(gòu)圖

圖2 NSCT的理想頻域劃分示意圖

2 融合方法

多聚焦圖像的特點(diǎn)是每幅圖像的某一部分清晰，一部分模糊。本文針對(duì)這個(gè)特點(diǎn)，提出了一種基于NSCT的區(qū)域自適應(yīng)多聚焦圖像融合算法，根據(jù)離焦光學(xué)系統(tǒng)成像原理以及人眼視覺特性，給出了各子帶圖像的融合規(guī)則。

2.1 融合步驟

（1）對(duì)配準(zhǔn)好的圖像A、B分別進(jìn)行NSCT分解，得到尺度系數(shù)和一系列帶通方向子帶系數(shù)；

（2）對(duì)A、B的低頻子帶系數(shù)和各帶通方向子帶系數(shù)應(yīng)用不同的融合規(guī)則進(jìn)行融合，得到融合后的系數(shù)；

（3）進(jìn)行 NSCT反變換，得到融合圖像 F。

2.2 融合規(guī)則

由于NSCT變換分解后的低頻子帶信息和各帶通方向子帶信息具有不同的物理意義，因此在融合過程中，需要對(duì)圖像的低頻子帶信息和各帶通子帶信息加以區(qū)分，采用不同的融合算子和融合規(guī)則。融合規(guī)則如下：

2.2.1 低頻子帶信息融合規(guī)則

低頻子帶系數(shù)決定圖像的輪廓，因此，選擇低頻子帶系數(shù)在圖像融合中是非常重要的。一個(gè)合適的低頻子帶系數(shù)選取原則可以提高融合圖像的質(zhì)量。但是，在許多文獻(xiàn)中，低頻子帶系數(shù)的加權(quán)平均法是常用的選取原則[9-10]。這可能會(huì)降低圖像的對(duì)比度，并且會(huì)丟失一些有用的圖像信息源。本節(jié)提出基于局部均值和局部方差的低頻系數(shù)融合策略，局部方差反映了該局部區(qū)域內(nèi)圖像灰度變化的劇烈程度，在一定程度上反映了該局部區(qū)域內(nèi)圖像的清晰程度。

具體算法如下：

（1）把圖像A、B均分為若干 r×r的小區(qū)域。計(jì)算圖像A、B 的局部均值（x，y）和局部區(qū)域（u，v）中的像素點(diǎn)的標(biāo)準(zhǔn)方差σ（x，y），局部方差[11]是一個(gè)反映局部區(qū)域?qū)Ρ榷鹊臏y(cè)度信息，它不僅能消除背景的分布不均，同時(shí)能得到目標(biāo)所在的大體位置。（x，y）和 σ（x，y）定義如下：

其中，式（1）中 f（i，j）為點(diǎn)（i，j）的灰度值，式（2）中 m、n為窗口的半徑。

（2）設(shè)定門限值 T，若 C（x，y）＞T，說明該區(qū)域中源圖像A比源圖像B清晰，低頻系數(shù)選取源圖像A的低頻系數(shù)；若 C（x，y）的值在-T～T之間，用加權(quán)平均的方法；若 C（x，y）＜-T，則選取源圖像 B 的低頻系數(shù)。

低頻子帶系數(shù)融合規(guī)則如下：

2.2.2 帶通方向子帶信息融合規(guī)則

帶通方向子帶信息的目的是盡最大可能來提取圖像中的細(xì)節(jié)信息。根據(jù)人眼對(duì)局部對(duì)比度比較敏感，結(jié)合NSCT的多方向和良好的頻域局部特性，在NSCT域中加入局部方向?qū)Ρ榷茸鳛闇y(cè)量算子，進(jìn)行帶通方向子帶系數(shù)的選擇。

在尺度 j、方向 r（r=1，2，…，2lj，lj為尺度 j下的方向分解級(jí)數(shù)）、位置（x，y）處，圖像的局部方向?qū)Ρ榷榷x為：

其 中 ，dj，r（x，y）為 尺 度 j、方 向 r、 點(diǎn) （x，y）處 的 帶 通 方 向子帶系數(shù)；cˉj（x，y）為相對(duì)于尺度 j的低頻子帶圖像 cj在點(diǎn)（x，y）處局部區(qū)域的均值。相應(yīng)可得帶通方向子帶系數(shù)融合規(guī)則如下：

3 實(shí)驗(yàn)結(jié)果及性能分析

為了驗(yàn)證算法的性能，在NSCT TOOLBOX上進(jìn)行了有效驗(yàn)證，并與加權(quán)平均方法、小波融合方法和NSCT的融合算法進(jìn)行了對(duì)比。

為了對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行客觀的評(píng)價(jià)，實(shí)驗(yàn)選取了一些結(jié)合標(biāo)準(zhǔn)圖像的評(píng)價(jià)方法對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)價(jià)。選取的客觀評(píng)價(jià)標(biāo)準(zhǔn)有信息熵（H）、均方根誤差（RMSE）、相似性度量（S）和峰值信噪比（PSNR）。

將多種不同的融合方法進(jìn)行了對(duì)比，如圖3所示。從人眼視覺來看，加權(quán)平均算法損失了圖像的清晰度，比較模糊；小波算法和NSCT算法的細(xì)節(jié)雖然保留地比較完整，但是清晰度也有一定的損失，本文算法的結(jié)果的清晰度比其他算法的結(jié)果稍好。各項(xiàng)性能參數(shù)比較如表1所示。

表1 不同融合算法的性能比較

從表1可以看出，本算法獲得了更小的均方根誤差、更高的相似度和峰值信噪比，都優(yōu)于其他算法。從實(shí)驗(yàn)結(jié)果可以看出，本算法有效保證了圖像的清晰程度（熵值較高），并有效地減少了圖像的失真。實(shí)驗(yàn)結(jié)果表明，本算法是一種有效可行的融合方法。

本文在NSCT的基礎(chǔ)上，提出了一種基于區(qū)域特性的自適應(yīng)多聚焦圖像融合算法，討論了各子帶系數(shù)的融合規(guī)則。從表1中可以看出，本算法能夠從源圖像中提取更多的有用信息。實(shí)驗(yàn)結(jié)果從主觀和客觀方面與其他圖像融合方法進(jìn)行了比較，證明了該方法的有效性。

圖3 各種方法的融合結(jié)果

[1]常霞，焦李成.基于非降采樣 Contourlet的多傳感器圖像自適應(yīng)融合[J].計(jì)算機(jī)學(xué)報(bào)，2009，32（11）：1-15.

[2]Yang Xiaohui，Jiao Licheng.Fusion algorithm for remote sensing images based on nonsubsampled contourlet transform[J].Acta Automatica Sinica， 2008，34（3）：274-281.

[3]BURT P，ADELSON E H.The Laplacian pyramid as a compace image code[J].IEEE Transaction on communication，1983，31：532-540.

[4]TOET A， VAN RUYVEN L J， VELATON M.Merging thermaland visualimage by a constrastpyramid[J].Optional Engineering， 1989， 28：789-792.

[5]王麗，盧迪，呂劍飛.一種基于小波方向?qū)Ρ榷鹊亩嗑劢箞D像融合方法 [J].中國(guó)圖像圖形學(xué)報(bào)，2008，13（1）：145-150.

[6]孫巍，王柯，袁國(guó)良，等.基于復(fù)數(shù)小波域的多聚焦圖像融合[J].中國(guó)圖像圖形學(xué)報(bào)，2008，13（5）：951-957.

[7]CUNHA A L， ZHOU J P， DOM N.The nonsubsampled contourlet transform： theory， design， and applications[J].IEEE Transactions on Image Processing，2006，15 （10）：3089-3101.

[8]DO M N， VETTERLI M.The contourlet transform： an efficient directional multiresolution image representation[J].IEEE Trans Image Proc， 2005， 14（12）：2091-2106.

[9]Zhang Qiang，Guo Baolong.Fusion of multifocus images based on the nonsubsampled contourlet transform[J].Acta Photonica Sinica，2008， 37（4）：838-843.

[10]劉濤，張登福，何宜寶.基于區(qū)域分割和非降采樣輪廓波變換的多聚焦圖像融合算法 [J].計(jì)算機(jī)應(yīng)用，2010，30（10）：2805-2807.

[11]劉曉紅，姜吉濤，周雪芹.基于局部方差的安全玻璃碎片自動(dòng)檢測(cè)算法[J].測(cè)繪科學(xué)技術(shù)學(xué)報(bào)，2007，24（5）：374-376.