楊 勇， 童 松， 黃淑英， 方志軍， 楊壽淵

（1. 江西財經(jīng)大學(xué)信息管理學(xué)院，江西 南昌330032；2. 江西省數(shù)字媒體重點實驗室，江西 南昌330032；3. 江西財經(jīng)大學(xué)軟件與通信工程學(xué)院，江西 南昌330032）

一種NSCT域多聚焦圖像融合新方法

楊 勇1,2， 童 松1,2， 黃淑英3， 方志軍1,2， 楊壽淵1,2

（1. 江西財經(jīng)大學(xué)信息管理學(xué)院，江西 南昌330032；2. 江西省數(shù)字媒體重點實驗室，江西 南昌330032；3. 江西財經(jīng)大學(xué)軟件與通信工程學(xué)院，江西 南昌330032）

針對多聚焦圖像融合存在的問題，提出一種基于非下采樣Contourlet變換（NSCT）的多聚焦圖像融合新方法。首先，采用NSCT對多聚焦圖像進(jìn)行分解；然后，對低頻系數(shù)采用基于改進(jìn)拉普拉斯能量和（SML）的視覺特征對比度進(jìn)行融合，對高頻系數(shù)采用基于二維Log-Gabor能量進(jìn)行融合；最后，對得到的融合系數(shù)進(jìn)行重構(gòu)得到融合圖像。實驗結(jié)果表明，無論是運用視覺的主觀評價，還是基于互信息、邊緣信息保留值等客觀評價標(biāo)準(zhǔn)，該文所提方法都優(yōu)于傳統(tǒng)的離散小波變換、平移不變離散小波變換、NSCT等融合方法。

多聚焦圖像融合；非下采樣Contourlet變換；Log-Gabor能量；改進(jìn)拉普拉斯能量和

圖像融合是圖像處理領(lǐng)域的一個重要分支，它的思想是綜合利用不同圖像傳感器或同一傳感器在不同時間或方式得到的多幅圖像合成一幅滿足某種需求或蘊含更多有價值信息的新圖像，使得對目標(biāo)或場景的描述更加準(zhǔn)確、全面。目前，圖像融合技術(shù)已被廣泛應(yīng)用于遙感[1]、醫(yī)學(xué)診斷[2]、計算機(jī)視覺[3]等領(lǐng)域。

在照相機(jī)及光學(xué)顯微鏡等設(shè)備中，由于光學(xué)鏡片聚焦范圍有限，要得到場景中所有目標(biāo)都清晰的成像是很困難的，往往某個場景的成像是一部分聚焦(表現(xiàn)為清晰)，一部分離焦(表現(xiàn)為模糊)[4]。然而，在現(xiàn)實中人們往往希望看到的所有目標(biāo)圖像都清晰。通過多聚焦圖像融合技術(shù)，可以對同一場景下多幅聚焦不同的圖像進(jìn)行合并得到一幅全景都清晰的圖像[5]。

圖像融合方法通常分為空間域融合方法和變換域融合方法[6]?？臻g域融合方法是直接在源圖像的像素灰度或色彩空間上進(jìn)行融合操作，所以其方法也稱為單尺度融合方法；變換域融合方法是先將源圖像經(jīng)過某種特定的數(shù)學(xué)變換，然后對變換后的系數(shù)按照某種融合規(guī)則進(jìn)行組合，得到融合圖像的變換系數(shù)，最后進(jìn)行數(shù)學(xué)反變換得到融合圖像。在基于空間域的多聚焦圖像融合算法中，最常用的方法是加權(quán)平均法，即對源圖像的各個像素的值進(jìn)行加權(quán)平均處理。該方法對于圖像清晰部分和邊緣部分無法完全或準(zhǔn)確地提取，容易造成源圖像中部分有用信息丟失，降低融合結(jié)果的對比度[7]，從而使結(jié)果的細(xì)節(jié)部分出現(xiàn)不同程度的模糊。所以這種方法雖然計算簡單，時間復(fù)雜度低，但效果卻最差[8]。

基于變換域多聚焦圖像融合算法中比較流行的是使用多尺度變換，包括拉普拉斯金字塔變換(Laplacian pyramid, LP)、梯度金字塔變換(gradient pyramid, GP)、小波變換和其他的多尺度變換[9-15]。由于多尺度變換與人眼視覺多通道分解率的規(guī)律一致，可以得到更加接近人眼視覺特性的融合效果[9]。其中，離散小波變換(discrete wavelet transform, DWT)作為圖像融合領(lǐng)域中最為常用的一種多尺度方法因其具有良好的時域和頻域局部分析特性受到廣泛重視[10]。但是小波變換不具有平移不變性，使得融合圖像在奇異處容易產(chǎn)生頻譜混疊效應(yīng)，導(dǎo)致融合圖像失真。為克服這一問題，有人提出來平移不變離散小波變換(shift-invariant discrete wavelet transform, SIDWT)，并成功用于圖像融合中[11]。但是，由于二維小波基所具有的方向有限，不能最稀疏的表示圖像，只能捕獲到有限的方向信息，導(dǎo)致不能有效地描述圖像的輪廓和方向紋理特征[12]。Do和Vetterli[12]提出的Contourlet變換克服了小波變換的不足。然而，Contourlet變換由于其在分解和重構(gòu)過程中的上、下采樣導(dǎo)致其同樣不具有平移不變特性，也容易出現(xiàn)頻譜混疊效應(yīng)[13]。Cunha等[14]在 Contourlet變換的基礎(chǔ)上又提出了非下采樣Contourlet變換(non-subsampled contourlet transform, NSCT)。NSCT不僅繼承了Contourlet變換的優(yōu)點，而且還不需要上、下采樣達(dá)到平移不變的效果，有效地克服了頻譜混疊效應(yīng)[15]。

在基于多尺度變換的圖像融合過程中，如何在變換域中進(jìn)行系數(shù)融合是決定融合效果的另一重要問題。對于低頻子帶，一般直接采用平均法，但是這種方法容易使源圖像的部分有用信息丟失，在一定程度上降低了圖像的對比度；對于高頻子帶，一般認(rèn)為絕對值越大的高頻系數(shù)，擁有越明顯的細(xì)節(jié)信息，由文獻(xiàn)[16]可知，這種方式由于忽略了系數(shù)之間的相關(guān)性，可能得出錯誤的系數(shù)映射方式。

為克服這個缺陷，結(jié)合局部能量的思想，本文提出了一種基于NSCT的多聚焦圖像融合新方法。該方法首先對源圖像進(jìn)行NSCT分解；然后對低頻系數(shù)采用基于改進(jìn)拉普拉斯能量和(sum-modified-Laplacian, SML)的視覺特征對比度進(jìn)行融合，對高頻系數(shù)采用基于二維Log-Gabor能量進(jìn)行融合；最后，對得到的融合系數(shù)進(jìn)行重構(gòu)得到融合圖像。實驗結(jié)果表明，融合圖像無論從主觀和客觀評價上都能得到很好地效果。

1 非下采樣Contourlet變換

Contourlet變換是由 LP和方向濾波器組(directional filter bank, DFB)兩部分結(jié)合實現(xiàn)[12]。其中，LP用來捕獲圖像中的奇異點，DFB用來將捕獲的奇異點連接成線性的結(jié)構(gòu)。從濾波器的角度看，LP濾波器是將原圖像分解成低頻和高頻子帶，DFB將獲得的高頻子帶分解為各方向的子帶。Contourlet分解示意圖如圖 1所示。在 Contourlet變換過程中，LP的分解和重構(gòu)濾波器組為二維可分離的正交濾波器組，帶寬均大于 。由多采樣理論可知，在低頻子帶和高頻子帶均會出現(xiàn)頻譜混疊效應(yīng)。由于方向子帶是由高頻子帶通過 DFB獲得，所以方向子帶也存在頻譜混疊效應(yīng)。從而在一定程度上削弱了該方法的方向選擇性。

圖1 Contourlet分解示意圖

為解決這一問題，Cunha等[14]提出了NSCT。NSCT變換是在Contourlet變換的基礎(chǔ)上提出來的，它不僅繼承了Contourlet變換多方向、多尺度、各向異性等特性，還增強(qiáng)了它的方向選擇性和平移不變性，有效克服了頻譜混疊效應(yīng)[17]。NSCT變換分為兩個部分：非采樣金字塔濾波器 (non-subsampled pyramid filter bank, NSPFB)和非采樣方向濾波器(non-subsampled directional filter bank, NSDFB)。圖2為NSCT兩層分解的框架。NSPFB是一個雙通道非下采樣濾波器組，它的結(jié)構(gòu)類似于 LP，但是通過對濾波器采取差值（上采樣）操作來回除下采樣過程。NSDFB的結(jié)構(gòu)與NSPFB相似，它是由一個具有扇形濾波器的非下采樣濾波器組構(gòu)成。二通道濾波器組的設(shè)計是 NSCT算法構(gòu)造的核心，由于NSPFB和 NSDFB都滿足 Bezout恒等式，因此NSCT可以完全重建。因為NSPFB和NSDFB在分解和重構(gòu)的過程中沒有下采樣和上采樣，所以NSCT具有平移不變性，并且分解后的低頻子帶也不會產(chǎn)生頻譜混疊效應(yīng)。

圖2 NSCT二級分解

2 本文提出的融合方法

上一節(jié)介紹的 NSCT變換，不僅繼承了Contourlet變換的優(yōu)良特性，還具有良好的方向選擇性和平移不變性，是一種超完備的多尺度變換，融合性能優(yōu)越[15]。因此，本文選用 NSCT分解和重構(gòu)來獲得融合圖像。在 NSCT變換的過程中，如何在變換域中進(jìn)行系數(shù)融合是一個至關(guān)重要的問題[17]。為得到一個紋理清楚、視覺效果良好的融合圖像，本文分別構(gòu)建了基于SML的局部視覺特性對比度和二維 Log-Gabor能量的低頻和高頻融合規(guī)則。

2.1 低頻子帶的融合規(guī)則

圖像經(jīng)NSCT變換的低頻系數(shù)，代表了源圖像的近似信息，反映了源圖像的灰度信息，包含了源圖像大部分能量。文獻(xiàn)[18]指出，在空間域中，圖像梯度能量(energy of image gradient, EOG)、空間頻率(spatial frequency, SF)、拉普拉斯能量(energy of Laplacian, EOL)、SML等清晰度評價指標(biāo)的融合性能中，SML最適合局部聚焦程度的評價。

由文獻(xiàn)[19]可知，人眼視覺特性在對比度敏感門限與背景亮度上具有非線性關(guān)系。綜合考慮人眼視覺特性及 SML的優(yōu)良特性，本文提出對低頻子帶系數(shù)采用基于 SML的視覺特性對比度的融合規(guī)則。以源圖像A的低頻子帶為例，基于SML的視覺特性對比度LV的定義如下：

2.2高頻子帶的融合規(guī)則

圖像經(jīng)NSCT變換的高頻子帶主要包括圖像的紋理和邊緣等細(xì)節(jié)信息。一般認(rèn)為絕對值越大的高頻系數(shù)，擁有越明顯的細(xì)節(jié)信息，由文獻(xiàn)[16]可知，這種方式由于忽略了系數(shù)之間的相關(guān)性，可能得出錯誤的系數(shù)映射方式。為克服這個缺陷，受文獻(xiàn)[20]的啟發(fā)，并結(jié)合局部能量的思想，本文設(shè)計了一種以局部Log-Gabor能量的大小作為高頻融合規(guī)則的新方法。

Gabor濾波器是一種重要的紋理特征提取方法，這種方法借鑒心理生理學(xué)的研究成果，模擬方向可選神經(jīng)元的計算機(jī)制，通過將Gabor函數(shù)作為小波變換的基函數(shù)，來實現(xiàn)尺度不變的特征提取[21]。Log-Gabor濾波器是以Gabor濾波器為基礎(chǔ)提出的，與Gabor濾波器相比，其傳遞函數(shù)的設(shè)計彌補了Gabor 濾波器對高頻分量表達(dá)的不足，更符合人眼視覺感知特性，可以在取得最佳空間定位的同時得到盡可能寬的頻譜信息，更真實地反映自然圖像的頻率響應(yīng)[22]。

其中，(2 M + 1)(2 N+ 1)為窗口大小， T（i, j ）代表了圖像x在k尺度l方向上的高頻子帶的Log-Gabor能量的大小。

由于多聚焦圖像通常在聚焦區(qū)域擁有豐富的高頻信息，非聚焦區(qū)域的高頻信息相對匱乏，通過比較圖像各個高頻子帶系數(shù)的局部Log-Gabor能量大小分析高頻子帶的聚焦程度，是可行的。為此，本文選擇的高頻融合方案為：

2.3 圖像融合總體框架

設(shè)計出低頻和高頻系數(shù)融合規(guī)則后，基于多尺度變換融合的一般方法，本文提出如圖3所示的基于NSCT的圖像融合框架。具體融合步驟如下：

步驟 1.對預(yù)處理后的源圖像 A、B分別進(jìn)行NSCT分解，圖像大小設(shè)為 M0N0。其中定義NSCT的尺度分解為k級，每一級尺度下的方向分解數(shù)定義為l個。源圖像A、B分解后得到的NSCT分解系數(shù)分別為：｝和，其中L為低頻子帶系數(shù)， Hk,l為k尺度下第l個方向的高頻子帶系數(shù)。本文中取尺度分解級數(shù) k=3，方向分解數(shù)

步驟2.通過上述2.1和2.2節(jié)提出的融合規(guī)則分別對分解后的低頻子帶和高頻子帶進(jìn)行系數(shù)融合。

步驟3.采用NSCT逆變換對步驟2中得到的低頻子帶融合系數(shù)和高頻子帶融合系數(shù) LF（i, j）和H（i,j）進(jìn)行重構(gòu)，即可得到融合圖像F。

圖3 基于NSCT的圖像融合框架

3 實驗結(jié)果及分析

為驗證本文提出融合算法的準(zhǔn)確性和魯棒性，論文選取了四組多聚焦圖像進(jìn)行融合實驗。實驗數(shù)據(jù)如圖4所示，圖中每兩幅為一組待融合圖像，依次標(biāo)記為圖像組Cameraman、Pepsi、Clock、Lab。前三組圖像大小均為256×256，圖像組Lab的大小均為640×480。

為更好地評估本文的融合算法性能，對每一組實驗分別采用另外5種融合算法與本文算法進(jìn)行對比實驗。在5種融合算法中：第一種方法為加權(quán)平均法，權(quán)值分別是0.5；后4種算法分別采用基于GP的融合算法、基于 DWT的融合算法、基于SIDWT的融合方法和基于NSCT的融合算法，均采用常用的高頻取絕對值最大、低頻取平均的融合規(guī)則，其中DWT為三層分解，基為DBSS(2, 2)；SIDWT也為三層分解，基為Haar；NSCT的分解層數(shù)及各層方向數(shù)是[1, 2, 8]，金字塔濾波器組為‘9-7’方向濾波器組為‘pkva’。

實驗中，除了從視覺效果上評價融合結(jié)果外，本文還引入了互信息(mutual information, MI)和邊緣保持度(QAB/F)兩個客觀評價指標(biāo)來評價本文提出的融合算法的性能。

MI是融合圖像F與源圖像A與B的互信息量，可以用來對融合圖像F包含源圖像A和B的信息量進(jìn)行度量[23]，其值越大即說明源圖像有越多信息轉(zhuǎn)移到了融合結(jié)果中，則融合效果更好。定義如下：

其中

表示融合圖像F分別與源圖像A、B的互信息量。pA(a)、pB(b)、pF(f)分別表示源圖像 A、B和融合圖像F的概率密度函數(shù)，由對應(yīng)圖像的灰度直方圖估計得到。pAF(a,f)、pBF(b，f)分別表示源圖像A或B與融合圖像F的聯(lián)合密度函數(shù)，由對應(yīng)兩幅圖像的歸一化聯(lián)合灰度直方圖估計得到。

QAB/F評價算子是由Xydeas和 Petrovi?[24]提出的，該算子通過sobel邊緣檢測算子來衡量源圖像邊緣信息轉(zhuǎn)移到融合圖像的多少，它的值越大，說明轉(zhuǎn)移的邊緣信息越多，則融合效果越好。其定義如下：

其中，M0與 N0表示圖像的尺寸和分別表示源圖像 A和 B的邊緣強(qiáng)度。 Q(i,j)和Q(i,j)分別表示融合圖像F相對源圖像x的邊緣強(qiáng)度和方向的保留度。

圖4 實驗數(shù)據(jù)(a)、(b)為圖像組Cameraman；(c)、(d)為圖像組Pepsi；(e)、(f)為圖像組Clock；(g)、(h)為圖像組Lab

第一組實驗，本文選用了人工多聚焦圖像組Cameraman (圖4(a)～(b))進(jìn)行了融合實驗。圖5(a)～(f)是不同算法所獲得的融合結(jié)果。在圖5中，加權(quán)平均法得到的融合結(jié)果較為模糊，對比度最差；DWT方法得到的融合結(jié)果中有偽影存在（如人物的頭發(fā)區(qū)域）；其他幾種方法從視覺上很難區(qū)分融合結(jié)果的優(yōu)劣。為更好地評估融合結(jié)果的差異，本文給出了融合結(jié)果與源圖像（圖4(a)）的殘差圖，并對殘差圖做了亮度與梯度的銳化，如圖6所示。本組實驗圖像組是一個上下聚焦的圖像，故本文試圖將圖6中的殘差圖像分為上、下兩部分來分析各融合算法的性能差異。從各殘差圖的下半部分即源圖像（圖4(a)）的聚焦區(qū)域可以看出，其中圖6(f)效果最好，下半部分幾乎都是黑色，即本文提出的方法幾乎保留了源圖像中聚焦區(qū)域所有的像素點；相反，圖6(a)的效果最差，對源圖像的聚焦區(qū)域的信息損失最大。圖6(b)與圖6(c)相比，圖6(b)的信息量更大，即丟失的有用信息也更多，圖6(c)對于聚焦區(qū)域的信息獲取較多，效果相對較好。圖6(c)與圖6(e)相比，圖6(e)對源圖像有用信息的捕獲能力要明顯好于圖6(c)。圖6(d)與圖6(e)相比，圖6(d)在目標(biāo)人物的衣服邊界以及相機(jī)三腳架的邊界信息丟失要比圖6(e)明顯。從每幅圖像的上半部分（即圖5(a)的離焦區(qū)域）可以看出，圖6(c)～(f)都可以看到目標(biāo)人物以及背景建筑清晰的局部特征，圖6(a)與圖6(b)相對模糊；圖6(c)相對于圖6(d)～(f)，邊緣出現(xiàn)明顯的偽影，邊緣和紋理表現(xiàn)較弱。

綜合圖5和圖6的結(jié)果可以看出：加權(quán)平均法得到的融合圖像視覺效果最差；基于DWT的方法對于聚焦區(qū)域的信息提取方面要明顯優(yōu)于梯度金字塔變換，這是因為金字塔分解和重構(gòu)的過程中丟失了較多高頻信息，導(dǎo)致細(xì)節(jié)特征不明顯。而在圖像的邊緣部分NSCT變換要優(yōu)于DWT和SIDWT變換，這是因為NSCT使用了更好地分解和重構(gòu)工具，對于圖像線奇異的捕獲能力更強(qiáng)。本文提出的融合算法也明顯優(yōu)于傳統(tǒng)的基于NSCT得到的融合結(jié)果，這也說明本文融合規(guī)則的有效性。因此，從本組實驗對比可以得出，本文提出的融合方法融合效果要優(yōu)于其他5種算法，有效地保留了源圖像中清晰部分的信息，最大限度地保留了源圖像的有用信息。

圖5 不同方法所獲得的圖像組Cameraman的融合結(jié)果

圖6 不同方法所獲得的圖像組Cameraman的融合結(jié)果與源圖像（圖4(a)）之間的殘差圖

為說明本文提出的融合算法可以廣泛地適用于多聚焦圖像融合，本文還給出了3組融合實驗。融合圖像分別為多聚焦圖像組Pepsi、Clock和存在配準(zhǔn)誤差的圖像組Lab(如圖4(c)～(h))。圖7和圖9為不同方法所獲得的圖像組 Pepsi和圖像組 Clock的融合結(jié)果，其中兩組圖像里的(a)、(b)比其他四幅圖像相對模糊，即前兩種方法相對于其他方法要差。圖8和圖10為不同方法所獲得的圖像組Pepsi和圖像組Clock的殘差圖。通過圖8和圖10可以看出，基于NSCT的融合方法相比于基于DWT的融合方法在融合圖像中保留了源圖像聚焦區(qū)域更多的細(xì)節(jié)信息，這是因為NSCT多方向性克服了傳統(tǒng)小波變換方向有限的缺點，保留了源圖像更多的有用信息。圖8(f)和圖10(f)在源圖像的聚焦區(qū)域幾乎表現(xiàn)為黑色，這也就說，本文提出的方法幾乎保留了源圖像聚焦區(qū)域中的全部有用信息，所提出的方法捕獲源圖像中聚焦部分和細(xì)節(jié)部分信息的能力要大大優(yōu)于另外5種方法。

圖11表示不同方法所獲得的圖像組Lab的融合結(jié)果。從源圖 4(g)～(h)可以看出，這兩幅圖像的學(xué)生頭像之間存在輕微的位置差異，這說明圖像組Lab中的兩幅圖存在少許的配準(zhǔn)誤差。從實驗結(jié)果圖 11看出，即使存在配準(zhǔn)誤差的情況下，本文提出的融合算法也能得到視覺效果良好的融合結(jié)果（如矩形框內(nèi)所示），說明本文融合方法對配準(zhǔn)具有很好的魯棒性。

圖7 不同方法所獲得的圖像組Pepsi的融合結(jié)果

圖8 不同方法所獲得的圖像組Pepsi的融合結(jié)果與源圖像(圖4(c))之間的殘差圖

圖9 不同方法所獲得的圖像組Pepsi的融合結(jié)果

圖10 不同方法所獲得的圖像組Clock的融合結(jié)果與源圖像（圖4(e)）之間的殘差圖

圖11 不同方法所獲得的圖像組Lab的融合結(jié)果

最后，為了更為客觀地評價上述6種融合算法的性能，利用MI和QAB/F進(jìn)行了定量評價，評價結(jié)果如表1所示。從表1的數(shù)據(jù)分析可以看出，加權(quán)平均法所得到融合圖像的 QAB/F最低，而梯度金字塔由于其是一種冗余變換，在變換過程中丟失過多的有用信息，所以在互信息這個指標(biāo)上要明顯低于其他變換；DWT是一種非冗余變換，在源圖像有用信息的保留和細(xì)節(jié)的保持度上都高于梯度金字塔變換方法得到的融合結(jié)果；SIDWT通過非下采樣變換克服了頻譜混疊效應(yīng)，所得到的定量評價要明顯好于DWT；NSCT通過其多方向性保留了源圖像更多方向上的細(xì)節(jié)信息，使得MI和QAB/F兩個方面相對要優(yōu)于 SIDWT；本文提出的算法也要明顯優(yōu)于傳統(tǒng)NSCT變換，在兩個評價指標(biāo)上都獲得明顯地提高，這也說明了本文提出的基于 SML的視覺特征對比度和基于局部Log-Gabor能量的融合規(guī)則的有效性。綜上所述，無論是主觀視覺還是客觀指標(biāo)，本文算法融合效果都要優(yōu)于其他5種方法。

表1 不同多聚焦圖像融合方法得的客觀指標(biāo)對比

4 結(jié) 束 語

針對多聚焦圖像融合存在的主要問題，提出一種基于NSCT的多聚焦圖像融合新方法。首先，構(gòu)建了源圖像經(jīng)NSCT分解后的融合規(guī)則選取方案，提出了基于 SML的視覺特征對比度的低頻融合規(guī)則和基于Log-Gabor能量的高頻融合規(guī)則。最后，在此基礎(chǔ)上給出了一個新的NSCT域多聚焦圖像融合框架。大量的實驗結(jié)果對比和分析都充分證明了本文所提出的融合方法的有效性。由于NSCT算法自身的復(fù)雜度高、計算耗時長，因此下一步將研究提高算法的運算速度。

[1] Zhang Zhou, Shi Zhenwei, An Zhenyu. Hyperspectral and panchromatic image fusion using unmixing-based constrained nonnegative matrix factorization [J]. Optik-International Journal for Light and Electron Optics, 2013, 124(13): 1601-1608.

[2] Miles B, Ben A I, Law M W K, Garvin G, Fenster A, Li Shuo. Spine image fusion via graph cuts [J]. IEEE Transactions on Biomedical Engineering, 2013, 60(7): 1841-1850.

[3] Liang Junli, He Yang, Liu Ding, Zeng Xianju. Image fusion using higher order singular value decomposition [J]. IEEE Transactions on Image Processing, 2012, 21(5): 2898-2909.

[4] Yang Yong, Zheng Wenjuan, Huang Shuying. A novel automatic block-based multi-focus image fusion via genetic algorithm [J]. KSII Transactions on Internet and Information Systems, 2013, 7(7): 1671-1689.

[5] Yang Bing, Li Shutao. Multifocus image fusion and restoration with sparse representation [J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892.

[6] Liu Yipeng, Jin Jing, Wang Qiang, Shen Yi, Dong Xiaoqiu. Region level based multi-focus image fusion using quaternion wavelet and normalized cut [J]. Signal Processing, 2014, 97(4): 9-30.

[7] Zhang Zhong, Blum R S. A categorization of multiscale-decomposition-based image fusion schemeswith a performance study for a digital camera application [J]. Proceeding of the IEEE, 1999, 87(8): 1315-1326.

[8] 李樹濤, 王耀南, 張昌凡. 基于視覺特性的多聚焦圖像融合[J]. 電子學(xué)報, 2001, 29(12): 1699-1701.

[9] 王 麗, 盧 迪, 呂劍飛. 一種基于小波方向?qū)Ρ榷鹊亩嗑劢箞D像融合方法[J]. 中國圖象圖形學(xué)報, 2008, 13(1): 145-150.

[10] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion [C]//International Symposium on Optical Science, Engineering, and Instrumentation. International Society for Optics and Photonics, 1995: 248-251.

[11] Ioannidou S, Karathanassi V. Investigation of the dual-tree complex and shift-invariant discrete wavelet transforms on Quickbird image fusion [J]. Geoscience and Remote Sensing Letters, IEEE, 2007, 4(1): 166-170.

[12] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing, 2005, 14(12): 2091-2106.

[13] 屈小波, 閆敬文, 楊貴德. 改進(jìn)拉普拉斯能量和的尖銳頻率局部化 Contourlet域多聚焦圖像融合方法[J]. 光學(xué)精密工程, 2009, 17(5): 1203-1212.

[14] Cunha A L, Zhou Jianping, Do M N. The nonsubsampled Contourlet transform: theory, design and applications [J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[15] Bhatnagar G, Jonathan Wu Q M, Liu Zheng. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE Transactions on Multimedia, 2013, 15(5): 1014-1024.

[16] 李華鋒, 柴 毅, 張曉陽. 基于多尺度積視覺特性的多聚焦圖像融合算法[J]. 控制與決策, 2012, 27(3): 355-361.

[17] Qu Xiaobo, Yan Jingwen, Xiao Hongzhi, Zhu Ziqian. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain [J]. Acta Automatican Sinica, 2008, 34(12): 1508-1514.

[18] Huang Wei, Jing Zhongliang. Evaluation of focus measures in multi-focus image fusion [J]. Pattern Recognition Letters, 2007, 28(4): 493-500.

[19] Bhatnagar G, Jonathan Wu Q M, Liu Zheng. Human visual system inspired multi-modal medical image fusion framework [J]. Expert Systems with Applications, 2013, 40(5): 1708-1720.

[20] Redondo R, ?roubek F, Fischer S, Cristobal G. Multifocus image fusion using the Log-Gabor transform and a multisize windows technique [J]. Information Fusion, 2009, 10(2): 163-171.

[21] Yao Peng, Li Jun, Ye Xueyi, Zhuang Zhenquan, Li Bin. Iris recognition algorithm using modified Log-Gabor filters [C]//18th International Conference on Pattern Recognition, IEEE, 2006: 461-464.

[22] Li Shutao, Yang Bing. Multifocus image fusion using region segmentation and spatial frequency [J]. Image and Vision Computing, 2008, 26(7): 971-979.

[23] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion [J]. Electronics Letters, 2002, 38(7): 313-315.

[24] Xydeas C S, Petrovi? V. Objective image fusion performance measures [J]. Electronics Letters, 2000, 36(4): 308-309.

A Novel NSCT-Based Technique for Multi-Focus Image Fusion

Yang Yong1,2, Tong Song1,2, Huang Shuying3, Fang Zhijun1,2, Yang Shouyuan1,2
(1. School of Information Technology, Jiangxi University of Finance and Economics, Nanchang Jiangxi 330032, China; 2. Jiangxi Key Laboratory of Digital Media, Nanchang Jiangxi 330032, China; 3. School of Software and Communication Engineering, Jiangxi University of Finance and Economics, Nanchang Jiangxi 330032, China)

In order to overcome the shortcoming of the traditional multi-focus image fusion methods, a novel non-subsampled contourlet transform (NSCT) based technique for multi-focus image fusion is proposed. Firstly, the source multi-focus images are decomposed by using the NSCT. Secondly, the low-frequency subband coefficients are fused by the local visual contrast mechanism based Sum-Modified-Laplacian (SML), and the high-frequency subband coefficients are fused by a 2D Log-Gabor energy rule. Finally, the inverse NSCT is employed to reconstruct the fused image. Experimental results demonstrate that the proposed method is better than series of popularly used fusion methods, including discrete wavelet transform, shift invariant DWT, NSCT, etc, in terms of both subjective and objective evaluations.

multi-focus image fusion; non-subsampled Contourlet transform; Log-Gabor energy; sum-modified-Laplacian

A

2095-302X(2014)06-0854-10

2014-07-02；定稿日期：2014-08-05

國家自然科學(xué)基金資助項目(61262034)；教育部科學(xué)技術(shù)研究重點資助項目(211087)；江西省自然科學(xué)基金資助項目(20114BAB21102, 20132BAB201025)；江西省教育廳科技資助項目(GJJ14334, GJJ09022)；江西省高校科技落地計劃資助項目(KJLD14031)

楊 勇(1976-)，男，湖北鄂州人，教授，博士。主要研究方向為圖像處理、醫(yī)學(xué)圖像處理與分析、模式識別。E-mail：greatyangy@126.com

TP 391.41