朱亞輝

(陜西學(xué)前師范學(xué)院 數(shù)學(xué)與統(tǒng)計學(xué)院,陜西 西安 710100)

由于受外部環(huán)境的影響及相機(jī)本身固有的不足，往往難以得到某個場景的全聚焦圖像。利用多聚焦圖像融合技術(shù)，獲得全圖聚焦清晰、細(xì)節(jié)豐富的圖像。這在機(jī)器視覺、遙感監(jiān)測等方面具有非常重要的應(yīng)用，越來越多的學(xué)者提出了許多的多聚焦圖像融合方法。如張亞峰等人將線性延遲相位濾波器推廣到非線性群延遲相位濾波器，設(shè)計出基于擴(kuò)展相位拉伸變換局部相位方差獨立的融合策略，該方法優(yōu)于傳統(tǒng)融合算法，但也存在圖像邊緣能力描述不佳的問題；歐陽寧等提出了基于自適應(yīng)稀疏表示的多聚焦圖像融合，雖然該方法客觀融合效果評價指標(biāo)值較好，但由于字典矩陣在描述圖像邊緣等方面能力不佳，部分細(xì)節(jié)信息被平滑處理。屈小波等提出非降采樣輪廓波(Non-sampling-down Contourlet, NSCT)域內(nèi)空間頻率激勵的圖像融合算法，該方法在描述顯著目標(biāo)的邊緣上能力不佳。分?jǐn)?shù)階微分算子具有弱導(dǎo)性，既能很好地提取圖像的邊緣信息，又能較好地保留平滑區(qū)域的弱邊緣信息。因此，分?jǐn)?shù)階微分算子在圖像去噪、圖像增強(qiáng)和圖像邊緣檢測等方面取得較好的應(yīng)用。

鑒于上述分析，在現(xiàn)有研究的基礎(chǔ)上，提出了一種基于NSCT和分?jǐn)?shù)階微分的多聚焦圖像融合方法。首先經(jīng)NSCT將多聚焦圖像分解一個低頻子帶和多個高頻子帶；其次，根據(jù)各子帶的特征，設(shè)置不同的融合規(guī)則。其中，低頻子帶采用源圖像與低頻圖像間的局部對比度差的絕對值最大為融合規(guī)則；高頻子帶采用基于分?jǐn)?shù)階微分梯度最大為融合規(guī)則。實驗結(jié)果表明，本融合方法在主、客觀評價中都有較好的性能。

1 基本理論

1.1 圖像NSCT分解

NSCT是由非下采樣方向濾波器(Non-sampling-down directional filter, NSDFB)和非下采樣金字塔(Non-sampling-down pyramid, NSP)兩部分而組成。圖1為NSCT變換三級分解結(jié)構(gòu)圖。

圖1 NSCT變換三級分解結(jié)構(gòu)圖

1.2 分?jǐn)?shù)階微分濾波器

分?jǐn)?shù)階微分是一種常用的圖像增強(qiáng)算法，該算法相比于整數(shù)階微分算法可以更好地檢測模糊邊界和微弱細(xì)節(jié)，調(diào)整圖像的對比度圖像細(xì)節(jié)更突出而且還保留了平滑區(qū)域的紋理信息，改視覺質(zhì)。

目前，Grümwald-Letnikov分?jǐn)?shù)階微分常常用于數(shù)字圖像處理中，其數(shù)學(xué)表達(dá)式為：

其中：表示此式為分?jǐn)?shù)階微積分呢，()表示積分時間步長；()為伽馬函數(shù)。

若()的持續(xù)期∈[,]，將函數(shù)持續(xù)期間[,]按單位間隔=1進(jìn)行等分，得到：

則一元函數(shù)()的階分?jǐn)?shù)階微分差分表達(dá)式為：

(1)

應(yīng)用公式(1)前3項，求取5×5八方向的分?jǐn)?shù)階微分掩模算子，圖2為疊加后得到的掩模。

圖2 5×5掩模

文獻(xiàn)[10]和文獻(xiàn)[11]證明，基于分?jǐn)?shù)階微分的邊緣檢測，既能很好地提取圖像邊緣信息，又能較好地保留平滑區(qū)域的弱邊緣信息。

2 融合方法及融合規(guī)則

已知兩幅多聚焦圖像,，首先采用NSCT將圖像,分解為低頻子帶,和高頻子帶{},{}；再分別采用局部對比度差的絕對值最大和基于分?jǐn)?shù)階微分的梯度最大為融合規(guī)則，最后采用逆NSCT得到融合圖像。

2.1 低頻子帶融合規(guī)則

一般情況下，圖像經(jīng)過NSCT變換分解得到的低頻分量集中反映圖像基本信息。圖3為左右聚焦源圖像及其低頻子帶。

由圖3可知：當(dāng)區(qū)域為聚焦區(qū)域時，該區(qū)域與其相應(yīng)低頻區(qū)域的局部對比度變化強(qiáng)烈；當(dāng)區(qū)域為模糊區(qū)域時，該區(qū)域與其相應(yīng)低頻區(qū)域的局部對比度變化緩慢。因此，將源圖像與其低頻子帶間的局部對比度差的絕對值最大作為決策圖。

圖3 源圖像及其低頻子帶

具體融合規(guī)則公式為：

其中，=|()-()|,=|()-()|.

(′)和(′)分別沿著,方向的梯度。

圖4為低頻子帶決策圖。

圖4 低頻子帶的決策圖

由圖4可以看出，通過計算源圖像與低頻子帶的局部對比度絕對值差可以獲得較好的決策圖。

2.2 高頻子帶融合規(guī)則

高頻子帶描述源圖像的邊緣信息。分?jǐn)?shù)階微分相比于整數(shù)階微分算法能更好地檢測模糊邊界和微弱細(xì)節(jié)，調(diào)整圖像的對比度圖像細(xì)節(jié)更突出，而且保留了平滑區(qū)域的紋理信息。因此，高頻融合規(guī)則采用邊緣梯度最大原則，其中邊緣檢測算法采用分?jǐn)?shù)階微分算法。高頻融合規(guī)則如下：

其中，為基于分?jǐn)?shù)階微分算法的梯度，表達(dá)式如下：=max{,,,,,,,},其中，8個方向的掩模如圖2所示。

3 實驗及結(jié)果分析

3.1 實驗參數(shù)的設(shè)計及融合圖像的生成

在本節(jié)中，通過主、客觀評價多組融合圖像的效果，分析本文融合方法的有效性。其中，4組多聚焦源圖像對分別為：“Clock”“Pepsi”“Desk”和“Flower”；采用的融合方法包括：文獻(xiàn)[4]融合方法、文獻(xiàn)[13]融合方法、文獻(xiàn)[14]融合方法和本文方法。其中，本文融合方法的參數(shù)設(shè)置如下：分解級數(shù)為4級，濾波器參數(shù)為'pyrexc' 和'vk'，分解方向數(shù)為[2 3 3 4]，分?jǐn)?shù)階數(shù)=09。多種方法的融合結(jié)果如圖5所示，其中圖5(a)和圖5(b)為多聚焦源圖像對，圖5(c)～圖5(f)分別為文獻(xiàn)[4]、文獻(xiàn)[13]、文獻(xiàn)[14]和本文方法。

圖5 多聚焦圖像對及融合結(jié)果示意圖

3.2 融合圖像的主觀評價

對比第1組融合結(jié)果可以看出，基于文獻(xiàn)[4]的融合圖像右邊鬧鐘表盤紋理邊緣不清晰；基于文獻(xiàn)[13]的融合圖像左邊小鬧鐘的邊緣較為模糊；基于文獻(xiàn)[14]的融合方法和本文融合方法融合效果均較好。

對比第2組的融合結(jié)果可以看出，基于文獻(xiàn)[13]的融合圖像紋理較為模糊，字母出現(xiàn)重影；基于文獻(xiàn)[14]的融合圖像右下角邊緣不清；基于文獻(xiàn)[4]的融合圖像右端文字較為模糊?；诒疚姆椒ǖ娜诤蠄D像紋理清晰，尤其字體清晰，無重影。

本文融合方法的優(yōu)勢同樣體現(xiàn)在第3組和第4組的融合圖像中。例如，在第3組中，本文方法較好地保留等紋理信息；在第4組中，在本文方法的融合結(jié)果中，“花”在結(jié)果圖像中對比度適中，背景細(xì)節(jié)信息清晰；總體來說，在視覺質(zhì)量上，本文融合方法較優(yōu)于其他圖像融合方法。

3.3 融合圖像的客觀評價

為了更加客觀地評價本文融合方法的有效性，應(yīng)用邊緣信息保留度(Edge Information Retention, EIR), 特征相似度(Feature Similarity, FS), 結(jié)構(gòu)相似度(Structural Similarity, SSIM)和特性互信息(Feature Mutual Information, FMI)評價融合圖像質(zhì)量，這4個指標(biāo)數(shù)值越大，則融合效果越好。表1～表4給出了多組融合圖像的客觀評價指標(biāo)值。

表1 Clock融合結(jié)果評價

表2 Pepsi融合結(jié)果評價

表3 Desk融合結(jié)果評價

表4 Flower融合結(jié)果評價

由表1～表4可知，對于“EIR”,本文融合方法均優(yōu)于其他融合方法，表明本文融合方法很好地保留更多的邊緣信息；對于“FS”，本文融合方法在“Pepsi”“Desk”和“Flower”圖像融合結(jié)果評價值最優(yōu)，但在“Clock”融合圖像上本文融合方法次之(表1)，表明了本文融合方法較好地保留了源圖像的特征；對于“SSIM”和“FMI”這兩個評價指標(biāo)，雖然本文融合方法根據(jù)優(yōu)劣排序并不是最優(yōu)的，但與最優(yōu)值相差不多，表明本文融合方法較好地保留了結(jié)構(gòu)相似性和特征互信息性?？傊瑥恼w上，本文融合方法具有較好的融合結(jié)果。

4 結(jié) 論

NSCT能增強(qiáng)圖像的平移不變性，但在描述顯著目標(biāo)的邊緣上能力不佳。分?jǐn)?shù)階微分算子既能很好地提取圖像的邊緣信息，還能較好地保留平滑區(qū)域的弱邊緣信息。為了彌補(bǔ)NSCT的不足，提出了基于NSCT和分?jǐn)?shù)階微分的多聚焦圖像融合方法。通過對比多組融合圖像主、客觀評價結(jié)果表明，該方法能有效保留邊緣信息。