曹義親，楊世超

（華東交通大學(xué)軟件學(xué)院， 南昌 330013）

0 引言

隨著傳感器技術(shù)不斷地發(fā)展和完善，單傳感器所獲得的信息已經(jīng)不能滿足人們的需求，需要通過對多個(gè)傳感器信息進(jìn)行融合來獲得更豐富的信息。圖像是一種媒介，包含了大量的信息，如何對這些信息進(jìn)行有效地處理也成為了迫切需要解決的問題。因此，許多學(xué)者將信息融合應(yīng)用于圖像當(dāng)中，從而出現(xiàn)了一個(gè)新的名詞——圖像融合。圖像融合是指將來自不同傳感器的源圖像采用一定的技術(shù)手段，融合成一張新的并且信息度更加豐富的圖像。近年來，圖像融合在軍事、視頻監(jiān)控、醫(yī)學(xué)成像、遙感等領(lǐng)域發(fā)展比較迅速。在軍事領(lǐng)域中，圖像融合跟目標(biāo)追蹤和導(dǎo)航緊緊聯(lián)系在一起，通過對可見光圖像與紅外圖像進(jìn)行融合，能幫助飛行員實(shí)現(xiàn)更精確的定位。通過對遙感圖像進(jìn)行融合，融合得到的圖像同時(shí)具有高空間分辨率和多光譜特性，使目標(biāo)識別和分類更加迅速。在醫(yī)學(xué)領(lǐng)域中，通過對電腦斷層掃描圖像（CT）和核磁共振圖像（MRI）進(jìn)行融合，能提高醫(yī)生診斷疾病的準(zhǔn)確率。

由于需要對多傳感器所獲得的信息進(jìn)行處理，故在一定程度上會增加圖像融合的耗時(shí)。為了提高信息處理的效率，需要提出一種新的方法和思路，稀疏表示很好地解決了這一問題。文獻(xiàn)［1］直接對低頻系數(shù)進(jìn)行稀疏表示，能有效提升圖像的融合質(zhì)量，但在圖像邊緣處會有虛影產(chǎn)生。文獻(xiàn)［2］將稀疏表示應(yīng)用于遙感圖像，雖然融合結(jié)果比較成功，但由于遙感圖像的細(xì)節(jié)信息比較豐富，并不適用于本文研究。文獻(xiàn)［3］提出對低頻子帶的四個(gè)方向進(jìn)行快速稀疏表示，這能在一定程度上減少圖像融合所耗費(fèi)的時(shí)間，但細(xì)節(jié)信息會出現(xiàn)丟失。文獻(xiàn)［4］提出采用非下采樣雙樹復(fù)輪廓波變換對源圖像進(jìn)行分解，此方法雖然在一定程度上提高了圖像融合質(zhì)量，但所耗費(fèi)的時(shí)間也有所提高。文獻(xiàn)［5］將多任務(wù)魯棒稀疏表示模型運(yùn)用到多聚焦圖像融合當(dāng)中，這可以大大提高圖像融合方法的魯棒性，但計(jì)算復(fù)雜度比較高。文獻(xiàn)［6］通過將魯棒稀疏表示模型與形態(tài)學(xué)濾波相結(jié)合，有效提高了圖像塊之間的相關(guān)性，但同時(shí)圖像的對比度也會降低。文獻(xiàn)［7］提出了一種新穎的卷積稀疏表示模型，將圖像看成一個(gè)整體，直接對圖像本身進(jìn)行操作，有效解決了圖像塊關(guān)聯(lián)性不夠的問題。

針對文獻(xiàn)［7］對低頻子帶系數(shù)進(jìn)行整體融合，但忽略了對高頻子帶系數(shù)進(jìn)行合理有效處理這一問題，本文在文獻(xiàn)［7］基礎(chǔ)上加以改進(jìn)，提出了一種基于卷積稀疏表示的圖像融合方法。首先，在高頻子帶系數(shù)中，利用相似度分析和視覺顯著性進(jìn)行融合。然后，將低頻子帶系數(shù)整體融合改進(jìn)為使用Butworth低通濾波對低頻子帶進(jìn)行分解，得到低頻近似子帶和強(qiáng)邊緣子帶。最后，再用改進(jìn)的脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）對強(qiáng)邊緣子帶進(jìn)行融合。

1 NSST的基本理論

在傳統(tǒng)仿射系統(tǒng)的基礎(chǔ)上，Easley等［8］將幾何與多尺度相結(jié)合，提出了一種新型的多分辨率分析工具——非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）。它不僅吸收了小波理論的最新研究成果，而且具有嚴(yán)格的數(shù)學(xué)基礎(chǔ)，具體公式如下

式（1）中，ψ∈L2（R2），｜detN｜＝1；j為分解尺度，l為方向參數(shù)，K為剪切參數(shù)；M為各向異性矩陣，N為剪切矩陣，Z為整數(shù)域。

NSST的核心部分是非下采樣金字塔（Non-subsampled Pyramid，NSP）分解和剪切波方向?yàn)V波（Shearlet Filter，SF）分解。NSP分解能將低頻分量不斷地分解，而SF分解主要用于分解高頻分量，具體的流程圖如圖1所示。

2 脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）

脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN）［9］是一種簡化的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型根據(jù)生物視覺神經(jīng)系統(tǒng)的工作原理，通過模擬貓腦視覺皮層同步脈沖爆發(fā)現(xiàn)象而建立起來的。

圖1 NSST的多尺度多方向分解過程Fig.1 Multi-scale and multi-direction decomposition of NSST

標(biāo)準(zhǔn)的PCNN模型主要由三部分組成：刺激接收場、脈沖調(diào)制場和脈沖生成場。當(dāng)將PCNN模型應(yīng)用到圖像時(shí)，網(wǎng)絡(luò)中的神經(jīng)元與圖像中的像素點(diǎn)是相對應(yīng)的，迭代公式如下

式（2）～式（6）中，（i，j）為一個(gè)像素點(diǎn)，n為迭代次數(shù)，Lij為連接輸入，F(xiàn)ij為反饋輸入激勵(lì)，Uij為內(nèi)部活動，β為鏈接強(qiáng)度，θij為動態(tài)閾值，Yij為神經(jīng)元的輸出，WijKl為神經(jīng)元矩陣之間的連接權(quán)重，VF、VL、Vθ為放大因子，aF、aL、aθ為時(shí)間常數(shù)。

3 卷積稀疏表示理論

卷積稀疏表示（Convolution Sparse Representation，CSR）［10］可以看作是對稀疏表示采用卷積形式，其基本思想是將圖像s建模為稀疏系數(shù)映射xm與字典過濾器dm之間的一組卷積之和

式（7）中，?為卷積運(yùn)算符。文獻(xiàn)［10］提出了一種ADMM算法，可以很好地解決卷積稀疏表示編碼問題。字典學(xué)習(xí)被定義為式（8）的優(yōu)化問題

4 融合規(guī)則

首先，將源圖像A和B進(jìn)行NSST，將圖像由空間域轉(zhuǎn)換到頻域。對于低頻子帶系數(shù)，采用Butworth低通濾波進(jìn)行分解，分解為低頻近似子帶和強(qiáng)邊緣子帶。對于高頻子帶系數(shù)，先進(jìn)行相似度分析，再結(jié)合視覺顯著性進(jìn)行融合。將卷積稀疏表示方法用于融合低頻近似子帶，將改進(jìn)的PCNN方法用于融合強(qiáng)邊緣子帶。

4.1 低頻近似子帶融合

低頻近似子帶系數(shù)傳統(tǒng)的處理方式通常為簡單選擇或加權(quán)平均，但這樣會導(dǎo)致融合后的圖像部分信息丟失。采用稀疏表示的方式能很好地改善這個(gè)問題，但由于稀疏表示是基于圖像塊進(jìn)行編碼的，這會破壞圖像塊間的相關(guān)性。因此，采用卷積稀疏表示對低頻近似子帶進(jìn)行處理，通過對圖像整體進(jìn)行稀疏表示，從而增強(qiáng)圖像塊間的相關(guān)性，提高圖像融合效果。具體步驟如下所示：

1）對低頻近似子帶XA（i，j）、XB（i，j）進(jìn)行卷積稀疏表示處理，得到系數(shù)映射xA，m（i，j）、xB，m（i，j）。

2）對系數(shù)映射求l1范式，采用如下規(guī)則得到融合后的系數(shù)映射xF，m（i，j）

3）重構(gòu)融合后的系數(shù)映射，得到最終的結(jié)果。

4.2 強(qiáng)邊緣子帶融合

PCNN模型具有良好的視覺感知能力，但模型參數(shù)大都設(shè)置為經(jīng)驗(yàn)值。因此，本文采用改進(jìn)的PCNN方法對強(qiáng)邊緣子帶系數(shù)進(jìn)行融合。比較常用的指標(biāo)為EOL和SML，但在對邊緣特性的表達(dá)上，由于不能充分地提取邊緣特征，會降低融合后圖像的清晰度。因此，選擇邊緣能量作為PCNN的外部輸入

式（11）中，Z（i，j）為強(qiáng)邊緣子帶系數(shù)，E1、E2、E3為方向?yàn)V波操作。其中，E1、E2、E3滿足

傳統(tǒng)方法對PCNN模型的處理只會考慮兩個(gè)方向的梯度能量，通常為水平方向和垂直方向，因而忽略了對角線方向的信息。為了提高圖像的清晰度，本文對不同方向上的像素點(diǎn)進(jìn)行一并考慮，將8-鄰域梯度能量設(shè)置為該模型的連接強(qiáng)度。8-鄰域梯度能量定義如下

式（14）中，M×N為區(qū)域大小，Y（i，j）為高頻子帶系數(shù)。

4.3 高頻子帶系數(shù)融合

相似度是對圖像融合效果的一種衡量方法，分析視覺顯著性能夠幫助辨別圖像的部分區(qū)域是否顯著，從而有效獲得更多的整體信息。先進(jìn)行相似度分析，再結(jié)合視覺顯著性進(jìn)行融合，能有效提高融合效果。具體的方法如下所示：

對源圖像A和B進(jìn)行分解，分解為高頻子帶系數(shù)HA和HB。對高頻子帶系數(shù)使用3×3的滑動窗口進(jìn)行分塊，采用如下公式進(jìn)行相似度分析

式（15）中，l（x，y）、c（x，y）和s（x，y）依次為亮度相似性、對比度相似性和結(jié)構(gòu)相似性，計(jì)算公式如下

式（16）中，μx、μy為均值，σx、σy為標(biāo)準(zhǔn)差，σxy為協(xié)方差。

當(dāng)SM＞0.5時(shí)，表示圖像塊具有相似性。此時(shí)，分別計(jì)算圖像塊的區(qū)域能量，區(qū)域能量的定義如下

通過區(qū)域能量計(jì)算出對應(yīng)子帶系數(shù)的權(quán)重，并進(jìn)行加權(quán)，有

當(dāng)SM＜0.5時(shí)，說明圖像塊不具有較高相似性。因此，需要計(jì)算每個(gè)圖像塊中像素點(diǎn)的顯著性，并根據(jù)顯著性進(jìn)行加權(quán)融合，具體的公式如下

式（19）中，Sn為像素點(diǎn)的顯著性，In（i，j）為圖像的像素值，μn為圖像的均值。通過函數(shù)對顯著性進(jìn)行處理，獲得加權(quán)系數(shù)，結(jié)果如下

式（20）中，σ為圖像方差；n為源圖像的數(shù)量；k為調(diào)整參數(shù)，本文設(shè)置為0.8。

4.4 融合方法

本文提出的方法具體步驟如下：

1）通過NSST將源圖像A和B變換到頻域空間；

2）通過Butworth低通濾波對低頻子帶系數(shù)進(jìn)行處理，得到低頻近似子帶和強(qiáng)邊緣子帶；

3）將卷積稀疏表示方法用于融合低頻近似子帶，將改進(jìn)的PCNN方法用于融合強(qiáng)邊緣子帶；

4）對于高頻子帶系數(shù)，先進(jìn)行相似度分析，再結(jié)合視覺顯著性進(jìn)行融合。

對應(yīng)的算法流程如圖2所示。

圖2 算法流程圖Fig.2 Flowchart of algorithm

5 融合實(shí)驗(yàn)和結(jié)果分析

采用“clock”、“pepsi”兩組多聚焦圖像和一組遙感圖像進(jìn)行實(shí)驗(yàn)，如圖3所示。實(shí)驗(yàn)采用主頻為1.70GHz、內(nèi)存為8G的筆記本電腦運(yùn)行，使用的是win7系統(tǒng)，軟件環(huán)境是Matlab R2016b，PCNN模型的參數(shù)設(shè)置為：Vθ＝0.2、VL＝1.0、aθ＝20、aL＝1、Nmax＝200。

圖3 實(shí)驗(yàn)源圖像Fig.3 Source image of experiment

為了驗(yàn)證本文所提算法的融合結(jié)果，將本文算法與其它幾種算法進(jìn)行比較。文獻(xiàn)［7］直接使用卷積稀疏表示對圖像進(jìn)行處理；文獻(xiàn)［11］利用非下采樣輪廓波對圖像進(jìn)行分解，然后采用卷積稀疏表示對低頻進(jìn)行處理；文獻(xiàn)［12］利用引導(dǎo)濾波和Gauss濾波對源圖像進(jìn)行分解，然后采用卷積稀疏表示對低頻近似子帶進(jìn)行處理。實(shí)驗(yàn)結(jié)果如圖4～圖6所示。

圖4 “clock” 圖像實(shí)驗(yàn)結(jié)果對比Fig.4 Comparison of “clock” images experiment results

圖5 遙感圖像實(shí)驗(yàn)結(jié)果對比Fig.5 Comparison of remote sensing images experiment results

圖6 “pepsi” 圖像實(shí)驗(yàn)結(jié)果對比Fig.6 Comparison of “pepsi” images experiment results

由圖4～圖6可知，文獻(xiàn)［7］算法的融合結(jié)果中，整體圖像信息不夠豐富，顏色比較灰暗。文獻(xiàn)［11］算法的融合結(jié)果中，三幅圖像左邊區(qū)域都出現(xiàn)了不同程度的模糊現(xiàn)象，視覺效果不佳。文獻(xiàn)［12］算法的融合結(jié)果中，整體圖像的右上邊邊緣區(qū)域出現(xiàn)虛影，有明顯的變形。本文算法的融合結(jié)果中，圖像整體清晰度增強(qiáng)，邊緣特征保持較好。

為了說明本文算法的融合結(jié)果有不錯(cuò)的提升，將客觀評價(jià)指標(biāo)信息熵（IE）、標(biāo)準(zhǔn)差（SD）、空間頻率（SF）、互信息（MI）用于對圖像進(jìn)行評價(jià)。信息熵是用來衡量圖像信息量大小的指標(biāo)，標(biāo)準(zhǔn)差反映了圖像值的變化大小，空間頻率用于測量圖像的清晰度級別，互信息是用來測量源圖像信息在融合后圖像中所占比重的指標(biāo)。這幾個(gè)客觀評價(jià)指標(biāo)中，數(shù)值越大表明圖像融合質(zhì)量越好。評價(jià)結(jié)果如表1～表3所示。

表1 “clock” 圖像實(shí)驗(yàn)結(jié)果的客觀比較Table 1 Objective comparison of “clock”images experiment results

表2 遙感圖像融合結(jié)果的客觀比Table 2 Objective ratio of remote sensing image fusion results

表3 “pepsi” 圖像實(shí)驗(yàn)結(jié)果的客觀比較Table 3 Objective comparison of “pepsi” images experiment results

對表1～表3中的數(shù)據(jù)進(jìn)行分析，可以看出，本文算法在客觀指標(biāo)上總體優(yōu)于對比算法。以文獻(xiàn)［7］、文獻(xiàn)［11］和文獻(xiàn)［12］的數(shù)據(jù)為基礎(chǔ)進(jìn)行對比（三者中數(shù)值最小的），信息熵提高了將近3%、標(biāo)準(zhǔn)差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。

在時(shí)間復(fù)雜度上，本文分別對四種算法在三組圖像上進(jìn)行了測試，并對每種算法得到的數(shù)據(jù)取平均值，結(jié)果如表4所示。由表4可知，本文算法具有一定的優(yōu)勢。

表4 不同圖像融合算法的時(shí)間比較Table 4 Time comparison of different image fusion algorithms

6 結(jié)論

針對光學(xué)傳感器的成像特性，本文將卷積稀疏表示模型與圖像融合相結(jié)合，提出了一種基于卷積稀疏表示的圖像融合方法。首先，將源圖像進(jìn)行分解，得到多尺度分解系數(shù)。對于低頻分量，采用Butworth低通濾波進(jìn)行分解，得到低頻近似分量和強(qiáng)邊緣分量。對于高頻分量，先進(jìn)行相似度分析，再結(jié)合視覺顯著性進(jìn)行融合。將卷積稀疏表示方法用于融合低頻近似子帶，對于強(qiáng)邊緣分量，采用改進(jìn)的PCNN方法對其進(jìn)行融合。根據(jù)融合結(jié)果顯示，相比于其他幾組融合算法，本文算法的信息熵提高了將近3%，標(biāo)準(zhǔn)差提高了將近9%，空間頻率提升了將近30%，互信息提升了將近25%。同時(shí)，時(shí)間效率也有了一定程度地提升。