肖 斌 姜彥君 李偉生 王國胤

?

基于離散Tchebichef變換的多聚焦圖像融合方法

肖 斌*姜彥君 李偉生 王國胤

(重慶郵電大學(xué)計(jì)算智能重慶市重點(diǎn)實(shí)驗(yàn)室 重慶 400065)

基于變換技術(shù)的圖像融合是多聚焦圖像融合中常采用的方法，其過程是將圖像轉(zhuǎn)換到變換域按照一定的融合規(guī)則進(jìn)行融合后再反變換回來，具有較強(qiáng)的抗噪能力，融合效果明顯。該文提出一種基于離散Tchebichef正交多項(xiàng)式變換的多聚焦圖像融合方法，首次將離散正交多項(xiàng)式變換應(yīng)用到多聚焦圖像融合領(lǐng)域。該方法成功地利用了圖像的空間頻率與其離散Tchebichef正交多項(xiàng)式變換系數(shù)之間的關(guān)系，通過離散正交多項(xiàng)式變換系數(shù)直接得到空間頻率值，避免了將離散多項(xiàng)式變換系數(shù)變換到空域計(jì)算的過程。所提方法節(jié)省了融合時間，并提高了融合效果。

多聚焦圖像融合；離散正交多項(xiàng)式變換；空間頻率

1 引言

多聚焦圖像融合是圖像融合的主要研究領(lǐng)域之一，是針對同一場景下聚焦情況不同的多幅圖像融合成一幅對場景中所有景物都聚焦的圖像的過程，其目的是通過融合不同聚焦區(qū)域的方法增加景深。自適應(yīng)圖像深度的融合方法[1]是通過多聚焦圖像自適應(yīng)圖像的深度，并校準(zhǔn)圖像清晰度指標(biāo)進(jìn)行融合。因此多聚焦圖像融合在很多不同的領(lǐng)域扮演著重要的角色，如：生物醫(yī)學(xué)成像[2]和無線傳感網(wǎng)絡(luò)[3]等。

根據(jù)多聚焦圖像融合技術(shù)融合圖像階段的不同，將多聚焦圖像融合分成3個層次：像素級圖像融合、特征級圖像融合和決策級圖像融合[4]。像素級圖像融合[4]是最基礎(chǔ)的信息融合技術(shù)，也是當(dāng)前研究和實(shí)際應(yīng)用中廣泛采用的圖像融合方法。它的思路是：預(yù)處理原始圖像，然后直接對各個傳感器獲取的信號進(jìn)行分析處理。特征級圖像融合[4]是屬于中間層次的信息融合。它的思路是：預(yù)處理原始圖像并進(jìn)行特征提取，然后對獲得的特征信息(如：邊緣、角、紋理、相似亮度或景深區(qū)域等)作進(jìn)一步的分析處理。決策級圖像融合[4]屬于最高層次的信息融合。它的思路是：先對各個原始圖像分別進(jìn)行預(yù)處理、特征提取和特征分類，對同一目標(biāo)建立初步的決策，然后根據(jù)相應(yīng)的融合規(guī)則對從各個傳感器獲得的決策進(jìn)行融合，從而獲得最終的聯(lián)合決策。

這3個層次的圖像融合方法彼此相互獨(dú)立，又有密切的關(guān)聯(lián)。像素級圖像融合由于是最基礎(chǔ)的融合方法，直接對各個傳感器獲取的信號進(jìn)行分析，融合規(guī)則相對簡單，得到了廣泛的應(yīng)用。像素級的圖像融合又可以細(xì)分為基于空間域的融合算法和基于變換域[5]的融合算法以及新型的基于耦合神經(jīng)網(wǎng)絡(luò)的融合算法?；诳臻g域的算法比較早，融合過程簡單。該類算法一般只需要在圖像的像素空間上進(jìn)行處理，不需要變換和逆變換，但是融合效果一般，經(jīng)典算法如：密集尺度不變特征變換法(DSIFT)[6]和脈沖耦合神經(jīng)網(wǎng)絡(luò)法(PCNN)[7]。圖像變換作為圖像處理技術(shù)領(lǐng)域的一項(xiàng)重要基礎(chǔ)理論，是圖像視頻處理中的研究熱點(diǎn)，因此被廣泛應(yīng)用到圖像處理中的各個領(lǐng)域?；谧儞Q域的圖像融合算法近年來發(fā)展迅速，其融合效果得到了很大的提升，但是大多數(shù)的基于變換域的圖像融合方法計(jì)算比較復(fù)雜，時間復(fù)雜度比較高。典型的算法有基于離散余弦變換(DCT)的圖像融合方法[8]。其算法原理是將圖像由空域轉(zhuǎn)換到變換域中，然后直接對變換域系數(shù)進(jìn)行處理，按照均值最大法、頻帶對比度最大法等各種規(guī)則將圖像進(jìn)行融合，最后對融合后的變換域系數(shù)進(jìn)行逆變換得到融合后的圖像。

離散Tchebichef正交多項(xiàng)式變換[9](簡稱離散Tchebichef變換，DTT)是一種典型的圖像變換技術(shù)，其變換核函數(shù)由不同階數(shù)的離散Tchebichef正交多項(xiàng)式組成。DTT具有很高的去相關(guān)性、快速迭代計(jì)算、無數(shù)值近似、極強(qiáng)的圖像重構(gòu)能力等優(yōu)點(diǎn)，并且DTT可以整數(shù)實(shí)現(xiàn)，相比于DCT更有優(yōu)勢，因此被廣泛地應(yīng)用于圖像分析與壓縮中?？臻g頻率(Spatial Frequency, SF)[10]是一種有效的評價圖像質(zhì)量的方法，被廣泛應(yīng)用到圖像融合中，如基于脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合方法[11]就是將空間頻率與脈沖耦合神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法。本文提出一種基于DTT的多聚焦圖像融合算法，利用空間頻率與DTT系數(shù)之間的關(guān)系，直接從DTT系數(shù)得到每一個塊的空間頻率大小。然后根據(jù)空間頻率最大的規(guī)則融合圖像。最后，將處理過的圖像進(jìn)行一致性驗(yàn)證，得到最終融合后的圖像。DTT是屬于圖像正交變換，利用部分DTT系數(shù)即可逼近計(jì)算每一個塊的空間頻率。因此，相較于傳統(tǒng)的多聚焦圖像融合方法，該方法將圖像的空間頻率與DTT系數(shù)建立了聯(lián)系，節(jié)省了融合的時間，有效地改善了圖像的融合效果。與在空域上直接計(jì)算空間頻率進(jìn)行多聚焦圖像融合的方法相比具有很好的抗噪能力。

本文將在第2節(jié)介紹DTT以及空間頻率與DTT系數(shù)之間的聯(lián)系，并闡述本文算法的具體融合過程。第3節(jié)通過與經(jīng)典融合方法的對比實(shí)驗(yàn)分析本文方法的實(shí)驗(yàn)結(jié)果。最后在第4節(jié)中做出總結(jié)。

2 基于DTT的多聚焦融合算法

2.1 離散Tchebichef變換(DTT)

逆變換為

(2)

其中，

(4)

式(1)和式(2)所示的DTT正變換和逆變換可用矩陣的形式表示：

2.2 空間頻率(SF)與DTT系數(shù)的聯(lián)系

在多聚焦圖像中，聚焦區(qū)域有著更多的細(xì)節(jié)和信息，這些細(xì)節(jié)清晰的區(qū)域通常伴隨著更高的方差值。在圖像處理的應(yīng)用中，方差通常被用作計(jì)算圖像的對比度[12]。但是，計(jì)算方差作為圖像的對比度更傾向于描述圖像的明暗差異程度。雖然，在現(xiàn)有的生物技術(shù)中很難完全理解人類視覺系統(tǒng)的工作原理，但是空間頻率[10]用作有效的計(jì)算對比度的標(biāo)準(zhǔn)可以更好地表示圖像細(xì)節(jié)的清晰程度[13]。

空間頻率(SF)定義為行頻率(Row Frequency, RF)與列頻率(Column Frequency, CF)的平方和：

(7)

根據(jù)式(6)中SF的定義，可以得到SF與DTT系數(shù)之間的關(guān)系如下：

可以得到式(9)關(guān)系：

(9)

根據(jù)式(9)，式(7)中行頻率和列頻率的定義可重新表示為

(11)

那么空間頻率(SF)也可重新表示為

(13)

式(13)導(dǎo)出了圖像塊的空間頻率和DTT系數(shù)之間的關(guān)系，其中為圖像塊的DTT系數(shù)，為對應(yīng)的加權(quán)系數(shù)。

(15)

2.3 基于DTT的多聚焦圖像融合算法流程

2.2節(jié)給出了空間頻率與DTT系數(shù)之間的聯(lián)系，在此基礎(chǔ)上，利用空間頻率最大的原則，可以直接利用DTT系數(shù)進(jìn)行多聚焦圖像融合。圖1給出了基于DTT的多聚焦圖像融合的框架。為了簡單起見，本文僅考慮只有兩幅源圖像和的圖像融合，關(guān)于多幅多聚焦圖像可以此類似推廣。具體融合過程的步驟如下：

(1)首先對需要融合的兩幅圖像分別進(jìn)行分塊處理，得到個的圖像塊。在位置處對應(yīng)的塊分別記作和；

(2)通過式(5)分別計(jì)算對應(yīng)塊的DTT系數(shù)；

(3)利用空間頻率與DTT系數(shù)之間的推導(dǎo)關(guān)系式(13)分別計(jì)算對應(yīng)塊的空間頻率大小，然后將和對應(yīng)的空間頻率大小分別記作和；

(4)比較計(jì)算后的對應(yīng)圖像塊的空間頻率值，創(chuàng)建一個決策圖記錄特征比較結(jié)果如式(16)：

(5)應(yīng)用一致性驗(yàn)證[14]處理來提高輸出圖像的質(zhì)量。一致性驗(yàn)證應(yīng)用多數(shù)篩選法，即如果合成圖像中的某個系數(shù)來自于圖像，而這個系數(shù)鄰域內(nèi)的其他系數(shù)以來自于圖像的居多，則將其修正為來自圖像。本文采用的濾波器來獲得最終的決策圖：

(17)

(6)最終根據(jù)決策圖進(jìn)行融合，融合規(guī)則如式(18)：

3 實(shí)驗(yàn)結(jié)果和分析

3.1 客觀評價指標(biāo)

為了準(zhǔn)確客觀地評價融合后的圖像質(zhì)量，本文選取結(jié)構(gòu)相似性(SSIM)、均方根誤差(RMSE)、互信息(MI)、信噪比(SNR)等評價指標(biāo)來驗(yàn)證融合后圖像的質(zhì)量，其中SSIM[15], RMSE[15], SNR[15]為有參考圖像的評價指標(biāo)，MI[15],[16],[16],[16]為無參考圖像的評價指標(biāo)。在這些客觀評價參數(shù)中，SSIM, MI,,,值越大，代表融合效果越好，RMSE越小，表示融合效果越好。

3.2 實(shí)驗(yàn)結(jié)果與分析

為了證明本文方法的適用性，實(shí)驗(yàn)中將提出的融合方法分別應(yīng)用于灰度圖像和彩色圖像，并分別從有理想?yún)⒖紙D像和無理想?yún)⒖紙D像[17]兩種情況去分析融合后圖像和對比評價指標(biāo)，并進(jìn)行抗噪能力實(shí)驗(yàn)對比。為驗(yàn)證本文方法的性能，將本文方法分別與密集尺度不變特征變換法(DSIFT)[6]、脈沖耦合神經(jīng)網(wǎng)絡(luò)法(PCNN)[7]、基于離散余弦變換的對比度融合方法(DCT+C+CV)[8]等典型的多聚焦圖像融合方法進(jìn)行實(shí)驗(yàn)對比，并與直接在空域上計(jì)算空間頻率融合的方法進(jìn)行實(shí)驗(yàn)對比驗(yàn)證在抗噪能力上的表現(xiàn)。另外，為驗(yàn)證各種多聚焦圖像融合算法的運(yùn)行效率，本文從運(yùn)行時間上進(jìn)行了對比。實(shí)驗(yàn)運(yùn)行環(huán)境為CPU: Intel(R) Core(TM) i5-4590 3.30 GHz，內(nèi)存：8 GB，操作系統(tǒng)：Windows7，軟件：MATLAB2014b。每種方法運(yùn)行20次，最后將運(yùn)行時間平均值作為該方法的運(yùn)行時間。

圖1 基于DTT的圖像融合流程

3.2.1有參考圖像的實(shí)驗(yàn)分析 在實(shí)際應(yīng)用中，很難產(chǎn)生理想的參考圖像，有參考圖像的實(shí)驗(yàn)分析是為了從理論上分析實(shí)驗(yàn)方法的有效性。這里，本文用如下方法構(gòu)造如下4組實(shí)驗(yàn)中理想的參考圖像：首先選取清晰的圖像作為理想的參考圖像，如圖2(c)，分別將參考圖像按不同區(qū)域進(jìn)行一定的乘性模糊處理作為待融合的原始圖像圖2(a)和圖2(b)。

實(shí)驗(yàn)1 輸入為圖像融合領(lǐng)域經(jīng)典的圖像“時鐘”，從圖2中可以看出，基于DTT的融合方法得到的圖像非常逼近于理想圖像。為進(jìn)一步對比各種融合方法的性能，表1給出了實(shí)驗(yàn)1的5種融合方法融合效果的質(zhì)量評價指標(biāo)。從表1中可以看出，對于圖像“時鐘”的各種融合方法中，本文提出的基于DTT的DTT+S+CV融合方法在SSIM, RMSE, MI, SNR,5種指標(biāo)中均達(dá)到了最優(yōu)的結(jié)果。這說明本文方法的融合圖像最接近理想?yún)⒖紙D像的融合效果，融合圖像信息更完整，在融合效果以及時間復(fù)雜度上體現(xiàn)出明顯的優(yōu)勢。

3.2.2無參考圖像的實(shí)驗(yàn)分析 這部分實(shí)驗(yàn)沒有理想中的參考圖像，原始圖像是經(jīng)照相機(jī)分別針對同一場景中不同景物聚焦情況不同得到的原始圖像圖3(a)和圖3(b)，這里采用的評價指標(biāo)是無參考圖像的評價指標(biāo)MI,,,和。

表1基于原始灰度圖像“時鐘”的5種融合圖像的評價指標(biāo)

SSIMRMSEMISNRT(s) DSIFT1.00000.00094.7065110.065236.31 PCNN0.99970.00324.1969 98.1102 3.20 DCT+C+CV0.99980.00314.2327 98.4339 1.51 DTT+S+CV10.00084.7065110.0652 0.44

實(shí)驗(yàn)2 輸入為灰度圖像“熱氣球”，從局部放大圖可以看出，DCT+C+CV的融合效果有明顯的塊效應(yīng)影響，其他方法從視覺上的效果差別不是很明顯。表2給出了實(shí)驗(yàn)2的5種融合圖像的無參考圖像質(zhì)量評價指標(biāo)。從表2中可以看出，在MI,,,,5種指標(biāo)中本文方法均達(dá)到了最優(yōu)的效果，這說明本文方法的融合圖像具有更加豐富的信息和顯著性特征，說明本文方法的融合效果在整體上具有更大的優(yōu)勢。

實(shí)驗(yàn)3 輸入為彩色圖像“報紙”，如圖4所示。從局部放大圖像中明顯可以看出，本文方法和DSIFT方法的融合效果具有明顯的優(yōu)勢，報紙的文字部分都是清晰的，細(xì)節(jié)部分比較充足，文字清晰可辨。而其他各種融合方法得到的融合效果在視覺效果上都存在不同程度的模糊現(xiàn)象，文字存在不同程度的重疊，融合結(jié)果沒有達(dá)到預(yù)期的效果。表3給出了實(shí)驗(yàn)3的5種融合圖像的無參考圖像質(zhì)量評價指標(biāo)。從表中可以看出，在MI,,3種指標(biāo)中本文方法均達(dá)到了最優(yōu)的效果，其他兩種指標(biāo),取得最佳效果的是拉普拉斯金字塔法。但是，在這3種指標(biāo)中本文方法效果依舊處于比較靠前的位置，并且在時間復(fù)雜度上具有明顯優(yōu)勢，這說明本文方法的融合效果在整體上具有更大的優(yōu)勢，融合效果更好。

圖2 實(shí)驗(yàn)1的融合結(jié)果

圖3 實(shí)驗(yàn)2的融合結(jié)果

圖4 實(shí)驗(yàn)3的融合結(jié)果

表2基于原始灰度圖像“熱氣球”的5種融合圖像的評價指標(biāo)

MIT(s) DSIFT3.87630.94280.81530.953128.83 PCNN3.85780.92320.78050.9498 3.21 DCT+C+CV3.30790.93440.77070.9498 1.77 DTT+S+CV3.87650.94290.81540.9532 0.56

3.2.3抗噪能力的實(shí)驗(yàn)分析 為了驗(yàn)證本文提出的DTT與SF結(jié)合的多聚焦圖像方法相較于直接基于空域上SF的多聚焦圖像融合方法在抗噪能力上的優(yōu)勢，本實(shí)驗(yàn)中將待融合圖像感染噪聲，然后利用本文方法和直接基于空域上SF的融合方法進(jìn)行對比。

表3基于原始彩色圖像“報紙”的5種融合圖像的評價指標(biāo)

MIT(s) DSIFT2.10080.67900.65720.73452.62 PCNN2.11730.63060.42090.69150.73 DCT+C+CV0.70350.66390.39320.71090.71 DTT+S+CV2.42960.67920.66400.74400.24

表4基于原始彩色圖像“花與花盆”的5種融合圖像的評價指標(biāo)

DTT+S+CVSF MI1.29861.2364 0.51350.4301 0.39700.2802 0.82040.7345 T(s)2.54860.4933

4 總結(jié)

本文提出了一種基于DTT的多聚焦圖像融合方法，首次將DTT應(yīng)用到多聚焦圖像融合領(lǐng)域，并巧妙地利用了空間頻率與DTT系數(shù)間的關(guān)系，直接通過DTT系數(shù)得到空間頻率的大小，依據(jù)空間頻率最大的原則進(jìn)行融合并引入了一致性驗(yàn)證，為多聚焦圖像融合的過程節(jié)省了時間，并有效提高了融合效果。本文分別通過對灰度圖像和彩色圖像進(jìn)行的實(shí)驗(yàn)，分別比較無參考圖像和有參考圖像的實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果表明，本文提出的基于DTT的多聚焦圖像融合方法與一些經(jīng)典算法相比，融合后的圖像在互信息、均方根誤差、結(jié)構(gòu)相似性、信噪比等方面均取得了更好的效果，同時，在圖像的顯著性、對比度和邊緣信息轉(zhuǎn)換等方面也體現(xiàn)出了優(yōu)勢，尤其在時間復(fù)雜度和抗噪能力上優(yōu)勢明顯。多組實(shí)驗(yàn)充分證明了本文方法的適用性和有效性。

[1] GUO D, YAN J, and QU X. High quality multi-focus image fusion using self-similarity and depth information[J]., 2015, 338: 138-144.

[2] LI T and WANG Y. Biological image fusion using a NSCT based variable-weight method[J]., 2011, 12(2): 85-92.

[3] Thomas C, Ranchin T, Wald L,. Synthesis of Multispectral images to high spatial resolution: A critical review of fusion methods based on remote sensing physics[J].&, 2008, 46(5): 1301-1312.

[4] GARG R, GUPTA P, and KAUR H. Survey on multi-focus image fusion algorithms[C]. IEEE Engineering and Computational Sciences, Chengdu, China, 2014: 1-5.

[5] WEI Chunyu, ZHOU Bingyin, and GUO Wei. Novel fusion rules for transform-domain image fusion methods[C]. International Conference on Mechatronics and Industrial Informatics, Paris, France, 2015: 846-850.doi: 10.2991/ icmii-15.2015.147.

[6] LIU Yu, LIU Shuping, and WANG Zengfu. Multi-focus image fusion with dense SIFT[J]., 2015, 23: 139-155. doi: 10.1016/j.inffus.2014.05.004.

[7] WANG Zhaobin, MA Yide, and GU Jason. Multi-focus image fusion using PCNN[J]., 2010, 43(6): 2003-2016. doi: 10.1016/j.patcog.2010.01.011.

[8] TANG J. A contrast based image fusion technique in the DCT domain[J]., 2004, 14(3): 218-226. doi: 10.1016/j.dsp.2003.06.001.

[9] 陸剛, 肖斌, 王國胤. 基于離散Tchebichef矩和軟決策化的圖像壓縮[J]. 計(jì)算機(jī)科學(xué), 2016, 43(11): 304-308.

LU Gang, XIAO Bin, and WANG Guoyin. Image compression based on discrete Tchebichef and soft decision[J]., 2016, 43(11): 304-308.

[10] LI Shutao and YANG Bin. Multifocus image fusion using region segmentation and spatial frequency[J].&, 2008, 26(7): 971-979. doi: 10.1016/j.imavis.2007. 10.012.

[11] QU Xiaobo, YAN Jingwen, and XIAO Hongzhi. Image fusion algotithm based on spatial frequency-motivatie pulse coupled neural networks in nonsubsampled contourlet transform domain[J]., 2008, 34(12): 1508-1514.

[12] PHAMILA Y A V and AMUTHA R. Discrete cosine transform based fusion of multi-focus images for visual sensor networks[J]., 2014, 95(2): 161-170. doi:10.1016/j.sigpro.2013.09.001.

[13] LI Shutao, KWOK J T, and WANG Y. Combination of images with diverse focuses using the spatial frequency[J]., 2001, 2(3): 169-176. doi: 10.1016/S1566- 2535(01)00038-0.

[14] 鄧艾, 吳謹(jǐn), 楊莘, 等. 基于二代Curvelet變換和區(qū)域匹配度的圖像融合算法[J]. 計(jì)算機(jī)科學(xué), 2012, 39(S1): 513-514.

DENG Ai, WU Jin, YANG Hua,Image fusion based on second generation Curvelet and regional compatibility[J],2012, 39(S1): 513-514

[15] XU Shaofan, LIU Xianfeng, and DI Hongwei. An image fusion quality assessment based on structural similarity[J]., 2007, 28(5): 470-473.

[16] PIELLA G and HEIJMANS H. A new quality metric for image fusion[C]. Proceedings of the IEEE International Conference on Image Processing, Chongqing, China, 2003, 2: III-173-6.

[17] WANG Z and ALAN C Bovik. Reduced- and no-reference image quality assessment[J]., 2011, 28(6): 29-40.

Multi-focus Image Fusion Based on Discrete Tchebichef Transform

XIAO Bin JIANG Yanjun LI Weisheng WANG Guoyin

(,,400065,)

Image fusion based on image transform technologies is always used in multi-focus image fusion. It transforms images into transform domain and fuses the transformed image according to a specific fusion rule. After that, the fused image is achieved by the inverse image transform. The transform based image fusion methods are robust to noise and the fused results are widely accepted. This paper proposes a multi-focus image fusion method based on discrete Tchebichef orthogonal polynomial transform. Discrete orthogonal polynomial transform is firstly introduced to the field of multi-focus image fusion. The proposed method combines the spatial frequency with the discrete orthogonal polynomial transform coefficients of image, and it directly achieves the value of spatial frequency by the discrete orthogonal polynomial transform coefficients of the image and avoids the process of recalculation that transforms the discrete orthogonal polynomial transform coefficients to space domain. The proposed method can reduce the fusing time in multi-focus image fusion and improves the fusion effect.

Multi-focus image fusion; Discrete orthogonal polynomial transform; Spatial frequency

TP391

A

1009-5896(2017)08-1927-07

10.11999/JEIT161217

2016-11-10；

改回日期：2017-03-01；

2017-05-02

肖斌 xiaobin@cqupt.edu.cn

國家自然科學(xué)基金(61572092)，國家自然科學(xué)基金-廣東聯(lián)合基金(U1401252)

The National Natural Science Foundation of China (61572092), The National Natural Science Foundation of China-The Mutual fund of Guangdong Province (U1401252)

肖 斌： 男，1982年生，副教授，研究方向?yàn)閳D像處理、模式識別和數(shù)字水印.

姜彥君： 男，1990年生，碩士，研究方向?yàn)槎嗑劢箞D像融合與圖像增強(qiáng).

李偉生： 男，1975年生，教授，研究方向?yàn)橹悄苄畔⑻幚砼c模式識別.

王國胤： 男，1970年生，教授，研究方向?yàn)榇植诩?、粒?jì)算、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、認(rèn)知計(jì)算、模式識別等.