鞏稼民, 楊　瀟, 楊　萌, 孟令賀, 徐嘉馳

(1. 西安郵電大學(xué) 電子工程學(xué)院, 陜西 西安 710121；　2. 西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

基于區(qū)域平均梯度與區(qū)域能量的圖像融合

鞏稼民1, 楊瀟2, 楊萌1, 孟令賀1, 徐嘉馳1

(1. 西安郵電大學(xué) 電子工程學(xué)院, 陜西 西安 710121；2. 西安郵電大學(xué) 通信與信息工程學(xué)院， 陜西 西安 710121)

摘要:同時(shí)引入?yún)^(qū)域平均梯度和區(qū)域能量，給出一種改進(jìn)的小波圖像融合算法。對(duì)圖像進(jìn)行小波分解，得到各自的低頻分量和高頻分量，對(duì)低頻部分采用區(qū)域平均梯度取大的規(guī)則進(jìn)行融合，對(duì)高頻部分以區(qū)域能量取大的規(guī)則進(jìn)行融合，然后經(jīng)小波重構(gòu)得到融合圖像。針對(duì)多聚焦圖像進(jìn)行的仿真實(shí)驗(yàn)結(jié)果顯示，所給融合算法可改進(jìn)基于區(qū)域平均梯度和基于區(qū)域能量的小波圖像融合算法的性能，融合圖像的模糊現(xiàn)象在視覺效果上有所改善，其峰值信噪比和互信息也有所提高。

關(guān)鍵詞:圖像融合；小波變換；多聚焦圖像；區(qū)域平均梯度；區(qū)域能量

光學(xué)傳感器對(duì)一個(gè)場(chǎng)景進(jìn)行成像時(shí)，由于焦距范圍有限，很難對(duì)場(chǎng)景中不同距離上的目標(biāo)都清晰成像。解決這個(gè)問題的有效方法就是多聚焦圖像融合[1]，即利用圖像融合技術(shù)，對(duì)同一場(chǎng)景中不同目標(biāo)分別聚焦的多幅圖像進(jìn)行融合，提取其清晰部分，綜合形成一幅各個(gè)目標(biāo)都清晰聚焦的新圖像。多聚焦圖像融合有利于后續(xù)對(duì)目標(biāo)進(jìn)行檢測(cè)、識(shí)別或跟蹤，被廣泛應(yīng)用于數(shù)碼成像、機(jī)器視覺等領(lǐng)域[2]。

多聚焦圖像融合主要有基于金字塔變換的圖像融合方法和基于小波變換的圖像融合方法。與金字塔變換相比，小波變換具有方向性和非冗余性，且擁有與人眼視覺系統(tǒng)相符合的層次結(jié)構(gòu)，在圖像處理領(lǐng)域應(yīng)用更廣[3]。

按照考察對(duì)象的差異，基于小波變換的圖像融合算法主要分為基于單個(gè)像素的融合方法和基于區(qū)域的融合方法[4]。加權(quán)平均法和系數(shù)取絕大值法是兩種基于單個(gè)像素的經(jīng)典小波圖像融合算法，與這兩種算法相比，基于區(qū)域平均梯度和基于區(qū)域能量的小波圖像融合方法考慮了小波分解之后系數(shù)區(qū)域特性，降低了對(duì)邊緣的敏感程度，能獲得視覺效果較好的融合圖像[5]。

小波分解得到的高低頻系數(shù)反映了圖像不同的特性，各融合策略在對(duì)源圖像細(xì)節(jié)特征的表達(dá)上側(cè)重點(diǎn)往往有所差異，在圖像融合時(shí)，對(duì)高低頻分量用同一種融合規(guī)則進(jìn)行處理，只單一地考慮圖像的一種特性，而忽略其他特性，難免會(huì)影響融合效果[6]。平均梯度側(cè)重于圖像的細(xì)節(jié)、紋理特征，卻忽視了圖像的整體效果，以區(qū)域平均梯度作為高低頻分量的融合規(guī)則時(shí)，雖然融合圖像的邊緣、區(qū)域輪廓清晰，但會(huì)出現(xiàn)輪廓與非輪廓區(qū)域之間模糊現(xiàn)象，影響視覺效果。區(qū)域能量雖然可以反映圖像明顯的亮度突變，但又忽略了微小的細(xì)節(jié)變化，以區(qū)域能量作為高低頻分量融合規(guī)則時(shí)，雖然融合圖像的整體效果較好，但圖像的背景比較模糊，造成清晰度下降和信息熵減小。

低頻部分包含了圖像主要的背景信息，是圖像變化緩慢的部分，決定著融合的整體效果的好壞[7]。平均梯度可以反映圖像中的微小的細(xì)節(jié)差異和紋理變化，若以其作為低頻系數(shù)融合的準(zhǔn)則，則可保留低頻分量的細(xì)節(jié)信息，使融合圖像的背景更加清晰[8]。高頻部分包含了圖像的邊緣、紋理等特征信息，是圖像信息最為豐富的部分，體現(xiàn)在視覺上，即為亮度突變的部分。區(qū)域能量是描述圖像的亮度特征的指標(biāo)，用于評(píng)價(jià)圖像信息的豐富程度，若以其作為高頻系數(shù)選取的準(zhǔn)則，則可保留圖像的邊緣和紋理等特征信息，使圖像中的目標(biāo)物體輪廓清晰，還能夠保證圖像信息的豐富性[9]。

本文擬同時(shí)引入?yún)^(qū)域平均梯度和區(qū)域能量，改進(jìn)小波圖像融合算法，即對(duì)低頻部分采用區(qū)域平均梯度取大的規(guī)則進(jìn)行融合，對(duì)高頻部分采用區(qū)域能量取大的規(guī)則進(jìn)行融合。

1改進(jìn)的圖像融合算法

1.1基于小波變換的圖像融合

小波變換能夠?qū)D像分解到不同尺度的多個(gè)頻帶上，圖像融合過程在各個(gè)尺度的各個(gè)子帶上分別進(jìn)行[10-11]。小波變換的圖像融合過程如圖1所示。

圖1　基于小波變換的圖像融合過程

基于小波變換的圖像融合步驟可描述如下。

步驟1選取合適的小波基，對(duì)源圖像A、B進(jìn)行多層小波分解，分別得到低頻近似圖像和各個(gè)尺度及各個(gè)方向上的高頻細(xì)節(jié)圖像。

步驟2采取相應(yīng)融合規(guī)則,對(duì)低頻部分和高頻部分進(jìn)行融合，高頻子帶需要在各個(gè)尺度有及各個(gè)方向上分別進(jìn)行融合。

步驟3由融合后的低頻分量和融合后的各高頻分量，經(jīng)小波逆變換，重構(gòu)出最終的融合圖像F。

1.2圖像融合規(guī)則改進(jìn)

融合規(guī)則決定著融合算法性能的好壞。改進(jìn)算法對(duì)低頻部分采用基于區(qū)域平均梯度的融合規(guī)則，而對(duì)高頻部分則采用基于區(qū)域能量的融合規(guī)則。

1.2.1基于區(qū)域平均梯度的低頻融合規(guī)則

區(qū)域能量反映的是圖像明顯的亮度突變，而低頻部分是圖像變化緩慢的部分，所以會(huì)造成低頻細(xì)節(jié)信息的丟失，導(dǎo)致融合圖像清晰度下降、信息熵減小。平均梯度反映的是圖像微小的細(xì)節(jié)差別，捕捉源圖像細(xì)節(jié)信息的能力優(yōu)于區(qū)域能量。因此，針對(duì)基于區(qū)域能量的小波圖像融合算法產(chǎn)生的融合圖像背景模糊現(xiàn)象，選擇源圖像區(qū)域平均梯度大的低頻系數(shù)作為融合后的低頻系數(shù)。

設(shè)待融合圖像為A和B，融合后的圖像為F，以j表示小波分解層數(shù)，則在以點(diǎn)(x,y)為中心，大小為M×N的區(qū)域w范圍內(nèi)，待融合圖像A和B的第j層低頻分量的平均梯度分別為[12]

Gj,A(x,y)=

Dj,A(x+1,y)]2+

Gj,B(x,y)=

Dj,B(x+1,y)]2+

式中，Dj,A(x,y)和Dj,B(x,y)分別表示待融合圖像A和B的第j層低頻分量在點(diǎn)(x，y)的小波系數(shù)值。

融合規(guī)則設(shè)定：若Gj,A(x,y)≥Gj,B(x,y),則

Dj,F(x,y)=Dj,A(x,y)；

若Gj,A(x,y)

Dj,F(x,y)=Dj,B(x,y)。

1.2.2基于區(qū)域能量的高頻融合規(guī)則

平均梯度在反映圖像的細(xì)節(jié)、紋理特征的同時(shí)，沒有兼顧圖像的整體效果，造成融合圖像出現(xiàn)區(qū)域性的斑塊和模糊現(xiàn)象，而基于區(qū)域能量的小波圖像融合算法在整體效果上表現(xiàn)良好。針對(duì)基于區(qū)域平均梯度的小波圖像融合方法所產(chǎn)生的，融合圖像輪廓與非輪廓區(qū)域間的模糊現(xiàn)象，選擇源圖像區(qū)域能量大的高頻系數(shù)作為融合后的高頻系數(shù)。

設(shè)j為小波分解層數(shù)，k=h,v,d分別表示水平、垂直和對(duì)角3個(gè)方向，則在以點(diǎn)(x,y)為中心，大小為M×N的區(qū)域w范圍內(nèi)，待融合圖像A和B的第j高頻分量在方向k上的能量分別為[13]

2實(shí)驗(yàn)結(jié)果及分析

2.1實(shí)驗(yàn)參數(shù)及結(jié)果

選取2幅已配準(zhǔn)的多聚焦圖像[13]，用Matlab進(jìn)行仿真實(shí)驗(yàn),以驗(yàn)證改進(jìn)算法的有效性。為了使結(jié)果更具對(duì)比性，將加權(quán)平均、系數(shù)絕對(duì)值取大、基于區(qū)域能量、基于區(qū)域平均梯度的融合算法和改進(jìn)算法的融合結(jié)果進(jìn)行比較。實(shí)驗(yàn)采用bior.2.4小波基對(duì)圖像進(jìn)行4層分解，融合時(shí)使用 3×3的區(qū)域模板。聚焦點(diǎn)在左側(cè)的圖像和聚焦點(diǎn)在右側(cè)的圖像，以及參考標(biāo)準(zhǔn)圖像如圖2所示。

圖2　源圖像

各算法的融合結(jié)果如圖3所示。為了更直觀地比較融合效果，分別截取基于區(qū)域能量、基于區(qū)域平均梯度和改進(jìn)算法所得融合圖像的一個(gè)相同區(qū)域，進(jìn)行局部放大顯示，如圖4所示。

圖3　融合結(jié)果

圖4　局部放大

2.2視覺效果

實(shí)驗(yàn)結(jié)果顯示，與基于單個(gè)像素的2種算法相比，3種基于區(qū)域的算法融合結(jié)果清晰度更高，細(xì)節(jié)更突出，亮度及對(duì)比度更高，圖像整體效果明顯更好。由基于區(qū)域能量的融合算法所得融合結(jié)果整體效果較好，沒有明顯斑塊和區(qū)域模糊現(xiàn)象，但圖像的背景具有輕微磨砂感，一些微小的細(xì)節(jié)信息不太清晰。由基于區(qū)域平均梯度的融合算法所得融合結(jié)果雖然重點(diǎn)比較突出，圖像的邊緣、區(qū)域輪廓等明顯特征比較清晰，但卻引入了輪廓與非輪廓區(qū)域的模糊現(xiàn)象的問題，圖像背景出現(xiàn)了明顯的斑塊，邊緣處產(chǎn)生的偽輪廓現(xiàn)象比較嚴(yán)重，影響視覺效果。改進(jìn)算法明顯改善了基于區(qū)域能量與基于區(qū)域平均梯度的2種融合算法所產(chǎn)生的問題，其融合結(jié)果的整體效果較好，亮度及對(duì)比度較高，邊緣、區(qū)域輪廓等明顯特征比較清晰，且圖像背景沒有出現(xiàn)明顯的斑塊，輪廓與非輪廓區(qū)域的模糊現(xiàn)象得到了改善,圖像邊緣處產(chǎn)生的偽輪廓明顯減少。

2.3客觀評(píng)價(jià)

為了更客觀地評(píng)價(jià)改進(jìn)算法的有效性，選取熵(Entropy，E)、標(biāo)準(zhǔn)差(StandardDeviation，SD)、平均梯度(AverageGradient，AG)、均方根誤差(RootMeanSquareError，RMSE)、峰值信噪比(PeakSignaltoNoiseRation，PSNR)和互信息(MutualInformation，MI)，從不同方面對(duì)融合圖像進(jìn)行定量評(píng)價(jià)[14]。各算法的性能對(duì)比如表1所示，其中算法1指其于加權(quán)平均的融合算法，算法2指基于系數(shù)絕對(duì)值取大的融合算法，算法3指基于區(qū)域能量的融合算法，算法4指基于區(qū)域平均梯度的融合算法。

表1　不同融合算法的性能對(duì)比

改進(jìn)算法的指標(biāo)明顯優(yōu)于算法1、算法2和算法3。與算法4相比，雖然改進(jìn)算法的信息熵、標(biāo)準(zhǔn)差以及平均梯度都略有下降，但降幅不多，說明融合圖像保留了源圖像的細(xì)節(jié)信息，包含有豐富的信息，且清晰度良好。另外，改進(jìn)算法的均方根誤差減小很多，且峰值信噪比和互信息得到很大提高，說明融合圖像與標(biāo)準(zhǔn)圖像更為接近?？傮w上，改進(jìn)算法的融合結(jié)果與標(biāo)準(zhǔn)圖像的差異最小，其信息豐富度與清晰度雖然介于算法3和算法4之間，但與最好的算法4之間差異較小。

3結(jié)語

同時(shí)基于區(qū)域平均梯度和區(qū)域能量，改進(jìn)后的小波圖像融合算法綜合考慮了小波分解所得高低頻系數(shù)的特性以及平均梯度和區(qū)域能量的特點(diǎn)，分別對(duì)低頻系數(shù)采用了區(qū)域平均梯度的融合策略，對(duì)高頻系數(shù)采用了區(qū)域能量的融合策略。應(yīng)用于多聚焦圖像融合的實(shí)驗(yàn)結(jié)果表明，改進(jìn)算法可以改善僅基于區(qū)域能量或基于區(qū)域平均梯度的小波圖像算法所產(chǎn)生的問題，既能保留圖像的細(xì)節(jié)信息，又能保證融合圖像信息的豐富性和融合的整體效果。

參考文獻(xiàn)

[1]孟強(qiáng)強(qiáng),楊桄,童濤,等. 基于小波變換的多聚焦圖像融合算法[J/OL].國(guó)土資源遙感,2014,26(2):38-42[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-GTYG201402007.htm.DOI: 10. 6046/gtzyyg.2014.02.07.

[2]任真堃,魏維.基于拼接思想的小波域多聚焦圖像融合[J/OL]. 西安郵電大學(xué)學(xué)報(bào),2012,17(2):84-87[2015-11-13].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201202020.htm.DOI: 10.13682/j.issn.2095-6533.2012.02.020.

[3]陳浩,王延杰. 基于小波變換的圖像融合技術(shù)研究[J/OL]. 微電子學(xué)與計(jì)算機(jī),2010,27(5):39-41[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ201005011.htm.

[4]王正林.基于對(duì)比度的小波圖像融合算法研究[J/OL]. 激光與紅外,2014,38(9):1042-1044[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201409020.htm.

[5]趙青,何建華,溫鵬.基于平均梯度和方向?qū)Ρ榷鹊膱D像融合方法[J/OL]. 計(jì)算機(jī)工程與應(yīng)用,2012,48(24):165-168[2015-11-17].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201224037.htm.DOI: 10.3778/j.issn.1002-8331.2012.24.037.

[6]程塨,郭雷,趙天云,等. 一種基于小波變換的多聚焦圖像融合方法[J/OL]. 計(jì)算機(jī)工程與應(yīng)用,2012,48(1):194-196[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201201055.htm.DOI:10.3778/j.issn.1002-8331.2012.01.055.

[7]楊莎莎,田小平,吳成茂. 基于小波變換的多聚焦圖像自適應(yīng)融合[J/OL]. 西安郵電大學(xué)學(xué)報(bào), 2012, 17(3):24-29[2015-11-19].http://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201203007.htm.DOI: 10.13682/j.issn.2095-6533.2012.03.019.

[8]曾立慶,蔣年德.基于鄰域內(nèi)相關(guān)系數(shù)與平均梯度的圖像融合方法[J/OL].計(jì)算機(jī)工程與設(shè)計(jì),2010,31(7):1533-1539[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201007039.htm.

[9]龔昌來.基于局部能量和小波系數(shù)相位特征的圖像融合方法[J/OL].計(jì)算機(jī)應(yīng)用與軟件, 2009, 26(10):228-230[2015-11-20].http://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200910073.htm.

[10] 陶冰潔,王敬儒,許俊平.基于小波分析的不同融合規(guī)則的圖像融合研究[J/OL].紅外技術(shù),2006,28(7):431-434[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-HWJS200607013.htm.

[11] 龔昌來.基于局部能量的小波圖像融合新方法[J/OL].激光與紅外,2008,38(12):1266-1269[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.

[12] 李瑩,朱文艷,袁飛,等.基于形態(tài)學(xué)和平均梯度的小波圖像融合算法[J/OL].南京師范大學(xué)學(xué)報(bào)：工程技術(shù)版, 2013,13(4):76-81[2015-11-22].http://www.cnki.com.cn/Article/CJFDTOTAL-NJSE201304015.htm.

[13] 羅南超,向昌成.基于低頻邊緣特征和能量的多聚焦圖像融合方法[J/OL].重慶工學(xué)院學(xué)報(bào):自然科學(xué)版,2009,23(8):168-171[2015-11-21].http://www.cnki.com.cn/Article/CJFDTOTAL-CGGL200908037.htm.

[14] 張小利,李雄飛,李軍.融合圖像質(zhì)量評(píng)價(jià)指標(biāo)的相關(guān)性分析及性能評(píng)估[J/OL].自動(dòng)化學(xué)報(bào),2014,40(2):306-315[2015-11-23].http://www.cnki.com.cn/Article/CJFDTOTAL-JGHW200812026.htm.DOI: 10.3724/SP.J.1004.2014.00306.

[責(zé)任編輯:瑞金]

AnImagefusionalgorithmbasedonregionaveragegradientandregionenergy

GONGJiamin1,YANGXiao2,YANGMeng1,MENGLinghe1,XUJiachi1

(1.SchoolofElectronicsEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China；2.SchoolofCommunicationandInformationEngineering,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:The concepts of regional average gradient in company with regional energy are introduced together to improve the wavelet image fusion algorithm. decompose the images with wavelet analysis to get their low frequency components and high frequency components, fuse the the low frequency components in accordance with taking the larger values of regional average gradient, and fuse the high frequency components on the basis of taking the larger values of regional energy, then, reconstruct the fusion image with the method of wavelet transform. the improved algorithm is used on fusing some multi-focus images, and the results show that, its performance is better than wavelet image fusion algorithms based on regional average gradient or regional energy only, the blurred phenomenon of the fusion image is improved on the visual effect, the peak signal to noise ratio and the mutual information are improved as well.

Keywords:image fusion, wavelet transform, multi-focus image, region averge gradient, region energy

doi:10.13682/j.issn.2095-6533.2016.03.008

收稿日期：2015-12-23

基金項(xiàng)目：西安郵電大學(xué)研究生創(chuàng)新基金資助項(xiàng)目(CXL2014-31)

作者簡(jiǎn)介：鞏稼民(1962-)，男，教授，博士，從事光纖光學(xué)與圖像處理研究。E-mail:gjm@xupt.edu.cn 楊瀟(1992-)，女，碩士研究生，研究方向?yàn)楣馔ㄐ排c光信息技術(shù)。E-mail:yangxiaomm1000@163.com

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-6533(2016)03-0054-05