張盛林 易本順 李衛(wèi)中 劉紅玉

摘要：針對(duì)多聚焦圖像融合容易出現(xiàn)信息丟失、塊效應(yīng)明顯等問(wèn)題，提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合算法。首先，通過(guò)聚焦檢測(cè)獲得源圖像的聚焦信息，并根據(jù)所有源圖像的聚焦信息生成融合圖像的三分圖，即前景、背景和未知區(qū)域；然后，利用圖像摳圖技術(shù)，根據(jù)三分圖獲得每一幅源圖像的精確聚焦區(qū)域；最后，將這些聚焦區(qū)域結(jié)合起來(lái)構(gòu)成融合圖像的前景和背景，并根據(jù)摳圖算法得到的確定前景、背景對(duì)未知區(qū)域進(jìn)行最優(yōu)融合，增強(qiáng)融合圖像前景、背景與未知區(qū)域相鄰像素之間的聯(lián)系，實(shí)現(xiàn)圖像融合。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)算法相比，所提算法在客觀評(píng)價(jià)方面能獲得更高的互信息量（MI）和邊緣保持度，在主觀評(píng)價(jià)方面能有效抑制塊明顯效應(yīng)，得到更優(yōu)的視覺(jué)效果。該算法可以應(yīng)用到目標(biāo)識(shí)別、計(jì)算機(jī)視覺(jué)等領(lǐng)域，以期得到更優(yōu)的融合效果。

關(guān)鍵詞：

多聚焦圖像；聚焦信息；三分圖；圖像摳圖；圖像融合

中圖分類號(hào)： TP391.413 文獻(xiàn)標(biāo)志碼：A

0引言

攝像機(jī)單一傳感器不能聚焦所有的目標(biāo)，因此，在對(duì)同一場(chǎng)景中不同物體成像時(shí)，攝像機(jī)無(wú)法獲得場(chǎng)景中所有物體都清晰的圖像。多聚焦圖像融合技術(shù)能將多幅圖像融合成為一幅圖像，并提供更完整、更精確和可靠的信息，以便于人的觀察或機(jī)器的后續(xù)處理。多圖像融合算法在遙感圖像處理、機(jī)器視覺(jué)等領(lǐng)域中獲得了越來(lái)越多的應(yīng)用[1-2]。

目前，針對(duì)多聚焦圖像融合算法的研究，主要分為變換域融合和空間域融合兩大類。現(xiàn)有的變換域融合算法大多基于多尺度變換，包括以下3個(gè)步驟：首先，將源圖像經(jīng)過(guò)變換得到相應(yīng)的變換系數(shù)；然后，根據(jù)給定的融合規(guī)則合并變換系數(shù)；最后，對(duì)融合系數(shù)進(jìn)行逆變換構(gòu)造，得到融合圖像。常用的變換域方法包括拉普拉斯金字塔（Laplacian Pyramid， LP）變換[3]、離散小波變換（Discrete Wavelet Transform， DWT）[4]、雙樹(shù)復(fù)小波變換（DualTree Complex WT， DTCWT）[5]、曲線波變換（Curvelet Transform）[6]、非下采樣輪廓波變換（NonsubSampled Contourlet Transform， NSCT）[7]、剪切波變換（Shearlet Transform）[8]和稀疏表示（Sparse Representation， SR）[9]等。因?yàn)樽儞Q域存在不同程度的分解，所以在融合過(guò)程中會(huì)因?yàn)槿诤舷禂?shù)的不同而存在信息丟失，導(dǎo)致融合圖像表達(dá)信息的不完整。而基于空間域的融合方法，是利用一定的方法找到源圖像各自的聚焦像素或區(qū)域，然后直接選取這些不同的像素或區(qū)域構(gòu)成融合圖像。常用的基于空間域的方法加權(quán)平均法（Average）、主成分分析法（Principal Component Analysis， PCA）、圖像形態(tài)學(xué)（Morphology， M）、清晰度評(píng)價(jià)函數(shù)等[10]，但是，在不同場(chǎng)景中，由于相機(jī)運(yùn)動(dòng)或物體運(yùn)動(dòng)，可能造成同一場(chǎng)景包含不同的內(nèi)容，致使不能準(zhǔn)確判斷一個(gè)像素或區(qū)域是否模糊。此外，源圖像變得復(fù)雜時(shí)，傳統(tǒng)的基于像素或區(qū)域的方法不能得到非常準(zhǔn)確的融合結(jié)果。

摳圖技術(shù)因電影工業(yè)的需求而產(chǎn)生，其目的是將前景從背景中分離出來(lái)，以便將分離出來(lái)的前景注入到新的背景中，生成期望的圖像或視頻，達(dá)到完美的視覺(jué)效果。從早期簡(jiǎn)單的光學(xué)摳圖到如今利用計(jì)算機(jī)技術(shù)的數(shù)字摳圖，摳圖技術(shù)獲得了巨大發(fā)展和進(jìn)步。目前，摳圖技術(shù)日趨成熟，可以從任何圖像或視頻中提取出任意形狀的前景對(duì)象[11]。

針對(duì)變換域融合存在信息丟失和空間域融合不能得到復(fù)雜圖像的準(zhǔn)確融合結(jié)果的缺點(diǎn)，本文提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合算法。首先，通過(guò)聚焦檢測(cè)獲得源圖像的聚焦信息；然后，根據(jù)聚焦信息，利用摳圖技術(shù)獲得對(duì)應(yīng)源圖像的聚焦區(qū)域，增強(qiáng)了圖像的聚焦區(qū)域和相鄰像素之間的聯(lián)系，有效解決相同場(chǎng)景中包含不同內(nèi)容的多聚焦圖像融合問(wèn)題；最后，將所有的聚焦區(qū)域進(jìn)行融合，構(gòu)成融合圖像。此外，在圖像內(nèi)容變得復(fù)雜時(shí)，傳統(tǒng)的融合方法達(dá)不到性能最優(yōu)，而摳圖技術(shù)能夠準(zhǔn)確地找到源圖像的前景輪廓，得到非常精確的融合結(jié)果。理論分析和實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的方法相比，本文算法的融合結(jié)果在融合圖像的細(xì)節(jié)、輪廓處更令人滿意。

1圖像摳圖

根據(jù)用戶需求，圖像摳圖技術(shù)把一幅圖像準(zhǔn)確區(qū)分為前景部分和背景部分。在圖像摳圖模型中，觀察到的圖像I（x，y）可以被看作是前景F和背景B的組合：

C=αF+（1-α）B（1）

其中：α為不透明度，α為0或1時(shí)即為簡(jiǎn)單的前景和背景的圖像分割[12]。摳圖技術(shù)的關(guān)鍵在于找到準(zhǔn)確的α值，以將前景從背景中分離出來(lái)。由式（1）知，得到準(zhǔn)確的融合圖像需要確定的前景和背景，因此，大多情況下，除了源圖像外，還需要用戶提供一個(gè)三分圖（trimap）。圖1為一幅圖像及其對(duì)應(yīng)的trimap，圖1（b）中原圖被分成3個(gè)區(qū)域：前景、背景和未知區(qū)域，其中：“樹(shù)”為前景F，灰色線條部分是未知區(qū)域，其余是背景B。

目前，常用的摳圖方法有基于采樣的貝葉斯摳圖（Bayes Matting）、基于傳播的泊松摳圖（Poisson Matting）和基于采樣傳播相結(jié)合魯棒摳圖（Robust Matting）[13]。貝葉斯摳圖是根據(jù)輸入的trimap，從前景邊界和背景邊界逐漸向未知區(qū)域進(jìn)行顏色采樣，當(dāng)前景樣本對(duì)和背景樣本對(duì)達(dá)到足夠量時(shí)，利用貝葉斯原理估計(jì)出未知區(qū)域中每一個(gè)像素點(diǎn)的前景顏色值、背景顏色值和透明度α值，最終完成摳圖；泊松摳圖是假設(shè)圖像的未知區(qū)域是平滑的，從邊界開(kāi)始將未知區(qū)域的像素點(diǎn)劃分到前景區(qū)域和背景區(qū)域中，然后通過(guò)公式C=αF+（1-α）B進(jìn)行梯度運(yùn)算構(gòu)造偏微分方程求α值，之后迭代計(jì)算直至未知區(qū)域劃分完成；魯棒摳圖是根據(jù)輸入的trimap，稀疏采樣確定前景區(qū)域和背景區(qū)域的邊界樣本點(diǎn)，然后定義距離比率進(jìn)行樣本估計(jì)，得到樣本對(duì)的初始α值，最后優(yōu)化α值完成摳圖。由基于采樣方法和基于傳播方法的原理可知，基于傳播的方法在梯度和連通性上要優(yōu)于基于采樣的方法，但在非平滑圖像上效果不佳。基于采樣和傳播相結(jié)合的方法克服了基于采樣和基于傳播的缺點(diǎn)，因此，無(wú)論是對(duì)于一般自然圖像還是復(fù)雜的前景圖像，魯棒摳圖的綜合性能都較為優(yōu)越，穩(wěn)定性更好[11]，所以，本文將通過(guò)魯棒摳圖算法計(jì)算融合圖像的α值。首先，在采樣階段，根據(jù)給定trimap對(duì)每一對(duì)的前景和背景進(jìn)行采樣預(yù)估；然后通過(guò)選擇采樣預(yù)估系數(shù)判斷一對(duì)前景和背景能否作為樣本，并通過(guò)式（1）粗略估計(jì)初始的α值；最后，構(gòu)造最小化能量函數(shù)[14]求最優(yōu)解，相應(yīng)公式如下：

多聚焦圖像融合可看成是多幅圖像聚焦區(qū)域的組合，而摳圖技術(shù)即是根據(jù)給定的trimap提取圖像前景（聚焦區(qū)域）并將其融入到新的背景中。由于同一場(chǎng)景的多聚焦圖像的聚焦區(qū)域不同，如果將多聚焦圖像進(jìn)行圖像區(qū)域分割成聚焦區(qū)域和散焦區(qū)域，那么所有源圖像的區(qū)域分割圖（以兩幅圖為例）可組成聯(lián)合區(qū)域分割圖，即包含不同圖像的聚焦區(qū)域以及聚焦區(qū)域之間的過(guò)渡區(qū)域，這樣就實(shí)現(xiàn)了trimap的自動(dòng)生成，進(jìn)而實(shí)現(xiàn)了摳圖技術(shù)在多聚焦融合的應(yīng)用。

2基于圖像摳圖的圖像融合

圖2所示為本文算法的圖像融合過(guò)程。首先，由聚焦檢測(cè)估計(jì)出每個(gè)源圖像的聚焦信息；然后，將所有圖像的聚焦信息組合得到相應(yīng)源圖像的trimap，即融合圖像的前景F、背景B和未知區(qū)域；最后，根據(jù)trimap，通過(guò)圖像摳圖技術(shù)，獲得相應(yīng)的源圖像精確聚焦區(qū)域，并將這些聚焦區(qū)域組合在一起形成融合圖像。

2.1聚焦檢測(cè)

2.2圖像區(qū)域分割

圖像區(qū)域分割即根據(jù)聚焦檢測(cè)獲得的聚焦信息構(gòu)建源圖像的trimap。具體步驟是：首先根據(jù)所有圖像的聚焦區(qū)域的灰度圖進(jìn)行相似性檢測(cè)和聚焦比較；然后將灰度圖中的聚焦區(qū)域經(jīng)過(guò)處理，獲得確定的聚焦區(qū)域和散焦區(qū)域；最終將聚焦區(qū)域和散焦區(qū)域分別定義為源圖像的前景F和背景B，聚焦區(qū)域和散焦區(qū)域之間的過(guò)渡區(qū)域定義為未知區(qū)域，共同構(gòu)成源圖像的trimap。圖3為圖像分割過(guò)程的示意圖。

由以上的圖像區(qū)域分割過(guò)程可知，對(duì)于任何一幅多聚焦圖像，其圖像的trimap與另一幅圖像的trimap的前景和背景是相反的。以兩幅圖像為例，則T1的前景是T2的背景，T2的前景是T1的背景，但在實(shí)際摳圖過(guò)程中，因摳圖算法對(duì)trimap的定義不變（灰度亮區(qū)域代表前景，暗區(qū)域代表背景，灰色區(qū)域代表未知區(qū)域），所以在處理過(guò)程中不同源圖像需要與其對(duì)應(yīng)的trimap，而實(shí)際上融合圖像的trimap與源圖像的trimap相同，都是由聚焦區(qū)域及聚焦區(qū)域之間的過(guò)渡區(qū)域組成。

2.3圖像摳圖和融合

圖像融合技術(shù)的最后階段是結(jié)合所有源圖像的聚焦區(qū)域來(lái)構(gòu)建融合圖像。為了獲得每個(gè)源圖像的聚焦區(qū)域，取圖像區(qū)域分割階段獲得的trimap Tn作為輸入，用魯棒摳圖算法獲得源圖像的In融合參數(shù)α值。首先，對(duì)于未知區(qū)域的每個(gè)像素點(diǎn)，魯棒摳圖算法從確定聚焦區(qū)域和確定散焦區(qū)域的邊界處挑選出少量采樣點(diǎn)；然后，基于未知像素和確定區(qū)域與非確定區(qū)域采樣點(diǎn)之間的顏色相似性，估計(jì)未知像素的初始α值；最后，根據(jù)最小能量公式（式（2））計(jì)算出準(zhǔn)確的α值。圖4為圖像摳圖和融合過(guò)程。

如圖4所示，α=0或1時(shí)，源圖像的點(diǎn)（x，y）是聚焦點(diǎn)或散焦點(diǎn)。如果α在（0，1）內(nèi)，則這些像素點(diǎn)是聚焦點(diǎn)和散焦點(diǎn)的混合點(diǎn)（如圖4（a）中的灰色區(qū)域所示）。因?yàn)榛旌舷袼氐臄?shù)量少，它們通常位于聚焦和散焦之間的過(guò)渡區(qū)域，所以不會(huì)降低融合圖像的全局性能。兩張?jiān)磮D像中，源圖像I2的聚焦區(qū)域可以計(jì)算為1-α，因此，融合圖像可以計(jì)算為：

3實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的性能，進(jìn)行了多組仿真實(shí)驗(yàn)，并且從客觀測(cè)試指標(biāo)數(shù)據(jù)和主觀視覺(jué)效果上與主成分分析法（PCA）、圖像形態(tài)學(xué)（M）、雙樹(shù)復(fù)小波變換（DTCWT）、非下采樣輪廓波變換（NSCT）進(jìn)行對(duì)比。本文選用tree、book、clock三組分別聚焦前景和背景的圖進(jìn)行多聚焦圖像的融合。

3.1客觀評(píng)價(jià)

對(duì)于各個(gè)方法的客觀評(píng)價(jià)，本文選取互信息量（Mutual Information， MI）[17]、邊緣保持度QXY/F[18]和空間結(jié)構(gòu)相似度（Structural Similarity Index Measurement， SSIM）[19]來(lái)評(píng)價(jià)實(shí)驗(yàn)結(jié)果。MI可以衡量融合圖像包含源圖像的像素信息量；QXY/F可以衡量融合圖像包含源圖像的邊緣信息量；SSIM可衡量?jī)煞鶊D像結(jié)構(gòu)相似度的指標(biāo)。3個(gè)指標(biāo)值越大說(shuō)明融合圖像越清晰，該方法融合性能越好。

由表1可以看出，由于直接提取了源圖像中清晰區(qū)域的像素點(diǎn)，保留了源圖像中較多的邊緣、輪廓等結(jié)構(gòu)化信息，本文算法的互信息MI和空間結(jié)構(gòu)相似度信息QXY/F都是所測(cè)算法中最高的。因?yàn)镾SIM的測(cè)試結(jié)果與選取的參考圖像相關(guān)，所以本文算法存在部分性能偏差，但與對(duì)比算法中最大值相比，本文算法的值是可接受的。

3.2主觀評(píng)價(jià)

圖5為本文算法最終效果同其他算法主觀效果的對(duì)比。

由圖5可以看出，由于相機(jī)運(yùn)動(dòng)或存在運(yùn)動(dòng)目標(biāo)而導(dǎo)致相同場(chǎng)景存在不同內(nèi)容的測(cè)試源圖像（tree），PCA算法、M算法、DTCWT算法、NSCT算法在教堂頂部和車輛部分存在重影和色彩偏淡情況，且M算法存在較嚴(yán)重模糊塊，本文算法圖像清晰，繼承了所有重要信息；對(duì)于標(biāo)準(zhǔn)測(cè)試源的彩色圖（book），M算法的邊緣有較明顯塊的效應(yīng)，PCA算法、DTCWT算法和NSCT算法都有不同程度的邊緣模糊，本文算法邊緣和輪廓清晰；對(duì)于標(biāo)準(zhǔn)測(cè)試源的灰度圖（clock），PCA算法整體清晰度下降，M算法和DTCWT存在明顯虛假邊緣，NSCT算法整體清晰度偏暗，本文算法無(wú)虛假邊緣，清晰度正常。

為了評(píng)估提出方法的時(shí)間效率，對(duì)測(cè)試圖片在幾種不同融合算法的耗時(shí)情況進(jìn)行了分析比較。本文實(shí)驗(yàn)在Matlab R2012a平臺(tái)上實(shí)現(xiàn)，計(jì)算機(jī)硬件參數(shù)是：core i32120、3.3GHz CPU+4GB RAM。幾種測(cè)試方法所耗的平均時(shí)間列于表2。由表2可見(jiàn)，本文方法耗時(shí)相對(duì)較長(zhǎng)。

由以上結(jié)果可知，由于存在部分信息丟失的問(wèn)題，傳統(tǒng)變換域融合和空間域融合得到的圖像與原圖像清晰度有較大的差異。本文算法利用摳圖技術(shù)，增強(qiáng)了相鄰像素之間的相關(guān)性，使得融合后的圖像的輪廓和邊緣都很清晰，主觀效果最佳。綜合評(píng)價(jià)來(lái)看，相比傳統(tǒng)算法，本文算法在主觀客觀指標(biāo)和視覺(jué)效果上，都能獲得更優(yōu)的融合結(jié)果。

4結(jié)語(yǔ)

本文提出了一種新的基于圖像摳圖技術(shù)的多聚焦圖像融合方法。不同于以前的基于變換域和空間域融合方法，本文算法使用聚焦檢測(cè)將需要融合的聚焦區(qū)域通過(guò)圖像摳圖技術(shù)提取出來(lái)，然后結(jié)合所有的聚焦區(qū)域構(gòu)建融合圖像。由于能夠充分利用相鄰像素之間的相關(guān)性，與傳統(tǒng)的融合方法相比，本文算法能夠得到邊緣和輪廓清晰的融合圖像；同時(shí)客觀指標(biāo)也有所提升。

雖然本文取得了較好的結(jié)果，但算法融合結(jié)果的準(zhǔn)確性直接依賴于聚焦信息檢測(cè)的準(zhǔn)確性，因此，性能更好、適用面更廣的（如X成像、紅外成像等）聚焦檢測(cè)算法是進(jìn)一步研究的方向。

參考文獻(xiàn)：

[1]

張亞秋.多聚焦圖像融合算法研究[D].重慶：重慶大學(xué)，2014：8-9.（ZHANG Y Q. Research on multifocus image fusion [D]. Chongqing： Chongqing University， 2014： 8-9）

[2]

歐陽(yáng)寧，鄒寧，張彤，等.基于非下采樣Shearlet變換與聚焦區(qū)域檢測(cè)的多聚焦圖像融合算法[J].計(jì)算機(jī)應(yīng)用，2015，35（2）：490-494.（OUYANG N， ZOU N， ZHANG T， et al. Multifocus image fusion algorithm based on nonsubsampled Shearlet transform and focused regions detection [J]. Journal of Computer Applications， 2015， 35（2）： 490-494.）

[3]

WANG W， CHANG F. A multifocus image fusion method based on Laplacian pyramid [J]. Journal of Computers， 2011， 6（12）： 2559-2566.

[4]

PAJARES G， DE LA CRUZ J M. A waveletbased image fusion tutorial [J]. Pattern Recognition， 2004， 37（9）： 1855-1872.

[5]

范艷玲，楊明.基于雙樹(shù)復(fù)小波變換的多聚焦圖像融合[J].核電子學(xué)與探測(cè)技術(shù)，2014，34（2）：204-207.（FAN Y L， YANG M. Multifocus image fusion based on dualtree complex wavelet transform [J]. Nuclear Electronics and Detection Technology， 2014， 34（2）： 204-207.）

[6]

馬苗，萬(wàn)仁遠(yuǎn)，尹義龍.基于相似性灰關(guān)聯(lián)的Curvelet域多聚焦圖像融合[J].電子學(xué)報(bào)，2012，40（10）：1984-1988.（MA M， WAN R Y， YIN Y L. Multifocus image fusion based on grey relation of similarity in curvelet domain [J]. Acta Electronica Sinica， 2012， 40（10）： 1984-1988.）

[7]

LI H， CHAI Y， LI Z. Multifocus image fusion based on nonsubsampled contourlet transform and focused regions detection [J]. Optik—International Journal for Light and Electron Optics， 2013， 124（1）： 40-51.

[8]

石智，張卓，岳彥剛.基于Shearlet變換的自適應(yīng)圖像融合算法[J].光子學(xué)報(bào)，2013，42（1）：115-120.（SHI Z， ZHANG Z， YUE Y G. Adaptive image fusion algorithm based on Sheartlet transform [J]. Acta Photonica Sinica， 2013， 42（1）： 115-120）

[9]

彭真明，景亮，何艷敏，等.基于多尺度稀疏字典的多聚焦圖像超分辨融合[J].光學(xué)精密工程，2014，22（1）：169-176.（PENG Z M， JING L， HE Y M， et al. Superresolution fusion multifocus image based on multiscale sparse dictionary [J]. Optics and Precision Engineering， 2014， 22（1）： 169-176.）

[10]

逄浩辰，朱明，郭立強(qiáng).彩色圖像融合客觀評(píng)價(jià)指標(biāo)[D].北京：中國(guó)科學(xué)院大學(xué)，2014：14-23.（PANG H C， ZHU M， GUO L Q. Objective color image fusion performance index [D]. Beijing： University of Chinese Academy of Sciences， 2014： 14-23.）

[11]

李卓婷.三種典型數(shù)字圖像摳圖方法的比較[D].廣州：華南理工大學(xué)，2013：49-51.（LI Z T. Applications of quaternion in skeleton skin technology [D]. Guangzhou： South China University of Technology， 2013： 49-51）

[12]

PORTER T， DUFF T. Compositing digital images [J]. ACM SIGGRAPH Computer Graphics， 1984， 18（3）： 253-259.

[13]

GRADY L. Random walks for image segmentation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（11）： 1768-1783.

[14]

WANG J， COHEN M F. Optimized color sampling for robust matting [C]// CVPR07： Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2007： 1-8.

[15]

HUANG W， JING Z. Evaluation of focus measures in multifocus image fusion [J]. Pattern Recognition Letters， 2007， 28（4）： 493-500.

[16]

左雷，王煒，張?chǎng)?基于像素鄰域SML的多焦距圖像融合方法[J].微計(jì)算機(jī)信息，2010，26（35）：221-222.（ZUO L， WANG W， ZHANG X. Enhanced multifocus image fusion based on sum modified Laplacian in pixel neighborhood [J]. Microcomputer Information， 2010， 26（35）： 221-222.）

[17]

QU G， ZHANG D， YAN P. Information measure for performance of image fusion [J]. Electronics Letters， 2002， 38（7）： 313-315.

[18]

PETROVI V， XYDEAS C. Objective evaluation of signallevel image fusion performance [J]. Optical Engineering， 2005， 44（8）： 0870031-0870038.

[19]

WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity [J]. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612.