江之洋

摘要：圖像融合的融合規(guī)則傳統(tǒng)的算法是加權(quán)平均法與取最大值法。取最大值法保留了圖像邊緣信息，但缺乏噪聲抵抗力；加權(quán)平均法弱化了噪聲的影響，同時(shí)會(huì)丟失部分高頻信息。目前，基于區(qū)域的融合規(guī)則發(fā)展起來，融合以塊為單位，同時(shí)考慮像素之間的關(guān)系，但是圖像的正確分割以及區(qū)域權(quán)值之間的不平滑過渡依然成為問題。該文建立馬爾科夫隨機(jī)場(chǎng)融合模型，以像素點(diǎn)的顯著性及像素點(diǎn)與周邊像素點(diǎn)的關(guān)系為約束，對(duì)像素點(diǎn)的權(quán)值做了優(yōu)化估計(jì)。實(shí)驗(yàn)表明該算法效果顯著。

關(guān)鍵詞：圖像融合；馬爾科夫隨機(jī)場(chǎng)；融合規(guī)則；顯著性；多分辨率融合

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）06-0204-03

Abstract：Traditional fusion rules in image fusion are max rules and weighted average rule pixel by pixel. The former is able to preserve the textures while irresistance to noises； the latter is advantage to process the image with noises， but loses the high frequency information. Recently rules based on region have been improved. The fusion take the neighboring pixels account and fuse image segment by segment. However the correct segmentation and the inconsistent fusion weights between regions become problems. This paper designed a model based on MRF， making optimal estimation of pixels weight， with the saliency of the pixels and the connection among pixels as constraint. The experiment performs well.

Key words：image fusion； Markov random field； fusion rules； saliency； multi-resolution fusion

1 概述

圖像融合是將同一個(gè)場(chǎng)景的多張圖像中的信息聯(lián)系起來，組合成更適合人類視覺，或者更有利于進(jìn)行進(jìn)一步處理的圖像[1]。從層級(jí)上分類，圖像融合分為像素級(jí)、特征級(jí)、決策級(jí)，其中像素級(jí)融合是最基礎(chǔ)最重要的一層?，F(xiàn)有的像素級(jí)圖像融合算法分為基于變換域的和傳統(tǒng)的基于空間域的方法。傳統(tǒng)的融合算法簡(jiǎn)單快速，弊端明顯，因而基于變換域的融合算法被廣泛使用。在基于變換域的融合算法中，融合規(guī)則在其中起著重要作用。傳統(tǒng)的融合規(guī)則是基于像素點(diǎn)的，常見的基于像素的圖像融合規(guī)則有加權(quán)平均法和取最大值法[2]，字面意思理解，都是對(duì)像素做簡(jiǎn)單的處理或者取舍。雖然擁有運(yùn)算速度快，易實(shí)現(xiàn)等優(yōu)點(diǎn)，但融合效果并不理想。隨后出現(xiàn)的基于窗口的融合規(guī)則與基于區(qū)域的融合規(guī)則彌補(bǔ)了僅考慮像素點(diǎn)，忽略周邊信息的短處，但是區(qū)域的正確劃分本身是一個(gè)不能完美解決的問題。另外區(qū)域間的像素點(diǎn)所取權(quán)值被統(tǒng)一，區(qū)域間的權(quán)值沒有聯(lián)系，即使一致性檢驗(yàn)[3]用于提高局部融合一致性，融合過后的人工痕跡明顯。

本文針對(duì)該問題提出一種基于馬爾科夫隨機(jī)場(chǎng)的融合模型，該模型對(duì)源圖像像素點(diǎn)進(jìn)行顯著性表達(dá)，并以周邊像素點(diǎn)的顯著性作為約束，優(yōu)化像素點(diǎn)的權(quán)值。該模型的重點(diǎn)在于模擬圖像的顯著性或者紋理，并將其對(duì)應(yīng)為權(quán)值，圖像的梯度幅值可以有效地反映圖像的高頻信息，因此像素點(diǎn)的顯著性通過計(jì)算局部梯度幅值來表達(dá)。

2 相關(guān)工作

圖像融合建立在配準(zhǔn)完成的車情況下，本文基于配準(zhǔn)圖像warp后的結(jié)果圖像做圖像融合，所用到的融合算法是離散小波變換?；陔x散小波變換的圖像融合是常用的圖像融合算法，本文使用的模型建立在該融合算法基礎(chǔ)上。該算法步驟如下：

1） 將圖像分別進(jìn)行高通和低通濾波，并分別進(jìn)行二元降采樣。

2） 高低通圖像分別進(jìn)行同樣的高低通濾波及二元降采樣，一共得到四組圖像[4]。

3） 為了滿足多分辨率融合，將進(jìn)行了兩次低通處理的圖像重復(fù)進(jìn)行1）2）步驟[5]，得到第2，3……n層的信息，具體的層數(shù)依據(jù)不同的場(chǎng)景和需求不同。

4） 對(duì)最后一層的分解圖像進(jìn)行融合處理，融合規(guī)則自定。

5） 進(jìn)行逆離散小波變換，重建圖像。

融合過程如圖1所示：

步驟4）即是融合規(guī)則的選用，作為對(duì)比，首先使用傳統(tǒng)的取最大值法：

這樣做的好處是，融合過程對(duì)應(yīng)離散小波變換分解結(jié)果中的高頻部分，高頻部分表達(dá)的是圖像的邊緣紋理，取最大值意味著取邊緣明顯的像素點(diǎn)作為融合結(jié)果，但是不可避免造成像素丟失。

3 馬爾科夫隨機(jī)場(chǎng)融合模型

馬爾科夫隨機(jī)場(chǎng)模型用于對(duì)像素點(diǎn)權(quán)值優(yōu)化，進(jìn)而使用像素融合規(guī)則對(duì)離散小波變換分解結(jié)果進(jìn)行融合。這里首先介紹融合規(guī)則，然后介紹馬爾科夫隨機(jī)場(chǎng)模型。

3.1 像素融合規(guī)則

圖像的結(jié)構(gòu)突出表現(xiàn)為圖像的紋理和邊緣，融合的目的就是將銳度大、結(jié)構(gòu)顯著的區(qū)域更有效的融合。本文擬使用對(duì)圖像的梯度強(qiáng)度進(jìn)行高斯平滑來模擬像素的顯著性，并消除噪聲點(diǎn)。

其中f（a，b）是關(guān)于a，b的softmax函數(shù)，顯然，當(dāng)a-b取值從+∞到-∞，f的取值相應(yīng)為從1到0。WA代表權(quán)值，WA的值越大，代表該像素點(diǎn)的權(quán)值應(yīng)該更多地賦給圖像A。然后，圖像B的權(quán)值將被設(shè)為1-WA。這可以被看做傳統(tǒng)取最大值法的又一版本。代表對(duì)圖像梯度幅值進(jìn)行高斯平滑，用于作出更魯棒的結(jié)構(gòu)預(yù)估。如果某張圖像在（x，y）周圍的圖像顯著性是所有該點(diǎn)中最大的，那相應(yīng)的該圖像在這個(gè)像素點(diǎn)權(quán)值最大。對(duì)于多于兩張圖像融合的情況，可以作以下處理：

如果圖像i的重要性遠(yuǎn)大于其他圖像，那么在分母中，它會(huì)占主要部分，因而得到的是最大的權(quán)值。

3.2 馬爾科夫隨機(jī)場(chǎng)模型

基于區(qū)域的權(quán)重，需要同一個(gè)區(qū)域共享權(quán)值，區(qū)域之間沒有任何過度，這就導(dǎo)致了融合的人工痕跡。傳統(tǒng)過程中這里需要做一致性檢驗(yàn)。本文使用馬爾科夫隨機(jī)場(chǎng)（MRF）確定區(qū)域權(quán)值，并在最優(yōu)框架下，做一致性檢測(cè)。

MRF模型定義為圖G=（V，E），V是圖的節(jié)點(diǎn)集合，這里表示的是像素點(diǎn)；E代表圖的邊。這里值像素點(diǎn)的相鄰性。對(duì)任意像素點(diǎn)（x，y）∈V，定義隨機(jī)變量t（x，y）表示該像素點(diǎn)的權(quán)值。t=i（i=1，2……N），i代表第i幅擁有該像素點(diǎn)的圖像。這里表達(dá)的是，若紋理出現(xiàn)在其中一張?jiān)磮D像上，并不需要混合紋理信息，直接采用該圖像的信息作為融合結(jié)果。

設(shè)T={t（x，y）；（x.y）∈V}，作為圖像像素點(diǎn)的隨機(jī)場(chǎng)集合，那么他們?cè)贛RF中的聯(lián)合分布為：

這里N（x，y）代表像素（x，y）的周邊像素點(diǎn)，這里取最臨近的4個(gè)像素點(diǎn)。Ed和Eb表示像素點(diǎn)與其周邊兩個(gè)像素點(diǎn)權(quán)值的可能函數(shù)，最大化這個(gè)概率相當(dāng)于最小化其的負(fù)對(duì)數(shù)，這是一個(gè)能量函數(shù)。

λ用作平衡參數(shù)。這里第一個(gè)能量式定義為：

這個(gè)式子要服從之前的權(quán)值方程（2）。要使得該式最小，如果在（x，y）處，圖像i的權(quán)值最大，t（x，y）將趨近于i。第二個(gè)能量式用于使周邊像素點(diǎn)的權(quán)值更平滑，定義如下：

如果值為0，代表t（x，y）=t（p，q），相反，如果等于1，則代表t（x，y）與t（p，q）相差巨大。要使得該式最小，則對(duì)相鄰間像素點(diǎn)的權(quán)值有要求，這對(duì)于像素點(diǎn)取權(quán)值有了一個(gè)約束，使得區(qū)域之間的過渡平滑。

根據(jù)條件隨機(jī)場(chǎng)模型方程，隨機(jī)變量T當(dāng)T=argminE（t）時(shí)最優(yōu)，這里既考慮了像素點(diǎn)的權(quán)值，也考慮了相鄰點(diǎn)權(quán)值的平滑過渡。這里可以計(jì)算出T集合，進(jìn)而可以求出所有像素點(diǎn)的權(quán)值。式（5）中的能量方程是圖的標(biāo)號(hào)問題，可以用圖切割算法最小化[6]。

4 實(shí)驗(yàn)

本文使用的圖像來源于敦煌壁畫。本文敦煌壁畫拼接項(xiàng)目的子項(xiàng)目。拼接的前置工作包括圖像配準(zhǔn)、光束法平差已處理妥當(dāng)。這里對(duì)圖像融合進(jìn)行優(yōu)化，目的是去除普通融合算法帶來的像素點(diǎn)丟失、色差、重影等問題。實(shí)驗(yàn)采用離散小波變換的普通融合規(guī)則作為對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)合matlab平臺(tái)及c++ opencv庫，均在搭載win 8系統(tǒng)，配置16G內(nèi)存，8核CPU處理器的硬件環(huán)境下運(yùn)行。實(shí)驗(yàn)的結(jié)果評(píng)價(jià)除了主觀評(píng)價(jià)外，也借用了客觀評(píng)價(jià)指標(biāo)，其中所用指標(biāo)是從一系列指標(biāo)經(jīng)過相關(guān)度分析及正確率分析挑選而出。

4.1 圖像融合實(shí)驗(yàn)結(jié)果

本文只挑選部分圖像。圖2是兩張?jiān)磮D像：

為方便觀察，圖3是局部放大的源圖像：

圖4是對(duì)比實(shí)驗(yàn)圖：

4.2 圖像融合質(zhì)量評(píng)價(jià)

本文選用4個(gè)客觀圖像質(zhì)量評(píng)價(jià)指標(biāo)：相關(guān)系數(shù)（CC）、互信息（MI）、結(jié)構(gòu)相似性（SSIM）、Piella指標(biāo)（Q）。其中CC表達(dá)的是變量間的相關(guān)程度，相關(guān)系數(shù)越高，變量間的相關(guān)程度越高；MI衡量?jī)蓚€(gè)變量間的依賴性，可以看作一個(gè)隨機(jī)變量包含另一個(gè)隨機(jī)變量的信息量，值越大代表信息保留越多；SSIM描述圖像的亮度、對(duì)比度及結(jié)構(gòu)的相似性，脫離了像素比較的傳統(tǒng)方法；Q是考慮了圖像顯著性的改進(jìn)的SSIM。

表1是評(píng)價(jià)結(jié)果：

從表中不難看出，除了SSIM指標(biāo)，本文算法在其中3個(gè)指標(biāo)上要優(yōu)于使用取最大值法作為融合規(guī)則的離散小波變換融合算法。同時(shí)表明本文算法依然有缺陷。另外，客觀評(píng)價(jià)指標(biāo)的不完善性也是需要考慮的問題。

5 結(jié)論

本文針對(duì)像素級(jí)融合規(guī)則做出改進(jìn)，設(shè)計(jì)了基于馬爾科夫隨機(jī)場(chǎng)的融合模型。該模型對(duì)圖像進(jìn)行梯度幅值的高斯平滑來模擬像素的顯著性，同時(shí)將像素點(diǎn)周邊的點(diǎn)作為約束，避免了融合的人工痕跡過于明顯。通過實(shí)驗(yàn)結(jié)果可以看出，本文使用的融合規(guī)則對(duì)于解決像素點(diǎn)丟失有一定效果，但是質(zhì)量評(píng)價(jià)指標(biāo)的數(shù)據(jù)表明，該算法依然有不足之處，這是今后工作的方向。

參考文獻(xiàn)：

[1] Li S T，Yang B，Hu J W. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion， 2011，12（2）：74-84.

[2] Rockinger O. Pixel-level fusion of image sequences using wavelet frames[M]. Proceedings of the 16th Leeds Applied Shape Research Workshop， Leeds University Press，1996.

[3] Zhang Z，Blum R. A categorization and study of multi-scale-decomposition based image fusion schemes[J]. Proceedings of the IEEE，1999， 87 （8）：1315–1328.

[4] Mitra Jalili-Moghaddam. Real-time multi-focus image fusion using discrete wavelet transform and Laplasican pyramid transform[D]. Chalmess University of Technology， Goteborg， Sweden，2005.

[5] Gonzalo Pajares， Jesus Manuel， de la Cruz. A wavelet-based image fusion tutorial[J]. Pattern Recognition， 2004， 37， 1855-872.

[6] Boykov Y，Veksler O， Zabih R. Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on PAMI ，2001，23 （11）：1222–1239.