程 鋼, 李瑋琳, 李 麗

(1.長春工業(yè)大學(xué)人文信息學(xué)院 信息工程系， 吉林 長春 130022；2.長春工業(yè)大學(xué) 機(jī)電工程學(xué)院, 吉林 長春 130012)

0 引 言

進(jìn)入21世紀(jì)以來，隨著時代的進(jìn)步，醫(yī)療水平突飛猛進(jìn)的發(fā)展，醫(yī)學(xué)上出現(xiàn)了多種醫(yī)學(xué)影像成像系統(tǒng)，多模態(tài)醫(yī)學(xué)圖像的產(chǎn)生，提供了多個角度對同一病變部位不同的醫(yī)學(xué)信息。磁共振成像(Magnetic Resonance Imaging， MRI)有利于顯示軟組織，可對病灶范圍進(jìn)行分離，但缺少剛性的骨組織作為定位參照。計算機(jī)斷層掃描技術(shù)(Computed Tomography， CT)可以對病變部位進(jìn)行準(zhǔn)確定位，空間分辨率高，有利于顯示骨骼特征，不利于對病灶區(qū)域軟組織病變的突顯。磁共振血管成像(Magnetic Resonance Angiography， MRA)的側(cè)重點(diǎn)在于可以更直觀顯示有關(guān)血管的各項屬性。圖像融合將各種模態(tài)的圖像信息融合到一起，實現(xiàn)多信息可視化，對醫(yī)學(xué)研究及病灶的治療都具有廣泛的實用價值[1-2]。

小波變換能夠?qū)D像實施多尺度、多方向，多分辨率分解，以小波變換理論為基礎(chǔ)的圖像融合，融合后圖像效果更具實用價值，是很多專家學(xué)者在醫(yī)學(xué)圖像融合方面的研究熱點(diǎn)之一。基于小波變換理論的圖像融合固然很好，但融合后圖像仍有諸多不足，由于小波變換只有三個方向即水平、垂直和對角的分解，缺乏平移不變性，難以凸顯圖像的邊界、輪廓等二維或多維的區(qū)別，融合過程中易產(chǎn)生抖動或振鈴現(xiàn)象，對融合后效果產(chǎn)生影響。而近幾年逐步產(chǎn)生的非下采樣Contourlet變換(NSCT)具有多尺度性、多方向性、平移不變性等特點(diǎn)，并且能夠減少抖動和振鈴現(xiàn)象[3]，更具實際意義。

文中提出了一種基于非下采樣Contourlet變換的多模態(tài)醫(yī)學(xué)圖像融合算法，對原始圖像進(jìn)行非下采樣Contourlet分解后，采用區(qū)域能量比加權(quán)確定低頻融合系數(shù)；采用平均梯度和局部區(qū)域能量兩個值來指導(dǎo)高頻融合系數(shù)。實驗結(jié)果顯示，文中算法對多模態(tài)醫(yī)學(xué)圖像融合更具實際意義，能更好地繼承原始圖像信息,且融合后的圖像所含信息量更多，細(xì)節(jié)信息更飽滿，是一種更具有實際意義的融合方法[4-5]。

1 基于NSCT的醫(yī)學(xué)圖像融合原理

首先對配準(zhǔn)好的兩幅源圖像進(jìn)行NSCT分解，從而得到各個子帶的子圖像，形成特有的結(jié)構(gòu)層次；其次再將剛剛得到的各個子帶的子圖像逐個融合；最后將所得系數(shù)做逆變換處理，才能完成圖像融合。這樣做可以把各個圖像的優(yōu)勢更好地進(jìn)行綜合。NSCT圖像融合步驟如圖1所示。

圖1 基于NSCT的圖像融合過程

2 融合算法

融合方法的準(zhǔn)確制定是保證融合圖像質(zhì)量的關(guān)鍵技術(shù)，其對融合后效果的影響十分明顯，這個技術(shù)難點(diǎn)至今仍存在諸多不足[6]。傳統(tǒng)研究都熱衷于怎樣制訂高頻融合規(guī)則，然而低頻系數(shù)常被忽略，往往直接采取平均法，該方案致使圖像邊緣特征沒有得到足夠重視，在很大范圍內(nèi)導(dǎo)致圖像不夠清晰[7]。文中首先制定低頻部分的融合方法，其次再制定高頻部分的融合方法，更具實際意義。

2.1 低頻子帶融合方法

這部分子帶能夠反映并延續(xù)原始圖像的大多數(shù)特征，所以融合圖像的質(zhì)量受低頻系數(shù)的影響也很大。局部區(qū)域能量能夠充分反映出圖像的主要結(jié)構(gòu)，隨著局部區(qū)域能量的增大，源圖像所含信息量也逐漸增大。文中提出了獨(dú)家的基于區(qū)域能量比加權(quán)的方法來指導(dǎo)低頻融合[8]。

選擇局部區(qū)域能量做參考值的常見低頻系數(shù)制定方法有局部最大值法和加權(quán)平均法。采用局部最大值方法時，當(dāng)原始圖像局部區(qū)域值差距較小時易產(chǎn)生選擇錯誤；采用加權(quán)平均法時，雖可使融合圖像穩(wěn)定，但對細(xì)節(jié)特征的處理還有很多不足。文中提出的低頻系數(shù)選擇方案根據(jù)源圖像局部區(qū)域能量的大小,將前兩種方法相結(jié)合，更多地繼承了顯著圖像的細(xì)節(jié)信息,讓算法的穩(wěn)定性得到了進(jìn)一步加強(qiáng)。

將低頻分量分解成R×S大小的圖像塊，文中R×S大小取值3×3，首先對于低頻系數(shù)CAL和CBL，子帶中以(x,y)為中心的局部區(qū)域能量為：

(1)

計算兩幅圖像A,B在該區(qū)域內(nèi)的能量的比值：

(2)

它突顯出兩圖像間的關(guān)聯(lián)。

做兩個原始圖像的對應(yīng)圖像塊間能量的比，再結(jié)合加權(quán)融合的方法對圖像塊實施融合處理。設(shè)閾值λ(0<λ<1)，一旦兩個原始圖像A,B局部能量相差懸殊時(R<λ或R>1/λ)，能夠得出二者中一個圖像所包含的細(xì)節(jié)信息較為豐富，而另一個圖像應(yīng)該會包含寥寥無幾的細(xì)節(jié)信息，因而融合后的小波系數(shù)應(yīng)選擇局部區(qū)域能量較大的圖像的系數(shù)來充當(dāng)；當(dāng)局部能量相差無幾時(λ≤R<1或1≤R<1/λ)，表示二者包含的細(xì)節(jié)信息趨近于相等，地位相當(dāng)，所以用加權(quán)平均法獲得融合后的小波低頻系數(shù)更為妥當(dāng)。一來能夠更好地突顯出圖像中比較明顯的部分，二來干擾也得到了有效抑制，為融合的魯棒性保駕護(hù)航[8]。權(quán)值w按如下方法計算：

(3)

將w代入公式：

QL=wCAL+(1-w)CBL

(4)

式中:QL----融合圖像的低頻子帶系數(shù)。

2.2 高頻子帶融合方法

這部分子帶能夠突顯出圖像的亮度變化特征，尤其是圖像的邊界及邊緣之地等。眾多高頻子帶融合方法要么是針對像素的融合方法，要么是針對窗口的融合方法。然而圖像的局部特征并不能只取單個像素的變換系數(shù)來表現(xiàn)，應(yīng)該取某個局部區(qū)域的多個像素的圖像變換系數(shù)綜合體現(xiàn)。所以，很多種融合算法都是針對窗口進(jìn)行的。諸多被選擇的局部特征例如基于能量的以及基于方差的。在所選擇的窗口中，直方圖上突現(xiàn)變化的地方，能夠看出此處灰度級跳躍性大，所包含細(xì)節(jié)信息涵蓋量更大。

平均梯度不僅能夠突顯出細(xì)節(jié)之處反差的大小，還能夠突顯圖像的紋理細(xì)節(jié)變換。一般來說，其值越大，預(yù)示層次越豐富，層次較多的時候圖像所具有的清晰度越好。平均梯度是一個出現(xiàn)頻率較高的圖像融合質(zhì)量評價指標(biāo)，一般來說，用于評價圖像在細(xì)節(jié)及紋理表現(xiàn)方面的好壞。文中將平均梯度、局部區(qū)域能量相結(jié)合，綜合衡量來實施高頻部分的融合。

首先對于高頻系數(shù)CAH和CBH，局部區(qū)域能量為：

(5)

(6)

式中:F(i,j)----圖像高頻分量分解后K×L大小的圖像塊中第i行第j列的灰度值。

對高頻系數(shù)的確立，按照如下方案進(jìn)行選擇：

(7)

高低頻系數(shù)都確定好之后再進(jìn)行圖像重構(gòu)。

3 實驗效果圖及實驗數(shù)據(jù)

一位患者大腦的CT圖像和他腦部同一位置區(qū)域的MRI圖像如圖2所示(已完成前期配準(zhǔn))。

(e) 高低頻均用文中方法融合

圖2(a)突顯出骨組織方位；圖2(b)突顯出軟組織結(jié)構(gòu)；若低頻用傳統(tǒng)簡單的加權(quán)平均法，而高頻部分用文中提出的新的融合規(guī)則實施圖像融合就可以得到圖2(c)；若低頻部分系數(shù)選擇文中提出的新的方法進(jìn)行圖像融合，而高頻部分選擇簡單傳統(tǒng)的局部區(qū)域能量取大的方法實施融合就能夠得到圖2(d)[9]；若高低頻融合規(guī)則均采用文中所提融合方法實施圖像融合則得到的是圖2(e)。需要說明的是，在圖像融合實施過程中均采用Daubechies小波，且選擇的都是其中的DB4小波基，而且融合前把兩個原始圖像都進(jìn)行三層分解。

我們用肉眼能夠看出圖2(e)效果更好。

已配準(zhǔn)的患者顱腦部位的MRA及MRI圖像如圖3所示。

(e) 高低頻均用文中方法融合

圖3(a)有利于腦部血管組織的顯示；圖3(b)能夠突顯軟組織的結(jié)構(gòu)特征。圖3(c)、(d)分別為和圖2(c)、(d)采用相同的融合規(guī)則實施的顱腦部位的MRA及MRI圖像融合。若高低頻系數(shù)均用文中提出的新的融合規(guī)則實施融合后得到的即為圖3(e)。

我們用肉眼就可以看出，對圖2中一系列結(jié)果而言，高低頻系數(shù)都用文中提出的新方法，實施圖像融合后得到的效果圖2(e)對骨密度及軟組織的成像均比較清晰, 較傳統(tǒng)融合算法相比較，效果更理想。而圖3(c)、(d)、(e)相比，也只有圖3(e)對于血管和腦灰質(zhì)的顯示最為清晰。

我們用三個常見的評價指標(biāo)來將兩組實驗圖像中得到的結(jié)果圖實施客觀評價，即分別計算其平均梯度、標(biāo)準(zhǔn)差和互信息。平均梯度與圖像清晰度有關(guān),并能表現(xiàn)細(xì)節(jié)信息及紋理特征，平均梯度越大，能夠突顯出圖像層次越多，層次較多的時候圖像所具有的清晰度越好；標(biāo)準(zhǔn)差能突顯出灰度的統(tǒng)計特征，即灰度離散情況，其值越大表示灰度級分布越不集中，各個灰度級出現(xiàn)的概率差別不大，這時候表示所含的信息量越多；最后一個指標(biāo)互信息也常用來評價圖像融合的客觀質(zhì)量，互信息越大，突顯出從原始圖像繼承和延續(xù)的有用信息越多，融合離理想目標(biāo)更近。以下數(shù)據(jù)進(jìn)行對比分析，文中闡述的新的規(guī)則實施的圖像融合，效果更占上風(fēng)。

圖2和圖3的客觀評價分別見表1和表2。

表1 圖2的客觀評價

表2 圖3的客觀評價

從表1綜合衡量，圖2(e)效果更理想。從表2綜合衡量，圖3(e)效果更理想。

4 結(jié) 語

醫(yī)學(xué)圖像融合在醫(yī)學(xué)研究中的重要地位及意義我們毋庸置疑。經(jīng)過大量研究提出了一種基于非下采樣Contourlet變換的多模態(tài)醫(yī)學(xué)圖像融合算法,分別對低頻及高頻部分融合規(guī)則提出自己獨(dú)到的見解和想法,并與簡單的傳統(tǒng)的融合方法例如局部最大值法以及加權(quán)平均法進(jìn)行了實驗、圖像比對及數(shù)據(jù)分析。從肉眼觀察到實際數(shù)據(jù)論證, 都能突顯出文中提出的圖像融合新方法比傳統(tǒng)的小波融合方法更具優(yōu)勢。更好地繼承了原始圖像的邊緣信息及細(xì)節(jié)，為疾病診斷提供更便捷、更有效的依據(jù)。

參考文獻(xiàn)：

[1] 羅述謙.醫(yī)學(xué)圖像處理與分析[M].北京:科學(xué)出版社,2010.

[2] 潘樹偉.基于多尺度分析的醫(yī)學(xué)圖像融合算法研究[D].杭州:浙江理工大學(xué)，2017.

[3] 楊艷春，王曉明，黨建武,等.基于非下采樣Contourlet變換的醫(yī)學(xué)圖像融合方法[J]. 計算機(jī)科學(xué)，2013,40(3):310-313.

[4] 王昕，李瑋琳，劉富.小波域CT/MRI醫(yī)學(xué)圖像融合新方法[J].吉林大學(xué)學(xué)報：工學(xué)版，2013(s1):34-37.

[5] 宋瑞霞，王孟，王小春，等.基于多層次多方向分解的醫(yī)學(xué)圖像融合算法[J].計算機(jī)工程，2017(10):179-185.

[6] 徐春艷.基于多尺度分解的醫(yī)學(xué)圖像融合研究[D].鎮(zhèn)江:江蘇大學(xué)，2017.

[7] 李瑋琳.平移不變小波醫(yī)學(xué)圖像融合方法[J].長春工業(yè)大學(xué)學(xué)報:自然科學(xué)版，2013,34(6)：653-655.

[8] Lei Wang, Bin Li, Lianfang Tian. Multi-modal medical image fusion using the inter-scale and intra-scale dependencies between image shift-invariant shearlet coefficients[J]. Information Fusion,2012,19:20-28.

[9] 高清河，剛晶，王和禹，等.基于小波變換的多模態(tài)醫(yī)學(xué)圖像的融合及性能評價[J].生物醫(yī)學(xué)工程研究，2014,33(4):259-263