邱紅梅， 李華鋒， 余正濤

(昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院，云南 昆明 650500)

基于稀疏表示的醫(yī)學(xué)圖像融合*

邱紅梅， 李華鋒， 余正濤

(昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院，云南昆明650500)

針對(duì)傳統(tǒng)基于K階奇異值分解 (KSVD)的字典學(xué)習(xí)算法時(shí)間復(fù)雜度高，學(xué)習(xí)字典對(duì)源圖像的表達(dá)能力不理想，應(yīng)用于醫(yī)學(xué)圖像融合效果差的問(wèn)題，提出了一種新的字典學(xué)習(xí)方法：在字典學(xué)習(xí)之前對(duì)醫(yī)學(xué)圖像的特征信息進(jìn)行篩選，選取能量和細(xì)節(jié)信息豐富的圖像塊作為訓(xùn)練集學(xué)習(xí)字典；根據(jù)學(xué)習(xí)得到的字典建立源圖像的稀疏表示模型，運(yùn)用正交匹配追蹤算法(OMP)求解每個(gè)圖像塊的稀疏系數(shù)，采用“絕對(duì)值最大”策略構(gòu)造融合圖像的稀疏表示系數(shù)，最終得到融合圖像。實(shí)驗(yàn)結(jié)果表明:針對(duì)不同的醫(yī)學(xué)圖像，提出的方法有效。

稀疏表示； 字典學(xué)習(xí)； 醫(yī)學(xué)圖像融合； 正交匹配追蹤

0 引 言

圖像融合技術(shù)已經(jīng)廣泛地應(yīng)用到各個(gè)領(lǐng)域[1～4]。其中，稀疏表示因能更為稀疏地表示圖像的奇異信息，而得到眾多關(guān)注[5～7]。在基于稀疏表示(sparse representation,SR)的圖像融合中，字典的選擇是影響融合性能的關(guān)鍵因素之一。在醫(yī)學(xué)圖像融合方面，提出了很多有效的字典學(xué)習(xí)方法。Liu Y等人[8]提出了一種基于自適應(yīng)稀疏表示的多源圖像融合算法，并成功應(yīng)用于醫(yī)學(xué)圖像融合中，根據(jù)訓(xùn)練集圖像塊的梯度方向直方圖的主方向?qū)ζ溥M(jìn)行分類，再對(duì)每一類圖像塊分別訓(xùn)練字典。在融合過(guò)程中，根據(jù)源圖像塊梯度方向直方圖主方向自適應(yīng)地選擇所在類的字典。Zhu Z Q等人[9]提出了一種基于采樣和聚類的醫(yī)學(xué)圖像融合算法，通過(guò)對(duì)圖像塊采樣獲得信息豐富的塊，并對(duì)其聚類，最后，利用K階奇異值分解(Korder singular value decomposition,KSVD)算法得到每一類的子字典。這些方法雖然能得到較好的融合效果，但在字典學(xué)習(xí)過(guò)程中仍面臨著學(xué)習(xí)速度慢的缺陷，而字典表達(dá)能力也有很大的提升空間。

針對(duì)以上缺陷，本文結(jié)合人眼視覺(jué)系統(tǒng)對(duì)圖像質(zhì)量的感知特性，提出了一種新的字典學(xué)習(xí)方法，并利用學(xué)習(xí)的字典對(duì)醫(yī)學(xué)圖像進(jìn)行融合。

1 SR理論

SR理論的主要思想是目標(biāo)信號(hào)能夠由少量信號(hào)的線性組合來(lái)表示[10]。假設(shè)目標(biāo)信號(hào)y∈Rm，則信號(hào)向量可以被分解成k個(gè)m維向量di∈Rm的線性組合k>m如下

(1)

式中 列向量di為原子，所有原子構(gòu)成的矩陣D=[d1,d2,…,dk]稱為字典或庫(kù)。由于k?m，因此,字典D是過(guò)完備的。求解在過(guò)完備字典D下的稀疏表示系數(shù)α是一個(gè)稀疏編碼問(wèn)題，在實(shí)際情況中，該稀疏編碼問(wèn)題可如下表示

(2)

上述問(wèn)題一般可用貪婪算法和全局優(yōu)化算法來(lái)求解。在基于稀疏表示的圖像融合算法中，常用的稀疏優(yōu)化方法包括匹配追蹤算法(matching pursuit,MP)和正交匹配追蹤算法(orthogonal matching pursuit,OMP)。

2 提出的融合方法

2.1 字典構(gòu)建

為提升字典的表達(dá)能力，本文針對(duì)醫(yī)學(xué)圖像融合問(wèn)題[11]，提出了利用源圖像中反映亮度的能量信息和反映邊緣細(xì)節(jié)變化的空間頻率信息來(lái)構(gòu)建超完備字典，字典學(xué)習(xí)的流程如圖1所示。

圖1 字典學(xué)習(xí)流程

考慮到圖像的鄰域內(nèi)像素具有較強(qiáng)的相關(guān)性，采用像素的鄰域能量信息來(lái)度量該像素點(diǎn)的亮度。具體地，像素點(diǎn)(x,y)的鄰域能量特征計(jì)算式如下

(3)

式中I(x+p,y+q)為源圖像I在(x+p,y+q)處的像素值；P×Q為預(yù)設(shè)的鄰域窗口大小；(x+p,y+q)為以(x,y)為中心的鄰域窗口內(nèi)任一像素點(diǎn)。

采用像素的空間頻率信息反映圖像邊緣細(xì)節(jié)信息的變化，其定義如式(4)所示

(4)

對(duì)每個(gè)待融合的源圖像分割成相互重疊的圖像塊，分割結(jié)果如下

(5)

(6)

(7)

(8)

式中Xe為篩選的能量信息最豐富的圖像塊組成的訓(xùn)練集。ik定義如下

(9)

利用KSVD算法對(duì)訓(xùn)練集Xe進(jìn)行學(xué)習(xí)得到能量字典

(10)

同理，選取包含邊緣細(xì)節(jié)信息最豐富的圖像塊構(gòu)造細(xì)節(jié)信息字典

(11)

式中Xs為篩選的邊緣細(xì)節(jié)信息最豐富的圖像塊組成的訓(xùn)練集；為了不讓Xs與Xe重疊，jk定義為

(12)

利用KSVD算法對(duì)訓(xùn)練集Xs進(jìn)行學(xué)習(xí)得到邊緣細(xì)節(jié)信息字典

(13)

由此，綜合能量信息和邊緣細(xì)節(jié)信息的字典如式(14)

D=[De,Ds]

(14)

本文訓(xùn)練得到的字典如圖2(c)所示。對(duì)比圖2(a)傳統(tǒng)KSVD算法學(xué)習(xí)的字典和圖2(b)文獻(xiàn)[12]提出的聯(lián)合聚類算法學(xué)習(xí)的字典，本文方法得到的字典包含了更加豐富的特征信息，原子對(duì)比度也更高，具有更強(qiáng)的表達(dá)能力。

圖2 不同方法構(gòu)建的字典視覺(jué)效果

2.2 融合算法

(15)

最后利用字典和融合圖像的稀疏表示系數(shù)，根據(jù)式(16)對(duì)融合圖像塊向量進(jìn)行重構(gòu)，得到第k塊融合圖像的列向量

(16)

通過(guò)式(17)對(duì)所有的融合圖像塊進(jìn)行重構(gòu)，然后將重構(gòu)圖像塊矩陣化得到最終的融合圖像

(17)

圖3 本文提出算法的融合流程

在訓(xùn)練子塊數(shù)量和時(shí)間消耗上，圖4(a)、圖(b)源圖像為例，傳統(tǒng)的KSVD字典學(xué)習(xí)方法(子塊不經(jīng)過(guò)篩選)需訓(xùn)練31250個(gè)子塊，字典訓(xùn)練耗時(shí)713s,而本文提出的字典學(xué)習(xí)方法(子塊經(jīng)過(guò)篩選)只需訓(xùn)練21050個(gè)子塊，字典訓(xùn)練耗時(shí)679s,從中也可以看出，本文提出的字典學(xué)習(xí)方法在訓(xùn)練量和訓(xùn)練時(shí)間上均有所改進(jìn)。

3 實(shí)驗(yàn)分析

為客觀地評(píng)價(jià)方法的融合性能，采用互信息[13](mutual information,MI)、邊緣信息度量算子[14](edge information preservation values,QAB/F) 和視覺(jué)信息保真度[15](visual information fidelity ,VIF)3個(gè)客觀評(píng)價(jià)指標(biāo)對(duì)不同算法下的融合結(jié)果進(jìn)行度量，數(shù)值越大說(shuō)明融合效果越好。

文采用了離散小波變換(discrete wavelet transform,DWT)、非下采樣輪廓波變換 (nonsubsampled contourlet transform,NSCT)、 非下采樣輪廓波變換和SK相結(jié)合的方法[16](nonsubsampled contourlet transform-sparse representation,NSCT-SR)、聯(lián)合塊聚類[12](joint patch clustering based dictionary,JCPD)、自適應(yīng)SR[8](adaptive sparse representation,ASR)等5個(gè)不同融合算法與本文算法進(jìn)行對(duì)比。實(shí)驗(yàn)中，本文方法的圖像塊大小為8×8，求鄰域能量和清晰度信息所用的鄰域窗口大小為P×Q=5×5，重疊像素為6，稀疏表示的重構(gòu)誤差為0.1。

實(shí)驗(yàn)的兩組CT/MRI醫(yī)學(xué)圖像及不同方法產(chǎn)生的融合結(jié)果分別如圖4和圖5所示。從中可以看出，DWT得到的融合圖像對(duì)比度較低，容易出現(xiàn)偽影現(xiàn)象；NSCT在很大程度上克服了DWT的不足，但融合規(guī)則過(guò)于簡(jiǎn)單，導(dǎo)致融合圖像的對(duì)比度不高，視覺(jué)效果較差。JCPD和ASR得到的融合圖像對(duì)比度雖有所提升，但細(xì)節(jié)信息不夠清晰，仍不利于人眼的觀察和醫(yī)療診斷。相比之下，NSCT-SR方法和本文算法在對(duì)比度上均取得了很好的效果。但從融合結(jié)果的局部放大區(qū)域可以看出，源圖像中的部分有用信息沒(méi)有被NSCT-SR方法保留到融合結(jié)果中，而本文方法卻能有效避免這一缺陷。此外，表1給出了2組CT/MRI圖像在不同算法下的融合圖像的客觀評(píng)價(jià)數(shù)據(jù)，從中可以看出，本文算法在3個(gè)客觀評(píng)價(jià)指標(biāo)上均高于其他方法，客觀上也證明了本文算法優(yōu)于其他方法。

圖4 不同方法獲得融合結(jié)果比較

圖5 不同方法獲得融合結(jié)果比較

為進(jìn)一步證明本文方法對(duì)其他類型的圖像同樣有效，圖6給出了PET/MRI醫(yī)學(xué)圖像在不同算法下的融合結(jié)果，客觀評(píng)價(jià)數(shù)據(jù)如表1中的圖6列所示。也可以看出，本文算法具有一定的適用性。

圖6 PET/MRI在不同方法下的融合結(jié)果比較

4 結(jié)束語(yǔ)

針對(duì)醫(yī)學(xué)圖像融合，提出了一種新的超完備字典構(gòu)建方法，并利用該字典對(duì)醫(yī)學(xué)圖像進(jìn)行了融合實(shí)驗(yàn)。結(jié)果表明：本文方法訓(xùn)練得到的字典能有效提升字典的表達(dá)能力，同時(shí)，克服了傳統(tǒng)字典學(xué)習(xí)算法中圖像塊數(shù)量較多，字典學(xué)習(xí)效率較低的缺陷。在融合圖像的視覺(jué)效果和客觀評(píng)價(jià)指標(biāo)上，本文算法均優(yōu)于其他傳統(tǒng)圖像融合算法以及最新的基于SR的融合方法。在今后的研究中，重點(diǎn)將進(jìn)一步優(yōu)化字典學(xué)習(xí)方法，增強(qiáng)字典的適應(yīng)性。

表1 不同方法在融合3組醫(yī)學(xué)圖像時(shí)的客觀評(píng)價(jià)結(jié)果比較

[1] 林玉池,周 欣,宋 樂(lè),等.基于 NSCT 變換的紅外與可見(jiàn)光圖像融合技術(shù)研究[J].傳感器與微系統(tǒng),2008,27(12):45-47.

[2] 朱 煉,孫 楓,夏芳莉,等.圖像融合研究綜述[J].傳感器與微系統(tǒng),2014,33(2):14-18.

[3] 何國(guó)棟,石建平,馮友宏,等.一種新的紅外與可見(jiàn)光圖像融合算法[J].傳感器與微系統(tǒng),2014,33(4):139-141.

[4] 張明源,王宏力,陳國(guó)棟.基于小波分析的多源圖像融合去云技術(shù)研究[J].傳感器與微系統(tǒng),2007,26(11):19-21.

[5] Yin H T.Sparse representation with learned multiscale dictionary for image fusion[J].Neurocomputing,2015,148(19):600-610.

[6] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

[7] Li S T,Yin H T,Fang L Y.Group-sparse representation with dictionary learning for medical image denoising and fusion[J].IEEE Transactions on Biomedical Engineering,2012,59(12):3450-3459.

[8] Liu Y,Wang Z F.Simultaneous image fusion and denoising with adaptive sparse representation[J].IET Image Processing,2015,9(5):347-357.

[9] Zhu Z Q,Chai Y,Yin H P.A novel dictionary learning approach for multi-modality medical image fusion[J].Neurocomputing,2016,214:471-482.

[10] 張賢達(dá).矩陣分析與應(yīng)用[M].2版.北京:清華大學(xué)出版社,2013:78-82.

[11] Elan M,Yavnef I.A plurality of sparse representations is better than the sparsest one alone[J].IEEE Transactions Information Theory,2009，55(10):4701-4714.

[12] Kim M,Han D K,KO H,et al.Joint patch clustering-based dictionary learning for multimodal image fusion[J].Information Fusion,2016,27:198-214.

[13] Qu G H,Zhang D L,Yan P F.Information measure for performance of image fusion[J].Electronics Letters,2002,38 (7):313-315.

[14] Xydeas C S,Petrovic V.Objective image fusion performance measure[J].Electronics Letters,2000,36(4):308-309.

[15] Sheikh H R,Bovik A C.Image information and visual quality[J].IEEE Transactions on Image Processing,2006,15 (2):430-444.

[16] Liu Y,Liu S P,Wang Z F.A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion,2015,24:147-164.

Medicalimagefusionbasedonsparserepresentation*

QIU Hong-mei, LI Hua-feng, YU Zheng-tao

(FacultyofInformationEngineeringandAutomation,KunmingUniversityofScienceandTechnology,Kunming650500,China)

In the traditional K order singular value decomposition (KSVD)-based methods,the dictionary learning process is time-consuming and the learned dictionary can’t represent the source images well.Therefore,a novel dictionary learning method is proposed for the medical images fusion problem.In which,these image blocks with rich energy feature and detail information are firstly filtrated to form the training set and the dictionary is learned from the training set.Next,the sparse model is constructed according to the learned dictionary and the sparse coefficients are solved by the orthogonal matching pursuit(OMP) algorithm.Finally,the ‘max absolute’ rule is employed to obtain the fused coefficient and the final fused image is obtained. The experiment has verified that the proposed method is effective for different medical images.

sparse representation(SR); dictionary learning; medical image fusion; orthogonal matching pursuit (OMP)

10.13873/J.1000—9787(2017)10—0057—04

2016—09—12

國(guó)家自然科學(xué)基金資助項(xiàng)目(61302041，61562053，61363043)；云南省科技廳應(yīng)用基礎(chǔ)研究計(jì)劃基金資助項(xiàng)目(2013FD011)

TP 391

A

1000—9787(2017)10—0057—04

邱紅梅(1990-)，女，碩士研究生，CCF會(huì)員，主要研究方向?yàn)閳D像處理。李華鋒(1983-)，男，通訊作者，博士，副教授，主要從事計(jì)算機(jī)視覺(jué)、模式識(shí)別、數(shù)字圖像處理研究工作，E—mail: 1175266310@qq.com。