徐同花, 趙建民, 朱信忠, 遲崇巍, 葉津佐

(1.浙江師范大學(xué) 數(shù)理與信息工程學(xué)院,浙江 金華 321004;2.中國科學(xué)院 自動(dòng)化研究所,北京 100190)

0 引 言

據(jù)文獻(xiàn)[1]報(bào)道,我國每年新發(fā)腫瘤病例約為312萬例，且未來10年,我國的癌癥發(fā)病率與死亡率仍將繼續(xù)攀升.手術(shù)導(dǎo)航系統(tǒng)對(duì)于提高術(shù)中腫瘤定位精度、減少手術(shù)損傷、提高手術(shù)成功率等具有重要意義[2].光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)具有快速安全、定位精確、分辨率高、靈敏度高、成像價(jià)格低等優(yōu)點(diǎn)[3].圖像融合是導(dǎo)航過程中腫瘤定位的關(guān)鍵技術(shù)，可以在3個(gè)不同層次上進(jìn)行:像素級(jí)融合、特征級(jí)融合和決策級(jí)融合.像素級(jí)圖像融合的準(zhǔn)確度最高,能夠提供其他層次融合處理所不具有的更豐富、更精確、更可靠的細(xì)節(jié)信息[4].像素級(jí)圖像融合需要在精確配準(zhǔn)的前提下進(jìn)行,圖像配準(zhǔn)方法主要分為兩大類:基于區(qū)域的方法和基于特征的方法[5-6].目前圖像融合和圖像配準(zhǔn)方面的算法很多,但是應(yīng)用于手術(shù)導(dǎo)航系統(tǒng)中時(shí)都存在運(yùn)行時(shí)間長(zhǎng)、無法滿足實(shí)時(shí)性要求的問題.本文對(duì)光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)中的圖像融合算法進(jìn)行了研究,采用像素級(jí)圖像融合和基于區(qū)域的配準(zhǔn)方法,僅利用圖像的熒光信息和患者體表信息就可以在 50 s內(nèi)完成配準(zhǔn),并且配準(zhǔn)的精度和融合的效果都得到了很大的提高.

為了便于顯示和理解，2幅圖像的相對(duì)大小已做了處理圖1 手術(shù)導(dǎo)航過程中采集的1組原始圖像數(shù)據(jù)

1 方 法

1.1 實(shí)驗(yàn)數(shù)據(jù)

本文選用的圖像數(shù)據(jù)是中國科學(xué)院分子影像重點(diǎn)實(shí)驗(yàn)室研制的光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)在實(shí)施預(yù)臨床及臨床實(shí)驗(yàn)過程中采集的,目前該系統(tǒng)已在汕頭大學(xué)醫(yī)學(xué)院附屬腫瘤醫(yī)院成功實(shí)施了22例人體乳腺癌手術(shù)的實(shí)時(shí)導(dǎo)航.

每組圖像數(shù)據(jù)包括大小為2 448×2 056的彩色圖像(見圖1(a))及大小為1 024×1 024的熒光圖像(見圖1(b)).圖中熒光部分是病灶區(qū)域.每組圖像數(shù)據(jù)都是通過2臺(tái)CCD相機(jī)在術(shù)中實(shí)時(shí)采集的,其中彩色圖像是在系統(tǒng)提供的可見光源下由彩色CCD相機(jī)拍攝的,熒光圖像是采用激發(fā)熒光成像技術(shù),利用近紅外LED燈進(jìn)行激發(fā),由近紅外CCD相機(jī)采集.彩色圖像能夠清晰顯示病灶的解剖結(jié)構(gòu)信息,包括病灶區(qū)域和手術(shù)器械以及它們的相對(duì)位置等.熒光圖像用于顯示病灶的特征信息,包括大小、邊界等.本研究的目的是將熒光圖像中熒光顯示的病灶區(qū)域融合到彩色圖像上(以偽綠的形式),讓醫(yī)生可以在彩色圖像上看到病灶的準(zhǔn)確位置及大小.

圖2 算法流程圖

手術(shù)過程中,導(dǎo)航系統(tǒng)的軟件控制圖像采集設(shè)備采集圖像,并對(duì)采集到的每一組圖像數(shù)據(jù)進(jìn)行預(yù)處理、配準(zhǔn)、融合,如圖2所示.最后輸出融合后的圖像,引導(dǎo)手術(shù)的精確實(shí)施.

本算法運(yùn)行的硬件平臺(tái)為 Lenovo Win7 PC, Intel Core i3 2.53GHz雙核CPU,2 GB RAM,軟件平臺(tái)為Matlab.R2010b.

1.2 圖像預(yù)處理

為了減小手術(shù)過程中系統(tǒng)提供的光源強(qiáng)弱對(duì)采集到的圖像光強(qiáng)的影響,以盡量消除圖像亮度過亮或過暗對(duì)配準(zhǔn)精度和融合效果的影響,首先對(duì)彩色圖像和熒光圖像的光強(qiáng)進(jìn)行調(diào)節(jié).為了提高算法的運(yùn)行速度,減少圖像融合所花費(fèi)的時(shí)間,將彩色圖像的像素(2 448×2 056)在水平和垂直方向以4為間隔采樣,得到大小為612×514的彩色圖像.將重采樣后的彩色圖像做灰度處理,得到其灰度圖像.

1.3 圖像配準(zhǔn)

本文采用了基于區(qū)域的配準(zhǔn)方法,以經(jīng)過重采樣的彩色圖像的灰度圖像gray_image為模板,選用窮盡搜索策略[5],在熒光圖像的子圖像中搜索匹配圖像,分別以平均絕對(duì)差、均方差和歸一化積相關(guān)[7]作為配準(zhǔn)算法中的相似性度量.

1.3.1 匹配圖像搜索原理[8]

設(shè)模板圖像為X,大小為m×n;搜索圖像為Y,大小為u×v,如圖3所示.在圖像Y中以某點(diǎn)S(i,j)為基點(diǎn),截取一個(gè)大小與圖像X一樣的子圖像Yk,利用相似性測(cè)度比較圖像X和Yk的相似程度.這樣的基點(diǎn)有(u-m+1)×(v-n+1)個(gè),相應(yīng)的子圖像就有(u-m+1)×(v-n+1)個(gè).在(u-m+1)×(v-n+1)個(gè)子圖像中找1個(gè)與模板圖像X最相似的圖像Ykfinal,這樣得到的基點(diǎn)S(i,j)就是最佳配準(zhǔn)點(diǎn)O(ifinal,jfinal).

圖3 搜索原理圖 圖4 確定基點(diǎn)搜索區(qū)域R2的示意圖

1.3.2 基點(diǎn)搜索區(qū)域

確定基點(diǎn)搜索區(qū)域R2:

1)分別求出灰度圖像的梯度矩陣Ag-g和熒光圖像的梯度矩陣Ag-f,并以矩陣Ag-f和Ag-g的左上角點(diǎn)作為各自坐標(biāo)空間的(0,0)點(diǎn);

2)以矩陣Ag-f的一個(gè)最大值點(diǎn)I(i,j)作為興趣點(diǎn)(ig-f,jg-f)=max(max(Ag-f,1)),如圖4(a)所示.由于興趣點(diǎn)偏離熒光圖像中心太遠(yuǎn)會(huì)導(dǎo)致該配準(zhǔn)算法的失敗,本文對(duì)其進(jìn)行了域法修正,當(dāng)興趣點(diǎn)I的坐標(biāo)超出一定范圍時(shí),對(duì)其重新賦值,使興趣點(diǎn)向圖像中心靠攏;

3)將興趣點(diǎn)I按矩陣Ag-f和矩陣Ag-g的維數(shù)比例對(duì)應(yīng)到矩陣Ag-g中,如圖4(b),得到興趣點(diǎn)I在Ag-g中的對(duì)應(yīng)點(diǎn)I′的坐標(biāo)(i′,j′),即 i′=i*514/1 024, j′=j*612/1 024.由于熒光圖像與灰度圖像在視野范圍上并不相同,因此,此對(duì)應(yīng)點(diǎn)只是假設(shè);

4)根據(jù)點(diǎn)I′的坐標(biāo)得到Ag-g的左上角點(diǎn)P′ 在矩陣Ag-f中的對(duì)應(yīng)點(diǎn)P的坐標(biāo)為(i-i′,j-j′).將P點(diǎn)鄰域內(nèi)100×100個(gè)點(diǎn)組成的區(qū)域作為配準(zhǔn)時(shí)基點(diǎn)的搜索區(qū)域R2,如圖4(a)中虛線框所示.

1.3.3 圖像相似性測(cè)度

圖像的相似性度量方法有很多種,本文選用的平均絕對(duì)差度量、均方差度量和歸一化積相關(guān)度量是其中應(yīng)用比較廣泛且比較簡(jiǎn)單的3種,前2種屬于距離度量,后1種屬于相關(guān)度量.

1)平均絕對(duì)差度量[7].計(jì)算公式如下:

(1)

基于平均絕對(duì)差度量的匹配算法的基本原理是以模板圖像X與子圖像Yk的灰度值作差,將差值的絕對(duì)值取平均得到d值.d值越小,說明子圖像與模板圖像的差異越小,即越相似.使得d值取得最小時(shí)的子圖像Yk,即為目標(biāo)圖像Ykfinal,此時(shí)得到的基點(diǎn)(i,j)即為最佳配準(zhǔn)點(diǎn)(ifinal,jfinal).

2)均方差度量[7].計(jì)算公式如下:

基于均方差度量的匹配算法的基本原理是將模板圖像X與子圖像Yk的灰度值作差,對(duì)每一項(xiàng)差值取平方后再取均值,即求得d值.d值越小說明子圖像與模板圖像的差異越小,即越相似.使得d值取得最小時(shí)的子圖像Yk,即為目標(biāo)圖像Ykfinal,此時(shí)得到的基點(diǎn)(i,j)即為最佳配準(zhǔn)點(diǎn)(ifinal,jfinal).

以上2種相似性度量是最小度量,采用這2種度量的匹配圖像搜索過程如圖5所示,搜索完成后輸出最佳配準(zhǔn)點(diǎn)(ifinal,jfinal)和度量值dmin.

圖5 匹配圖像搜索過程(采用最小度量) 圖6 匹配圖像搜索過程(采用最大度量)

3)歸一化積相關(guān)度量[7].計(jì)算公式如下:

(3)

歸一化積相關(guān)度量是最大度量,采用這種度量的匹配圖像搜索過程如圖6所示,搜索完成后輸出最佳配準(zhǔn)點(diǎn)(ifinal,jfinal)和度量值ρmax.

1.4 原始算法

本文所研究的光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)中的圖像融合原始算法利用相關(guān)系數(shù)(CorrelationCoefficient,CC)度量方法對(duì)灰度圖像和熒光圖像的子圖像進(jìn)行模板匹配搜索匹配圖像.相關(guān)系數(shù)度量計(jì)算公式如下：

(4)

式(4)中：Cov(X,Yk) 表示X與Yk的協(xié)方差;D(X)與D(Yk)分別為X與Yk的方差.

圖像的相關(guān)系數(shù)是兩幅圖像之間近似程度的一種線性描述.ρ值越接近于1,說明模板圖像X和子圖像Yk越近似于線性關(guān)系,即兩幅圖像的相似性越大.使ρ值取得最大時(shí)的子圖像Yk即為目標(biāo)圖像Ykfinal,此時(shí)得到的基點(diǎn)即為最佳配準(zhǔn)點(diǎn)(ifinal,jfinal).

1.5 圖像融合

本文選用了像素級(jí)圖像融合中的灰度加權(quán)平均法[9-11]進(jìn)行圖像的融合.首先利用灰度級(jí)-彩色變換技術(shù)[12]對(duì)熒光圖像的熒光區(qū)域加偽綠,然后根據(jù)圖像配準(zhǔn)得到的最佳配準(zhǔn)點(diǎn)將彩色圖像與偽綠圖像進(jìn)行融合.本算法中只在熒光圖像的熒光區(qū)域加偽綠,熒光圖像中除了有熒光的區(qū)域外,其他區(qū)域的灰度值很小(或者為0),因此,當(dāng)灰度值小于一定值時(shí)(此時(shí)肉眼看不到有熒光),將3個(gè)顏色分量的值都設(shè)為0.由于偽綠圖像的顏色值除了RGB中的G分量外其他都為0,因此,融合算法中灰度值加權(quán)平均的方法簡(jiǎn)化為像素值直接相加,將偽綠直接融合到彩色圖像上.

2 結(jié) 果

本文選用了32組圖像數(shù)據(jù),其中包括預(yù)臨床實(shí)驗(yàn)中對(duì)小鼠、兔子乳腺癌手術(shù)的成像和臨床實(shí)驗(yàn)中對(duì)人體乳腺癌手術(shù)的成像.對(duì)彩色圖像重采樣使運(yùn)算時(shí)間減少到原來的1/16.另外,通過選取興趣點(diǎn)將基點(diǎn)搜索區(qū)域從200×200(原始算法)縮小到100×100,進(jìn)一步減少了計(jì)算量.

2.1 融合效果

圖7(a)、圖8(a)是熒光圖像;圖7(b)、圖8(b)是彩色圖像;圖7(c)、圖8(c)是熒光圖像加偽綠后得到的以偽綠顯示病灶區(qū)域的圖像.圖7、圖8中的(d),(e),(f)分別是采用MAD,MSD,NPROD3種度量方法配準(zhǔn)后對(duì)(a),(b),(c)3幅圖像進(jìn)行融合得到的融合圖像,(g)是原始算法對(duì)(a),(b),(c) 3幅圖像進(jìn)行融合得到的融合圖像,圖中熒光部分顯示了腫瘤的位置、大小等詳細(xì)信息.分別比較圖7、圖8中的(d),(e),(f),(g)可以看出:圖7中,(d),(e)的融合效果相同,都比較好;(f)的融合效果較差;(g)的融合效果最差;圖8中,(e),(f)的融合效果相同,都比(d),(g)的融合效果好,其中(g)的融合效果最差.

圖7 切開前的成像及其融合圖像 圖8 切開后的成像及其融合圖像

表1列出了32組實(shí)驗(yàn)數(shù)據(jù)分別采用3種相似性度量的算法和原始算法得到的配準(zhǔn)時(shí)間和最佳配準(zhǔn)點(diǎn)，其中原始算法在處理第 18 組數(shù)據(jù)時(shí)配準(zhǔn)失敗在32組圖像數(shù)據(jù)的處理結(jié)果中：

表1 采用3種相似性度量的算法與原始算法所用配準(zhǔn)時(shí)間及得到的最佳配準(zhǔn)點(diǎn)

注：表中每組圖像數(shù)據(jù)得到的4對(duì)最佳配準(zhǔn)點(diǎn)根據(jù)融合效果分別用實(shí)下劃線、點(diǎn)式下劃線、波浪線標(biāo)出,融合效果按下劃線的順序依次遞減,未標(biāo)線的點(diǎn)融合效果最差.

1)采用平均絕對(duì)差度量與采用均方差度量相比,有11組融合效果相同或相近,有6組采用平均絕對(duì)差度量的算法融合效果好,有15組采用均方差度量的算法融合效果好;

2)采用均方差度量與采用歸一化積相關(guān)度量相比,有26組融合效果相同或相近,有5組采用均方差度量的算法融合效果好,有1組采用歸一化積相關(guān)度量的算法融合效果好;

3)采用歸一化積相關(guān)度量與原始算法相比,有12組融合效果相同或相近,有20組采用歸一化積相關(guān)度量的算法融合效果好;

4)采用平均絕對(duì)差度量與采用歸一化積相關(guān)度量相比,有9組融合效果相同或相近,有10組采用平均絕對(duì)差度量的算法融合效果好,有13組采用歸一化積相關(guān)度量的算法融合效果好;

5)采用平均絕對(duì)差度量與原始算法相比,有3組融合效果相同或相近,有21組采用平均絕對(duì)差度量的算法融合效果好,有8組原始算法融合效果好;

綜合以上的分析比較可以得出:采用3種相似性度量的算法的融合效果都比原始算法的融合效果好,其中采用均方差度量的算法融合效果最好；采用歸一化積相關(guān)度量的算法融合效果次之；采用平均絕對(duì)差度量的算法融合效果稍差.

2.2 配準(zhǔn)時(shí)間

由表2可知,對(duì)本文中32組圖像數(shù)據(jù)進(jìn)行配準(zhǔn)時(shí),采用平均絕對(duì)差度量、均方差度量、歸一化積相關(guān)度量的算法和原始算法的平均配準(zhǔn)時(shí)間分別為43.200 6，46.685 3，85.978 6 和539.384 s.從圖9中可以非常直觀地看到采用3種相似性度量的算法與原始算法配準(zhǔn)時(shí)間長(zhǎng)短的對(duì)比.從算法的穩(wěn)定性來看,采用平均絕對(duì)差度量的算法最穩(wěn)定；采用均方差度量的算法次之；原始算法的穩(wěn)定性最差.

表2 采用3種相似性度量的算法與原始算法所用配準(zhǔn)時(shí)間的最小值、最大值、平均值以及標(biāo)準(zhǔn)差

便于作圖,圖中數(shù)據(jù)均已標(biāo)準(zhǔn)化

綜合比較表1中3種相似性度量的算法與原始算法的融合效果,以及表2和圖9中對(duì)配準(zhǔn)時(shí)間的統(tǒng)計(jì)分析可以得出,本算法中,采用3種相似性度量的算法的匹配性能均比原始算法的匹配性能好,其中,均方差度量的匹配性能最好,平均絕對(duì)差次之,歸一化積相關(guān)度量稍差.

3 討論分析

本文對(duì)中國科學(xué)院分子影像重點(diǎn)實(shí)驗(yàn)室研制的光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)中的圖像融合算法進(jìn)行了改進(jìn)和研究,在提高算法運(yùn)行效率、縮短圖像融合時(shí)間的同時(shí)提高了圖像的融合效果.配準(zhǔn)技術(shù)僅利用圖像的熒光信息及病人體表信息,就可以快速完成圖像的配準(zhǔn)融合過程.算法的平均配準(zhǔn)時(shí)間從原始算法的539.384 s縮短到最短43.183 6 s,并且采用3種相似性度量的算法融合效果均比原始算法好.平均絕對(duì)差、均方差、歸一化積和相關(guān)系數(shù)(原始算法)的時(shí)間復(fù)雜度均為O(m×n),其中TMAD=3m×n,TMSD=3m×n,TNPROD=6m×n,TCC=10m×n.計(jì)算平均絕對(duì)差只有加減運(yùn)算,計(jì)算均方差有乘法運(yùn)算,采用均方差度量的算法比采用平均絕對(duì)差的算法配準(zhǔn)時(shí)間稍長(zhǎng).采用歸一化積相關(guān)度量的算法配準(zhǔn)時(shí)間是采用平均絕對(duì)差度量算法的2倍左右.本文在改進(jìn)原始算法時(shí)利用圖像的梯度信息將配準(zhǔn)點(diǎn)的搜索范圍從原始算法200×200縮小到100×100的區(qū)域中.因此,采用3種相似性度量的算法比原始算法采用相關(guān)系數(shù)度量時(shí)配準(zhǔn)時(shí)間大幅縮減.另外,本文在縮短算法運(yùn)行時(shí)間的同時(shí),還提高了圖像配準(zhǔn)的精度和圖像融合的效果.平均絕對(duì)差和均方差屬于距離度量,歸一化積相關(guān)和原始算法中的相關(guān)系數(shù)屬于相關(guān)度量,特別是相關(guān)系數(shù)是度量2幅圖像間的線性相關(guān)程度,而本文中分子影像手術(shù)導(dǎo)航系統(tǒng)采集的熒光圖像和彩色圖像的灰度相關(guān)性很小.因此，歸一化積相關(guān)和相關(guān)系數(shù)在配準(zhǔn)本文中的圖像時(shí)匹配性能不好.本文還通過域法修正避免了因興趣點(diǎn)偏離熒光圖像中心太遠(yuǎn)而導(dǎo)致的配準(zhǔn)失敗.該算法在運(yùn)行效率上還有進(jìn)一步改進(jìn)的可能,希望在未來的研究中有更大的突破.

4 結(jié) 論

針對(duì)術(shù)中腫瘤的精確定位這一國際上的研究熱點(diǎn)及挑戰(zhàn)性問題,本文對(duì)中國科學(xué)院分子影像重點(diǎn)實(shí)驗(yàn)室研制的光學(xué)分子影像手術(shù)導(dǎo)航系統(tǒng)中的圖像融合算法進(jìn)行了研究,該算法在圖像配準(zhǔn)的精度和運(yùn)行時(shí)間以及圖像融合的效果方面都得到了較好的結(jié)果.通過圖像配準(zhǔn)的時(shí)間和圖像融合的效果,對(duì)分別采用平均絕對(duì)差、均方差和歸一化積相關(guān)3種相似性度量的算法與原始算法的匹配性能進(jìn)行比較得出,采用3種相似性度量的算法的匹配性能均比原始算法的匹配性能好,其中,采用均方差度量的算法匹配性能最好.

[1]赫捷,陳萬青.2012中國腫瘤登記年[M].北京:軍事醫(yī)學(xué)科學(xué)出版社,2012.

[2]王志剛.導(dǎo)航術(shù)中手術(shù)器械的光學(xué)跟蹤技術(shù)研究[D].廣州：華南理工大學(xué)生物科學(xué)與工程學(xué)院,2012.

[3]石立興,張繼武.光學(xué)分子影像學(xué)及其應(yīng)用[J].中國醫(yī)學(xué)影像技術(shù),2008,24(12):2024-2026.

[4]李偉.像素級(jí)圖像融合方法及應(yīng)用研究[D].廣州:華南理工大學(xué)自動(dòng)化科學(xué)與工程學(xué)院,2006.

[5]Zitova B,Flusser J.Image registration methods:A survey[J].Image and Vision Computing,2003,21(11):977-1000.

[6]廉藺,李國輝,張軍,等.基于邊緣最優(yōu)映射的紅外和可見光圖像自動(dòng)配準(zhǔn)算法[J].自動(dòng)化學(xué)報(bào),2012,38(4):570-581.

[7]Giachetti A.Matching techniques to compute image motion[J].Image and Vision Computing,2000,18(3):247-260.

[8]李慶鵬.多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)及基于小波變換的圖像融合算法的研究[D].武漢：華中科技大學(xué)生命科學(xué)與技術(shù)學(xué)院,2007.

[9]Stokking R,Zubal I G,Viergever M A.Display of fused images:Methods,interpretation,and diagnostic improvements[J].Seminars in Nuclear Medicine,2003,33(3):219-227.

[10]李添捷.生物醫(yī)學(xué)圖像融合顯示方法的研究[D].上海:復(fù)旦大學(xué)信息科學(xué)與工程學(xué)院,2012.

[11]胡鋼,劉哲,徐小平,等.像素級(jí)圖像融合技術(shù)的研究與進(jìn)展[J].計(jì)算機(jī)應(yīng)用研究,2008,25(3):650-655.

[12]李全越,王芳.偽彩色處理在醫(yī)學(xué)圖像中的應(yīng)用[J].微計(jì)算機(jī)信息,2008,24(3):299-300.