馬超 劉亞淑 駱功寧 王寬全

精確分割磁共振(Magnetic resonance,MR)圖像中的組織結(jié)構(gòu)并進(jìn)行后續(xù)的量化分析,能夠有效揭示疾病的病理生理學(xué)特征及其對特定解剖結(jié)構(gòu)的影響,在臨床診斷、治療方案規(guī)劃以及組織生物物理模型構(gòu)建等方面發(fā)揮著重要作用[1?2].然而,在多模態(tài)復(fù)雜條件磁共振圖像體數(shù)據(jù)中實現(xiàn)對組織結(jié)構(gòu)可重復(fù)的精確分割仍然是一項極具挑戰(zhàn)的任務(wù).首先,由于受射頻場不均勻性、不同軟組織之間的差異性和部分容積效應(yīng)等影響,磁共振圖像質(zhì)量退化嚴(yán)重,表現(xiàn)為圖像灰度的不均勻性和不同組織間信號的混疊[3],增加了磁共振圖像精細(xì)結(jié)構(gòu)分割的難度[4].另外,圖像的低對比度、軟組織的弱邊緣和復(fù)雜形狀結(jié)構(gòu),也給分割帶來了困難[5].

近十年來,大量磁共振圖像自動化分割方法被提出,其中,基于隨機(jī)森林(Random forest,RF)的方法和基于活動輪廓模型(Actives contour model,ACM)的方法是較為成功的兩類方法[6?7].

隨機(jī)森林適合于處理大量的具有高維特征的多類別數(shù)據(jù),在許多醫(yī)學(xué)圖像分割任務(wù)中被證明具有較高的精確性和魯棒性[8?9],近年獲得了持續(xù)增加的關(guān)注[4,10?11].例如,Schneider等提出一種血管三維分割與中心線提取框架[12],該框架在不同尺度與方向上提取圖像局部特征,并分別利用傾斜隨機(jī)森林與多元霍夫投票實現(xiàn)血管的三維分割與中心線估計.Nicholas等利用多模態(tài)灰度、幾何以及不對稱特征驅(qū)動兩級隨機(jī)森林,實現(xiàn)了完整腦部以及腦腫瘤的分割[10].Chao等提出一種兩階段分割模型[13],該模型利用泛化的霍夫變換與三維活動形狀模型進(jìn)行腎皮質(zhì)定位,進(jìn)而利用改進(jìn)的隨機(jī)森林方法,實現(xiàn)了腹部三維CT圖像中腎臟多個組織結(jié)構(gòu)的全自動分割.近年由于受到深度學(xué)習(xí)在自然場景圖像分割中良好效果的啟發(fā)[14],一些研究者提出了隨機(jī)森林的級聯(lián)架構(gòu)[6,15],以實現(xiàn)有限的醫(yī)學(xué)圖像訓(xùn)練樣本上具有良好性能分割模型的學(xué)習(xí).盡管基于隨機(jī)森林的方法能夠獲得良好的分割效果,但由于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量所引起的過擬合問題依然存在[11],并且典型的隨機(jī)森林的分割結(jié)果并不具有幾何約束[15].

活動輪廓模型一般利用圖像的邊緣或區(qū)域信息驅(qū)動活動輪廓向目標(biāo)邊緣演化并收斂[16],在醫(yī)學(xué)圖像分割領(lǐng)域具有廣泛的應(yīng)用.例如,Avendi等[17]與Ngo等[18]將深度學(xué)習(xí)與活動輪廓模型整合,實現(xiàn)短軸心臟磁共振圖像中左心室的自動分割.Hoogi等[19]提出了一種自適應(yīng)局部窗方法,提升了活動輪廓模型在CT與磁共振圖像上對肝損傷的分割效果.Wang等[20]利用基于配準(zhǔn)的測地線活動輪廓模型,實現(xiàn)了腹主動脈瘤內(nèi)腔與外壁的分割.孫文燕等[21]將模糊聚類與活動輪廓模型結(jié)合,提高了局部分割方法對初始輪廓的魯棒性.然而,大多數(shù)典型的基于活動輪廓模型的方法都不是完全自動化的分割方法,其分割流程與分割結(jié)果都依賴特定的輪廓初始化,并且對于具有灰度非均勻和低組織對比度等復(fù)雜條件的圖像,較難獲得滿意的分割結(jié)果[22].

為解決上述問題,本文在相關(guān)工作[5?6,15]基礎(chǔ)上,提出一種新的整合了級聯(lián)隨機(jī)森林(Concatenated random forests,cRFs)與活動輪廓模型的醫(yī)學(xué)磁共振圖像體數(shù)據(jù)三維分割方法.該方法從多模態(tài)磁共振圖像體數(shù)據(jù)中提取多尺度局部魯棒統(tǒng)計特征,并利用具有級聯(lián)架構(gòu)的隨機(jī)森林迭代的對訓(xùn)練樣本進(jìn)行學(xué)習(xí)得到組織分類器序列;在迭代過程中,每個層級產(chǎn)生的組織概率圖作為擴(kuò)展的圖像源被輸入到下一層級的分類器訓(xùn)練中.利用訓(xùn)練好的級聯(lián)分類器可實現(xiàn)對測試樣本的初步分割,該分割結(jié)果進(jìn)一步作為初始輪廓和形狀先驗被整合進(jìn)一個尺度可調(diào)的活動輪廓模型,以完成最終的分割.與以往基于隨機(jī)森林的分割方法相比,本文方法能夠有效地在多尺度、多層級上整合多模態(tài)圖像信息,并且將隨機(jī)森林的體素分類任務(wù)轉(zhuǎn)化為輪廓曲線演化,對于組織結(jié)構(gòu)的精確、光滑的分割具有重要意義.此外,與以往基于活動輪廓模型的方法相比,本文方法可實現(xiàn)自動化的分割,并且對于復(fù)雜條件磁共振圖像具有更好的魯棒性.

與本文相似的工作是文獻(xiàn)[6,15?16].本文方法與文獻(xiàn)[16]中方法均使用了局部高斯分布構(gòu)建了活動輪廓模型的能量泛函,主要區(qū)別在于本文方法是在多模式成像條件下構(gòu)建能量泛函并整合了形狀約束項,這對于在單一成像模式下呈現(xiàn)相似灰度的組織結(jié)構(gòu)的分割具有重要意義;同時本文方法是一種自動化的分割方法,而文獻(xiàn)[16]方法需要手工設(shè)定初始輪廓.本文方法與文獻(xiàn)[6]中方法以及文獻(xiàn)[15]中的LINKS方法均使用隨機(jī)森林實現(xiàn)了在深度學(xué)習(xí)中常見的級聯(lián)架構(gòu),以迭代對分割結(jié)果進(jìn)行精煉.而本文方法與LINKS方法使用了不同的特征提取方式;為避免過擬合問題,LINKS方法利用了隨機(jī)選擇樣本與特征的常規(guī)的隨機(jī)性策略,而本文進(jìn)一步提出了一種級聯(lián)隨機(jī)森林訓(xùn)練的Dropout策略,以提升模型在小規(guī)模且類別分布非均衡訓(xùn)練樣本(如腦腫瘤數(shù)據(jù),其98% 為健康組織體素)上的泛化能力;本文將體素分類與活動輪廓演化進(jìn)行了整合.相比于文獻(xiàn)[6]中單一成像模式下的兩相分割方法,本文方法為多成像模式下的多相分割方法,并且有著不同的輸入數(shù)據(jù)處理方式、訓(xùn)練策略以及先驗信息整合方式.

本文剩余部分內(nèi)容安排如下:第1節(jié)詳細(xì)介紹了本文提出的基于級聯(lián)隨機(jī)森林與活動輪廓模型的磁共振圖像三維分割方法;第2節(jié)說明了算法實現(xiàn)過程和實驗結(jié)果;第3節(jié)對實驗結(jié)果進(jìn)行了討論;第4節(jié)對本文工作進(jìn)行了總結(jié).

1 本文方法

圖1為以腦腫瘤磁共振圖像的三維分割為例說明本文方法的流程,這里將磁共振體數(shù)據(jù)的分割問題轉(zhuǎn)化為組織體素分類和組織輪廓曲線演化的整合問題.具體的,當(dāng)有磁共振體數(shù)據(jù)輸入時,分割算法分三個階段來實施:

1)從多模態(tài)磁共振體數(shù)據(jù)中提取隨機(jī)的魯棒統(tǒng)計特征以獲取圖像局部與環(huán)境信息,這些圖像特征作為輸入項用以驅(qū)動后續(xù)分割階段.

2)利用級聯(lián)隨機(jī)森林對組織結(jié)構(gòu)進(jìn)行初步分割,即在級聯(lián)框架內(nèi)將隨機(jī)森林用作級聯(lián)分類器,以體素分類的方式產(chǎn)生組織結(jié)構(gòu)的組織概率圖序列.將磁共振體數(shù)據(jù)內(nèi)的每一個體素標(biāo)識為具有最大概率的組織類別,由此獲得組織結(jié)構(gòu)的初步分割.

3)為精煉初步分割結(jié)果,體素分類被進(jìn)一步整合進(jìn)輪廓曲線演化方案中.通過驅(qū)動活動輪廓演化,并在理想的組織結(jié)構(gòu)輪廓處收斂,從而獲得最終的分割結(jié)果.

圖1 分割框架流程圖Fig.1 Flowchart of the proposed segmentation framework

分別對體素分類和輪廓曲線演化階段進(jìn)行離線訓(xùn)練后,該分割框架即可部署用于自動的組織結(jié)構(gòu)分割任務(wù).下面詳細(xì)說明分割框架的三個階段.

1.1 隨機(jī)魯棒統(tǒng)計特征

設(shè)I:?→R 為待分割圖像體數(shù)據(jù),其中,?∈R3為圖像域.設(shè)B(x)??為以體素x為中心的鄰域區(qū)域,Rcentric∈B(x)為中心體素x的尺度可調(diào)的局部區(qū)域,Rrandom∈B(x)為x鄰域內(nèi)隨機(jī)位置與尺度的局部區(qū)域.

在對中心體素x的鄰域區(qū)域B(x)進(jìn)行正則化處理后[23],利用高斯核函數(shù)Kσ(u)控制局部區(qū)域尺度和區(qū)域內(nèi)權(quán)重,可計算關(guān)于x的局部魯棒統(tǒng)計特征量如下:

其中,Ψ(x)為局部加權(quán)灰度均值;Q(x)為局部四分位差,即局部區(qū)域體素灰度值的上四分位數(shù)(Q3)與下四分位數(shù)(Q1)的差值;γ(x)為局部加權(quán)灰度標(biāo)準(zhǔn)差.

由此,定義局部與環(huán)境魯棒統(tǒng)計特征向量分別為:

則完整隨機(jī)魯棒統(tǒng)計特征向量為:其中,參數(shù)b∈{0,1}表明特征向量輸入體素分類階段還是輪廓演化階段,分別如圖2(a)和(b)所示.理論上,對于體數(shù)據(jù)中的某一體素,通過改變局部區(qū)域的位置和尺度,可以提取任意數(shù)量的隨機(jī)特征.在當(dāng)前工作中,局部區(qū)域最大尺度限定為5×5×5,搜索鄰域限定為31×31×31.

圖2 隨機(jī)魯棒統(tǒng)計特征學(xué)習(xí)方案二維示意圖Fig.2 A two-dimensional illustration of the random robust statistics features learning scheme

1.2 級聯(lián)架構(gòu)下的體素分類

本文利用隨機(jī)森林在級聯(lián)架構(gòu)下確定體素x∈?所屬的類別c∈C,以實現(xiàn)對組織結(jié)構(gòu)的分割.圖3是所提出級聯(lián)體素分類框架的流程圖.以體數(shù)據(jù)的隨機(jī)魯棒統(tǒng)計特征f(x,I)為輸入,級聯(lián)分類器將在每一層級輸出組織概率圖FM,由某一層級輸出的組織概率圖提取的隨機(jī)魯棒統(tǒng)計特征f(x,FM)將作為增廣特征與原始輸入特征一同輸入到下一層級,由此實現(xiàn)圖像信息的迭代的融合和精煉.級聯(lián)架構(gòu)下的信息迭代融合,通過向后續(xù)迭代分類器引入具有空間約束和較好初始化的特征,提升了體素分類的精度.

在級聯(lián)架構(gòu)中分類器的選擇可以很靈活,本文選擇隨機(jī)森林作為分類器,因其能夠高效地處理從體數(shù)據(jù)中提取的大量、高維度的圖像特征.隨機(jī)森林由眾多分類/回歸樹組成,作為一項有監(jiān)督學(xué)習(xí)技術(shù),通?？煞钟?xùn)練和測試兩個階段對其進(jìn)行操作,下一節(jié)將詳細(xì)說明面向組織結(jié)構(gòu)分割的隨機(jī)森林的訓(xùn)練與標(biāo)識過程.

圖3 級聯(lián)架構(gòu)下的體素分類流程圖Fig.3 Overview of the voxel-wise classi fication within the proposed concatenated scheme

1.3 隨機(jī)森林訓(xùn)練與標(biāo)識

在級聯(lián)隨機(jī)森林第一個層級的訓(xùn)練中,每棵決策樹t將只利用由原始圖像I獲取的隨機(jī)魯棒統(tǒng)計特征f(x,I)作為輸入,通過學(xué)習(xí)得到一個弱分類器pt(c|f(x,I)).學(xué)習(xí)過程為利用訓(xùn)練樣本的高維特征迭代的在每一個樹節(jié)點對訓(xùn)練體素進(jìn)行分類.為避免過擬合并提升模型的泛化能力,除在訓(xùn)練中實施隨機(jī)森林常規(guī)的隨機(jī)性策略外[15],本文還引入一種原本用于卷積神經(jīng)網(wǎng)絡(luò)的Dropout策略[24].具體為,當(dāng)對該層級隨機(jī)森林訓(xùn)練完成后,將某一訓(xùn)練圖像的全部體數(shù)據(jù)輸入該森林用以輸出下一個層級所需要的組織概率圖,此時,按照某一概率(例如:0.5)獨(dú)立地從森林中移除一些樹.由此,削弱了相鄰層級分類器之間的依賴,增強(qiáng)了每一層級的獨(dú)立分類能力.

在級聯(lián)隨機(jī)森林后續(xù)層級的訓(xùn)練中,從原始圖像I以及上一層級組織概率圖FM中獲取的隨機(jī)魯棒統(tǒng)計特征f(x,I,FM)被用來訓(xùn)練分類器pt(c|f(x,I,FM)),其訓(xùn)練過程與第一個層級一致.

在標(biāo)識階段,利用訓(xùn)練好的級聯(lián)隨機(jī)森林對目標(biāo)圖像I的每一體素x進(jìn)行標(biāo)識.具體為,將體素x的高維特征輸入級聯(lián)隨機(jī)森林,在級聯(lián)架構(gòu)的某一層級每一棵樹將產(chǎn)生體素x屬于類別c的一個估計pt(c|f(x,I,FM)).則體素x在該層級的類別估計可計算為層級內(nèi)全部nt棵樹所做估計的平均,即

體素x最終標(biāo)識為在最終層級具有最大概率值的類別估計,即pcRFs(c|f(x,I,FM))=maxcp(c|f(x,I,FM)),由此實現(xiàn)對目標(biāo)圖像I的初步分割.

1.4 體素分類與輪廓演化的整合

級聯(lián)隨機(jī)森林是對每一個體素獨(dú)立的進(jìn)行分類,并未考慮體素之間的關(guān)聯(lián)性,因此其分割結(jié)果不是具有幾何約束的,如分割結(jié)果中存在的散點和空洞.而活動輪廓模型可以通過衡量局部區(qū)域體素間的相似性構(gòu)建能量泛函,并通過最小化能量泛函驅(qū)動活動輪廓演化,從而獲得閉合的目標(biāo)輪廓.但是,標(biāo)準(zhǔn)的活動輪廓模型對于存在灰度非均勻和信號混疊等復(fù)雜條件的磁共振圖像分割效果不夠理想,并且由于需要手工設(shè)定初始輪廓,導(dǎo)致其無法實現(xiàn)自動化的目標(biāo)分割.為此,本文將級聯(lián)隨機(jī)森林的體素分類與活動輪廓模型驅(qū)動的活動輪廓演化進(jìn)行整合.通過活動輪廓演化對體素分類結(jié)果進(jìn)行精煉;另一方面,級聯(lián)隨機(jī)森林的體素分類結(jié)果則為活動輪廓模型提供了初始輪廓和形狀先驗,使其能夠自動地分割具有復(fù)雜成像條件的磁共振圖像.具體整合過程如下文所述.

設(shè)圖像體數(shù)據(jù)為?,輪廓曲線/曲面C將體數(shù)據(jù)分割成N個互不相交的子區(qū)域.由此,每一體素x可以通過整合x鄰域內(nèi)多模態(tài)概率分布函數(shù)(Probability distribution function,PDF)[5]與級聯(lián)隨機(jī)森林輸出的空間先驗信息進(jìn)行描述.則體素x屬于第i個組織類別可描述為:其中,M為圖像模態(tài)的數(shù)量,高斯核函數(shù)Kη通過尺度參數(shù)η控制體素x的鄰域的范圍和權(quán)重,概率密度函數(shù)p中的參數(shù)μj,i對第j個圖像模式下局部區(qū)域?i的圖像特征進(jìn)行估計,fj(y)為從第j個圖像模式獲取的體素y的局部魯棒統(tǒng)計特征向量.值得注意的是,文獻(xiàn)[6]中面向兩相分割的先驗信息整合方式此處并不適用,因為多相目標(biāo)的輪廓描述與距離度量將導(dǎo)致后續(xù)能量泛函的復(fù)雜的水平集表示形式.

由此,對于給定的體素x∈?,其擬合能量可定義為:

最終的能量泛函定義為:

基于Heaviside函數(shù)H(·)可構(gòu)造多相水平集函數(shù)以表示圖像的多個分區(qū).設(shè)為水平集函數(shù)集合,水平集函數(shù)數(shù)量L由待分割目標(biāo)類別數(shù)量決定,利用水平集函數(shù)的組合M(Φ)即可實現(xiàn)對圖像不同分區(qū)的描述[25].則式(7)中的能量泛函可由水平集函數(shù)集合Φ描述為:

2 實驗結(jié)果

圖4 級聯(lián)隨機(jī)森林對多個目標(biāo)圖像在不同層級做出的組織概率圖的估計Fig.4 The tissue probability maps estimated from different levels of the concatenated random forests for several target subjects

我們利用公開的磁共振圖像體數(shù)據(jù)集[4,27?28]對所提出模型進(jìn)行了驗證,其中左心房數(shù)據(jù)[28]為1.5T場強(qiáng)掃描儀獲取的bSSFP模式的磁共振圖像體數(shù)據(jù),分辨率為1.25mm×1.25mm×2.7mm;腦腫瘤數(shù)據(jù)[4]為1.5T與3T場強(qiáng)掃描儀獲取的 T1、T1c、T2和FLAIR 模式的磁共振圖像體數(shù)據(jù),分辨率為1mm×1mm×1mm;尾狀核數(shù)據(jù)[27]為1.5T場強(qiáng)掃描儀獲取的IRSPGR模式的磁共振圖像體數(shù)據(jù),分辨率為0.9375mm×0.9375mm×1.5mm.這里僅進(jìn)行了最低限度的數(shù)據(jù)預(yù)處理,即將每種成像模式下每個體數(shù)據(jù)內(nèi)的體素的灰度值規(guī)范化為0～255.實驗環(huán)境為Inte(R)Core(TM)3.4GHz CPU,48GB RAM,Visual studio community 2015.除個別圖像外,實驗中級聯(lián)隨機(jī)森林包含5個層級,每個層級訓(xùn)練60個分類決策樹,最大樹深度為50,葉節(jié)點最小允許樣本數(shù)為8.決策樹訓(xùn)練過程中,每個節(jié)點考慮10000個隨機(jī)采樣的特征及其20個隨機(jī)分布的閾值以確定該節(jié)點分裂函數(shù).在目標(biāo)輪廓精煉階段,活動輪廓模型按文獻(xiàn)[5,29]所述方法進(jìn)行設(shè)置以獲得最優(yōu)分割結(jié)果.我們將從定性和定量結(jié)果兩方面呈現(xiàn)本文方法的分割效果,并在第3節(jié)對隨機(jī)森林的級聯(lián)架構(gòu)、參數(shù)設(shè)置以及模型的不同組成部分對分割結(jié)果的影響等方面進(jìn)行討論,并將本文方法與相關(guān)方法在復(fù)雜條件圖像上的分割精度和魯棒性等方面進(jìn)行比較分析.

2.1 定性結(jié)果

圖4是具有級聯(lián)架構(gòu)的隨機(jī)森林在不同層級上對多個測試樣本的分割結(jié)果.圖4中第1～3列分別是尾狀核、左心房和腦腫瘤的磁共振圖像體數(shù)據(jù).圖4(a)和(b)分別為原始目標(biāo)圖像體數(shù)據(jù)的一個切片圖像及其分割金標(biāo)準(zhǔn).圖4(c)～(f)分別對應(yīng)級聯(lián)隨機(jī)森林在第1、2、3、5層級輸出的三維組織概率圖的一個切片圖像.為表述清晰,我們只用綠色突出強(qiáng)調(diào)了組織概率圖中概率值大于0.6的體素.

為更好理解所提出的分割框架中不同階段對分割結(jié)果的影響,圖5(a)～(c)分別呈現(xiàn)了分割框架中沒有輪廓精煉的級聯(lián)隨機(jī)森林(第二階段)、沒有形狀約束的活動輪廓模型以及整合了級聯(lián)隨機(jī)森林和活動輪廓模型(最終階段)的對比分割結(jié)果,圖5(d)為分割金標(biāo)準(zhǔn).圖5中第1～4行分別對應(yīng)腦腫瘤完整結(jié)構(gòu)、尾狀核、左心房和腦腫瘤子結(jié)構(gòu)—水腫的三維分割結(jié)果.

圖6進(jìn)一步清晰展示了所提出方法對復(fù)雜條件圖像進(jìn)行三維分割的精確性和魯棒性.圖6(a)～(c)分別是左心房、腦腫瘤子結(jié)構(gòu)—水腫和腦腫瘤子結(jié)構(gòu)—腫瘤核的分割結(jié)果在心臟磁共振圖像軸向、腦磁共振圖像冠向和軸向上的多個切片圖像.輪廓線的不同顏色—藍(lán)色、紅色和綠色分別對應(yīng)所提出算法的分割結(jié)果、分割金標(biāo)準(zhǔn)和算法分割結(jié)果與金標(biāo)準(zhǔn)相符合部分.

2.2 定量結(jié)果

圖7是在左心房與腦腫瘤體數(shù)據(jù)集上,利用DC(Dice coefficient)系數(shù)作為評價指標(biāo),對不同參數(shù)影響下級聯(lián)隨機(jī)森林分割效果的定量評價.圖中DC系數(shù)值為各自體數(shù)據(jù)集訓(xùn)練集上的十折交叉驗證結(jié)果的平均值.此實驗僅考慮影響的趨勢,因此當(dāng)調(diào)整某一個參數(shù)時,其他參數(shù)被設(shè)置為某一固定值而不是為獲得最優(yōu)分割效果進(jìn)行取值.圖7(a)～(d)分別為每層級決策樹數(shù)量、最大樹深度、每個葉節(jié)點最小樣本數(shù)以及級聯(lián)架構(gòu)層級數(shù)目對分割結(jié)果的影響.

圖5 分割框架不同階段的分割結(jié)果對比Fig.5 Comparison of different components in the proposed segmentation framework

表1是利用平均DC值在具有復(fù)雜成像結(jié)果的左心房數(shù)據(jù)集上,對不同分割方法的兩相分割結(jié)果進(jìn)行的對比定量評價.對比方法包括標(biāo)準(zhǔn)的基于活動輪廓(ACM)[26,30]和隨機(jī)森林(RF)[9,31]的方法,競爭輪廓方法(Competitive contours)[32],多尺度塊多模式圖譜方法(M3AS)[33],以及文獻(xiàn)[6]中提出的基于級聯(lián)隨機(jī)森林(Combined random forest,CRF)和整合隨機(jī)森林與活動輪廓(CRF-AC)的兩種分割方法.此外,Proposed1和Proposed2分別表示所提出分割框架中未包含輪廓精煉的第二階段方法和包含輪廓精煉的最終階段方法.表1中結(jié)果除M3AS方法使用了獨(dú)立獲取的數(shù)據(jù)集外,其余方法皆為各自文獻(xiàn)在相同的公開數(shù)據(jù)集上報告的結(jié)果.另外,在Surface-to-Surface這一指標(biāo)上Proposed2的值為0.64±0.39mm,是目前在該左心房數(shù)據(jù)上獲得的最優(yōu)分割結(jié)果.

圖6 低質(zhì)量磁共振圖像體數(shù)據(jù)三維分割結(jié)果在不同視角下的多個切片圖像Fig.6 Multiple slices of the 3D segmentation results for low quality volumetric MR images in different views

圖7 級聯(lián)隨機(jī)森林不同參數(shù)對分割結(jié)果的影響Fig.7 Impact of different parameters in the concatenated random forests

為進(jìn)一步驗證所提出方法在多模式磁共振體數(shù)據(jù)上的多相分割效果,表2顯示了不同分割方法在BRATS15腦腫瘤體數(shù)據(jù)測試集上的在線評價結(jié)果,量化評價指標(biāo)為DC、PPV(Positive predictive value)和Sensitivity.對比方法為4種基于深度學(xué)習(xí)的方法,分別是FCNNs-CRFs[34]、INPUTCASCADECNN[35]、CNNS[36]和DeepMedic[3].表2中INPUTCASCADECNN,利用了BRATS13測試集,CNNs利用了BRATS15初始的包含53個數(shù)據(jù)的測試集,這兩個數(shù)據(jù)集都包含在當(dāng)前的BRATS15測試集中.FCNNs-CRFs、DeepMedic以及本文提出的Proposed2方法皆在包含110個數(shù)據(jù)的BRATS15測試集上進(jìn)行了評測.

表1 不同分割方法在左心房數(shù)據(jù)集上的DC系數(shù)對比Table 1 Dice coefficients(DC)of different methods on the left atrial dataset

表2 不同方法在BRATS15測試集上的對比Table 2 Comparison of different methods on the BRATS15 test set

3 討論

3.1 隨機(jī)森林級聯(lián)架構(gòu)對分割結(jié)果的影響

如圖4所示,在級聯(lián)架構(gòu)下,估計出的組織概率圖隨著層級的增加其精度和清晰度也隨之增加.產(chǎn)生這一現(xiàn)象的原因為在初始層級只有圖像原始特征用于估計組織概率圖,導(dǎo)致許多虛假目標(biāo)邊緣,并且對真實目標(biāo)的體素標(biāo)注也不完全(圖4(c)).而在后續(xù)的層級中,級聯(lián)架構(gòu)迭代的將前一層級輸出的組織概率圖與圖像原始特征進(jìn)行整合,以此實現(xiàn)對目標(biāo)組織結(jié)構(gòu)的不斷精煉(圖4(d)～(f)).在每一層級,每一棵獨(dú)立的決策樹以組織概率圖的形式產(chǎn)生對目標(biāo)的一個弱分類結(jié)果,利用式(4)對層級內(nèi)全部決策樹的分類結(jié)果進(jìn)行融合,則一些決策樹產(chǎn)生的錯誤邊緣(即組織概率圖中具有錯誤高概率值估計的體素)將由其他決策樹產(chǎn)生的組織概率圖加以修正.隨著層級的增加,輸入特征不斷得到精煉,決策樹分類能力得到持續(xù)提升,可以看到,第5層級輸出的對目標(biāo)組織結(jié)構(gòu)邊緣的估計(圖4(f)),已經(jīng)較好地接近分割金標(biāo)準(zhǔn)(圖4(b)).

3.2 級聯(lián)隨機(jī)森林與活動輪廓模型對分割結(jié)果的影響

如圖5所示,對于完整腦腫瘤以及尾狀核兩種組織結(jié)構(gòu),未進(jìn)行輪廓精煉的級聯(lián)隨機(jī)森林(圖5(a))、未整合形狀先驗的活動輪廓模型(圖5(b))以及整合了級聯(lián)隨機(jī)森林與活動輪廓的分割方法(圖5(c)),參照于分割金標(biāo)準(zhǔn)(圖5(d)),都取得了較好的分割效果.盡管由于級聯(lián)隨機(jī)森林的體素分類方案是對每一體素獨(dú)立的進(jìn)行標(biāo)識,并且沒有進(jìn)行進(jìn)一步的活動輪廓的精煉,導(dǎo)致其對尾狀核的分割結(jié)果存在較多散點和空洞,但目標(biāo)輪廓仍然較好的符合分割金標(biāo)準(zhǔn),并且這些散點和空洞可以在分割結(jié)果精煉階段,通過活動輪廓的演化進(jìn)行填充.

然而,對于左心房和腦腫瘤子結(jié)構(gòu)—水腫來說,盡管活動輪廓模型的初始種子點以及活動輪廓曲線演化次數(shù)已經(jīng)被精細(xì)地控制,但由于目標(biāo)組織結(jié)構(gòu)與周圍組織結(jié)構(gòu)的灰度存在混疊,導(dǎo)致其分割結(jié)果泄漏問題較為嚴(yán)重(圖5(b)).相比于活動輪廓模型,級聯(lián)隨機(jī)森林得益于級聯(lián)的學(xué)習(xí)與測試方案,分割結(jié)果的泄漏問題得到較好的控制,對這兩種組織結(jié)構(gòu)的分割效果較好,但分割結(jié)果中組織結(jié)構(gòu)內(nèi)部的空洞問題進(jìn)一步劣化(圖5(a)).

最后,整合了級聯(lián)隨機(jī)森林與活動輪廓的分割方法對于全部的組織結(jié)構(gòu)均取得了更為精確和具有幾何約束的分割結(jié)果(圖5(c)).該分割框架中的形狀先驗約束項(式(5))有效控制了活動輪廓向相鄰組織結(jié)構(gòu)的泄漏,同時,活動輪廓的演化填充了級聯(lián)隨機(jī)森林分割結(jié)果的空洞,并對細(xì)節(jié)進(jìn)一步做了精煉.

3.3 對復(fù)雜條件圖像的分割結(jié)果

如圖6所示,盡管由于較低的空間分辨率和較強(qiáng)的灰度不均勻,分割這些低成像質(zhì)量的磁共振圖像十分困難,本文方法的分割結(jié)果仍然與分割金標(biāo)準(zhǔn)契合良好,驗證了本文方法對于復(fù)雜條件磁共振體數(shù)據(jù)的分割魯棒性.

3.4 模型參數(shù)對分割結(jié)果的影響

圖7呈現(xiàn)了不同參數(shù)對分割精度的影響.如圖7(a)所示,從使用1棵決策樹到使用2棵決策樹有著明顯的精度提升,DC值從0.67±0.07提升到0.74±0.06.隨著決策樹數(shù)量的增加精度持續(xù)提升,直至趨于穩(wěn)定.對這一現(xiàn)象的一個合理解釋是多棵決策樹的融合修正了部分決策樹的錯誤分類,而訓(xùn)練樣本的數(shù)量決定了隨機(jī)森林所能夠達(dá)到的最大精度,以及達(dá)到這一精度時所需的決策樹數(shù)量.如圖7(b)所示,分割精度從樹深度5～30逐漸提升.為使樹深度能夠適應(yīng)訓(xùn)練樣本規(guī)模以及樹中每個葉節(jié)點的最小樣本數(shù)量,本文中將最大樹深度設(shè)定為50.減小葉節(jié)點最小樣本數(shù)量(圖7(c))能夠提升分割精度,而該參數(shù)過小的取值容易引起模型過擬合.如圖7(d)所示,由于迭代的利用組織概率圖進(jìn)行體素分類,隨著級聯(lián)架構(gòu)層級數(shù)量的增加,分割精度持續(xù)提升并在一定層級數(shù)量后趨于穩(wěn)定,尤其是從第1層級到第2層級,此時組織概率圖被初次使用,作為增廣圖像輸入到第2層級,導(dǎo)致分割精度提升明顯.以上實驗結(jié)果進(jìn)一步證明了級聯(lián)分類架構(gòu)對于實現(xiàn)目標(biāo)分割的有效性.

3.5 分割效果對比分析

如表1所示,即使沒有進(jìn)行最終的輪廓精煉,所提出的方法(Proposed1)仍然取得了較高的分割精度,在左心房體數(shù)據(jù)訓(xùn)練集與測試集上的分割結(jié)果的DC值分別為0.78±0.06與0.74±0.07.Proposed1方法較低的DC值主要由所分割出目標(biāo)內(nèi)部的空洞引起,如圖4和圖5所示,即便如此,分割出的目標(biāo)外邊緣依然保持了與分割金標(biāo)準(zhǔn)較高的契合度.由此,Proposed1方法的分割結(jié)果能夠為后續(xù)的曲線演化提供較好的初始輪廓,Proposed2方法因此獲得了良好的分割精度,訓(xùn)練集與測試集上的DC值分別達(dá)到0.94±0.04與0.90±0.03.而ACM和RF等標(biāo)準(zhǔn)的分割方法未能利用圖像體數(shù)據(jù)的豐富環(huán)境信息引導(dǎo)分割過程,以獲得更好的分割精度.Proposed1為基于學(xué)習(xí)的分割方法,其在訓(xùn)練集和測試集上取得了相近的分割結(jié)果,進(jìn)一步證明了本文所提出的級聯(lián)隨機(jī)森林訓(xùn)練策略在抑制過擬合方面的優(yōu)勢.

在對左心房的分割中,競爭輪廓方法取得了較高的分割精度,其DC值達(dá)到了0.92,考慮到該方法為半自動的分割方法,而本文方法為全自動的分割方法,因此本文方法仍然具有一定優(yōu)勢.M3AS方法利用了獨(dú)立獲取的數(shù)據(jù)集報告了分割結(jié)果,雖然在不同數(shù)據(jù)集上對不同方法進(jìn)行對比不完全可靠,但仍然可從數(shù)據(jù)對比中體現(xiàn)本文方法的良好精度.Proposed1與CRF方法獲得了相似的DC值,驗證了本文所提出的隨機(jī)森林級聯(lián)框架的有效性,進(jìn)一步來說,Proposed1方法有著更加精簡的級聯(lián)架構(gòu),并且不需要對訓(xùn)練數(shù)據(jù)集進(jìn)行手工擴(kuò)展,因此有著更大的應(yīng)用潛力.在所有對比方法中,CRF-AC方法獲得了最高的0.93±0.05的DC值,然而該方法為單一成像模式下的兩相分割模型,而本文所提出的Proposed2能夠綜合利用多種成像模式進(jìn)行多相分割,實驗中利用的單一成像模式的左心房標(biāo)準(zhǔn)數(shù)據(jù)集并未充分體現(xiàn)本文方法的通用性.因此將在后續(xù)通過表2的實驗結(jié)果對本文方法的性能做進(jìn)一步分析.目前利用深度學(xué)習(xí)對左心房結(jié)構(gòu)進(jìn)行分割的研究還很少見,例如與本文方法進(jìn)行對比的競爭輪廓方法為一種基于形變模型的方法,而M3AS為基于多圖譜融合的方法.這主要是由于深度學(xué)習(xí)方法對數(shù)據(jù)量存在嚴(yán)重的依賴,而當(dāng)前公開的左心房數(shù)據(jù)集的數(shù)據(jù)量還比較有限,本文所用標(biāo)準(zhǔn)數(shù)據(jù)集以及M3AS方法所用的獨(dú)立數(shù)據(jù)集,其訓(xùn)練集均只包含10個磁共振體數(shù)據(jù).

在表2所示的腦腫瘤分割結(jié)果中,由于INPUTCASCADECNN與CNNS使用了較小規(guī)模的測試集,直接的量化對比不十分可靠,但仍然可以看出Proposed2所具有的競爭力,在Complete和Core區(qū)域獲得了接近INPUTCASCADECNN和優(yōu)于CNNS方法的DC值.在Enhancing區(qū)域,INPUTCASCADECNN與CNNS方法的DC值均明顯高于另外三種方法,這主要是由于Enhancing區(qū)域在腦腫瘤中往往成彌散狀,即使手工分割仍然存在較為顯著的不一致性,而擴(kuò)充后的完整的BRATS15測試集的分割金標(biāo)準(zhǔn)是融合了手工分割與算法分割的結(jié)果,因此分割金標(biāo)準(zhǔn)有可能會受到算法分割結(jié)果的系統(tǒng)性影響,這也是BRATS15數(shù)據(jù)集存在的一個局限.對于使用BRATS15測試集中全部110個數(shù)據(jù)進(jìn)行評測的Proposed2、FCNNs-CRFs和DeepMedic方法,Proposed2的優(yōu)勢較為明顯.Proposed2在三個評測區(qū)域均取得了最高的DC值,其PPV和Sensitivity值則與另外兩種方法較為接近,但是Proposed2方法在取得較高的PPV與Sensitivity值的同時,在同一評測區(qū)域該方法的PPV和Sensitivity取值更為均衡,驗證了本文方法在進(jìn)行多相分割時,在控制過分割和欠分割方面的良好的綜合性能.

在對腦腫瘤的分割中,與本文方法進(jìn)行對比的是4種深度學(xué)習(xí)方法.雖然深度學(xué)習(xí)方法在自然場景圖像分割中體現(xiàn)了良好性能,但對于心臟和腦部磁共振圖像來說,不同患者間磁共振成像結(jié)果的多樣性遠(yuǎn)低于CIFAR和ImageNet等數(shù)據(jù)集中的自然場景圖像[35],因此深度學(xué)習(xí)模型龐大的模型規(guī)模所具有的優(yōu)勢此時并不明顯.此外標(biāo)準(zhǔn)數(shù)據(jù)集中較少的訓(xùn)練數(shù)據(jù)也限制了深度學(xué)習(xí)方法的性能.最后,本文方法有著與卷積神經(jīng)網(wǎng)絡(luò)相似的能夠?qū)Ψ指罱Y(jié)果進(jìn)行逐級精煉的層級架構(gòu),但參數(shù)規(guī)模卻遠(yuǎn)小于表2中對比方法的卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模,因此本文方法能夠利用較少的訓(xùn)練數(shù)據(jù)獲得更高的分割精度.

4 結(jié)論

本文提出了一種整合了級聯(lián)隨機(jī)森林與活動輪廓模型的醫(yī)學(xué)磁共振圖像三維分割方法.與以往基于隨機(jī)森林的方法將分割問題定義為像素分類任務(wù)不同,本文方法通過輪廓曲線演化進(jìn)一步精煉了體素分類,由此獲得具有幾何約束的分割結(jié)果.相比于標(biāo)準(zhǔn)活動輪廓模型需要輸入初始輪廓且通常難以分割具有復(fù)雜條件的圖像的局限,本文方法可以自動地將演化曲線初始化為與目標(biāo)輪廓接近的曲線,并且通過有效的特征學(xué)習(xí)和形狀先驗整合方案提升了對復(fù)雜條件圖像的分割精度和魯棒性.實驗結(jié)果表明,本文方法能夠有效分割磁共振圖像體數(shù)據(jù)中具有復(fù)雜成像結(jié)構(gòu)的組織結(jié)構(gòu),左心房分割結(jié)果的DC值為0.90±0.03,Surfaceto-Surface值為0.64±0.39mm,腦腫瘤分割結(jié)果在Complete、Core和Enhancing三個評測區(qū)域的DC值分別達(dá)到0.87,0.74和0.64.測試時間在10s以內(nèi).多個數(shù)據(jù)集上的對比實驗結(jié)果顯示了本文方法相比于其他同類方法在分割精度和魯棒性上的優(yōu)勢.如前文所述,BRATS15數(shù)據(jù)集存在一定的局限性,因此在更廣泛數(shù)據(jù)集上對本文方法進(jìn)行驗證,并對隨機(jī)森林的不同整合方式進(jìn)行深入的探索將是我們下一步的工作內(nèi)容.