国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

MRI腦腫瘤圖像的超像素/體素分割及發(fā)展現(xiàn)狀

2022-10-21 01:55方玲玲王欣
中國圖象圖形學報 2022年10期
關鍵詞:病灶邊界像素

方玲玲,王欣

遼寧師范大學計算機與信息技術(shù)學院,大連 116000

0 引 言

顱內(nèi)腦腫瘤分為原發(fā)性腫瘤和繼發(fā)性腫瘤(單翔 等,2018;賴小波 等,2019)。原發(fā)性腫瘤是一種由大腦異常增生而引起的神經(jīng)性疾病,經(jīng)常出現(xiàn)在腦組織、腦神經(jīng)和腦膜位置。由身體其他部位(如肝臟、肺部等)的惡性腫瘤轉(zhuǎn)移至腦部而形成的稱之為繼發(fā)性腦腫瘤。據(jù)統(tǒng)計,顱內(nèi)腫瘤的患病率高達0.003 2%。多數(shù)情況下,腦腫瘤易發(fā)生于腦部幕上的額葉、顳葉等,通常由病毒感染或化學誘因等高危因素造成,其患病比例約為75%。具體來說,幕下腦腫瘤發(fā)病概率略低于幕上腫瘤,一般在小腦半球、橋腦和側(cè)腦室等位置發(fā)病率較高,常見的腫瘤為星形細胞瘤、髓母細胞瘤等。其中,最常見的腦部疾病為腦膠質(zhì)細胞瘤,其患病比例接近50%(葛婷 等,2017;Bagherimofidi等,2019)。磁共振成像(magnetic resonance imaging, MRI)具有對腫瘤位置和軟組織結(jié)構(gòu)反應靈敏的特點,可在對人體損害最小的情況下獲得多角度、多模態(tài)成像,良好反映人體結(jié)構(gòu)和功能信息(Galv?o等,2020;Leblond和Kauffmann,2016)。醫(yī)師通過觀測MRI腦部醫(yī)學圖像中腫瘤的位置及大小,進而判斷其良惡性狀況,實現(xiàn)對病灶區(qū)域進行精確檢測。但是,由于醫(yī)學設備引起的場偏移和患者自身的活動導致所獲得的MRI腦部醫(yī)學圖像中存在點灰度不均、信噪比差異等問題,需要一種普適算法輔助醫(yī)師對腦腫瘤進行精確分割。超像素的概念最早由Ren和 Malik(2003)提出,該算法一經(jīng)提出便普遍應用于圖像分割領域。經(jīng)過十余年的發(fā)展在醫(yī)學圖像分割方面使用得愈加廣泛,具體包括輔助診療(李孟歆 等,2020;姜濤 等,2020;劉靜和黃玉清,2018)、圖像配準(劉晨 等,2019;Ji等,2014;Vupputuri等,2020)、多器官分割(Bechar等,2018;Khosravanian等,2021)、3維重建(吳連耀和萬旺根,2020;張志忠和李曉明,2017;Zhao等,2017)、軟組織提取(王海鷗 等,2019)和病灶良惡性判斷(Angulakshmi和 Lakshmi Priya,2019;Soltaninejad 等,2018)等。

基于腦部MRI醫(yī)學圖像的超像素/體素分割算法(Huang 等,2018;Randrianasoa 等,2018;祁琪,2018;Saha等,2018)通過設定權(quán)值或初始種子點的個數(shù)和位置,將2維圖像或3維圖像的點按照顏色、紋理和頻譜等特征,劃分成可表示圖像局部特征或功能子結(jié)構(gòu)的區(qū)域塊。要求得到的超像素/體素能緊湊整齊地獲得具有較強依附性,且最大程度保留腫瘤特征的邊界信息。同時,需要保證算法對圖像中的噪聲具有更強的魯棒性,有效減少計算冗余和大規(guī)模對象的運行時間,從而生成形狀規(guī)則、邊界精準且具有較低計算復雜度的圖像分割算法。

由于超像素/體素分割算法可平滑準確地描述圖像邊緣信息,將具有相同結(jié)構(gòu)的點劃分至同一子區(qū)域,從而大幅度減少數(shù)據(jù)信息的規(guī)模計算,可得到腦腫瘤解剖區(qū)域內(nèi)部結(jié)構(gòu)或功能信息,其反映出腫瘤與周圍組織間的動態(tài)關系,輔助醫(yī)師獲得腫瘤的位置與大小等信息,有效提高醫(yī)師疾病診斷和確定后續(xù)治療方案的效率。

本文使用超像素/體素的最新研究算法對MRI腦腫瘤醫(yī)學圖像進行分割,通過邊緣召回率、欠分割錯誤率、緊密度評測和可達分割準確率4項指標分析各算法性能。此外,針對超像素/體素算法在醫(yī)學圖像分割領域中的應用現(xiàn)狀來闡述其未來發(fā)展趨勢和局限性,具有一定的應用價值。

1 MRI醫(yī)學圖像特征

MRI圖像(Kong等,2019;Irving等,2016)利用氫原子核在外加磁場中不同的組織結(jié)構(gòu)對能量的吸收狀況不同這一特性,生成具有較高空間分辨率和時間分辨率的全方位成像。MRI圖像最大的優(yōu)點是在不損傷患者身體健康的情況下,獲得反映不同結(jié)構(gòu)信息的多模態(tài)圖像,因此常常應用于腦疾病檢測。下面針對MRI腦部醫(yī)學圖像的不同特性進行分析。

1.1 MRI腦部醫(yī)學圖像的多角度特性

MRI腦部醫(yī)學圖像可以多平面成像,主要通過水平面、矢狀面和冠狀面3個角度進行觀測,分別將人體橫斷為上下兩面、縱切為左右兩部以及縱斷為前后兩部,如圖1所示。圖1(a)(b)分別展示水平序列為128和133的腦腫瘤多角度解剖圖像(來自開放存取系列影像研究數(shù)據(jù)集(Open Access Series of Imaging Studies, OASIS)中序號為OAS2_0099_MR2的多角度成像)。

圖1 多角度下的MRI腦腫瘤醫(yī)學圖像

水平面角度可直觀反映腦腫瘤大小和占位效應,且根據(jù)密度可獲得腦腫瘤的水腫區(qū)域或瘤轉(zhuǎn)移導致的鈣化區(qū)域。矢狀面和冠狀面角度進一步直觀反映腦腫瘤的位置以及由于腦瘤轉(zhuǎn)移導致壓迫神經(jīng)或組織器官的情況,有效輔助醫(yī)師判斷腫瘤的良惡性狀況并確定后續(xù)治療方案。

1.2 MRI腦部醫(yī)學圖像的多模態(tài)特性

多模態(tài)MRI腦部醫(yī)學圖像具體表現(xiàn)為T1加權(quán)圖像(T1 weighted)、T2加權(quán)圖像(T2 weighted)、T1c圖像(T1 contrast,在T1加權(quán)圖像中使用造影劑)和流體衰減反轉(zhuǎn)恢復圖像(fluid attenuated inversion recovery, FLAIR)。不同模態(tài)的MRI圖像對顱內(nèi)腫瘤顯示的側(cè)重點也有所不同,如在T1加權(quán)圖像中,腦組織間的對比度較明顯,可有效分離腦部結(jié)構(gòu)和水腫區(qū)域,鑒別有明顯水腫占位效應的高級別膠質(zhì)瘤和轉(zhuǎn)移瘤等疾病。T2加權(quán)圖像可有效分離人腦健康組織和顯著水腫區(qū)域,可有效鑒定由于細胞毒性擴散或大面積水腫導致的中樞神經(jīng)系統(tǒng)原發(fā)性淋巴瘤等疾病。T1c圖像可有效劃分腦部結(jié)構(gòu)的囊變區(qū)域和腫瘤區(qū)域,針對腦腫瘤中心壞死部分彌散或腫瘤內(nèi)血管充盈情況進行腦出血情況判斷。FLAIR圖像對蛛網(wǎng)膜下腔和腦實質(zhì)內(nèi)的病灶較為敏感,當靠近腦脊液與健康腦組織的邊界處發(fā)生病變時,F(xiàn)LAIR圖像中的弛豫時間會隨之發(fā)生改變,病灶區(qū)域?qū)@現(xiàn)為高信號。因此,F(xiàn)LAIR成像可體現(xiàn)腦腫瘤區(qū)域與大腦其他組織之間的明顯差異,有效分離腦部灰質(zhì)、白質(zhì)和腦脊液等結(jié)構(gòu)。

圖2顯示了多模態(tài)下的MRI腦腫瘤醫(yī)學圖像(來自多模態(tài)腦腫瘤分割挑戰(zhàn)賽(Multimodal Brain Tumor Segmentation Challenge, BraTS)2018數(shù)據(jù)集序號為TCIA08_469_1和TCIA08_218_1的多模態(tài)圖像),真實數(shù)據(jù)圖像(ground truth)中黃色區(qū)域表示整個腦腫瘤的占位面積,紅色區(qū)域表示腫瘤的核心位置,綠色區(qū)域表示增強腫瘤結(jié)構(gòu)。通過ground truth給定的腫瘤結(jié)構(gòu)劃分結(jié)果可判斷腦部壞死狀況和出血占位情況,且由于病灶在不同模態(tài)下的密度信號不同,通過多模態(tài)信息整合和對比可有效獲取高性能的分割結(jié)果。

圖2 多模態(tài)下的MRI腦腫瘤醫(yī)學圖像

2 超像素/體素分割算法

由于超像素/體素分割算法能夠有效提取圖像的中層特征,可大幅度降低算法對噪聲點的敏感度,具有較強的魯棒性。使用超像素/體素分割圖像可有效增強對象規(guī)模較大和后續(xù)處理復雜的醫(yī)學圖像計算效率,降低計算復雜度。且隨著圖像尺寸和維度增加,該算法能將結(jié)構(gòu)一致且表示相似局部信息的點劃分至同一區(qū)域,有效表達局部特征信息和功能子結(jié)構(gòu)。因此越來越多的超像素/體素分割算法應用到圖像的預處理步驟。

根據(jù)算法原理,將超像素/體素分割算法分為兩類,一是基于圖論的分割算法,二是基于梯度上升的分割算法,具體可參考附表1。

附表1 超像素/體素分割算法對比

基于圖論的分割算法通過圖論知識,將圖像以G=〈V,E〉的形式表示成一張帶有權(quán)值ωi,j的無向圖(V表示頂點,E表示邊),該值表示連接頂點Vi和Vj的邊Ei,j在特定特征上的差別。通過不同的準則將分割任務轉(zhuǎn)換為求取能量方程最小值的代價問題,從而獲得超像素/體素圖像分割結(jié)果,如圖3(a)所示。

圖3 超像素分割算法

其經(jīng)典算法包括:基于圖論(graph-based)的算法(Felzenszwalb和 Huttenlocher,2004;張明慧 等,2016)、標準化分割(normalized cut)(Ghosh等,2018;Dutta等,2019;Wang 等,2019;王春瑤 等,2014)和基于熵率(Liu等,2014)的算法(entropy rate superpixel, ERS)等?;谔荻壬仙姆指钏惴ㄍㄟ^設定初始種子點個數(shù)和位置的方式,迭代遍歷點之間的差異性以及特征的相似程度,從而將具有相同特征的像素點/體素點劃分至同一子區(qū)域,如圖3(b)所示。其經(jīng)典算法有:Watershed算法(Vincent和 Soille,1991)、基于水平集理論的Turbopixels算法(Levinshtein等,2009;Xing等,2020)和簡單線性迭代聚類算法(simple linear iterative clustering algorithm, SLIC)(Achanta 等,2012)等。

2.1 基于圖論的分割算法

王亞杰等人(2014)提出了一種基于熵率法的超像素分割算法,其主要思想為通過計算像素點之間的熵對區(qū)域塊整體緊湊均勻的作用,進而獲得每個區(qū)域的空間頻率,獲得較為平滑的圖像邊界信息,劃分出的超像素符合圖像的功能信息和結(jié)構(gòu)信息。但是該算法對處于邊緣附近的噪聲點靈敏,導致其分割準確性稍顯不足。在王亞杰等人(2014)方法的基礎上,Gao等人(2017)將圖像表示成以超像素或連接組件作為節(jié)點的加權(quán)圖,用梯度和空間距離線索對每個節(jié)點進行排序,從而得到超像素和基于連通分量的圖像線索。該算法可有效克服王亞杰等人(2014)方法中的圖像噪聲和血管偽影等問題,具有較強的魯棒性。但該算法在處理與周圍組織器官存在黏連現(xiàn)象的具有較強依附性的醫(yī)學圖像時,不能較好地獲得病灶位置和分割信息。

Zhang等人(2017)提出了一種基于圖論的圖像分割算法,其主要思想是從預分割核開始定義核的粗略中心和大小,通過笛卡兒坐標系中的橢圓狀邊界映射到極坐標系統(tǒng)中的線,并利用動態(tài)規(guī)劃和確保最佳閉合輪廓的迭代方法來識別所構(gòu)建圖中的全局最佳路徑,具有良好的圖搜索性能。但是該算法生成的超像素邊界極不規(guī)則,像素塊在區(qū)域密度大的地方分布較密,區(qū)域密度小的地方分布較稀疏。該算法同樣具有Gao等人(2017)方法中對有明顯占位效應的腦腫瘤、受側(cè)腦室擠壓導致腫瘤周圍水腫和瘤內(nèi)出血的弱邊界分割準確率略有不足的問題。為有效克服算法對弱邊界信息提取不足的情況,崔強(2018)提出了一種基于圖切(graph cut)和隨機游走(random walk)的交互式超體素分割算法,該算法的主要思想是通過處理代表體素點所處位置的權(quán)值圖譜,表示該點行至另一體素點的概率。并通過相鄰已知MRI切片圖像的形狀特征初始化未知圖像的權(quán)值和圖譜概率,從而劃分超體素區(qū)域。該算法有效克服了傳統(tǒng)算法需要大量人工標記的分割圖譜導致時間成本過高的問題,解決了Zhang等人(2017)和Gao等人(2017)方法中存在的與血管黏連的病灶弱邊界分割準確率不高的問題,有效提高超體素分割算法的準確性。但是該算法忽略了切片之間的空間特征,僅從2維角度預測腦腫瘤生長規(guī)律,不能準確地描述實際腦腫瘤的生長趨勢。且使用已知切片作為未知切片的初始量導致誤差迭代,不具有較強的魯棒性。

Ghosh等人(2018)提出了一種在迭代k-means聚類框架中結(jié)合normalized cut超像素的分割算法,其主要思想是通過譜聚類將normalized cut算法與k-means聚類框架結(jié)合,通過迭代簡單的k-means聚類算法來優(yōu)化歸一化割的代價函數(shù),可有效測量像素之間的相似性,且由于算法的計算復雜度是線性的,可減少迭代計算量,提高算法效率。該算法可生成整齊平整的超像素邊界,但是分割的準確率較低,且得到的像素塊大小基本相同,導致無法獲得細小邊界信息。

2.2 基于梯度上升的分割算法

Xiang等人(2010)提出了基于Turbopixels的渦輪像素分割算法,該算法對于每個局部窗口中的像素都引入線性變換,將顏色向量映射為聚類指示向量。該算法通過將線性變換下的估計誤差相加以獲得目標函數(shù),并從該目標函數(shù)中獲得全局最優(yōu)分割結(jié)果。該方法效率較高,但對于紋理圖像而言,生成的超像素中會包含不同的對象,使得病灶的弱邊界分割效果較差。Li和Chen(2015)在Xiang 等人(2010)方法的基礎上進行改進,提出了一種線性譜聚類(linear spectral clustering, LSC)的超像素分割算法,該算法的主要思想是通過核函數(shù)將像素點的位置與大小信息映射到高維的特征空間中,從而得到像素點的相似程度,獲得超像素邊界??朔iang 等人(2010)方法對紋理圖像提取特征略有不足的問題,可得到較為規(guī)整,且分割像素塊大小基本一致的超像素邊界。但該算法只有在像素較為平坦的區(qū)域才能獲得光滑整齊的超像素,在邊界區(qū)域(非均勻區(qū)域)獲得的超像素邊界較為雜亂。

為實現(xiàn)圖像弱邊界的準確分割,Shen 等人(2016)提出了一種基于密度的聚類算法。該算法克服了經(jīng)典基于密度的聚類算法(density-based spatial clustering of applications with noise, DBSCAN)中計算種子點到每個像素點距離導致運行速度過慢的問題。其主要思想是通過計算鄰近距離項和種子距離項判斷像素點的相似特征來決定點歸屬情況,獲得初始的超像素分割結(jié)果。然后,計算顏色特征和空間特征將小簇的像素塊進行合并,從而得到具有較高邊界粘附性的超像素邊界。但是,該算法為每個像素塊設置一個最大區(qū)域值,若達到該值,即使像素點與該塊具有相同特征也不進行合并。然后通過計算特征距離進行合并操作,從而造成計算的冗余,導致算法運行時間較長。且生成的超像素邊界較為雜亂,無法按照圖像的結(jié)構(gòu)子功能進行劃分。在Shen 等人(2016)方法的基礎上,Wu 等人(2017)提出了一種基于超像素和分水嶺的多光子顯微圖像分割方法,其主要思想是用超像素代替像素來分析多光子顯微圖像,將空間、CIE Lab 顏色空間和相位一致性特征的超像素結(jié)合,從而將圖像分割成保持邊界細節(jié)的小塊。接著,利用標記控制分水嶺從重建圖像中得到細胞邊緣信息,使算法可有效獲得弱邊界信息。該算法的分割準確率較高,可有效克服Xiang 等人(2010)方法中弱邊界分割結(jié)果略有不足的問題。但該算法無法有效克服噪聲,當噪聲點位于圖像邊界附近時,將對最終的超像素分割結(jié)果產(chǎn)生極大影響,不具備較強的魯棒性。

Amami 等人(2019)克服了Wu 等人(2017)方法中為得到弱邊界準確信息導致超像素形狀不規(guī)則的問題,提出了一種基于SLIC的醫(yī)學圖像自適應超體素算法AdaSLIC。該算法主要通過求得子區(qū)域種子點到最近圖像輪廓的距離得到體素點的數(shù)值大小,進而得到圖像的邊界信息。與Shen 等人(2016)算法相比,該算法具有更強的緊湊型和自適應性,可得到較好的分割結(jié)果。但在計算過程中,其未將感興趣區(qū)域與不感興趣區(qū)域區(qū)分開,導致計算過程中出現(xiàn)大量冗余現(xiàn)象,致使計算效率較低。同年,Singh等人(2020)提出了一種基于SLIC超像素的圖像算法,該算法將簡單線性迭代聚類思想與自動可調(diào)的基于高斯徑向基函數(shù)核的模糊c均值算法相結(jié)合。該算法可用于圖像分割以及深度學習網(wǎng)絡使用,具有較強的魯棒性,且提高了算法的運行效率。但是該算法不能較好地獲得圖像的弱邊界信息,導致分割效率有所欠缺。

為有效增強算法的魯棒性和自適應性,張志龍 等人(2020)提出了一種基于密度、圖論和聚類思想的采用密度峰值進行聚類的超像素分割算法。該算法的主要思想是利用初始設置的圓形模板來獲取局部圖像的密度,利用處于邊緣的像素點局部密度較小的特性,將求得的局部密度最大點設置為種子點。然后用一個多叉的歸屬關系樹表示所計算的每個像素點之間的距離大小和所屬關系,從而求得超像素的分割結(jié)果。該算法的優(yōu)點是不需要進行迭代優(yōu)化,計算效率較高,且獲得的超體素分割結(jié)果在初始設置不同大小的圓形模板或設置不同數(shù)目種子點的情況下,都能獲得具有較強依附性且貼近圖像邊緣的超像素分割邊界。但該算法獲得的超像素分割邊界不具有規(guī)則平滑的形狀,無法清晰地表達鄰域區(qū)域的信息內(nèi)容,不利于后續(xù)的相同特征提取操作。

2.3 超像素/體素分割算法評價指標

基于MRI腦腫瘤醫(yī)學圖像的超像素/體素分割算法評價指標(Stutz等,2018;Wang等,2017)主要關注:算法求得的病灶邊界信息與ground truth是否具有較高的邊界貼合度;另外,算法是否最大程度地保留腦腫瘤核心區(qū)域、增強區(qū)域和明顯水腫占位區(qū)域的邊界信息?,F(xiàn)有的評價指標(羅學剛 等,2019;宋熙煜 等,2015)包括邊緣召回率(boundary recall, BR)、欠分割錯誤率(under-segmentation error, UE)、緊密度評測(compactness measure, CM)、可達分割準確率(achievable segmentation accuracy, ASA)以及其他標準,如圖4所示。其中,黑色實線表示超像素/體素算法分割的腦腫瘤邊界,黑色虛線表示對應ground truth的病灶邊緣。

圖4 超像素/體素算法評價標準示意圖

2.3.1 邊緣召回率

BR是超像素/體素算法分割MRI腦腫瘤邊界結(jié)果與ground truth相重疊的比率,用來計算位于病灶邊界周圍γ(一般取1或2,本文設置為2個單位點內(nèi)超像素/體素分割結(jié)果與對應ground truth中點的個數(shù)比值,計算為(Liu等,2011)

(1)

式中,p和q分別代表ground truth和超像素/體素病灶分割結(jié)果中的目標區(qū)域點,δG表示ground truth分割結(jié)果G中位于病灶邊緣γ范圍內(nèi)所有像素/體素點的集合,δR表示超像素/體素分割結(jié)果R中超像素/體素邊緣上所有點的集合,f(t)用來判別圖像上兩點間的歐氏距離是否小于γ,具體為

BR判斷分割結(jié)果好壞如圖4(a)所示,灰色區(qū)域表示病灶邊界允許存在γ范圍內(nèi)的誤差點,優(yōu)秀的超像素/體素分割算法虛線和實線基本覆蓋甚至完全覆蓋,表示超像素/體素分割的腦腫瘤邊緣與ground truth病灶的邊界貼合度高。

2.3.2 欠分割錯誤率

UE用于計算超像素/體素腦腫瘤劃分區(qū)域超出ground truth對應病灶的面積和比值,計算為(Buyssens等,2014)

(2)

式中,S表示超像素/體素腦腫瘤分割結(jié)果,G表示ground truth的病灶真值,gi表示G中的第i個病灶劃分區(qū)域,Sk表示S中第k個超像素/體素塊,|Sk-gi|表示符合真實病灶劃分范圍內(nèi)的超像素/體素中點的個數(shù)。Achanta等人(2012)克服了式(2)沒有考慮超像素/體素間可能存在獨立像素點的問題,對UE計算式進行改進,計算為

(3)

式中,N表示MRI醫(yī)學圖像中點的個數(shù),Sk|Sk∩gi表示超像素/體素分割第k個超像素/體素與第i個ground truth病灶區(qū)域中不重合點的個數(shù),B表示容錯率,該實驗將其設置為5%。UE判斷分割結(jié)果好壞如圖4(b)所示,灰色區(qū)域表示UE面積,UE區(qū)域越小,表示超像素/體素算法求得的腦腫瘤邊界越精準,腦腫瘤邊緣與病灶邊界的貼合度越高。

2.3.3 緊密度評價

CM用于評價超像素/體素的形狀、大小的緊湊規(guī)則程度(Schick等,2013),F(xiàn)u等人(2014)定義了CM的計算式為

(4)

式中,Len(Sk)和Area(Sk)分別表示第k個超像素/體素的周長和面積大小,n表示超像素/體素的分辨率,N表示MRI腦部醫(yī)學圖像中點的總數(shù)。CM值一定程度上取決于超像素/體素分辨率大小,其判斷分割結(jié)果好壞如圖4(c)所示,CM值越大,表明超像素/體素算法求得的腦腫瘤邊緣形狀越規(guī)則,越接近ground truth病灶邊界。

2.3.4 可達分割準確率

ASA通過將超像素/體素腦腫瘤分割結(jié)果與ground truth病灶分割結(jié)果中所有區(qū)域進行對比,為每一個超像素/體素匹配一個與之最相近的ground truth病灶區(qū)域塊,通過計算所有區(qū)域內(nèi)分配標簽正確點的個數(shù)和MRI腦部醫(yī)學圖像點總數(shù)N的比值,計算為

(5)

ASA判斷算法分割結(jié)果好壞如圖4(d)所示,黑點表示正確分割點(即黑色實線內(nèi)正確劃分至黑色虛線內(nèi)的點),白點表示錯分割點,灰點表示孤立點。優(yōu)秀的超像素/體素分割算法保證黑點與白點和灰點的比值最大,從而獲得更高準確率的分割結(jié)果。

3 對比實驗與分析

磁共振成像設備對腦腫瘤分割效果較好,為了便于腦腫瘤分割算法的研究,國際醫(yī)學圖像計算和計算機輔助干預會議(Medical Image Computing and Computer Assisted Interventions Conference, MICCAI)每年舉辦多模態(tài)腦腫瘤分割挑戰(zhàn)賽,期間提供了大量測試集(test set)和訓練集(training set),用以標記腦腫瘤的位置與腦內(nèi)水腫、壞死和出血區(qū)域,ground truth劃分完整腫瘤(whole tumor)、增強腫瘤(enhance tumor)和腫瘤核心(tumor core)區(qū)域(附錄介紹了部分公開的MRI腦腫瘤醫(yī)學圖像數(shù)據(jù)集)。本文實驗使用BraTS 2018數(shù)據(jù)集,包含 285個顱內(nèi)腫瘤病例,每個病例包含T1加權(quán)圖像、T2加權(quán)圖像、T1c圖像、FLAIR圖像和對應的ground truth,圖像大小為240×240×155。圖5顯示了圖像中種子點個數(shù)設置為200的超像素算法分割表皮樣囊腫的結(jié)果(來自BraTS18數(shù)據(jù)集序號為TCIA08_469_1的圖像)。本文若無特殊說明,默認實驗設置超像素個數(shù)為200(分割代碼可參考https://pan.baidu.com/s/1wWEL72Tt0Ky18 Wg3 myuVzg)。

圖5 12種超像素分割MRI腦部醫(yī)學圖像的分割結(jié)果

為進一步比較不同超像素算法分割腦腫瘤醫(yī)學圖像的性能,將graph-based算法(Abate等,2016)、normalized cut算法(Van Den Heuvel等,2008;王春瑤 等,2014;Cour等,2005)、基于熵率算法(Liu 等,2011)、拓撲保持正則算法(Fu 等,2014;Tang 等,2012)、lazy random walk算法(Shen 等,2014)、turbopixels算法(Levinshtein等,2009)、DBSCAN算法(Shen 等,2016)、LSC算法(Li和Chen,2015)、SLIC算法(Angulakshmi 等,2019;Saha 等,2018)和SLICO(simple linear iterative cluster zero)算法等10種可直接對超像素種子點個數(shù)進行設置的算法進行性能對比。此外,分水嶺算法(Vincent和Soille,1991;Wu 等,2017)和superpixel lattice算法(Moore 等,2008)無法實現(xiàn)超像素數(shù)目的精準控制,因此本文對這兩種算法不進行性能評測。實驗對BraTS 2018數(shù)據(jù)集中15幅3維腦腫瘤圖像進行超像素分割。BraTS 2018數(shù)據(jù)集提供將腦腫瘤劃分成完整腫瘤、核心腫瘤和增強腫瘤3個區(qū)域的ground truth,如圖6(a)所示(來自BraTS 2018數(shù)據(jù)集序號為TCIA08_218_1的圖像)。

圖6 腫瘤區(qū)域超像素分割圖像

圖6(b)顯示了圖5中12種超像素分割算法對應的腫瘤結(jié)果圖像(灰色、黑色和白色分別代表增強腫瘤區(qū)域、核心腫瘤區(qū)域和完整腫瘤區(qū)域)。白線為相應算法獲得的超像素邊界,若交界處沒有白線,則證明該算法不能有效劃分功能不同的區(qū)域邊界。由于醫(yī)學圖像分割更側(cè)重于對病灶的形狀、大小和位置等進行測量和判斷,因此本文只對完整腦腫瘤區(qū)域進行算法測評,圖7—圖10分別展示BR、UE、CM和ASA等4個評價指標在超像素個數(shù)為200、400、600、800和1 000下分割完整腦腫瘤區(qū)域的定量分析曲線。其中,BR和UE指標用來評測超像素分割算法得到的腦腫瘤邊界與ground truth中實際病灶的邊界依附性和最大程度保留腦部圖像中腫瘤邊界特征信息的性能。CM指標用來測評生成的超像素分割邊界緊湊整齊的形狀規(guī)則程度及是否表示成具有較強圖像局部特征或功能子結(jié)構(gòu)的區(qū)域塊。ASA指標用來測評分割邊界的精準信息及是否對噪聲干擾具有較強魯棒性。

圖7 BR指標變化曲線

圖8 UE指標變化曲線

圖9 CM指標變化曲線

圖10 ASA指標變化曲線

通過圖5—圖10可看出graph-based算法可較為精準地分割核心腫瘤,有效鑒別血管充盈的腦腫瘤區(qū)域。但對完整腫瘤區(qū)域和增強腫瘤區(qū)域分割準確能力稍顯不足,易出現(xiàn)對灰度差異不明顯腫瘤的漏診情況。normalized cut算法在BR、UE、CM和ASA共4項指標評測中性能較為突出,可獲得具有強邊界依附性的腦腫瘤邊界,極大程度保留腫瘤邊界的特征信息。但該算法將病灶區(qū)域與大腦結(jié)構(gòu)中腦部灰質(zhì)和白質(zhì)劃分至同一超像素內(nèi),使得完整腫瘤區(qū)域劃分成多個不能有效表示腦部功能子結(jié)構(gòu)的區(qū)域塊,不利于后續(xù)腦腫瘤區(qū)域特征分區(qū)域提取。

superpixel lattice算法可較好地定位核心腫瘤位置,但分割的超像素邊界不具有較強的依附性,無法獲取精準的腫瘤結(jié)構(gòu)信息?;陟芈仕惴軠蚀_獲取增強腫瘤邊界信息,獲得腦腫瘤區(qū)域與周圍腦腫瘤細胞有明顯密度差異的邊界信息,有效鑒別由不規(guī)則鈣化和骨化引起的砂礫體型腫瘤或由于顱骨受損導致硬化的病灶。但該算法生成的超像素邊界形狀不規(guī)則,容易出現(xiàn)將具有相同結(jié)構(gòu)的區(qū)域塊割裂的情況,不能有效實現(xiàn)鄰域信息表達。

拓撲保持正則算法克服了基于熵率算法無法對像素邊界實現(xiàn)精確描述的問題,可生成緊湊整齊的超像素,在CM和ASA指標下的分割性能良好。但該算法沒有解決由于初始超像素個數(shù)不同導致最終的分割結(jié)果質(zhì)量跨度較大問題,不能較好地劃分核心腫瘤和增強區(qū)域具有模糊線性的邊界。lazy random walk算法可生成較為規(guī)則的核心腫瘤超像素邊界,較為完整地保留增強腫瘤的結(jié)構(gòu)信息,有效診斷由血管增多導致的惡變腫瘤和頸內(nèi)動脈供血形成的腦膜瘤等疾病。但該算法不能獲得增強腫瘤邊界信息,BR和UE指標較低,未能最大程度保留腦部圖像中腫瘤邊界信息的特征。

分水嶺算法可獲得有明顯占位效應的腦腫瘤或受側(cè)腦室擠壓導致的明顯腫瘤周圍水腫和瘤內(nèi)出血的弱邊界分割信息,可獲得較為完整的增強腫瘤邊界信息。但該算法得到的超像素不符合大腦功能子單元結(jié)構(gòu),針對邊界較為模糊的核心腫瘤和完整腫瘤區(qū)域,其分割準確率稍顯不足,會導致具有大腦功能塊與不具備腦部功能塊劃分至同一超像素內(nèi),在計算聚類中心到超像素范圍內(nèi)點距離時增加腦部特征點到無用點的計算過程,導致計算效率過低。turbopixels算法有效克服初始設置的超像素個數(shù)不同導致分割結(jié)果準確率差異過大問題,有效增強算法魯棒性,且可較為完整地保留增強腫瘤的結(jié)構(gòu)信息。該算法在4項指標下的數(shù)值較為穩(wěn)定,隨著設置的種子點數(shù)目增加,獲得的分割性能較為穩(wěn)定。但該算法對整體灰度對比度較小,且對于腦腫瘤位置與周圍組織器官存在粘黏現(xiàn)象的醫(yī)學影像而言,其分割準確率大大降低,尤其在不同的種子點數(shù)目下的ASA分割性能有待提高。DBSCAN算法可有效獲得精準的完整腫瘤、核心腫瘤和增強腫瘤區(qū)域的邊界信息,根據(jù)圖像密度有效鑒定腫瘤實部、壞死和液化區(qū)域,提供腦部感染等并發(fā)癥的腫瘤信息,但該算法對噪聲點較為敏感,對處于邊緣信息的噪聲點不具有較強的魯棒性。

LSC算法可有效克服單模態(tài)梭形纖維增生性腦腫瘤和致密的脈管結(jié)構(gòu)性血管腫瘤與有絲分裂增加導致的非典型性腦腫瘤存在的邊界模糊情況和醫(yī)學成像設備本身存在的模糊性等問題。但該算法生成的超像素邊界將具有相同特征和功能子結(jié)構(gòu)的大腦區(qū)域劃分成多塊,無法正確反映腦腫瘤形狀、大小和外觀等形態(tài)和與周圍腦膜或血管的牽拉情況。從圖11看出,該算法在不同數(shù)目的種子點下分割性能相差較大,其中,CM和ASA指標比相同條件下的分割算法數(shù)值偏低。SLIC算法具有較強的緊湊性,完整保留腦部醫(yī)學圖像紋理結(jié)構(gòu)和特征連續(xù)性,便于后續(xù)腦腫瘤特征提取和分割。但算法計算過程存在大量冗余,不利于大對象規(guī)模的分割操作。SLICO算法在SLIC算法上進行改進,具有較低的計算復雜度和自適應性特點的高效率圖像分割算法,可有效降低醫(yī)師發(fā)生錯診和漏診的情況,利用計算機輔助診療進行高效精準的病灶處理。由于高級別膠質(zhì)瘤通常由具有明顯核異型性的多形性星型細胞所構(gòu)成,在MRI醫(yī)學圖像中表現(xiàn)為具有明顯占位效應的組織水腫和瘤內(nèi)出血導致增強腫瘤區(qū)域顯現(xiàn)明顯環(huán)形強化。且腫瘤實質(zhì)整體呈現(xiàn)高信號,具有較強的紋理特征和顏色特征。圖11展示了超像素個數(shù)設置為200和400分割高級膠質(zhì)瘤圖像的結(jié)果(來自BraTS18數(shù)據(jù)集序號為TCIA06_211_1的圖像)。

圖11 不同超像素數(shù)目對應的超像素分割結(jié)果

由于超像素的數(shù)目與圖像的細節(jié)紋理有關,為有效測試在不同超像素尺寸下的腦部醫(yī)學圖像分割性能,本文進行了200、400、600、800、1 000共5種不同的超像素種子點個數(shù)的對比實驗。從圖7—圖11可以看出,當設置的種子點數(shù)目較大時,算法獲得的腫瘤邊界信息更為精準,BR、UE和ASA指標會隨著超像素尺寸的減小而增加。但是,隨著超像素尺寸的減小,將會導致分割結(jié)果出現(xiàn)過擬合現(xiàn)象,使得位于同一功能塊的超像素劃分至不同的區(qū)域,從而無法正確地描述病灶與健康腦組織之間的鄰域關系。當設置的種子點數(shù)目過小時,可獲得較為規(guī)則的超像素,但是獲得的邊界信息準確度有待提高,無法精準地描述病灶的占位效應信息,CM分割指標會隨著超像素尺寸的增加而提高。

從視覺效果來看,graph-based、normalized cut、lazy random walk、DBSCAN和LSC算法可較好地保留腫瘤邊界信息,具有較好的局部局灶信息特征。拓撲保持正則、turbopixels、SLIC和SLICO算法分割的超像素形狀結(jié)構(gòu)上更加完整緊湊,對病灶邊界的特征描述較為平滑柔和,以此彌補算法對邊界描述的不足之處。

4 超像素/體素分割算法在醫(yī)學圖像上的發(fā)展前景

4.1 提高超像素/體素算法分割效率

隨著Hinton等人(2006)基于手寫數(shù)字識別的深度網(wǎng)絡算法的提出,解決了傳統(tǒng)機器學習中反向傳播(back propagation, BP)算法隨著網(wǎng)絡層數(shù)增加調(diào)參導致梯度爆炸或消失問題,實現(xiàn)將深度學習網(wǎng)絡退化成淺層網(wǎng)絡問題,從而開啟深度學習的熱潮。如今,深度學習在圖像分割、語義分析和語音識別等方面應用愈加廣泛?;卺t(yī)學圖像的超像素/體素算法嘗試使用基于深度學習實現(xiàn)病灶精準分割,便于后續(xù)對醫(yī)學圖像進行處理,得到更為準確的病灶分割結(jié)果。

金蘭依等人(2018)提出一種基于半監(jiān)督階梯網(wǎng)絡的醫(yī)學圖像分割算法,其主要思想為構(gòu)建一個內(nèi)嵌多層感知機與卷積神經(jīng)網(wǎng)絡(convolutional neural networks, CNN)的半監(jiān)督機器學習架構(gòu),為減少計算冗余,克服超像素分割邊界的不規(guī)則性導致信息丟失問題,算法通過構(gòu)建梯形網(wǎng)絡并實現(xiàn)網(wǎng)絡層之間的橫向連接加快網(wǎng)絡調(diào)參的收斂速度,解決多層網(wǎng)絡梯度消失的問題,且極大增強算法準確率,實現(xiàn)病灶的精準分割,較好地輔助醫(yī)師預測并診斷病灶良惡性狀況和確定后續(xù)治療方案。

呂朝暉(2018)提出一種基于超像素的多器官醫(yī)學圖像分割算法,其主要思想是通過卷積神經(jīng)網(wǎng)絡解決具有高灰度相似性的超像素醫(yī)學圖像無法準確分割的問題,利用人工標注的真實病灶圖像訓練包含多個集成分類器的多器官分割機器學習模型,通過該模型可有效提高超像素特征提取的準確率,獲取腫瘤生長的重要特征,實現(xiàn)對生長腫瘤進行準確分割,為后續(xù)腫瘤的治療提供幫助。

超像素/體素分割算法能有效捕捉醫(yī)學圖像病灶局部信息,并將其與圖像冗余信息分至不同超像素/體素內(nèi),將具有相似紋理和顏色等特征的點劃分在一個區(qū)域塊中,且該塊能有效表達圖像功能子結(jié)構(gòu)的特征信息,因此常常用于圖像分割預處理階段,旨在獲得對圖像宏觀特征有更佳描述的最小區(qū)域塊分類。國內(nèi)外研究者目前致力于通過機器學習提高超像素/體素分割算法的準確性以及特征信息的提取效率,在此基礎上實現(xiàn)病灶分割(Ji 等,2014;孫明杰,2017)、3維重建(胡軍,2010;李媛媛,2008)等操作,以滿足當今大數(shù)據(jù)處理時代要求(周友龍等,2010;曾元一,2019)。

4.2 擴展算法應用維度

隨著醫(yī)學設備的逐漸完善和計算機存儲及計算能力的不斷升級,醫(yī)師診斷醫(yī)學影像、階段性診療報告和病歷數(shù)據(jù)信息呈爆炸式增長,傳統(tǒng)的超體素分割算法通過先分割出固定的3維面片,計算距離體素點最近的種子點標簽值并進行點的歸屬劃分,進而求得圖像邊緣信息,該算法不能有效根據(jù)圖像自身的特征信息自適應解決由于圖像初始超體素個數(shù)不同導致最終的分割結(jié)果質(zhì)量不同的問題,且該算法通過將3維醫(yī)學圖像分割成多幅2維醫(yī)學圖像進行超像素分割,通過合成多幅2維圖像分割結(jié)果獲得最終的3維病灶邊界信息,導致病灶片與片之間的關系特征消失,忽略了病灶整體的空間特征,致使最終的分割效果差強人意。為增進算法準確性,劉斌(2017)將病灶片之間的特征信息考慮在超像素劃分范圍內(nèi),通過將上一序列圖迭代求得的分割結(jié)果作為其相鄰切片的初始分割輪廓,以此增加相鄰病灶片之間的聯(lián)系,但該算法是基于2維圖像操作,并未真正實現(xiàn)3維圖像病灶分割。腫瘤細胞的生長受到多方面的因素影響,僅從2維角度預測腫瘤生長的規(guī)律和趨勢不夠全面,不能準確描述實際腫瘤生長趨勢。

楊雨婷(2018)提出了一種基于3維大腦磁共振成像的超體素分割算法,該算法的主要思想為通過將全卷積神經(jīng)網(wǎng)絡和超體素分割思想結(jié)合形成可有效進行并行計算提高算法效率的特征信息提取算法,通過對超體素提供的細節(jié)特征提取實現(xiàn)與卷積神經(jīng)網(wǎng)絡獲得的整體與局部信息結(jié)合,從而實現(xiàn)對腦部結(jié)構(gòu)中腦脊液、灰質(zhì)和白質(zhì)的有效分割。

基于3維的超體素算法實現(xiàn)對整體3維醫(yī)學圖像進行病灶精準分割操作,完整保留其圖像紋理結(jié)構(gòu)和特征連續(xù)性,避免由于將圖像拆分成多幅2維圖像導致圖像特征向量不連貫的問題,從而解決初始設置的體素種子點數(shù)目不同導致結(jié)果分割準確性不同的狀況,有效增強算法的分割精度便于后續(xù)對3維醫(yī)學圖像進行處理,得到更為準確的病灶分割結(jié)果(Cao和Cao,2013;Zhang 等,2013)。

受計算機設備和病人階段性病理影響,僅憑一幅單模態(tài)3維醫(yī)學圖像無法提供足夠精準的病例信息進行診療,且對實現(xiàn)腫瘤模型重建,描述腫瘤位置、大小和特征信息顯然是不充分的。由于3維醫(yī)學影像分辨率較高,其包含的特征信息較為龐大,且腫瘤自身具有復雜性和多樣性,可以通過有效整合多模態(tài)圖像數(shù)據(jù)信息,降低數(shù)據(jù)存儲和處理的成本和時間,減少計算復雜度,提高數(shù)據(jù)處理的高效性(李鏘 等,2020;Lee 等,2014;Giraud等,2018;Vupputuri等,2018)。因此,如何針對單模態(tài)梭形纖維增生性腫瘤和致密的脈管結(jié)構(gòu)性血管腫瘤與有絲分裂增加導致的非典型性腫瘤存在的邊界模糊情況和醫(yī)學成像設備本身存在的模糊性等問題可通過多模態(tài)磁共振成像信息整合有效解決(劉宏 等,2014)。

5 結(jié) 語

超像素/體素算法可有效提高大對象規(guī)模和后續(xù)處理復雜的醫(yī)學圖像處理效率,隨著醫(yī)學圖像尺寸和維度增加,算法有利于結(jié)構(gòu)局部信息的表達,通過劃分特征相似的區(qū)域塊,為后續(xù)能夠獲得正確表達病灶結(jié)構(gòu)信息的目標分割奠定基礎?;卺t(yī)學圖像的超像素/體素算法已成為當前圖像分割領域熱點,受到國內(nèi)外學者的密切關注。通過介紹超像素/體素分割算法的評價指標、國內(nèi)外最新發(fā)展動態(tài)和對比實驗與分析,可看出超像素/體素分割算法具有較高的分割性能,研究領域具有良好的發(fā)展前景。但該算法在醫(yī)學圖像上的應用仍存在幾點不足:1)如何克服算法將具有大腦功能的區(qū)域塊與不具備腦部功能的區(qū)域塊劃分至同一子區(qū)域內(nèi),且使得初始設置的種子點可最大程度接近病灶結(jié)構(gòu)以滿足當今大數(shù)據(jù)和實時性要求,實現(xiàn)病灶結(jié)構(gòu)精確分割,提高算法精確度與性能為當前研究一大難點。2)如何有效克服醫(yī)學圖像中存在于邊界附近的異常點和噪聲點造成算法過擬合分割或分割不足的情況,在實現(xiàn)分割區(qū)域具有強空間連通性并保證得到的分割邊界不跨越遮擋影像邊緣信息的條件下,實現(xiàn)病灶的3維重建為另一大難點。隨著機器學習的興起,如何有效實現(xiàn)2維至3維醫(yī)學圖像的轉(zhuǎn)變,避免圖像特征不連貫的問題,并將多模態(tài)病灶信息有效整合,降低數(shù)據(jù)存儲空間和處理成本,進而高效實現(xiàn)病灶精準分割,較好輔助醫(yī)師預測并診斷病灶良惡性狀況和確定后續(xù)治療方案是未來超像素/體素算法的重要發(fā)展方向。

猜你喜歡
病灶邊界像素
剪切波彈性成像在乳腺不同深度病變中的可重復性評價
能譜CT 在肺癌淋巴結(jié)轉(zhuǎn)移診斷中的應用價值
像素前線之“幻影”2000
守住你的邊界
有邊界和無邊界
“像素”仙人掌
OF MALLS AND MUSEUMS
AP—4、EZH2基因表達量與子宮內(nèi)膜癌病灶中細胞凋亡、上皮間質(zhì)轉(zhuǎn)化的相關性研究
人蟻邊界防護網(wǎng)
高像素不是全部