周海柱,張 東,胡 平,祝新根
1武漢大學(xué)物理科學(xué)與技術(shù)學(xué)院,湖北 武漢 430072;2南昌大學(xué)第二附屬醫(yī)院神經(jīng)外科,江西 南昌330006
顱內(nèi)出血(ICH)根據(jù)出血位置的不同可以分為腦實(shí)質(zhì)出血(IPH)、腦室內(nèi)出血(IVH)、硬膜外血腫(EDH)、硬膜下血腫(SDH)和蛛網(wǎng)膜下腔出血(SAH)5種類型。顱內(nèi)動(dòng)脈瘤破裂主要造成SAH,當(dāng)出血量較大時(shí)可能發(fā)生IPH和IVH。在臨床診治中,從頭部CT影像中獲取血腫的類型和大小是制定治療方案的重要步驟。當(dāng)前血腫大小主要是人工通過多田公式進(jìn)行粗略估算,由于人類判斷的主觀性差異,該方法常常會(huì)產(chǎn)生較大的估算誤差。為了獲取血腫的大小,首先需對(duì)血腫區(qū)域進(jìn)行分割。既往研究已使用傳統(tǒng)的影像學(xué)處理方法(如閾值分割[1,2]、模糊聚類[3,4]、區(qū)域生長(zhǎng)[5]、超像素[6]、活動(dòng)輪廓[7]等)完成血腫的自動(dòng)或半自動(dòng)分割,這些方法大量應(yīng)用到IPH的分割中并取得較好的結(jié)果。隨著機(jī)器學(xué)習(xí)的不斷發(fā)展,部分研究者使用UNet神經(jīng)網(wǎng)絡(luò)完成了不區(qū)分類型的腦血腫分割[8-12]。當(dāng)前研究主要集中在不區(qū)分類型的血腫分割,只有少量的工作嘗試對(duì)多類型血腫分割;但目前仍缺乏對(duì)于顱內(nèi)動(dòng)脈瘤破裂引起的顱內(nèi)出血多類型血腫分割的研究。本文在UNet的基礎(chǔ)上設(shè)計(jì)一種新的網(wǎng)絡(luò)模型。通過混合2D和3D卷積神經(jīng)網(wǎng)絡(luò)來完成顱內(nèi)動(dòng)脈瘤破裂引起的顱內(nèi)出血多類型血腫分割,結(jié)合數(shù)據(jù)處理階段的腦組織提取算法可以實(shí)現(xiàn)端到端的全自動(dòng)處理流程。該方法可以有效提升顱內(nèi)動(dòng)脈瘤破裂引起的顱內(nèi)出血的診治效率,擁有較好的臨床應(yīng)用價(jià)值。現(xiàn)報(bào)道如下。
本研究已通過南昌大學(xué)第二附屬醫(yī)院倫理委員會(huì)批準(zhǔn)。研究中共收集動(dòng)脈瘤性顱內(nèi)出血的CT影像數(shù)據(jù)644例。每例數(shù)據(jù)包含的切片數(shù)為24、28或32,空間分辨率統(tǒng)一重采樣為0.5 mm×0.5 mm×5 mm。本數(shù)據(jù)集包含3種出血類型,其中SAH為主體,同時(shí)包含IPH和IVH。數(shù)據(jù)由6位神經(jīng)外科研究生使用3D Slicer進(jìn)行手動(dòng)標(biāo)注,再由2位資深的放射醫(yī)師進(jìn)行審核校對(duì),最終對(duì)標(biāo)注結(jié)果達(dá)成一致。
原始數(shù)據(jù)首先使用自制的腦組織提取算法和矯正算法進(jìn)行預(yù)處理,再提取腦組織的最小感興趣區(qū),最后將切片分辨率統(tǒng)一調(diào)整為352×288;為使每例數(shù)據(jù)具有相同的切片數(shù),經(jīng)調(diào)整后移除腦組織占比低于20%的切片,最后保留剩余切片的前18張,即用于深度學(xué)習(xí)模型訓(xùn)練和測(cè)試的數(shù)據(jù)的分辨率為352×288×18。
本研究使用的數(shù)據(jù)為未經(jīng)處理的臨床數(shù)據(jù)。未經(jīng)處理的腦部CT影像中除了大腦組織外還存在顱骨、皮膚組織以及儀器固定架等構(gòu)成要素。為減少此類非腦部組織對(duì)血腫分割結(jié)果造成的不良影響,本研究在圖像預(yù)處理階段首先進(jìn)行CT圖像中的腦組織區(qū)域的提取,然后經(jīng)重采樣和裁剪等處理后獲取最終用于深度學(xué)習(xí)模型訓(xùn)練和測(cè)試的數(shù)據(jù)集。
基于顱骨和腦組織在CT值中存在明顯的差異,本研究使用區(qū)域生長(zhǎng)算法對(duì)腦組織進(jìn)行提?。▓D1)。在區(qū)域生長(zhǎng)過程中為防止過度生長(zhǎng),先檢測(cè)出腦干的位置作為區(qū)域生長(zhǎng)的一個(gè)邊界,算法具體步驟如下:(1)提取顱骨邊界:將CT值高于120 Hu的區(qū)域確定為顱骨,并對(duì)該區(qū)域執(zhí)行形態(tài)學(xué)膨脹操作,封閉可能存在的間隙。(2)確定腦干區(qū)域:由于腦干區(qū)域以下位置的顱骨邊界是一個(gè)非封閉的區(qū)域,因此首先在前1/3切片的腦組織區(qū)域(CT值-20~120 Hu)進(jìn)行霍夫圓形檢測(cè),計(jì)算組織區(qū)域與檢測(cè)到的圓形的IOU系數(shù),并將IOU系數(shù)高于0.8的切片確定為存在腦干(圖2)。(3)確定生長(zhǎng)種子點(diǎn):從后2/3切片中選取前景區(qū)域(CT值大于-20 Hu)面積最大的切片的中心為生長(zhǎng)種子點(diǎn)。(4)區(qū)域生長(zhǎng):從種子點(diǎn)向四周開始生長(zhǎng),生長(zhǎng)邊界為(2)中得到的最后一張存在腦干的切片和(1)中提取的顱骨邊界,最終得到腦組織區(qū)域的初始掩膜。(5)掩膜邊界外擴(kuò):由于(1)中膨脹操作侵蝕了部分腦組織邊緣,因此使用膨脹操作對(duì)(4)中得到的腦組織掩膜進(jìn)行邊界外擴(kuò)。如果掩膜內(nèi)部存在孔洞則一并填充。(6)腦組織提?。禾崛⊙谀?duì)應(yīng)的區(qū)域作為腦組織區(qū)域。完成腦組織的提取之后(圖3),將其中腦組織面積最大的切片用于橢圓擬合,并使用橢圓的長(zhǎng)軸的旋轉(zhuǎn)角對(duì)腦組織進(jìn)行矯正(圖4)。
圖1 腦組織提取算法流程Fig.1 The flow of brain extraction.
圖2 腦干識(shí)別示意圖Fig.2 Diagram for brainstem recognition.Image B could be done from image A,which performed tissue extraction,erosion and removal of too-large or too-small areas.The IOU of brainstem position identification was 0.91.
圖3 腦組織提取結(jié)果Fig.3 Brain extraction results.The area under the red masked is the brain tissue.There were 28 slices in this case,and the currently selected slice was 2,6,11,18,23,26.The 6th slice was the last brainstem position after identification.
圖4 基于橢圓擬合的旋轉(zhuǎn)矯正Fig.4 Rotation correction.A:Result of ellipse fitting;B:Result of rotation.
1.3.1 網(wǎng)絡(luò)模型設(shè)計(jì) 本文提出基于深度學(xué)習(xí)的動(dòng)脈瘤性顱內(nèi)出血多類型血腫分割網(wǎng)絡(luò)的框架圖和詳細(xì)設(shè)計(jì)圖(圖5~6)。該網(wǎng)絡(luò)模型以醫(yī)學(xué)圖像領(lǐng)域經(jīng)典的UNet[13]作為主干網(wǎng)絡(luò)。經(jīng)典的UNet網(wǎng)絡(luò)中包含編碼器和解碼器兩部分,同層的編碼器和解碼器通過跳層連接進(jìn)行聯(lián)合。由于顱內(nèi)出血病灶在CT影像中均表現(xiàn)為高密度影,在不考慮出血類型的情況下,其特征是相似的;考慮出血病灶的位置時(shí),可以進(jìn)一步區(qū)分為不同的類型。為了獲得準(zhǔn)確的多類型分割結(jié)果,應(yīng)同時(shí)考慮其密度特征和其空間位置信息。在本文設(shè)計(jì)的混合2D/3D特征融合分割網(wǎng)絡(luò)中,使用2D-UNet進(jìn)行密度特征和片內(nèi)空間信息的提取,通過不區(qū)分類型的血腫標(biāo)簽進(jìn)行監(jiān)督;使用3D-UNet進(jìn)行切片間上下文信息的提取,最后將2DUNet和3D-UNet的特征輸出經(jīng)過3D的卷積模塊進(jìn)行特征融合,最后輸出多類型的分割結(jié)果。在網(wǎng)絡(luò)訓(xùn)練和預(yù)測(cè)中,每次選擇一例三維CT影像數(shù)據(jù)作為輸入,對(duì)于2D-UNet,輸入前將不同的切片拆分到Batch上,對(duì)于3D-UNet則將其作為一個(gè)整體輸入,此時(shí)的BatchSize為1。為了將2D-UNet的輸出特征與3D-UNet的輸出特征進(jìn)行拼接并送入3D卷積模塊進(jìn)行融合,需要保證二者空間大小一致,故2D-UNet輸出特征的Batch調(diào)整到特征的軸向空間。
圖5 混合2D/3D特征融合分割網(wǎng)絡(luò)框架圖Fig.5 The framework of 2D/3D segmentation network with feature fusion.
圖6 混合2D/3D特征融合分割網(wǎng)絡(luò)設(shè)計(jì)圖Fig.6 The design of 2D/3D segmentation network with feature fusion.
卷積模塊是CNN的基本組成,本文使用的卷積模塊(圖7A)包括卷積、歸一化和激活函數(shù),在2D UNet中,歸一化函數(shù)選擇為BatchNorm;在3D UNet中,由于BatchSize為1,所以歸一化函數(shù)選擇為InstanceNorm。
圖7 基本模塊Fig.7 Basic module.
血腫在影像中表現(xiàn)為高密度影,因此在下采樣中加入空間注意力模塊,以增強(qiáng)血腫的特征響應(yīng)(圖7B)。注意力模塊通過對(duì)輸入特征進(jìn)行不同的權(quán)重映射來提升感興趣區(qū)域?qū)ψ罱K結(jié)果的影響??臻g注意力模塊[14]通過在通道上進(jìn)行全局最大池化和全局平局池化得到一個(gè)與輸入特征空間大小一致的特征圖,然后將特征圖進(jìn)行拼接,再經(jīng)過一個(gè)卷積層進(jìn)行通道降維,最終經(jīng)過Sigmoid層激活(圖8)。上采樣模塊使用反卷積模塊對(duì)前一層網(wǎng)絡(luò)的輸出特征進(jìn)行特征層的縮放,然后和跳層連接的特征進(jìn)行拼接,最后經(jīng)過卷積模塊進(jìn)行特征融合(圖7C)。
圖8 空間注意力模塊Fig.8 Spatial attention module.
為了減少模型參數(shù)量,2D-UNet和3D-UNet的下采樣模塊只使用3個(gè),同時(shí)由于一個(gè)數(shù)據(jù)樣本的切片只有18張,為避免維度過度采樣,在3D-UNet中,只在最后一個(gè)下采樣模塊對(duì)軸向空間進(jìn)行下采樣。
1.3.2 損失函數(shù) 損失函數(shù)作為模型預(yù)測(cè)結(jié)果與目標(biāo)值誤差的一種度量,可以指導(dǎo)網(wǎng)絡(luò)在訓(xùn)練中的優(yōu)化方向。一個(gè)合適的損失函數(shù)可以有效提高網(wǎng)絡(luò)預(yù)測(cè)的準(zhǔn)確性。本文使用的損失函數(shù)由兩部分構(gòu)成:加權(quán)交叉熵?fù)p失和TverskyLoss[15]。交叉熵?fù)p失用于描述預(yù)測(cè)概率的分布模型,加權(quán)交叉熵對(duì)不同的類型賦予相應(yīng)的權(quán)重,提升交叉熵?fù)p失在不平衡數(shù)據(jù)集中的表現(xiàn),在多類型的監(jiān)督中,本文對(duì)于非出血區(qū)域、SAH、IPH、IVH選用的權(quán)重分別為1、5、10、10,在2D-UNet不區(qū)分血腫類型的監(jiān)督中,非出血區(qū)域和出血區(qū)域選用的分別權(quán)重為1、25。TverskyLoss用于描述預(yù)測(cè)結(jié)果與真實(shí)目標(biāo)的集合相似度,其中α和1-α分別控制著假陰性和假陽性的比例;當(dāng)α為0.5時(shí),TverskyLoss為DiceLoss,由于CT影像中SAH區(qū)域密度影較低,易形成假陰性,因此本文中α參數(shù)選取為0.75。公式如下:
其中為標(biāo)簽中第i的像素點(diǎn)為c類的概率,為預(yù)測(cè)結(jié)果中響應(yīng)像素點(diǎn)為c類的概率。
1.3.3 實(shí)驗(yàn)設(shè)置 本文將所有數(shù)據(jù)按8:2分為訓(xùn)練集和測(cè)試集,即訓(xùn)練集515例,測(cè)試集129例。為保證訓(xùn)練集中腦組織預(yù)處理結(jié)果的準(zhǔn)確性,人工對(duì)腦組織的提取和矯正結(jié)果進(jìn)行復(fù)核,測(cè)試集不做調(diào)整。由于數(shù)據(jù)量較少,需進(jìn)行數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集以滿足訓(xùn)練的需求??紤]到大腦的對(duì)稱性以及血腫類型與出血的位置相關(guān),因此本文只使用左右翻轉(zhuǎn)的方式對(duì)訓(xùn)練集進(jìn)行增強(qiáng)。
在CT影像數(shù)據(jù)中,不同的窗位和窗寬強(qiáng)調(diào)的特征各有側(cè)重,如正常腦組織的CT值范圍是28~40 Hu,血腫的CT值范圍是40~80 Hu[16]。為了充分利用不同窗位窗寬內(nèi)包含的先驗(yàn)知識(shí),選擇多窗寬窗位構(gòu)建模型的輸入數(shù)據(jù)。本文使用5個(gè)不同的窗位窗寬,其CT值范圍如下:0~100、10~90、20~80、30~80、40~80 Hu,最后對(duì)腦部區(qū)域進(jìn)行歸一化處理。
本研究的運(yùn)行平臺(tái)為:CPU:Intel Xeon E5-1660(3.7GHz);GPU:NVIDIA GeForce RTX 3060(12GB),DDR3:64GB;Python 3.82,Cuda 10.2。實(shí)驗(yàn)中使用Adam優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化;初始學(xué)習(xí)率設(shè)為0.0005,并使用ReduceLROnPlateau策略進(jìn)行動(dòng)態(tài)調(diào)整。
為了客觀評(píng)價(jià)模型的性能,研究中采用圖像分割領(lǐng)域廣泛使用的Dice系數(shù)作為評(píng)價(jià)指標(biāo),其計(jì)算公式如下:
其中真陽性(TP)指預(yù)測(cè)為正樣本,實(shí)際也為正樣本;假陽性(FP)指預(yù)測(cè)為正樣本,實(shí)際為負(fù)樣本;假陰性(FN)指預(yù)測(cè)為負(fù)樣本,實(shí)際為正樣本。
本文在644例未處理的臨床數(shù)據(jù)上進(jìn)行實(shí)驗(yàn),驗(yàn)證腦組織提取算法的有效性,結(jié)果使用Dice系數(shù)進(jìn)行衡量,真實(shí)的腦組織分割標(biāo)簽來自本文算法自動(dòng)提取并人工修正后的結(jié)果。為了體現(xiàn)本文算法的有效性,與ITK中的Skull-Stripping Filter以及FSL-Bet進(jìn)行對(duì)比。本文實(shí)驗(yàn)中Skull-Stripping Filter和FSL-Bet的輸入數(shù)據(jù)首先進(jìn)行閾值處理[17],僅保留CT值大于0 Hu且小于100 Hu的區(qū)域,其他區(qū)域則置0。對(duì)于提取結(jié)果進(jìn)行一定的后處理,包括對(duì)腦組織掩膜中的孔洞進(jìn)行填充以及移除位于顱骨上的掩膜區(qū)域。Skull-Stripping Filter、FSL-Bet和本文算法的Dice系數(shù)分別為0.952、0.982、0.985;盒子圖結(jié)果表明本文算法提取結(jié)果中的異常個(gè)體較少,算法更穩(wěn)定(圖9)。
圖9 腦組織提取結(jié)果盒子圖表示Fig.9 Box plots for the result of brain extraction(Dice).
為了定量評(píng)估模型的性能,本文與原始的UNet網(wǎng)絡(luò)(4次下采樣)進(jìn)行了對(duì)比。測(cè)試實(shí)驗(yàn)結(jié)果顯示(表1):相對(duì)于3D-UNet,2D-UNet對(duì)于不區(qū)分類型的血腫分割的Dice系數(shù)更高,但是由于缺乏三維的空間信息,在IPH和IVH上的分割表現(xiàn)欠佳。本文網(wǎng)絡(luò)通過結(jié)合2DUNet和3D-UNet,在保證ICH和SAH的分割精度的基礎(chǔ)上,提升了IPH和IVH的分割精度。
表1 血腫分割的表現(xiàn)Tab.1 The results of hematoma segmentation(%,Dice)
實(shí)驗(yàn)結(jié)果的定性分析結(jié)果顯示,本文算法、2D-UNet、3D-UNet均將SAH成功分割,其結(jié)果與真實(shí)標(biāo)簽匹配度均較高(圖10A)。2D-UNet將部分增厚的腦膜視為血腫,3D-UNet中將鈣化區(qū)視為血腫(圖10B)。四疊體池的輕微水腫所有網(wǎng)絡(luò)模型均識(shí)別錯(cuò)誤,內(nèi)側(cè)裂的輕微水腫區(qū)2D-UNet和3D-UNet將其識(shí)別為血腫,而在本文網(wǎng)絡(luò)中正確識(shí)別(圖10C)。由于IPH和IVH血腫區(qū)域相距較進(jìn),2D-UNet和3D-UNet均出現(xiàn)較大的誤差,本文網(wǎng)絡(luò)則能準(zhǔn)確區(qū)分不同的血腫類型(圖10D)。
圖10 分割結(jié)果圖Fig.10 Segmentation result.Red,yellow and blue represent the hematoma of SAH,IPH and IVH.The images from left to right are brain tissue,ground truths,prediction of 2D-UNet,prediction of 3D-UNet and prediction of the model in this article.
顱內(nèi)動(dòng)脈瘤破裂引起的顱內(nèi)出血是一種嚴(yán)重危及生命的腦血管疾病,其滲出的血液會(huì)引起SAH,甚至引起IPH和IVH。頭部CT成像作為當(dāng)前診斷顱內(nèi)出血的主要工具在治療中發(fā)揮著重要的作用。然而由于頭部CT成像需求的增加[18],過去15年放射科醫(yī)生的工作量增加了1倍[19]。醫(yī)生在面對(duì)大量繁雜的CT影像時(shí),可能會(huì)出現(xiàn)漏診和誤診[20]。
當(dāng)前已有研究者利用深度學(xué)習(xí)模型來完成顱內(nèi)出血的診斷,其中主要包括不區(qū)分類型的腦血腫分割[21-27]和出血的分類診斷[25-26];但針對(duì)顱內(nèi)動(dòng)脈瘤破裂引起的多類型出血,不區(qū)分類型地對(duì)血腫進(jìn)行分割或判斷是否存在某一類型的出血而不分割血腫區(qū)域并不能滿足實(shí)際的需求,更多需要按類型對(duì)出血區(qū)域進(jìn)行分割,然后統(tǒng)計(jì)不同類型的出血體積。有學(xué)者使用4條并行三維全卷積網(wǎng)絡(luò)對(duì)不同分辨率的影像數(shù)據(jù)進(jìn)行特征提取,最后通過全連接層進(jìn)行像素級(jí)別的分類,該方法在分塊的切片上完成了EDH、SDH和IPH3種類型的血腫分割[27]。Nijiati 等[28]則是在二維的UNet 中增加Transformer來增強(qiáng)全局信息的提取,彌補(bǔ)上下文信息的缺失,最終達(dá)到提升多類型分割精度的目的。將血腫分割為多種類型的主要難點(diǎn)在于需要同時(shí)考慮切片內(nèi)的空間信息和切片間的上下文信息。有研究將Mask-RCNN的編碼器部分置換成三維的卷積,但保持解碼器中的二維卷積,利用三維卷積對(duì)輸入的5張相鄰切片完成特征信息的提取,最終實(shí)現(xiàn)血腫的多類型分割,但在該方法中只是利用相鄰5張切片的空間信息,造成頭部CT影像數(shù)據(jù)中整體特征的丟失[29]。在顱內(nèi)血腫分割的研究中,部分研究者直接使用原始的CT影像數(shù)據(jù)進(jìn)行血腫的分割[21-22,25-29],也有部分研究者先進(jìn)行腦組織提取,然后再進(jìn)行血腫的分割[3,23-24]。提取腦組織后再進(jìn)行血腫分割一方面可以提升感興趣區(qū)的占比,另一方面可以減少網(wǎng)絡(luò)的計(jì)算量。目前主要的腦組織提取工具有ITK 中的Skull-stripping filter[31]以及FSL-bet,二者均是為MRI圖像中腦組織提取開發(fā)的工具,經(jīng)過適當(dāng)?shù)男薷模?7]可用于CT影像的腦組織提取,但由于CT影像與MRI影像的本質(zhì)差異,致使提取結(jié)果易出現(xiàn)較多的過分割和欠分割區(qū)域。
本研究顯示,2D UNet在血腫整體的分割上優(yōu)于3D UNet,這是由于在2D UNet中網(wǎng)絡(luò)參數(shù)更少,訓(xùn)練樣本更多,泛化能力更強(qiáng),但由于缺失切片間上下文信息在血腫分類上卻不及3D UNet。與其他僅使用二維或三維的網(wǎng)絡(luò)不同,本文算法使用混合的2D和3D網(wǎng)絡(luò)模型來完成多類型的血腫分割,以完整的三維CT影像數(shù)據(jù)作為輸入,避免分塊或取部分切片造成的信息缺失;2D網(wǎng)絡(luò)著重于切片內(nèi)部空間信息的提取,3D網(wǎng)絡(luò)著重于切片間上下文信息的提?。辉诰幋a器中加入了空間注意力機(jī)制,用于強(qiáng)化血腫的特征響應(yīng);為了向網(wǎng)絡(luò)中加入更多的先驗(yàn)知識(shí),使用不同的窗位窗寬構(gòu)建多通道數(shù)據(jù)作為網(wǎng)絡(luò)模型的輸入;使用TverskyLoss作為損失函數(shù),減少SAH的假陰性誤判。為了減少非腦部組織對(duì)網(wǎng)絡(luò)分割性能的影響,在數(shù)據(jù)預(yù)處理階段使用了一種簡(jiǎn)單高效的腦組織提取算法,通過疊加腦干識(shí)別,增加生長(zhǎng)邊界限制,獲取CT影像數(shù)據(jù)的腦組織區(qū)域;最終實(shí)現(xiàn)了從未處理的臨床CT數(shù)據(jù)預(yù)處理到獲取最終多類型血腫分割結(jié)果的全自動(dòng)處理流程。本文以動(dòng)脈瘤性顱內(nèi)出血作為切入點(diǎn),完成了多類型血腫的分割,但沒有對(duì)常見的出血部位(如前矢狀裂、后矢狀裂、外側(cè)裂、內(nèi)側(cè)裂、鞍上池、環(huán)池、四疊體池等)進(jìn)行精確定位,也未能從分割結(jié)果中給出治療建議,這些有待今后研究加以完善。
綜上所述,本研究所提出的算法可以實(shí)現(xiàn)臨床治療中較為精確的顱內(nèi)動(dòng)脈瘤破裂所引起的顱內(nèi)出血血腫區(qū)域分割,在提高了醫(yī)生工作效率,減少了人工成本的同時(shí),為臨床治過程中制定后續(xù)的治療計(jì)劃提供了新的參考信息。