張栩陽,姚韻楚,石 悅,佟 鑫,梁昕語,童薪宇,劉愛華,陳端端,4
(1.北京理工大學生命學院,北京 100081;2.應(yīng)脈醫(yī)療科技(上海)有限公司,上海 200120;3.首都醫(yī)科大學附屬北京天壇醫(yī)院神經(jīng)介入中心,北京 100070;4.北京理工大學醫(yī)學技術(shù)學院,北京 100081)
顱內(nèi)動脈瘤是一種相對常見的顱內(nèi)血管疾病,通常瘤體形態(tài)較小,狀態(tài)相對穩(wěn)定,但仍然存在一定的破裂風險。顱內(nèi)動脈瘤的破裂會導(dǎo)致血液進入蛛網(wǎng)膜下腔區(qū)域,引起蛛網(wǎng)膜下腔出血[1-2],造成高達25%~50%的致死率,近一半的幸存者還會發(fā)生永久性殘疾[3]。飛行時間(Time-of-flight,TOF)磁共振血管造影(Magnetic resonance angiography,MRA)是臨床最常用的顱內(nèi)動脈瘤診斷影像模態(tài)之一[4]。在傳統(tǒng)診斷流程中,醫(yī)生通?;赥OF-MRA 從瘤體大小和發(fā)生位置等多元形態(tài)特征對顱內(nèi)動脈瘤進行風險評估[5],從而決定是否開展介入干預(yù)[6]。醫(yī)生在進行形態(tài)學分析時,通常經(jīng)驗化地對血管和動脈瘤結(jié)構(gòu)進行視覺估測,缺乏支持三維精準分析的標準體系。另外,人工進行血管三維重建和分析所需要的時間成本極高,從診斷效率而言,這種流程無法適用于臨床。因此,隨著病患數(shù)量的逐年增加,臨床對于顱內(nèi)動脈瘤疾病的快速診斷和精準規(guī)劃的需求越來越明顯。這種診療模式的優(yōu)化對于減輕臨床工作壓力、高效分配醫(yī)療資源以及推進精準診療建設(shè)都十分關(guān)鍵,而血管三維重建是實現(xiàn)這種優(yōu)化的重要基礎(chǔ)。近年來,針對顱內(nèi)動脈瘤疾病的醫(yī)學工程研究也對快速精確的血管重建提出了需求。通過在血管和病灶上測量三維參數(shù),臨床可開展疾病規(guī)律的統(tǒng)計學分析[7]或建立關(guān)于疾病風險評估的機器學習模型[8-10]。此外,血管三維重建也為各類新型數(shù)字診療技術(shù)研究提供關(guān)鍵支持,例如虛擬支架技術(shù)[11-12]可在術(shù)前模擬支架的選擇并驗證其部署效果,提升手術(shù)的安全性和有效性;結(jié)合血液動力學分析技術(shù),可計算顱內(nèi)動脈瘤患者的三維血流功能特征,為疾病分析提供新的特征維度[13-15]。
很多團隊針對顱內(nèi)動脈開展了一系列的分割算法研究,這些方法可大致分為兩類:基于規(guī)則的傳統(tǒng)分割方法和基于深度學習的智能分割方法。在傳統(tǒng)方法中,以Level-set 為基礎(chǔ)的分割策略較為常見,例如有研究團隊構(gòu)建了一種局部化的混合Level-set 方法[16],并在TOF-MRA 腦血管分割任務(wù)中進行了測試。也有研究對結(jié)合血管增強技術(shù)的3 種不同的Level-set 方法進行了測試,分析它們在腦血管分割中的應(yīng)用性能[17]。其他研究者基于Hessian 矩陣[18]、Otsu[19]、優(yōu)化聚類算法[18,20]以及主動輪廓模型[21]等,設(shè)計了TOF-MRA 顱內(nèi)動脈的分割模型,也都取得了不錯的效果。然而,對于具有復(fù)雜特征的大規(guī)模血管影像而言,傳統(tǒng)分割方法在泛化性上仍然具有一定的劣勢。近年來,有許多團隊結(jié)合深度學習技術(shù)設(shè)計了顱內(nèi)血管分割方法,主要是以U-Net 模型為基礎(chǔ)[22-23],結(jié)合圖像濾波[24]或數(shù)據(jù)增強[25]等方案進行模型設(shè)計,或者在模型結(jié)構(gòu)上引入注意力機制[26]來實現(xiàn)泛化性較強的分割。然而,由于計算資源的制約,這些方法都是基于2D 的圖像塊進行模型的訓練和測試,缺乏對三維血管特征的理解。有研究者建立了一種基于3D U-Net 的多尺度學習模型[27],在輸入3D 圖像塊的同時,壓縮原始影像作為輸入以補充全局特征,在適應(yīng)有限的計算資源的同時取得了不錯的分割效果。以上研究均未面向顱內(nèi)動脈瘤疾病開展分割算法的設(shè)計和測試。此外,許多新型的數(shù)字診斷與疾病分析技術(shù)需應(yīng)用于特定的血管結(jié)構(gòu)。例如,虛擬支架技術(shù)需將支架部署于含動脈瘤的血管區(qū)域,并模擬其與血管壁之間的力學交互[11-12];血液動力學分析需以局部血管區(qū)段(例如基底動脈段、左或右側(cè)大腦動脈等)作為求解域,提升血流參數(shù)計算的準確性[13-14];對于血管和病灶形態(tài)學特征的計算而言,特定血管區(qū)域的預(yù)識別能夠有效提升測量算法的執(zhí)行效率和計算精度。上述技術(shù)均能夠服務(wù)于顱內(nèi)動脈瘤疾病的臨床診療流程,為其提供自動化和智能化的輔助,而血管多結(jié)構(gòu)的自主識別是實現(xiàn)上述技術(shù)的關(guān)鍵基礎(chǔ)。因此,顱內(nèi)動脈不同區(qū)域的識別與重建對于臨床研究和輔助診療技術(shù)研發(fā)都具有重要意義,但現(xiàn)有算法研究尚未對顱內(nèi)動脈多結(jié)構(gòu)分割的問題做出探索。因此,本文提出了一種面向顱內(nèi)動脈瘤血管的三維分割框架,采用自適應(yīng)的數(shù)據(jù)采樣機制和基于Dense 機制的深度卷積模型,從TOF-MRA 影像中自動實現(xiàn)基底動脈和左、右大腦動脈3 個顱內(nèi)血管區(qū)域的多類別分割。
基于首都醫(yī)科大學附屬北京天壇醫(yī)院的影像平臺,本研究收集了2018—2020 年共166 例顱內(nèi)動脈瘤患者的TOF-MRA 影像(包含男性患者75 例),患者年齡分布為54.7±12.7 歲。在該數(shù)據(jù)集中,影像水平分辨率范圍為0.391~0.557 mm,垂直掃描層厚范圍為0.449~0.900 mm,其中83.7%的數(shù)據(jù)在(z,y,x)方向上的體素數(shù)量為(256,512,512)。部分患者的影像存在兩方面問題:就成像空間的規(guī)范性而言,掃描范圍可能覆蓋了主動脈等大量無關(guān)區(qū)域,或者并未覆蓋完整的顱內(nèi)血管結(jié)構(gòu);就成像質(zhì)量而言,血管遠端細小分支造影不充分,或影像噪聲嚴重十分嚴重。本文首先針對上述問題對數(shù)據(jù)進行清洗,最終篩選出135 例影像數(shù)據(jù)形成最終數(shù)據(jù)集。為了更加客觀地進行算法比較,本研究采用5-fold 交叉驗證機制訓練和測試不同模型,在每組實驗中訓練數(shù)據(jù)與測試數(shù)據(jù)的比例為4∶1,并用5 組測試結(jié)果的平均值作為模型性能的衡量標準。
本文基于顱內(nèi)血管的先驗解剖結(jié)構(gòu),將整個血管樹劃分為3 個部分:(1)根據(jù)前交通動脈,將大腦前、大腦中以及頸內(nèi)動脈分為左、右對稱的兩個區(qū)域,分別記為L 和R;(2)將基底動脈和兩側(cè)對稱的大腦后動脈歸為同一區(qū)域,并根據(jù)后交通動脈將該區(qū)域與L 和R 分離,記為M。對于在血管解剖結(jié)構(gòu)中不存在后交通動脈,導(dǎo)致大腦后動脈與基底動脈未連通的患者,本文同樣將大腦后動脈和基底動脈歸于同一類中,從而避免在不同患者的血管結(jié)構(gòu)劃分上產(chǎn)生歧義。本文全部入組數(shù)據(jù)均由1 位專家醫(yī)生完成標注,并通過了多位其他專家的驗證,建立了最終的標注數(shù)據(jù)集。
在MRA 影像中,顱內(nèi)動脈具有如下兩種明顯的形態(tài)學特征:顱內(nèi)血管由近端到遠端呈現(xiàn)出由粗漸細的樹狀結(jié)構(gòu),結(jié)構(gòu)曲率變化明顯且十分復(fù)雜;血管遠端的樹狀結(jié)構(gòu)幾乎分布于整個顱腔內(nèi),占據(jù)了較大的成像空間,但單根血管非常細小,占據(jù)了極少量的體素。為了能夠基于三維影像特征實現(xiàn)更加精準的三維血管結(jié)構(gòu)分析,有兩種方案可以采?。海?)基于插值運算壓縮全圖進行分割,但由于顱內(nèi)血管過于細小,圖像壓縮必定會造成大量不可彌補的細節(jié)丟失;(2)對圖像進行區(qū)塊采樣,通過增加采樣率來模擬全圖視覺,但可能對于血管復(fù)雜的連接特征學習不充分,影響到血管分割的完整性。本文以圖像裁剪策略為基礎(chǔ),首先建立了一種自適應(yīng)的感興趣區(qū)域(Volume of interest,VOI)計算方法來預(yù)設(shè)采樣空間,旨在強化訓練過程中數(shù)據(jù)裁剪的有效性。
圖1 描述了VOI 自適應(yīng)計算的全過程。首先,已知TOF-MRA 影像中血管結(jié)構(gòu)的先驗灰度范圍在50~700 之間,本文提取介于該范圍的全部體素作為前景,實現(xiàn)圖像的二值化,但由于部分骨性結(jié)構(gòu)也在該灰度范圍內(nèi),特別是分布于外周的不對稱顱骨可能會影響到VOI 的定位,可以通過形態(tài)學開運算去除顱骨區(qū)域,隨后取出最大連通域,剩余前景結(jié)構(gòu)則主要由顱內(nèi)血管組成。考慮到血管樹遠端的血管結(jié)構(gòu)在X和Y方向上分布更廣,也更能夠反映血管全局結(jié)構(gòu)的實際位置,本文提取了Z軸上半部分影像中的前景結(jié)構(gòu),獲取其在水平面內(nèi)的最小邊界框,并設(shè)定邊界框的幾何中心為(x0,y0)。進一步地,本文對邊界框進行優(yōu)化,預(yù)設(shè)在每個影像的X-Y平面內(nèi)均提取邊長為S的方形空間作為VOI,并通過如下方式計算其在每個原始影像中對應(yīng)地實際采樣區(qū)域,即
圖1 基于血管先驗灰度特征的VOI 自適應(yīng)計算Fig.1 Adaptive VOI calculation based on the prior vascular gray-level feature
式中:d表示x或y;min/max 描述在該維度上VOI 空間的下/上邊界;rs表示每例圖像在X/Y軸方向的原始分辨率。本文保留了全部數(shù)據(jù)的原始分辨率,避免因插值造成細節(jié)特征丟失,并設(shè)置S=170 mm。由于血管樹分布于整個Z軸空間,并未在Z軸方向限定采樣區(qū)間,最終提取的VOI 區(qū)域進行灰度范圍的約束,即將灰度值低于50 或高于900 的背景和噪聲區(qū)域置零。
本文借鑒DenseNet 網(wǎng)絡(luò)[28]的設(shè)計理念,構(gòu)建了1 種以Dense 模塊為核心的分割網(wǎng)絡(luò)模型,網(wǎng)絡(luò)的基本架構(gòu)如圖2 所示。在網(wǎng)絡(luò)的降采樣結(jié)構(gòu)中,共建立了3 個具有不同深度的Dense 模塊,每一個模塊的逐層信道增量均為12,但深度不同。3 個Dense 模塊分別包含4、8 和16 層卷積層(Conv),每層Conv均采用3×3×3 的卷積核輸出12 個特征信道,并基于Batchnorm 和LReLU 層進行歸一化和特征激活。為了更加適應(yīng)有限的顯存空間,在每一個Dense 模塊前均設(shè)置了單層Conv 進行圖像的下采樣(卷積核為4×4×4,卷積步長為2),每個下采樣層同時接受上一個Dense 模塊處理前、后的淺層和深層特征;在網(wǎng)絡(luò)的升采樣結(jié)構(gòu)中包含3 個升采樣模塊,每個模塊由單個具有3×3×3 卷積核的反卷積層構(gòu)成,同時接受上一層的輸出和來自同層級Dense 模塊的淺層與深層特征。最終,網(wǎng)絡(luò)通過單層Conv 實現(xiàn)信道收縮和輸出,由于在該分割任務(wù)中需要實現(xiàn)背景和3 種血管結(jié)構(gòu)的識別,輸出層的輸出信道設(shè)置為4。以Dense 模塊為核心的網(wǎng)絡(luò)模型具有較高的計算效率,能夠用較少的計算參數(shù)進行高效的特征和梯度傳遞,因此也易于用更少的計算空間實現(xiàn)高精度的分割任務(wù)。
圖2 基于Dense 模塊的網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The proposed network based on Dense block
針對多類別結(jié)構(gòu)的分割任務(wù),在本研究中直接采用多類別Dice損失函數(shù)進行模型的優(yōu)化,損失函數(shù)為
式中:C和c分別表示任務(wù)中所需要分割的類別數(shù)和類別編號;Yc和分別表示對應(yīng)類別的標注結(jié)果和預(yù)測概率。對于算法的數(shù)值評價,采用了兩項評價指標,分別為Dice 相似性系數(shù)(Dice similarity coefficient,DSC)和95% Hausdorff 距離(95% Hausdorff distance,HD95),其中DSC 用于評價分割結(jié)果和標注結(jié)果的全局重合性,但并不能充分反映細小血管的分割效果,而HD95對于小血管分割不良或噪聲所造成的邊界差異則更加敏感。兩種評價指標的計算公式為
式中:R和G分別表示分割結(jié)果和標注結(jié)果;D(R,G)描述了從R中的每一個邊界體素到G中邊界體素的最近距離的集合;P95[D]計算了該集合中的95%百分位的距離值。
在模型訓練的過程中,本文設(shè)置的超參數(shù)如下:單次迭代采用的批數(shù)據(jù)量為2,共執(zhí)行約30 000 次迭代;基于隨機梯度下降算法優(yōu)化模型參數(shù),初始學習率為0.01,并在每10 000 次迭代后衰減為原學習率的10-1;模型權(quán)重的衰減系數(shù)為10-4。所有模型均部署于Linux 服務(wù)器(顯卡配置:Geforce RTX3090×2)上開展訓練和測試。本文設(shè)定訓練過程中3D 圖像裁剪的目標大小為2563,單個VOI 中圖像塊采樣頻率為40;在推理的過程中,算法首先計算測試數(shù)據(jù)的VOI,隨后在VOI 中緊鄰圖像邊緣取出數(shù)個大小為2563的圖像塊,并確保任意2 個圖像塊間重疊最小,所有圖像塊可共同覆蓋整個VOI。由于圖像塊之間重疊的體素會被重復(fù)分割,本文采用這些體素在不同圖像塊中預(yù)測結(jié)果的均值作為最終的分割結(jié)果。
本文首先分析自適應(yīng)VOI 計算模塊對分割效果的影響,并與2 種傳統(tǒng)的數(shù)據(jù)采樣方案進行比較。(1)原空間裁剪。直接在原始影像空間中多次隨機提取三維圖像塊進行模型訓練。本文設(shè)定圖像塊的采樣頻率為40,所提取的圖像塊大小同樣為2563,與自適應(yīng)采樣方法中提取的圖像塊大小一致。(2)圖像壓縮。基于插值運算對原圖進行壓縮后訓練模型。由于這種方案會造成訓練樣本量的銳減,在訓練的過程中設(shè)計了數(shù)據(jù)增強策略。首先,在[-60°,60°]的范圍內(nèi)隨機選取轉(zhuǎn)角,并使壓縮后的圖像在X-Y平面內(nèi)旋轉(zhuǎn)對應(yīng)的角度;另外,鑒于顱內(nèi)血管解剖結(jié)構(gòu)的對稱性,壓縮后的影像可隨機進行左右對側(cè)翻轉(zhuǎn),但在翻轉(zhuǎn)后需對換標注中的L 和R,避免造成左、右側(cè)動脈的位置歧義。在該實驗中,圖像壓縮的目標大小同樣為2563,基于數(shù)據(jù)增強的圖像采樣率為40。上述3 種采樣方案均以本文構(gòu)建的基于Dense 機制的網(wǎng)絡(luò)為載體進行測試(2.2 節(jié)),并在訓練的過程中使用了同樣的超參數(shù)(2.3 節(jié))。為了公平比較數(shù)據(jù)采樣方案的作用,在計算評價指標之前,本文首先通過插值運算將圖像壓縮策略下的分割結(jié)果復(fù)原為原始分辨率。最終所有指標的計算均在原始空間分辨率下進行。
河流1 000 m以內(nèi)的農(nóng)村居民點數(shù)量顯著高于其他區(qū)域,距離河流2 000 m以內(nèi)農(nóng)村居民點分布面積最多,面積占比高達79.7%,且平均面積與標準差明顯大于2 000 m以外區(qū)域,表明2 000 m內(nèi)外農(nóng)村居民點規(guī)模差異明顯,河流對其規(guī)模影響較大。距離河流大于3 000 m區(qū)域的農(nóng)村居民點數(shù)量與面積均大于2 000 m~3 000 m區(qū)域,但斑塊密度與景觀所占面積更低。這是由于大于3 000 m的區(qū)域面積更加廣闊,導(dǎo)致斑塊密度與景觀所占面積降低。研究結(jié)果表明農(nóng)村居民點分布具有親水性,但在易于獲取地下水資源的地區(qū),河流水庫對其分布的限制性較小。
表1 展示了基于不同數(shù)據(jù)采集方案訓練的模型在測試集上的分割效果,可以發(fā)現(xiàn)就DSC 而言,本文提出的方法具有明顯優(yōu)勢。該結(jié)果說明預(yù)先設(shè)定圖像裁剪的VOI 區(qū)域可能強化了訓練數(shù)據(jù)的有效性,從而在訓練過程中提供更加豐富的血管特征,能夠在一定程度上減少血管斷裂和假陽性分割,提高模型的魯棒性。圖3 展示了2 個案例在3 種不同采樣方法下分割結(jié)果的可視化,可以發(fā)現(xiàn)圖像壓縮策略會明顯造成血管特征失真,導(dǎo)致血管輪廓非常粗糙,難以用于進一步的測量和分析;在原始空間進行圖像采樣時,模型難以充分理解血管的空間連續(xù)性,容易分割出斷裂的血管片段,并且受到細小骨性結(jié)構(gòu)的影響,造成假陽性分割。
圖3 基于不同數(shù)據(jù)采集方案的分割結(jié)果可視化Fig.3 Visualization of segmentation results based on different image sampling strategies
表1 基于不同數(shù)據(jù)采集及訓練方案的分割結(jié)果Table 1 Segmentation results based on different image collection and training strategies
HD95所描述的是邊界誤差,但就該指標而言,本文構(gòu)建的模型并未表現(xiàn)出明顯的優(yōu)勢,而是圖像壓縮方法表現(xiàn)出更好的效果。這主要是因為邊界誤差對于離散的分割結(jié)果和噪聲十分敏感,圖像壓縮雖然導(dǎo)致細節(jié)丟失,但完整的結(jié)構(gòu)信息有利于模型區(qū)分血管和骨性區(qū)域,減少了假陽性分割和血管斷裂的發(fā)生。另外,在不同結(jié)構(gòu)分割結(jié)果的比較中可以發(fā)現(xiàn),L 和R 的分割結(jié)果中表現(xiàn)出更多的離散噪聲,這可能是因為大腦上動脈和中動脈遠端的小血管十分復(fù)雜,而且造影不均勻,更易產(chǎn)生不連續(xù)的血管分割,引發(fā)更大的邊界誤差。
為了驗證基于Dense 機制的網(wǎng)絡(luò)模型所具有的優(yōu)勢,引入了其他在醫(yī)學或自然圖像領(lǐng)域廣泛應(yīng)用的模型進行橫向比較,包括3D U-Net[29],SegNet[30]和DeepLabV3+[31]三種網(wǎng)絡(luò)模型。本文在確保每種網(wǎng)絡(luò)的全局結(jié)構(gòu)不變的條件下,對上述3 種網(wǎng)絡(luò)的信道數(shù)量進行適當調(diào)整,使GPU 能夠在訓練過程中容納下尺寸為2563的輸入圖像,并和Dense 機制網(wǎng)絡(luò)占用相同大小的計算空間。所有訓練均采用本研究提出的基于VOI 的自適應(yīng)圖像裁剪方法進行數(shù)據(jù)采樣,并使用與2.3 節(jié)中描述一致的超參數(shù)。不同模型的參數(shù)規(guī)模及其在2 種指標上的測試結(jié)果均展示于表2 中。結(jié)果可以證明,以Dense 模塊為核心的網(wǎng)絡(luò)不僅可以提升參數(shù)利用效率,還能夠進一步提高血管分割的精度。
表2 基于不同網(wǎng)絡(luò)模型的分割結(jié)果Table 2 Segmentation results based on different network architectures
顱內(nèi)動脈瘤血管結(jié)構(gòu)的自動分割可以支持精確診斷、病灶測量以及手術(shù)規(guī)劃等臨床流程。其中,對于動脈瘤病灶區(qū)域的精準分割在很大程度上反映了算法的實際應(yīng)用價值。本文針對分布于不同血管結(jié)構(gòu)、具有不同大小的顱內(nèi)動脈瘤分割結(jié)果進行定性分析,進一步驗證模型的有效性。圖4 展示了3個分別生長于左大腦動脈、基底動脈和右大腦動脈上的動脈瘤,以及對應(yīng)的人工標注和自動分割結(jié)果??梢园l(fā)現(xiàn),雖然顱內(nèi)動脈瘤在形態(tài)和空間分布上均具有一定的隨機性,本文所建立的分割框架對于瘤體的分割仍表現(xiàn)出良好的泛化性。
圖4 具有不同位置及形態(tài)特性的顱內(nèi)動脈瘤分割效果定性分析Fig.4 Qualitative segmentation analysis of the intracranial aneurysms with different location and morphology features
本文提出了一種面向TOF-MRA 中顱內(nèi)動脈瘤血管的多結(jié)構(gòu)自動分割框架。該框架基于血管灰度先驗特征,從原始影像中自適應(yīng)計算血管區(qū)域的VOI,通過限定數(shù)據(jù)采樣空間來強化圖像采樣的有效性。本文還構(gòu)建了一種以Dense 模塊為核心的網(wǎng)絡(luò)模型,實現(xiàn)了基底動脈和左、右大腦動脈3 種血管結(jié)構(gòu)區(qū)域的高精度分割。實驗結(jié)果表明,基于造影血管先驗特征的自適應(yīng)采樣可以有效提升分割精度;與傳統(tǒng)網(wǎng)絡(luò)模型相比,基于Dense 機制的分割網(wǎng)絡(luò)在計算效率和精度上均具有明顯優(yōu)勢。本文提出的分割框架不僅能夠自動區(qū)分血管解剖區(qū)域,對于具有不同大小和生長位置的瘤體也表現(xiàn)出良好的分割泛化性,因此具有良好的臨床及科研應(yīng)用價值。