張軍,黃勇,黃曉雨,汪琦,吳齊兵,徐凱,梁棟
230039 合肥,安徽大學 互聯(lián)網(wǎng)學院(張軍、徐凱、梁棟);230012 合肥,合肥市第二人民醫(yī)院 腫瘤內(nèi)科(黃勇); 230032 合肥,安徽醫(yī)科大學 第一臨床醫(yī)學院(黃曉雨、汪琦、吳齊兵)
食管癌是世界范圍內(nèi)常見腫瘤之一,發(fā)病率占惡性腫瘤排行第9位,死亡率占第6位[1]。手術治療是食管癌首選的治療方式,但食管癌侵襲性很強,病程前期即可發(fā)生淋巴及血行轉(zhuǎn)移等并發(fā)癥,且疾病早期癥狀不明顯,多數(shù)人因進食哽咽、聲音嘶啞等癥狀就診時腫瘤已處于進展期,往往已失去手術切除機會[2]。對于不可手術治療的食管癌患者,單獨使用化療、靶向等治療手段療效不佳,5年生存率不高[3-4]。相對而言,放射治療能夠使一部分進展期食管癌患者獲得長期生存機會,在不可手術切除的食管癌綜合治療中占據(jù)主要地位[5]。放療的過程包括定位、掃描、靶區(qū)勾畫、物理醫(yī)師制定放療計劃、復位、放療。而腫瘤局部復發(fā)和遠處轉(zhuǎn)移是食管癌放療失敗的主要原因,且由于人體正常組織可耐受的放射劑量有限,食管癌患者放療失敗后接受二程放療的風險極大,容易造成食管氣管瘺、食管縱膈瘺等嚴重并發(fā)癥。因此,在食管癌放療開始前,食管癌腫瘤靶區(qū)的精確勾畫是十分重要的環(huán)節(jié)[6],該任務通常是由放療科??漆t(yī)生通過治療計劃系統(tǒng)人工手動進行,過程耗時且靶區(qū)的準確性高度依賴于醫(yī)生的知識、經(jīng)驗和偏好[7]。
近年來,多位研究者嘗試將深度學習自動勾畫方法應用于臨床靶區(qū)勾畫[8-9],馬辰鶯等[10]采用改進的VB-Net深度學習網(wǎng)絡應用于宮頸癌術前臨床盆腔淋巴引流區(qū)和宮旁區(qū)域以及術后盆腔淋巴引流區(qū)的分割,在測試數(shù)據(jù)集上平均自動勾畫與參考勾畫的吻合度分別達80.0%、70.0%及86.0%。王學濤等[11]在經(jīng)典U-Net網(wǎng)絡中引入殘差單元和注意力機制單元對乳腺癌臨床靶區(qū)及危及器官進行勾畫,在測試數(shù)據(jù)集上平均自動勾畫與手動勾畫結(jié)果的吻合度分別達到80.5%及92.0%。以上研究初步證明了基于深度學習自動勾畫腫瘤靶區(qū)的可行性,但有關食管癌靶區(qū)勾畫的研究較少,目前僅Cao等[12]在U-Net基礎上提出一種DDUnet深度學習網(wǎng)絡,應用于食管癌術后臨床靶區(qū)勾畫,在測試集中驗證精度達86.7%??紤]到食管癌CT影像中病灶區(qū)與背景區(qū)的面積差異較大,常規(guī)U-Net等網(wǎng)絡模型未能較好學習到靶區(qū)目標特征?;诖?,本研究提出一種嵌入空間金字塔池化層的U型對稱自動勾畫網(wǎng)絡,并探究其用于食管癌腫瘤靶區(qū)自動勾畫的幾何精度,探討其臨床應用的可能性。
數(shù)據(jù)選取自2013年1月至2021年10月在合肥市第二人民醫(yī)院已接受調(diào)強適形放療的100例食管癌患者CT影像,其中術前患者71例,術后患者29例,共選取切片數(shù)5 094張。患者均采取仰臥位真空墊固定,使用GE LightSpeed 16排CT模擬定位機進行定位掃描,影像分辨率512×512,重建層厚5 mm。主管醫(yī)師在瓦里安Eclipse計劃系統(tǒng)上完成危及器官以及腫瘤靶區(qū)的勾畫。
由于本文所收集的術后患者數(shù)據(jù)均為術后復發(fā)數(shù)據(jù),其CT影像含有食管癌腫瘤病灶,因此將術前和術后數(shù)據(jù)同時入組進行實驗,并采用兩種不同的數(shù)據(jù)劃分方式,來對模型進行評估:1)采用患者切片影像為單位的方式對數(shù)據(jù)集進行劃分,將患者的所有切片影像放在一起,從中選取10%作為測試集,來評估模型訓練完成后的性能。其余90%作為訓練驗證集,訓練時隨機選取80%作為訓練集用于訓練模型,20%作為驗證集,用于單個批次訓練完成時驗證模型的損失值和精確度以評估模型的穩(wěn)定性;2)采用以患者整體為單位對數(shù)據(jù)集進行劃分,從100例患者數(shù)據(jù)中隨機選取術前患者7例和術后患者3例作為測試集,其余90例中的20%作為驗證集,并在單個批次訓練完成時測試模型的損失值和精確度以評估模型的穩(wěn)定性。90例中的80%作為訓練集用于訓練模型。
首先將原始dcm格式影像的灰度值線性映射至0~255范圍,存儲為png格式,大小為512×512的影像切片。并將切片影像對應的主管醫(yī)師手動勾畫腫瘤靶區(qū),經(jīng)專家審核后作為參考勾畫。此外,為提升網(wǎng)絡泛化能力,在訓練數(shù)據(jù)輸入網(wǎng)絡前進行增廣,以得到更多訓練數(shù)據(jù)。數(shù)據(jù)增廣形式主要為對切片影像進行仿射變換和彈性變換處理[13]。仿射變換處理主要將切片影像和靶區(qū)進行旋轉(zhuǎn)、翻轉(zhuǎn)、剪切等處理,其中經(jīng)仿射變換矩陣映射,任意原影像點和變換影像點兩點橫縱坐標差控制在15%左右。彈性變換處理對原影像中像素點各個維度產(chǎn)生隨機標準偏差生成變換影像。
經(jīng)典U-Net[14]網(wǎng)絡在分割精度和速度上都達到了較高水平,但對于食管腫瘤影像這種腫瘤邊界模糊、個體差異大,無法實現(xiàn)腫瘤靶區(qū)不同尺度的特征融合,以及傳統(tǒng)卷積層的感受野較小等問題。為解決上述問題,本文結(jié)合食管癌解剖結(jié)構特點,構建如圖1所示網(wǎng)絡結(jié)構:1)嵌入改進的空間金字塔池化層模塊,實現(xiàn)不同尺度的特征融合,對食管癌腫瘤靶區(qū)邊界更加敏感;2)采用空洞卷積替代傳統(tǒng)卷積層,擴大感受野;3)通過影像增強、歸一化處理等方法緩解梯度消失、過擬合等問題;隨著網(wǎng)絡層次加深,訓練時間增長,容易造成信息丟失產(chǎn)生錯誤。為解決這一問題,訓練分割網(wǎng)絡時引入He等[15]于2014年提出的空間金字塔池化層網(wǎng)絡原理,構造空間金字塔池化層模塊(spatial pyramid pooling,SPP),如圖2所示。分別對輸入的特征圖進行3次不同池化核大小的全局最大池化操作,在和輸入的特征圖拼接,之后進行卷積操作生成融合后的特征圖,以實現(xiàn)腫瘤靶區(qū)不同尺度的特征融合,從而提升網(wǎng)絡整體對腫瘤邊界的特征提取能力。
圖1 網(wǎng)絡結(jié)構圖
圖2 空間金字塔池化層模塊
整個實驗在顯存為24 GB的NVIDIA 3090 GPU上運行,使用Python編程語言在PyTorch框架內(nèi)實現(xiàn)。影像輸入大小設置為512×512,Batch Size為8以及Adam梯度下降算法。初始學習率為1×10-4,Epoch設置為50。
經(jīng)典U-Net網(wǎng)絡是利用SoftMax的輸出結(jié)果計算二元交叉熵損失(binary cross entropy,BCE),作為網(wǎng)絡整體的優(yōu)化函數(shù),見公式(1):
(1)
其中:N表示輸入影像像素總數(shù);gi∈{0,1}表示第i個像素的真實標簽,其中0為背景,1為病灶;pi∈[0,1]表示對應像素預測為前景的概率。當前景像素遠遠小于背景像素的數(shù)量,計算得到的背景損失值則較大,致使優(yōu)化函數(shù)在優(yōu)化網(wǎng)絡時更偏向于對背景的優(yōu)化。如圖3所示為食管癌患者CT影像,其中腫瘤靶區(qū)相對背景區(qū)域較小,因此數(shù)據(jù)集存在嚴重的前景與背景像素不平衡問題,使用二元交叉熵損失函數(shù)會使得網(wǎng)絡的最終勾畫效果不佳。
圖3 食管癌患者CT影像
The target area was colored by blue.
因此針對類別不均衡問題,本文采用一種在標準交叉熵損失基礎上改進的損失函數(shù)Focal_Loss[16],見公式(2):
(2)
其中y′表示經(jīng)過sigmoid的預測結(jié)果,y表示標簽的真實值,α和γ為平衡因子。在原有交叉熵損失函數(shù)的基礎上添加γ>0平衡因子是為了降低易分類樣本對loss的貢獻,使得網(wǎng)絡更加關注于難分類樣本本身,解決類別不平衡問題。此外添加α平衡因子是用來平衡正負樣本本身的數(shù)量不均問題。
本文采用戴斯相似性系數(shù)(Dice similarity coefficient,DSC)以及豪斯多夫距離(Hausdorff distance,HD)來評價自動勾畫與手動勾畫結(jié)果的相似性。
戴斯相似性系數(shù)對區(qū)域內(nèi)部填充比較敏感,其計算方法如公式(3)所示:
(3)
式中,A為自動勾畫部分,B為手動勾畫部分,分子為手動勾畫與自動勾畫交集的兩倍,分母為手動勾畫與自動勾畫區(qū)域的并集。DSC數(shù)值介于0和1之間,其值越大,表明重合度越高。
HD(A,B)對分割的邊界區(qū)域比較敏感,其計算方法如公式(4)、公式(5)所示:
HD(A,B)=max(h(A,B),h(B,A))
(4)
h(A,B)=max(min‖a-b‖),∈A,b∈B
(5)
其中,h(A,B)表示A集合中每一個點到B集合最小距離中的最大值。h(A,B)數(shù)值越小,表示A、B重合度越高,分割的效果越好。
使用基于Python 3.1軟件自編的程序分別對食管癌腫瘤靶區(qū)自動勾畫網(wǎng)絡進行評估參數(shù)提取,并利用SPSS 24.0軟件對結(jié)果進行統(tǒng)計分析和配對T檢驗。P<0.05為差異有統(tǒng)計學意義。
將SPP模塊放置在改進U-Net網(wǎng)絡的初始位置(記為SPPH-UNet),分別采用BCE_Loss及Focal_Loss應用于SPPH-UNet網(wǎng)絡與經(jīng)典U-Net網(wǎng)絡上,并與在U型對稱網(wǎng)絡中引入空洞卷積并添加批量歸一化的DDUnet網(wǎng)絡進行對比驗證,數(shù)據(jù)劃分方式采用以患者整體為單位對數(shù)據(jù)集進行劃分。所有實驗采用相同的訓練初始參數(shù)進行網(wǎng)絡訓練,選取在驗證集上趨于平穩(wěn)時的最優(yōu)模型應用于測試集上得到食管癌腫瘤靶區(qū)自動勾畫結(jié)果如表1所示,并對結(jié)果進行比較分析。
表1 網(wǎng)絡性能對比
可以看出SPPH-UNet相比經(jīng)典U-Net網(wǎng)絡不管是BCE_Loss還是Focal_Loss上均有所提升。DSC均值達到0.79±0.07,HD均值達到(28.24±19.03) mm,且單張切片在AMD Ryzen 7 5800H CPU上預測平均耗時約4.7 s左右。圖4展示了2位食管癌患者在不同網(wǎng)絡上對腫瘤靶區(qū)進行勾畫的結(jié)果。紅色標注為Ground Truth,即專業(yè)放療科醫(yī)生進行手工標注的靶區(qū)“金標準”,綠色標注為本次試驗的預測結(jié)果??梢钥闯鰯?shù)據(jù)經(jīng)網(wǎng)絡得到自動勾畫與醫(yī)師手動勾畫結(jié)果對比具有較好的一致性,符合臨床應用的要求。
圖4 2位食管癌患者在不同網(wǎng)絡上腫瘤靶區(qū)勾畫可視化圖
對比測試集十名患者手動勾畫與深度學習網(wǎng)絡自動勾畫后經(jīng)醫(yī)生審核并加以手動調(diào)整所需時間,結(jié)果如圖5所示,并對結(jié)果進行比較分析。
圖5 手動勾畫耗時與自動勾畫后經(jīng)醫(yī)生審核手動調(diào)整耗時對比
可以看出手動勾畫平均每個患者耗時51.5 min,而經(jīng)深度學習網(wǎng)絡自動生成的結(jié)果經(jīng)醫(yī)生審核手動調(diào)整平均每個患者耗時7.9 min,速度提升6.52倍。
為了探究不同數(shù)據(jù)劃分方式對最終結(jié)果的影響,本文進行了如下實驗研究,數(shù)據(jù)劃分方式采用以患者切片為單位對數(shù)據(jù)集進行劃分。所有實驗采用相同的訓練初始參數(shù)進行網(wǎng)絡訓練,選取在驗證集上趨于平穩(wěn)時的最優(yōu)模型應用于測試集得到食管癌腫瘤靶區(qū)自動勾畫結(jié)果如表2所示,并對結(jié)果進行比較分析。
表2 不同數(shù)據(jù)劃分方式對最終結(jié)果的影響
可以看出雖然采用不同的網(wǎng)絡以及不同的損失函數(shù),但最終結(jié)果差距不大且對比表1可以看出網(wǎng)絡離線的評估指標結(jié)果“虛高”。
將不同網(wǎng)絡以及不同損失函數(shù)對比經(jīng)典U-Net在DSC和HD指標上的統(tǒng)計分析,其配對t檢驗的P值結(jié)果如表3所示。所有配對t檢驗結(jié)果P值均小于0.05,差異有統(tǒng)計學意義。
表3 對比經(jīng)典U-Net網(wǎng)絡在DSC和HD指標上的配對T檢驗結(jié)果
食管癌腫瘤靶區(qū)勾畫的主要技術難點在于確定腫瘤邊界、腫瘤亞臨床病灶和微轉(zhuǎn)移灶、靶區(qū)內(nèi)腫瘤細胞的放療敏感性等,使得食管癌腫瘤靶區(qū)勾畫較其他腫瘤的靶區(qū)勾畫更具挑戰(zhàn)性[17]。靶區(qū)的精確勾畫是影響食管癌放療療效的主要因素,而目前手動勾畫過于依賴醫(yī)生的經(jīng)驗和能力,勾畫的準確性和一致性難以保證。此外,患者體型差異、擺位差異、呼吸運動所致食管位置改變,食管與縱膈CT值接近,術前術后影像形變差異大等原因[18],使得樣本一致性較差給數(shù)據(jù)搜集、清洗、訓練造成困難。
本研究結(jié)合食管癌患者腫瘤靶區(qū)特征,提出了一種嵌入空間金字塔池化層的U型對稱自動勾畫網(wǎng)絡SPPH-UNet,將空間金字塔池化層模塊嵌入U型網(wǎng)絡架構中,實現(xiàn)腫瘤靶區(qū)不同尺度的特征融合,解決由于幾何形狀、空間位置、呼吸運動等原因所致食管位置改變,以及腫瘤解剖結(jié)構復雜等問題,提升網(wǎng)絡對腫瘤邊界的特征提取能力,從而提高腫瘤靶區(qū)的自動勾畫精度。從本研究結(jié)果表明,加入了空間金字塔池化層模塊的網(wǎng)絡相較經(jīng)典的U-Net網(wǎng)絡有一定程度的提升,說明引入空間金字塔池化層模塊對提高網(wǎng)絡性能有實質(zhì)性的作用。此外通過對比不同損失函數(shù)得出Focal_Loss能夠獲得最大分割精度,本文方法在DSC和HD指標上都不同程度優(yōu)于經(jīng)典的U-Net網(wǎng)絡,相對腫瘤靶區(qū)目標邊界模糊、個體差異大等問題,本網(wǎng)絡能夠較為準確地分割出目標靶區(qū)的整體形狀及位置,網(wǎng)絡預測結(jié)果一致性較好。
此外,訓練集和測試集的劃分方式導致算法結(jié)果存在差異,不合理的數(shù)據(jù)集劃分則可能會導致評估指標表現(xiàn)“虛高”[19]。如表2所示,以患者切片為單位的方式對數(shù)據(jù)集進行劃分,則會將測試集中的標簽信息泄露到訓練集中,從而測試結(jié)果較表1表現(xiàn)更優(yōu),對比DSC和HD指標上分別提升了18.1%和38.6%。因此為避免數(shù)據(jù)泄露問題,在對數(shù)據(jù)集劃分時,同一患者的切片影像及靶區(qū)數(shù)據(jù)不可既一部分劃分為訓練集,另一部分又劃分為測試集,需對同一患者的切片數(shù)據(jù)進行整體劃分為訓練集或測試集。
綜上所述,本研究采用改進的U-Net網(wǎng)絡對食管癌腫瘤靶區(qū)進行自動勾畫,自動分割勾畫結(jié)果與醫(yī)師勾畫具有較好的一致性,相較手動勾畫耗時顯著縮短。應用于臨床中,可以大大提高醫(yī)生的工作效率和勾畫一致性。但本研究采用二維切片數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡進行訓練,丟失了三維信息。今后將收集更多不同機構的患者數(shù)據(jù)以及采用三維數(shù)據(jù)對網(wǎng)絡進行訓練實現(xiàn)食管癌腫瘤靶區(qū)自動勾畫將是研究重點。
作者聲明:本文全部作者對于研究和撰寫的論文出現(xiàn)的不端行為承擔相應責任;并承諾論文中涉及的原始圖片、數(shù)據(jù)資料等已按照有關規(guī)定保存,可接受核查。
學術不端:本文在初審、返修及出版前均通過中國知網(wǎng)(CNKI)科技期刊學術不端文獻檢測系統(tǒng)的學術不端檢測。
同行評議:經(jīng)同行專家雙盲外審,達到刊發(fā)要求。
利益沖突:所有作者均聲明不存在利益沖突。
文章版權:本文出版前已與全體作者簽署了論文授權書等協(xié)議。