袁美芳 楊毅 趙彪 文曉博 易三莉

0 引言

放射治療是腫瘤治療的主要手段之一，乳腺癌和鼻咽癌患者行放療時會對甲狀腺造成一定的輻射損傷，導(dǎo)致患者的甲狀腺功能減退(簡稱甲減)，出現(xiàn)畏寒、乏力和反應(yīng)遲鈍等癥狀，嚴(yán)重者可能誘發(fā)甲狀腺疾病甚至危及生命[1]。研究顯示，鼻咽癌患者或乳腺癌患者行放療后5～10年甲減的發(fā)生率為20%～52%，且隨著隨訪年限的增加，甲減的發(fā)生率會隨之增加[2-3]。放療中甲減的發(fā)生與許多因素有關(guān)，其中一個因素是甲狀腺所受的輻射劑量。一項鼻咽癌放療研究中發(fā)現(xiàn)，甲狀腺所受輻射劑量>30 Gy和<30 Gy的兩組患者甲減發(fā)生率有明顯區(qū)別，且輻射劑量每增加1 Gy，甲減發(fā)生的風(fēng)險會增加1.02倍[4]。另一個因素是甲狀腺自身的體積，甲狀腺體積小的患者甲減發(fā)生率相對較高、甲狀腺體積大的患者甲減發(fā)生率相對偏低。一項頭頸腫瘤放療研究發(fā)現(xiàn)，甲狀腺體積每增加1 cm3患者發(fā)生甲減的概率會降低0.93倍[5]。為此放療醫(yī)師通過甲狀腺的劑量體積參數(shù)(Vx)評估放療后甲減的風(fēng)險，而評價指標(biāo)Vx主要依賴于甲狀腺所受輻射劑量和醫(yī)師勾畫的甲狀腺體積。在實際臨床工作中，仍是放療醫(yī)師手動勾畫甲狀腺，費時費力且勾畫差異較大，此情況將造成放療醫(yī)師對甲狀腺的受照劑量評估產(chǎn)生偏差，導(dǎo)致放射性甲減的發(fā)生率增加。因此，在臨床上實現(xiàn)甲狀腺的精準(zhǔn)自動分割具有重要的實際意義。

甲狀腺在放療定位CT圖像上的主要特點是：(1) 體積較小，CT圖像層數(shù)較少；(2) 解剖結(jié)構(gòu)特殊，緊鄰氣管血管邊界不清；(3) 個體差異較大，因此在定位CT上實現(xiàn)甲狀腺的自動分割難度較大、報道較少。近年來，基于深度學(xué)習(xí)的語義分割逐步應(yīng)用于醫(yī)學(xué)圖像分割中[6-8]。2015年，Ronneberger等[9]提出的U-net網(wǎng)絡(luò)是一種結(jié)構(gòu)簡單、參數(shù)較少、適用于小數(shù)據(jù)集的神經(jīng)網(wǎng)絡(luò)；2016年，He等[10]提出的ResNet殘差網(wǎng)絡(luò)，優(yōu)勢在于殘差塊的使用不僅加深了網(wǎng)絡(luò)深度,同時緩解了梯度消失問題；2017年，Huang 等[11]提出的DenseNet 網(wǎng)絡(luò)，優(yōu)勢在于稠密塊的使用不僅增加了特征圖的數(shù)量，同時大大提高了特征信息的復(fù)用率。本文汲取上述三種網(wǎng)絡(luò)各自的優(yōu)勢并結(jié)合放療定位CT甲狀腺的特點，在U-net中引入殘差機制和稠密連接機制建立一種稠殘U-net，期望能在定位CT上對實現(xiàn)對甲狀腺的精準(zhǔn)自動分割，解決放療中手動勾畫甲狀腺的現(xiàn)狀。

1 研究方法

1.1 實驗數(shù)據(jù)獲取

本實驗數(shù)據(jù)來自2014年6月～2019 年4月在云南省腫瘤醫(yī)院放射治療科行放療的鼻咽癌和乳腺癌患者76例，均取仰臥位，在模擬定位大孔徑CT(Somatom Sensation Open，24排、Φ85 cm)行平掃掃描，平掃后的DICOM數(shù)據(jù)傳輸至放射治療計劃系統(tǒng)并導(dǎo)出，獲得原始定位CT影像數(shù)據(jù)。

由3位不同的醫(yī)學(xué)影像專家(均具有15年以上高級職稱的主任醫(yī)師)使用3D slicer軟件制作標(biāo)簽，逐層對標(biāo)簽進(jìn)行質(zhì)量評估并提出修改建議，直至所有標(biāo)簽均達(dá)RTOG勾畫標(biāo)準(zhǔn)，此時獲得甲狀腺的標(biāo)準(zhǔn)標(biāo)簽圖。1號患者的第5層原始定位CT圖像及其對應(yīng)的標(biāo)準(zhǔn)標(biāo)簽圖如圖1所示，標(biāo)簽圖作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)和預(yù)測結(jié)果的比較基準(zhǔn)。

圖1 1號患者第5層原始定位CT圖像及其對應(yīng)的標(biāo)準(zhǔn)標(biāo)簽圖Figure 1 The primeval CT image of the fifth layer of patient 1 and the corresponding standard label map

本實驗的數(shù)據(jù)集共有76例患者，1 064張原始甲狀腺切片。將其隨機分為訓(xùn)練集、驗證集和測試集，其中訓(xùn)練集58例(821張原始甲狀腺切片)，驗證集9例(120張原始甲狀腺切片)，測試集9例(123張原始甲狀腺切片)，分配比例接近8∶1∶1。由于訓(xùn)練集樣本較小，為增加神經(jīng)網(wǎng)絡(luò)的泛化能力和魯棒性，本研究通過旋轉(zhuǎn)、平移和縮放等操作進(jìn)行據(jù)擴充，擴充后訓(xùn)練集有2 157張。

1.2 方法

1.2.1 殘差塊

殘差塊的結(jié)構(gòu)原理如圖2所示，由圖可知，殘差塊包括權(quán)重層的輸出F(x)和等映射的輸出x，等映射操作直接將輸入x連接到權(quán)重層輸出，二者相加得到殘差塊的輸出。數(shù)學(xué)表達(dá)如公式(1)所示：

H(x)=F(x)+x

(1)

圖2 殘差塊結(jié)構(gòu)原理Figure 2 Schematic of residual block structure

1.2.2 稠密連接

稠密連接是指每個層均會與前面所有層在通道維度上連接在一起，作為下一層的輸入，見圖3。

圖3 稠密連接方式示意圖Figure 3 Schematic diagram of dense connection

假設(shè)此神經(jīng)網(wǎng)絡(luò)有L層，則此神經(jīng)網(wǎng)絡(luò)共有L(L+1)/2個連接，且在第L層的輸出為x1=Ht([x0,x1,…,xt-1])，Ht(·)代表是非線性轉(zhuǎn)化復(fù)合函數(shù)，包括歸一化-激活函數(shù)-池化-卷積的組合操作。

1.2.3 稠殘U-net網(wǎng)絡(luò)結(jié)構(gòu)

本文在傳統(tǒng)U-net中引入殘差塊機制和稠密連接機制，稱為稠殘U-net。稠殘U-net的結(jié)構(gòu)由下采樣、上采樣以及跳躍連接3部分組成。左邊稱為下采樣，由4個殘差塊組成且使用了稠密連接方式，即通過1個Conv-BN互相連接所有殘差塊層，1個殘差塊包括2個3×3Conv+BN+ReLU和1個3×3Conv+BN，1次殘差塊運算包括主線運算和“捷徑”運算，主線運算用2個Conv-BN-ReLu提取CT圖像的特征信息，同時“捷徑”運算用1個Conv-BN將CT圖像的輸入信息映射到主線路線的輸出上，求和共同得到殘差塊的輸出。下采樣的作用是提取CT圖像中甲狀腺像素的位置信息。

右邊稱為上采樣，用4個殘差塊進(jìn)行組成，由于稠密連接方式會導(dǎo)致GPU內(nèi)存占用過高，因硬件條件有限，在上采樣過程中并沒有使用稠密連接。上采樣作用是提取CT圖像中甲狀腺像素的類別信息。此外，在上采樣中增加了1個2×2的反卷積，作用是對特征圖像進(jìn)行尺寸大小的恢復(fù)。

中間的跳躍連接(skip connection，SC)進(jìn)行復(fù)制裁剪操作，作用是將編碼和解碼中獲得的特征信息進(jìn)行融合。網(wǎng)絡(luò)的輸出層(1個Conv-BN和Sigmoid 函數(shù))將CT圖像中概率值大于 0.5的像素識別為甲狀腺，即分割出定位CT圖像中的甲狀腺。

1.2.4 損失函數(shù)和評價指標(biāo)

(1)Dice相似性系數(shù)和Dice損失函數(shù)。Dice相似性系數(shù)的數(shù)學(xué)表達(dá)式為：

(2)

式中：Xi代表標(biāo)準(zhǔn)圖像的元素個數(shù)；Yi代表神經(jīng)網(wǎng)絡(luò)預(yù)測圖像的元素個數(shù)；(Xj+Yj)為標(biāo)準(zhǔn)圖像和預(yù)測圖像之間的共同元素個數(shù)。Dice相似性系數(shù)的取值范圍是[0,1]，數(shù)值越大說明神經(jīng)網(wǎng)絡(luò)預(yù)測效果越好。

Dice損失函數(shù)由Dice系數(shù)演變而來，數(shù)學(xué)表達(dá)式為：

(3)

Dice損失函數(shù)把神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果作為損失值直接監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)，且表達(dá)式中的交并比計算充分利用了圖像中前景特征區(qū)域的元素，忽略大量的背景元素，能有效解決正負(fù)樣本不均衡問題，使神經(jīng)網(wǎng)絡(luò)收斂速度更快。

(2)杰卡德相似系數(shù)(Jaccard similarity coefficient，Jaccard) 。Jaccard系數(shù)越接近于1表示神經(jīng)網(wǎng)絡(luò)預(yù)測效果越好，數(shù)學(xué)表達(dá)式為：

(4)

(3)豪斯多夫距離(Hausdorff，HD)。HD反映兩個集合之間的距離關(guān)系，數(shù)值越小表示神經(jīng)網(wǎng)絡(luò)預(yù)測效果越好，HD的數(shù)學(xué)表達(dá)式為：

H(X,Y)=max{h(X,Y),h(Y,X)}

(5)

(4) 箱形圖。箱形圖是一種用最小值、最大值、第一四分位數(shù)、第三四分位數(shù)、中位數(shù)來分析數(shù)據(jù)的方法，箱形圖能反映數(shù)據(jù)的異常值、尾重和偏態(tài)等情況。

1.2.5 訓(xùn)練環(huán)境

訓(xùn)練稠殘U-net的實驗環(huán)境為Windows 10和Tensorflow 2.0，編程語言為Python 3.7.1，CPU為Intel I7-8500H@2.20 GHz，內(nèi)存條為16 GB DDR4 RAM，顯卡為Nvidia GeForce GTX 1060。

1.2.6 稠殘U-net的訓(xùn)練

76例原始數(shù)據(jù)在輸入之前，首先使用Matlab2019a軟件將數(shù)據(jù)格式由DICOM轉(zhuǎn)換為PNG格式，并去除非甲狀腺層面的CT切片，此時必須確保定位CT切片和標(biāo)簽圖一一對應(yīng)；然后對76例數(shù)據(jù)集進(jìn)行圖像預(yù)處理，包括歸一化、Hu值轉(zhuǎn)換、窗口化操作和直方圖均衡化操作；最后，由于數(shù)據(jù)為2D定位CT圖像，如果由計算機直接加載圖片并傳遞給神經(jīng)網(wǎng)絡(luò)則會非常耗時和耗內(nèi)存，因此將圖片存為H5文件，以H5文件格式輸入。

圖4 稠殘U-net訓(xùn)練流程Figure 4 The training flow of dense-residual U-net

稠殘U-net訓(xùn)練的整體流程如圖4所示，首先使用TensorFlow 自帶的Xavier進(jìn)行初始化操作；然后將訓(xùn)練集輸入到稠殘U-net中，對稠殘U-net進(jìn)行訓(xùn)練直到得到一組最優(yōu)權(quán)重并得到學(xué)習(xí)曲線圖；最后，使用訓(xùn)練完成的稠殘U-net在測試集上進(jìn)行測試，得到稠殘U-net預(yù)測結(jié)果。其中，實驗訓(xùn)練過程的基本參數(shù)設(shè)置如下：輸入的甲狀腺定位CT圖像大小為512×512×1，采用步長為 1(Step=1)和大小為3×3的卷積核(3×3 Convs)進(jìn)行特征提取，采用2×2的最大池化層(2×2 Maxpooling)進(jìn)行特征壓縮，激活函數(shù)為Relu和Sigmoid 函數(shù)，最終輸出512×512×1的預(yù)測圖。超參數(shù)設(shè)置為：訓(xùn)練的 Batch size 設(shè)定為2，采用Adam 算法對目標(biāo)函數(shù)進(jìn)行優(yōu)化，整個訓(xùn)練迭代80個Epoch，學(xué)習(xí)率設(shè)為0.000 1。實驗中主要調(diào)整的參數(shù)是學(xué)習(xí)率和Batch size，學(xué)習(xí)率影響神經(jīng)網(wǎng)絡(luò)的收斂狀態(tài)，Batch size則影響神經(jīng)網(wǎng)絡(luò)的泛化性能，二者決定稠殘U-net權(quán)重參數(shù)的更新，是訓(xùn)練過程中非常重要的參數(shù)。在預(yù)實驗中，Batch size為1、2、4，學(xué)習(xí)率為0.000 1和0.000 01，最終當(dāng)Batch size為2且學(xué)習(xí)率為0.000 1時，稠殘U-net在訓(xùn)練過程中性能表現(xiàn)最好。

2 實驗結(jié)果

2.1 稠殘U-net學(xué)習(xí)曲線

稠殘U-net學(xué)習(xí)曲線如圖5所示，曲線在0～10個Epoch下降坡度較陡峭，之后逐漸平穩(wěn)下降，最終曲線在0.05附近收斂，表示完成訓(xùn)練。

圖5 稠殘U-net學(xué)習(xí)曲線Figure 5 The learning curve of dense-residual U-net

2.2 評價指標(biāo)比較

稠殘U-net各評價指標(biāo)(n=123)：測試集Dice系數(shù)為0.86±0.09，Jaccard為0.78±0.12，HD為2.52±0.61。

2.3 稠殘U-net神經(jīng)網(wǎng)絡(luò)預(yù)測圖

訓(xùn)練完成后的稠殘U-net在測試集上預(yù)測的甲狀腺輪廓圖如圖6所示，其中a0、a1是原始甲狀腺定位CT切片，b0、b1是專家勾畫的甲狀腺標(biāo)準(zhǔn)圖，c0、c1是稠殘U-net神經(jīng)網(wǎng)絡(luò)預(yù)測甲狀腺輪廓結(jié)果。

圖6 稠殘U-net神經(jīng)網(wǎng)絡(luò)在測試集上預(yù)測甲狀腺輪廓圖Figure 6 Prediction of thyroid based on dense-residual U-net on test set

2.4 箱形圖

稠殘U-net的箱形圖如圖7所示，箱形圖中的小黑點表異常值，小方框中的橫線代表中位數(shù)。在Dice箱形圖中，稠殘U-net有較高的均值和中位值，而且異常值偏離中位值的程度較??；在Jaccard箱形圖中，稠殘U-net的中位值為0.8左右且異常值很少，預(yù)測結(jié)果較為穩(wěn)定，HD箱形圖異常值最少。

圖7 稠殘U-net在測試集上的箱形圖Figure 7 The box diagram of dense-residual U-net on test set

3 討論

本課題組前期研究[12]提出基于傳統(tǒng)U-net分割甲狀腺，Dice值為0.78±0.16，在甲狀腺與周圍血管緊鄰的地方存在較為明顯的過分割和欠分割現(xiàn)象；本文基于稠殘U-net分割甲狀腺，Dice值為0.86±0.09，預(yù)測的甲狀腺輪廓與專家勾畫的標(biāo)準(zhǔn)甲狀腺幾乎完全重合，在甲狀腺狹窄的峽部及與氣管、血管相鄰難以辨別的位置，預(yù)測的甲狀腺邊界均較為準(zhǔn)確。相比前期提出的傳統(tǒng)U-net，稠殘U-net的優(yōu)勢表現(xiàn)在引入了殘差塊和稠密機制，殘差塊不僅加深了網(wǎng)絡(luò)結(jié)構(gòu)，而且相鄰前一層的特征能傳遞到下一層，避免了局部特征丟失；而稠密連接能將前面所有層的特征信息都往下傳遞，提高了特征利用率并減小了傳遞過程中特征的丟失，從而大大提高分割性能。

此外，近年來有部分學(xué)者利用深度學(xué)習(xí)的方法來自動分割甲狀腺，如門闊等[13]提出深度反卷積神經(jīng)網(wǎng)絡(luò)，其分割甲狀腺的Dice值和HD值分別為0.78±0.03和4.9±1.7；楊鑫等[14]提出引入自適應(yīng)機制的AU-net網(wǎng)絡(luò)，其分割甲狀腺的Dice值和HD值分別為0.83±0.03和4.5±1.3；本文提出稠殘U-net，分割甲狀腺的Dice值和HD值分別0.86±0.09和2.52±0.61。相比上述文獻(xiàn)報道，本研究提出的神經(jīng)網(wǎng)絡(luò)分割甲狀腺的Dice值和HD值最佳，說明本研究提出的神經(jīng)網(wǎng)絡(luò)性能最好，可能是本研究殘差塊和稠密連接的使用讓神經(jīng)網(wǎng)絡(luò)獲取更豐富的關(guān)于甲狀腺的特征信息，使得X∩Y增大。

本文結(jié)果中Dice箱形圖和Jaccard箱形圖中均有一個值為0的異常點，是稠殘U-net神經(jīng)網(wǎng)絡(luò)均未預(yù)測出測試集中第123層的甲狀腺輪廓，如圖8所示。原因可能是類似此層甲狀腺的樣本較少，也可能是二維神經(jīng)網(wǎng)絡(luò)缺失了甲狀腺的空間信息，而人工勾畫此層時，結(jié)合了上下層的空間信息進(jìn)行確定的，因此在具有硬件條件的情況下，應(yīng)嘗試3D神經(jīng)網(wǎng)絡(luò)以獲得三維空間信息。本課題組下一步研究的新思路是將使用3D神經(jīng)網(wǎng)絡(luò)進(jìn)行其他器官或病灶的預(yù)測。

圖8 稠殘U-net在測試集第123層的預(yù)測結(jié)果Figure 8 The prediction results of dense-residual U-net on 123 layer in test set

4 結(jié)論

本文提出的稠殘U-net能在定位CT圖像上較為準(zhǔn)確地預(yù)測甲狀腺輪廓，表明將來基于卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行醫(yī)學(xué)圖像分割時可以引入殘差機制和稠密連接機制以提高其分割性能。