蔡暢，陳軍波，陳心浩

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢 430074)

腦腫瘤是一種顱腦內(nèi)部組織出現(xiàn)癌變的疾病，一般可分為原發(fā)性腫瘤和繼發(fā)性腫瘤兩種，早期癥狀不明顯，一旦發(fā)展為惡性腫瘤時，腦內(nèi)的腫瘤細胞還會發(fā)生轉(zhuǎn)移[1]，危及生命.因此，早期診斷與治療至關(guān)重要.隨著醫(yī)學(xué)影像檢測技術(shù)的進步，MRI在顱內(nèi)腫瘤檢測方面取得了較大進展，受到臨床關(guān)注.而顱內(nèi)腫瘤的及早發(fā)現(xiàn)，往往取決于MRI影像中腫瘤病灶的精確定位和準確分割.

目前腦腫瘤的臨床診斷，多由經(jīng)驗豐富的臨床專家手工標注分割，該方法效率低，分割精度也難以保證.而傳統(tǒng)計算機圖像分割方法如閾值分割、分水嶺分割、區(qū)域分割，僅使用圖像淺層信息進行分割，分割精度依賴于圖像預(yù)處理，且受MRI成像質(zhì)量的影響.近年來，基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習方法在圖像分割中表現(xiàn)出極佳的性能，例如：AlexNet[2]、VGGNet[3]、GoogleNet[4]等方法對圖像處理方法的應(yīng)用產(chǎn)生重大影響，卷積神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域的應(yīng)用也極具發(fā)展?jié)摿?ZHANG等人[5]使用FCN來粗略分割原始MRI圖像，再將得到的腦腫瘤分割區(qū)域作為樣本輸入FCN中進行訓(xùn)練，得到更精確的腦腫瘤分割圖像，但該方法會損失局部信息，得到的結(jié)果仍然不夠精細.VITTIKOP等人[6]使用U-Net[7]方法來進行分割，通過編碼器、解碼器和跳躍連接的方式，結(jié)合用于精準分割的高分辨率圖像和用于類別識別的低分辨率圖像的信息，使其在MRI圖像分割領(lǐng)域達到了較高水平，但該方法中將特征圖進行簡單的拼接會得到更多的冗余信息，且對輸入MRI圖像的任意區(qū)域提供了相同的關(guān)注程度，影響了分割效果.

針對上述方法的不足之處，本文提出了一種通過引入注意力機制來加強MRI圖像中分割區(qū)域特征，抑制MRI圖像中不相關(guān)區(qū)域的改進U-Net方法，從而提高模型的分割精度；同時，針對U-Net計算量大、可能存在的過擬合問題，引入殘差塊來簡化網(wǎng)絡(luò)的訓(xùn)練過程，使得訓(xùn)練時模型能夠進行高效地學(xué)習從而更快收斂，殘差塊的快捷結(jié)構(gòu)也能在反向傳播時使得信號可以無衰減地傳遞.

1 改進的方法

1.1 改進的U-Net網(wǎng)絡(luò)結(jié)構(gòu)

本文方法在U-Net的基礎(chǔ)之上進行改進，將U-Net網(wǎng)絡(luò)中的兩個3×3的卷積替換為殘差塊[8]，并在跳躍連接中加入注意門模塊，本文的模型結(jié)構(gòu)如圖1所示.模型的左半部分為編碼器結(jié)構(gòu)，由殘差塊和池化層組成，用來提取MRI圖像不同維度的特征，模型的右半部分為解碼器，由殘差塊和上采樣組成，將得到的高級語義特征圖恢復(fù)到原始MRI圖像的分辨率.同時，注意門模塊結(jié)合了編碼器中得到的特征圖和解碼器中得到的特征圖，并將得到的特征圖與上采樣產(chǎn)生的特征圖進行連接，相當于將經(jīng)過多次卷積層提取到的更抽象特征與不太抽象但分辨率更高的特征相結(jié)合，使得特征圖在抽象的同時也能擁有較高的分辨率，最后通過卷積和分類器得到輸出.

圖1 模型結(jié)構(gòu)示意圖Fig.1 Model structure diagram

模型的輸入為512×512、通道數(shù)為1的灰度圖，經(jīng)過一個殘差塊，通道數(shù)由1轉(zhuǎn)化為16，再經(jīng)過一個最大池化層，特征圖大小減半變?yōu)?56×256，隨后特征圖經(jīng)過3個殘差塊和最大池化的組合，在最底部得到的大小為32×32、通道數(shù)為256的特征圖.解碼器中則使用上采樣將特征圖的大小由32×32恢復(fù)到512×512.

1.2 殘差塊與注意門模塊

殘差塊的結(jié)構(gòu)如圖2所示，圖中包含一個直接將輸入進行恒等映射的快捷結(jié)構(gòu)，此結(jié)構(gòu)允許數(shù)據(jù)在各層之間進行流動而不會影響模型的學(xué)習能力，避免了因梯度消失而造成模型預(yù)測精度下降的問題，同時也不會因為增加了1×1的卷積層而加大模型的計算復(fù)雜度.殘差塊中輸入X為模型結(jié)構(gòu)中每一階段經(jīng)過最大池化或上采樣所得到的特征圖，輸入X經(jīng)過兩個包含Batch Norm[9]和非線性激活函數(shù)Relu[10]的卷積層得到殘差映射，快捷結(jié)構(gòu)利用卷積核為1×1的卷積層來完成特征維度匹配，最后將兩者相加進行特征融合得到輸出Y.

圖2 殘差塊Fig.2 Residual block

注意門[11]模塊的結(jié)構(gòu)如圖3所示，由于低級特征圖包含更多的位置信息，而高級特征圖包含豐富的類別信息，因此為了獲得更為豐富的特征圖，該模塊利用高級特征圖中的語義信息來加強低級特征圖中腦腫瘤區(qū)域的特征權(quán)重，從而為低級特征圖增加更多的細節(jié)信息，以此來增強模型對待分割區(qū)域的學(xué)習能力，從而提高模型的分割精度.計算方法如下：

圖3 注意門模塊Fig.3 Attention gate block

(1)

αi=σ2(WTti+b2),

(2)

yi,c=xi,c·αi,

(3)

式中i為像素空間大小，c為通道尺寸，xi和gi分別為低級和高級特征圖，Wx、Wg、W為線性變換參數(shù)，m為最大池化，b1、b2為偏移項，σ1、σ2分別為Relu激活函數(shù)和Sigmoid激活函數(shù).由于xi和gi的大小不一致，gi需要先經(jīng)過一個最大池化層來獲得更為細節(jié)的信息，得到的結(jié)果和xi分別通過一個簡單的卷積網(wǎng)絡(luò)轉(zhuǎn)換為相同的大小，將轉(zhuǎn)換后得到的兩個矩陣相加，得到中間輸出ti，接著經(jīng)過Relu并通過卷積神經(jīng)網(wǎng)絡(luò)進行壓縮，然后利用Sigmoid[12]增加非線性得到注意力權(quán)重αi(0?αi?1)，最后將注意力權(quán)重與編碼時的矩陣相乘得到加權(quán)的特征圖yi,c.注意力權(quán)重可以對低級特征圖起到選取作用，使得低級特征圖在擁有豐富類別信息的同時也能擁有更為精準的位置信息.

1.3 損失函數(shù)

交叉熵誤差[13](Cross Entropy Error) 通過分別檢查每個像素，將預(yù)測值與真實值進行比較，并對所有像素取平均值，使得圖像中的所有像素被平等地學(xué)習到，其表達式如下：

(4)

式中，J表示交叉熵誤差，N表示樣本數(shù)，k表示數(shù)據(jù)的維數(shù)，tnk表示第n個數(shù)據(jù)的第k個元素的真實值，ynk表示第n個數(shù)據(jù)的第k個元素的預(yù)測值.

Dice相似系數(shù)[14](Dice Similarity Coefficient)是計算神經(jīng)網(wǎng)絡(luò)得到的分割區(qū)域與標簽的真實分割區(qū)域之間的重疊程度，表達式如下：

(5)

其中GT為真實的分割結(jié)果，SR為預(yù)測的分割結(jié)果.由于Dice相似系數(shù)是取值越大，分割效果越好，而神經(jīng)網(wǎng)絡(luò)訓(xùn)練時損失函數(shù)的取值越小越好，因此可以使用1-Dice作為損失函數(shù)，這種損失函數(shù)也被稱為soft dice loss.

MRI圖像由于存在類別不均衡的問題，使得在使用交叉熵作為損失函數(shù)時，會產(chǎn)生訓(xùn)練時較多像素類主導(dǎo)的情況，而較小物體的特征則很難被學(xué)到，從而降低模型的分割精度.而soft dice loss則適用樣本極度不均衡的情況，通過將交叉熵與soft dice loss結(jié)合作為損失函數(shù)的方式，使得網(wǎng)絡(luò)能夠更好地訓(xùn)練并尋找到最優(yōu)的參數(shù)，以此來規(guī)避使用單一損失函數(shù)所帶來的影響.最后得到損失函數(shù)表達式如下：

(6)

1.4 評價指標

為了定量評估模型的分割效果，本文選取Dice相似系數(shù)(式(5))、體素重疊誤差 (Volumetric Overlap Error, VOE)、精確率 (Precision) 和召回率[15](Recall)對實驗結(jié)果進行綜合評價.體素重疊誤差、精確率和召回率的計算方式分別如式(7)、(8)、(9)所示：

(7)

(8)

(9)

式中TP、FP、FN分別表示像素點被認為真陽性、假陽性、假陰性.上述模型評價指標當中，Dice相似系數(shù)、精確率、召回率的指標越高，說明模型的分割效果越好，而VOE的指標越低，說明模型的分割效果與理論效果越接近.

2 實驗與分析

2.1 實驗平臺與數(shù)據(jù)

實驗平臺為Windows 10專業(yè)版，32 G內(nèi)存，顯卡NVIDIA Quadro P2000，處理器Intel? Xeon? Silver 4110 CPU 2.1 GHz，在Cudnn 10.1架構(gòu)平臺進行網(wǎng)絡(luò)訓(xùn)練，優(yōu)化方法采用批量隨機梯度下降法，批量大小為200.數(shù)據(jù)集按照8∶2劃分為訓(xùn)練集和測試集，訓(xùn)練時，初始學(xué)習率為0.001，訓(xùn)練迭代次數(shù)為100次，當損失函數(shù)連續(xù)兩輪沒有下降時，將學(xué)習率減半，優(yōu)化方法采用Adam算法.

本文所使用的數(shù)據(jù)集來自Brain Tumor Dataset，該數(shù)據(jù)集包含3064個T1加權(quán)對比增強MRI圖像，屬于233位患者，其中腦膜瘤708片、膠質(zhì)瘤1426片、垂體瘤930片.每張MRI圖像都有對應(yīng)的標簽圖，標簽圖標明了腦腫瘤對應(yīng)的位置.

本文通過采用一些隨機的圖像處理方法來對原始數(shù)據(jù)集進行擴充，包括水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)以及10度到80度的隨機旋轉(zhuǎn)，對每一張MRI圖像及其標簽圖隨機應(yīng)用以上的兩種變換方法來擴充數(shù)據(jù)集，如圖4所示，在擴充數(shù)據(jù)集的同時增加了一定的隨機性，得到原數(shù)據(jù)集兩倍的數(shù)據(jù)集，使得模型擁有更好的泛化能力.

圖4 原圖及其標簽與擴充圖及其標簽Fig.4 The original image and its label and the enhanced image and its label

2.2 實驗結(jié)果及分析

使用擴充后的數(shù)據(jù)集進行測試，實驗時將訓(xùn)練集設(shè)定為3組:第1組訓(xùn)練集僅包含原始圖像，第2組僅包含經(jīng)過數(shù)據(jù)擴充后的變形圖像，第3組則包含原始圖像及其變形后的圖像，利用這3組訓(xùn)練樣本對網(wǎng)絡(luò)進行訓(xùn)練，得到的結(jié)果如表1所示.從表中可以看出，采用原始圖像及其變形后的圖像得到的分割結(jié)果要優(yōu)于僅使用原始圖像或僅使用變形圖像得到的分割結(jié)果，這說明了使用數(shù)據(jù)擴充對于模型分割精度的提高是有幫助的.

表1 不同訓(xùn)練集下分割結(jié)果對比Tab.1 Comparison of segmentation results under different training sets

圖5對比了U-Net和本文方法在訓(xùn)練時損失函數(shù)的變化曲線，可以看出，在相同實驗條件下進行訓(xùn)練時，本文提出的方法由于加入了殘差塊，縮短了前后層之間的距離，相較于U-Net模型訓(xùn)練時損失值下降的速度更快且趨于穩(wěn)定所需的時間更短，使得模型在訓(xùn)練時擁有更快的收斂速度.

圖5 不同方法的損失函數(shù)變化對比Fig.5 Comparison of loss function changes of different methods

為了驗證本文算法的有效性，本文實驗分別使用腦膜瘤、膠質(zhì)瘤、垂體瘤和三種腦腫瘤作為數(shù)據(jù)集，分別使用U-Net和本文算法訓(xùn)練模型，得到的分割結(jié)果如表2所示.從表2中可以看出，使用本文提出的方法所構(gòu)造的模型相較于U-Net，其Dice系數(shù)、Precision和Recall均有不同程度的提升，同時錯誤率VOE也在一定程度上有所下降.其中數(shù)據(jù)集為3種腫瘤時，Dice系數(shù)、Precision和Recall分別為0.907、0.925和0.892，相較于U-Net分別提升了5.7%、5.3%和3.2%，VOE值降低了0.075.因此，模型相較于U-Net擁有更高的分割精度與更低的分割錯誤率.

表2 分割結(jié)果對比Tab.2 Comparison of segmentation results

使用本文方法分割得到的結(jié)果如圖6所示，其中第1行是原始MRI圖像，第2行是醫(yī)生手工標記的MRI圖像，第3行是利用本文方法訓(xùn)練的模型分割得到的結(jié)果，第4行是醫(yī)生手工標記與模型分割結(jié)果的誤差效果圖.從圖中可以看出，利用本文算法進行腦腫瘤的MRI圖像分割得到的結(jié)果與醫(yī)生手工標記的結(jié)果非常接近.

圖6 分割結(jié)果圖Fig.6 Segmentation effect diagram

為了驗證各個模塊對整個模型分割精度的影響，分別對U-Net、添加殘差塊的優(yōu)化模型、添加注意門模塊的優(yōu)化模型、本文提出的方法進行對比試驗，試驗結(jié)果如表3所示，表中“+”表示添加了此模塊.從表3中可以看出，在分別引入殘差塊和注意門模塊之后，各項指標均有不同程度的提升，其中引入注意門模塊帶給模型的提升更大，本文通過結(jié)合殘差塊和注意門模塊的優(yōu)勢，進一步提升了模型的分割精度.

表3 各模塊對模型的影響Tab.3 The influence of each module on the model

表4總結(jié)了本文方法與幾種較為先進的分割方法在Dice系數(shù)、VOE、Precision、Recall上的對比，從表中可以看出，本文方法在Dice系數(shù)上取得了較好的表現(xiàn)，綜合各項指標來看，本文方法的總體性能要優(yōu)于表中的其他方法.

表4 本文方法與其他先進方法分割結(jié)果對比Tab.4 Comparison of segmentation results between this method and other advanced methods

3 結(jié)論

本文針對U-Net在腦腫瘤圖像分割中存在的問題，提出了一種基于改進U-Net的腦腫瘤MRI圖像的自動分割算法，通過在U-Net中引入殘差塊替代卷積塊以及在跳躍連接中加入注意門模塊的方式，使得模型在訓(xùn)練時能夠更快地收斂，并且能重點關(guān)注待分割的區(qū)域，獲得更好的實際分割效果.相較于原始的U-Net模型，本文提出的模型在多個評價指標中均較優(yōu)，擁有更高的分割精度和更低的分割誤差.而對于不同類型的腦腫瘤MRI圖像，由于相同類型的腦腫瘤MRI圖像擁有更為相似的特征，使得模型學(xué)習得到的特征更具有代表性，因此使用相同類型的腦腫瘤MRI圖像進行訓(xùn)練和預(yù)測，得到的結(jié)果要優(yōu)于使用多種類型的腦腫瘤MRI圖像進行訓(xùn)練和預(yù)測得到的結(jié)果.