曹心姿 梁秋源 李瑞新 蔡兆信 潘家輝

（華南師范大學(xué)軟件學(xué)院 佛山528225）

1 引言

1.1 研究背景

膀胱癌由膀胱組織病變得到膀胱腫瘤而來，是較為常見的病癥，其多發(fā)群體為老年男性。CA發(fā)布的2015年全球癌癥統(tǒng)計(jì)報告《Glob而且膀胱癌的發(fā)病率在男性腫瘤中居全球第四位al Cancer Statistics，2012》的癌癥致死率排名顯示，膀胱癌排名第九［1］。中國男性的膀胱癌發(fā)病率相對較高，須引起醫(yī)學(xué)界的重視。

目前絕大多數(shù)醫(yī)院使用CT（Computed Tomog?raphy）或者M(jìn)RI（Magnetic Resonance Imaging）技術(shù)進(jìn)行醫(yī)學(xué)成像，再通過主治醫(yī)生觀察圖像進(jìn)行腫瘤診斷。然而，雖然上述兩種成像技術(shù)所呈現(xiàn)的組織細(xì)胞于惡性腫瘤有相對明顯的區(qū)別——主要體現(xiàn)在浸潤程度、灰度、厚度、位置等特征上，但僅僅通過肉眼進(jìn)行腫瘤分期分級診斷是不夠精確的。因此，我們可以在醫(yī)學(xué)成像領(lǐng)域加入計(jì)算機(jī)視覺進(jìn)行自動化腫瘤分割與分類，以達(dá)到更好的診斷效果，幫助病人進(jìn)行腫瘤確診和輔助治療。分割后的腫瘤圖像能夠應(yīng)用于多種場景，例如腫瘤組織的定量分析、特征提取、計(jì)算機(jī)指導(dǎo)手術(shù)等［2］。

目前的臨床醫(yī)療中，磁共振成像（Magnetic res?onance imaging，MRI）在膀胱腫瘤的檢測和治療中扮演著重要的角色。MRI技術(shù)結(jié)合多參數(shù)、多方位成像來產(chǎn)生最終圖片，能夠清晰地觀察生理結(jié)構(gòu)，對比其CT圖更加有優(yōu)勢。因此本文選用MRI圖像進(jìn)行圖像自動化分割處理研究。計(jì)算機(jī)軟件的自動化圖像處理使得我們能夠定量分析腫瘤情況，并對腫瘤進(jìn)行定期跟蹤比較，以確定更加適合病人的醫(yī)療方法［3］。

1.2 研究現(xiàn)狀

近年來，大量的研究學(xué)者對圖像分割技術(shù)進(jìn)行了研究，傳統(tǒng)的分為以下幾類：1）基于閾值的分割；2）基于區(qū)域的分割方法；3）基于邊緣的分割；4）基于模糊C均值（FCM）聚類分割；5）基于神經(jīng)網(wǎng)絡(luò)的分割等。由于MRI圖像具有較大的噪聲，閾值分割算法等容易產(chǎn)生過分割的現(xiàn)象；區(qū)域分割對均勻的連通目標(biāo)有較好的分割效果。但是對噪聲較敏感，可能導(dǎo)致區(qū)域內(nèi)有空洞，因該方法為串行算法，當(dāng)目標(biāo)區(qū)域較大時，分割速度慢；基于邊緣的分割不能保證邊緣的連續(xù)性與封閉性，在高細(xì)節(jié)區(qū)存在大量的碎邊緣原因限制了其在圖像分割中的應(yīng)用；FCM算法對初始參數(shù)極為敏感，有時需要人工干預(yù)參數(shù)的初始化以接近全局最優(yōu)解，提高分割速度。

基于神經(jīng)網(wǎng)絡(luò)的分割中出現(xiàn)過VGG16，F(xiàn)CN，DeconvNet，DeepLab，Mask-RCNN，SegNet，U-Net等。由于深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練時一般都需要標(biāo)注大量的樣本，但是醫(yī)學(xué)的圖像需要專業(yè)人員進(jìn)行標(biāo)注，樣本的數(shù)量規(guī)模較少，而U-Net網(wǎng)絡(luò)剛好補(bǔ)充了這個缺失，幾百張的數(shù)據(jù)集就能達(dá)到比較好的效果，因此U-Net網(wǎng)絡(luò)備受關(guān)注。

U-Net網(wǎng)絡(luò)結(jié)構(gòu)是2015年ISBI競賽中提出的網(wǎng)絡(luò)結(jié)構(gòu)［4］，包括一個收縮網(wǎng)絡(luò)和一個擴(kuò)張網(wǎng)絡(luò)，組合構(gòu)成了一個U型結(jié)構(gòu)，該網(wǎng)絡(luò)采用了與FCN完全不同的特征融合方式——拼接。該網(wǎng)絡(luò)主要用于醫(yī)學(xué)圖像分割上，網(wǎng)絡(luò)最初提出時是用于細(xì)胞壁的分割［5］，之后在肺結(jié)節(jié)檢測以及眼底視網(wǎng)膜上的血管提取等方面都有著出色的表現(xiàn)，但在膀胱腫瘤分割領(lǐng)域應(yīng)用較少［6~10］。

原始的U-NET網(wǎng)絡(luò)深度略有不足，訓(xùn)練時間短，訓(xùn)練參數(shù)較少，隨著深度的加深，該網(wǎng)絡(luò)會出現(xiàn)退化問題，因此分割效果有待進(jìn)一步提高。

本文我們將采用改進(jìn)后的U-Net網(wǎng)絡(luò)結(jié)構(gòu)來對膀胱腫瘤部分進(jìn)行分割，改進(jìn)后的U-Net網(wǎng)絡(luò)結(jié)構(gòu)加入了殘差網(wǎng)絡(luò)（residual network）［11~12］，殘差網(wǎng)絡(luò)是并對每一層結(jié)果進(jìn)行規(guī)范化（batch normaliza?tion）處理，能夠有效防止網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)準(zhǔn)確率退化的現(xiàn)象。

實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的U-NET網(wǎng)絡(luò)結(jié)構(gòu)相比，雖然訓(xùn)練時間略有增加，改進(jìn)后的U-Net網(wǎng)絡(luò)的分割效果又了更好的提升。

2 U-Net網(wǎng)絡(luò)模型原理與實(shí)現(xiàn)

U-Net網(wǎng)絡(luò)是一個全卷積的網(wǎng)絡(luò)，左邊為壓縮路徑（Contracting Path），右邊為擴(kuò)展路徑（Expan?sive Path），壓縮路徑有4個block構(gòu)成，每個block使用3個卷積和一個下采樣（Max pooling），每次采樣之后Feature Map的個數(shù)乘以2，得到32×32的Feature Map。

拓展路徑同樣包含4個block，每個block開始之前通過反卷積乘以2，并且將其個數(shù)減半并與左側(cè)對應(yīng)的壓縮路徑中的Feature Map融合，補(bǔ)全缺失的信息，最后采用將其特征映射到某一類別中。

圖1 U-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

2.1 優(yōu)化函數(shù)

實(shí)驗(yàn)中，訓(xùn)練模型采用Adam函數(shù)作為模型優(yōu)化函數(shù)。該函數(shù)利用梯度的一階矩估計(jì)和二階矩估計(jì)動態(tài)調(diào)整每個參數(shù)的學(xué)習(xí)率，每一次迭代學(xué)習(xí)率都有個確定范圍，使得參數(shù)比較平穩(wěn)。

2.2 評價指標(biāo)

圖像分割采用Dice系數(shù)進(jìn)行評價。它是一種集合相似度量函數(shù)，通常用于計(jì)算兩個樣本之間的相似度。

其中A是已經(jīng)勾畫的膀胱癌區(qū)域，B是算法分割得到的膀胱癌區(qū)域，Dice的取值范圍是從［0，1］，取值越接近于1，說明分割效果越好，模型越準(zhǔn)確。

3 殘差網(wǎng)絡(luò)原理

U-Net由于把編碼特征加入到解碼特征中，可以在小數(shù)據(jù)量下取得很好效果，但是由于U-Net網(wǎng)絡(luò)不夠深，對特征的表達(dá)不夠準(zhǔn)確，分割的準(zhǔn)確率不夠高。為此我們可以通過加深網(wǎng)絡(luò)的深度來提高分割的準(zhǔn)確率，但是當(dāng)網(wǎng)絡(luò)太深時，又會出現(xiàn)準(zhǔn)確率退化的現(xiàn)象，為了解決這個問題，我們提出在U-Net網(wǎng)絡(luò)中引入殘差網(wǎng)絡(luò)結(jié)構(gòu)。

隨著網(wǎng)絡(luò)層數(shù)的增加，網(wǎng)絡(luò)發(fā)生了退化（degra?dation）的現(xiàn)象：隨著網(wǎng)絡(luò)層數(shù)的增多，訓(xùn)練集loss逐漸下降，然后趨于飽和，當(dāng)再增加網(wǎng)絡(luò)深度時，訓(xùn)練集loss反而會增大，這個退化不是由過擬合引起的。

由于在前向傳輸?shù)倪^程中，隨著層數(shù)的加深，F(xiàn)eature Map包含的圖像信息會越來越少，但是加入了ResNet的直接映射結(jié)構(gòu)后，確保了下一層的圖像信息多于上一層，由此殘差網(wǎng)絡(luò)應(yīng)運(yùn)而生。

如果深層網(wǎng)絡(luò)后面的層數(shù)是恒等映射，那么這個網(wǎng)絡(luò)便會退化為一個淺層網(wǎng)絡(luò)，因此問題轉(zhuǎn)換為學(xué)習(xí)恒等映射函數(shù)，為此將網(wǎng)絡(luò)設(shè)計(jì)為如下結(jié)構(gòu)。

圖2 殘差結(jié)構(gòu)單元

殘差網(wǎng)絡(luò)由一系列的殘差塊構(gòu)成，每個殘差塊表示為

F為求和前網(wǎng)絡(luò)映射，H為從輸入到求和后的網(wǎng)絡(luò)映射，不斷擬合殘差函數(shù)，即無限逼近于0。可通過前向神經(jīng)網(wǎng)絡(luò)與“捷徑”（shortcut connections）實(shí)現(xiàn)［13~15］。

殘差網(wǎng)絡(luò)的出現(xiàn)解決了深度網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的退出問題，優(yōu)化了網(wǎng)絡(luò)性能。

4 改進(jìn)后的Res-U-Net網(wǎng)絡(luò)模型

原始的U-Net網(wǎng)絡(luò)深度淺，過于單薄，在U-Net網(wǎng)絡(luò)中加入殘差結(jié)構(gòu)，生成Res-U-Net網(wǎng)絡(luò)模型，如圖3所示。

圖3 Res-U-Net網(wǎng)絡(luò)結(jié)構(gòu)示意圖

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)加入了數(shù)據(jù)標(biāo)準(zhǔn)化與殘差結(jié)構(gòu)。其中數(shù)據(jù)標(biāo)準(zhǔn)化貫穿了每一層，殘差結(jié)構(gòu)為1×1的“捷徑（shortcut connections）”附加在下采樣與上采樣當(dāng)中，同時對每個卷積層輸入的數(shù)據(jù)進(jìn)行了規(guī)范化。

4.1 圖像標(biāo)準(zhǔn)化

首先對各個隱藏層的輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，每一層中的數(shù)值β={x1……xm}，計(jì)算均值

計(jì)算數(shù)值方差

對每個值進(jìn)行歸一化處理

通過數(shù)據(jù)的標(biāo)準(zhǔn)化，令均值和方差控制在一定范圍內(nèi)，使得下一層的網(wǎng)絡(luò)不必去適應(yīng)底層網(wǎng)絡(luò)輸入的變化，每一層進(jìn)行獨(dú)立的學(xué)習(xí)，進(jìn)而加快模型的學(xué)習(xí)速度。

4.2 模型搭建

表1 U-Net與改進(jìn)的Res-U-Net網(wǎng)絡(luò)結(jié)構(gòu)圖

?

4.3 網(wǎng)絡(luò)模型優(yōu)勢

該網(wǎng)絡(luò)模型保持了原始的收縮路徑與擴(kuò)張路徑，收縮過程加入了殘差結(jié)構(gòu)，使得通過卷積與池化中提取到更多的特征。

每一層卷積后進(jìn)行標(biāo)準(zhǔn)化操作，使得每一層的輸出結(jié)果落在敏感的區(qū)域，避免隨著網(wǎng)絡(luò)深度的加深出現(xiàn)梯度消失的問題。

在擴(kuò)展路徑中對圖像特征進(jìn)行還原，對邊界信息進(jìn)行補(bǔ)充，加入了殘差結(jié)構(gòu)能夠更大化地還原圖像的特征信息，進(jìn)而提高分割效果的準(zhǔn)確性。

5 實(shí)現(xiàn)結(jié)果比較

本實(shí)驗(yàn)共有900組數(shù)據(jù)集，大小為512×512，圖像深度為8，其中800組作為訓(xùn)練數(shù)據(jù)，100組作為測試數(shù)據(jù)。

此次試驗(yàn)以Kaggle GPU為訓(xùn)練平臺，采用Py?thon3.6，深度學(xué)習(xí)框架Keras 2.24。

在訓(xùn)練前均對圖像進(jìn)行歸一化處理，兩個網(wǎng)絡(luò)構(gòu)造均采用Adam函數(shù)作為優(yōu)化函數(shù)，對訓(xùn)練得到兩個網(wǎng)絡(luò)的模型進(jìn)行測試。

5.1 實(shí)驗(yàn)過程

Res-N-Uet網(wǎng)絡(luò)訓(xùn)練過程中的損失函數(shù)與迭代次數(shù)之間的關(guān)系如圖4所示。圖4中對比了這兩個網(wǎng)絡(luò)模型的損失函數(shù)變化情況，從中可以看出，改進(jìn)后的U-Net網(wǎng)絡(luò)相比于原始的U-Net網(wǎng)絡(luò)，損失函數(shù)更小，說明訓(xùn)練效果更好。

圖4 損失函數(shù)與迭代次數(shù)的關(guān)系圖

5.2 圖像

本實(shí)驗(yàn)中，U-Net模型與Res-U-Net模型的訓(xùn)練epoch均為30，通過對測試示例圖得到上述分割圖像，U-Net模型分割得到的圖像模糊，而Res-N-Uet得到的掩膜圖像更加清晰，并且邊界更加明顯，模型更具有魯棒性，分割效果更好。

圖5 不同網(wǎng)絡(luò)對同一張MRI圖像的分割結(jié)果

5.3 Dice系數(shù)

通過在kaggle GPU平臺訓(xùn)練得到的兩個網(wǎng)絡(luò)模型，分別對100張測試集進(jìn)行測試，并進(jìn)行評估，計(jì)算分割出的圖片的Dice系數(shù)，繪制得到圖6。

以epoch=30為例，圖6展示了原始U-Net對腫瘤的分割Dice系數(shù)與Res-U-Net的Dice系數(shù)的情況，從圖中可知，改進(jìn)后的網(wǎng)絡(luò)模型得到的Dice系數(shù)明顯高于原始的模型，因此可改進(jìn)后的模型的分割效果更加理想。

圖6 Dice折線圖

5.4 模型比對

以訓(xùn)練epoch=30為例，表2分別對模型的層數(shù)，訓(xùn)練的參數(shù)與所需要的訓(xùn)練時間進(jìn)行了比對，因?yàn)榧由盍司W(wǎng)絡(luò)的深度，因此網(wǎng)絡(luò)的訓(xùn)練參數(shù)與訓(xùn)練時間都略有增加，但是仍在可控的范圍內(nèi)。

表2 兩種模型比對

5.5 實(shí)驗(yàn)結(jié)論

針對原始U-Net網(wǎng)絡(luò)深度淺，分割效果不足的缺點(diǎn)，引入了殘差結(jié)構(gòu)，加深網(wǎng)絡(luò)深度，并對每一個隱藏層輸入數(shù)據(jù)進(jìn)行歸一化。實(shí)驗(yàn)表明，改進(jìn)后的U-Net模型的分割的Dice系數(shù)相比于原始的網(wǎng)絡(luò)提高了9%，分割效果優(yōu)于原始的網(wǎng)絡(luò)。

6 結(jié)語

醫(yī)學(xué)圖像對輔助醫(yī)生診斷具有重要的作用，傳統(tǒng)的MRI圖像通過人工進(jìn)行查看操作，對人力的技術(shù)要求相對較高，需要消耗大量的精力，通過自動化分割能夠幫助醫(yī)護(hù)人員減輕工作壓力。針對U-Net網(wǎng)絡(luò)在膀胱腫瘤分割的準(zhǔn)確率問題，本文提出了一種改進(jìn)后的Res-U-Net網(wǎng)絡(luò)。該網(wǎng)絡(luò)結(jié)構(gòu)基于原始的U-Net網(wǎng)絡(luò)，通過引入殘差結(jié)構(gòu)，加深網(wǎng)絡(luò)的深度，并且對每一層輸入的數(shù)據(jù)進(jìn)行歸一化。實(shí)驗(yàn)結(jié)果顯示，改進(jìn)后的網(wǎng)絡(luò)時間訓(xùn)練參數(shù)更多，時間略有增加，但是這種具有更好分割效果，分割Dice系數(shù)提高了10%，具有較好的應(yīng)用前景。