畢蓉蓉 王進(jìn)科

摘 要：針對(duì)肺CT實(shí)質(zhì)自動(dòng)分割問題，提出了一種改進(jìn)的U-Net模型。該模型充分結(jié)合了U-Net網(wǎng)絡(luò)和循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）的優(yōu)勢(shì)，可以提取圖像中更加細(xì)小的特征，在擁有較少數(shù)量網(wǎng)絡(luò)參數(shù)的情況下獲得良好的性能。該模型首先在編碼和解碼單元中，使用帶有殘差單元的循環(huán)卷積層代替U-Net模型中的前向卷積層。然后，從基本網(wǎng)絡(luò)的端到端使用了有效的特征累積方法。最后，從原始的U-Net模型中刪除了裁剪和復(fù)制單元，僅保留了級(jí)聯(lián)操作。為了驗(yàn)證提出方法的性能，將提出的模型與當(dāng)前最先進(jìn)的模型在LUNA16數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)比較，實(shí)驗(yàn)結(jié)果顯示，提出的分割模型在分割精度方面體現(xiàn)出一定的優(yōu)越性。

關(guān)鍵詞：

RCNN;U-Net;醫(yī)學(xué)圖像分割;肺CT

DOI：10.15938/j.jhust.2021.03.011

中圖分類號(hào)： TP391.4

文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： 1007-2683（2021）03-0074-09

Automatic Lung Segmentation Using RCNN Combing U-Net in CT

BI Rong-rong， WANG Jin-ke

（Rongcheng Campus， Harbin University of Science and Technology， Rongcheng 264300， China）

Abstract：Aiming at the problem of automatic lung CT segmentation， an improved U-Net model is proposed. The model fully utilizes the advantages of U-Net model and Recurrent Convolutional Neural Network（RCNN）， and it helps extract very low-level features and ensure better performance with fewer numbers of network parameters. Firstly， in the encoding and decoding units， a recurrent convolution layer replaced the forward convolutional layers of the original U-Net models. Secondly， an effective feature accumulation method was utilized from one part of the network to the other. Finally， the cropping and copying units were removed from the original U-Net model and only the concatenation operations were retained. To evaluate the performance of the proposed scheme， the comparative segmentation experiments with state-of-the-art models were conducted in the LUNA16 datasets. The experimental results proved a superiority of the proposed method on segmentation accuracy.

Keywords：RCNN; U-Net; medical image segmentation; lung CT

0 引 言

醫(yī)學(xué)圖像處理技術(shù)可以幫助病人獲得更快更好的診斷，CT成像因其高性價(jià)比被廣泛應(yīng)用于臨床的輔助診斷。然而，手動(dòng)分割的過程緩慢且繁瑣，而自動(dòng)的CT圖像分割技術(shù)可以減少人為主觀錯(cuò)誤，降低時(shí)間成本和誤診率。因此，研究可靠的魯棒的自動(dòng)算法，對(duì)于高效、精準(zhǔn)的醫(yī)療診斷具有重要的臨床應(yīng)用價(jià)值。

近年來(lái)，深度學(xué)習(xí)（DL）在圖像分類[1]、分割[2]、檢測(cè)[3]等方面得到了廣泛的應(yīng)用，VGG[4]、GoogleNet[5]、ResidualNet[6]等著名的深度卷積神經(jīng)網(wǎng)絡(luò)模型相繼被提出。基于DL的方法在圖像分類、圖像分割方面都表現(xiàn)出了優(yōu)越的性能，然而，在大多數(shù)情況下，基于DL的方法在對(duì)大規(guī)模的數(shù)據(jù)集分類時(shí)（如ImageNet），分類任務(wù)的輸出是仍然是單個(gè)標(biāo)簽概率值。此外，一些基于DL的方法被用于語(yǔ)義圖像分割（如FCN），并被廣泛應(yīng)用于在計(jì)算機(jī)視覺的圖像分割領(lǐng)域中。而且，也相繼衍生出一些FCN的改進(jìn)模型，例如SegNet[7]，是一個(gè)擁有13層的VGG16網(wǎng)絡(luò)，其相應(yīng)的解碼網(wǎng)絡(luò)使用逐像素分類層。

伴隨著深度卷積神經(jīng)網(wǎng)絡(luò)（DCNN）在計(jì)算機(jī)視覺領(lǐng)域取得的巨大成功，它的各種變形方法也被廣泛應(yīng)用于醫(yī)學(xué)圖像處理圖像，包括分割，分類，檢測(cè)，配準(zhǔn)和醫(yī)學(xué)信息處理。在[8]中提出了一種基于DCNN的腦腫瘤分割和檢測(cè)方法，但是，仍然存在局限性，比如數(shù)據(jù)匱乏和類別不平衡。其中，由于梯度問題，很難訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，但是，可以通過激活函數(shù)（例如，修正線性單元（ReLU）或指數(shù)線性單元（ELU））來(lái)解決。 He[6]等提出了解決該問題的另一種模型，該模型是一種深度殘差模型，并且克服了利用恒等式映射來(lái)促進(jìn)訓(xùn)練過程的問題。大多數(shù)時(shí)候，出于某些原因，大量的訓(xùn)練標(biāo)簽無(wú)法使用，標(biāo)記數(shù)據(jù)集需要該領(lǐng)域的專家人為參與，這些工作需要耗費(fèi)大量的精力和時(shí)間。因而，出現(xiàn)了一些用于進(jìn)行不同的數(shù)據(jù)轉(zhuǎn)換或增強(qiáng)的技術(shù)（數(shù)據(jù)白化，旋轉(zhuǎn)，移位和縮放比例），以增加可用的帶標(biāo)簽樣本的數(shù)量[9]。與此同時(shí)，也包括一些基于補(bǔ)丁的方法，來(lái)解決類別不平衡問題。在語(yǔ)義分割中，可以為圖像背景分配標(biāo)簽，同時(shí)，為前景或目標(biāo)區(qū)域分配不同的類別，以解決類別不平衡問題。在文[9，10]中介紹的交叉熵?fù)p失和Dice相似度系數(shù)可以有效地進(jìn)行分類和分割模型的訓(xùn)練。

此外，全局定位和上下文信息常被用于醫(yī)學(xué)圖像定位，每個(gè)像素都被賦予與目標(biāo)病變邊界相關(guān)的類別標(biāo)簽，醫(yī)學(xué)圖像中的特征點(diǎn)檢測(cè)就是其中的一個(gè)示例。在DL方法盛行之前，多種傳統(tǒng)機(jī)器學(xué)習(xí)和圖像處理技術(shù)已用于醫(yī)學(xué)圖像分割，包括基于直方圖特征的閾值分割[11]，基于區(qū)域的分割算法[12]和Graph-cut[13]。然而，近年來(lái)，在醫(yī)學(xué)圖像分割，病變檢測(cè)和定位領(lǐng)域中，利用DL的語(yǔ)義分割方法變得更加成功，而且，基于DL的方法在單模態(tài)（MRI，CT和X射線）成像處理中也具有很好的通用性。

此外，在深度學(xué)習(xí)領(lǐng)域，涌現(xiàn)出其它的一系列基于U-Net的方法。例如，醫(yī)學(xué)圖像分割中著名的3D全卷積神經(jīng)網(wǎng)絡(luò)V-Net[14]，該模型具有對(duì)稱結(jié)構(gòu)，由編碼器和解碼器組成，通過引入基于Dice系數(shù)的新目標(biāo)函數(shù)來(lái)解決類別不平衡的問題，同時(shí)，使用隨機(jī)非線性變化和直方圖匹配來(lái)擴(kuò)充數(shù)據(jù)，在測(cè)試階段取得了卓越的性能; 3D U-Net[15]網(wǎng)絡(luò)結(jié)構(gòu)，從稀疏標(biāo)注的體積圖像中學(xué)習(xí)，用于體積分割;CE-Net[16]，將新提出的DAC模塊和RMP模塊與骨干編碼器-解碼器結(jié)構(gòu)相結(jié)合，來(lái)提高學(xué)習(xí)的效率;Seo等人提出的MU-Net[17]，基于對(duì)象的上采樣，將殘差網(wǎng)絡(luò)中的特征自適應(yīng)地合并到跳躍連接中，避免低分辨率信息的重復(fù)，增強(qiáng)目標(biāo)的邊緣信息和小目標(biāo)的全局信息;Zhou等提出的U-Net ++[18]，由深度不同的U-Net組成，其解碼器通過重新設(shè)計(jì)的跳躍路徑以相同的分辨率緊密連接，可以抓取不同層次的特征，并采用了深度監(jiān)督學(xué)習(xí)方案;Li等提出的H-DenseUNet[19]，可以通過混合特征融合層聯(lián)合優(yōu)化片內(nèi)特征和3D上下文，以準(zhǔn)確地對(duì)目標(biāo)進(jìn)行分割，克服了2D的CNN不能夠?qū)W習(xí)到第三維度上的空間信息、3D的CNN需要高額的計(jì)算成本以及嚴(yán)重的GPU內(nèi)存消耗的問題;He等提出的Mask RCNN[20]，特征提取采用ResNet-FPN的架構(gòu)，在Faster R-CNN的基礎(chǔ)上添加了一個(gè)預(yù)測(cè)分割Mask的分支。

1 經(jīng)典的U-Net模型

U-Net，被視為醫(yī)學(xué)圖像語(yǔ)義分割最成功的方法之一[21]，其模型網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

U-Net網(wǎng)絡(luò)由兩個(gè)主要部分組成：卷積編碼和解碼單元。對(duì)編碼和解碼單元執(zhí)行基本卷積操作，然后執(zhí)行ReLU激活函數(shù)。在編碼單元中進(jìn)行下采樣，進(jìn)行了2×2最大池化操作。在解碼階段，執(zhí)行反卷積操作來(lái)對(duì)特征圖進(jìn)行上采樣。U-Net最早應(yīng)用于從編碼單元到解碼單元裁剪和復(fù)制特征圖。

U-Net模型在圖像分割方面有很多優(yōu)勢(shì)：首先，該模型允許同時(shí)使用全局位置和上下文信息。其次，它只需要很少的訓(xùn)練樣本就可以在醫(yī)學(xué)圖像分割中有良好的表現(xiàn)。第三，端對(duì)端的處理是以圖片為整體進(jìn)行分割，并直接生成分割圖。這樣可以確保U-Net保留輸入圖像完整的上下文信息，這是與基于補(bǔ)丁的分割方法相比的一個(gè)重要優(yōu)勢(shì)。

2 基于循環(huán)卷積神經(jīng)網(wǎng)絡(luò)的U-Net模型

2.1 改進(jìn)的U-NET網(wǎng)絡(luò)結(jié)構(gòu)

U-Net模型在具有較少網(wǎng)絡(luò)參數(shù)的情況下分割效果一般，且僅在訓(xùn)練過程中具有很好的收斂性[10]。為了克服U-Net模型的局限性，受深度殘差模型[6]，循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（RCNN）[22]的啟發(fā)，我們提出了基于U-Net的循環(huán)卷積神經(jīng)網(wǎng)絡(luò)模型，稱為RU-Net，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

從圖2可以看出，用于分類任務(wù)的CNN模型需要一個(gè)編碼單元，并提供分類概率作為輸出。在分類任務(wù)中，使用帶下采樣層的激活函數(shù)ReLU進(jìn)行卷積操作，從而降低了特征圖的維度。由于輸入樣本遍布網(wǎng)絡(luò)的每個(gè)層，特征圖的數(shù)量增加，但是特征圖的維度減少。這顯示在模型網(wǎng)絡(luò)結(jié)構(gòu)的第一部分（黑色實(shí)心）。由于特征圖的數(shù)量在深層中增加，因而，網(wǎng)絡(luò)參數(shù)的數(shù)量也相應(yīng)增加。最后，使用分類函數(shù)來(lái)計(jì)算目標(biāo)類的概率。

相較于U-Net模型，提出的模型對(duì)如下3個(gè)方面進(jìn)行了改進(jìn)：

1）卷積層。分割任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)需要設(shè)置卷積編碼和解碼單元。編碼單元將輸入圖像編碼為大量低維特征圖。解碼單元中執(zhí)行反卷積操作，生成尺寸與原始輸入圖像相同的分割圖。與分類任務(wù)相比，分割任務(wù)的網(wǎng)絡(luò)結(jié)構(gòu)通常需要大約兩倍的網(wǎng)絡(luò)參數(shù)。因此，為分割任務(wù)設(shè)計(jì)有效的網(wǎng)絡(luò)架構(gòu)非常重要。此模型中使用的卷積編碼和解碼單元與U-Net模型是相同的，但是，為了開發(fā)更加有效的模型，在編碼和解碼單元中，該模型使用RCL（recurrent convolution layer）代替常規(guī)前向卷積層，從而確保在較少數(shù)量的網(wǎng)絡(luò)參數(shù)的情況下獲得更好的性能。展開的RCL結(jié)構(gòu)如圖3中所示。μ=2個(gè)時(shí)間步長(zhǎng)時(shí)，構(gòu)成了一個(gè)最大深度為3，最小深度為1的前饋?zhàn)泳W(wǎng)絡(luò)，包含一個(gè)卷積層和兩個(gè)循環(huán)卷積層組成的子序列。μ=3個(gè)時(shí)間步長(zhǎng)時(shí)，構(gòu)成了一個(gè)最大深度為4，最小深度為1的前饋?zhàn)泳W(wǎng)絡(luò)，包含一個(gè)卷積層和三個(gè)循環(huán)卷積層組成的子序列。

2）特征累積方式。文[22]中提出的U-Net改進(jìn)模型與U-Net相比，在訓(xùn)練過程中表現(xiàn)出了顯著的性能提升和良好的收斂性，但是，在測(cè)試階段使用特征求和時(shí)，并未觀察到優(yōu)越性[22]，說明特征求和一定程度會(huì)影響網(wǎng)絡(luò)的性能。本文提出模型的RCL（recurrent convolution layer）單元包含有效的特征累積方法，可以實(shí)現(xiàn)網(wǎng)絡(luò)的端到端的特征累積，其有效性可以通過基于CNN的醫(yī)學(xué)圖像分割證明。在該模型中，逐個(gè)元素的特征求和在U-Net模型之外進(jìn)行，在內(nèi)部進(jìn)行特征積累，使得在訓(xùn)練、驗(yàn)證和測(cè)試三個(gè)階段均表現(xiàn)出優(yōu)越性。不同時(shí)間步長(zhǎng)的特征累積可進(jìn)行更加豐富的特征表示。因而，有助于提取圖像中更加細(xì)小的特征，這些特征對(duì)于醫(yī)學(xué)圖像不同方式的分割任務(wù)提供不可忽視的貢獻(xiàn)。

3）特征映射方式。本文從U-Net原模型中刪除了裁剪和復(fù)制單元，而僅保留了級(jí)聯(lián)操作。提出的深度學(xué)習(xí)模型

RU-Net是具有正向循環(huán)的U-Net模型，從編碼單元到解碼單元的特征映射應(yīng)用了級(jí)聯(lián)方式，此處μ指的是循環(huán)卷積操作，在進(jìn)行了上述改進(jìn)之后，將提出的模型與SegNet，U-Net和CE-Net模型相比，所提出的模型可確保在相同或更少數(shù)量的網(wǎng)絡(luò)參數(shù)的情況下獲得更好的性能。

2.2 改進(jìn)的U-NET算法

該模型利用了深度殘差模型，RCNN和U-Net三個(gè)深度學(xué)習(xí)模型的優(yōu)勢(shì)。RCNN及其變體已經(jīng)在

使用不同基準(zhǔn)的對(duì)象識(shí)別任務(wù)中顯示了卓越的性能。RCL是基于RCNN的離散時(shí)間步長(zhǎng)執(zhí)行的。

假設(shè)φi為殘差RCNN第i層中的輸入樣本，RCL中第k個(gè)特征圖上輸入樣本中的中心像素坐標(biāo)為（m，n）。假設(shè)在μ時(shí)間的網(wǎng)絡(luò)輸出為νimnl（μ）。輸出可以表示如下：

νimnl（μ）=Cl+（θgl）T*φg（m，n）i（μ）+（θσl）T*φσ（m，n）i（λ）（1）

其中，φg（m，n）i（μ）與φσ（m，n）i（λ）分別是標(biāo)準(zhǔn)卷積層與RCL第i層的輸入，λ=μ-1，θgl與θσl的值分別是標(biāo)準(zhǔn)卷積層與RCL的第l個(gè)特征圖的權(quán)重，Cl為偏差。RCL的輸出作為ReLU激活函數(shù)g的參數(shù)為

G（φi，θi）=g（νimnl（μ））=max（0，νimnl（μ））（2）

G（φi，θi）表示RCNN單元第i層的輸出， G（φi，θi）的輸出分別用于RU-Net模型的卷積編碼和解碼單元中的下采樣和上采樣層。

與U-Net相比，提出的模型具備兩方面的優(yōu)勢(shì)。一方面，在相同數(shù)量的網(wǎng)絡(luò)參數(shù)情況下，該模型在分割任務(wù)上表現(xiàn)出更好的性能;另一方面，該模型使用的循環(huán)操作不僅不會(huì)增加網(wǎng)絡(luò)參數(shù)的數(shù)量，而且提高了訓(xùn)練、驗(yàn)證和測(cè)試階段的性能。

2.3 算法評(píng)價(jià)標(biāo)準(zhǔn)

對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量分析，考慮了幾個(gè)性能指標(biāo)，包括準(zhǔn)確度AC，靈敏度SE，特異性SP。為此我們使用了真陽(yáng)性TP，真陰性TN，假陽(yáng)性FP和假陰性FN 4個(gè)變量。計(jì)算整體準(zhǔn)確度AC的等式為式（3）。式（4）計(jì)算敏感性SE和式（5）計(jì)算特異性SP，式（6）計(jì)算精確率，式（7）計(jì)算召回率。

AC=TN+TPFN+FP+TN+TP（3）

SE=TPFN+TP（4）

SP=TNFP+TN（5）

Precision=TPTP+FP（6）

Recall=TPTP+FN（7）

另外，根據(jù)文[23]進(jìn)行了確定Dice系數(shù)（DI）損失函數(shù)的實(shí)驗(yàn)，根據(jù)文[24]確定了Jaccard相似系數(shù)（JS），此處e代表金標(biāo)準(zhǔn)，f代表分割結(jié)果。式10為F1分?jǐn)?shù)。

DI（e，f）=2|e∩f||e|+|f|（8）

JS（e，f）=|e∩f||e∪f(wàn)|（9）

F1分?jǐn)?shù)=2×Precision·RecallPrecision+Recall（10）

3 實(shí)驗(yàn)環(huán)節(jié)

3.1 實(shí)驗(yàn)環(huán)境與環(huán)境參數(shù)

為了驗(yàn)證提出的RU-Net模型的性能，我們?cè)贑T圖像數(shù)據(jù)集上進(jìn)行了方法測(cè)試，實(shí)驗(yàn)采用了LUNA16的胸部CT數(shù)據(jù)集。我們刪除了切片厚度大于2.5mm的CT影像。該數(shù)據(jù)集總共包括888個(gè)肺部 CT 影像數(shù)據(jù)，每個(gè)影像包含一系列胸腔的多個(gè)軸向切片[25]，原始圖像是由不同數(shù)量的二維圖像組成的三維圖像，每個(gè)圖像包含一系列胸腔的多個(gè)軸向切片。此外該數(shù)據(jù)集還包含了注釋，這些注釋是由4名有經(jīng)驗(yàn)的放射科專家收集的。我們選取其中 77名病人，每名病人大約有 100～400 張切片，最終形成 12489 張二維圖像數(shù)據(jù)集，原始圖像大小為512×512，但是在此實(shí)驗(yàn)中，我們將圖像的大小調(diào)整為256×256像素。使用ADAM優(yōu)化器，學(xué)習(xí)率設(shè)為2×10-4。我們?cè)O(shè)定公式6為DI損失函數(shù)，其中70%的樣本用于訓(xùn)練，10%用于驗(yàn)證，20%用于測(cè)試。所有的訓(xùn)練、測(cè)試及驗(yàn)證實(shí)驗(yàn)在Ubuntu18.04的工作站上完成，其基本配置為：CPU Intel銀牌 4110 2.1GHz，64G DDR4內(nèi)存，顯卡為RTX2080Ti。

1.2 實(shí)驗(yàn)結(jié)果與分析

1）消融實(shí)驗(yàn)。為了證明提出模型的有效性，我們進(jìn)行了消融實(shí)驗(yàn)研究。首先我們對(duì)卷積層的數(shù)量以及時(shí)間步長(zhǎng)進(jìn)行消融實(shí)驗(yàn)，其次我們移除U-Net模型中的原始編碼器塊使用殘差單元來(lái)代替、移除常規(guī)前向卷積層使用RCL來(lái)代替、移除裁剪和復(fù)制單元多方面進(jìn)行消融研究。

①卷積層及步長(zhǎng)。在卷積塊中使用不同數(shù)量的卷積層評(píng)估模型，并根據(jù)時(shí)間步長(zhǎng)μ確定層數(shù)。表1顯示了不同卷積塊中的網(wǎng)絡(luò)結(jié)構(gòu)以及相應(yīng)的特征圖數(shù)量。從表1中可以清楚地看到：當(dāng)μ=2時(shí)，卷積塊中特征圖的數(shù)量保持不變;當(dāng)μ=3時(shí)，隨著卷積塊中卷積層的增加，網(wǎng)絡(luò)參數(shù)的數(shù)量也會(huì)增加。

我們使用殘差，循環(huán)和循環(huán)殘差逐元素加法操作執(zhí)行特征融合。在網(wǎng)絡(luò)結(jié)構(gòu)的編碼單元中，每個(gè)卷積塊由兩個(gè)或3個(gè)RCL組成，其中應(yīng)用了3×3卷積內(nèi)核，ReLU激活層，以及批處理歸一化層。對(duì)于下采樣，在卷積塊之間使用2×2最大池化層，其后是1×1卷積層。在解碼單元中，每個(gè)塊由卷積轉(zhuǎn)置層、緊隨其后的兩個(gè)卷積層和級(jí)聯(lián)層組成。在網(wǎng)絡(luò)中的編碼和解碼單元中的特征之間執(zhí)行級(jí)聯(lián)操作。然后，將1×1卷積核與sigmoid激活函數(shù)一起使用，將特征映射到單個(gè)輸出特征圖。最后，使用0.5閾值生成分割區(qū)域。

②殘差單元、RCL、特征積累方式在不同步長(zhǎng)下的消融研究。

本文提出的方法基于U-Net的基線模型。采用殘差單元來(lái)代替U-Net的原始編碼器塊，旨在增強(qiáng)學(xué)習(xí)能力，稱之為Trunk;

提出的模型采用RCL代替常規(guī)前向卷積層，目的是在較少數(shù)量的網(wǎng)絡(luò)參數(shù)的情況下獲得更好的性能;

此外，本文改變特征積累方式，刪除了U-Net模型中的裁剪和復(fù)制單元，僅保留了級(jí)聯(lián)操作，旨在提取圖像中更加細(xì)微的特征。

如表2的第2行至第5行所示，當(dāng)μ=2時(shí)，RU-Net、U-Net、Trunk和Trunk+RCL相比，在準(zhǔn)確度方面，分別提高了0.85%、0.81%和0.29%;當(dāng)μ=3時(shí)，RU-Net模型在各方面的性能表現(xiàn)如表2的第6行至第9行所示，在準(zhǔn)確度方面分別高出0.84%、0.30%和0.20%。

從表2中我們還可以看出，即使網(wǎng)絡(luò)參數(shù)的數(shù)量相對(duì)于卷積層中的時(shí)間步長(zhǎng)稍有增加，各方面性能也略有提高。

2）與其它模型的性能比較。

本文選取了3種不同模型（SegNet，U-Net，CE-Net）與提出的模型（RU-Net）進(jìn)行了肺CT分割比較實(shí)驗(yàn)。

肺CT典型分割結(jié)果如圖4所示，其中第一列為輸入樣本，第二列為金標(biāo)準(zhǔn)，第三，第四，第五和第六列分別給SegNet，U-Net，CE-Net和RU-Net模型的輸出。

從第一行結(jié)果可以看出，RU-Net的分割效果較好，其內(nèi)部細(xì)節(jié)與真實(shí)細(xì)節(jié)比較相似。從第二行結(jié)果可以看出，RU-Net的輸出可以顯示出較好的細(xì)分，以及較準(zhǔn)確的內(nèi)部細(xì)節(jié)，左肺的內(nèi)孔較清楚地顯示了出來(lái)。從第三行結(jié)果可以看出，RU-Net模型相比SegNet和U-Net模型提供了更為準(zhǔn)確的細(xì)分結(jié)果，捕獲了病變以外的圖像部分。

本文針對(duì)RCL單位中的時(shí)間步長(zhǎng)μ=2評(píng)估了RU-Net模型。表3給出了提出的模型與同等的SegNet，U-Net，CE-Net模型相比，各方面性能的表現(xiàn)。在準(zhǔn)確度方面，與同等的SegNet和U-Net，CE-Net模型相比，RU-Net模型分別提高了0.61%、0.85%和0.23%。

表4總結(jié)了μ=3時(shí)與同等的SegNet、U-Net和CE-Net模型相比，RU-Net模型在各方面的性能表現(xiàn)。在準(zhǔn)確度方面分別提高了0.42%、0.24%和0.10%。

AUC和ROC曲線是用于醫(yī)學(xué)圖像分割任務(wù)的常用評(píng)估方法。在本文中，我們使用了該方法來(lái)評(píng)估所提出方法的性能，帶有AUC的ROC曲線圖如下圖5所示，可以看出提出的RU-Net模型在AUC曲線下面積均略高于其它3種方法—SegNet，U-Net和CE-Net。

驗(yàn)證集的精確度如圖6所示，可以看出RU-Net模型顯示出更好的性能，這說明提出的模型對(duì)圖像的分割任務(wù)具有更強(qiáng)的魯棒性。

為了進(jìn)一步研究RU-Net模型的性能，我們針對(duì)不同的訓(xùn)練樣本數(shù)目展開性能比較研究。我們選取了μ=2時(shí)的U-Net，CE-Net和RU-Net模型，這些模型包含1.07M網(wǎng)絡(luò)參數(shù)。對(duì)于SegNet，我們考慮了[7]中提出的具有1.7M網(wǎng)絡(luò)參數(shù)的類似網(wǎng)絡(luò)結(jié)構(gòu)。在實(shí)驗(yàn)開始時(shí)，將整個(gè)數(shù)據(jù)集分為兩組，其中80%的樣本用于訓(xùn)練和驗(yàn)證，而其余20%的樣本在每個(gè)試驗(yàn)期間用于測(cè)試。在此實(shí)驗(yàn)中，我們選用了[0.9、0.7、0.5、0.3和0.1]的不同拆分比率，隨著訓(xùn)練樣本的數(shù)量增加，每個(gè)連續(xù)跟蹤的驗(yàn)證樣本的數(shù)量減少。例如，拆分比率為0.9意味著僅10%的樣本用于訓(xùn)練，其余90%的樣本用于驗(yàn)證。同樣，0.7的拆分率意味著僅30%的樣本用于訓(xùn)練，其余70%的樣本用于驗(yàn)證。

圖7和圖8顯示了關(guān)于訓(xùn)練和驗(yàn)證的DI系數(shù)誤差。實(shí)驗(yàn)表明，所提出的RU-Net模型在所有測(cè)試的分割率下均顯示出較低的訓(xùn)練和驗(yàn)證誤差，但在驗(yàn)證情況下，分割率等于0.5的結(jié)果除外。在這種情況下，RU-Net模型的誤差比U-Net、CE-Net模型的誤差稍大。結(jié)果表明，RU-Net模型在訓(xùn)練階段用于提取、表示和學(xué)習(xí)能力較強(qiáng)，有助于獲取更好的性能。

此外，在每個(gè)試驗(yàn)中，我們用殘差的20%的樣本對(duì)模型進(jìn)行了測(cè)試，測(cè)試誤差如圖9所示。與SegNet、U-Net和CE-Net模型獲得的誤差相比，RU-Net模型的誤差較低 。

3）計(jì)算時(shí)間。在測(cè)試階段，LUNA16數(shù)據(jù)集的每個(gè)樣本的處理時(shí)間平均是2.86 s。執(zhí)行肺分割時(shí)，分割整個(gè)圖像均可以在1.15 s之內(nèi)完成。RU-Net模型處理每個(gè)樣品大約需要7 s，這在臨床使用情況下是可以接受的。

4 結(jié) 論

在本文中，我們提出了使用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)對(duì)U-Net網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)。優(yōu)勢(shì)在于：第一，在深層結(jié)構(gòu)訓(xùn)練中使用了殘差學(xué)習(xí)單元;第二，具有循環(huán)殘差卷積層的特征累積確保為分割任務(wù)提供更好的特征表示;第三，可以設(shè)計(jì)更好的具有相同數(shù)量網(wǎng)絡(luò)參數(shù)的U-Net架構(gòu)，以獲取更優(yōu)的CT圖像分割性能。在實(shí)驗(yàn)部分，采用公共的肺部CT數(shù)據(jù)集對(duì)提出的模型進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的三種先進(jìn)方法相比（Seg-Net，U-Net，CE-Net），RU-Net模型在處理具有相同數(shù)量網(wǎng)絡(luò)參數(shù)的分段任務(wù)時(shí)，往往能夠展現(xiàn)出更加優(yōu)越的性能。通過定量和定性比較，以及訓(xùn)練樣本數(shù)量與性能之間的折中實(shí)驗(yàn)分析，表明RU-Net模型在訓(xùn)練過程中具備更強(qiáng)的學(xué)習(xí)能力，從而確保獲得更高的分割精準(zhǔn)度。本文提出的模型仍然具有較大的改進(jìn)空間。首先，為了使模型性能減少對(duì)樣本數(shù)量和質(zhì)量的依賴，需對(duì)樣本進(jìn)行進(jìn)一步優(yōu)化，統(tǒng)一的清洗校驗(yàn);其次，編碼和解碼單元的特征融合策略還可以進(jìn)一步優(yōu)化，在今后的研究工作中，我們將繼續(xù)研究新穎的特征融合策略來(lái)探索更加高效的網(wǎng)絡(luò)結(jié)構(gòu)。

參 考 文 獻(xiàn)：

[1] SZEGEDY Christian， LIU Wei， JIA Yangqing， et al. Going Deeper with Convolutions[C]//IEEE Conference on Computer Vision and Pattern Recognition， Boston， June 7-12， 2015.

[2] 劉俠， 匡瑞雪， 王波， 等. 基于隱馬爾可夫場(chǎng)的脊柱CT 圖像分割算法[J].哈爾濱理工大學(xué)學(xué)報(bào)， 2018， 230（2）： 1.

LIU Xia， KUANG Rui-xue， WANG Bo， et al. Segmentation Algorithm of Spine CT Image Based on Hidden Markov Random Field[J]. Journal of Harbin University of Science and Technology， 2018， 23（2）：1.

[3] 張培培， 呂震宇， 趙爽， 等. 高速高精度帶鋼表面檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].哈爾濱理工大學(xué)學(xué)報(bào)， 2016， 21 （6）：? 44.

ZHANG Peipei， LV Zhenyu， ZHAO Shuang， et al. Research and Implementation for High-speed and High-precision Strip Surface Detection System[J]. Journal of Harbin University of Science and Technology， 2016， 21（6）： 44.

[4] 李浩， 霍雯， 裴春營(yíng)， 等. 融合VGG和FCN網(wǎng)絡(luò)模型的智能出租車訂單預(yù)測(cè)系統(tǒng)[J].計(jì)算機(jī)工程， 2019（12）： 1.

LI Hao， HUO Wen， PEI Chunying， et al. Intelligent Taxi Order Prediction System Based on VGG and FCN Network Model[J]. Computer Engineering， 2019（12）： 1.

[5] 梁雪慧，程云澤，張瑞杰等.基于卷積神經(jīng)網(wǎng)絡(luò)的橋梁裂縫識(shí)別和測(cè)量方法[J].計(jì)算機(jī)應(yīng)用， 2020， 40（4）：? 1056.

LIANG Xuehui，CHENG Yunze，ZHANG Ruijie， et al. Bridge Crack Classification and Measurement Method Based on Deep Convolutional Neural Network[J]. Journal of Computer Applications， 2020， 40（4）： 1056.

[6] HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Deep Residual Learning for Image Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition， Las Vegas， June 17-30， 2016：770.

[7] MD Zahangir Alom， MAHMUDUL Hasan， CHRIS Yakopcic， et al. Improved Inception-Residual Convolutional Neural Network for Object Recognition[J]. arXiv preprint 2017，? arXiv：1712.09888.

[8] LITJENS G， KOOI T， BEJNORDI B E， et al. A Survey on Deep Learning in Medical Image Analysis[J]. arXiv preprint 2017， arXiv： 1702.05747.

[9] ZG N iek， AHMED Abdulkadir， SOEREN S， et al. 3D U-Net： Learning Dense Volumetric Segmentation from Sparse Annotation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer International Publishing， 2016：424.

[10]RONNEBERGER， OLAF， PHILIPP Fischer， et al. U-net： Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-assisted Intervention， Germany， October 5-9. Springer， Cham， 2015.

[11]CAI Y， LANDIS M， LAIDLEY D T， et al. Multi-modal Vertebrae Recognition Using Transformed Deep Convolution Network[J]. Computerized Medical Imaging and Graphics， 2016（51）： 11.

[12]RAMESH N， YOO J H， SETHI I K. Thresholding Based on Histogram Approximation[J]. IEE Proceedings-Vision Image and Signal Processing，1995，142（5）：271.

[13]SHARMA， NEERAJ， AMIT Kumar Ray. Computer Aided Segmentation of Medical Images Based on Hybridized Approach of Edge and Region Based Techniques[C]//Proceedings of International Conference on Mathematical Biology， Athematical Biology Recent Trends by Anamaya Publishers， 2006：150.

[14]MILLETARI， FAUSTO， NASSIR Navab， Seyed-Ahmad Ahmadi. V-net： Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation[C]//Fourth International Conference on 3D Vision （3DV）， 2016：356.

[15]OZG N C， i，cek， Ahmed Abdulkadir， Soeren S. Lienkamp， et al. 3DU-Net： Learning Dense Volumetric Segmentation from Sparse Annotation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention， Springer International Publishing， 2016：424.

[16]GU Zaiwang， CHENG Jun， FU Huazhu， et al. CE-Net： Context Encoder Network for 2D Medical Image Segmentation[J]. IEEE Transactions on Medical Imaging， 2019， 38（10）： 2281.

[17]HYUNSEOK Seo， CHARLES Huang， MAXIME Bassenne， et al. Modified U-Net （mU-Net） with Incorporation of Object-Dependent High Level Features for Improved Liver and Liver-Tumor Segmentation in CT Images[J]. IEEE Transactions on Medical Imaging， 2019： 1316.

[18]ZHOU Zongwei， Md Mahfuzur Rahman Siddiquee， Nima Tajbakhsh， et al. UNet++： Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation[J]. IEEE Transactions on Medical Imaging. 2019， 39（6）： 1856.

[19]LI Xiaomeng， CHEN Hao， QI Xiaojuan， et al.? H-DenseUNet： Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes[J]. IEEE Transactions on Medical Imaging， 2018， 37（12）：? 2663.

[20]HE Kaiming， Georgia Gkioxari， Piotr Dollar， et al. Mask r-cnn[C]//Proceedings of the IEEE International Conference on Computer Vision， 2017：2961.

[21]程立英， 高宣爽， 申海， 等. 基于U-Net網(wǎng)絡(luò)的肺部組織分割[J]. 沈陽(yáng)師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2020， 38（02）： 278.

CHENG Liying， GAO Xuanshuang， SHEN Hai， et al. Lung Tissue Segmentation Based on U-Net Network[J] Journal of Shenyang Normal University （Natural Science Edition）， 2020， 38（2）： 278.

[22]Liang， Ming， HU Xiaolin. Recurrent Convolutional Neural Network for Object Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：3367.

[23]DICE LEE R. Measures of the Amount of Ecologic Association Between Species[J]. Ecology， 1945， 26（3）： 297.

[24]JACCARD Paul. The Distribution of the Flora in the Alpine Zone[J]. New Phytologist， 1912，11（2）： 37.

[25]Setio A A A， Traverso A， De Bel T， et al. Validation， comparison， and combination of algorithms for automatic detection of pulmonary nodules in computed tomography images： the LUNA16 challenge[J]. Medical image analysis， 2017， 42： 1.

（編輯：王 萍）