趙梓淇, 裴 昀, 常振東, 王 博, 安爍文, 李文輝

(吉林大學(xué) a.計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院; b.電子科學(xué)與工程學(xué)院, 長(zhǎng)春 130012)

0 引 言

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的重要分支, 在計(jì)算機(jī)視覺等領(lǐng)域發(fā)展迅速[1-3]。卷積神經(jīng)網(wǎng)絡(luò)(CNN: Convolutional Neural Networks)是一種常用于圖像識(shí)別及處理和分割的深度學(xué)習(xí)算法, 應(yīng)用在人臉識(shí)別、行人檢測(cè)以及肺結(jié)節(jié)檢測(cè)等相關(guān)領(lǐng)域[4-7], 具有局部感知和權(quán)值共享等特點(diǎn)。2012年CNN在ImageNet競(jìng)賽中取得第1的佳績(jī), 至此CNN成為圖像處理與目標(biāo)檢測(cè)的常用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。CNN經(jīng)歷了從AlexNet[8]、VGGNet[9]到GoogLeNet[10]再到ResNet[11]的不斷優(yōu)化, 性能得到了大幅度的提升。

有學(xué)者將深度學(xué)習(xí)算法應(yīng)用到神經(jīng)細(xì)胞圖像的分割、判斷乳腺癌的良惡性分級(jí)等。同時(shí)也有相關(guān)研究人員用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視網(wǎng)膜血管分割, 將三維的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到了大腦病變區(qū)域分割研究中等。這些研究工作在臨床應(yīng)用中都已有了很大的進(jìn)展。

世界衛(wèi)生組織的報(bào)告表明, 肺癌目前已經(jīng)成為全球致死率最高的癌癥。而根據(jù)我國癌癥中心發(fā)布的2017年中國腫瘤登記年報(bào), 肺癌位居我國癌癥發(fā)病率、死亡率第1位。臨床研究證明, 肺癌早期患者的五年生存率可達(dá)70%以上, 而晚期患者的五年生存率僅為14%左右。肺結(jié)節(jié)是早期肺癌的一個(gè)重要標(biāo)志。傳統(tǒng)檢測(cè)肺結(jié)節(jié)的方法是醫(yī)生通過觀察肺部的CT(Computed Tomography)切片圖像, 以識(shí)別病人是否有肺結(jié)節(jié)。然而較微小的肺結(jié)節(jié)在CT影像上看與血管極為相似, 易被遺漏。這就需要具有較高醫(yī)術(shù)水平的醫(yī)師進(jìn)行診斷, 而往往這些醫(yī)師通常是科室的科主任, 即便在三甲級(jí)醫(yī)院這樣的資源也是少之又少。另一方面, 一個(gè)患者的完整肺部平掃CT影像有數(shù)百張的切片, 檢測(cè)工作量巨大, 需要投入大量的醫(yī)師完成相關(guān)工作。目前, 70%左右的肺癌患者就診于縣級(jí)及縣級(jí)以下醫(yī)院, 診療設(shè)備和人力資源都不及三甲醫(yī)院, 從而導(dǎo)致許多患者錯(cuò)過治療的最佳時(shí)期, 導(dǎo)致發(fā)病率極高的肺癌, 因此, 采用計(jì)算機(jī)輔助研究刻不容緩[12]。

筆者采用U-Net網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)進(jìn)行檢測(cè), 而U-Net網(wǎng)絡(luò)是在FCN(Full Convolution Network)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行優(yōu)化改進(jìn)得到的適用于醫(yī)學(xué)圖像處理的神經(jīng)網(wǎng)絡(luò), 所以在實(shí)驗(yàn)過程中選用U-Net網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)進(jìn)行檢測(cè)分割可以得到較好的效果。

1 相關(guān)研究

韓貴來等[13]采用基于視覺注意的肺結(jié)節(jié)顯著性區(qū)域分割方法, 尋找肺圖像中實(shí)質(zhì)顯著的區(qū)域連通同時(shí)對(duì)連通區(qū)域進(jìn)行區(qū)域生長(zhǎng)操作。這種方法雖然可以有效分割肺結(jié)節(jié), 但人工選取的誤差會(huì)對(duì)分割過程造成一定影響, 并且受限于肺結(jié)節(jié)的多樣性導(dǎo)致應(yīng)用不廣泛。董林佳等[14]提出了一種基于三維形狀指數(shù)和Hessian矩陣特征值的肺結(jié)節(jié)分割與檢測(cè)方法, 該方法獲得三維數(shù)據(jù), 并通過對(duì)肺結(jié)節(jié)三維特征建模對(duì)肺結(jié)節(jié)進(jìn)行分割。Alakwaa等[15]使用3D卷積神經(jīng)網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)進(jìn)行分割與檢測(cè)。

Long等[16]在基于CNN網(wǎng)絡(luò)下提出了FCN(Full Convolution Network)網(wǎng)絡(luò), Zhou等[17]將其用于醫(yī)學(xué)影像分割, 將FCN算法和多數(shù)投票算法相結(jié)合, 在人體軀干CT圖像中分割出了19個(gè)目標(biāo)。Ronneberger[18]提出了U-net網(wǎng)絡(luò)結(jié)構(gòu), 不僅提高了訓(xùn)練效率, 同時(shí)也能更精準(zhǔn)得實(shí)現(xiàn)圖像語義級(jí)別的分割。U-Net是一種適用于醫(yī)療圖像分割領(lǐng)域的深度學(xué)習(xí)網(wǎng)絡(luò)模型, 該網(wǎng)絡(luò)已經(jīng)在角膜圖像分割、皮膚病變分割以及膝關(guān)節(jié)磁共振(MR: Magnetic Resonance)圖像分割等領(lǐng)域得到了應(yīng)用[19-21]。

2 數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)需要在眾多信息中提取出有用信息, 使分割更準(zhǔn)確高效, 這樣就需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。數(shù)據(jù)的預(yù)處理主要由以下步驟：第1步采用SimpleITK對(duì)CT圖像進(jìn)行讀取,并存放在Numpy數(shù)組的緩存中以供使用；第2步利用Scikit-Image對(duì)CT原始圖像(圖1)進(jìn)行預(yù)處理, 將處理得到的CT影像信息存儲(chǔ)在緩存文件中以進(jìn)行快速訓(xùn)練初始化。將整張CT圖像分為512×512像素大小的子圖像進(jìn)行處理。

主要處理過程分為：Binary、Clear_border、Label、Region、Closing、Dilation。

圖1 肺部CT圖像原圖

Binary表示圖像的二值化, 即將CT圖像轉(zhuǎn)換為像素值為0(黑色)、255(白色), 使肺部邊界、內(nèi)部、外部更加分明, 如圖2所示。

Clear border則是將二值化圖像的肺部邊界外部像素轉(zhuǎn)換為和邊界相同, 使肺部區(qū)域得以分離, 如圖3所示。

Label是對(duì)影像每個(gè)像素進(jìn)行連通性檢查, 標(biāo)記連通區(qū)域, 分為四連通和八連通；Region是提取標(biāo)記過的連通區(qū)域, 并保持最大的連通區(qū)域；Closing是返回的灰度圖像的形態(tài)閉合, 即關(guān)閉可以去除細(xì)小黑點(diǎn)并連接小的明亮細(xì)縫, 關(guān)閉明亮特征之間的黑色間隙, 如圖4所示。

圖2 肺部CT圖像二值化

圖3 Clear border處理

圖4 Closing處理

Dilation是對(duì)圖像進(jìn)行形態(tài)學(xué)上的膨脹, 將某一坐標(biāo)下的像素值設(shè)置為以該坐標(biāo)為中心的鄰域中所有像素值的最大值, 擴(kuò)張放大明亮區(qū)域并縮小黑暗區(qū)域, 如圖5所示。預(yù)處理后的結(jié)果如圖6所示。

圖5 Dilation處理

圖6 預(yù)處理結(jié)果圖

3 肺結(jié)節(jié)分割網(wǎng)絡(luò)

該實(shí)驗(yàn)使用U-Net網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò), 由于醫(yī)學(xué)圖像邊界模糊、梯度復(fù)雜、需要較多的高分辨率信息, 而人體內(nèi)部結(jié)構(gòu)相對(duì)穩(wěn)定, 語義較為簡(jiǎn)單, 所以低分辨率信息即可完成簡(jiǎn)單定位。U-Net網(wǎng)絡(luò)用深層特征定位, 淺層特征用于精確分割, 在上采樣過程中將淺層特征和深層特征結(jié)合, 能得到較好的分割效果。

3.1 FCN網(wǎng)絡(luò)

該網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上實(shí)現(xiàn)的, 通常CNN在卷積層之后會(huì)接若干個(gè)全連接層, 將卷積層產(chǎn)生的特征圖(feature map)映射成一個(gè)固定長(zhǎng)度的特征向量。以AlexNet為例, 在最后得到長(zhǎng)為1 000的輸出向量, 其值為輸入圖像屬于某一類的概率, 即通過softmax得到固定長(zhǎng)度的特征向量。FCN就是將CNN的全連接層轉(zhuǎn)換為卷積層, 例如AlexNet使用了兩個(gè)尺寸為4 096的全連接層和一個(gè)尺寸為1 000的全連接層用作計(jì)算分類評(píng)分(見圖7)。

圖7 部分AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

將其分別轉(zhuǎn)換為和的卷積層, 把全連接層的權(quán)重重新塑造為卷積層的濾波器, 轉(zhuǎn)化的目的是使卷積神經(jīng)網(wǎng)絡(luò)能得到更多輸出, 以對(duì)每個(gè)像素點(diǎn)進(jìn)行分類, 同時(shí)保留了原始圖像的空間信息如圖8所示。

圖8 改進(jìn)的FCN網(wǎng)絡(luò)結(jié)構(gòu)

FCN對(duì)圖像進(jìn)行像素級(jí)分類, 從而解決了語義級(jí)別的圖像分割問題, 所以FCN的另一優(yōu)勢(shì)就是對(duì)輸入圖像的大小沒有明確限制, 不需要像CNN要對(duì)圖像進(jìn)行裁剪, 避免了特征信息丟失。

在得到熱圖(heatmap)后需要對(duì)圖像上采樣(upsampling), 同樣使用和前部分對(duì)稱的卷積核和池化層大小, 把圖像放大到原圖像大小。

FCN上采樣過程中的一個(gè)關(guān)鍵步驟是對(duì)上采樣的微調(diào)(fine tuning), 如果直接把pool4層進(jìn)行步長(zhǎng)為32的反卷積, 得到的結(jié)果圖會(huì)丟失大量存在于淺層特征的位置信息和細(xì)節(jié), 所以將pool4層進(jìn)行步長(zhǎng)為2的反卷積和pool3層的特征相加再進(jìn)行步長(zhǎng)為16的反卷積, 將相加的特征進(jìn)行步長(zhǎng)為2的反卷積和pool2層的特征相加進(jìn)行步長(zhǎng)為8的反卷積, 整個(gè)過程如圖9所示。

圖9 FCN網(wǎng)絡(luò)上采樣過程

此時(shí)每個(gè)像素都得到了分類預(yù)測(cè), 得到更加精準(zhǔn)的分割圖像, 所以FCN全卷積神經(jīng)網(wǎng)絡(luò)是一種端到端、像素到像素的良好的分割網(wǎng)絡(luò)。

3.2 U-Net結(jié)構(gòu)

U-Net是基于FCN的語義分割網(wǎng)絡(luò)。相比于FCN, U-Net在上采樣部分進(jìn)行了改進(jìn), U-Net為上采樣部分提供了大量的特征通道, 使更多的語義信息傳輸?shù)礁叻直媛侍卣鲗印?/p>

3.2.1 反卷積

網(wǎng)絡(luò)的上采樣部分采用反卷積過程, 反卷積過程和卷積過程相反, 卷積層的反向傳播過程就是反卷積的前向傳播過程。卷積的目的是提取更深層次的特征信息, 而反卷積的作用是在淺層區(qū)域一定程度上還原原始圖像的位置信息。若輸入圖片大小為I×I, 卷積核為K×K, 步長(zhǎng)為S,一層零填充為P, 對(duì)于卷積過程, 輸出圖像大小

(1)

反卷積過程以輸入圖像為2×2像素, 卷積核為3×3像素, 步長(zhǎng)為1, 兩層零填充為例, 同樣利用卷積過程的權(quán)值共享的特性, 帶有零填充的輸入圖像和卷積核做矩陣內(nèi)積, 隨步長(zhǎng)移動(dòng)形成輸出圖像, 如圖10所示。

圖10 反卷積過程描述

同樣能得出輸出圖像大小

O=(I-1)S+K-2P

(2)

3.2.2 并聯(lián)跳躍結(jié)構(gòu)

上面已經(jīng)闡述了傳統(tǒng)的FCN網(wǎng)絡(luò)將層間信息進(jìn)行加和, 并進(jìn)行多次訓(xùn)練, 耗費(fèi)時(shí)間較長(zhǎng), 并且由于加和的原因, 深層特征信息會(huì)有一定程度的丟失。U-Net采用并聯(lián)跳躍結(jié)構(gòu), 和FCN一樣結(jié)合了深層的特征信息和淺層的位置信息, 采用2×2的反卷積核反卷積得到2倍于長(zhǎng)寬的輸出特征圖再和同一層級(jí)池化后的特征圖進(jìn)行疊加并聯(lián), 由于尺寸不同, 所以需要對(duì)同層池化后的特征圖進(jìn)行相應(yīng)的裁剪, 重復(fù)該過程直到恢復(fù)到初始輸入圖像尺寸。該過程只需訓(xùn)練一次, 得到的位置和特征信息更加精確。

3.2.3 損失函數(shù)

U-Net用softmax函數(shù)和交叉熵的結(jié)合作為損失函數(shù), 首先用softmax處理輸出向量, 得到不同類別間的相對(duì)概率, 將數(shù)值穩(wěn)定在[0,1]區(qū)間

(3)

其中wij為第i個(gè)神經(jīng)元的第j個(gè)權(quán)重,b是偏移量,Zi表示該網(wǎng)絡(luò)的第i個(gè)輸出。

(4)

其中ai表示第i個(gè)softmax的輸出值,k為分類數(shù)。

熵用于表示信息量的期望值, 即

(5)

其中n代表n種分類,p(xi)為xi事件發(fā)生的概率。

在機(jī)器學(xué)習(xí)中用到相對(duì)熵, 用p表示樣本真實(shí)分布、q描述樣本, 相對(duì)熵可表示為

(6)

式(6)的前半部分在訓(xùn)練過程中保持不變, 所以只需關(guān)注后面一項(xiàng), 就是交叉熵。

在該網(wǎng)絡(luò)中將softmax的結(jié)果用ai描述樣本、yi表示真實(shí)分類結(jié)果, 則得到交叉熵C為

(7)

(8)

針對(duì)分類問題,yi最終只會(huì)有一個(gè)類別為1, 其余類別都為0, 最終梯度可化簡(jiǎn)為

(9)

3.2.4 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

U-Net網(wǎng)絡(luò)分為兩個(gè)階段, 第1個(gè)階段是收縮階段(contracting path), 這部分的網(wǎng)絡(luò)結(jié)構(gòu)是常規(guī)的卷積神經(jīng)網(wǎng)絡(luò), 所以這部分可以利用ResNet、VGG、Inception等成熟的模型做為卷積網(wǎng)絡(luò)的結(jié)構(gòu), 優(yōu)點(diǎn)是可以利用訓(xùn)練成熟的模型加速U-net網(wǎng)絡(luò)的訓(xùn)練, 該實(shí)驗(yàn)收縮部分進(jìn)行了多次以兩次用3×3卷積核卷積和一次2×2 max pooling為單位的操作, 每層卷積層之間都用激活函數(shù)ReLu進(jìn)行處理, 每進(jìn)行一次操作, 特征通道數(shù)將會(huì)擴(kuò)大一倍。

最后一次的卷積和池化后得到的特征圖具有較深層抽象的特征提取信息, 由于實(shí)驗(yàn)以分割為目的, 所以需要將每個(gè)像素進(jìn)行分類并且還原原圖的位置信息, 所以第2階段是擴(kuò)張階段, 其中重要的步驟是上采樣。上采樣過程解決了上述問題, U-net網(wǎng)絡(luò)采用2×2反卷積, 將其和同層經(jīng)過兩次3×3卷積后經(jīng)過適當(dāng)裁剪的特征圖進(jìn)行疊加并聯(lián), 同樣經(jīng)過兩次3×3卷積后, 同樣操作的反卷積和卷積操作對(duì)稱進(jìn)行多次, 最后一層采用1×1的卷積核得到輸出圖像, 整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)如圖11所示, 相關(guān)說明如圖12所示。

圖11 U-Net網(wǎng)絡(luò)結(jié)構(gòu)

圖12 U-net相關(guān)說明

4 實(shí)驗(yàn)設(shè)計(jì)

4.1 數(shù) 據(jù)

實(shí)驗(yàn)全部數(shù)據(jù)引自阿里云天池醫(yī)療AI大賽, 數(shù)據(jù)集提供一千例高?；颊叩牡蛣┝糠尾緾T影像(mhd格式)數(shù)據(jù), 每個(gè)影像包含一系列胸腔的多個(gè)軸向切片。每個(gè)影像包含的切片數(shù)量會(huì)隨著掃描機(jī)器、掃描層厚和患者的不同而有差異。原始圖像為三維圖像。每個(gè)圖像包含一系列胸腔的多個(gè)軸向切片。這個(gè)三維圖像由不同數(shù)量的二維圖像組成。其二維圖像數(shù)量可以基于不同因素變化, 比如掃描機(jī)器、患者。Mhd文件具有包含關(guān)于患者ID的必要信息的頭部, 以及諸如切片厚度的掃描參數(shù)。所提供數(shù)據(jù)的結(jié)節(jié)大小如表1所示。

表1 肺結(jié)節(jié)大小在數(shù)據(jù)集中占比

由于結(jié)節(jié)大小不同, 尤其對(duì)半徑小于10 mm的肺結(jié)節(jié), 在驗(yàn)證和測(cè)試時(shí)很容易造成漏檢, 以及和血管黏連導(dǎo)致誤診, 所以實(shí)驗(yàn)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng), 對(duì)結(jié)節(jié)小于10 mm的圖像擴(kuò)大4倍, 對(duì)結(jié)節(jié)大于10 mm小于30 mm的圖像擴(kuò)大3倍, 提高了驗(yàn)證和測(cè)試的準(zhǔn)確性。

4.2 網(wǎng)絡(luò)設(shè)計(jì)

實(shí)驗(yàn)所用的U-net網(wǎng)絡(luò)設(shè)計(jì)如表2所示。

表2 U-net網(wǎng)絡(luò)設(shè)計(jì)

5 實(shí)驗(yàn)結(jié)果

5.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)環(huán)境如下。

1)硬件：Intel i9-7920X,16GByte,Nvidia GTX 1080Ti;

2)軟件：Windows10,CUDA10.0,cudnn7.4,Tensorflow1.9.0。

數(shù)據(jù)輸入尺寸為512×512像素, 選擇其中976張圖像用于訓(xùn)練模型, 270張圖像用于測(cè)試網(wǎng)絡(luò)模型性能。

5.2 實(shí)驗(yàn)結(jié)果

隨機(jī)初始化各層的參數(shù)權(quán)重值, 訓(xùn)練模型, 輸入CT圖像, 得到圖像中預(yù)測(cè)出的肺結(jié)節(jié)位置的掩膜(mask), 對(duì)得到的預(yù)處理圖像肺結(jié)節(jié)部分進(jìn)行檢測(cè)并加以增強(qiáng), 使訓(xùn)練效果以及分割效果更加精準(zhǔn), 處理后的CT圖像如圖13所示。經(jīng)過訓(xùn)練之后得到各CT圖像中的肺結(jié)節(jié)掩膜如圖14所示。

圖13 CT圖像中的肺結(jié)節(jié)

圖14 肺結(jié)節(jié)掩膜

實(shí)驗(yàn)結(jié)果表明, 對(duì)于訓(xùn)練集的損失函數(shù)最終穩(wěn)定在0.118 7, 對(duì)于驗(yàn)證集的損失函數(shù)最終穩(wěn)定在0.382 8, 驗(yàn)證集的準(zhǔn)確率最終可以達(dá)到98.1%, 結(jié)果如圖15～圖17所示。

圖15 訓(xùn)練集損失函數(shù) 圖16 驗(yàn)證集損失函數(shù) 圖17 驗(yàn)證集準(zhǔn)確率

6 結(jié) 語

筆者使用在醫(yī)學(xué)圖像分割領(lǐng)域上效果較為出色的U-Net作為基礎(chǔ)網(wǎng)絡(luò), 數(shù)據(jù)集采用天池AI醫(yī)療大賽所提供的肺部CT圖像對(duì)肺結(jié)節(jié)進(jìn)行分割, 實(shí)驗(yàn)結(jié)果表明, 通過本方法可以有效地得到較好的分割效果。實(shí)驗(yàn)采用的方法主要特點(diǎn)是不需要人工提取肺結(jié)節(jié)特征, 利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)特性, 自動(dòng)分割肺結(jié)節(jié), 相比人眼識(shí)別肺結(jié)節(jié)大幅度提高了速度和準(zhǔn)確率。雖然現(xiàn)如今在深度學(xué)習(xí)方式的輔助診斷還有一些困難, 但相信在不久的將來, 使用深度學(xué)習(xí)方法對(duì)肺結(jié)節(jié)分割的技術(shù)將逐漸趨于成熟, 并得到廣泛的應(yīng)用。