熊志勇，鄧天齊，李娜

(中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，武漢 430074)

腦腫瘤是一種惡性腦部疾病，由正常細(xì)胞變異形成的腫瘤細(xì)胞生長而成.臨床上診斷腦腫瘤通常觀察以核磁共振成像(Magnetic Resonance Imaging, MRI)技術(shù)對大腦做斷層掃描形成的三維圖像.MRI可以在不傷害人體的情況下觀察任意地點(diǎn)的切面，顯示軟組織的精細(xì)結(jié)構(gòu)，對于診斷有著極大的幫助，已成為腦部病變檢查中最常用的手段[1].從MRI里人工分離腫瘤區(qū)域費(fèi)時(shí)費(fèi)力，分割結(jié)果受到圖像成像質(zhì)量和操作者個(gè)人因素的影響往往不穩(wěn)定，用計(jì)算機(jī)輔助分割腫瘤的需求因此而生.

自計(jì)算機(jī)技術(shù)發(fā)展以來，圖像分割領(lǐng)域出現(xiàn)了許多分割方法.傳統(tǒng)分割方法主要包括閾值分割、分水嶺分割、邊緣查找[2]、聚類[3]、區(qū)域生長[4]等.它們有著實(shí)現(xiàn)簡單、快速高效的優(yōu)點(diǎn).相對地，傳統(tǒng)分割方法需要復(fù)雜的圖像預(yù)處理與參數(shù)調(diào)整，處理腦腫瘤分割任務(wù)較為困難,精度也不盡人意.機(jī)器學(xué)習(xí)方法以人工提取的圖像特征為出發(fā)點(diǎn)，通過優(yōu)化目標(biāo)函數(shù)完成分割任務(wù)，主要分割算法有RF[5]、SVM[6]、KNN[7]、貝葉斯等等.相比起傳統(tǒng)分割方法精度有了較大提升，但是提取特征的手段比較復(fù)雜.近年來神經(jīng)網(wǎng)絡(luò)的崛起使腦腫瘤分割的任務(wù)有了新的變化.從AlexNet[8]伊始，ResNet[9]、Unet[10]、Vnet[11]、DenseNet[12]等各種各樣的模型不斷地出現(xiàn).它們或是提出了新的卷積網(wǎng)絡(luò)思路，或是直接用于分割腫瘤，使腫瘤分割正確率節(jié)節(jié)上升，相應(yīng)地網(wǎng)絡(luò)復(fù)雜程度和訓(xùn)練開銷也大大增加.結(jié)合條件隨機(jī)場與全卷積網(wǎng)絡(luò)形成的FCNN-CRF網(wǎng)絡(luò)[13]中先訓(xùn)練了FCNN，然后訓(xùn)練了CRF-RNN校正FCNN的分割結(jié)果，提升了整體的分割能力.在U-Net中添加BN層、疊加層和跳躍連接機(jī)制簡化了U-Net的計(jì)算和內(nèi)存消耗[14].結(jié)合注意力機(jī)制學(xué)習(xí)不同尺度塊對應(yīng)的權(quán)重，加權(quán)得到像素分類的attention U-Net[15]能夠準(zhǔn)確分割腫瘤區(qū)域，提升了U-Net對細(xì)節(jié)的把握.但是該網(wǎng)絡(luò)沒有考慮類別平衡，使處理病變體素?cái)?shù)量少的類別結(jié)果不佳.

綜合考慮機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)的優(yōu)劣和性能后，考慮到腦腫瘤集中于部分區(qū)域，本文提出一種結(jié)合增強(qiáng)隨機(jī)森林和改進(jìn)后DenseNet的方法，旨在保證分割精度的前提下降低計(jì)算消耗.方法分為粗分割與精細(xì)分割兩部分.粗分割部分用隨機(jī)森林在下采樣的MRI上分割腫瘤，得到感興趣區(qū)域；精細(xì)分割用DenseNet在感興趣區(qū)域上完成像素級分割.最后把精細(xì)分割結(jié)果還原到感興趣區(qū)域的原始位置，得到最終分割結(jié)果.實(shí)驗(yàn)結(jié)果與其它算法對比證實(shí)：提出的方法在保證一定的分割準(zhǔn)確率時(shí)網(wǎng)絡(luò)參數(shù)數(shù)量大大減少，提升了計(jì)算效率，簡化了訓(xùn)練過程.

1 算法主要流程

1.1 基于增強(qiáng)隨機(jī)森林的粗分割

1.1.1 圖像預(yù)處理

由于掃描儀和病人的特異性，不同的MRI圖像有著不同的統(tǒng)計(jì)特征.為了統(tǒng)一統(tǒng)計(jì)特征，使用減去圖像大腦區(qū)域的灰度平均值再除以標(biāo)準(zhǔn)差的方式歸一化圖像.歸一化后大腦區(qū)域和其它部分取值均在0附近，且大腦區(qū)域取值大于-8.為了避免算法混淆大腦與其它區(qū)域，并放大大腦中不同部分的差異，對大腦區(qū)域進(jìn)行變換，使其平均取值為1000.整體的變換公式為：

(1)

其中x為點(diǎn)的灰度值，μ為圖像均值，σ為圖像標(biāo)準(zhǔn)差，a=80，b=1000.變換后對MRI進(jìn)行五倍下采樣形成sMRI圖像.

1.1.2 基于隨機(jī)森林的粗分割

sMRI的Flair、T1c、T2模態(tài)中坐標(biāo)相同的點(diǎn)的灰度可以組成一組特征向量.隨機(jī)森林能在這些特征向量上粗分割出腫瘤.本文設(shè)定最小分裂樣本數(shù)量為800，訓(xùn)練了一個(gè)包含27棵樹的隨機(jī)森林，得到初步粗分割結(jié)果.

1.1.3 基于邊緣查找的粗分割增強(qiáng)

為了排除初步粗分割結(jié)果中的過分割部分，由于T1c模態(tài)能夠凸顯腫瘤區(qū)，本文使用Laplace算法銳化sMRI中T1c模態(tài)(簡稱sT1c)后用Otsu算法尋找腫瘤邊緣，進(jìn)而分割出腫瘤核心.

Laplace算法能夠銳化圖像.如果將銳化后的圖像邊緣視作前景，其它部分視作背景，Otsu算法[16]能夠簡易地提取出前景.根據(jù)初步粗分割結(jié)果能夠找到sT1c中可能包含腫瘤的切片.這些切片中包含了腦邊界與腫瘤邊界.腦邊界可以腐蝕未經(jīng)Otsu過濾的切片獲得，據(jù)此可以得到經(jīng)Otsu過濾的sT1c切片中僅包含腫瘤邊界的圖片，結(jié)合初步粗分割結(jié)果去除其中的過分割部分.

1.1.4 基于區(qū)域生長的粗分割增強(qiáng)

區(qū)域生長能夠補(bǔ)足初步粗分割中欠分割部分.簡單的上下閾值區(qū)域生長極容易生長出充滿大量空洞的三維圖像，同時(shí)存在過分割與欠分割并存的問題，一種基于局部極小值的區(qū)域生長方法能夠彌補(bǔ)這種不足.

首先將粗分割結(jié)果全部設(shè)置為種子點(diǎn)，并設(shè)其均值為μ.定義邊緣種子點(diǎn)為與該種子相連的6個(gè)點(diǎn)中存在不是種子點(diǎn)的種子.對于一個(gè)邊緣種子點(diǎn)，在sMRI的Flair模態(tài)中搜索以其為中心，5×5×5的區(qū)域中灰度最小的種子點(diǎn)灰度值，并記為E.那么，生長規(guī)則設(shè)定為：對于任意一個(gè)與邊緣種子點(diǎn)相連接的非種子點(diǎn)P，若其灰度值為ρ，當(dāng)aE≤ρ≤bE且cμ≤ρ≤dμ時(shí)，將該點(diǎn)加入成為新的種子點(diǎn).反復(fù)循環(huán)直到整個(gè)圖像中所有滿足條件的點(diǎn)均變成種子點(diǎn)，生長結(jié)束.

1.2 基于改進(jìn)DenseNet的精細(xì)分割

為了提升卷積網(wǎng)絡(luò)分割準(zhǔn)確率，傳統(tǒng)的做法是添加更多的卷積層，期望網(wǎng)絡(luò)學(xué)習(xí)到更多圖像特征.實(shí)踐中發(fā)現(xiàn)這種做法不僅使網(wǎng)絡(luò)過于復(fù)雜，而且梯度消失問題反而令分割精度下降[9].DenseNet使用密集連接塊(DenseBlock)結(jié)構(gòu)提升了分割精度[12].DenseBlock結(jié)構(gòu)加強(qiáng)了特征傳遞，使特征有效地向深層網(wǎng)絡(luò)傳播，緩解了梯度消失問題.基于DenseNet的語義分割在CamVid數(shù)據(jù)集上整體精度達(dá)到了91.5%[17].

傳統(tǒng)的DenseNet有參數(shù)量大，計(jì)算量大的問題.本文以DenseNet為基礎(chǔ)提出了DWDenseNet，其中DW指深度可分離卷積(Depthwise Convolution).由于DenseNet中存在大量DenseBlock結(jié)構(gòu)，一種優(yōu)化思路是改良DenseBlock以減少參數(shù)數(shù)量.DenseBlock的卷積結(jié)構(gòu)為C×3×3，其中C為輸入圖像的Channel數(shù)量.將此過程拆分為1×3×3和C×1的深度可分離卷積[18]，卷積過程如圖1所示.

圖1 深度可分離卷積過程Fig.1 The process of Depthwise Convolution

假設(shè)對3通道圖像卷積，輸出2個(gè)類別，使用3×3大小的卷積核，DenseNet的一次卷積需要訓(xùn)練56個(gè)參數(shù)，改進(jìn)后一次卷積僅需要訓(xùn)練38個(gè)參數(shù)，節(jié)省了參數(shù)量和計(jì)算量，簡化了網(wǎng)絡(luò).

考慮到Leaky ReLU比ReLU多了負(fù)值輸入時(shí)的響應(yīng)，能夠保留更多信息[19]，將DenseBlock里的激活函數(shù)更改為Leaky ReLU也有利于網(wǎng)絡(luò)學(xué)習(xí).圖2是改進(jìn)后DWDenseBlock的結(jié)構(gòu)，比起DenseBlock它替換了ReLU并拆分了Conv.

圖2 DenseBlock和DWDenseBlock的對比Fig.2 The comparison of DenseBlock and DWDenseBlock

另外一個(gè)改進(jìn)是使用空洞卷積.在卷積核里插入間隔，能夠在不增大卷積核尺寸的情況下提升感受野[20].由于卷積核中的間隔會(huì)使特征圖丟失部分局部信息，為了減少負(fù)面效應(yīng)，本文把DenseNet的輸入卷積層改為Concat Conv層.在Concat Conv中，使用間隔為0、1、2的卷積核對原始圖像采樣，疊加形成輸入特征.

最終得到的改進(jìn)網(wǎng)絡(luò)如圖3，具體結(jié)構(gòu)如表 1，其中Concat Conv中每個(gè)空洞卷積輸出24 Channels，整體輸出72 Channels.改進(jìn)后的網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)數(shù)量為6.8×105個(gè)，相比之下同結(jié)構(gòu)的DenseNet參數(shù)數(shù)量為2.6×106個(gè)，改進(jìn)大大減少了參數(shù)數(shù)量，降低了網(wǎng)絡(luò)復(fù)雜度.

圖3 DWDenseNet 流程圖Fig.3 DWDenseNet flowchart

表1 DWDenseNet 整體結(jié)構(gòu)Tab.1 The whole structure of DWDenseNet

網(wǎng)絡(luò)的詳細(xì)訓(xùn)練步驟如下：

(1) 將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集；

(2) 使用Adam優(yōu)化網(wǎng)絡(luò)學(xué)習(xí)率，設(shè)定網(wǎng)絡(luò)初始學(xué)習(xí)率為1×10-4，β1=0.9，β2=0.999.損失函數(shù)設(shè)定為CrossEntropyLoss函數(shù)，網(wǎng)絡(luò)最多訓(xùn)練200輪；

(3) 根據(jù)粗分割結(jié)果提取包含腫瘤的切片，從Flair、T1c、T2中抽出相應(yīng)的切片，將灰度壓縮到255級，合成一張三通道圖像；

(4) 利用粗分割結(jié)果得到108×108大小的感興趣區(qū)域，保留三通道圖像的感興趣區(qū)域?yàn)橛?xùn)練數(shù)據(jù)；

(5) 輸入訓(xùn)練數(shù)據(jù)訓(xùn)練DWDenseNet網(wǎng)絡(luò)，并在驗(yàn)證集上計(jì)算差異L.假設(shè)模型預(yù)測結(jié)果與人工分割結(jié)果(Ground Truth，GT)中不一致的像素點(diǎn)數(shù)量為Nne，GT中像素點(diǎn)數(shù)量為N，L=Nne/N；

(6) 重復(fù)步驟5，直到達(dá)到預(yù)定的訓(xùn)練次數(shù)，或者某一輪過后差異L在16輪以內(nèi)沒有降到更低.取差異L最小的模型為最佳模型.

2 實(shí)驗(yàn)結(jié)果與分析

本文使用的數(shù)據(jù)集來源于BRATS2015，由MICCAI(medical image computing and computer assisted intervention)會(huì)議提供.數(shù)據(jù)集中包含274例樣本(220例HGG和54例LGG)，每例樣本包含去除顱骨的Flair、T1、T1c和T2模態(tài)圖像，以及GT.GT包含壞死、水腫、非增強(qiáng)腫瘤區(qū)、增強(qiáng)腫瘤區(qū)和其他5類標(biāo)簽.分割任務(wù)為：全腫瘤區(qū)域(complete tumor，CT，包含壞死、水腫、非增強(qiáng)腫瘤區(qū)和增強(qiáng)腫瘤區(qū))，腫瘤核心區(qū)域(tumor core，TC，包含壞死、非增強(qiáng)腫瘤區(qū)和增強(qiáng)腫瘤區(qū))和增強(qiáng)腫瘤(enhancing tumor，ET，僅包含增強(qiáng)腫瘤區(qū)).四個(gè)模態(tài)尺寸均為240×240×155像素.對實(shí)驗(yàn)結(jié)果的評價(jià)采用dice系數(shù)(dice similarity coefficient)、精確率(precision)和召回率(recall)三個(gè)指標(biāo).

2.1 粗分割

按照前文所述得到初步粗分割結(jié)果后，為了測試不同參數(shù)對區(qū)域生長結(jié)果的影響，設(shè)定三組不同的參數(shù)得到標(biāo)注效果，結(jié)果如表 2所示.可以看出第2組參數(shù)的綜合性能最佳.

表2 不同參數(shù)對區(qū)域生長結(jié)果的影響Tab.2 The influence of region growing results with different parameters

表3是RF分割和增強(qiáng)RF分割的分割結(jié)果.可以看出Laplace + Otsu + 區(qū)域生長的增強(qiáng)處理提升了RF的分割結(jié)果.圖4中增強(qiáng)的RF分割能夠排除RF分割中誤分割并緩解欠分割，使粗分割能夠較為完整地包括腫瘤區(qū)域，避免后續(xù)處理中感興趣區(qū)域沒有完整包括腫瘤區(qū)域的問題出現(xiàn)，增加整體計(jì)算量.

表3 粗分割處理結(jié)果對比Tab.3 Comparison of rough segmentation processing results

圖4 RF分割與增強(qiáng)RF分割結(jié)果比較Fig.4 Compared with the segmentation results of RF and enhanced RF

2.2 DWDenseNet分割

2.2.1 改進(jìn)方法的有效性

本節(jié)用小批量實(shí)驗(yàn)驗(yàn)證深度可分離卷積與空洞卷積結(jié)合的效果更好.從數(shù)據(jù)集里隨機(jī)取出30例MRI，其中20例設(shè)置為訓(xùn)練集，剩下10例為驗(yàn)證集.使用2.2節(jié)的訓(xùn)練方法和相同的訓(xùn)練參數(shù)訓(xùn)練了僅空洞卷積改進(jìn)的DenseNet(Dilated-Net)、僅深度可分離卷積改進(jìn)的DenseNet(DW-Net)和DWDenseNet.表 4的分割結(jié)果對比中可以看到，任意一種改進(jìn)方法都不如綜合起來的DWDenseNet分割更準(zhǔn)確.

表4 Dilated-Net、DW-Net和DWDenseNet的分割性能比較Tab.4 the segmentation performance comparison between Dilated-Net, DW-Net and DWDenseNet

圖5是2例分割結(jié)果的展示.和DWDenseNet相比，DW-Net處理非增強(qiáng)腫瘤部分的準(zhǔn)確度不佳，Dilated-Net對圖像細(xì)節(jié)分割錯(cuò)誤較多.DWDenseNet很好地綜合了兩者的長處，分割結(jié)果最好.

圖5 不同改進(jìn)方法的分割效果對比Fig.5 The segmentation results with different improved methods

2.2.2 DenseNet分割與DWDenseNet分割結(jié)果對比

為了驗(yàn)證改進(jìn)的效果，本文隨機(jī)選取了150份MRI(包括120例HGG和30例LGG)，其中120份(包括95例HGG和25例LGG)為訓(xùn)練集，30份(包括25例HGG和5例LGG)為驗(yàn)證集.在其它參數(shù)相同的情況下同時(shí)訓(xùn)練DWDenseNet網(wǎng)絡(luò)和DenseNet網(wǎng)絡(luò).考慮到感興趣區(qū)域可能無法包括整個(gè)腫瘤，粗分割指示結(jié)果過大時(shí)會(huì)將其切割并擴(kuò)展成多張108×108尺寸的圖像，分割完成后合并為原始圖像的分割結(jié)果.由驗(yàn)證集評估的結(jié)果在表 5中展示.可以看到，DWDenseNet的Dice系數(shù)和召回率優(yōu)于DenseNet，全腫瘤分割中精確率也是DWDenseNet更高，證明DWDenseNet確實(shí)擁有著更好的分割性能.

表5 DWDenseNet和DenseNet的分割結(jié)果Tab.5 The segmentation results of DWDenseNet and DenseNet

圖6顯示了DWDenseNet和DenseNet的訓(xùn)練過程，其中diff就是差異L.可以看到，DWDenseNet從訓(xùn)練開始，L總是比DenseNet的更小.圖7是訓(xùn)練即將結(jié)束時(shí)的差異放大對比圖.圖中很明顯地指出DWDenseNet在第42次訓(xùn)練時(shí)得到了最好模型，而DenseNet直到第50次訓(xùn)練才得到最好模型.不僅如此，DWDenseNet得到最優(yōu)模型時(shí)的L也比DenseNet更小.這說明DWDenseNet收斂更快，得到的模型比同訓(xùn)練參數(shù)下的DenseNet更準(zhǔn)確，但是網(wǎng)絡(luò)參數(shù)量更少，模型也更簡單.

圖6 DWDenseNet訓(xùn)練過程Fig.6 The DWDenseNet training process

圖7 局部放大圖Fig.7 Local enlargement

圖8是兩個(gè)網(wǎng)絡(luò)對3份樣本的預(yù)測結(jié)果.可以看出，DenseNet與DWDenseNet分割病變區(qū)域的能力類似，但是在分割增強(qiáng)腫瘤核心與壞死的能力上DWDenseNet更勝一籌.整體而言，實(shí)驗(yàn)結(jié)果證明了改進(jìn)后的DWDenseNet優(yōu)于DenseNet.

圖8 3例分割結(jié)果演示Fig.8 The illusion of 3 instances of segmentation results

2.3 與其他方法的對比

為了評估整個(gè)方法的有效性，本文把本文方法與U-net[21]和CACNN[22]進(jìn)行了對比.三個(gè)方法使用與3.2.2節(jié)相同的訓(xùn)練集和驗(yàn)證集進(jìn)行訓(xùn)練和評估.圖9是三個(gè)方法對于三例圖像的分割結(jié)果，展示出不管是對全腫瘤的劃分還是對腫瘤的內(nèi)部結(jié)構(gòu)劃分本文方法稍遜于CACNN，超過了U-net.

圖9 不同方法的3例分割結(jié)果Fig.9 Predictive image of 3 instances with different methods

表 6是三個(gè)方法的統(tǒng)計(jì)數(shù)據(jù).可以看出，本文方法性能優(yōu)于U-net，CT、TC和ET的Dice系數(shù)分別提高了6.62%、5.12%和8.46%，平均分割時(shí)間也大大減少.相比于CACNN，本文方法的CT、TC和ET的Dice系數(shù)僅分別降低了0.53%、3.24%、0.99%，但是平均分割時(shí)間約為前者的百分之一.考慮到CACNN提取的感興趣區(qū)域大于本文方法，并且三維卷積計(jì)算量遠(yuǎn)超于二維卷積，所以本文方法和CACNN相比以小部分精度為代價(jià)大大提升了計(jì)算效率.平均分割時(shí)間也從側(cè)面驗(yàn)證了計(jì)算量差異，證明本文方法需求的計(jì)算量更小.

表6 不同模型分割效果的評價(jià)Tab.6 Evaluation of tumor segmentation results with different models

3 結(jié)語

針對現(xiàn)有的全卷積網(wǎng)絡(luò)完成像素級腫瘤分割任務(wù)的方法中參數(shù)數(shù)量大、計(jì)算量大的缺陷，提出了一種先使用增強(qiáng)RF粗分割腫瘤，再用改進(jìn)的DenseNet精細(xì)分割的方法.提出的方法中，粗分割部分在下采樣的MRI上分割腫瘤，簡單快速地定位感興趣區(qū)域；精細(xì)分割部分使用深度可分離卷積、Leaky ReLU和空洞卷積增強(qiáng)DenseNet的分辨性能并減少參數(shù)數(shù)量，分割感興趣區(qū)域，最后還原成最終分割結(jié)果.通過對比實(shí)驗(yàn)可知，本文提出的方法不僅保證了分割精度，而且分割圖像所需時(shí)間遠(yuǎn)少于其它方法.我們下一步將在此方法的基礎(chǔ)上結(jié)合圖像的更多特征，在保持計(jì)算效率的情況下提升對非增強(qiáng)腫瘤和增強(qiáng)腫瘤的分割能力，實(shí)現(xiàn)更高精度的腫瘤分割.