姜林奇，寧春玉，余海濤

（長春理工大學 生命科學技術(shù)學院, 吉林 長春 130022）

1 引 言

根據(jù)2018年全球癌癥統(tǒng)計報告可知，大腦及神經(jīng)系統(tǒng)癌變發(fā)生率約為2.9人/(年·10萬人)，約占全身腫瘤的1.6%，死亡率高達2.5%[1]。根據(jù)病因可以將大腦及神經(jīng)系統(tǒng)癌變分為原發(fā)性和繼發(fā)性。其中，膠質(zhì)瘤（glioma）作為最常見的原發(fā)性腦腫瘤被廣泛關(guān)注。根據(jù)磁共振腫瘤成像所呈現(xiàn)的特點，可將其惡化的程度分為低級別膠質(zhì)瘤（Low Grade Gliomas, LGG）和高級別膠質(zhì)瘤（High Grade Gliomas, HGG）[2]。如果醫(yī)生不能準確地對腫瘤的惡化程度進行分類，隨著時間的推移良性腫瘤很有可能會惡化成惡性腫瘤。因此，腫瘤的良惡性分類尤其重要[3]。

基于傳統(tǒng)機器學習的圖像分類方法通過提取圖像的紋理信息，比如形狀特征、顏色等，再利用支持向量機（Support Vector Machines, SVM）或其他分類器實現(xiàn)分類[4-6]。 Raju等人[7]采用貝葉斯模糊聚類方法進行腦腫瘤分割，并利用HCS（Harmony-Crow Search）優(yōu)化算法來訓練multi-SVNN分類器的權(quán)重，計算圖像特征，得到的分類精度為93%。Narmatha等人[8]提出了將模糊算法與Brain-storm優(yōu)化算法相結(jié)合的Fuzzy Brain-storm optimization 算法用于腦腫瘤圖像的分割與分類。該方法有效地縮短了圖像的分割時間，但最終的分類準確率僅為93.85%。

傳統(tǒng)的圖像分類方法在圖像特征的選擇上更依賴于操作者的先驗知識，工作量大并且過程較復雜。近幾年，深度學習（Deep Learning，DL）作為一種新興技術(shù)被廣泛應用于圖像分割、圖像分類、圖像識別等任務中[9-12]。面對圖像特征復雜的醫(yī)學圖像，學者們提出將DL引進到醫(yī)學影像領(lǐng)域當中[13-14]。

目前，腦腫瘤分類系統(tǒng)可分為非端到端式和端到端式。非端到端的分類系統(tǒng)是指由多個獨立部分組成的系統(tǒng)，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）擔任其中一個或多個部分。Sharif等人[15]提出一種基于深度學習的方法來實現(xiàn)腫瘤的分割與分類。該方法使用預訓練后的Inception V3網(wǎng)絡(luò)對分割結(jié)果圖進行特征提取，并將分別由傳統(tǒng)方法和深度學習提取的特征進行拼接，通過粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）進行特征向量的優(yōu)化，最后，通過Softmax分類器進行分類，得到了96.90%的準確率。Khan等人[16]提出一種基于極限學習機（Extreme Learning Machine, ELM）的自動分類方法。該方法利用預訓練過的VGG16提取圖像特征，然后通過ELM對融合的魯棒特征進行分類，有效減少了特征選取與融合的時間。Rehman等人[17]提出將3D CNN模型用于腦腫瘤的檢測，利用預訓練的VGG19網(wǎng)絡(luò)用于特征提取，利用前反饋神經(jīng)網(wǎng)絡(luò)（Feed-forward Neural Network，F(xiàn)NN）選取最佳特征用于分類。該方法取得了較高的準確率，但腫瘤檢測過程耗費時間較長。以上非端到端的分類系統(tǒng)對腦部腫瘤的分類準確率都有所提升，但此類系統(tǒng)大多基于圖像分割，分類過程復雜，故會引入較多干擾因素，不可避免地會對分類結(jié)果造成影響。

端到端的分類系統(tǒng)是指僅通過卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)對腫瘤圖像的分類。Seetha等人[18]針對腦腫瘤區(qū)域結(jié)構(gòu)異化的問題，提出利用小卷積核提取腫瘤區(qū)域的細微特征，實現(xiàn)對腫瘤良惡性分類，最終得到了97.50%的準確率。趙尚義等人[19]提出了3D U-Net模型的分類算法。該方法在原始UNet 網(wǎng)絡(luò)中引入了特征融合層，將淺層特征與深層特征相融合，實現(xiàn)了基于分割網(wǎng)絡(luò)U-Net的分類系統(tǒng)。但該方法沒有對淺層特征與深層特征的特征通道權(quán)重進行重新分配，過分表達冗余特征，導致最終的分類準確率僅達到91.67%。端到端式的分類系統(tǒng)基于設(shè)計好的網(wǎng)絡(luò)結(jié)構(gòu)，利用深度學習自動提取圖像特征，降低了分類過程復雜性。但是上述用于腦腫瘤的分類方法沒有充分利用圖像的全局、局部顯著特征以及特征圖的通道特性，識別準確率還有待進一步提高。

針對上述問題，本文提出一種基于多尺度特征與通道特征融合的腦腫瘤良惡性自動分類方法（Improved MDCA-ResNeXt），利用ResNeXt網(wǎng)絡(luò)結(jié)構(gòu)的分組卷積策略，在增加網(wǎng)絡(luò)寬度的同時提升了網(wǎng)絡(luò)提取特征信息的能力，并通過多尺度特征提取模塊融合全局特征與局部顯著特征，通過通道注意力機制模塊提升網(wǎng)絡(luò)對病灶區(qū)域的關(guān)注度，減少冗余信息對分類結(jié)果造成的影響，最終達到提高腫瘤良惡性分類精度的目的。

2 基于Improved MDCA-ResNeXt的腦腫瘤良惡性分類模型

2.1 MDCA-ResNeXt網(wǎng)絡(luò)

在對圖像特征信息復雜、數(shù)據(jù)特征維度高的醫(yī)學圖像進行分類時，不僅要考慮網(wǎng)絡(luò)提取特征信息的能力，還需要考慮訓練過程的計算復雜度等問題，經(jīng)過多番考慮，本文選用ResNeXt[20]網(wǎng)絡(luò)作為腦腫瘤圖像分類任務的主干網(wǎng)絡(luò)，對其進行改進，以提高網(wǎng)絡(luò)分類能力、降低參數(shù)冗余度、減少計算時間。首先，將基于空洞卷積的多尺度特征提取模塊（Multi-scale Feature Extraction Module based on Dilated Convolution, MD）代替一般的卷積層，擴大第一層卷積層的感受野，同時保留HGG圖像中增強區(qū)域的局部顯著特征，將全局特征與局部顯著特征融合；其次，添加通道注意力機制模塊（Channel Attention Module，CA），引入特征通道信息，對特征通道重新分配，減少特征冗余引起的影響，提高腫瘤區(qū)域在整幅圖像中的關(guān)注度；最后，簡化ResNeXt網(wǎng)絡(luò)，減少ResNeXt結(jié)構(gòu)個數(shù)，避免因網(wǎng)絡(luò)過深導致的過擬合現(xiàn)象。圖1為本文提出的MDCA-ResNeXt網(wǎng)絡(luò)結(jié)構(gòu)。

2.1.1 ResNeXt結(jié)構(gòu)

ResNeXt結(jié)構(gòu)采用Inception結(jié)構(gòu)[21]中的拆分-轉(zhuǎn)換-合并的思想，沿用ResNet[22]的殘差結(jié)構(gòu)，構(gòu)造重復的多分組卷積層。ResNeXt結(jié)構(gòu)的本質(zhì)是分組卷積，它通過變量基數(shù)C來控制組的數(shù)量，從而達到兩種策略的平衡。圖2為C=32的Res-NeXt結(jié)構(gòu)。圖中“彎曲的箭頭”表示殘差結(jié)構(gòu)的恒等映射，⊕表示逐個像素點相加。

圖2 C =32的ResNeXt結(jié)構(gòu)[20]Fig. 2 ResNeXt structure with C =32[20]

ResNeXt結(jié)構(gòu)的運算過程可用數(shù)學公式表達為：

其中τ表 示 1×1→3×3→1×1一系列的卷積操作。

2.1.2 多尺度特征提取模塊

空洞卷積（dilated convolution）[23]相對于正常卷積模板多一個膨脹率d，它表示在卷積核中插入權(quán)重為0的行和列的數(shù)量。圖3為不同膨脹率的空洞卷積。當d=1時，卷積模板的感受野與3×3的 卷積模板相同；當d=2時，卷積模板的感受野與5 ×5的 卷積模板相同；當d=3時，卷積模板的感受野與7 ×7的卷積模板相同。

圖3 不同膨脹率的空洞卷積Fig. 3 Dilated convolution results with different dilation rates

圖4為本文提出的MD模塊，該模塊的第一層卷積層包括了1 ×1的普通卷積模板以及卷積尺寸為 3×3、 膨脹率d分別為1 ,2,3的空洞卷積模板。第二層的卷積層是由1 ×1卷積模板組成，其作用是將上一層的輸出特征圖拼接在一起，得到同時包含全局與局部顯著特征信息的特征圖。

圖4 MD模塊Fig. 4 MD module

2.1.3 通道注意力機制模塊

圖5為注意力機制[24]中的通道注意力機制模塊（Channel Attention Module，CA），該模塊通過建立特征圖之間的通道關(guān)系，生成通道注意力圖，對特征通道重新分配權(quán)重，提高網(wǎng)絡(luò)對輸入圖像中重要信息的關(guān)注度，降低網(wǎng)絡(luò)對冗余信息的關(guān)注度。其計算過程如下：

圖5 CA模塊Fig. 5 CA module

其中， Avgpool 和 Maxpool 分 別表示對輸入特征F進行全局平均池化操作和全局最大池化操作，MLP表示多層感知器（Multi-layer Perceptron, MLP），W0和W1為MLP層之間的共享權(quán)重，其維數(shù)分別為：W0∈RC/r×C，W1∈RC×C/r，r表示降維系數(shù)，σ表示sigmoid函數(shù)，?表示像素點相乘。

2.2 基于MDCA-ResNeXt網(wǎng)絡(luò)的優(yōu)化策略

在設(shè)計分類模型過程中，網(wǎng)絡(luò)結(jié)構(gòu)對圖像特征的提取起著關(guān)鍵作用，但是在訓練過程中需要設(shè)置的超參數(shù)也會影響網(wǎng)絡(luò)的學習能力。此外，提高網(wǎng)絡(luò)的學習能力是一個比較漫長、復雜的過程。在腦腫瘤的前期分類任務中，本文作者提出了學習率的線性衰減策略、圖像的標簽平滑策略以及基于醫(yī)學圖像的遷移學習策略3種優(yōu)化策略的組合[25]。為了提高網(wǎng)絡(luò)的學習能力，減少訓練的迭代次數(shù)，本文采用相同的優(yōu)化策略對MDCAResNeXt網(wǎng)絡(luò)進行優(yōu)化，經(jīng)過優(yōu)化的網(wǎng)絡(luò)簡記為Improved MDCA-ResNeXt網(wǎng)絡(luò)。預訓練過程中網(wǎng)絡(luò)的訓練迭代次數(shù)為50，批次大小為8，優(yōu)化算法為帶有動量隨機梯度下降優(yōu)化算法（Stochastic Gradient Descent with Momentum, SGDM），初始學習率為0.01，學習率衰減迭代次數(shù)分別為30和40，標簽平滑系數(shù)為0.01，采用Cheng等人[26]提供的CE-MRI數(shù)據(jù)庫作為預訓練數(shù)據(jù)集。該數(shù)據(jù)庫包含了T1C模態(tài)下233名病人的3 064張腦腫瘤MRI切片圖像，其中包含了1 426張膠質(zhì)瘤圖像、930張腦膜瘤圖像和708張垂體瘤圖像。

3 實驗設(shè)計

3.1 實驗數(shù)據(jù)

3.1.1 BraTS數(shù)據(jù)庫

本文使用的BraTS2017和BraTS2019數(shù)據(jù)庫分別為2017年和2019年舉辦的多模態(tài)腦腫瘤分割挑戰(zhàn)賽提供的開源數(shù)據(jù)庫。BraTS2017數(shù)據(jù)庫中包含210例HGG和75例LGG，BraTS2019數(shù)據(jù)庫包含259例HGG和76例LGG。數(shù)據(jù)庫中每個病例都包括FLAIR、T2、T1和T1C 4種模態(tài)的MRI序列，每個序列包含155張切片圖像，圖像分辨率為240 pixel×240 pixel。圖6、圖7為4種模態(tài)下的HGG和LGG腫瘤圖像。通過對比不同模態(tài)MRI圖像可知，添加了造影劑的T1C模態(tài)能夠更加凸顯病灶區(qū)域的特征，因此本文選用該模態(tài)下的圖像作為原始輸入。

圖6 4種模態(tài)下的HGG圖像Fig. 6 HGG images in four modalities

圖7 4種模態(tài)下的LGG圖像Fig. 7 LGG images in four modalities

3.1.2 數(shù)據(jù)預處理

圖8為去噪前后對比圖。圖8（a）中矩形虛線框內(nèi)圖像中含有一些不均勻的信號，這是由于設(shè)備老化等問題造成的灰度變化不均。這種現(xiàn)象稱為偏置場效應。如果在圖像預處理階段不對其進行處理，很容易造成網(wǎng)絡(luò)對圖像的錯誤判斷，所以本文使用優(yōu)化后的N3（Nonparametric nonuniform intensity normalization）[27]算法——N4ITK算法[28]對原始圖像數(shù)據(jù)進行偏置場校正。圖8（b）是N4ITK算法校正后的MRI圖像，可見虛線框內(nèi)的亮度變得比較均勻。

圖8 去除噪聲前后對比圖Fig. 8 Comparison before and after preprocessing

在分類任務中，不同類別下的圖像數(shù)量分布不均可能會造成過擬合，因此需要對LGG樣本進行數(shù)據(jù)擴充。本文利用隨機翻轉(zhuǎn)、旋轉(zhuǎn)等操作對LGG樣本進行擴充。并通過對訓練集中的圖像進行隨機旋轉(zhuǎn)、隨機擦除[29]等數(shù)據(jù)增強操作來增加數(shù)據(jù)集中來自同一病例的切片圖像的差異性，從而提高網(wǎng)絡(luò)分辨能力的魯棒性。

3.1.3 實驗數(shù)據(jù)集

為了驗證所提出的分類模型對膠質(zhì)瘤圖像的分類能力，本文將數(shù)據(jù)增強后的BraTS2017和BraTS2019數(shù)據(jù)集分別劃分成5個圖像數(shù)量相等的子集，進行五折交叉驗證實驗。表1所示為實驗數(shù)據(jù)集的分布情況。

表1 實驗數(shù)據(jù)集分布Tab. 1 Distribution of experimental datasets

3.2 實驗環(huán)境及參數(shù)設(shè)置

本文基于Pytorch深度學習模型框架，采用Python作為編程語言，在操作系統(tǒng)為Windows 10、GPU為NVIDIA Tesla K40m的實驗平臺搭建了基于Improved MDCA-ResNeXt網(wǎng)絡(luò)模型的腦腫瘤圖像良惡性分類框架。網(wǎng)絡(luò)訓練過程中的訓練迭代次數(shù)為30，批次大小為8，優(yōu)化算法為SGDM，初始學習率為0.01，學習率衰減迭代次數(shù)為20，標簽平滑系數(shù)為0.01，網(wǎng)絡(luò)初始化參數(shù)為遷移學習得到的。

3.3 評價指標

本文采用準確率（Accuracy）、靈敏度（Sensitivity）、特異度（Specificity）、陽性預測值（Positive Predictive Value）以及陰性預測值（Negative Predictive Value）對分類結(jié)果進行性能評價。上述指標分別記為ACC、SEN、SPE、PPV及NPV，計算公式如式（4）～式（8）所示。

式中α 和β分別表示真實標簽與預測標簽相同的HGG和LGG樣本個數(shù)，δ和 γ分別表示真實標簽與預測標簽不相同的HGG和LGG樣本個數(shù)。

3.4 實驗結(jié)果與分析

3.4.1 網(wǎng)絡(luò)結(jié)構(gòu)消融實驗

本小節(jié)將僅含有MD模塊的MD-ResNeXt網(wǎng)絡(luò)和僅含有CA模塊的CA-ResNeXt網(wǎng)絡(luò)與MDCA-ResNeXt網(wǎng)絡(luò)進行對比，以驗證MDCAResNeXt的有效性。為了保證實驗結(jié)果的科學性，所有網(wǎng)絡(luò)的初始化參數(shù)均由相同的隨機數(shù)種子生成，實驗數(shù)據(jù)集為BraTS2017。

圖9（彩圖見期刊電子版）為MD-ResNeXt、CA-ResNeXt和MDCA-ResNeXt 3個網(wǎng)絡(luò)在5個交叉驗證集中獲得的分類結(jié)果評價圖，圖中數(shù)字為評價標準的平均值，線段為標準差。從圖9可以看出，MDCA-ResNeXt對HGG樣本和LGG樣本的分辨能力，相較于MD-ResNeXt和CA-Res-NeXt都有提升，并且標準差相對較小，說明MDCA-ResNeXt在不同驗證集的表現(xiàn)都相對穩(wěn)定，魯棒性強。

為探究MDCA-ResNeXt工作機制的有效性，對特征圖進行了可視化處理，圖10和圖11分別為HGG樣本、LGG樣本的原始圖像和特征可視化圖。在圖10（a）中，腫瘤區(qū)域位于右側(cè)大腦顳部，并且核心腫瘤的外圍有增強區(qū)域包裹，在圖像中表現(xiàn)為高頻信號。圖10（b）～10（e）分別表示4種網(wǎng)絡(luò)結(jié)構(gòu)在同一層輸出的特征圖。對比圖10（b）和圖10（c）可以看出，MD-ResNeXt相較于Res-NeXt更好地保留了腦部組織結(jié)構(gòu)，對腫瘤的增強區(qū)域有積極的“響應”；對比圖10（b）和圖10（d）可以看出，CA-ResNeXt相較于ResNeXt更好地突出了腫瘤的增強區(qū)域，減少了冗余的特征信息；對比圖10（c）和圖10（e）可以看出，MDCA-Res-NeXt只對腫瘤的增強區(qū)域有積極的“響應”，相較于MD-ResNeXt減少了對冗余信息的“響應”，充分說明了在網(wǎng)絡(luò)結(jié)構(gòu)中添加CA模塊可以有效地避免冗余特征信息對分類結(jié)果造成的影響；對比圖10（d）和圖10（e）可以看出，相較CA-ResNeXt，添加了MD模塊的MDCA-ResNeXt能夠較好地體現(xiàn)腫瘤區(qū)域的圖像特征。

圖10 HGG的原始圖像和特征可視化圖Fig. 10 Original image and feature visualizations of HGG

圖11 LGG的原始圖像和特征可視化圖Fig. 11 Original image and feature visualization of LGG

在圖11（a）中，腫瘤區(qū)域位于左側(cè)大腦顳前部，而良性的膠質(zhì)瘤在圖像中呈現(xiàn)低頻信號，并且腫瘤外圍沒有出現(xiàn)增強區(qū)域。對比圖11（b）、圖11（c）、圖11（d）和圖11（e）可以看出，MDCAResNeXt網(wǎng)絡(luò)能夠更有效地保存腦腫瘤圖像的特征信息，能夠更好地區(qū)分HGG樣本和LGG樣本。

3.4.2 經(jīng)典網(wǎng)絡(luò)對比實驗

為驗證本文提出的MDCA-ResNeXt網(wǎng)絡(luò)以及優(yōu)化后的Improved MDCA-ResNeXt網(wǎng)絡(luò)在腦腫瘤良惡性分類任務中的優(yōu)勢，本文設(shè)置了兩組對比實驗，一組實驗是將ResNet網(wǎng)絡(luò)、Res-NeXt網(wǎng)絡(luò)和SENet網(wǎng)絡(luò)[30]應用在BraTS2017和BraTS2019數(shù)據(jù)集中，把3種經(jīng)典網(wǎng)絡(luò)的分類結(jié)果與MDCA-ResNeXt網(wǎng)絡(luò)進行比較；另一組是將優(yōu)化后的3種經(jīng)典網(wǎng)絡(luò)與Improved MDCA-Res-NeXt網(wǎng)絡(luò)的分類結(jié)果進行對比。

根據(jù)表2和表3可知，MDCA-ResNeXt的分類結(jié)果與其他3個經(jīng)典網(wǎng)絡(luò)相比都是最高的。對比不同網(wǎng)絡(luò)的SPE值和NPV值可以看出，MDCA-ResNeXt提高了對LGG樣本的分類能力。從表4和表5可以看出，本文提出的Improved MDCA-ResNeXt的各項分類評價標準同樣都是最高的。

表2 優(yōu)化前BraTS2017數(shù)據(jù)集的分類結(jié)果評價表Tab. 2 Evaluation of classification results on BraTS2017 before optimization

表3 優(yōu)化前BraTS2019數(shù)據(jù)集的分類結(jié)果評價表Tab. 3 Evaluation of classification results on BraTS2019 before optimization

表4 優(yōu)化后BraTS2017數(shù)據(jù)集的分類結(jié)果評價表Tab. 4 Evaluation of classification results on BraTS2017 after optimization

表5 優(yōu)化后BraTS2019數(shù)據(jù)集的分類結(jié)果評價表Tab. 5 Evaluation of classification results on BraTS2019 after optimization

根據(jù)以上4個分類結(jié)果評價表可以得出以下結(jié)論：首先，本文提出的MDCA-ResNeXt網(wǎng)絡(luò)是以ResNeXt為主干網(wǎng)絡(luò)進行的改進，改進后的網(wǎng)絡(luò)能夠有效區(qū)分良惡性腦腫瘤，并且提高了網(wǎng)絡(luò)在不同分類任務的魯棒性；其次，本文采取3種優(yōu)化策略的組合可以提高網(wǎng)絡(luò)的分類準確率和泛化能力。

3.4.3 其他先進方法的對比結(jié)果

為充分說明本文提出的基于Improved MDCA-ResNeXt網(wǎng)絡(luò)的腦腫瘤良惡性分類模型的性能，將本文方法與其他先進方法進行對比，對比結(jié)果如表6所示。

表6中，文獻[7]和文獻[8]為傳統(tǒng)機器學習的分類方式，文獻[19]、[15]、[16]和[17]為深度學習的分類方式。上述對比方法中大多是基于分割結(jié)果圖進行腫瘤分類的，而圖像分割是基于圖像像素點進行的0-1分類過程，對分割算法和分割模型的性能要求更高，并且分割結(jié)果會直接影響分類結(jié)果。除此之外，先分割后分類的方法，增加了分類過程中的不可控因素。基于此，本文提出的Improved MDCA-ResNeXt分類算法在腫瘤良惡性分類任務中更具有優(yōu)勢，分類準確率更高。

表6 先進方法分類結(jié)果對比表Tab. 6 Comparison of classification results of advanced methods

4 結(jié) 論

本文提出一種基于Improved MDCA-ResNeXt網(wǎng)絡(luò)的腦腫瘤良惡性分類方法，不僅能將原始圖像中細微的局部特征和全局特征相融合，保留HGG的腫瘤增強區(qū)的特征信息，還能將特征圖的特征通道重新排列，提高網(wǎng)絡(luò)對腫瘤區(qū)域的關(guān)注度，降低網(wǎng)絡(luò)對冗余特征的關(guān)注度；采用學習率的線性衰減策略、圖像標簽平滑策略以及基于醫(yī)學圖像的遷移學習策略的組合優(yōu)化策略可提高網(wǎng)絡(luò)的學習能力和泛化性能。在BraTS2017和BraTS2019數(shù)據(jù)集上的實驗結(jié)果表明，本文方法相較經(jīng)典網(wǎng)絡(luò)和其他先進方法的分類準確率、魯棒性有所增強，其中準確率分別達到 98.11%和98.72%。在未來的研究工作中需要進一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，可以考慮引入新的技術(shù)，減少具有相似性的冗余特征對分類結(jié)果的影響和計算消耗，進一步提升分類準確率、降低運算時間。