聞 亮,于 躍,梁國(guó)標(biāo)*,李貞妮
(1.北部戰(zhàn)區(qū)總醫(yī)院神經(jīng)外科,沈陽(yáng) 110016;2.中國(guó)醫(yī)科大學(xué),沈陽(yáng) 110122;3.東北大學(xué)信息科學(xué)與工程學(xué)院,沈陽(yáng) 110819)
大腦是人類(lèi)身體中最重要的器官,而腦部腫瘤是在顱腔內(nèi)生長(zhǎng)的異常組織,又稱顱內(nèi)腫瘤、腦癌。腦部腫瘤相比于其他器官的腫瘤來(lái)說(shuō)小得多,其中膠質(zhì)瘤占所有腦部腫瘤發(fā)病率的一半以上,死亡比例超過(guò)2.4%[1]。根據(jù)膠質(zhì)瘤的性質(zhì),可以將其分為高級(jí)別膠質(zhì)瘤(high-grade glioma,HGG)和低級(jí)別膠質(zhì)瘤(low-grade glioma,LGG)。由于HGG 容易變異,常常會(huì)被稱為惡性腫瘤,其死亡率較高,患者痊愈后恢復(fù)效果也比較差。而LGG 則不一定為惡性腫瘤,但其在其他因素影響下即使治療后仍然可以演變?yōu)閻盒阅[瘤。因此,膠質(zhì)瘤是腦部腫瘤治療領(lǐng)域的研究重點(diǎn)。在臨床中越早發(fā)現(xiàn)腦部腫瘤,患者就越有希望被成功治愈。Jiang 等[2]論述了世界衛(wèi)生組織中樞神經(jīng)系統(tǒng)(central nervous system,CNS)腫瘤分類(lèi)標(biāo)準(zhǔn)對(duì)于臨床預(yù)后判斷的價(jià)值與優(yōu)勢(shì),這說(shuō)明如果能夠更早發(fā)現(xiàn)患者的腦部腫瘤并對(duì)其級(jí)別進(jìn)行預(yù)測(cè),對(duì)患者的后續(xù)診療以及恢復(fù)有很大幫助。
目前確定腦膠質(zhì)瘤的等級(jí)仍需要對(duì)患者腦部腫瘤區(qū)域進(jìn)行活體生理切片,腦組織大切片的制作在神經(jīng)病理診斷中有著重要應(yīng)用,可用切片檢測(cè)結(jié)果來(lái)診斷HGG 或LGG,但是對(duì)于HGG 患者,組織生理切片對(duì)其生命存在一定威脅。因此,基于MRI圖像對(duì)腦腫瘤的級(jí)別進(jìn)行預(yù)測(cè)具有重要意義。然而,MRI 圖像邊界模糊,腦腫瘤區(qū)域占比較少,對(duì)腫瘤進(jìn)行手動(dòng)分割進(jìn)而預(yù)測(cè)其級(jí)別難度很大且耗時(shí)耗力。
在臨床診斷中,多模態(tài)MRI 對(duì)腦膠質(zhì)瘤有著較高的診斷符合率,因此可以采用多模態(tài)MRI 序列(FLAIR、T1、T2、及T1CE等)對(duì)腦膠質(zhì)瘤進(jìn)行多參數(shù)成像。常規(guī)MRI 平掃和增強(qiáng)檢查難以實(shí)現(xiàn)腦膠質(zhì)瘤的診斷和分級(jí),而基于其病理學(xué)基礎(chǔ)的功能MRI 檢查方法能夠提供包括微環(huán)境、微血管、細(xì)胞增殖等更加豐富的信息,可以有效提高腦膠質(zhì)瘤的臨床診斷效能[3]。不同MRI 序列針對(duì)的病理變化區(qū)域也不同[4],T2模態(tài)圖像可突出顯示腦膠質(zhì)瘤的水腫部分,F(xiàn)LAIR模態(tài)圖像有助于區(qū)分腦膠質(zhì)瘤水腫和腦脊液,而T1和T1CE模態(tài)圖像則能明顯觀察到高信號(hào)腦膠質(zhì)瘤的核心。
隨著“互聯(lián)網(wǎng)+”概念的興起,人工智能已經(jīng)滲透到人類(lèi)生活的方方面面。深度學(xué)習(xí)算法因其特有的屬性,在很多領(lǐng)域突破了傳統(tǒng)機(jī)器學(xué)習(xí)算法的瓶頸,特別是在醫(yī)療影像識(shí)別領(lǐng)域展現(xiàn)了其強(qiáng)大的識(shí)別能力[5-6]。隨著深度學(xué)習(xí)算法的不斷發(fā)展,其在醫(yī)療領(lǐng)域的應(yīng)用也越來(lái)越多,例如精確切割病灶、預(yù)測(cè)心腦血管疾病等[7]。國(guó)內(nèi)外也有許多專(zhuān)家學(xué)者開(kāi)始研究腦腫瘤患者M(jìn)RI 圖像的分割,例如卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)和支持向量機(jī)(support vector machine,SVM)結(jié)合的腦腫瘤分割方法[8-9]、基于U-Net 的分割方法[10]、基于雙流解碼網(wǎng)絡(luò)(dualsteam decoding U-net,DDU-net)的分割方法[11]、多任務(wù)深度監(jiān)督注意力R2U 分割方法[12]以及基于多重注意力機(jī)制的分割方法[13]等。這些方法都是對(duì)MRI圖像進(jìn)行分割,標(biāo)記感興趣的腫瘤區(qū)域,但不具備完成腫瘤檢測(cè)識(shí)別的功能。隨著網(wǎng)絡(luò)深度的增加,近年來(lái)圖像分類(lèi)算法也層出不窮,例如K 最鄰近算法(K-nearest neighbors,KNN)、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation neural network,BPNN)、視覺(jué)幾何群網(wǎng)絡(luò)(visual geometry group network,VGG)等,但是基于三維MRI 圖像進(jìn)行分類(lèi)的難度很大。
針對(duì)以上問(wèn)題,本研究基于深度學(xué)習(xí)算法提出一種腦腫瘤分級(jí)預(yù)測(cè)模型(brain tumor groding model,BTGM),既可以對(duì)輸入的MRI 圖像進(jìn)行腦腫瘤的分割處理,為醫(yī)生提供一個(gè)直觀的病態(tài)分析,又可以對(duì)分割后的腫瘤圖像進(jìn)行分級(jí)預(yù)測(cè),進(jìn)一步判斷腦膠質(zhì)瘤的等級(jí),從而為醫(yī)師對(duì)患者的后續(xù)治療提供輔助診斷。因?yàn)镸RI 具有無(wú)創(chuàng)性、多模式的優(yōu)點(diǎn),人們期望用醫(yī)學(xué)成像來(lái)探知人體內(nèi)是否存在隱藏疾病[14],若可以在病情萌芽階段及時(shí)發(fā)現(xiàn),則能夠大大提升患者的生存率。因此,本研究提出的BTGM 具有重要的理論價(jià)值和應(yīng)用前景。
基于深度學(xué)習(xí)的BTGM 結(jié)構(gòu)如圖1 所示。本模型由腦腫瘤分割模型、腦腫瘤分類(lèi)模型及患者術(shù)后生存周期模型3 個(gè)部分組成,可以基于對(duì)MRI 圖像中腦腫瘤的分割與提取來(lái)完成腦腫瘤等級(jí)的分級(jí)預(yù)測(cè),同時(shí)通過(guò)多項(xiàng)式擬合法實(shí)現(xiàn)對(duì)患者術(shù)后生存周期的預(yù)測(cè)。
圖1 基于深度學(xué)習(xí)的BTGM 結(jié)構(gòu)圖
本模型基于BraTS 2019 數(shù)據(jù)集,通過(guò)設(shè)計(jì)、改進(jìn)損失函數(shù)來(lái)訓(xùn)練分割網(wǎng)絡(luò)并獲得最優(yōu)解,通過(guò)數(shù)據(jù)集提供的Dice 函數(shù)、PPV 函數(shù)及Sensitivity 函數(shù)來(lái)評(píng)價(jià)模型的分割效果。以分割模型結(jié)果為基礎(chǔ),基于殘差網(wǎng)絡(luò)設(shè)計(jì)BTGM,并基于患者的腦膠質(zhì)瘤級(jí)別、術(shù)后生存周期和患者年齡等信息,利用多項(xiàng)式擬合方法對(duì)患者預(yù)后的效果進(jìn)行預(yù)測(cè),最后對(duì)預(yù)測(cè)結(jié)果進(jìn)行綜合評(píng)價(jià)。
1.1.1 數(shù)據(jù)集選擇
本研究選用MICCAI BraTS 2019[15]多模態(tài)腦膠質(zhì)瘤分割挑戰(zhàn)賽數(shù)據(jù)庫(kù)提供的臨床數(shù)據(jù)進(jìn)行訓(xùn)練和驗(yàn)證。其中,BraTS 2019 數(shù)據(jù)集由259 例HGG 病例和76例LGG 病例構(gòu)成,所有腦影像均帶有專(zhuān)家手動(dòng)分割的真值標(biāo)簽,每個(gè)病例都包括FLAIR、T1、T2、T1CE4 個(gè)模態(tài),影像的三維尺寸是155×240×240 像素。多模態(tài)MRI腦腫瘤圖像如圖2 所示。
圖2 多模態(tài)MRI 腦腫瘤圖像
根據(jù)實(shí)驗(yàn)需要,本研究將對(duì)3 個(gè)區(qū)域的分割算法進(jìn)行探討。BraTS 2019 數(shù)據(jù)集規(guī)定,綠色為浮腫(peritumoral edema,ED)區(qū)域(標(biāo)簽2)、黃色為增強(qiáng)腫瘤(enhancing tumor,ET)區(qū)域(標(biāo)簽4)、紅色為壞疽(non-enhancingtumor,NET)區(qū)域(標(biāo)簽1)、黑色為背景區(qū)域(標(biāo)簽0),多模態(tài)MRI 圖像分割后的輸出圖像如圖3 所示。ED、ET、NET 3 個(gè)區(qū)域經(jīng)過(guò)嵌套就是最終提取的感興趣區(qū)域,即全部腫瘤(whole tumor,WT)區(qū)域(WT=ED+ET+NET)、腫瘤核心(tumor core,TC)區(qū)域(TC=ET+ENT)和增強(qiáng)腫瘤區(qū)域ET。
圖3 多模態(tài)MRI 圖像分割后的輸出圖像
1.1.2 數(shù)據(jù)預(yù)處理
本研究提出的BTGM基于U-Net 二維網(wǎng)絡(luò)。由于直接基于三維MRI 圖像進(jìn)行分級(jí)預(yù)測(cè)對(duì)算力需求較高,本研究為了降低計(jì)算量并提高處理速度,首先將三維MRI 數(shù)據(jù)進(jìn)行圖像預(yù)處理轉(zhuǎn)變?yōu)槎S數(shù)據(jù),同時(shí)在對(duì)圖像預(yù)處理的過(guò)程中通過(guò)幾何變換(隨機(jī)角度旋轉(zhuǎn)、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn))實(shí)現(xiàn)數(shù)據(jù)增強(qiáng),提高模型的泛化性。因此,在訓(xùn)練模型前需要對(duì)三維MRI 圖像進(jìn)行預(yù)處理從而提高圖像的分割效果[16],具體分為以下3 個(gè)步驟:
(1)對(duì)各個(gè)模態(tài)進(jìn)行標(biāo)準(zhǔn)化;
(2)切割各模態(tài)數(shù)據(jù)集和真實(shí)值(ground truth,GT)數(shù)據(jù)集;
(3)將數(shù)據(jù)切割成切片,合并每個(gè)模態(tài)的部分并保存為“Numpy 數(shù)組”。
由于FLAIR、T1、T2、T1CE4 個(gè)序列屬于不同模態(tài)的圖像,具有明顯的特征對(duì)比度,所以采用Z-score方式對(duì)每個(gè)模態(tài)圖像進(jìn)行標(biāo)準(zhǔn)化,即將每個(gè)模態(tài)的數(shù)據(jù)標(biāo)準(zhǔn)化為零均值和單位標(biāo)準(zhǔn)差。經(jīng)過(guò)處理的數(shù)據(jù)均值為0,標(biāo)準(zhǔn)差為1,其換算公式為
式中,x 為原始數(shù)據(jù);xˉ為原始數(shù)據(jù)的均值;σ 為原始數(shù)據(jù)的標(biāo)準(zhǔn)差;X*為標(biāo)準(zhǔn)化的數(shù)據(jù),高于平均水平的數(shù)據(jù)獲得標(biāo)準(zhǔn)化的正分?jǐn)?shù),低于平均水平的數(shù)據(jù)獲得標(biāo)準(zhǔn)化的負(fù)分?jǐn)?shù)。在此基礎(chǔ)上,利用normalize 函數(shù)進(jìn)行數(shù)據(jù)歸一化,去掉最高分和最低分?jǐn)?shù)據(jù),得到標(biāo)準(zhǔn)差較低的公平數(shù)據(jù)集。
此外,BraTS 數(shù)據(jù)集中邊緣區(qū)域大多是黑色無(wú)效區(qū)域圖像,因此剪裁掉周邊非感興趣區(qū)域?qū)μ岣哒w識(shí)別度大有幫助。本研究基于最小矩陣法將MRI 圖像中周邊的黑色區(qū)域剪裁掉,只留下腦部區(qū)域,這樣最終分割出來(lái)的圖像中大部分都是腦部區(qū)域及腫瘤區(qū)域,觀察更直觀、更清晰,數(shù)據(jù)預(yù)處理前后的效果對(duì)比如圖4 所示。
圖4 數(shù)據(jù)預(yù)處理前后的效果
由于MRI 圖像數(shù)據(jù)是三維的,所以需要切成二維數(shù)據(jù)才能輸入U(xiǎn)-Net。以50%概率將切片中無(wú)病灶區(qū)域舍棄,緩解數(shù)據(jù)類(lèi)別不平衡的問(wèn)題,最后將4 個(gè)模態(tài)保存至4 個(gè)通道,并剪裁成160×160 像素的大小,最終Numpy 數(shù)組保存的“shape”是(160,160,4)。
1.1.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)
BTGM 中的腦腫瘤分割網(wǎng)絡(luò)包括4 層下采樣和4 層上采樣,每層下采樣部分包括2 個(gè)卷積核為3×3的卷積操作,并通過(guò)ReLU 激活函數(shù)激活有效信號(hào),再進(jìn)行一次卷積核為2×2 的最大池化操作。經(jīng)過(guò)4層下采樣操作可以有效提取腦腫瘤的特征信息,而上采樣部分與下采樣相反,可以還原下采樣得到的有效信息,并且上采樣過(guò)后進(jìn)行了跳躍鏈接,這樣的疊操作使得信息提取更加充分。本研究輸入通道為4,每一通道對(duì)應(yīng)原始MRI 圖像的T1、T2、T1CE和FLAIR 圖像,相關(guān)的3 個(gè)感興趣特征區(qū)域ED、ET 和NET 分別用綠色、黃色和紅色標(biāo)記。
1.1.4 損失函數(shù)設(shè)計(jì)
為了避免數(shù)據(jù)不均衡,本研究應(yīng)用Dice 損失函數(shù)[17]。Dice 損失函數(shù)是通過(guò)計(jì)算Dice 系數(shù)得出的,二者之和為1。Dice 系數(shù)是一種集合相似度度量函數(shù),通常用于計(jì)算2 個(gè)樣本的相似度,其取值范圍為[0,1],計(jì)算公式為
式中,X 表示GT 分割圖像;Y 表示預(yù)測(cè)分割圖像;|X∩Y|表示X 和Y 交集中元素的個(gè)數(shù);|X|和|Y|分別表示X 集合和Y 集合中各自元素的個(gè)數(shù)。分子的系數(shù)是2,是因?yàn)榉帜钢兄貜?fù)計(jì)算了X 和Y 的公共元素。
Dice 損失函數(shù)的計(jì)算公式如下[17]:
考慮到Dice 損失函數(shù)比較適合高度不均勻的樣本,因此在設(shè)計(jì)本研究損失函數(shù)時(shí),為了提高訓(xùn)練的穩(wěn)定性,引入二分類(lèi)損失函數(shù)(binary cross entropy loss,BCELoss),并使用Sigmoid 函數(shù)將數(shù)據(jù)映射到(0,1)。最終設(shè)計(jì)的損失函數(shù)Loss 計(jì)算公式如下:
二分類(lèi)損失函數(shù)BCELoss 公式如下:
式中,y 為GT 分割圖像;x 為模型輸出值;n 為樣本的總數(shù)。
1.1.5 訓(xùn)練結(jié)果及模型評(píng)估標(biāo)準(zhǔn)
本研究提出的BTGM 基于RTX2080ti 顯卡,使用Linux 系統(tǒng),配合深度學(xué)習(xí)框架PyTorch 和conda環(huán)境管理系統(tǒng)進(jìn)行訓(xùn)練。訓(xùn)練數(shù)據(jù)為BraTS 2019 提供的官方數(shù)據(jù)集,共335 例病例(259 例HGG+76 例LGG)。本研究按照70%訓(xùn)練、20%驗(yàn)證、10%測(cè)試的比例劃分?jǐn)?shù)據(jù)集。首先對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,對(duì)三維MRI 圖像進(jìn)行降維,并將其保存為數(shù)組中的Numpy數(shù)據(jù)。然后進(jìn)入conda 環(huán)境,設(shè)置歷元大小、學(xué)習(xí)速率,并使用Adam 優(yōu)化算法[18]減少內(nèi)存占用。
根據(jù)BraTS 官網(wǎng)給出的3 個(gè)判斷依據(jù)(分別為Dice、Sensitivity、PPV 3 個(gè)函數(shù))對(duì)算法模型進(jìn)行評(píng)估。其中3 個(gè)函數(shù)是由專(zhuān)業(yè)醫(yī)師繪制的3 個(gè)腫瘤區(qū)域預(yù)測(cè)結(jié)果P{0,1}的二值圖和真值標(biāo)號(hào)T{0,1}的二值圖。Dice 函數(shù)計(jì)算2 個(gè)分割區(qū)域的真實(shí)正樣本數(shù)量標(biāo)準(zhǔn)化值,即預(yù)測(cè)病變區(qū)域中有多少像素區(qū)域是正確預(yù)測(cè)的,其計(jì)算公式如下:
式中,Pi表示預(yù)測(cè)分割圖像的像素集合;Ti表示GT分割圖像的像素集合;i 表示第i 種腫瘤區(qū)域。
Sensitivity 函數(shù)代表實(shí)際陽(yáng)性樣本率,即將預(yù)測(cè)為腫瘤區(qū)域的陽(yáng)性樣本數(shù)據(jù)與實(shí)際分割結(jié)果為陽(yáng)性樣本的數(shù)據(jù)進(jìn)行比較,其計(jì)算公式如下:
PPV 函數(shù)用于將腫瘤區(qū)域的實(shí)際樣本、全樣本數(shù)據(jù)與實(shí)際分割結(jié)果進(jìn)行比較,其計(jì)算公式如下:
式中,TP 為真陽(yáng)性的數(shù)據(jù),即預(yù)測(cè)結(jié)果與GT 均為正樣本(腫瘤區(qū)域)的數(shù)據(jù);FP 為假陽(yáng)性的數(shù)據(jù),即預(yù)測(cè)結(jié)果為負(fù)樣本(背景)而GT 為正樣本的數(shù)據(jù);PPV表示預(yù)測(cè)為正的樣本中預(yù)測(cè)正確的數(shù)據(jù)所占比例。
基于上述判斷依據(jù),通過(guò)對(duì)圖像分割后自動(dòng)分割的腫瘤面積與真實(shí)值手動(dòng)分割面積的占比重疊大小來(lái)評(píng)價(jià)模型的好壞。
基于分割后得到的RGB 圖像,設(shè)計(jì)以Resnet34[19]殘差網(wǎng)絡(luò)為基礎(chǔ)的分類(lèi)模型學(xué)習(xí)HGG 和LGG 的特征,并對(duì)腦腫瘤的級(jí)別進(jìn)行預(yù)測(cè)。由于訓(xùn)練中存在過(guò)度擬合的問(wèn)題,本研究在BraTS 2019 數(shù)據(jù)集的基礎(chǔ)上增加了BraTS 2018 數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)。
本研究設(shè)計(jì)的分類(lèi)模型分為2 個(gè)部分,一個(gè)是向下采樣模塊,一個(gè)是正常卷積模塊。正常卷積模型包含2 個(gè)卷積層、2 個(gè)正則層和2 個(gè)連接前向傳播函數(shù)的ReLU 激活函數(shù)。由于Resnet 殘差塊的輸出表示為y=F(x)+x,因此存在一個(gè)單獨(dú)的res 變量來(lái)存儲(chǔ)初始輸入張量x。
下采樣模塊的結(jié)構(gòu)包括2 個(gè)連續(xù)的卷積層,其中第一層步長(zhǎng)為2,殘差連接部分需要使用步長(zhǎng)為2 的1×1 卷積進(jìn)行下采樣。同時(shí),模型設(shè)計(jì)通過(guò)增加通道數(shù)以匹配輸出特征映射、相應(yīng)的正則化函數(shù)和ReLU 函數(shù)激活特征值。由于分割后得到的是RGB圖像,所以通道數(shù)為3,輸出為一維張量,卷積層后連接池化層的池化核為3×3,基于前向傳播函數(shù)將2 個(gè)模塊連接起來(lái)構(gòu)成分類(lèi)模型的網(wǎng)絡(luò)結(jié)構(gòu)。
經(jīng)過(guò)腦腫瘤分割網(wǎng)絡(luò)后的RGB 圖像大小為160×160 像素,需要用transpose 進(jìn)行圖像擴(kuò)展和tensor等預(yù)處理,預(yù)處理后的圖像大小為224×224 像素。訓(xùn)練過(guò)程中,數(shù)據(jù)集遍歷10 次,依次輸入32 張圖片。初始學(xué)習(xí)率為0.001,每次學(xué)習(xí)后學(xué)習(xí)率提高10 倍。使用交叉熵?fù)p失函數(shù)和Adam 優(yōu)化器,衰減策略設(shè)定為固定步長(zhǎng)衰減,每2 輪學(xué)習(xí)速率衰減到原來(lái)的一半。由于設(shè)計(jì)的網(wǎng)絡(luò)模型中Resnet 殘差部分中的深度卷積會(huì)引起梯度爆炸問(wèn)題,因此采用optimizer函數(shù)消除梯度。
由于分割圖像中腦腫瘤大小不一致,并且不是所有圖像都有3 個(gè)特征區(qū)域,如果只訓(xùn)練具有所有區(qū)域特征的圖像,則會(huì)出現(xiàn)過(guò)擬合現(xiàn)象,因此本研究使用了數(shù)據(jù)增強(qiáng)。首先將含有腦腫瘤的圖像放入數(shù)據(jù)集,然后將具有3 個(gè)完整特征區(qū)域的腫瘤圖像導(dǎo)入數(shù)據(jù)集。通過(guò)上述方式,腦腫瘤分割網(wǎng)絡(luò)可以學(xué)習(xí)到與識(shí)別腫瘤接近區(qū)域的特征,使模型更加成熟,分類(lèi)預(yù)測(cè)效果更好。由于本研究處理的腦腫瘤分為HGG 和LGG 2 個(gè)級(jí)別,因此模型識(shí)別只有2 種情況,所以本研究通過(guò)大量的訓(xùn)練圖像數(shù)據(jù)進(jìn)行驗(yàn)證,將識(shí)別出腫瘤分級(jí)正確的圖像數(shù)量和所有參與驗(yàn)證的圖像數(shù)量的比值定義為分類(lèi)模型的準(zhǔn)確率,并以此作為評(píng)價(jià)模型的標(biāo)準(zhǔn)。準(zhǔn)確率越高,該分類(lèi)模型對(duì)腫瘤分級(jí)的預(yù)測(cè)效果越好。
從Dice、Sensitivity 和PPV 3 個(gè)方面來(lái)評(píng)價(jià)分割效果,具體結(jié)果詳見(jiàn)表1。
表1 分割效果
從分割效果可以看出,全部腫瘤區(qū)域的分割準(zhǔn)確率可以達(dá)到0.891,所有腦腫瘤圖像都得到了較好的分割。但由于對(duì)MRI 圖像進(jìn)行了降維處理,損失了一部分圖像信息,導(dǎo)致BTGM 模型對(duì)腦腫瘤分割的準(zhǔn)確率下降,與數(shù)據(jù)庫(kù)中的較優(yōu)算法間存在差距。尤其對(duì)于存在腦腫瘤損傷和強(qiáng)化的區(qū)域,分割的準(zhǔn)確率較低,其主要原因是腦腫瘤壞死和強(qiáng)化區(qū)域較為分散,使得全腦圖像的提取效果不佳。但是本研究提出的模型在增加腦腫瘤分割環(huán)節(jié)后,可以有效改善對(duì)腦腫瘤進(jìn)行分級(jí)預(yù)測(cè)的效果,且可以為醫(yī)師提供一個(gè)直觀的病態(tài)分析,幫助其對(duì)患者的后續(xù)治療提供輔助診斷,具有一定的應(yīng)用價(jià)值。
本研究提出的分類(lèi)模型增加了網(wǎng)絡(luò)深度,可以使低維特征更好地映射到高維特征。對(duì)于BraTS 2019數(shù)據(jù)集中的HGG 和LGG 病例,本研究對(duì)預(yù)測(cè)模型進(jìn)行分組測(cè)試。首先對(duì)分割后的腦腫瘤圖像進(jìn)行了篩選,保留了1 000 張WT 區(qū)域、TC 區(qū)域、ET 區(qū)域圖像,并將圖像分成10 組來(lái)評(píng)價(jià)模型的腦腫瘤分級(jí)預(yù)測(cè)能力。各組圖像中HGG 和LGG 的病例隨機(jī)選取,即每組包含不同人和不同等級(jí)腦腫瘤的圖像。實(shí)驗(yàn)結(jié)果表明,其中有8 組分級(jí)預(yù)測(cè)準(zhǔn)確率為100%,其余2 組準(zhǔn)確率均在95%以上,平均準(zhǔn)確率可以達(dá)到98%,與直接使用殘差網(wǎng)絡(luò)的分類(lèi)效果相比,準(zhǔn)確率提高了約10%,分級(jí)預(yù)測(cè)效果良好。分析可知,由于大部分HGG 和LGG 的差異主要在ET 區(qū)域,所以學(xué)習(xí)權(quán)值較高。而另外一小部分的LGG 和HGG 病例在ET 區(qū)域差異不大,但在TC 區(qū)域差異明顯,這種情況可能會(huì)導(dǎo)致腦腫瘤分級(jí)的結(jié)果出現(xiàn)一些誤差。
基于多項(xiàng)式分析法對(duì)患者術(shù)后生存周期進(jìn)行預(yù)測(cè),利用和方差(sum of squared error,SSE)、R 平方系數(shù)對(duì)擬合結(jié)果進(jìn)行評(píng)價(jià)。初次擬合的線性模型多項(xiàng)式如下:
式中,Age 代表患者年齡。R 平方系數(shù)=0.190 7,SSE=1.302×107。
為了進(jìn)一步減小擬合誤差,本研究對(duì)同齡數(shù)據(jù)進(jìn)行均值處理。實(shí)驗(yàn)結(jié)果表明,均值處理后得到的SSE約為初次擬合的1/10,R 平方系數(shù)更接近于1,術(shù)后生存周期預(yù)測(cè)模型擬合效果更好,模型能力更穩(wěn)健,具有更好的泛化能力。
本研究針對(duì)腦腫瘤分割和腦腫瘤分級(jí)預(yù)測(cè)問(wèn)題,提出了一種基于深度學(xué)習(xí)的BTGM。試驗(yàn)結(jié)果表明,腦腫瘤分割模型的腫瘤區(qū)域平均預(yù)測(cè)準(zhǔn)確率達(dá)到0.827。該模型對(duì)TC 區(qū)域的分割精度達(dá)到0.848,未來(lái)可在提高其準(zhǔn)確率方面作出進(jìn)一步的改進(jìn)。腦腫瘤分類(lèi)模型的分類(lèi)效果較好,多組測(cè)量準(zhǔn)確率穩(wěn)定在98%左右,可以給予醫(yī)生更準(zhǔn)確的指導(dǎo)和輔助判斷。
在腦腫瘤分割模型中,需要對(duì)三維MRI 數(shù)據(jù)進(jìn)行降維處理,因此在三維到二維圖像的變換過(guò)程中可能存在信息丟失,導(dǎo)致模型分割精度下降。在下一階段研究中,考慮將MRI 三維數(shù)據(jù)直接輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,以減少信息丟失,進(jìn)一步提高訓(xùn)練效果。另外,雖然本研究提出的分割模型具有較高的識(shí)別度,但數(shù)據(jù)集的增強(qiáng)需要人工完成。下一步的主要研究方向是使分割模型網(wǎng)絡(luò)更有針對(duì)性地找到腦內(nèi)最大腫瘤區(qū)域的殘差位置,從而進(jìn)一步提高腦腫瘤分級(jí)的識(shí)別精度。
本文提出的模型能夠在術(shù)前對(duì)患者進(jìn)行腦腫瘤分割和分級(jí)預(yù)測(cè),但是腦腫瘤患者術(shù)后容易出現(xiàn)并發(fā)癥,對(duì)患者術(shù)后進(jìn)行生存周期的預(yù)測(cè)能夠?yàn)獒槍?duì)性的護(hù)理提供參考,從而能夠有效地預(yù)防腦水腫、呼吸道感染、泌尿系統(tǒng)感染等的發(fā)生。因此,通過(guò)進(jìn)一步對(duì)腦腫瘤患者術(shù)后的生存周期進(jìn)行預(yù)測(cè),可以進(jìn)一步指導(dǎo)患者家屬進(jìn)行及時(shí)有效的護(hù)理配合,預(yù)防并發(fā)癥的出現(xiàn),延緩患者術(shù)后的生存周期。
針對(duì)基于MRI 圖像對(duì)腦膠質(zhì)瘤分級(jí)困難的問(wèn)題,本研究設(shè)計(jì)并實(shí)現(xiàn)了基于深度學(xué)習(xí)的BTGM。該模型由腦腫瘤分割模型、腦腫瘤分類(lèi)模型及患者術(shù)后生存周期預(yù)測(cè)模型3 個(gè)部分組成。腦腫瘤分割模型基于醫(yī)學(xué)MRI 圖像,提取深度學(xué)習(xí)特征并完成腦腫瘤的分割提取。然后,基于監(jiān)督學(xué)習(xí)方法對(duì)分割后的腫瘤圖像進(jìn)行分級(jí)預(yù)測(cè),并結(jié)合患者年齡等生理數(shù)據(jù),預(yù)測(cè)術(shù)后腦腫瘤患者的生存周期。結(jié)果表明,本研究提出的腦腫瘤分類(lèi)模型對(duì)HGG 和LGG 的預(yù)測(cè)準(zhǔn)確率可以達(dá)到98%,能夠很好地輔助醫(yī)師在患者發(fā)病早期作出腦腫瘤級(jí)別的判斷,對(duì)患者的腫瘤進(jìn)行早期干預(yù),延長(zhǎng)患者的生命。
本研究提出的BTGM 基于U-Net 二維網(wǎng)絡(luò),需要將三維MRI 數(shù)據(jù)預(yù)處理為二維數(shù)據(jù),這個(gè)過(guò)程中不可避免會(huì)有一定的圖像信息丟失,導(dǎo)致BTGM 中的分割部分準(zhǔn)確率下降。且目前的研究中,將腦腫瘤只分成了HGG 和LGG 2 個(gè)級(jí)別,不同切片間可能存在高相關(guān)性,模型泛化性能在不同數(shù)據(jù)集間可能會(huì)存在較大差異。未來(lái)的研究中,將直接構(gòu)建基于三維MRI 數(shù)據(jù)的腦腫瘤分割模型,并在此基礎(chǔ)上改進(jìn)殘差網(wǎng)絡(luò)構(gòu)建BTGM,提高腦腫瘤分級(jí)預(yù)測(cè)的精度,同時(shí)考慮將本院實(shí)際病例增加到數(shù)據(jù)集當(dāng)中進(jìn)行訓(xùn)練,進(jìn)一步提高模型的泛化能力,并將腦腫瘤的級(jí)別擴(kuò)展到世界衛(wèi)生組織提出的四級(jí)分類(lèi)[20]。