武志遠(yuǎn) 馬 圓 唐 浩 姚二林 郭秀花△

【提 要】 目的 介紹卷積神經(jīng)網(wǎng)絡(luò)方法，并將其應(yīng)用于肺部多模態(tài)圖像進(jìn)行肺結(jié)節(jié)良惡性分類。 方法 基于肺部PET-CT多模態(tài)圖像，分析臨床信息與卷積神經(jīng)網(wǎng)絡(luò)的結(jié)合并與機(jī)器學(xué)習(xí)支持向量機(jī)方法作效果對比。 結(jié)果 52名患者的323張結(jié)節(jié)圖像納入研究。研究表明，模型中納入臨床信息能夠改進(jìn)模型的分類效果，準(zhǔn)確率、靈敏度、特異度分別為0.913、0.942、0.417；在與支持向量機(jī)模型的對比分析中，卷積神經(jīng)網(wǎng)絡(luò)模型特異度較低為0.417，而靈敏度達(dá)到0.942；支持向量機(jī)模型靈敏度較低為0.570，而特異度達(dá)到0.927。 結(jié)論 基于肺部PET-CT多模態(tài)圖像進(jìn)行肺結(jié)節(jié)良惡性判別，卷積神經(jīng)網(wǎng)絡(luò)能夠獲得較高的靈敏度。

據(jù)世界衛(wèi)生組織統(tǒng)計(jì)報道，肺癌的發(fā)病率、致死率在所有癌癥中占據(jù)首位[1]，其原因是多數(shù)患者在初次診斷時就已經(jīng)處于晚期。提高肺癌患者的生存質(zhì)量、降低肺癌的死亡率，主要挑戰(zhàn)在于提高肺癌早期診斷率。高分辨CT是診斷肺部孤立性肺結(jié)節(jié)的最常用影像學(xué)方法。但是低劑量CT的肺癌篩查假陽性較高[2]。而PET-CT融合兩種模態(tài)的圖像，同時反映病灶的結(jié)構(gòu)信息和代謝信息[3]。因此肺部PET-CT融合圖像的計(jì)算機(jī)輔助診斷(computer aided diagnosis,CAD)成為熱點(diǎn)。針對肺部PET-CT多模態(tài)融合圖像的多數(shù)研究主要是通過機(jī)器學(xué)習(xí)方法，進(jìn)行人工特征提取，基于深度學(xué)習(xí)進(jìn)行肺結(jié)節(jié)良惡性分類的研究少有報道[4-5]。

原理與方法

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)起源于貓視覺皮層的研究，受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)而設(shè)計(jì)[6]。其中，ResNet網(wǎng)絡(luò)被用于2015年ILSVRC比賽中，已將錯誤率降到3.57%[7]。CNN方法在圖像分類識別和物體定位檢測方面凸顯優(yōu)勢并取得良好效果[8-9]。

1.卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

(1)卷積層

由多個特征面組成，通過卷積核與上一層特征面相關(guān)聯(lián)。卷積核是一個權(quán)值矩陣，可以提取輸入的局部特征，卷積層中的神經(jīng)元通過激活函數(shù)，獲得每個神經(jīng)元的輸出值，這一過程具有權(quán)值共享的特點(diǎn)；卷積層的計(jì)算表達(dá)式為：

式中：l代表卷積層所在層數(shù)；Mj代表上層的輸入特征圖；k是卷積核；b是偏置；f是激活函數(shù)。

(2)池化層

緊跟在卷積層之后，它的每一個特征面唯一對應(yīng)于其上一層的一個特征面，不會改變特征面的個數(shù)。池化層起到二次提取特征的作用，通過池化操作使神經(jīng)元數(shù)量減少，對圖像進(jìn)行降維，并提高圖像特征的變換不變特性，降低網(wǎng)絡(luò)模型的運(yùn)算量。常用的池化方法有最大池化、均值池化、隨機(jī)池化，新提出的池化方法有混合池化、Lp范數(shù)池化、空域金字塔池化。池化層的計(jì)算形式為：

式中：down()代表下采樣函數(shù)；β和b代表下采樣層系數(shù)和偏置；f是激活函數(shù)。

(3)全連接層

在CNN結(jié)構(gòu)中，經(jīng)多個卷積層和池化層后，連接著1個或1個以上的全連接層，以整合卷積層或者池化層提取到的局部特征信息，最后一層全連接層的輸出值被傳遞給一個輸出層，向外界輸出結(jié)果，進(jìn)行分類、檢測、識別等任務(wù)。每個神經(jīng)元的輸出為：

hw,b(x)=f(wTx+b)

式中，hw,b(x)表示神經(jīng)元的輸出值；x代表神經(jīng)元輸入的特征向量；w表示權(quán)值向量；b代表權(quán)值；f為激活函數(shù)。

2.卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

(1)向前傳播階段

卷積和池化依次進(jìn)行，上一層的輸出作為下一層的輸入，并通過激活函數(shù)逐層傳播。

(2)誤差傳播階段

通過實(shí)際輸出和期望輸出間的誤差反向傳播，計(jì)算損失函數(shù)，得到各個網(wǎng)絡(luò)層的誤差函數(shù)，然后基于各個權(quán)值和偏置對誤差函數(shù)求導(dǎo)，最后采樣隨機(jī)梯度下降法對網(wǎng)絡(luò)權(quán)值和偏置進(jìn)行更新和優(yōu)化，使得實(shí)際輸出和期望輸出間的誤差平方和達(dá)到最小或小于某一期望閾值。

對于一個含有m個樣本的數(shù)據(jù)集，用批量梯度下降的方法求解神經(jīng)網(wǎng)絡(luò)。單個樣本(x，y)的代價函數(shù)可表示為：

整體代價函數(shù)可表示為：

求解神經(jīng)網(wǎng)絡(luò)就是為了使得代價函數(shù)J(W,b)達(dá)到最小化。最小化代價函數(shù)J(W,b;x,y)，用以下方法更新參數(shù)W和b：

α為參數(shù)的更新率，即學(xué)習(xí)率。

3.本文采用的模型結(jié)構(gòu)

Le Net-5網(wǎng)絡(luò)由3個卷積層，2個池化層，2個全連接層構(gòu)成，加上輸入層和輸出層共包含8層，最初被用于手寫數(shù)字識別。本研究中結(jié)節(jié)圖像的分類模型基于Le Net-5網(wǎng)絡(luò)做出調(diào)整。

實(shí)例分析

1.資料來源

收集52例來自首都醫(yī)科大學(xué)附屬北京宣武醫(yī)院患者的肺部PET-CT圖像，最終323張肺結(jié)節(jié)圖像納入研究，其中良性44張，惡性279張。病例診斷由病理科醫(yī)生依據(jù)手術(shù)病理切片做出。通過問卷調(diào)查和查閱病人入院信息等方法，收集包括病例人口學(xué)特征信息(年齡、性別)和結(jié)節(jié)形態(tài)學(xué)信息(結(jié)節(jié)大小、淋巴結(jié)是否腫大、結(jié)節(jié)數(shù)量、結(jié)節(jié)密度、實(shí)質(zhì)性改變、有暈征、毛玻璃樣改變、毛刺征、分葉征、空泡征、鈣化、空洞、胸膜凹陷征、胸水)共計(jì)16個變量。

(1)納入標(biāo)準(zhǔn)

拍攝機(jī)器為UMI51096環(huán)光導(dǎo)PET-CT；圖像格式為DICOM；有病理診斷結(jié)果。

(2) 排除標(biāo)準(zhǔn)

個人信息填寫不完整，數(shù)據(jù)缺失；結(jié)節(jié)難以分割提取的病例。

對DICOM格式的PET-CT圖像進(jìn)行預(yù)處理，在臨床大夫和影像科大夫的輔助下，每個患者保留包含肺部結(jié)節(jié)的圖像進(jìn)行手動分割，提取感興趣區(qū)域；對圖像感興趣區(qū)域采用區(qū)域增長法進(jìn)行增強(qiáng)與降噪，去除周圍組織，最終轉(zhuǎn)化為323張歸一化的png格式、28×28大小的肺結(jié)節(jié)二維圖像。區(qū)域分割[22]實(shí)質(zhì)是把具有某種相似性質(zhì)的像素連通，從而構(gòu)成最終的分割區(qū)域。研究采用區(qū)域生長法對PET-CT圖像中的肺結(jié)節(jié)進(jìn)行分割。

2.結(jié)果

(1)人口學(xué)及結(jié)節(jié)形態(tài)學(xué)特征分析結(jié)果

本次共收集病例52例，其中良性病例8例，惡性病例44例。其中，男性35例，女性17例。其中最大年齡為86.19歲，最小年齡為40.47歲。經(jīng)統(tǒng)計(jì)學(xué)檢驗(yàn)發(fā)現(xiàn)，年齡(t=-1.315,P=0.194)和性別(χ2=-1.790,P=1.000)在良惡性兩組之間無統(tǒng)計(jì)學(xué)差異。

肺結(jié)節(jié)形態(tài)學(xué)特征方面，經(jīng)卡方檢驗(yàn)發(fā)現(xiàn)，結(jié)節(jié)大小(P=0.073)、有暈征(P=0.551)、毛玻璃征(P=0.499)、毛刺征(P=0.056)、分葉征(P=0.164)、空泡征(P=0.833)、鈣化征(P=0.109)、空洞(P=1.000)、胸膜凹陷征(P=1.000)、胸水(P=0.311)、淋巴結(jié)腫大(P=0.071)、結(jié)節(jié)密度(P=0.469)、實(shí)性結(jié)節(jié)(P=0.499)、結(jié)節(jié)數(shù)量(P=1.000) 16個變量均無統(tǒng)計(jì)學(xué)差異。

(2)圖像數(shù)據(jù)平衡處理結(jié)果

將結(jié)節(jié)圖像隨機(jī)分為訓(xùn)練集239張和測試集80張，訓(xùn)練集標(biāo)記為良性32張，惡性207張，為解決良惡性圖像數(shù)量間的不平衡問題，進(jìn)行圖像擴(kuò)充(平移、旋轉(zhuǎn)、填補(bǔ)等處理)，最后訓(xùn)練集中良性標(biāo)簽1568張，惡性標(biāo)簽1856張。

(3)臨床信息對于分類結(jié)果的影響

基于Le Net-5結(jié)構(gòu)，對比不納入臨床信息和納入臨床信息模型的分類效果，靈敏度和特異度的截點(diǎn)值均設(shè)為0.5，結(jié)果如表1所示。

表1 納入特征變量前后模型分類效果對比

結(jié)果表明，納入人口學(xué)和結(jié)節(jié)形態(tài)學(xué)特征后，模型的識別能力得到提升，特異度上升至0.417，靈敏度達(dá)到0.942。

(4)卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)方法的比較

CNN模型能夠自動提取圖片特征，并對輸入圖像進(jìn)行降維。機(jī)器學(xué)習(xí)方法需要手動提取特征，本課題組之前用二代小波變化提取圖像紋理值特征，與臨床特征一起送入支持向量機(jī)分類器(support vector machine,SVM)進(jìn)行肺結(jié)節(jié)圖像良惡性分類，結(jié)果如表2所示。

表2 CNN與支持向量機(jī)分類效果對比

實(shí)驗(yàn)表明，CNN模型在靈敏度上優(yōu)于支持向量機(jī)模型，對于肺癌的早期發(fā)現(xiàn)意義重大；支持向量機(jī)特異度優(yōu)于CNN模型，誤診率低。

(5)模型結(jié)果匯總

三個模型基于準(zhǔn)確率、靈敏度、特異度、AUC值進(jìn)行比較，結(jié)果表明與不加入臨床信息的模型(模型1)相比，加入臨床信息的CNN結(jié)構(gòu)(模型2)的識別率和靈敏度較高，SVM模型(模型3)的特異度較高，具體結(jié)果如圖1所示。

圖1 肺結(jié)節(jié)分類模型效果對比

討 論

1.臨床特征對于結(jié)節(jié)良惡性分類效果差異分析。

基于CNN自動提取的圖像特征進(jìn)行良惡性分類，分類能力有限。李學(xué)滄[10]等人將CNN應(yīng)用于肺癌病理圖像自動分類中，同時將圖像的顏色特征和邊緣特征納入分類器，取得了良好的效果。研究表明，肺癌圖像的自動分類不應(yīng)僅僅局限于網(wǎng)絡(luò)自動提取的特征，應(yīng)將臨床先驗(yàn)知識與模型提取特征相融合，基于多維大數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，在不增加模型參數(shù)和運(yùn)行時間的基礎(chǔ)上，提高診斷的準(zhǔn)確度。

2.醫(yī)學(xué)圖像分類逐漸出現(xiàn)智能化趨勢

有研究[11-12]通過深度學(xué)習(xí)的方法進(jìn)行肺結(jié)節(jié)的自動提取。今后可以將兩個模型結(jié)合起來，首先搭建結(jié)節(jié)檢測的模型，對感興趣的圖像區(qū)域進(jìn)行自動分割，將提取的區(qū)域作為輸入進(jìn)入第二個良惡性分類模型，進(jìn)行肺結(jié)節(jié)良惡性的分類診斷。此外，較小的數(shù)據(jù)量無法滿足深度學(xué)習(xí)海量數(shù)據(jù)驅(qū)動的要求。解決辦法一方面需要加強(qiáng)數(shù)據(jù)量的收集與質(zhì)量控制，另一方面可以將遷移學(xué)習(xí)理論[13]與醫(yī)學(xué)圖像分類結(jié)合。應(yīng)用開源的圖像數(shù)據(jù)庫，如自然圖像數(shù)據(jù)(ImageNet,CIFAR-10)、醫(yī)學(xué)圖像數(shù)據(jù)庫(LUNA16,LIDC-IDRI)等大數(shù)據(jù)資源，選擇合適的源域數(shù)據(jù)，解決目標(biāo)領(lǐng)域的分類任務(wù)。褚晶輝等人[14]就將遷移學(xué)習(xí)與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，提出了自然圖像數(shù)據(jù)與醫(yī)學(xué)圖像數(shù)據(jù)作為源域的二次遷移學(xué)習(xí)策略，構(gòu)建了基于54名患者的乳腺腫瘤診斷系統(tǒng)。

目前，有研究[15]開始運(yùn)用3-D卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行感興趣區(qū)域的分割和疾病診斷?，F(xiàn)有開源的3-D CNN模型，可以在DICOM格式的醫(yī)學(xué)圖像中，通過三維卷積核作為特征提取工具，進(jìn)行圖像分類。