肖煥輝 袁程朗 馮仕庭 羅宴吉 黃炳升*

癌癥是全球范圍內(nèi)的主要死亡原因和增加預期壽命的主要障礙。據(jù)統(tǒng)計，2018年全球預估癌癥新發(fā)病例數(shù)達1 810萬，死亡病例數(shù)達960萬[1]。影像診斷對于癌癥的診斷和治療非常重要。計算機輔助診斷（computer aided diagnosis,CAD）旨在通過計算機對病人的影像進行分析并輔助醫(yī)生完成診斷，基于醫(yī)學影像的分類診斷是CAD的重要研究方向。大部分CAD研究基于傳統(tǒng)機器學習方法，如支特向量機（su pport vector machine，SVM）、隨機森林（randomforest，RF）、邏輯回歸（logistic regression，LR）等。傳統(tǒng)機器學習有賴于人為的興趣區(qū)標注、特征提取與選擇等步驟，難以實現(xiàn)全自動化，分類性能也受限于人為選取特征的表征能力。近年來興起的深度學習技術(shù)，使得計算機能夠自動從目標數(shù)據(jù)中學習獲得更深層次、更抽象的特征，并且能夠有效排除人為因素的影響，更易于實現(xiàn)全自動化，更具發(fā)展?jié)摿?，因此日益受到關(guān)注。

1 應用于圖像分類任務的深度學習模型

深度學習實質(zhì)上是一種由多層神經(jīng)網(wǎng)絡構(gòu)成的計算模型。深度學習方法是通過多層非線性神經(jīng)網(wǎng)絡層將數(shù)據(jù)的低級別特征組合并轉(zhuǎn)換成更高級別、更復雜的抽象特征，以完成復雜任務的學習[2]。用于圖像分類任務的深度學習算法主要包括卷積神經(jīng)網(wǎng)絡（convolutional neural network，CNN）、基于自編碼器（autoencoder，AE）的深度網(wǎng)絡、基于受限玻爾茲曼機（restricted Boltzmann machine，RBM）的深度網(wǎng)絡。

CNN在1988年由Fukushima[3]提出，用于圖像分類的CNN通常由卷積層、池化層及全連接層組成。通過局部感受野、權(quán)值共享以及空間上的下采樣，使CNN能夠在較低的模型復雜度下充分利用圖像的局部與全局信息，并對圖像的平移、旋轉(zhuǎn)、縮放等具有一定的魯棒性。AE在1986年由Rumelhart等[4]提出，在此基礎上，相繼產(chǎn)生了稀疏自編碼（sparse autoencoder，SAE）、去噪自編碼 （denoising autoencoder，DAE）和堆棧去噪自編碼（stacked denoising autoencoder，SDAE）等深度模型。該類模型通過編碼與解碼過程，能夠得到數(shù)據(jù)在較低維空間下的非線性特征表示，并據(jù)此進行分類。RBM在1986年由Smolensky[5]提出，并由此衍生出深度置信網(wǎng)絡（deep belief network，DBN）、深度玻爾茲曼機（deep Boltzmann machine，DBM）等模型。這類模型是一種可以學習輸入集合概率分布的生成式隨機神經(jīng)網(wǎng)絡，能夠通過輸入數(shù)據(jù)的概率分布來學習提取數(shù)據(jù)的抽象特征，并用以區(qū)分數(shù)據(jù)。

基于AE、RBM的分類模型的建立包括無監(jiān)督預訓練與有監(jiān)督微調(diào)學習兩個階段，可更好地學習復雜數(shù)據(jù)的結(jié)構(gòu)和分布以實現(xiàn)有效分類，但其訓練難度與網(wǎng)絡的深度、復雜度成正比，使得更為復雜、更具深度的網(wǎng)絡難以實現(xiàn)。其中，微調(diào)學習是遷移學習的實現(xiàn)方式之一。在深度學習中，遷移學習通過模型對已有知識（源域數(shù)據(jù)及其任務）的學習來輔助模型對新知識（目標域數(shù)據(jù)及其任務）的學習，是解決深度學習模型訓練數(shù)據(jù)不足的問題的重要方法，能夠提高深度學習模型的泛化性能。基于CNN的分類模型，僅需進行有監(jiān)督學習，且由于CNN具有權(quán)值共享的特點，以及跳躍連接、瓶頸層等網(wǎng)絡結(jié)構(gòu)的存在，能夠有效減少網(wǎng)絡參數(shù)量與網(wǎng)絡擬合時間，使CNN模型在模型結(jié)構(gòu)相似的情況下，有著比AE、RBM模型更低的訓練難度。此外，相比于AE與RBM模型注重于數(shù)據(jù)全局信息的利用，CNN依靠感受野的變化，能夠有效利用數(shù)據(jù)的全局與局部信息，更有助于圖像的分類。因此，基于CNN的圖像分類模型研究，是目前基于深度學習的圖像分類研究中的最熱點。近年來，亦提出多個混合深度模型（如卷積置信網(wǎng)絡、卷積自編碼網(wǎng)絡等），但在癌癥CAD研究中未見報道。

表1 基于深度學習的肺結(jié)節(jié)良惡性分類方法研究（LIDC公共數(shù)據(jù)庫）

2 基于深度學習的癌癥計算機輔助分類診斷方法

基于深度學習的CAD性能會受到所用數(shù)據(jù)的影響。為方便比較、總結(jié)，本文僅針對在公共數(shù)據(jù)庫上進行的研究展開綜述。其中，對肺癌、乳腺癌的研究報道較為全面。故對這2種疾病的相關(guān)計算機輔助分類診斷研究展開綜述。

2.1 基于肺癌CT影像的CAD 對肺癌CT影像的計算機輔助分類診斷研究主要集中在肺結(jié)節(jié)的良惡性鑒別診斷上。近年來基于深度學習的肺結(jié)節(jié)良惡性分類研究報道較多，在肺影像數(shù)據(jù)庫聯(lián)盟（lung image database consortium，LIDC）公共數(shù)據(jù)庫中關(guān)于不同方法的準確度、敏感度、特異度、受試者操作特征曲線下面積（AUC）及自動化程度分析的研究見表1。LIDC數(shù)據(jù)庫共包括了1 018例肺結(jié)節(jié)病人CT影像，每例影像都由4位經(jīng)驗豐富的胸部放射科醫(yī)生分別進行肺結(jié)節(jié)標注并給出1～5的惡性程度評分。通常將平均評分＜3的定義為良性結(jié)節(jié)，反之則為惡性結(jié)節(jié)。其中，至少有1位放射科醫(yī)生認定的肺結(jié)節(jié)共7 371個，而至少有1位放射科醫(yī)生認定且直徑≥3 mm的結(jié)節(jié)共有2 669個，4位放射科醫(yī)生共同認定且直徑≥3 mm的結(jié)節(jié)共928個。

Hua等[6]分別使用由2個卷積層、2個池化層及2個全連接層組成的簡單CNN，以及由2層RBM組成的DBN實現(xiàn)肺結(jié)節(jié)良惡性分類。與此類似，Sun等[9]分別使用了簡單 CNN、由 3個 DAE組成的SDAE和由4層RBM組成的DBN實現(xiàn)肺結(jié)節(jié)良惡性分類。上述方法與機器學習方法比較，分類準確度略有提高，最高達到81.2%。但所用方法的網(wǎng)絡結(jié)構(gòu)簡單，缺乏根據(jù)目標數(shù)據(jù)特點的針對性調(diào)整，仍有較大改進空間。

隨著深度學習與傳統(tǒng)機器學習結(jié)合應用，使得深度神經(jīng)網(wǎng)絡的深層特征提取能力與傳統(tǒng)機器學習分類器的強分類能力能夠充分發(fā)揮，從而提升了CAD的性能。AlexNet由5個卷積層與3個全連接層構(gòu)成，在2012年的ImageNet自然圖像分類競賽中獲得冠軍[15]。網(wǎng)絡所用的Relu激活函數(shù)、Dropout層、局部歸一化響應層以及對圖像處理器的應用等，對后續(xù)的CNN方法研究有著重要的指導價值。Buty等[10]使用CNN架構(gòu)AlexNet作為特征提取器，結(jié)合手動提取的特征，應用于RF分類器后，準確度達到82.4%。Shen等[8]使用由2個卷積層、2個池化層及一個全連接層構(gòu)成的三維CNN提取肺結(jié)節(jié)在多尺度視圖下的三維特征，在結(jié)合了不同機器學習分類器后，肺結(jié)節(jié)良惡性分類準確度最高達到86.8%。以上研究表明深度學習與機器學習相結(jié)合能夠提升CAD性能，但這樣的結(jié)合不可避免地引入了機器學習方法的特征選擇、參數(shù)優(yōu)化等過程。在深度學習的大數(shù)據(jù)量下，這樣的引入將導致整體訓練時間的大幅增加。再者，當深度神經(jīng)網(wǎng)絡所提取的特征有著足夠的表征能力時，強分類器帶來的提升并不顯著。所以，目前人們?nèi)灾饕獙Ｗ⒂谏疃葘W習方法本身的改進。

深度學習方法的改進包括在網(wǎng)絡結(jié)構(gòu)、網(wǎng)絡訓練策略、網(wǎng)絡的輸入與輸入形式等方面。Zhao等[14]參考1998年首個被提出并應用于手寫數(shù)字識別的CNN模型LeNet，以及經(jīng)典CNN模型AlexNet后，提出名為Aglie的CNN網(wǎng)絡。Aglie網(wǎng)絡在肺結(jié)節(jié)良惡性分類任務中性能優(yōu)于LeNet及AlexNet，將準確度從不足80%提升到82.2%，AUC達到0.877。Shen等[12]參考可在多個尺度下進行特征提取并得到大小恒定的特征向量的空間金字塔池化網(wǎng)絡，提出了一種具有多級裁剪結(jié)構(gòu)的CNN模型，該模型通過裁剪結(jié)合池化的方式來獲取圖像在不同尺度下的特征，將準確度提高到87.1%，AUC達到0.93。Nibali等[13]將2015年ImageNet自然圖像分類競賽的冠軍深度殘差網(wǎng)絡應用于肺結(jié)節(jié)良惡性分類中。深度殘差網(wǎng)絡使用了主要由跳躍連接構(gòu)成的殘差塊結(jié)構(gòu)，使網(wǎng)絡深度加大的同時，減少了對梯度消失的困擾。通過以ImageNet自然圖像集為源域進行遷移學習，該網(wǎng)絡準確度達到89.9%，AUC為0.946。Cheng等[11]將反映肺結(jié)節(jié)興趣區(qū)大小的多個參數(shù)與肺結(jié)節(jié)興趣區(qū)一同作為SDAE分類網(wǎng)絡的輸入，并比較了僅使用肺結(jié)節(jié)的中間層切片圖像的Single策略與使用肺結(jié)節(jié)所有切片圖像的All策略進行分類的性能差異，結(jié)果顯示使用Single策略的準確度為（87.4±3.3）%，AUC 為 0.941±0.019，而 All策略的準確度達到（98.4±3.2）%，AUC 達到 0.984±0.015。

可見，通過對深度學習方法的改進，以及與傳統(tǒng)機器學習相結(jié)合等嘗試，肺結(jié)節(jié)良惡性分類診斷能夠達到較高的準確度。但是，這方面仍有很多問題亟待解決，如仍局限于對單個病灶的診斷，無法做到以病人為單位進行診斷；局限于醫(yī)生對病灶的手動標注，未能實現(xiàn)真正的全自動診斷?？傮w而言，距離真正的臨床應用還比較遙遠。

2.2 基于乳腺X線攝影圖像的乳腺癌CAD 基于乳腺X線攝影圖像的乳腺癌計算機輔助分類診斷研究主要集中于乳腺病灶的良惡性鑒別診斷中。在乳腺鉬靶數(shù)據(jù)集（INbreast）和數(shù)字乳腺X線圖像數(shù)據(jù)庫 （digital database for screening mammography，DDSM）中可見針對不同深度學習方法的準確度、AUC及自動化程度進行的分析研究（表2）。INbreast公共數(shù)據(jù)庫共有115個病例，90例有雙側(cè)乳腺的雙視圖圖像（乳腺橫斷面和乳腺側(cè)斜位視圖圖像），其余25例僅有單側(cè)乳腺的雙視圖圖像，共410幅圖像。DDSM公共數(shù)據(jù)庫共有2 620個病例，每例都有雙側(cè)乳腺的雙視圖圖像，共10 480幅圖像。2個數(shù)據(jù)庫的數(shù)據(jù)都包括乳腺影像報告和數(shù)據(jù)系統(tǒng)（BI-RADS）分級，等級范圍從0～6。 在乳腺癌 CAD研究中，將BI-RADS等級≤3者視為良性病灶，反之則為惡性病灶。

與肺癌CAD研究類似，有研究者將深度學習與傳統(tǒng)機器學習相結(jié)合以提升CAD的性能。Dhungel等[20]通過人為規(guī)范神經(jīng)網(wǎng)絡的特征學習過程，使用簡單CNN定向地提取圖像特征，該定向特征在RF分類器上的表現(xiàn)優(yōu)于人為提取的同類特征，亦優(yōu)于直接使用該CNN進行分類。該研究在DDSM數(shù)據(jù)庫上進行了測試，依賴于醫(yī)生手動分割病灶的準確度達到（95±5）%，AUC 為 0.91±0.12，而在全自動實現(xiàn)的情況下，準確度為（91±2）%，AUC 為 0.76±0.23。相比之下，Jiao等[18]使用了更具深度的CNN結(jié)構(gòu)，通過CNN的中間層與深層神經(jīng)元分別提取的中層與深層特征，對應地建立了2個SVM分類器，并設計了特定的決策策略，在INbreast數(shù)據(jù)庫上準確度達到96.7%。上述研究再次表明深度學習與機器學習相結(jié)合提升了CAD的性能。但同樣地，兩者相結(jié)合帶來的問題仍未能避免，因此人們更重視深度學習方法本身的改進。

Carneiro等[16]提出對乳腺病灶的多個視圖進行分析，將乳腺橫斷面以及側(cè)斜面視圖下的完整乳腺、病灶檢測圖和分割掩膜圖共6種圖像作為網(wǎng)絡的輸入，并以ImageNet自然圖像集作為源域進行了遷移學習。在DDSM、INbreast數(shù)據(jù)庫上，AUC分別達到 0.97±0.03 與 0.91±0.05。 在已有研究[17]的基礎上，Carneiro等[21]進一步將6個二維輸入合并為2個三維輸入，以提高不同視圖間的對比信息在網(wǎng)絡中的重要性，并在遷移學習和多網(wǎng)絡融合策略上進行了改進。該研究的半自動方法在DDSM與INbreast數(shù)據(jù)庫上AUC分別達到0.96±0.05與0.94±0.05，全自動方法在INbreast數(shù)據(jù)庫上AUC為0.78±0.09。不同于在網(wǎng)絡輸入上的改進，Dhungel等[20]在Carneiro等[16]研究的基礎上，用深度殘差網(wǎng)絡取代簡單CNN結(jié)構(gòu)以獲取更深層特征。在沒有進行遷移學習的情況下，在INbreast數(shù)據(jù)庫上，半自動方法和全自動方法的AUC分別為0.91±0.03和0.80±0.04。與前面局限于單個病灶的研究不同，Zhu等[19]將AlexNet與多示例學習方法結(jié)合，通過AlexNet網(wǎng)絡和病人乳腺原始圖像得到整個乳腺的病灶良惡性概率分布圖，再通過基于稀疏表達的多示例學習從概率圖中得到病人的良惡性分類。該法在INbreast數(shù)據(jù)庫上的準確度為（90±2）%，AUC 為 0.89±0.04。

從上述研究可發(fā)現(xiàn)，乳腺病灶良惡性CAD研究，已能在半自動條件下實現(xiàn)對單個病灶的準確診斷，并且更進一步實現(xiàn)了對單個病灶乃至單個病人的全自動診斷。但全自動方法未能達到半自動方法的高準確率，距離臨床應用仍有差距。

表2 基于深度學習的乳腺病灶良惡性分類方法研究（INbreast、DDSM公共數(shù)據(jù)庫）

3 小結(jié)

綜上所述，基于深度學習的圖像分類技術(shù)已經(jīng)在癌癥的CAD研究中具有良好表現(xiàn)并呈現(xiàn)出巨大潛力。在醫(yī)療數(shù)據(jù)日益復雜化的當下，能夠自主學習數(shù)據(jù)特征的深度學習優(yōu)于非深度學習方法且具有更好的發(fā)展前景。此外，由于深度學習的方法改進有著較強的泛化性，方法上的進步能夠在多個領(lǐng)域上取得進步，有著較高的研究價值。但目前深度學習方法仍處于起步階段，對于復雜功能的實現(xiàn)仍然有著較大的難度，并且存在著很大的不可解釋性，難以為臨床醫(yī)生信服并接受。對于臨床實際應用而言，臨床診斷對邏輯分析能力和抽象概念的理解能力要求較高，現(xiàn)階段深度學習未能滿足臨床實際應用的需求。此外，醫(yī)學影像數(shù)據(jù)相對于自然圖像數(shù)據(jù)的稀缺性，使深度學習方法難以獲得很強的泛化能力，亦是其難以應用于臨床的重要原因之一。

基于深度學習與醫(yī)學影像的癌癥計算機輔助分類診斷技術(shù)將隨著研究的深入不斷得到提升，有望在將來真正應用于臨床實踐，提高癌癥的臨床診斷、治療水平。