田苗，林嵐，張柏雯，吳水才

北京工業(yè)大學(xué) 生命科學(xué)與生物工程學(xué)院，北京 100124

深度學(xué)習(xí)在神經(jīng)影像中的應(yīng)用研究

田苗，林嵐，張柏雯，吳水才

北京工業(yè)大學(xué) 生命科學(xué)與生物工程學(xué)院，北京 100124

深度學(xué)習(xí)是機器學(xué)習(xí)方法的一個重要分支，它通過基于多層神經(jīng)網(wǎng)絡(luò)的計算模型來進行學(xué)習(xí)。一個深度學(xué)習(xí)網(wǎng)絡(luò)可以通過組合低層特征形成更抽象的高層特征，以發(fā)現(xiàn)數(shù)據(jù)的復(fù)雜的內(nèi)在特征。由于深度卷積網(wǎng)絡(luò)在圖像處理中的出色表現(xiàn)，它已成為當(dāng)前研究中應(yīng)用最為廣泛的一種深度網(wǎng)絡(luò)。本文首先介紹了深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)特征和訓(xùn)練方法，分析了算法的優(yōu)越性，之后進一步介紹了深度卷積網(wǎng)絡(luò)，最后討論了深度學(xué)習(xí)在神經(jīng)影像領(lǐng)域的最新應(yīng)用現(xiàn)狀及其發(fā)展趨勢。

深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；神經(jīng)影像；多層感知器；深度神經(jīng)網(wǎng)絡(luò)

學(xué)習(xí)是人類所具有的一種重要的智能行為，是人腦獲取知識或技能的一個持續(xù)性變化的過程。機器學(xué)習(xí)[1]最初源于人工智能，是研究計算機如何通過模擬實現(xiàn)人腦的學(xué)習(xí)行為的科學(xué)領(lǐng)域。它運用算法重組已有的知識結(jié)構(gòu)，獲取新的知識或技能，從而對現(xiàn)實世界的事物進行學(xué)習(xí)、測定或預(yù)測。機器學(xué)習(xí)算法按照學(xué)習(xí)方式主要分為兩大類：非監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)。非監(jiān)督式學(xué)習(xí)一般指數(shù)據(jù)是未知，樣本沒有被特別預(yù)定義，機器模型通過學(xué)習(xí)探索出隱含在數(shù)據(jù)訓(xùn)練樣本集中的特殊模式。常見的非監(jiān)督學(xué)習(xí)算法包括關(guān)聯(lián)規(guī)則學(xué)習(xí)[2]、聚類[3]等。而監(jiān)督式學(xué)習(xí)指的是輸入數(shù)據(jù)被特別標(biāo)記，有明確的標(biāo)識，通過學(xué)習(xí)模型可將預(yù)測結(jié)果與實際標(biāo)識結(jié)果進行比較，通過不斷的調(diào)整模型參數(shù)，使得預(yù)測結(jié)果不斷接近預(yù)期目標(biāo)。監(jiān)督式學(xué)習(xí)一般比非監(jiān)督的預(yù)訓(xùn)練模型具有更好的性能，這歸功于監(jiān)督模型對數(shù)據(jù)集特性能夠更好的編碼，但需要大量的時間對數(shù)據(jù)進行手工標(biāo)記。監(jiān)督式學(xué)習(xí)是分類和回歸問題的絕佳選擇，其中常見算法有邏輯回歸[4]、決策樹[5]、支持向量機[6]和人工神經(jīng)網(wǎng)絡(luò)（Artif cial Neural Network，ANN ）[7-8]等。ANN已有幾十年的歷史，它的靈感源于我們對大腦中神經(jīng)元工作模式的理解。感知器[9]是將神經(jīng)元用數(shù)學(xué)的方法表達出來，它是ANN中最基本的結(jié)構(gòu)。多層感知器（Multilayer Perceptron，MLP）的基本架構(gòu)包含輸入層、輸出層和隱含層，是只含有一層隱藏層節(jié)點的淺層模型。輸入的特征向量經(jīng)隱含層變換到達輸出層，在輸出層得到結(jié)果。各類ANN的結(jié)構(gòu)具有很大的差異性，但其一般都具有兩個主要特征：可調(diào)整的權(quán)重集合和模擬輸入信號到神經(jīng)元的非線性變換的能力。層數(shù)的增加提高了ANN網(wǎng)絡(luò)的復(fù)雜度，使得優(yōu)化函數(shù)越來越容易偏離全局最優(yōu)，陷入局部最優(yōu)解。如果利用有限數(shù)據(jù)來訓(xùn)練深層網(wǎng)絡(luò)，深層網(wǎng)絡(luò)的性能可能還不如較淺層的網(wǎng)絡(luò)。同時，另一個不可忽略的問題是隨著網(wǎng)絡(luò)層數(shù)增加，梯度消失現(xiàn)象會變得更加嚴重。ANN中通常使用sigmoid函數(shù)作為神經(jīng)元的輸入輸出函數(shù)，使用鏈?zhǔn)揭?guī)則來計算梯度（通過微分）。在利用反向傳播算法（Backward Propagation，BP）[10]反向傳播梯度時，隨著網(wǎng)絡(luò)層數(shù)的不斷增加，梯度呈指數(shù)衰減，低層接收訓(xùn)練信號的能力不斷減弱，層數(shù)過多時很有可能使低層幾乎接收不到有效的訓(xùn)練信號。在深度學(xué)習(xí)未被提出之前，ANN的研究長期停留在淺層模型階段。淺層的ANN模型雖然在過去為一些特定問題的解決提供了一種有效的手段，但仍存在很多的局限性，淺層ANN的研究相對沉寂。

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）[11-15]是在ANN基礎(chǔ)上而發(fā)展起來的，包含多個隱藏層的ANN。從廣義上說，DNN是一種特征學(xué)習(xí)方法，采用海量數(shù)據(jù)進行訓(xùn)練，通過一些簡單的非線性模型將原始數(shù)據(jù)轉(zhuǎn)變?yōu)榈蛯犹卣?，并逐步形成更加抽象的高層表示屬性類別或特征，得到對數(shù)據(jù)更具本質(zhì)的刻畫，可以使得分類和預(yù)測更加有效準(zhǔn)確。若通過足夠多的轉(zhuǎn)換組合，即使非常復(fù)雜的函數(shù)也可以被學(xué)習(xí)。單從結(jié)構(gòu)上來說，全連接的DNN和多層感知機是沒有任何本質(zhì)區(qū)別的，DNN也可以理解為ANN 一個更貼切的名稱。但是如何有效地訓(xùn)練深層模型是長期以來困擾DNN發(fā)展的難題。2006年，Hinton等[16]在《科學(xué)》上發(fā)表文章提出了深度置信網(wǎng)絡(luò)（Deep Belief Network，DBN），使用非監(jiān)督貪心逐層訓(xùn)練算法[17]。深度網(wǎng)絡(luò)在訓(xùn)練上的難題，可以通過無監(jiān)督“逐層初始化”來有效克服，并將隱含層推動到了7層，這為解決與深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來希望。從此ANN在真正意義上有了“深度”的概念，深度學(xué)習(xí)的熱潮也由此被揭開。在過去的幾十年里，神經(jīng)網(wǎng)絡(luò)使用最多的是一些例如sigmoid、tanh(z)等非線性函數(shù)，為了解決梯度消失的難題，修正線性單元（Rectif ed Linear Unit，ReLU）等傳輸函數(shù)的出現(xiàn)有效的加速了網(wǎng)絡(luò)的收斂，讓一個多層神經(jīng)網(wǎng)絡(luò)可以更快的學(xué)習(xí)。Lecun等[17-18]提出的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）將圖像處理中的二維離散卷積運算與多層神經(jīng)網(wǎng)絡(luò)結(jié)合起來。卷積運算模仿人腦對信號的分級處理原理，對輸入信息進行自動地特征提取。具體操作就是在原來的全連接層前面加入了部分連接的卷積層與降維層，利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓(xùn)練性能。實踐中，DNN的解空間中存在著大量的鞍點，同時鞍點周圍大部分曲面都是方向朝上，所以DNN算法就算是陷入了這些局部最小值，對結(jié)果也不會產(chǎn)生較大的干擾。如今，隨著大數(shù)據(jù)時代的到來，大批量的神經(jīng)影像數(shù)據(jù)為神經(jīng)科學(xué)提供了研究素材，而大數(shù)據(jù)分析需要將這些影像數(shù)據(jù)運用深度學(xué)習(xí)等復(fù)雜的算法合成到更廣泛的框架中進行分析。在本文中我們首先介紹了深度學(xué)習(xí)的一些關(guān)鍵的基本概念，隨后介紹了圖像處理中最為常用的CNN，最后展示并討論了深度學(xué)習(xí)算法在神經(jīng)影像領(lǐng)域的一些具體應(yīng)用。

1 監(jiān)督學(xué)習(xí)和反向傳播算法對多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

1.1 監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)的訓(xùn)練通常使用自下而上的非監(jiān)督學(xué)習(xí)和自頂向下的監(jiān)督學(xué)習(xí)算法。對于非監(jiān)督學(xué)習(xí)方法，并不需要使用帶標(biāo)簽的數(shù)據(jù)來檢測特征。通常先利用非監(jiān)督學(xué)習(xí)方法對每一隱藏層進行逐步訓(xùn)練去學(xué)習(xí)特征，每次單獨訓(xùn)練一層，并將低層的訓(xùn)練結(jié)果作為更高一層的輸入，最后一個輸出層被添加到該網(wǎng)絡(luò)的頂部，這時改用監(jiān)督學(xué)習(xí)的BP算法從上到下進行微調(diào)去不斷優(yōu)化模型。

在DNN中，最常用的形式還是監(jiān)督學(xué)習(xí)。它的工作方式是當(dāng)向模型輸入訓(xùn)練數(shù)據(jù)時，模型對訓(xùn)練實例進行預(yù)測，通過計算預(yù)測結(jié)果與期望結(jié)果間的預(yù)測誤差，根據(jù)預(yù)測誤差更新模型的權(quán)重，以減少下一個預(yù)測的誤差。在典型的深度學(xué)習(xí)系統(tǒng)中，可能有數(shù)以百萬計的帶有標(biāo)簽的樣本和權(quán)值被用來訓(xùn)練網(wǎng)絡(luò)。為了保證調(diào)整權(quán)重向量的正確性，學(xué)習(xí)算法需要計算每個權(quán)值的梯度向量，表示隨著權(quán)值變化的一個微量，誤差會隨之增加或減少的量，然后在梯度矢量的相反方向上對權(quán)值向量進行調(diào)整。在實際應(yīng)用中，隨機梯度下降（Stochastic Gradient Descent Algorithm，SGD）的算法是一種最常用的方法。它通過計算樣本的平均梯度來調(diào)整相應(yīng)權(quán)值的大小，可以基于小的樣本集合來重復(fù)這個過程用以訓(xùn)練網(wǎng)絡(luò)。模型中每輸入一個新樣本，該算法就迭代更新一次，不需要訓(xùn)練集中所有的數(shù)據(jù)參與每次迭代，單次迭代的結(jié)果不一定是全局最優(yōu)，但是多次迭代的最終目標(biāo)是尋求全局最優(yōu)解，所以最終的結(jié)果往往是在全局最優(yōu)解附近。這種迭代過程不斷重復(fù)，直到目標(biāo)函數(shù)停止增長。同其它優(yōu)化技術(shù)相比，SGD具有極快的訓(xùn)練速度，大大縮短了訓(xùn)練時間。通常在訓(xùn)練完成后，系統(tǒng)的性能就因此通過測試集（用于訓(xùn)練的數(shù)據(jù)樣本）被確定了，這時可以通過未經(jīng)過訓(xùn)練的新樣本來評定算法的泛化能力。

1.2 BP算法

BP算法是Rumelhart等[19]于1986年針對具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)提出的一種訓(xùn)練算法，在多層網(wǎng)絡(luò)的訓(xùn)練中舉足輕重，是復(fù)合函數(shù)的鏈?zhǔn)椒▌t的具體應(yīng)用。深度學(xué)習(xí)的訓(xùn)練目標(biāo)就是通過調(diào)整網(wǎng)絡(luò)中的每一個權(quán)值來使得目標(biāo)函數(shù)達到最小。目標(biāo)函數(shù)也可以看成是由所有待求權(quán)值為自變量的復(fù)合函數(shù)。BP算法正是用來求解這種多層復(fù)合函數(shù)的所有變量的偏導(dǎo)數(shù)的利器，目標(biāo)函數(shù)對于某層輸入的導(dǎo)數(shù)（或者梯度）可以通過向后傳播的方式對該層輸出（或者下一層輸入）的導(dǎo)數(shù)求得。BP算法可以通過傳播梯度的方式被重復(fù)的應(yīng)用于DNN的每一層。它的學(xué)習(xí)過程主要分為兩個階段（圖1）：信號的正向傳播階段和誤差的反向傳播階段。當(dāng)信號正向傳播時，樣本數(shù)據(jù)從輸入層進入網(wǎng)絡(luò)，經(jīng)各個隱層逐層處理后，從輸出層傳出。若傳出后的實際值與期望值不符，則轉(zhuǎn)入誤差的反向傳播階段，即將輸出誤差以某種形式通過隱層向輸入層逐層反向傳播，并分攤到各層的所有神經(jīng)元，從而獲得各層神經(jīng)元的誤差信號，根據(jù)此誤差信號來修正各神經(jīng)元的權(quán)值。正向傳播與誤差反向傳播階段周而復(fù)始的交替進行，因此權(quán)值在此過程中得到不斷地調(diào)整，直到網(wǎng)絡(luò)的輸出誤差減少到可接受的水平，或達到預(yù)設(shè)定的學(xué)習(xí)次數(shù)。

圖1 BP算法原理圖

2 卷積神經(jīng)網(wǎng)絡(luò)

在非周期性連接的ANN結(jié)構(gòu)中，前饋網(wǎng)絡(luò)是最簡單的形式。前饋網(wǎng)絡(luò)的整個網(wǎng)絡(luò)中無反饋，信息從輸入節(jié)點開始單向傳輸，計算前一層神經(jīng)元輸入數(shù)據(jù)的權(quán)值的和，然后把權(quán)值和傳給一個非線性激活函數(shù)，如ReLU激活函數(shù)。ReLU激活函數(shù)因為其分段線性性質(zhì)，導(dǎo)致其前傳、后傳、求導(dǎo)都是分段線性，可以讓一個深度網(wǎng)絡(luò)跳過無監(jiān)督預(yù)訓(xùn)練的過程，直接進行有監(jiān)督的訓(xùn)練。在全連接DNN的結(jié)構(gòu)里，其下層神經(jīng)元和所有的上層神經(jīng)元都能夠形成連接，由此也會帶來參數(shù)數(shù)量膨脹的潛在問題，海量權(quán)重在訓(xùn)練過程中不僅容易過擬合，而且極容易陷入局部最優(yōu)。

與其它大多數(shù)深度前饋式ANN相比，CNN是深度學(xué)習(xí)算法中應(yīng)用最成功的算法之一，且更易于訓(xùn)練，比全連接的DNN有更好的泛化 性能，在計算機視覺和圖像識別領(lǐng)域都得到了很好的應(yīng)用[20-21]。CNN作為一種特殊的圖像識別方式，其中的卷積及池化層的靈感直接來源于視覺皮層中的細胞排列。視覺皮層中存在兩類細胞：一類細胞是簡單細胞，主要用于識別物體邊緣的模式，還有一類復(fù)雜細胞，具有位置不變性，可以表達模式的具體位置，這些細胞是以層級結(jié)構(gòu)形成了視覺回路。CNN的設(shè)計中包含了四個關(guān)鍵的概念-局部連接、權(quán)值共享、池化[22]以及多網(wǎng)絡(luò)層，網(wǎng)絡(luò)由三個重要的部分構(gòu)成：卷積層、池化層、全連接層。卷積層和池化層交替構(gòu)成了卷積神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)。卷積層運用若干個卷積核完成對輸入數(shù)據(jù)的特征提取，其作用是探測上一層特征的局部連接。卷積核并不一次性解析所有的訓(xùn)練數(shù)據(jù)，每一個節(jié)點僅與其臨近區(qū)域的神經(jīng)元進行局部連接，一旦該局部特征被提取，它與其它特征間的位置關(guān)系也隨之確定。CNN的這種結(jié)構(gòu)歸功于兩點：首先，在圖像數(shù)據(jù)中相鄰的值經(jīng)常是高度相關(guān)的，可以形成易于被探測到的具有區(qū)分性的局部特征；其次，不同位置局部統(tǒng)計特征不太相關(guān)，所以不同位置的單元可以共享權(quán)值，并可以探測相同的樣本。正因為神經(jīng)元共享權(quán)值，因而大大減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度，縮減了輸入數(shù)據(jù)的規(guī)模。應(yīng)用卷積核之后得到的結(jié)果被稱為特征圖，特征圖的數(shù)目和卷積核的數(shù)目相等，在一個特征圖中的全部單元享用相同的卷積核，不同層的特征圖使用不同的卷積核。池化是一種濾除細節(jié)的方法, 可以把相似的特征合并起來，應(yīng)用中一般采用最大池化的方法。當(dāng)輸入數(shù)據(jù)在前一層中的位置有變化的時候，池化操作讓這些特征表示對這些變化具有魯棒性，對輸入樣本有較高的畸變?nèi)萑棠芰?。卷積層和池化層不斷交替進行，后面再加上一個更多卷積和全連接層，從而實現(xiàn)相應(yīng)的功能。BP算法在CNN上的應(yīng)用和在一般的深度網(wǎng)絡(luò)上的用法相同，可以讓所有的在過濾器中的權(quán)值得到訓(xùn)練。

除了CNN以外，DNN還有很多其它結(jié)構(gòu)。傳統(tǒng)DNN無法對時間序列上的變化進行建模。然而，樣本出現(xiàn)的時間順序在自然語言處理[23]、語音識別[24]、手寫體識別[25]等應(yīng)用中都起著非常重要的作用。為了適應(yīng)這種需求，就出現(xiàn)了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）[26]。它的基本原理就是神經(jīng)元的輸出可以在下一個時間直接作用到自身。事實上，無論是哪種網(wǎng)絡(luò)，在實際應(yīng)用中它們常常都是混合使用的，比如CNN和RNN在上層輸出之前往往會接上全連接層，因此很難說某個DNN到底屬于哪個類別。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式、更多的網(wǎng)絡(luò)結(jié)構(gòu)將會被發(fā)展出來。

3 深度學(xué)習(xí)在神經(jīng)影像中的應(yīng)用

近年來，深度學(xué)習(xí)方法在機器學(xué)習(xí)的很多領(lǐng)域都取得了顯著的改進。與其它方法相比,深度學(xué)習(xí)的方法有兩個重要的優(yōu)點：首先，深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的自動學(xué)習(xí)特征的方法，這一重要的能力大幅度減少了當(dāng)存在大量特征時，相關(guān)特征選擇中存在的主觀性；其次，深度學(xué)習(xí)模型深度與傳統(tǒng)的淺層模型相比，它應(yīng)用了具有層次性結(jié)構(gòu)的非線性層，從而能夠更好的建立非常復(fù)雜的數(shù)據(jù)模式的模型。

神經(jīng)影像學(xué)的一個重要目標(biāo)是基于非侵入性的神經(jīng)影像測量數(shù)據(jù)來更好地理解大腦神經(jīng)系統(tǒng)的工作原理。在大腦成像領(lǐng)域，數(shù)據(jù)驅(qū)動的特征學(xué)習(xí)方法已經(jīng)被運用了多年。與傳統(tǒng)的數(shù)據(jù)驅(qū)動方法相比較，深度學(xué)習(xí)的方法在進行特征選擇時并不一定需要預(yù)處理步驟。近年來，DBN被用來分析結(jié)構(gòu)磁共振（Magnetic Resonance Imaging，MRI）和功能磁共振數(shù)據(jù)（Functional MRI，fMRI）。Plis等[27]發(fā)現(xiàn)深度學(xué)習(xí)的方法可以揭示高維神經(jīng)影像數(shù)據(jù)間的關(guān)系，并生成具有實際生理意義的特征。Hjelm等[28]應(yīng)用限制玻爾茲曼機（Restricted Boltzmann Machine，RBM）的概率模型來確定fMRI數(shù)據(jù)的內(nèi)在功能網(wǎng)絡(luò)，RBM通過擬合數(shù)據(jù)的概率分布模型,將線性因素從fMRI中分離出來。更重要的是，更深層的級聯(lián)模型可以用于多模態(tài)影像的擴展，從而解決了僅利用傳統(tǒng)矩陣分解模型一直無法解決的問題。

腦結(jié)構(gòu)的自動分割是結(jié)構(gòu)和功能圖像分析中的一項重要任務(wù)。傳統(tǒng)的腦組織分割一般是采用基于圖譜和高精度配準(zhǔn)的方法[29]。這些方法往往由于高精度的配準(zhǔn)，耗時較長，同時對于一些個體差異大的小組織及腫瘤造成的病變組織，效果并不是很顯著[30]。Choi等[31]提出了一種基于級聯(lián)CNN（全局CNN和局部CNN）的深度網(wǎng)絡(luò)用于大腦中紋狀體的分割。全局CNN被用于確定紋狀體的近似位置，裁剪后的MRI和全局CNN的輸出圖像被用于作為局部CNN的輸入，局部CNN被用于細分割。結(jié)果顯示該方法較傳統(tǒng)基于Freesurfer的分割方法精度更高，速度更快。高危組織的分割是腦腫瘤外科治療計劃中的關(guān)鍵一步，Dolz等[32]提出了一種基于堆疊降噪自動編碼器（Stacking Denoising Auto-Encoders，SDAE）的半監(jiān)督深度學(xué)習(xí)方法。在這個混合體系結(jié)構(gòu)中，首先用無監(jiān)督學(xué)習(xí)的方法預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，隨后用有監(jiān)督學(xué)習(xí)的方法對深度網(wǎng)絡(luò)的參數(shù)進行更精細的調(diào)節(jié),達到預(yù)期目標(biāo)。最終結(jié)果顯示該方法與專家手工劃分的結(jié)果相近似，但它卻可以大幅度的削減分割的時間。Kleesiek等[33]采用3-D CNN對多模態(tài)的腦神經(jīng)影像進行了非腦組織去除，結(jié)果顯示該方法顯著優(yōu)于六種廣為使用的非腦組織去除工具。嬰兒MRI圖像中的腦組織分割，由于腦灰質(zhì)、白質(zhì)的灰度分布近似，是神經(jīng)影像處理中的一大難題。Zhang等[34]采用CNN對嬰兒MRI圖像進行了組織分割，結(jié)果顯示該方法顯著優(yōu)于其它分割方法。

近年來，深度學(xué)習(xí)的方法在處理神經(jīng)影像數(shù)據(jù)方面發(fā)展迅速，運用這些數(shù)據(jù)對患者進行分類及預(yù)測，使得深度學(xué)習(xí)已經(jīng)成為神經(jīng)影像領(lǐng)域中炙手可熱的方法。Suk等[35]提出了基于堆棧自動編碼器（Stacked Auto Encoder，SAE）的深度學(xué)習(xí)模型，并將其用于AD和MCI的分類。該方法首先分別基于MRI、PET和CSF的低級特征，采用SAE的非監(jiān)督預(yù)訓(xùn)練和有監(jiān)督參數(shù)微調(diào)，得到潛在特征，隨后基于多任務(wù)學(xué)習(xí)選出可以代表分類和臨床評分的特征，最后通過支持向量機進行預(yù)測與分類，結(jié)果表明該算法可以較好的區(qū)分AD和MCI患者。Kawahara等[36]提 出了一種改進的CNN模型BrainNetCNN，它被用于預(yù)測早產(chǎn)兒腦網(wǎng)絡(luò)的神經(jīng)發(fā)育。與傳統(tǒng)的基于圖像的CNN（空間局部卷積）不同，BrainNetCNN是為腦網(wǎng)絡(luò)數(shù)據(jù)專門設(shè)計的深度學(xué)習(xí)框架。它利用結(jié)構(gòu)性大腦網(wǎng)絡(luò)的拓撲位置，具有邊到邊，邊到節(jié)點，節(jié)點到圖的卷積核的獨特設(shè)計。預(yù)測認知及運動發(fā)育的結(jié)果表明，BrainNetCNN框架優(yōu)于其它同類方法。由于CNN在層內(nèi)共享權(quán)重，從而減少了學(xué)習(xí)的參數(shù)的數(shù)量，BrainNetCNN在相同數(shù)量的模型參數(shù)下優(yōu)于完全連接的神經(jīng)網(wǎng)絡(luò)。此外，深度學(xué)習(xí)還被用在一些其它疾病的診斷中，如Kim等[37]基于靜息態(tài)fMRI數(shù)據(jù)，采用SAE預(yù)訓(xùn)練的DNN對健康對照組和精神分裂癥患者進行分類。結(jié)果顯示該DNN遠優(yōu)于支持向量機的分類效果。

對于從高維神經(jīng)影像學(xué)數(shù)據(jù)中提取隱藏的模式這類問題，深度學(xué)習(xí)也是一個非常有前途的工具[38]。Ithapu等[39]將3-D CNN模型用于完成和整合多模態(tài)神經(jīng)影像學(xué)數(shù)據(jù)，預(yù)測從MRI數(shù)據(jù)丟失的PET特征模式。模型包括兩個隱藏層，采用一個體數(shù)據(jù)MRI模態(tài)作為輸入，PET模態(tài)作為輸出，不同模態(tài)間的非線性關(guān)系可通過大量訓(xùn)練捕獲。結(jié)果表明，預(yù)測的PET數(shù)據(jù)實現(xiàn)了與真實PET圖像相似的分類性能。在實驗中隨機抽取一半的受試者樣本數(shù)據(jù)來訓(xùn)練模型，然后使用該模型來預(yù)測剩余受試者的PET圖像。3-D CNN模型的結(jié)果與真實PET圖像的結(jié)果相當(dāng)，即該模型可以成功地提取MRI和PET圖像之間的高度非線性關(guān)系。

4 發(fā)展前景

多年來，大腦神經(jīng)科學(xué)的發(fā)展揭示了神經(jīng)計算的基本原理，這些神經(jīng)計算的基本原理也被廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)的構(gòu)建，其中深度學(xué)習(xí)算法的提升與改進大大促進了神經(jīng)科學(xué)的發(fā)展?，F(xiàn)在，深度學(xué)習(xí)方法已成為傳統(tǒng)機器學(xué)習(xí)策略的有效補充，并在神經(jīng)影像領(lǐng)域得到了越來越廣泛的應(yīng)用。即便如此，它也還存在一些不足之處：首先，深度學(xué)習(xí)算法在實際應(yīng)用過程中往往是若干個模型間的組合，從而達到結(jié)構(gòu)優(yōu)化。但是不同的神經(jīng)影像的分析一般代表著不同的實際問題，因此針對不同模態(tài)的影像特征往往需要設(shè)計完全不同的模型來適應(yīng)，這對算法的構(gòu)建就提出了更高的要求。其次，深度學(xué)習(xí)模型的搭建需要調(diào)整大量的參數(shù)，只有非常龐大的訓(xùn)練數(shù)據(jù)，才能防止過度擬合，達到良好的性能。如果將DNN應(yīng)用于神經(jīng)影像，目前面對的問題是滿足深度網(wǎng)絡(luò)需求的大規(guī)模的神經(jīng)影像訓(xùn)練數(shù)據(jù)集還相當(dāng)?shù)纳僖姟DNI[40-41]、HCP[42]這些神經(jīng)影像大科學(xué)計劃的發(fā)展和新計劃的產(chǎn)生，在一定程度上可以緩解這個問題。另外一種可行的代替方法是遷移學(xué)習(xí)，可以在一定程度上減少對神經(jīng)影像數(shù)據(jù)集規(guī)模的需求。基于普通的大規(guī)模圖像數(shù)據(jù)集如ImageNet[43]（包含了大約100萬張自然圖像和1000個標(biāo)簽/分類）對網(wǎng)絡(luò)進行預(yù)訓(xùn)練，然后使用這一訓(xùn)練的網(wǎng)絡(luò)的權(quán)重作為初始設(shè)置對參數(shù)進行調(diào)優(yōu)。遷移學(xué)習(xí)策略的效率取決于神經(jīng)影像數(shù)據(jù)集與ImageNet 圖像數(shù)據(jù)集的相似度。前面幾層網(wǎng)絡(luò)特征需要更加具有通用性，并不與神經(jīng)影像的分類任務(wù)直接相關(guān)。當(dāng)然，如果訓(xùn)練出的特征具有特異性，轉(zhuǎn)移學(xué)習(xí)就未必有好的效果。預(yù)計隨著算法的持續(xù)改進以及相關(guān)軟硬件的發(fā)展，深度學(xué)習(xí)的方法將會適用于越來越多的神經(jīng)影像研究問題。

[1]劉更代,潘志庚,程熙,等.人體運動合成中的機器學(xué)習(xí)技術(shù)綜述[J].計算機輔助設(shè)計與圖形學(xué)學(xué)報,2010,22(9):1619-1627.

[2]王曙燕,周明全,耿國華,等.醫(yī)學(xué)圖像的關(guān)聯(lián)規(guī)則挖掘方法研究[J].計算機應(yīng)用,2005,25(6):1408-1409.

[3]賀玲,吳玲達,蔡益朝,等.數(shù)據(jù)挖掘中的聚類算法綜述[J].計算機應(yīng)用研究,2007,24(1):10-13.

[4]Brimacombe M.Large sample convergence diagnostics for likelihood based inference: Logistic regression[J].Stat Methodol, 2016,33:114-130.

[5]Kim K.A hybrid classification algorithm by subspace partitioning through semi-supervised decision tree[J].Pattern Recogn,2016, 60:157-163.

[6]Chen D,Tian Y,Liu X.Structural Nonparallel Support Vector Machine for Pattern Recognition[J].Pattern Recogn,2016,60: 296-305.

[7]Yu X,Ye C,Xiang L.Application of artificial neural network in the diagnostic system of osteoporosis[J].Neurocomputing,2016, 214:376-381.

[8]Lin L,Jin C,Fu Z,et al.Predicting healthy older adult’s brain age based on structural connectivity networks using artificial neural networks[J].Comput Meth Prog Bio,2016,125:8-17.

[9]Pastor M,Song J,Hoang D T,et al.Minimal perceptrons for memorizing complex patterns[J].Physica A,2015,462:31-37.

[10]Lillicrap TP,Cownden D,Tweed DB,et al.Random synaptic feedback weights support error backpropagation for deep learning[J].Nat Commun,2016,7:13276.

[11]Du J,Xu Y.Hierarchical deep neural network for multivariate regression[J].Pattern Recogn,2016,63:149-157.

[12]Ekins S.The Next Era: Deep Learning in Pharmaceutical Research[J].Pharm Res,2016,33(11):2594-2603.

[13]Gawehn E,Hiss JA,Schneider G.Deep Learning in Drug Discovery[J].Mol Inform,2016,35(1):3-14.

[14]Angermueller C,P?rnamaa T,Parts L.Deep learning for computa tional biology[J].Mol Syst Biol,2016,12(7):878.

[15]Mamoshina P,Vieira A,Putin E,et al.Applications of Deep Learning in Biomedicine[J].Mol Pharm,2016,13(5):1445-1454.

[16]Hinton GE,Salakhutdinov RR.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.

[17]LeCun Y,Boser B,Denker JS,et al.Handwritten digit recognition with a back-propagation network[C].Proceedings of Advances in Neural Information Processing Systems,1990:396-404.

[18]LeCun Y,Boser B,Denker JS,et al.Backpropagation applied to handwritten zip code recognition[J].Neural Comput,1989,1(4): 541-551.

[19]Rumelhart DE,Hinton GE,Williams RJ.Learning representations by back-propagating errors[J].Cognitive Modeling,1988,5(3):1.

[20]Yang W,Chen Y,Liu Y,et al.Cascade of multi-scale convolutional neural networks for bone suppression of chest radiographs in gradient domain[J].Med Image Anal,2017,35:421-433.

[21]Ypsilantis PP,Siddique M,Sohn HM,et al.Predicting Response to Neoadjuvant Chemotherapy with PET Imaging Using Convolutional Neural Networks[J].PLoS One,2015,10(9):e0137036.

[22]Shi Z,Ye Y,Wu Y.Rank-based pooling for deep convolutional neural networks[J].Neural Networks,2016,83:21-31.

[23]Gudivada V,Rao D,Raghavan V.Big Data–Driven Natural Language–Processing Research and Applications[J].Big Data Analytics,2015,33:203.

[24]Maas AL,Qi P,Xie Z,et al.Building DNN acoustic models for large vocabulary speech recognition[J].Comput Speech Lang,2015,41: 195-213.

[25]Elleuch M,Maalej R,Kherallah M.A New Design Based-SVM of the CNN Classifier Architecture with Dropout for Offline Arabic Handwritten Recognition[J].Procedia Computer Science,2016,80:1712-1723.

[26]Mikolov T,Karafiát M,Burget L,et al.Recurrent neural network based language model[C].Conference of the International Speech Commu nication Association,2010:1045-1048.

[27]Plis SM,Hjelm DR,Salakhutdinov R,et al.Deep learning for neuroimaging: a validation study[J].Front Neurosci,2014,8(8): 229-229.

[28]Hjelm RD,Calhoun VD,Salakhutdinov R,et al.Restricted Boltzmann machines for neuroimaging: an application in identifying intrinsic networks[J].NeuroImage,2014,96:245-260.

[29]Fu Z,Lin L,Jin C.Symmetric image normalization for mouse brain magnetic resonance microscopy[C].International Conference on Advances in Mechanical Engineering and Industrial Informatics, 2016:941945.

[30]Lin L,Wu S.An automated template-based adaptive threshold approach for measuring ventricular volume enlargement in mouse brain MR microscopy[J].J Microsc,2012,248(3):260-265.

[31]Choi H,Jin KH.Fast and robust segmentation of the striatum using deep convolutional neural networks[J].J Neurosci Meth,2016, 274:146-153.

[32]Dolz J,Betrouni N,Quidet M,et al.Stacking denoising autoencoders in a deep network to segment the brainstem on MRI in brain cancer patients: A clinical study[J].Comput Med Imag Grap, 2016,52:8-18.

[33]Kleesiek J,Urban G,Hubert A,et al.Deep MRI brain extraction: A 3D convolutional neural network for skull stripping[J].Neuroimage, 2016,129:460-469.

[34]Zhang W,Li R,Deng H,et al.Deep convolutional neural networks for multi-modality isointense infant brain image segmentation[J].Neuroimage,2015,108:214-224.

[35]Suk HI,Shen D.Deep Learning-Based Feature Representation for AD/MCI Classification[M].Medical Image Computing and Computer-Assisted Intervention-MICCAI 2013.Springer:Berlin Heidelberg,2013:583-590.

[36]Kawahara J,Brown CJ,Miller SP,et al.BrainNetCNN: Convolutional Neural Networks for Brain Networks; Towards Predicting Neurodevelopment[J].Neuroimage,2016.

[37]Kim J,Calhoun VD,Shim E,et al.Deep neural network with weight sparsity control and pre-training extracts hierarchical features and enhances classif cation performance: Evidence from whole-brain resting-state functional connectivity patterns of schizophrenia[J].Neuroimage,2016,124(PtA):127-146.

[38]Kriegeskorte N.Deep neural networks: A new framework for modeling biological vision and brain information processing[J].Annual Review of Vision Science,2015,1:417-446.

[39]Ithapu VK,Singh V,Okonkwo OC,et al.Imaging-based enrichment criteria using deep learning algorithms for eff cient clinical trials in mild cognitive impairment[J].Alzheimers Dement,2015,11(12):1489-1499.

[40]齊志剛,李坤成,王軍.為更早識別阿爾茨海默病:阿爾茨海默病神經(jīng)影像學(xué)計劃簡介[J].中國現(xiàn)代神經(jīng)疾病雜志,2014,14(4): 277-280.

[41]靳聰,林嵐,付振榮,等.MRI在阿爾茨海默氏病中的應(yīng)用研究進展[J].智慧健康,2015,1(1):52-56.

[42]Glasser MF,Smith SM,Marcus DS,et al.The Human Connectome Project’s neuroimaging approach[J].Nat Neurosci,2016,19(9): 1175-1187.

[43]Deng J,Dong W,Socher R,et al.Imagenet: A large-scale hierarchical image database[C].IEEE Int Conf Computer Vision and Pattern Recognition,2009:248-255.

Study on the Application of Deep Learning in Neuroimaging

Deep learning is an important branch of a broader family of machine learning methods which attempt to learn useful features from data by using a computational model with multilayer neural networks. A deep learning network can form more abstract high-layer features through combination of the lower layer features to find the complex intrinsic characteristics of the data. Convolutional neural network is one of most researched deep networks because of its excellent performance in processing images. This paper f rstly introduced the structural characteristics and training methods of deep learning networks, followed by the convolutional neural network, and f nally discussed the application and development trend of deep learning network in the f eld of neuroimaging.

deep learning; convolutional neural network; neuroimaging; multilayer perceptron; deep neural network

TIAN Miao, LIN Lan, ZHANG Bai-wen, WU Shui-cai
College of Life Science and Bioengineering, Beijing University of Technology, Beijing 100124, China

R445.2

A

10.3969/j.issn.1674-1633.2016.12.002

1674-1633(2016)12-0004-06

2016-11-15

國家科技支撐計劃課題（2015BAI02B03）；北京工業(yè)大學(xué)研究生科技基金（ykj-2016-00009）；北京市自然科學(xué)基金資助項目（7143171）。

林嵐，副教授。

通訊作者郵箱：lanlin@bjut.edu.cn