趙玲玲　楊輝華　劉振丙　潘細(xì)朋

摘 要：針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)能夠提取圖像的高層特征并對(duì)圖像進(jìn)行有效表達(dá)。采用基于深度卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法，設(shè)計(jì)了ZCNN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)乳腺病理細(xì)胞圖像進(jìn)行分類研究。首先，對(duì)病理圖像進(jìn)行預(yù)處理，利用ZCA白化降低數(shù)據(jù)特征間的相關(guān)性，從而降低數(shù)據(jù)間的冗余。其次，在網(wǎng)絡(luò)卷積層采用線性校正單元（ReLUs）作為網(wǎng)絡(luò)的激活函數(shù)，加速計(jì)算網(wǎng)絡(luò)輸出。最后，在網(wǎng)絡(luò)精調(diào)時(shí)，利用dropout方法隨機(jī)斷開池化層的網(wǎng)絡(luò)節(jié)點(diǎn)，可以有效抑制算法的過擬合，提高算法的泛化能力。采用本文方法對(duì)benign和actionable兩類病理細(xì)胞圖像的分類，精度達(dá)到94.65%。性能上超過了Softmax，PCA以及傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)。

關(guān)鍵詞：深度卷積神經(jīng)網(wǎng)絡(luò)；ZCA白化；線性校正單元；dropout方法

中圖分類號(hào)： F721.1 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1673-1069（2016）18-144-3

1 概述

2006年，加拿大科學(xué)家Hinton和他的團(tuán)隊(duì)在science上發(fā)表一篇關(guān)于深度信念網(wǎng)絡(luò)（DBN）[1]的文章，便引起了學(xué)術(shù)界的廣泛關(guān)注，隨后更多更一般的深度神經(jīng)網(wǎng)絡(luò)方法隨之興起，例如：Denoising Autoencoder（DAE）、Sparse Autoencoder（SAE）、Convolutional Neural Network（CNN）[2]等算法。深度卷積神經(jīng)網(wǎng)絡(luò)可以靈活的調(diào)節(jié)特征提取的空間尺度大小，因此，對(duì)圖像中目標(biāo)區(qū)域的特征提取會(huì)更加靈活。利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫字體MNIST數(shù)據(jù)集進(jìn)行識(shí)別，性能已經(jīng)接近人類的識(shí)別率，在交通標(biāo)記識(shí)別上已經(jīng)超過了人類的識(shí)別能力[3]。文獻(xiàn)[4]采用CNN結(jié)合圖像的空間信息對(duì)圖像中像素點(diǎn)進(jìn)行分類研究，結(jié)果優(yōu)于已有的SVM和k-NN分類方法。文獻(xiàn)[5]將多示例學(xué)習(xí)（Multiple Instance Learning）方法與深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于高分辨率圖像的分類，并且首次對(duì)神經(jīng)膠質(zhì)瘤（LGG）進(jìn)行分類精度達(dá)到97%，效果接近病理學(xué)家的分類結(jié)果。

隨著計(jì)算機(jī)輔助診斷技術(shù)（Computer-assisted diagnosis， CAD）的不斷進(jìn)步，未來會(huì)大大降低病理學(xué)家繁重的工作強(qiáng)度。

本文主要是基于深度卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法，設(shè)計(jì)了ZCNN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)乳腺病理細(xì)胞圖像進(jìn)行分類研究。面對(duì)復(fù)雜的圖片信息（光照、染色不均等），在特征提取前，采用ZCA白化對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，降低數(shù)據(jù)維度間的相關(guān)性，然后，利用深度卷積神經(jīng)網(wǎng)絡(luò)，逐層提取數(shù)據(jù)的高維特征。網(wǎng)絡(luò)構(gòu)建中，利用線性修正單元（ReLUs）作為各卷積層的網(wǎng)絡(luò)輸出函數(shù)，可以加快網(wǎng)絡(luò)的計(jì)算速度。在池化層采用dropout方法隨機(jī)斷開網(wǎng)絡(luò)節(jié)點(diǎn)，防止算法的過擬合，文獻(xiàn)[2]采取的方法是在網(wǎng)絡(luò)輸出前的全連接層采用dropout方法，本文是二分類問題，在網(wǎng)絡(luò)的全連接層并沒有采用dropout方法，而是在池化層上使用dropout方法，隨機(jī)阻止部分網(wǎng)絡(luò)權(quán)值的更新。在網(wǎng)絡(luò)精調(diào)時(shí)，采用隨機(jī)梯度降法逐層計(jì)算深度卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。

為了提高算法的精度，采用BP（back propagation）算法對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化。

2 ZCA數(shù)據(jù)預(yù)處理

自然圖像中相鄰像素間存在很強(qiáng)的相關(guān)性。在學(xué)習(xí)統(tǒng)計(jì)模型時(shí)，通常采用預(yù)處理算法降低數(shù)據(jù)的這種冗余性。將數(shù)據(jù)的協(xié)方差矩陣轉(zhuǎn)變成單位矩陣的過程稱為白化（whitening）或球化（sphering）。白化的目的就是降低輸入數(shù)據(jù)的冗余，使白化后的數(shù)據(jù)更接近原始數(shù)據(jù)。在數(shù)值上，主要是使數(shù)據(jù)具有統(tǒng)一的協(xié)方差，且每個(gè)特征都有相同的方差。通過ZCA（Zero Components Analysis）白化使得數(shù)據(jù)從x空間映射到XZCAwhite空間，降低了數(shù)據(jù)間的相關(guān)性，特征向量各維度方差相等，數(shù)據(jù)的重要程度得到統(tǒng)一。

3 深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）

傳統(tǒng)的圖像特征提取方法沒有固定的提取原則，依賴于手工設(shè)計(jì)特征提取方法?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)是建立在人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的自動(dòng)特征提取方法，通過對(duì)輸入數(shù)據(jù)進(jìn)行多層線性或非線性變換，將數(shù)據(jù)映射到新的空間里表達(dá)，可以穩(wěn)定有效地提取圖像的固有特征。在視覺領(lǐng)域，通過學(xué)習(xí)整張數(shù)字圖像能夠提取圖像局部的高層特征。通常深度卷積網(wǎng)絡(luò)的底層可以學(xué)習(xí)邊緣、形狀等物理特征，隨著網(wǎng)絡(luò)隱含層層數(shù)增多可以學(xué)習(xí)到更多復(fù)雜、抽象的視覺特征。但是如果采用全連接方式，隱含層節(jié)點(diǎn)數(shù)量就會(huì)十分龐大，嚴(yán)重降低了算法的計(jì)算效率。因此，在學(xué)習(xí)圖像特征時(shí)，通常將網(wǎng)絡(luò)設(shè)計(jì)成局部連接的神經(jīng)網(wǎng)絡(luò)。特征平面上的所有神經(jīng)元共享一個(gè)連接權(quán)值，也就是每個(gè)特征平面上每個(gè)神經(jīng)元的權(quán)重都一樣。因此，網(wǎng)絡(luò)參數(shù)大大減少，復(fù)雜度也變低。

一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)主要由三部分組成：卷積層、池化層、全連接層。卷積層是對(duì)上層輸入進(jìn)行卷積濾波，池化層是對(duì)上層輸入進(jìn)行下采樣。卷積層的每個(gè)神經(jīng)元連接上層輸入的小片相鄰區(qū)域（即感受野區(qū)域），表達(dá)圖像的局部特征。池化層用來提取圖像的統(tǒng)計(jì)特征，使得網(wǎng)絡(luò)結(jié)構(gòu)對(duì)微小的平移和形變不敏感。卷積層與池化層交替連接且都是由多個(gè)2-D的特征平面構(gòu)成，每個(gè)特征平面均代表一種特征映射，全連接層是1-D向量構(gòu)成的網(wǎng)絡(luò)層，是對(duì)輸入數(shù)據(jù)的特征表達(dá)。如圖1是本文中設(shè)計(jì)的ZCNN網(wǎng)絡(luò)結(jié)構(gòu)，共有11個(gè)隱含層，其中卷積層與池化層交替連接共有10層，最后一個(gè)隱含層為全連接層。網(wǎng)絡(luò)的具體參數(shù)設(shè)置如表1所示。

4 訓(xùn)練階段

當(dāng)訓(xùn)練集比較小時(shí)，深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)出現(xiàn)過擬合問題，為了消除過擬合對(duì)網(wǎng)絡(luò)模型的不利影響，Hitton 等人設(shè)計(jì)了dropout方法，該方法是指在模型訓(xùn)練時(shí)，以某一概率隨機(jī)阻斷某些隱含層特征檢測(cè)器的共同作用，即隨機(jī)讓網(wǎng)絡(luò)的某些隱含層權(quán)重不更新，因此，在樣本輸入時(shí)會(huì)有部分隱含層網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)重不更新。在測(cè)試階段，所有的隱含層節(jié)點(diǎn)都有輸出值，只是輸出值降低為原來輸出的1/2。

訓(xùn)練采用dropout方法的深度卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練類似，利用隨機(jī)梯度下降法求解網(wǎng)絡(luò)參數(shù)。卷積網(wǎng)絡(luò)通過前向傳播計(jì)算網(wǎng)絡(luò)的實(shí)際輸出值，然后用實(shí)際輸出值與理想輸出值作差，構(gòu)造誤差損失函數(shù)：

En=（t-y） （1）

其中，M表示樣本類別數(shù)，n表示樣本序號(hào)，t表示第n個(gè)樣本的第s維對(duì)應(yīng)的目標(biāo)值（分類標(biāo)簽），y表示第n個(gè)樣本對(duì)應(yīng)的第s維輸出。最后利用反向傳播策略，通過梯度下降法更新網(wǎng)絡(luò)的權(quán)值。

5 實(shí)驗(yàn)和結(jié)果

5.1實(shí)驗(yàn)數(shù)據(jù)和網(wǎng)絡(luò)結(jié)構(gòu)

實(shí)驗(yàn)數(shù)據(jù)集由北卡羅來納大學(xué)夏洛特分校的張少霆教授提供，共計(jì)190張乳腺病理學(xué)圖像，其中有100張為benign類，90張為actionable類。分別從benign和actionable類中的每張圖像上采集5張互不相交的感興趣區(qū)域作為子圖，大小均為256*256*3。隨機(jī)從benign類和actionable類中分別選取360張和340張子圖訓(xùn)練集，將剩下的子圖作為測(cè)試集。

訓(xùn)練集數(shù)據(jù)是3維的RGB圖像，我們提取R通道的灰度強(qiáng)度圖像，對(duì)其進(jìn)行歸一化操作，然后再對(duì)圖像進(jìn)行ZCA白化處理去除圖像的相關(guān)性。將預(yù)處理后的數(shù)據(jù)送入我們?cè)O(shè)計(jì)的深度卷積神經(jīng)網(wǎng)絡(luò)中，在所有池化層中采用dropout方法計(jì)算特征平面，全連接層將最后一個(gè)池化層的24個(gè)4*4的特征平面構(gòu)成一個(gè)特征向量，作為圖像的特征表達(dá)，大小為384*1，用于Softmax分類模型的訓(xùn)練。本文設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)（ZCNN）如表1所示：

算法通過MATLAB R2013a仿真研究，實(shí)驗(yàn)平臺(tái)是基于Windows 7操作系統(tǒng)的工作站（Intel（R） Xeon（R） E5-2650 v2 CPU and 32 GB 內(nèi)存），為了更好的說明本算法在benign和actionable兩類病理細(xì)胞圖像的分類效果，我們做了多組對(duì)照實(shí)驗(yàn)，計(jì)算各種分類方法的評(píng)價(jià)指標(biāo)Precision，Recall和Accuracy，公式分別如下：

其中，TP表示benign類被正確分為benign類的樣本個(gè)數(shù)，TN表示actionable類被正確分為actionable類的樣本個(gè)數(shù)，F(xiàn)P表示benign類被分為actionable類的樣本個(gè)數(shù)，F(xiàn)N表示actionable類被分為benign類的樣本個(gè)數(shù)。

5.2 結(jié)果分析

分別對(duì)各種算法計(jì)算10組數(shù)據(jù)求取其平均值，結(jié)果如表2所示，利用我們的算法求取的精度明顯優(yōu)于其他幾種方法。由結(jié)果可以看出Softmax分類器是單層分類器網(wǎng)絡(luò)，沒有充分提取圖像的特征信息，其準(zhǔn)確率為79.2%。PCA主要是通過數(shù)據(jù)降維的方法將高維數(shù)據(jù)映射到低維空間，在本文中，我們保留了95%的特征信息作為分類依據(jù)，準(zhǔn)確率達(dá)到84.00%。利用文獻(xiàn)[2]中的CNN方法，對(duì)圖像數(shù)據(jù)進(jìn)行特征提取后分類的精度已經(jīng)比上述4中算法有了較大的提高，這主要得益于網(wǎng)絡(luò)特征提取網(wǎng)絡(luò)層數(shù)的增加。然而，在分類精度和特征提取的時(shí)間上不及本文算法效果好。深度網(wǎng)絡(luò)的特征提取所需的時(shí)間遠(yuǎn)遠(yuǎn)大于傳統(tǒng)方法。由此可見，對(duì)benign和actionable兩類圖像分類時(shí)，采用卷積神經(jīng)網(wǎng)絡(luò)提取圖像的高層特征可以實(shí)現(xiàn)更好的分類效果，歸根結(jié)底在于圖像特征的有效提取。

6 結(jié)論

基于深度學(xué)習(xí)的特征提取方法在目標(biāo)識(shí)別、圖像分類等領(lǐng)域都遠(yuǎn)遠(yuǎn)超過了傳統(tǒng)的手工特征提取方法，在本文中，我們基于深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)。首先，利用ZCA白化對(duì)數(shù)據(jù)進(jìn)行預(yù)處理降低特征間的相關(guān)性，然后，在訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)時(shí)，采用ReLUs作為非線性輸出函數(shù)，可以提高網(wǎng)絡(luò)計(jì)算速度。在網(wǎng)絡(luò)優(yōu)化階段，采用BP算法更新網(wǎng)絡(luò)權(quán)值，利用Dropout方法隨機(jī)斷開網(wǎng)絡(luò)節(jié)點(diǎn)，實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化。將提取病理細(xì)胞圖像的高層特征作為Softmax分類器的輸入，可以更精確有效的實(shí)現(xiàn)benign和actionable病理圖像的分類。實(shí)驗(yàn)中，采用我們?cè)O(shè)計(jì)深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的性能超過了傳統(tǒng)方法，并且也優(yōu)于不采用預(yù)處理和Dropout方法的卷積神經(jīng)網(wǎng)絡(luò)。

參 考 文 獻(xiàn)

[1] G.Hinton and R.Salakhutdinov，Reducing the dimensio-

nality of data with neural networks， Science，vol.313， 504（2006）.

[2] A.Krizhevsky， I. Sutskever and G. Hinton， ImageNet classification with deep convolutional neural networks， Advances in neural information processing systems， 1097（2008）.

[3] C. Dan， M. Ueli and S. Jurgen， Multi-column deep neural networks for image classification， 2012 IEEE Conference on Computer Vision and Pattern Recognition（CVPR） 6， 3642（2012）.

[4] H.Nuh and B.Gokhan， Classification of histopathological images using convolutional neural network， International Conference on Image Processing Theory， Tools and Applications 4， （2014）， pp. 1-6.

[5] L. Hou， D. Samaras， T. M. Kurc， Y. Gao， J. E. Davis and J. H. Saltz， Efficient multiple instance convolutional neural networks for gigapixel resolution image classification， arXiv preprint arXiv： 1504.07947， （2015）.