王瑋+李福進

摘 要：針對深度神經(jīng)網(wǎng)絡在只存在少量訓練樣本時容易出現(xiàn)過擬合的問題，文中將Dropout算法與深度信念網(wǎng)絡相結合，以解決神經(jīng)網(wǎng)絡在訓練階段識別正確率高，但在測試階段識別正確率不高的問題。將加入Dropout 的深度信念網(wǎng)絡和未加入Dropout的網(wǎng)絡在ORL人臉庫中進行對比，實驗結果表明，加入Dropout網(wǎng)絡的系統(tǒng)誤識率更低，對于防止過擬合有很好的效果。

關鍵詞：深度信念網(wǎng)絡；過擬合；Dropout；人臉識別

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2018）02-00-03

0 引 言

人臉識別技術屬于生物特征識別技術，歸屬于熱門的計算機技術研究領域。人臉識別方法包括以下幾種：

（1）幾何特征方法[1]：通過眼睛、鼻子、嘴巴等五官的幾何位置進行識別；

（2）特征臉方法[2]：將人臉圖像變換到一個低維空間上，進行相似性衡量和分類學習實現(xiàn)人臉識別；

（3）神經(jīng)網(wǎng)絡方法[3]：通過學習圖像的低維特征到高維特征的映射，得到人臉圖像的本質特征，具有非常好的識別效果。

近幾年，深度學習取得了巨大進步，特別是在圖像識別、語音識別、自然語言處理等領域取得了突破性進展[4]。2016年，AlphaGo首次打敗圍棋專業(yè)棋手韓國名將李世石，讓深度學習進入到了公眾視野。深度學習是一種模仿人類深度腦組織結構，采用分層處理方式處理數(shù)據(jù)，對輸入數(shù)據(jù)提取不同水平的特征，并逐層形成從低層信號到高層特征對應表示的方法。目前，被廣泛使用的深度學習方法包括稀疏自動編碼算法（SAE）[5]、深度卷積神經(jīng)網(wǎng)絡（Deep CNN）[6]和深度信念網(wǎng)絡（DBN）[7] 等。其中，DBN是最具代表性的深度學習方法，具有較強的函數(shù)表征能力，能夠從較少的樣本中學習到最本質的數(shù)據(jù)特征。

過擬合是深度神經(jīng)網(wǎng)絡學習中的一個常見問題，即模型在訓練集上能夠較好地分類，但在測試集上卻具有較高的誤識率。Hinton首次提出Dropout策略[8]，即在模型訓練階段，Dropout以一定的概率將部分隱藏層神經(jīng)元的輸出設置為0，每一次訓練都得到不同的網(wǎng)絡結構，提高了網(wǎng)絡泛化性能[9]。實驗結果表明，將Dropout與DBN相結合的方法應用在人臉圖像識別中取得了較好的效果。

1 DBN算法

1.1 DBN算法模型

2006年，多倫多大學的Hinton等人提出了DBN學習算法，即一種概率生成模型。DBN由多個受限玻爾茲曼機（RBM）堆疊而成，其結構如圖1所示。

RBM是一個二分圖，由可視層和隱含層構成，層內(nèi)無連接，層間互相連接。受限玻爾茲曼機是一種能量概率模型，其能量函數(shù)見式（1）：

其中W為權值矩陣，a為可視層單元閾值，b為隱藏層單元閾值。網(wǎng)絡越穩(wěn)定，能量函數(shù)的值越小，求解目標即求取最小能量函數(shù)值。

由于RBM同層節(jié)點之間無連接，因此相鄰兩層節(jié)點之間的條件分布相互獨立，概率分布如式（2）和（3）所示：

其中δ（x）是sigmoid激活函數(shù)，其作用在于限定神經(jīng)元輸出振幅。

在DBN中，每兩個隱含層構成一個RBM，同時還包含一層反向傳播（BP）網(wǎng)絡，其結構如圖2 所示。DBN的訓練過程包含預訓練和微調。在預訓練階段，DBN采用自底向上的無監(jiān)督訓練方法訓練每一層RBM，將輸入作為第一層RBM的可視層，第一層RBM的隱含層作為第二層RBM的可視層，依次類推，無監(jiān)督地訓練整個DBN網(wǎng)絡。在微調階段，采用自頂向下的方式對整個網(wǎng)絡進行有監(jiān)督的微調。

1.2 Dropout神經(jīng)網(wǎng)絡模型描述

假設有一個含有L層隱藏層的神經(jīng)網(wǎng)絡，其輸入輸出關系如式（4）和（5）：

其中，z為輸入向量，y為輸出向量，w為權重，b為偏置向量，f為激活函數(shù)，其作用在于限定幅值，取f（x）=1/（1+exp（-x））。

當加入Dropout，前饋神經(jīng)網(wǎng)絡關系如式（6）～（9）：

式中r為伯努利隨機變量。

如圖3所示，圖（a）為標準網(wǎng)絡，圖（b）為加入Dropout的網(wǎng)絡，通過伯努利隨機變量使網(wǎng)絡變薄，如果一個單元在訓練時以概率p保留，那么測試時的輸出權重也要乘以概率p。

Dropout隨機刪除了一些單元，但并不意味著這些單元徹底消失，而只是讓該單元暫時失活。由于每次使用輸入網(wǎng)絡的樣本進行權值更新時，隱含層的節(jié)點都以一定的概率隨機出現(xiàn)，因此無法保證每2個隱含節(jié)點每次都能同時出現(xiàn)，這樣權值更新將不再依賴于具有固定關系隱含節(jié)點的共同作用，可防止某些特征僅在其他特征存在時才有效果的情況出現(xiàn)。如圖4所示，取p=0.5時的Dropout神經(jīng)網(wǎng)絡可以看到隱含層中一半的神經(jīng)元概率設置為0，即在該次訓練過程中不起作用，在下一次訓練過程中不將其概率設置0時便又恢復作用。

可以將Dropout看做一種模型平均，雖然每次訓練的樣本都不同，但它們卻共享所有隱含結點的權重。在訓練神經(jīng)網(wǎng)絡時使用Dropout能夠使每個單元與其他隨機出現(xiàn)的單元共同作用，而那些不依賴于其他固定關系的單元只有在某些單元出現(xiàn)時才發(fā)揮作用，具有獨自改錯和創(chuàng)造有區(qū)分性特征的能力，增強神經(jīng)元的魯棒性。對于全連接層的網(wǎng)絡，將Dropout作用于所有隱藏層的作用效果要優(yōu)于只作用于一層隱藏層的效果，且其概率應適當選擇，太過極端反而會導致糟糕的結果出現(xiàn)。Dropout同樣可以作用于輸入層，而此時最佳的概率應選擇0.5。

2 實 驗

為了驗證所提算法的有效性，實驗在Matlab 7.1環(huán)境下進行，計算機配置為Windows10 Intel（R） Core（TM） i5-4200H CPU @ 2.80 GHz 4 GB內(nèi)存；實驗在ORL人臉庫中進行，ORL人臉庫包括40人的信息，每人10幅圖像，分別為表情、姿態(tài)和面部飾物的變化。圖5、圖6所示分別為深度信念網(wǎng)絡訓練過程和測試過程的識別錯誤率。endprint

訓練和測試階段的迭代次數(shù)均為200次。在訓練階段，使用Dropout和未使用Dropout的神經(jīng)網(wǎng)絡的識別錯誤率都不高且兩者接近，但在測試階段，使用Dropout顯然比未使用Dropout的網(wǎng)絡識別錯誤率更低。通過該實驗說明加入Dropout的深度信念網(wǎng)絡有更強的泛化能力，能夠有效防止過擬合。

3 結 語

針對傳統(tǒng)神經(jīng)網(wǎng)絡存在的過擬合問題，將Dropout和深度信念網(wǎng)絡相結合，并通過ORL人臉庫實驗表明，加入Dropout的深度信念網(wǎng)絡的識別錯誤率變低，所提算法能夠提高網(wǎng)絡的泛化能力，具有防止網(wǎng)絡過擬合的能力。

參考文獻

[1]糜元根，陳丹馳，季鵬.基于幾何特征與新Haar特征的人臉檢測算法[J]. 傳感器與微系統(tǒng)， 2017， 36（2）：154-157.

[2] Sharma R，Patterh M S. A new pose invariant face recognition system using PCA and ANFIS[J].Optik - International Journal for Light and Electron Optics， 2015， 126（23）：3483-3487.

[3] Sun Y， Wang X， Tang X. Sparsifying Neural Network Connections for Face Recognition[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society， 2016：4856-4864.

[4]蔣魯寧.機器學習、深度學習與網(wǎng)絡安全技術[J].中國信息安全，2016（5）：94.

[5] Kato T， Hino H， Murata N. Multi-frame image super resolution based on sparse coding[J]. Neural Networks： the Official Journal of the International Neural Network Society， 2015， 66（C）： 64–78.

[6]盧宏濤， 張秦川.深度卷積神經(jīng)網(wǎng)絡在計算機視覺中的應用研究綜述[J].數(shù)據(jù)采集與處理， 2016，31（1）：1-17.

[7] HINTON G E， OSINDERO S， THE Y-W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）： 1527-1554.

[8] Hinton G E， Srivastava N， Krizhevsky A， et al.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science， 2012，3（4）： 212-223.

[9] Srivastava N， Hinton G， Krizhevsky A， et al. Dropout： a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research，2014， 15（1）：1929-1958.endprint