閆新寶

摘 要：深度學(xué)習(xí)是目前受到廣泛關(guān)注的機(jī)器學(xué)習(xí)方法。通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò)且使用深度學(xué)習(xí)算法學(xué)習(xí)適合模式識別和分類的高層次特征是目前模式識別領(lǐng)域熱門研究方向，特別是在人臉識別領(lǐng)域已經(jīng)取得了目前最好的成果。文章首先介紹了深度學(xué)習(xí)概述，然后分析了基于深度學(xué)習(xí)的人臉識別方法及識別模型并對識別模型進(jìn)行了分類。最后討論了應(yīng)用深度學(xué)習(xí)進(jìn)行人臉識別還存在的問題。該文擬對將深度學(xué)習(xí)應(yīng)用于人臉識別的研究人員有所幫助。

關(guān)鍵詞：深度學(xué)習(xí)；特征學(xué)習(xí)；人臉識別

在圖像分類和識別問題中，我們一般先提取對象特征，然后把特征輸入分類器訓(xùn)練分類器，如圖1所示。所以首先要面對的核心問題是選取什么樣的抽象特征來有效表達(dá)圖像。如果所選用的特征能夠有效地表達(dá)圖像的本質(zhì)，那么圖像分類和識別就能達(dá)到事半功倍的效果。

在傳統(tǒng)的人工智能方法中，圖像的特征是依靠人的專業(yè)知識和經(jīng)驗(yàn)人工構(gòu)建的，近年來研究人員已經(jīng)構(gòu)建出了許多比較有效的特征，并且得到較為廣泛的應(yīng)用，例如表達(dá)圖像幾何特征的SIFT特征[ 1 ]，表達(dá)圖像紋理特征的LBP特征[ 2 ]，表達(dá)人臉圖像統(tǒng)計(jì)特征的特征臉（Eigenface）[3]等。直到現(xiàn)在，人們一直在努力構(gòu)建出更能反映圖像本質(zhì)的特征，然而，利用人的知識和經(jīng)驗(yàn)構(gòu)建特征是一件費(fèi)時(shí)費(fèi)力的事情，構(gòu)建的特征也不一定是有效的。因此，人們一直在思考讓機(jī)器通過自動(dòng)學(xué)習(xí)來選取特征的方法。深度學(xué)習(xí)能夠無監(jiān)督地的從樣本中學(xué)習(xí)到更反映數(shù)據(jù)本質(zhì)的特征，從而使得學(xué)習(xí)到的特征更具有推廣性和表達(dá)力。近年來受到了廣泛的關(guān)注。

最近關(guān)于哺乳動(dòng)物大腦的研究表明，哺乳動(dòng)物處理輸入信息時(shí)采用了分層機(jī)制[4 - 5]，將輸入信息在一個(gè)由多層神經(jīng)元組成的復(fù)雜層次結(jié)構(gòu)中傳播，每層神經(jīng)元都會對信息特征進(jìn)行重新提取和表達(dá)。一般情況下，低層神經(jīng)元提取到的是比較低級的特征，如圖像中的線、拐點(diǎn)，這些低級特征又被傳播給較高層的神經(jīng)元，通過層層提取，越高層的神經(jīng)元提取的特征越高級，如輪廓，形狀等，直至提取到信息最高級的特征。機(jī)器學(xué)習(xí)領(lǐng)域的研究人員受到這一研究成果的啟發(fā)，嘗試讓計(jì)算機(jī)模擬人類大腦處理視覺信號的機(jī)制，深度學(xué)習(xí)由此任務(wù)而誕生。深度學(xué)習(xí)（Deep learning）通過層疊基礎(chǔ)模型構(gòu)建一個(gè)深度（含有多個(gè)隱含層）神經(jīng)網(wǎng)絡(luò)，利用高效的學(xué)習(xí)算法，利用網(wǎng)絡(luò)中的大量神經(jīng)元逐層提取對象的抽象特征，每層的神經(jīng)元接收更底層神經(jīng)元的輸入，將低層特征組合成更高層的抽象特征，并將其輸出到更高層的神經(jīng)元，最終形成適合模式分類和識別的較理想的特征。

本文首先介紹了深度學(xué)習(xí)的產(chǎn)生和架構(gòu)體系，詳細(xì)介紹了深度信念網(wǎng)絡(luò)這種經(jīng)典的深度學(xué)習(xí)架構(gòu)，然后分析了基于深度學(xué)習(xí)的人臉識別方法及識別模型并對識別模型進(jìn)行了分類。最后討論了應(yīng)用深度學(xué)習(xí)進(jìn)行人臉識別面臨的問題。希望吸引更多的研究人員進(jìn)行討論，并取得更好的成果。

1 深度學(xué)習(xí)概述

1.1 深度學(xué)習(xí)的產(chǎn)生和架構(gòu)體系

傳統(tǒng)的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方法是BP算法，BP算法先隨機(jī)初始化網(wǎng)絡(luò)參數(shù)，然后利用殘差反向傳播算法調(diào)整網(wǎng)絡(luò)參數(shù)完成訓(xùn)練，但應(yīng)用BP算法容易陷入局部極值，也容易產(chǎn)生梯度彌散問題。后來人們提出先逐層預(yù)訓(xùn)練（layerwise pre-training）網(wǎng)絡(luò)的初始權(quán)值，然后再全局精調(diào)（finetuning）整個(gè)網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)算法，逐層預(yù)訓(xùn)練是通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的，精調(diào)通過有監(jiān)督學(xué)習(xí)實(shí)現(xiàn)。這種算法能避免網(wǎng)絡(luò)陷入局部極值和梯度彌散問題，徹底解決了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的難題，開啟了深度學(xué)習(xí)研究的熱潮。

根據(jù)預(yù)訓(xùn)練單元的不同，目前主流的深度學(xué)習(xí)架構(gòu)主要有2類，分別是基于限制玻爾茲曼機(jī)（RBM）[6]的深度學(xué)習(xí)架構(gòu)和基于自編碼器（auto-encoder）[7]的深度學(xué)習(xí)架構(gòu)，這2類架構(gòu)都是先通過無監(jiān)督學(xué)習(xí)逐層預(yù)訓(xùn)練網(wǎng)絡(luò)初始權(quán)值，然后通過有監(jiān)督學(xué)習(xí)全局微調(diào)網(wǎng)絡(luò)的方法訓(xùn)練網(wǎng)絡(luò)的。另外還有一些其它的基于純有監(jiān)督學(xué)習(xí)算法的深度學(xué)習(xí)架構(gòu)，比如深度卷積神經(jīng)網(wǎng)絡(luò)。目前深度學(xué)習(xí)架構(gòu)體系如圖2所示?；谙拗撇柶澛鼨C(jī)的深度學(xué)習(xí)架構(gòu)的預(yù)訓(xùn)練單元是限制玻爾茲曼機(jī)，而基于自編碼器的深度學(xué)習(xí)架構(gòu)的預(yù)訓(xùn)練單元是自編碼器。

第一個(gè)被提出的深度學(xué)習(xí)架構(gòu)就是屬于基于限制玻爾茲曼機(jī)的深度學(xué)習(xí)架構(gòu)，它是層疊限制玻爾茲曼機(jī)（Restricted Boltzmarm Machine，RBM）形成的一種深度網(wǎng)絡(luò)，也被稱為深度置信網(wǎng)絡(luò)（Deep Belief Networks，DBNs）[ 8 ]，是由著名的機(jī)器學(xué)習(xí)泰斗Honton及其學(xué)生Salakhutdinov于2006年提出的，目前來說屬于比較主流的一種深度學(xué)習(xí)架構(gòu)。本節(jié)具體介紹深度置信網(wǎng)絡(luò)架構(gòu)和學(xué)習(xí)算法。

1.2 深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)是層疊受限玻爾茲曼機(jī)（RBM）形成的一種深度網(wǎng)絡(luò)，所以本文首先來介紹RBM。

1.2.1 受限玻爾茲曼機(jī)

RBM是一個(gè)二部無向圖，由可視層（v）和隱含層（h）組成，可視層的任意節(jié)點(diǎn)和隱含層的任意節(jié)點(diǎn)之間都有連接，同一層節(jié)點(diǎn)之間沒有連接，W為連接權(quán)值參數(shù)矩陣（見圖3）。

根據(jù)概率原理，在給定可視層v的條件下，隱藏層中的節(jié)點(diǎn)是條件獨(dú)立的。反之，在給定隱含層h的條件下，可視層的節(jié)點(diǎn)也是條件獨(dú)立的。同時(shí)又由于所有的v和h滿足Boltzmann分布，所以，當(dāng)輸入v的時(shí)候，根據(jù)可以計(jì)算出隱含層h，當(dāng)計(jì)算出隱含層h后，又可以根據(jù)重構(gòu)可視層，通過調(diào)整連接權(quán)值參數(shù)，如果從隱含層重構(gòu)出的可視層與原來的可視層v一樣，那么所得的隱含層就是可視層的另外一種表達(dá)，因此隱含層可以作為可視層的高層次的特征。一般使用對比散度算法（Contrastive Divergence，CD）根據(jù)可視層輸入的數(shù)據(jù)來訓(xùn)練RBM模型的參數(shù)，包括隱含層和連接權(quán)值參數(shù)矩陣，對比散度算法是一種無監(jiān)督的學(xué)習(xí)算法。

1.2.2 深度信念網(wǎng)絡(luò)

RBM模型的隱藏層是可視層數(shù)據(jù)的高層次的特征，為了獲取更高層次的特征，將多個(gè)RBM逐層疊加構(gòu)成深度置信網(wǎng)絡(luò)，圖4是由3個(gè)RBM層疊而成的DBN，也可以看作是由一個(gè)可視層和3個(gè)隱含層組成，DBN的每一層神經(jīng)元都從低一層中獲取特征。

深度置信網(wǎng)絡(luò)的訓(xùn)練分為2步。

第一步，預(yù)訓(xùn)練。深度信念網(wǎng)絡(luò)的相鄰兩層可以視為獨(dú)立的RBM（見圖4），通過低層的輸入，利用RBM的訓(xùn)練算法可以無監(jiān)督地得到高一層的數(shù)據(jù)，然后對更高一層的隱藏層進(jìn)行訓(xùn)練，直到網(wǎng)絡(luò)的最高層。以圖3的DBN為例來詳細(xì)說明，原始數(shù)據(jù)從可視層v輸入到網(wǎng)絡(luò)，以v和h1構(gòu)建一個(gè)RBM，利用對比散度算法訓(xùn)練RBM模型參數(shù)，然后以h1為可視層，h2為隱藏層構(gòu)建第二個(gè)RBM，訓(xùn)練得到模型參數(shù)，最后，以h2和h3兩層構(gòu)建第三個(gè)RBM并訓(xùn)練其模型參數(shù)，至此，就完成了整個(gè)網(wǎng)絡(luò)的訓(xùn)練。

訓(xùn)練過程可以看作是對最底層輸入數(shù)據(jù)進(jìn)行不同層次的特征抽取，最高層的輸出即是初始數(shù)據(jù)的最高級特征。

第二步，采用傳統(tǒng)反向傳播方法，有監(jiān)督地對整個(gè)DBN網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)。

2 基于深度學(xué)習(xí)的人臉識別

深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征抽取能力，能夠逐層地對復(fù)雜數(shù)據(jù)進(jìn)行特征抽取，最終形成適合模式分類的較理想特征。利用深度學(xué)習(xí)進(jìn)行人臉識別的方法可分為2類：一類是使用基于“無監(jiān)督+有監(jiān)督”學(xué)習(xí)算法的深度學(xué)習(xí)模型進(jìn)行人臉識別；另一類是使用基于純有監(jiān)督學(xué)習(xí)算法的深度學(xué)習(xí)模型進(jìn)行人臉識別。

2.1 使用基于“無監(jiān)督+有監(jiān)督”學(xué)習(xí)算法的深度學(xué)習(xí)模型進(jìn)行人臉識別

基于“無監(jiān)督+有監(jiān)督”學(xué)習(xí)算法的深度學(xué)習(xí)模型主要有深度信念網(wǎng)絡(luò)（DBN）、基于卷積限制玻爾茲曼機(jī)（CRBM）的深度網(wǎng)絡(luò)、基于自編碼機(jī)（Auto-encoder）的深度網(wǎng)絡(luò)、基于降噪自動(dòng)編碼機(jī)（Denoising Auto-encoder）的深度網(wǎng)絡(luò)以及基于稀疏自動(dòng)編碼機(jī)（Sparse Auto-encoder）的深度網(wǎng)絡(luò)等。這些深度學(xué)習(xí)模型都是生成模型，具有強(qiáng)大的對原始數(shù)據(jù)的特征抽取能力，但沒有分類能力，如果要應(yīng)用到圖像的分類和識別問題，一般在模型的頂端加上分類器，把圖像特征映射到對應(yīng)的類別標(biāo)簽上，于是生成模型便可成為判別模型來使用，基于此類深度學(xué)習(xí)模型的人臉識別模型可以概括為“深度學(xué)習(xí)模型+分類器模型”。選擇不同的深度學(xué)習(xí)模型和分類器模型便可組成不同的人臉識別模型，此類識別模型已經(jīng)在經(jīng)典的人臉數(shù)據(jù)庫（ORL，F(xiàn)ERET等）上取得了目前最好的識別率。例如“深度信念網(wǎng)絡(luò)（DBN）+softmax分類器”模型，“基于稀疏自動(dòng)編碼機(jī)（Sparse Auto-encoder）的深度網(wǎng)絡(luò)+ softmax分類器”模型，“深度信念網(wǎng)絡(luò)（DBN）+SVM分類器”模型，“基于卷積限制玻爾茲曼機(jī)（CRBM）的深度網(wǎng)絡(luò)+ softmax分類器”模型。

下面對“深度信念網(wǎng)絡(luò)（DBN）+softmax分類器”人臉識別模型作一個(gè)介紹，其他模型結(jié)構(gòu)類似于此模型。圖5是此模型的架構(gòu)圖。

訓(xùn)練模型步驟分為2步。首先逐層預(yù)訓(xùn)練深度信念網(wǎng)絡(luò)（DBN），利用原始人臉圖像作為網(wǎng)絡(luò)輸入無監(jiān)督地逐層預(yù)訓(xùn)練每一層RBM，經(jīng)過逐層預(yù)訓(xùn)練的DBN，使用反向傳播算法精調(diào)時(shí)會很快的收斂。然后使用有類別標(biāo)簽的訓(xùn)練樣本采用BP算法對整個(gè)識別模型進(jìn)行精調(diào)，假設(shè)是一個(gè)訓(xùn)練樣本集，樣本一共分為4類，那么樣本類別標(biāo)簽是一個(gè)4維向量，且屬于標(biāo)簽向量集{[1，0，0，0]，[0，1，0，0]，[0，0，1，0]，[0，0，0，1]}，BP算法要優(yōu)化的是softmax分類器所輸出的預(yù)測標(biāo)簽與真實(shí)類別標(biāo)簽的距離，可以使用交叉熵等量來度量。識別模型完全訓(xùn)練好之后，把測試用的人臉原始圖像輸入到網(wǎng)絡(luò)，網(wǎng)絡(luò)就可以輸出預(yù)測的類別標(biāo)簽。文獻(xiàn)[9]使用“深度信念網(wǎng)絡(luò)（DBN）+softmax分類器”的人臉識別模型研究多姿態(tài)人臉圖像的超分辨率識別問題，其在UMIST，ORL，F(xiàn)ERET和PIE人臉庫上實(shí)驗(yàn)表明，對比其它方法在同等實(shí)驗(yàn)條件下該模型性能表現(xiàn)最好。文獻(xiàn)[ 1 0 ]融合深度信念網(wǎng)絡(luò)（DBN）和多層感知器進(jìn)行人臉表情識別，首先使用深度信念網(wǎng)絡(luò)對原始人臉表情圖像進(jìn)行無監(jiān)督學(xué)習(xí)得到高層次的抽象特征，然后對多層感知器分類器進(jìn)行初始化，從而實(shí)現(xiàn)人臉表情分類，在日本JAFFE數(shù)據(jù)庫上的人臉表情正確識別率達(dá)到90.95%，比其他方法高出許多。

需要注意的是，為了處理大型圖像，一般通過卷積和池化技術(shù)對深度學(xué)習(xí)模型進(jìn)行改造，以減小計(jì)算量和耗時(shí)。典型的例子是基于卷積限制玻爾茲曼機(jī)（CRBM）的深度網(wǎng)絡(luò)，卷積限制玻爾茲曼機(jī)（CRBM）利用卷積和池化技術(shù)對限制玻爾茲曼機(jī)（RBM）進(jìn)行了改造以便處理大型的圖像。

2.2 使用基于純有監(jiān)督學(xué)習(xí)算法的深度學(xué)習(xí)模型進(jìn)行人臉識別

當(dāng)前，基于純有監(jiān)督學(xué)習(xí)算法的深度學(xué)習(xí)模型主要有深度卷積神經(jīng)網(wǎng)絡(luò)，深度卷積神經(jīng)網(wǎng)絡(luò)使用傳統(tǒng)的有監(jiān)督學(xué)習(xí)算法進(jìn)行學(xué)習(xí)，主要是使用BP算法。當(dāng)前有很多著名的人臉識別系統(tǒng)都是基于深度卷積神經(jīng)網(wǎng)絡(luò)的，如DeepID家族、FaceNet，深度卷積神經(jīng)網(wǎng)絡(luò)在這些人臉識別系統(tǒng)中的作用是學(xué)習(xí)高層次的區(qū)分度強(qiáng)的特征，這些識別系統(tǒng)的成功得益于深度卷積神經(jīng)網(wǎng)絡(luò)與大數(shù)據(jù)的結(jié)合。隨著技術(shù)的進(jìn)步，有標(biāo)簽數(shù)據(jù)的獲取變得越來越容易，通過足夠多的有標(biāo)簽數(shù)據(jù)對深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得深度卷積神經(jīng)網(wǎng)絡(luò)這種傳統(tǒng)的深度網(wǎng)絡(luò)模型變得極為有效。

著名的DeepID人臉識別系統(tǒng)家族就是基于深度卷積神經(jīng)網(wǎng)絡(luò)的，DeepID家族是香港中文大學(xué)教授湯曉鷗領(lǐng)導(dǎo)的計(jì)算機(jī)視覺研究組開發(fā)的一系列人臉識別系統(tǒng)。DeepID家族在LFW （Labeled Faces in the Wild）數(shù)據(jù)庫上獲得了99.15%的識別率。LFW是事實(shí)上的真實(shí)條件下的人臉識別問題的測試基準(zhǔn)，實(shí)驗(yàn)表明，如果僅僅給出人臉中心區(qū)域，人用肉眼在LFW上的識別率為97.52%。

深度卷積神經(jīng)網(wǎng)絡(luò)在DeepID中的作用是學(xué)習(xí)特征，即將人臉圖片輸入進(jìn)去，學(xué)習(xí)到一個(gè)160維的特征向量。然后使用這個(gè)160維特征向量作為訓(xùn)練樣本，訓(xùn)練各種現(xiàn)成的分類器（比如softmax），即可得到識別模型。DeepID之所以有效，首先在于深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征的區(qū)分能力比較強(qiáng)，為了學(xué)習(xí)到區(qū)分度較強(qiáng)的特征，DeepID采取了目前最常用使用大數(shù)據(jù)的手法，只有大的數(shù)據(jù)集才能使得卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練得更加充分。

另一個(gè)著名的基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉識別系統(tǒng)是Google的FaceNet。FaceNet采用了22層的深度卷積網(wǎng)絡(luò)和海量的人臉數(shù)據(jù)（800萬人的2億張圖像）。深度卷積神經(jīng)網(wǎng)絡(luò)在FaceNet中的作用也是學(xué)習(xí)特征。 FaceNet在LFW（Labeled Faces in the Wild）數(shù)據(jù)庫上獲得了99.63%的平均識別率。

3 結(jié)語

深度神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征抽取能力，能夠逐層地對復(fù)雜數(shù)據(jù)進(jìn)行特征抽取，最終形成適合模式分類的較理想特征。深度學(xué)習(xí)在人臉識別中已經(jīng)取得了一些很好的成果，當(dāng)然，當(dāng)前應(yīng)用深度學(xué)習(xí)時(shí)也存在一些問題需要解決。比如針對具體問題，選取哪一種深度學(xué)習(xí)架構(gòu)才是最好的，以及設(shè)計(jì)多少層數(shù)的深度網(wǎng)絡(luò)才是合適的，這些問題目前都沒有系統(tǒng)的理論指導(dǎo)，要靠多次實(shí)驗(yàn)才能確定。另外，使用大數(shù)據(jù)集訓(xùn)練深度網(wǎng)絡(luò)耗時(shí)很長，需要強(qiáng)大的計(jì)算能力，使用何種計(jì)算平臺來提供強(qiáng)大計(jì)算能力也是目前面臨的一個(gè)難題。

[參考文獻(xiàn)]

[1]Lowe D G.Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004（2）：91-110.

[2]Ojala T，Pietikainen M，Harwood D.Performance evaluation of texture measures with classification based on Kullback discrimination of distributions[J].Proceedings of ICPR.Jerusalem， Irsael：IEEE，1994（10）：761-767.

[3]Turk M，pentland A.Eigenfaces for Recognition[J].Journal of Cognitive Neuroscience，1991（1）：71-86.

[4]Lee T S，Mumford D.Hierarchical Bayesian inference in the visual cortex[J].JOSA A，2003（7）：1434-1448.

[5]Lee T S，Mumford D，Romero R，et al.The role of the primary visual cortex in higher level vision[J].Vision research，1998（15）：2429-2454.

[6]Hinton G E.Training products of experts by minimizing contrastive divergence[J]. Neural Computation，2002（8）：1771-1800.

[7]Hinton G E，Zemel R S.Auto encoders， minimum description length，and Helmholtz free energy： Advances in Neural Information Processing Systems，1994[C]// Burlington ，USA： Morgan Kaufmann，1994.

[8]Hinton G E，Osindero S The Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation，2006（7）：1527-1554.

[9]LinMiaozhen，F(xiàn)an Xin.Low Resolution Face Recognition with pose Variationsusing Deep Belief Networks：4th International Congress on Imageand Signal Processing（CISP）， 2011[C]//IEEE Conference Publications，2011.

[10]施徐敢，張石清，趙小明.融合深度信念網(wǎng)絡(luò)和多層感知器的人臉表情識別[J].小型微型計(jì)算機(jī)系統(tǒng)，2015（7）：1629-1632.

Deep Learning and Its Progressin Face Recognition

Yan Xinbao（Department of Mathematics and Computer Science， Guangxi Normal University for Nationalities， Chongzuo 532200， China）

Abstract： Deep learning has captured many attentions in machine learning recently. Extracting appropriate features for pattern recognition and classification by deep learning is very popular in pattern recognition and this method has achieved the best results in face recognition. In this paper， firstly， we give a general introduction to deep learning， then the face recognition models based on deep learning is analyzed and classified， lastly， the main existing problems of face recognition using deep learning are discussed.

Key words： deep learning； features learning； face recognition