吳　進(jìn)，嚴(yán)　輝，王　潔

(西安郵電大學(xué) 電子工程學(xué)院,西安 710121)

?

采用局部二值模式與深度信念網(wǎng)絡(luò)的人臉識別*

吳進(jìn)**，嚴(yán)輝，王潔

(西安郵電大學(xué) 電子工程學(xué)院,西安 710121)

針對人臉維度過高和人臉局部特征提取易忽略的問題，提出了一種將多尺度局部二值模式(LBP)算法與深度信念網(wǎng)絡(luò)(DBN)算法相結(jié)合的人臉識別方法。首先采用多尺度LBP算法提取人臉紋理特征，進(jìn)而將LBP提取的紋理特征作為深度信念網(wǎng)絡(luò)的輸入，最后通過逐層網(wǎng)絡(luò)訓(xùn)練，得到網(wǎng)絡(luò)的最優(yōu)參數(shù)，并在ORL人臉庫中進(jìn)行測試，識別率可達(dá)95.2%，比使用Gabor小波和主成分分析(PCA)算法的人臉識別高2.6%，說明該算法具有很好的人臉識別能力。

人臉識別；特征提??；局部二值模式；深度信念網(wǎng)絡(luò)；受限波爾茲曼機

1　引　言

人臉識別作為模式識別領(lǐng)域的熱點研究，其社會價值在各個領(lǐng)域得到了體現(xiàn)[1]。而自從Hinton等人提出了深度學(xué)習(xí)的概念后，深度學(xué)習(xí)在機器學(xué)習(xí)上取得了良好的成果。在復(fù)雜函數(shù)和復(fù)雜分類上，深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)比淺層網(wǎng)絡(luò)結(jié)構(gòu)更加有效，繼而產(chǎn)生了各種深度學(xué)習(xí)的模型，而深度信念網(wǎng)絡(luò)(Deep Belief Network，DBN)可以算作典型模型之一。人臉的特征提取是識別的關(guān)鍵，然而經(jīng)過無數(shù)學(xué)者的研究，提出了全局特征提取的方法有：主成分分析(Principal Component Analysis，PCA)[2]法；文獻(xiàn)[3]提出的相位圖方法用于光照不變?nèi)四樧R別，將圖像經(jīng)過快速傅里葉變換到頻域后，相位圖比能量圖包含了對識別有用的信息，而且相位圖對光照變化不敏感；文獻(xiàn)[4]采用的是Gabor小波和支持向量機的方法進(jìn)行人臉識別。局部特征提取方法主要有有局部二值模式(Local Binary Pattern，LBP)[5]、Gabor小波[6]等。隨著DBN在圖像領(lǐng)域的應(yīng)用，其在人臉識別上也得到了關(guān)注，獲得了很高的識別率，但是DBN達(dá)不到圖像局部特征的要求，且伴隨著人臉受光照、姿態(tài)、表情的影響；然而，LBP是作為紋理描述的算子，可以將LBP得到的紋理特征作為DBN的輸入，以彌補DBN的缺陷，提高人臉的識別率和魯棒性。

針對主成分分析以及Gabor小波方法不能很好地處理人臉圖像的局部信息以及對于人臉的高維特征的提取，本文提出了基于LBP和DBN相結(jié)合的網(wǎng)絡(luò)模型，通過DBN的分類，得到了很好的分類性質(zhì)的特征。實驗表明該算法具有很好的人臉識別效果。

2　基本原理

2.1局部二值模式(LBP)

LBP算子是用來描述紋理特征的，它可以有效地提取灰度圖像中局部鄰近區(qū)域的紋理，LBP算子具有高鑒別性、復(fù)雜度底、旋轉(zhuǎn)不變性和灰度不變性等特點。LBP算子通常由(P,R)來表示，P表示鄰域內(nèi)包含的像素個數(shù)，R表示鄰域半徑，我們以任意一個像素點gc(xc,yc)為閾值，對周圍其他8個像素點做二值化處理，將灰度值大于閾值的點設(shè)置為1，小于閾值的點設(shè)置為0，以此可得到一個8位的二進(jìn)制數(shù)，用這個值來反映該區(qū)域的紋理信息。

LBP的編碼計算公式[7]為

(1)

(2)

將8個像素點按順時針方向排列得到一個8位的二進(jìn)制編碼，即(01111100)，進(jìn)而轉(zhuǎn)換成十進(jìn)制，就可以得到對中心像素計算后的結(jié)果，最后做直方圖統(tǒng)計，得到直方圖特征向量。定義圖像特征H為

(3)

式中：n表示LBP算子產(chǎn)生不同標(biāo)記的數(shù)據(jù)；i表示一個LBP模式，它決定于所使用的LBP算子。

人臉可以看作是由微小部分組成，而這些每一個小塊就可以通過LBP碼來描述。為了改善傳統(tǒng)LBP算子維度高、局部紋理信息差的特點，本文通過將人臉分成16個子區(qū)域，然后對每個區(qū)域的LBP譜計算，得到H1～H16，最后統(tǒng)計每個區(qū)域的譜直方圖形成整個圖片的特征直方圖，即可以表示為Hi={H1,H2，…，H16}， 這個方法很好地提取到了圖片不同區(qū)域的特征。

2.2深度信念網(wǎng)絡(luò)模型

深度學(xué)習(xí)是由Hinton等人[8-9]于2006年提出來的，深度信念網(wǎng)絡(luò)是一個包含多層隱層的概率模型，每一層從前一層的隱含單元捕獲高度的關(guān)聯(lián)性，而隱含層就是由受限的玻爾茲曼機構(gòu)成。

受限玻爾茲曼機(Restricted Boltzmann Machine,RBM)[10]是一種由兩層節(jié)點組成的網(wǎng)絡(luò)，是由一層可視層單元和隱藏層單元組成的隨機神經(jīng)網(wǎng)絡(luò)，被看作是二分結(jié)構(gòu)的無向圖，其中所有的可視層單元連向了隱含層?？梢晫佑蓈個隨機變量組成，V=[v1,v2,…,vv]，隱含層由h個隨機變量組成，H=[h1,h2,…,hh]。同時在已知可視層的情況下，所有的隱含層單元是條件獨立的，反之也成立。其聯(lián)合組態(tài)的能量可表示為

(4)

式中：θ=(a,b,w)是RBM的參數(shù)；Wij是可視層和隱含層之間的連接權(quán)重；bi表示可視層的權(quán)重；aj表示隱含層的權(quán)重。根據(jù)無向圖的模型可得，隨機變量(v,h)的聯(lián)合概率密度即為該模型的Gibbs分布，用式子可表示為

(5)

其中：

(6)

結(jié)合式(1)～(3)可以得到概率為

(7)

(8)

式中：σ(x)=(1+e-x)-1是激活函數(shù)，即sigmoid函數(shù)值范圍為[0,1]。

深度信念網(wǎng)絡(luò)可以看做是由多個受限玻爾茲曼機的累加，也可看作是由多個隨機變量組成的有向無環(huán)圖，其實DBN是一個概率的生成模型，生成模型是建立在一個觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布。使用每個底層的RBM作為輸入的數(shù)據(jù)用于訓(xùn)練下一個RBM，進(jìn)行貪婪學(xué)習(xí)得到一組RBM，如圖1是DBN的結(jié)構(gòu)圖[11]。對于一個含有l(wèi)層隱藏單元的DBN，可視單元和隱藏單元之間的聯(lián)合分布可以表示為

(9)

式中：v表示深度信念網(wǎng)絡(luò)的可視單元，且v=h(0)；h(k)表示第k層隱藏單元，其中，k=1,2,…，l，并且第k層和第k+1層的隱藏單元滿足

(10)

(11)

圖1　深度信念網(wǎng)絡(luò)結(jié)構(gòu)

3　實驗結(jié)果以及分析

3.1本文改進(jìn)的算法

由于傳統(tǒng)LBP對人臉局部紋理特征信息提取的不足，本文采取多尺度的LBP紋理特征提取方法對人臉進(jìn)行分塊提取每一塊的特征，最后統(tǒng)計整個人臉的紋理特征作為深度信念網(wǎng)絡(luò)的輸入，算法的結(jié)構(gòu)如圖2所示。

圖2　人臉識別模型

算法具體步驟如下：

Step 1 將訓(xùn)練集和測試集分塊進(jìn)行特征提取，對每個子塊進(jìn)行直方圖提取，并將所有子塊的特征連接起來形成最終的LBP紋理特征;

Step 2 將訓(xùn)練集的LBP紋理特征輸入給DBN的可視層，然后進(jìn)行各層的訓(xùn)練，得到所需最優(yōu)的參數(shù);

Step 3 其中RBM的訓(xùn)練采用CD學(xué)習(xí)來更新權(quán)值，獲得樣本數(shù)據(jù)的特征，權(quán)值更新表示為

Wij←Wij+ΔWij,

(12)

ΔWij=ε(〈vihj〉data-〈vihj〉model)；

(13)

Step 4 對每一層得到的權(quán)值W采用共軛梯度法進(jìn)行微調(diào)，最后采用反向傳播微調(diào)整個網(wǎng)絡(luò)，并利用分類器分類后獲得測試樣本的標(biāo)簽，計算正確識別率。

3.2在ORL數(shù)據(jù)庫上的測試

為了驗證本文算法，我們采用的是ORL人臉數(shù)據(jù)庫，ORL數(shù)據(jù)庫中有40位人，其中每一位人有10張圖片，并且有著不同的姿勢、表情，這樣實驗中總共有400張人臉，我們采用隨機抽取每個人的7幅圖片作為訓(xùn)練集，3張為測試集。圖4所示是ORL人臉庫實例，實驗實現(xiàn)的平臺為Windows7和MatlabR2014a，采用的處理器為Intel(R) core(TM) i3-2530M CPU 2.30 GHz，內(nèi)存8.00 GB。

圖3　ORL人臉庫實例

首先對人臉庫中的人臉進(jìn)行多尺度LBP特征提取，統(tǒng)計每一個分塊的特征，最終得到一個完整的人臉特征，分別對不同表情和姿態(tài)的人臉進(jìn)行了人臉的特征提取，測試結(jié)果如圖4所示。

圖4　特征提取

在實驗中我們對圖片進(jìn)行LBP特征提取時采用的是4×4分塊，半徑為1，像素數(shù)為8；選擇的模型為兩個DBN的隱層，分別為100-100-40、150-100-40、200-100-40進(jìn)行了測試，最后的100-40為邏輯回歸層，對每一層進(jìn)行3 000輪的循環(huán)迭代，學(xué)習(xí)率為0.01。采用本文的算法得到的實驗結(jié)果如表1所示，采用Gabor和PCA人臉識別的方法以及Gabor和支持向量機(Support Vector Machine，SVM)人臉識別的方法結(jié)果如表2所示，可見所提出方法的識別率比另外兩種方法的識別率有明顯提高，其可能原因是LBP提取到的紋理特征更能代表人臉的信息，更有利于網(wǎng)絡(luò)的學(xué)習(xí)，并且由實驗結(jié)果可知，隨著隱含層節(jié)點的增加，識別率也隨著提高。而Gabor+PCA的方法識別率低的原因是在更大的訓(xùn)練樣本上，光照以及人的姿態(tài)等其他因素全部集中在了主成分分析的主向量上，導(dǎo)致了識別率的降低。所以，所提出的方法在識別率和魯棒性上都有很好的優(yōu)勢。

表1　LBP+DBN實驗結(jié)果

表2　與其他方法比較

4　結(jié)束語

本文方法是對局部二值模式改進(jìn)后和深度信念網(wǎng)絡(luò)的結(jié)合。根據(jù)實驗對比，本文方法比Gabor小波和主成分分析以及SVM人臉識算法在識別率上都有明顯提高，體現(xiàn)了LBP+DBN的方法在提取人臉局部特征和魯棒性上有很好的效果，但是實驗中可以看出所消耗的時間還很長，所以今后的工作一方面繼續(xù)對深度學(xué)習(xí)算法進(jìn)行學(xué)習(xí)和改進(jìn)，另一方面可以通過使用GPU對其進(jìn)行加速處理。

[1]尚驍，吳進(jìn). 采用Gabor_Hough 變換的自適應(yīng)濾波人眼定位[J].電訊技術(shù)，2016,56(3):324-330.

SHANG Xiao,WU Jin. Eye location based on adaptive filter using Gabor_Hough transform[J].Telecommunication Engineering,2016,56(3):324-330.(in Chinese)

[2]BARTLETT M S，MOVELLAN J R，SEJNOWSKI T J.Face recongnition by independent component analysis[J].IEEE Transactions on Neural Networks,2002,13(6):1450-1462.

[3]SAWIDES M，KUMAR B V K V，KHOSLA P K. Eigenphases vs eigenfaces[C] // Proceedings of the 17th International Conference on Pattern Recognition.Cambridge，England：IEEE,2004:810-813.

[4]SHEN L，BAI L. Mutual boost learing for selecting Gabor features for face recognition [J].Pattern Recognition Letters,2006,27(15)：1758-1767.

[5]AHONEN T，HADID A，PIETIKAINEN M. Face recognition with local binary patterns[M].Heidelgerg,Berlin:Springer，2004:469-481.

[6]柴瑞敏,曹振基.基于Gabor小波與深度信念網(wǎng)絡(luò)的人臉識別方法[J].計算機應(yīng)用,2014，34(9):2590-2594. CHAI Ruimin，CAO Zhenji. Face recognition method based on Gabor wavelet and deep belief network[J].Computer Application,2014，34(9):2590-2594.(in Chinese)

[7]AHONEN T，HADID A，PIETIKAINEN M. Face recognition with local binary patterns：application to face recognition[J].IEEE Transactions on Neural Networks，2006，28(12):2037-2041.

[8]HINTON G，OSINDERO S，TEH Y.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18(7):1527-1554.

[9]HINTON G E，SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J].Science，2006,313(5786):504-507.

[10]羅恒. 基于協(xié)同過濾視角受限玻爾茲曼機研究[D] .上海：上海交通大學(xué)，2011.

LUO Heng.The research perspective of RBM based on collaborative filtering[D].Shanghai:Shanghai Jiaotong University,2011.(in Chinese)

[11]AREL I，ROSE D C，KARNOWSKI T P.Deep machine learning a new frontier in artificial intelligence research[J].IEEE Computational Intelligence Magazine，2010,5(4):13-18.

吳進(jìn)(1975—)，女，江蘇常州人，教授、碩士生導(dǎo)師，主要研究方向為信號與信息處理;

WU Jin was born in Changzhou,Jiangsu Province,in 1975. She is now a professor and also the instructor of graduate students. Her research concerns signal and information processing.

Email:huatao2000@126.com

嚴(yán)輝(1990—)，男，陜西咸陽人，2014年獲工學(xué)學(xué)士學(xué)位，現(xiàn)為碩士研究生，主要研究方向為圖像處理和人臉識別;

YAN Hui was born in Xianyang,Shaanxi Province,in 1990. He received the B.S. degree in 2014. He is now a graduate student. His research concerns image processing and face recognition.

Email:yh1204@aliyun.com

王潔(1989—)，女，陜西渭南人，2013年獲工學(xué)學(xué)士學(xué)位，現(xiàn)為碩士研究生，主要研究方向為圖像和視頻處理。

WANG Jie was born in Weinan,Shaanxi Province,in 1989. She received the B.S. degree in 2013. She is now a graduate student. Her research concerns image and video image processing.

Email:15829075617@163.com

The National Natural Science Foundation of China(No.61272120);The Science and Technology Overall Plan of Shaanxi Province(2016KTZDGY02-04-02)

Facial Recognition Using Local Binary Pattern and Deep Belief Network

WU Jin，YAN Hui，WANG Jie

(School of Electronic and Engineering,Xi'an University of Posts and Telecommunications,Xi′an 710121,China)

In view of the large dimensions of facial features and the neglect of the local features extraction,this paper proposes a facial recognition method based on multi-scale local binary pattern(LBP) and deep belief network(DBN) algorithm.Firstly,the texture features are extracted by using multi-scale LBP,then these features are inputed to DBN,and finally the optimal parameters of the network are obtained by layered network training.A test on the ORL faces database is performed and recognition rate reaches 95.2%,2.6% higher than that of face recognition using Gabor wavelet and pincipal component analysis(PCA) algorithms,which illustrates that the proposed algorithm has a good face recognition ability.

facial recognition;feature extraction;local binary pattern;deep belief network;restricted Boltzmann machines

10.3969/j.issn.1001-893x.2016.10.010

2016-03-25；

2016-06-01Received date:2016-03-25；Revised date：2016-06-01

國家自然科學(xué)基金資助項目(61272120)；陜西省科技統(tǒng)籌項目(2016KTZDGY02-04-02)

TN911.7；TP391.4

A

1001-893X(2016)10-1119-05

引用格式：吳進(jìn)，嚴(yán)輝，王潔.采用局部二值模式與深度信念網(wǎng)絡(luò)的人臉識別[J].電訊技術(shù)，2016,56(10):1119-1123.[WU Jin，YAN Hui，WANG Jie.Facial recognition using local binary pattern and deep belief network[J].Telecommunication Engineering,2016,56(10):1119-1123.]

**通信作者：huatao2000@126.comCorresponding author：huatao2000@126.com