王博林， 閆德勤， 楚永賀

(1.遼寧師范大學 數(shù)學學院，遼寧 大連 116029；2.遼寧師范大學 計算機與信息技術學院，遼寧 大連 116081)

?

基于稀疏排列的LPP和ELM的人臉識別

王博林1， 閆德勤2， 楚永賀2

(1.遼寧師范大學 數(shù)學學院，遼寧 大連 116029；2.遼寧師范大學 計算機與信息技術學院，遼寧 大連 116081)

在人臉圖像識別中人臉圖像數(shù)據(jù)中有很多是稀疏的，對于稀疏數(shù)據(jù)的降維是流形學習算法面臨的一個問題。為了有效地從高維圖像數(shù)據(jù)中提取人臉圖像的敏感信息，提高人臉識別的速度，文章提出了一種基于流形學習的有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)的極端學習機(ELM)。

流形學習；極端學習機

0 引言

近年來在流形學習的基礎上研究人員提出了不同的降維算法，例如，局部保持嵌入(Locally Linear Embedding, LLE)[1]、拉普拉斯特征映射(Laplacian Eigenmaps, LE)[2]，這些非線性方法在人臉圖像識別中取得了理想的效果，然而人臉圖像數(shù)據(jù)往往具有非常高的維數(shù),利用這些非線性方法是非常耗時，對如何構建測試數(shù)據(jù)的鄰接圖關系是未知的。為了解決上述非線性方法的耗時問題，研究人員提出了有監(jiān)督的鄰域保持嵌入(Supervised Neighborhood Preserving Embedding, SNPE)[3]、判別信息增強的鄰域保持嵌入(Discriminant-Enhanced Neighborhood Preserving Embedding, DNPE)[4]、局部最大間隔判別嵌入(Local Maximal Margin Discriminant Embedding, LMMDE)[5]等能夠很好地提取人臉圖像數(shù)據(jù)的判別信息，并且解決了非線性方法的耗時問題。目前在人臉圖像識別中降維算法面臨的問題是：基于流形學習的各種算法對人臉圖像數(shù)據(jù)的判別信息的提取效果不佳，極大地影響著極端學習機的分類性能。降維算法的有效性取決于對人臉圖像數(shù)據(jù)判別信息的有效提取。稀疏性是人臉圖像數(shù)據(jù)的屬性之一，影響著降維算法的有效性。

近年來HUANG等人[6]基于單隱層前饋神經(jīng)網(wǎng)絡(Single-Hidden Layer Feedforward Networks,SLFNs)結構提出了極端學習機(Extreme Learning Machine,ELM)。ELM訓練速度快，避免了傳統(tǒng)SLFNs學習方法收斂速度慢及陷入局部極小解的可能。ELM是一種基于單隱層前饋神經(jīng)網(wǎng)絡(SLFNs)的結構，它隨機選擇輸入權值和分析確定SLFNs的輸出權值，具有更好的泛化能力和更快的學習速度，避免了瑣碎的人為干預，使得它在在線和實時應用中具有較高的效率。然而在人臉識別問題中由于人臉圖像數(shù)據(jù)往往具有非常高的維數(shù)，從而使ELM的識別率下降和分類速度變慢，為此本文提出了基于流形學習的極端學習機。本文的創(chuàng)新點如下：(1)將流形學習的理論與ELM結合起來，進而提高人臉識別的識別率和識別速度； (2)考慮到人臉圖像數(shù)據(jù)的稀疏性，為此利用人臉圖像數(shù)據(jù)的統(tǒng)計信息動態(tài)確定局部線性化范圍，在LPP算法的基礎上依據(jù)數(shù)據(jù)的分布提出一種有監(jiān)督稀疏排列的局部保持投影算法(SSLPP)。

1 基于流形學習的SSLPP降維方法

圖1 以xi為中心的k-N(i)域

對于稀疏的人臉圖像數(shù)據(jù)樣本集，樣本間重疊的信息量非常少，為此本文通過擴大k鄰域為k-N(i)區(qū)域對原始數(shù)據(jù)集進行區(qū)域信息加強，如圖1所示，k-N(xi)區(qū)域為N(xi)及其對應的k近鄰點構成，這使得在數(shù)據(jù)樣本集較少的情況下，同樣能夠實現(xiàn)重疊信息量非常充分的流形學習效果。

本文期望k-N(i)鄰域降維后樣本的鄰域關系盡可能保持不變，則第i個樣本鄰域最小化目標函數(shù)為：

(1)

(2)

式(2)中c為所有樣本的類別總數(shù)，uT為投影變換矩陣，依據(jù)文獻[7]對LPP算法的推導過程如下：

(3)

其中Yi=[yi1,…,yik]，el=[1,…,1]T,Il∈Rl×l的單位矩陣，L為拉普拉斯矩陣。SSLPP算法保持了LPP算法原有的框架，因此優(yōu)化條件可寫為：

minε(u)=tr(uTXLXTu) s.t.uTXDXTu=I

(4)

其中Dii=∑jwij，利用拉格朗日乘子法對式(4)進行求解可得:

XLXTu=λXDXTu

(5)

對矩陣XLXT和XDXT進行特征值分解，得到特征向量矩陣為U=[u1,…,uN]。從特征向量矩陣中選取的第2到第d+1個最小特征值對應的特征向量，即：[u2,…,ud+1]T，則由y=uTx得到SSLPP算法。

2 ELM

對于N個不同的樣本(xj,tj)可表示為X=(x1,x2,…,xN)T∈RD×N,其中tj=(tj1,tj2,…,tjm)T∈Rm，具有L個隱層節(jié)點激活函數(shù)為g(x)的ELM模型如下形式:

(6)

其中j=1,2,…,N，ai=(ai1,ai2,…,ain)為連接第i個隱層節(jié)點與輸入節(jié)點的輸入權值向量，βi=(βi1,βi2,…,βim)為連接第i個隱層節(jié)點與輸出節(jié)點的輸出權值向量，bi為第i個隱層節(jié)點的偏置值，ai·xj表示ai和xj的內(nèi)積，tj=(tj1,tj2,…,tjm)T∈Rm為對應于樣本xj的期望輸出向量，對所有數(shù)據(jù)樣本進行整合，式(6)可以改寫為如下形式：

Hβ=T

(7)

其中H是網(wǎng)絡隱層節(jié)點輸出矩陣，β為輸出權值矩陣，T為期望輸出矩陣：

(8)

(9)

(10)

當隱層節(jié)點個數(shù)與訓練樣本個數(shù)相同時(即L=N)，可以通過式(7)直接求矩陣H的逆矩陣得到最優(yōu)的輸出權值矩陣β，但大多情況下隱層節(jié)點的個數(shù)遠小于訓練樣本的個數(shù)(即L?N)，此時矩陣H為奇異矩陣，利用最小二乘解的方法對式(7)進行求解：

(11)

其中,H+為矩陣H的廣義逆。

為了提高傳統(tǒng)ELM的穩(wěn)定性和泛化能力，Huang提出了等式優(yōu)化約束的ELM。等式優(yōu)化約束的ELM的優(yōu)化式子不僅最小化訓練誤差ξ，同時最小化輸出權值β，因此等式優(yōu)化約束的ELM目標式子可寫為：

i=1,2,…,N

(12)

式(12)中ξi=(ξi1,…,ξ1m)T為對應于樣本xi的訓練誤差向量，C為懲罰參數(shù)。式(12)的求解可通過拉格朗日方法轉化為無條件最優(yōu)化問題進行求解。因此ELM算法求解過程可總結如下：

(1)初始化訓練樣本集；

(2)隨機指定網(wǎng)絡輸入權值ai和偏置值bi；

(3)通過激活函數(shù)[8]計算隱層節(jié)點輸出矩陣H；

3 實驗結果及分析

2個不同人臉庫數(shù)據(jù)參數(shù)設置如表1所示，人臉圖像如圖2所示。為了證明所提出算法的有效性，在ORL實驗中隨機選取訓練集個數(shù)為L={2，3，4，5}，剩余部分為測試集；在Yale B試驗中隨機選取訓練集個數(shù)為L={5，10，20，30}，剩余部分為測試集，不同降維算法在不同維數(shù)下的識別率曲線及識別率如圖3所示。

表1 數(shù)據(jù)參數(shù)集描述

圖2 不同人臉圖像Yale, Yale B,ORL

圖3給出了ELM采用不同降維算法在ORL人臉數(shù)據(jù)上的識別率曲線。由圖3可知ELM采用SSLPP算法的識

圖3 不同降維算法在ORL人臉庫識別率曲線

別率曲線達到了100%并且非常穩(wěn)定，SNPE算法的識別率曲線隨著位數(shù)據(jù)維數(shù)的增大出現(xiàn)了波動，DNPE算法、LMMDE和RAF-GE算法[8]的識別率曲線隨著數(shù)據(jù)維數(shù)的增大識別率也跟著增大，DNPE算法在ORL數(shù)據(jù)上表現(xiàn)出比較好的性質。

圖4給出了ELM采用不同降維算法在Yale B人臉數(shù)據(jù)上的識別率曲線，由圖4可知ELM采用SSLPP算法的識別率曲線明顯高于其他算法并且非常穩(wěn)定。

4 結論

為了提高人臉識別的速度和準確率，本文提出了基于流形學習的極端學習機，通過與DNPE及LMMDE、RAF-GE、SNPE算法的對比實驗表明，本文所提出的方法在人臉識別速度和識別率上顯著優(yōu)于其他方法，因此，基于流行學習的極端學習機具有重要的現(xiàn)實的意義。

[1]ROWEIS S T,SAUL L K, Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500)：2323-2326.

[2]MIKHAIL B,PARTHA N.Laplacian eignmaps for dimensionality reduction and data representation[J]. Neural Computation, 2003,15(6)：1373-1396.

[3]Bao Xing,Zhang Li,Wang Bangjun,et al. A supervised neighborhood preserving embedding for face recognition[C]. International Joint Conference on Neural Networks,2014:278-284.

[4]Chai Yi,Yang Zhimin,Zhang Ke,et al. Discriminant-enhanced neighborhood preserving embedding for dimensionality reduction[C]. IEEE Conference, Nov ,2013:255-210.

[5]Huang Pu,Tang Zhenmin,Chen Caikou,et al. Local maximal margin discriminant embedding for face recognition[J]. Vis. Commun. Image R., 2014(25):296-305.

[6] Wang Dianhui，Huang Guangbin.Protein sequence classificati-on using extreme learning machine[J].Proceedings of International Joint Conference on Neural Networks, 2005(3):1406- 1411.

圖4 不同降維算法在Yale B人臉庫識別率曲線

[7] Huang Guangbin. An insight into extreme learning machines:random neurons,random features and kernels[J]. Cogn Comput,2014,6(3):376-390.

[8] 馮林，劉勝藍，張晶，等.高維數(shù)據(jù)中魯棒激活函數(shù)的極端學習機及線性降維[J].計算機研究與發(fā)展，2014，51(6)：1331-1340.

Face recognition based on sparse array of LPP and ELM

Wang Bolin1, Yan Deqin2,Chu Yonghe2

(1.School of Mathematics,Liaoning Normal University,Dalian 116029,China; 2.School of Computer and Information Technology,Liaoning Normal University,Dalian 116081,China)

In face recognition, lots of face image data is sparse. The dimension reduction of sparse data is a prohlem of manifold learning algorithms. In order to effectively extract the essence information of human face image from high dimensional image data, and increase the speed of face recognition, this paper proposes a manifold learning extreme learning machine (MELM) with supervised sparse alignment of local preserving projection (SSLPP) algorithm.

manifold learning; extreme learning machine

TP18

A

10.19358/j.issn.1674- 7720.2016.23.012

王博林， 閆德勤， 楚永賀. 基于稀疏排列的LPP和ELM的人臉識別[J].微型機與應用，2016,35(23)：42-45.

2016-08-11)

王博林(1993-)，通信作者，女，碩士研究生，主要研究方向：機器學習，圖像處理等。E-mail:841466296@qq.com。

閆德勤(1962-)，男，博士，教授，主要研究方向：機器學習，圖像處理等。

楚永賀(1989-)，男，碩士研究生，主要研究方向：機器學習，圖像處理等。