黃　偉，王曉輝

（韓山師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院，廣東潮州　521041）

多融合協(xié)同表示的人臉識(shí)別方法

黃偉，王曉輝

（韓山師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院，廣東潮州521041）

將虛擬樣本和逆表示融入到協(xié)同表示中，通過(guò)約束協(xié)同系數(shù)矩陣和逆表示系數(shù)矩陣的范數(shù)同時(shí)最小化的方式充分體現(xiàn)協(xié)同表達(dá)與逆表達(dá)之間的關(guān)聯(lián)信息，不僅在同一個(gè)目標(biāo)函數(shù)體現(xiàn)了協(xié)同表示和逆表示，而且也能充分利用虛擬樣本的有效信息.在Yale和FERET人臉數(shù)據(jù)庫(kù)中的實(shí)驗(yàn)表明：提出的多融合協(xié)同表示方法在不同的訓(xùn)練樣本數(shù)下均比SRC、TSPTC和CRC的正確率有大幅的提高，證明了提出方法的有效性和魯棒性.

協(xié)同表示；逆表示；稀疏表示；虛擬樣本；人臉識(shí)別

人臉識(shí)別由于廣泛的應(yīng)用前景及其問(wèn)題的復(fù)雜性，一直是模式識(shí)別和機(jī)器視覺(jué)領(lǐng)域的研究重點(diǎn).目前，基于重構(gòu)的方法是人臉識(shí)別研究中的一個(gè)熱點(diǎn).基于重構(gòu)的方法將訓(xùn)練集對(duì)測(cè)試樣本的重構(gòu)能力作為分類的準(zhǔn)則.稀疏表示（Sparse Representation Classification，SRC）［1］通過(guò)l1范數(shù)的約束在訓(xùn)練集中找到合適的樣本對(duì)測(cè)試樣本進(jìn)行重構(gòu).實(shí)驗(yàn)表明SRC不僅有優(yōu)越的性能，而且對(duì)遮擋等有很強(qiáng)的魯棒性.在此基礎(chǔ)上兩步方法（Two-phase Test Sample Sparse Representation，TSPTC）［2］的提出進(jìn)一步提高了識(shí)別率.盡管l1范數(shù)的約束增加了計(jì)算的復(fù)雜度，但卻被視為SRC性能良好表現(xiàn)的主要原因. Zhang經(jīng)過(guò)深入分析后認(rèn)為協(xié)同表示才是SRC性能優(yōu)越的根本原因［3］.同時(shí)用l2范數(shù)代替l1范數(shù)的約束提出了協(xié)同表示分類器（Collaborative Representation Classification，CRC）.Xu首次提出了逆表示（Inverse Representation，IR）［4］并將其引入到人臉識(shí)別中.逆表達(dá)最大的特點(diǎn)在于利用測(cè)試樣本對(duì)訓(xùn)練樣本的“表達(dá)能力”來(lái)計(jì)算測(cè)試樣本與各類別的訓(xùn)練樣本間的距離.IR的提出不僅進(jìn)一步提高了人臉識(shí)別的性能，而且為我們提供了解決問(wèn)題的另一種思路.

盡管各種理論和方法不斷被提出［5］，但人臉識(shí)別依然是一個(gè)挑戰(zhàn).由于光照、人臉的姿態(tài)和表情等的變化復(fù)雜，訓(xùn)練集中不可能包括所有變化，因此大大降低了識(shí)別率［6］.構(gòu)造虛擬樣本是解決這個(gè)問(wèn)題的有效方法.Xu［7］等人提出的鏡像虛擬樣本在一定程度上擴(kuò)大了訓(xùn)練集中對(duì)人臉姿態(tài)變化的范圍，大大提高了算法的魯棒性.本文將在協(xié)同表示的基礎(chǔ)上，結(jié)合測(cè)試樣本的鏡像虛擬樣本和逆表示的思想，提出多融合的協(xié)同表示人臉識(shí)別方法，進(jìn)一步提高了CRC的性能和魯棒性.

1　相關(guān)工作簡(jiǎn)介

假設(shè)人臉庫(kù)中有c類，第i類有ni個(gè)樣本，其中i=1,2,…,c.N=∑ic=1ni表示訓(xùn)練樣本總數(shù).將每個(gè)訓(xùn)練樣本拉伸成為一個(gè)向量，并將訓(xùn)練集記為X=［X1,X2,…,Xi…,Xc］，其中Xi表示第i類訓(xùn)練樣本的集合，y表示測(cè)試樣本拉成的向量.

1.1稀疏表示分類器（SRC）

稀疏表示可以看成是最近鄰子空間的一種擴(kuò)展.SRC假設(shè)是同一類的訓(xùn)練樣本分布在同一個(gè)子空間.基于這樣的假設(shè)測(cè)試樣本可以被第t類內(nèi)的訓(xùn)練樣本重構(gòu)

由于測(cè)試樣本y的類別未知，假如用所有類的所有訓(xùn)練樣本來(lái)重構(gòu)測(cè)試樣本，式（1）可以改寫為

‖?‖0表示l0范數(shù)，指的是矢量中非零的個(gè)數(shù).式（3）是一個(gè)NP問(wèn)題，當(dāng)α足夠稀疏的話l0范數(shù)等價(jià)于l1范數(shù)

考慮到誤差的普遍存在，式（4）應(yīng)該改寫為

其中ε＞0是一個(gè)給定的誤差.當(dāng)?shù)玫较∈瑕?就能計(jì)算每一類的訓(xùn)練樣本重構(gòu)測(cè)試樣本的重構(gòu)誤差

最后，用以下的分類準(zhǔn)則將測(cè)試樣本分類

1.2協(xié)同表示分類器（CRC）

相對(duì)于人臉變化的復(fù)雜，訓(xùn)練樣本的缺乏一直是人臉識(shí)別性能提高的障礙.考慮到不同類人臉的相似性，Zhang等人在分析了SRC后，指出了協(xié)同表示才是SRC性能提高的關(guān)鍵，并由此提出了CRC算法. CRC在訓(xùn)練過(guò)程中將所用類所用的訓(xùn)練樣本全部拿來(lái)重構(gòu)測(cè)試樣本，同時(shí)求出重構(gòu)系數(shù)，然后再根據(jù)不同類的訓(xùn)練樣本和相應(yīng)的重構(gòu)系數(shù)計(jì)算該類對(duì)測(cè)試樣本的線性重構(gòu)，最后將測(cè)試樣本歸類于重構(gòu)誤差最小的那一類中去.對(duì)于測(cè)試樣本y和訓(xùn)練樣本集X，利用線性回歸的方法求得重構(gòu)系數(shù)φ

對(duì)于第i類的重構(gòu)誤差為

1.3鏡像虛擬樣本

利用已有訓(xùn)練樣本生成虛擬樣本是增加訓(xùn)練樣本數(shù)量的有效方法.考慮到人臉的對(duì)稱性以及在采集人臉圖像過(guò)程中人臉姿態(tài)變化的特點(diǎn)，將訓(xùn)練樣本的鏡像圖像作為虛擬樣本對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，能夠有效提高算法對(duì)姿態(tài)變化的魯棒性.假設(shè)為一張p×q像素的人臉圖像，其鏡像虛擬樣本G定義為

從式（10）可以看出，相對(duì)于原始樣本，鏡像虛擬樣本只對(duì)行方向上的像素進(jìn)行置換，置換規(guī)則是將每一行的左右對(duì)應(yīng)像素值進(jìn)行對(duì)調(diào).人臉姿態(tài)的變化主要集中在左右姿態(tài)變化，鏡像虛擬樣本能夠使訓(xùn)練集容納更多左右姿態(tài)的變化，提高對(duì)測(cè)試樣本的重構(gòu)能力.

2　多融合協(xié)同表示的人臉識(shí)別方法

為了進(jìn)一步提高CRC的識(shí)別率和魯棒性，將逆表示和鏡像虛擬樣本引入到CRC中.假設(shè)y為測(cè)試樣本的鏡像虛擬樣本，記Y=［y,y］.設(shè)計(jì)的目標(biāo)函數(shù)如下其中A=［A,…,Ai,…,Ac］T∈Rc×2和B=［B1,…,Bi,…,Bc］∈R2×c為矩陣，γ1，γ2和μ為大于0的權(quán)重參數(shù).目標(biāo)函數(shù)中第一項(xiàng)為協(xié)同表示，利用訓(xùn)練集中所有的訓(xùn)練樣本來(lái)重構(gòu)測(cè)試樣本，第二項(xiàng)為逆表示，利用測(cè)試樣本及測(cè)試樣本的鏡像虛擬樣本來(lái)重構(gòu)訓(xùn)練樣本其余三項(xiàng)為范數(shù)約束項(xiàng).因此只需求解一個(gè)目標(biāo)函數(shù)就可同時(shí)得出協(xié)同表達(dá)與逆表達(dá)，而且通過(guò)約束兩個(gè)解向量的范數(shù)同時(shí)最小化的方式很好地利用了協(xié)同表達(dá)與逆表達(dá)之間的關(guān)聯(lián).

通過(guò)最小化目標(biāo)函數(shù)來(lái)求得合適的協(xié)同表示系數(shù)矩陣A和逆表示系數(shù)矩陣B.由于目標(biāo)函數(shù)同時(shí)存在兩個(gè)未知量，因此無(wú)法同時(shí)直接求出它們的表達(dá)式.下面通過(guò)迭代的算法分別求出協(xié)同表示系數(shù)A和逆表示矩陣B.

先根據(jù)原始協(xié)同表示求出A

求出目標(biāo)函數(shù)對(duì)α的偏導(dǎo)數(shù)

類似地，得出B后再求目標(biāo)函數(shù)對(duì)α的偏導(dǎo)數(shù)

以此類推，經(jīng)過(guò)若干次迭代后就得到穩(wěn)定的協(xié)同系數(shù)矩陣和逆表示系數(shù)矩陣.

在分類過(guò)程中，先計(jì)算融合了測(cè)試樣本在不同類的訓(xùn)練集中的協(xié)同表示和逆表示的重構(gòu)誤差

最后利用式（7）完成對(duì)測(cè)試樣本y的分類.

3　實(shí)驗(yàn)結(jié)果與分析

在通用的人臉數(shù)據(jù)庫(kù)Yale和FERET中對(duì)提出算法進(jìn)行實(shí)驗(yàn)，對(duì)比的算法包括目前較前沿的基于重構(gòu)的兩種算法：CRC和SRC，以及CRC的改進(jìn)算法TSPTC.在實(shí)驗(yàn)中，前t（t=1,2,…）個(gè)樣本作為訓(xùn)練樣本，其余的樣本作為測(cè)試樣本.參數(shù)設(shè)置如下：γ1和γ2取值0.4，μ取值0.3，迭代次數(shù)取值為5.

Yale人臉數(shù)據(jù)庫(kù)包括15個(gè)類，每類11個(gè)樣本，一共165個(gè)樣本.主要的變化有光照變化，表情變化和戴/不戴眼鏡等.圖1給出了數(shù)據(jù)庫(kù)中某一類的所用樣本.

圖1　Yale人臉數(shù)據(jù)庫(kù)中某一類的所用樣本

在實(shí)驗(yàn)過(guò)程中，取每一類的前t（t=1,2,…,6）個(gè)樣本構(gòu)成訓(xùn)練集，其余的樣本作為測(cè)試.實(shí)驗(yàn)結(jié)果如表1所示.

表1　Yale人臉數(shù)據(jù)庫(kù)識(shí)別率對(duì)比表

從表1可以看出所有的算法在Yale人臉數(shù)據(jù)庫(kù)中都取得比較高的正確識(shí)別率，多融合協(xié)同表示算法在不同的訓(xùn)練樣本中的識(shí)別率是最高的.在t=1，其它算法的識(shí)別率均相等時(shí)，本文提出的算法仍然有超過(guò)1%的提高，并且隨著訓(xùn)練樣本的增加，很快達(dá)到100%的識(shí)別率，體現(xiàn)了提出算法的有效性.

FERET人臉數(shù)據(jù)庫(kù)包括200個(gè)類，每類7個(gè)樣本，一共1 400個(gè)樣本.是目前通用的檢測(cè)姿態(tài)變化的人臉數(shù)據(jù)庫(kù).圖2是FERET庫(kù)中某一類的所用樣本.

圖2　FERET人臉數(shù)據(jù)庫(kù)中某一類的所用樣本

在實(shí)驗(yàn)過(guò)程中，取每一類的前t（t=1,2,…,6）個(gè)樣本構(gòu)成訓(xùn)練集，其余的樣本作為測(cè)試.實(shí)驗(yàn)結(jié)果如表1所示.

表2　FERET人臉數(shù)據(jù)庫(kù)識(shí)別率對(duì)比表

從表2可以看出，本文提出的多融合協(xié)同表示在識(shí)別率上有大幅提高.與原始CRC相比，當(dāng)訓(xùn)練樣數(shù)t≥3時(shí)，識(shí)別率提高超過(guò)10個(gè)百分點(diǎn)，尤其當(dāng)t=3時(shí)，識(shí)別率提高了29.71%.另一方面，從表2也可以看出在姿態(tài)變化方面，SRC整體比CRC的識(shí)別率高.針對(duì)SRC的改進(jìn)算法TSPTC在姿態(tài)變化方面的性能反而不如傳統(tǒng)SRC.相比于SRC和TSPTC，本文提出的方法在不同訓(xùn)練樣本下均表現(xiàn)出更高的正確識(shí)別率，證明了多融合協(xié)同表示不僅能夠充分利用協(xié)同和逆表示的有效信息，而且能夠有效融合鏡像的虛擬樣本，提高識(shí)別率.

4　結(jié)束語(yǔ)

人臉圖像在光照、姿態(tài)和表情方面的復(fù)雜變化以及相對(duì)于人臉數(shù)據(jù)的維數(shù)而言，訓(xùn)練樣本數(shù)量的不足是制約著人臉識(shí)別性能提高的重要因素.盡管近幾十年來(lái)對(duì)人臉識(shí)別的研究不斷，但訓(xùn)練樣本的不足依然是一個(gè)巨大的挑戰(zhàn).本文將協(xié)同表示、逆表示和虛擬樣本融合起來(lái)，不僅在一個(gè)目標(biāo)函數(shù)中體現(xiàn)協(xié)同表示和逆表示，而且通過(guò)約束協(xié)同系數(shù)矩陣和逆表示系數(shù)矩陣的范數(shù)同時(shí)較小的方式充分體現(xiàn)協(xié)同表達(dá)與逆表達(dá)之間的關(guān)聯(lián)信息，大幅提高了人臉識(shí)別的正確率.在未來(lái)的工作中將討論不同虛擬樣本和協(xié)同表示、逆表示的關(guān)系以及進(jìn)一步改進(jìn)融合的方法，進(jìn)一步提高在缺乏訓(xùn)練樣本以及復(fù)雜的光照、姿態(tài)和表情等變化的環(huán)境下的識(shí)別率和魯棒性.

［1］WRIGHT J，YANG Y，SASTRY S S，et al.Robust face recognition via sparse representation［J］.IEEE Transactions on.Pattern Analysis and Machine Intelligence，2009，32（2）：210-227.

［2］ZHANG L，YANG M，F(xiàn)ENG X.Sparse Representation or Collaborative Representation：Which Helps Face Recognition［C］// Computer Vision（ICCV），2011 IEEE International Conference on，2011：471-478.

［3］XU Y，ZHANG D，YANG J，et al.A two-phase test sample sparse representation method for use with face recognition［J］. IEEE Transactions on Circuits and Systems for Video Technology，2011，21（9）：1255-1262.

［4］XU Y，LI X，YANG J，et al.Integrating conventional and inverse representation for face recognition［J］.IEEE Transactions on Cybernetics，2014，44（10）：1738-1746.

［5］吳巾一，周德龍.人臉識(shí)別方法綜述［J］.計(jì)算機(jī)應(yīng)用研究，2009，26（9）：3205-3209.

［6］SANDFORD A，BURTON A M.Tolerance for distorted faces：Challenges to a configural processing account of familiar face recognition［J］.Cognition，2014，132（3）：262-268.

［7］XU Y，ZHU ZL，LIU G，et al.Using the original and‘symmetrical face’training samples to perform representation based two-step face recognition［J］.Pattern Recognition，2013，46（4）：1151-1158.

Multi-Fusion Collaborative Representation Method for Face Recognition

HUANG Wei，WANG Xiao-hui
（School of Computer and Information Engineering，Hanshan Normal University，Chaozhou，Guangdong，521041）

In this paper，the virtual samples and inverse representation are integrated into collaborative representation to improve the face recognition accuracy.The relation between collaborative representation and inverse representation is gotten by minimizing the norms of collaborative representation coefficients matrix and inverse representation coefficients matrix simultaneously.So the objective function not only includes the collaborative representation and inverse representation but also uses the available information of virtual samples. The experiment results on Yale and FERET face databases demonstrate the effective and feasibility of the proposed method comparing to SRC，TSPTC and CRC.

collaborative representation；inverse representation；sparse representation；virtual sample；face recognition

TP 391

A

1007-6883（2016）03-0041-05

責(zé)任編輯朱本華

2015-12-26

廣東省高等學(xué)校學(xué)科與專業(yè)建設(shè)項(xiàng)目（項(xiàng)目編號(hào)：2013LY0055）；韓山師范學(xué)院2013年自然科學(xué)項(xiàng)目（項(xiàng)目編號(hào)：LY201301）；2012潮州市科技引導(dǎo)項(xiàng)目（項(xiàng)目編號(hào)：2012S13）.

黃偉（1978-），男，廣東潮州人，韓山師范學(xué)院計(jì)算機(jī)與信息工程學(xué)院高級(jí)實(shí)驗(yàn)師.