陳　鳳

(浙江工商職業(yè)技術(shù)學(xué)院電子與信息工程學(xué)院，浙江寧波　315012)

?

一種基于對稱性和上下文約束的線性鑒別分析方法

陳鳳

(浙江工商職業(yè)技術(shù)學(xué)院電子與信息工程學(xué)院，浙江寧波315012)

在充分考慮人臉對稱性的基礎(chǔ)上，結(jié)合圖像中像素之間的上下文約束關(guān)系，提出了一種改進的圖像鑒別方法，即基于對稱性和上下文約束的線性鑒別分析方法(SCCLDA).為了證明改進算法的優(yōu)勢，本文進一步在原始樣本和鏡像樣本的擴展集合上測試了CCLDA(ECCLDA)的識別性能.實驗研究表明，在人臉受光照、姿態(tài)以及表情等外在因素影響情況下，SCCLDA方法比ECCLDA、CCLDA、LDA等方法在人臉識別效果上具有更好的穩(wěn)定性和更高的準(zhǔn)確性.

上下文約束；對稱性；人臉識別；線性鑒別分析

在圖像識別中，人臉識別容易受表情、光照、姿態(tài)等外部因素的影響，導(dǎo)致一般的人臉識別方法不能全面的表示這些可能發(fā)生的變化，所以很難提高人臉的識別精度.而大量實驗表明，更多的訓(xùn)練樣本則更容易表示人臉因為光照、表情、姿態(tài)等因素所引起的這些變化，因此鏡像圖像在許多人臉識別的研究中都被單一地用來擴大訓(xùn)練樣本的數(shù)目，可是這些都缺乏深入的理論研究[1].

雖然人臉圖像不具有數(shù)學(xué)上嚴(yán)格定義的鏡像對稱，但是事實證明，通過鏡像變換后的人臉圖像，人們?nèi)匀豢梢院苋菀椎刈R別出來.因此，近年來人臉的對稱性也得到越來越多學(xué)者的廣泛研究[2-7].Kirby等最早在人臉表征中采用了鏡像樣本[8]，并且從信號重構(gòu)的角度證明，鏡像樣本的引入，可以從一定程度上降低訓(xùn)練樣本集以外樣本的重構(gòu)誤差.楊瓊等又進一步研究了鏡像樣本在人臉識別中的可行性和有效性[1].受圖像奇偶分解思想的啟發(fā)，他們提出了SPCA方法，即通過奇偶樣本各自的本征空間來構(gòu)建鏡像樣本和原始樣本分別中心化后的聯(lián)合空間.而且，實驗證明SPCA方法的識別結(jié)果明顯優(yōu)于PCA算法.Song等利用人臉對稱性緩解了圖像陰影對識別效果的影響[9]，而且該方法證明了對于光照所產(chǎn)生的左右半臉的明亮不均有很大的魯棒性.Zeng等充分考慮了人臉正面圖像的對稱性，并將其引入到了2DPCA方法中，提出了一種改進的2DPCA方法(s2DPCA)[10].該方法可以從一定程度上彌補傳統(tǒng)2DPCA方法中協(xié)方差鑒別信息的損失，使得協(xié)方差鑒別信息得到最大程度地利用，這樣每一幅人臉圖像都可以通過更少的系數(shù)來表示，從而提高了算法的識別性能.

但是當(dāng)樣本圖像的姿態(tài)變化比較大時，采用圖像鏡像構(gòu)造對稱樣本圖像的效果并不理想，因此會影響算法的識別效果.而最新研究結(jié)果表明，圖像在高維空間可以呈現(xiàn)特定的流形，像素彼此之間存在相互約束的結(jié)構(gòu)關(guān)系[1].當(dāng)一些外部因素如光照、表情以及姿態(tài)等條件產(chǎn)生變化的情況下，借助圖像像素在高維空間中相互約束的結(jié)構(gòu)關(guān)系，可以從一定程度上彌補基于子空間的特征提取方法的不足.Zhen等提出了CCLDA方法[1]并將這種方法引入到人臉識別過程中.該方法在特征提取過程中，不僅保存了LDA方法的優(yōu)點，即考慮了樣本圖像中的鑒別信息，同時也考慮了樣本圖像中像素在高維空間中彼此之間的相關(guān)約束性，從而使獲得的投影向量包含更多的有效分類信息，提高算法識別的準(zhǔn)確率.受以上研究的啟發(fā)，我們在充分利用人臉對稱性的基礎(chǔ)上，進一步結(jié)合圖像中像素之間的上下文約束關(guān)系，提出了改進的SCCLDA方法.通過實驗，證明了在人臉受光照、姿態(tài)以及表情等外在因素影響情況下，SCCLDA方法取得了良好的識別結(jié)果.

1　算法的主要原理

1.1CCLDA

(1)

其中，η為一個平衡常數(shù)，用來平衡訓(xùn)練鑒別能力與上下文限制之間的關(guān)系；Sb為類間散布矩陣；Sw為類內(nèi)散布矩陣.可以表示為

(2)

(3)

其中，ui為第i類訓(xùn)練樣本圖像的類平均向量；u為所有訓(xùn)練樣本圖像的平均向量.

Sij為一個相似矩陣，該矩陣中的任何一個元素值可以表示每一個樣本圖像中的像素i和像素j之間的相關(guān)性.Sij定義為

(4)

其中特征向量fi中第i個元素的值可以用該樣本向量中與之相應(yīng)的第i個元素的灰度值來表示，所以fi∈RN.通常情況下，σ的值定義為所有fi的平均值.由(4)式知Sij為一個對稱矩陣，所以(1)式中的限制條件J2(w)可以重新定義為

(5)

(6)

所以最佳投影矢量wopt可以簡化成求滿足(7)式的問題，即

(7)

1.2SCCLDA

在特征提取過程中，很容易出現(xiàn)樣本向量的維數(shù)遠遠高于訓(xùn)練樣本類內(nèi)樣本的情況.因此為了避免類內(nèi)散布矩陣奇異，通常需要先使用降維的方法預(yù)先處理原始數(shù)據(jù)[11].為了解決這個問題，我們通常先使用PCA把特征空間的維數(shù)降到N-C，然后再用CCLDA算法進行特征提取.用公式表述為

(8)

如果直接采用PCA方法進行降維，容易導(dǎo)致樣本圖像部分信息的損失，以致于再在低維空間獲得的投影矩陣都是原特征空間最優(yōu)映射矩陣的近似.因此，為了解決以上不足，我們可以在充分結(jié)合圖像對稱性的基礎(chǔ)上，最大程度地保存原始圖像的有效特征，這就是本文提出的改進算法SCCLDA的目的.

定義原始樣本圖像集合為{x1,x2,…,xN}，原始樣本的鏡像集合為Xm={x1m,x2m,…,xNm}，u和um分別表示X和Xm的均值向量，u′表示X∪Xm的均值向量.定義X*表示原始樣本和鏡像樣本分別減去各自均值向量的并集，即

因此，在X*上使用PCA就得到了SPCA的映射矩陣

(9)

如果利用SPCA進行CCLDA算法中的第一步映射，有可能比直接采用PCA進行降維更能使映射矩陣接近CCLDA的最佳投影矩陣.基于以上假設(shè)，我們選擇

(10)

作為(7)式的近似.

(11)

這樣，就可以得到SCCLDA的映射矩陣wSopt.

同樣，在很多研究中，為了增加訓(xùn)練樣本數(shù)目，可以利用人臉的鏡像對稱性，將人臉的鏡像圖像和原始圖像一起當(dāng)作訓(xùn)練樣本來訓(xùn)練.這樣獲得的特征空間可能包含更多有效的識別信息.因此為了充分論證改進算法的優(yōu)勢，還可以在原始樣本和鏡像樣本的擴展集合上測試CCLDA算法(ECCLDA)的識別性能.

假設(shè)X′是ECCLDA用到的集合，它是由X∪Xm與u′的差值構(gòu)成的集合，即

這樣，如果在X′上使用PCA(標(biāo)記為EPCA)，然后再使用CCLDA，則

(12)

通過以上分析，可以分別采用PCA,SPCA和EPCA三種不同的方法來進行第一步的降維，以避免了“小樣本問題”，然后進一步再在降維后的特征空間采用CCLDA分別得到三種不同區(qū)分能力的映射wCopt,wSopt和wEopt.本文通過實驗證明，CCLDA算法的識別結(jié)果不僅受PCA降維數(shù)目不同的影響.同時，在訓(xùn)練樣本數(shù)目有限的條件下，原始訓(xùn)練樣本信息保留的方式也是影響CCLDA方法識別準(zhǔn)確率的一個重要的因素.

2　實驗設(shè)計及分析

分別設(shè)計了在人臉的表情、姿態(tài)以及光照三種外部條件發(fā)生變化的情況，比較了CCLDA、ECCLDA以及SCCLDA的識別性能.同時為了說明在CCLDA算法改進的充分性，還實現(xiàn)了與LDA算法的比較.

2.1SCCLDA用于姿態(tài)變化的人臉識別

在特征提取過程中，通過不同方法獲得的投影空間很容易受姿態(tài)變化的影響，為了驗證改進算法在姿態(tài)變化時對人臉識別的有效性，在ORL人臉數(shù)據(jù)庫上進行了實驗(http://www.datatang.com/data/13501 ).ORL人臉數(shù)據(jù)庫共收集40個人在不同的光照、姿態(tài)和面部表情下的圖像，共400幅圖像，即每個人對應(yīng)了10種不同外部條件發(fā)生變化下的圖像.部分人臉圖像如圖1所示.

圖1　ORL人臉庫一個人的10種姿態(tài)

實驗中將ORL數(shù)據(jù)庫中的人臉圖像分為訓(xùn)練集和測試集兩部分，取40個人的任意Gi幅圖像作為訓(xùn)練樣本集，剩余的圖像組成測試樣本集.實驗結(jié)果如表1所示.

表1　不同訓(xùn)練樣本數(shù)的識別率

表1中Gi表示每一類樣本所選取的訓(xùn)練樣本數(shù).通過分析實驗結(jié)果，可以發(fā)現(xiàn):

1)由于CCLDA,ECCLDA和SCCLDA三個算法在特征提取過程中，充分考慮了在高維空間中，人臉樣本圖像中像素之間的相互約束性，因此這三種算法在ORL人臉庫上的識別結(jié)果上明顯優(yōu)于沒有引入上下文約束的LDA方法.而且在大部分情況下，LDA算法的標(biāo)準(zhǔn)差最大，CCLDA次之，ECCLDA和SCCLDA標(biāo)準(zhǔn)差相當(dāng)，說明LDA算法的識別效果更依賴于訓(xùn)練樣本數(shù)據(jù)集的選擇，其他三種算法具有更高的穩(wěn)定性;

2)在CCLDA算法的基礎(chǔ)上，ECCLDA和SCCLDA中都采用了鏡像圖像來擴大訓(xùn)練集合，訓(xùn)練樣本數(shù)是CCLDA算法和LDA算法的兩倍，所以即使在每個人只有較少的姿態(tài)樣本做訓(xùn)練的情況下，ECCLDA和SCCLDA算法也可以取得比較高的識別準(zhǔn)確率，而且確保了算法的穩(wěn)定性;

3)ECCLDA和SCCLDA一樣，訓(xùn)練樣本數(shù)均是CCLDA的兩倍，但在相同的訓(xùn)練樣本數(shù)情況下，SCCLDA算法無論是識別率還是穩(wěn)定性都明顯高于ECCLDA.顯然與其他三種方法相比，SCCLDA在姿態(tài)變化情況下的識別效果更理想.

通過分析比較表1的實驗結(jié)果，可以發(fā)現(xiàn)文中幾種算法的識別效果不僅受訓(xùn)練樣本數(shù)的影響，而且原始信息的保留方式也是影響人臉識別中線性鑒別分析的重要因素.在特征提取過程中，PCA算法不僅沒有利用人臉對稱性這一先驗信息，也忽略了人臉圖像中像素之間的上下文約束關(guān)系，因此它并不是最好的信息保留方法.

2.2SCCLDA用于表情變化的人臉識別

為了驗證改進算法在人臉表情識別領(lǐng)域的可行性和有效性，我們在經(jīng)典的人臉表情數(shù)據(jù)庫JAFFE上做了實驗.

JAFFE數(shù)據(jù)庫[13]共包含10名日本成年女性的213幅表情圖像，每幅圖像的大小均為256×256.其中每個人都收集了生氣、厭惡、害怕、開心、中性、悲傷和驚訝七種基本表情各2～4幅圖像.在這部分實驗中，將JAFFE數(shù)據(jù)庫中的表情圖像分別分為訓(xùn)練樣本集和測試樣本集.其中訓(xùn)練樣本集包含70幅表情圖像，由每個人每種表情各一幅圖像構(gòu)成，剩余的143幅表情圖像用來組成測試集.實驗中首先將所有圖像都進行歸一化處理，裁剪成大小為90×90的樣本圖像，圖2為JAFFE中的部分樣本圖像及歸一化后的樣本圖像.

表2中D表示特征空間的維數(shù).表3中AN,DI,FE,HA,NE,SA,SU依次表示生氣、厭惡、害怕、高興、中性、傷心、驚訝七種表情，AVG表示不同算法在這七種表情情況下識別率的平均值.通過以上實驗結(jié)果可以發(fā)現(xiàn)

(a)原始表情圖像

(b)歸一化后的表情圖像

D=5D=15D=25D=35D=45D=55D=65LDA94.4195.8095.8095.1093.0193.0192.31CCLDA92.3196.2096.9096.2095.1094.4193.71ECCL-DA95.6297.2596.6796.7996.5696.1295.58SCCL-DA95.7597.7598.2997.9097.8197.4797.17

表3　單一表情的識別結(jié)果

1)比較整個JAFFE人臉庫上的實驗結(jié)果，可以看出四種算法的最高識別率從高到低依次為SCCLDA(98.29%),ECCLDA(97.25%),CCLDA(96.90%)和LDA(95.80%)，說明SCCLDA在表情識別上有明顯的優(yōu)勢;

2)從表3可以看出，引入上下文約束信息的CCLDA、ECCLDA和SCCLDA方法在表情鑒別效果上明顯優(yōu)于LDA算法.但總體上，SCCLDA方法的識別效果最理想;

3)通過表3的實驗結(jié)果可以發(fā)現(xiàn)，與其他算法相比，SCCLDA方法不僅在不同表情下的平均識別效果比較理想，而且即使在單一表情下的識別正確率也都提高了很多.其中在厭惡、害怕、中性、傷心和驚訝這幾種表情變化的情況下，識別效果最好，識別率均達到100%，這充分說明了SCCLDA算法在表情識別方面具有良好的魯棒性.

2.3SCCLDA用于光照變化的人臉識別

同樣，為了驗證不同方法在光照變化下，算法對于未知干擾的適應(yīng)能力，我們進一步在YaleB人臉庫[14]上(http://cvc.yale.edu/projects/yalefacesB/yalefacesB.html)采用了外推的實驗方法.

YaleB包括10個人在9種姿態(tài)、64種光照下的圖像.本文實驗重點測試算法在光照變化條件下的識別效果，因此我們只選用正臉姿態(tài)下的64種光照下的樣本圖像，共640張.在這部分實驗過程中，根據(jù)圖像采集的不同角度，將YaleB數(shù)據(jù)庫中的圖像分為5個子集，同時將人臉圖像裁剪為112×144大小，如圖3所示.

圖3　Yale B人臉數(shù)據(jù)庫中的5個子集圖像

子集1、子集2和子集5分別包含130張人臉圖像，其中子集1中圖像光源的水平角度在[0°，26°]區(qū)間，并且垂直角度在[0°，18°]區(qū)間.子集2 中選擇的圖像的光源的水平角度在[26°，52°]區(qū)間，或者垂直角度在[18°，36°]區(qū)間；而子集5中圖像的水平光源平角度在[104°，130°]區(qū)間，或者垂直角度在[72°， 90°]區(qū)間.子集3中選擇光源的水平角度在[52°，78°]區(qū)間,或者垂直角度在[36°，54°]區(qū)間的170張圖片.子集4包含80張光源的水平角度在[78°，104°]區(qū)間,或者垂直角度在[54°，72°]區(qū)間的人臉圖像.把子集1作為訓(xùn)練樣本集，然后分別在子集1 ～ 5進行測試，計算不同算法的識別錯誤率.

從圖4中的錯誤率曲線分布可以發(fā)現(xiàn)，在光照都接近前方的狀態(tài)下，4種不同方法的識別錯誤率都幾乎相同.但是伴隨著光照越來越偏離前方，不同算法的識別錯誤率變得越來越高.其中LDA算法的錯誤率增加最快，CCLDA其次，ECCLDA比CCLDA增加的緩慢，SCCLDA的錯誤率增加的最慢.因此，通過以上分析，說明在光照發(fā)生變化的情況下，通過SCCLDA方法獲得的投影特征更為有效，所以在外推的實驗中的錯誤率最低.

圖4　不同測試樣本集下的錯誤率曲線

3　結(jié)論

本文在充分考慮圖像對稱性的基礎(chǔ)上，進一步將一種融合圖像上下文約束的鑒別分析方法用于人臉識別.該方法充分利用了樣本圖像結(jié)構(gòu)之間的上下文約束關(guān)系，從而可以更好地為分類提供有效信息.并通過實驗，進一步證明了在姿態(tài)、表情和光照等外在因素變化情況下，新算法在人臉識別中的優(yōu)勢.

[1]楊瓊，丁曉青.對稱主分量分析及其在人臉識別中的應(yīng)用[J].計算機學(xué)報，2003，26(9):1146.

[2]BAUMANNF,ERNSTK,EHLERSA,etal.Symmetryenhancedadaboost[C]//Advances in visual computing 6453.Berlin:Springer,2010:286.

[3]LOYG,EKLUNDHJO.Detectingsymmetryandsymmetricconstellationsoffeatures[C]//Eccv’ob Proceedings of the 9th European Conference on Computer Vision.Berlin:Springer,2006:508.

[4]HARGUESSJ,AGGARWALJK.Isthereaconnectionbetweenfacesymmetryandfacerecognition?[C]//IEEE Computer Vision and Patter Recognition Workshops,IEEE:ColoradoSprings,2011:73.

[5]XU Yong,ZHU Xing-jie,LI Zheng-ming,et al.Using the original and‘symmetrical face’training samples to perform representation based two-step face recognition[J].PatternRecognition,2013,46(4):1151.

[6]ROYER R F.Detection of symmetry[J].JournalofExperimentalPsychologyHumanPerceptionandPerformance,1981,7(6):1186.

[7]LEYTON M.Symmetry,Causality,Mind[M].London:MIT Press,1992.

[8]KIRBY M,SIROVICH L.Application of the Karhunen-Loève Procedure for the characterization of human faces[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1990,12(1):103.

[9]SONG Y J,KIN Y G,CHANG U D,et al.Face recognition robust to left/right shadows,facial symmetry[J].PatternRecognition,2006,39(8):1542.

[10]曾岳，馮大征.一種基于人臉垂直對稱性的變形2DPCA算法[J].計算機工程與科學(xué)，2011，33(7):74.

[11]ZHEN Lei,STAN Z LI.Contextual constraints based linear discriminant analysis[J].PatternRecognitionLetters,2011,32(4):626.

[12]趙松，潘可，張培仁.對稱性在人臉識別中的應(yīng)用：對稱Fiserface[J].中國科學(xué)技術(shù)大學(xué)學(xué)報(自然科學(xué)版)，2009，39(11):1183.

[13]AKAMATSU S,KAMACHI M,GYOBA J.Coding facial expressions with gabor wavelets[C]//Proceedingsof3rdIEEEInternationalConferenceonAutomaticFaceandGestureRecognition.IEEE xpolre:coloraclo springs,1998:200.

[14]GEORGHIADES A S,BELHUMEUR P N,KRIEGMAN D J.From few to many:illumination cone models for face recognition under variable lighting and pose[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2001,23(6):643.

(責(zé)任編輯孫對兄)

A linear discriminate analysis method basedonsymmetryandcontextualconstraints

CHEN Feng

(Zhejiang Business Technology Institute,Ningbo 315012,Zhejiang,China)

Lineardiscriminateanalysis(LDA)considersthediscriminativeinformationintheprocessoffeatureextraction,butthecontextualinformationamongpixelsinthehighdimensionalspaceisnotexploited.Contextualconstraintsbasedlineardiscriminateanalysis(CCLDA)incorporatesthecontextualinformationintolineardiscriminateanalysisduringfeaturedimensionalityreduction,whichcanprovidemuchmoreusefulinformationforclassification.Inthispaper,lineardiscriminateanalysismethodbasedonsymmetryandcontextualconstraintsisproposed.Intheimprovedmethod,thesymmetryofthefacetogeneratenewsamplesisexploitedandthecontextualconstraintinimagesisconsideredtoperformfacerecognition.Moreover,toshowthesuperiorityoftheimprovedmethod,therecognitionperformanceofCCLDAistestedontheextendedsetoftheoriginalsamplesandtheimagesamples.ExperimentsareconductedtoprovetheeffectivenessofSCCLDAbyvaryingillumination,facialexpressionandposes.Moreover,theexperimentalresultsshowthattheimprovedmethodoutperformfacerecognitionmethodsincludingECCLDA,CCLDAandLDA.

contextualconstraints;symmetry;facerecognition;lineardiscriminantanalysis

10.16783/j.cnki.nwnuz.2016.04.008

2016-03-20;修改稿收到日期:2016-05-19

浙江省教育廳一般科研項目(Y201432382)

陳鳳(1979—)，女，湖北荊門人，講師，碩士.主要研究方向為模式識別、云技術(shù)和數(shù)據(jù)挖掘等.

E-mail:feng_ch1979@126.com

TP391.4

A

1001-988Ⅹ(2016)04-0032-06