肖志濤，伊 靚，李月龍，張 芳，耿 磊，吳 駿

（1.天津工業(yè)大學電子與信息工程學院，天津 300387；2.天津工業(yè)大學計算機科學與軟件學院，天津 300387）

基于篩選評估準則的非正面人臉合成方法

肖志濤1，伊 靚1，李月龍2，張 芳1，耿 磊1，吳 駿1

（1.天津工業(yè)大學電子與信息工程學院，天津 300387；2.天津工業(yè)大學計算機科學與軟件學院，天津 300387）

針對傳統(tǒng)方法合成的正面人臉圖像中信息丟失和變形的問題，提出了一種基于篩選評估準則的非正面人臉圖像合成方法.人臉篩選評估準則融合了臉部對稱性、正臉差異水平和人臉水平扭轉角度3方面信息，其中人臉水平扭轉角度利用細節(jié)上的眼部信息來評價人臉的正面水平，而臉部對稱性和正臉差異水平分別對人臉的左右和垂直方向進行整體評價，綜合這三方面信息可有效地排除低質量側臉圖像對合成正臉圖像的干擾.首先進行標記點檢測跟蹤，然后基于此對同一人的多幅側臉圖像進行篩選，最后進行插值運算合成正面人臉，并在FERET圖像庫中對該方法進行實驗驗證.結果表明：通過本文篩選準則可有效濾除合成中低質量、強干擾的側臉圖像，可降低姿態(tài)問題對人臉識別精度的干擾，最終合成精確逼近真實正面人臉的合成圖像.

非正面人臉合成；篩選評估準則；人臉識別

隨著科學技術的不斷發(fā)展，人們對于人臉識別技術的期望越來越高，姿態(tài)多樣性這個困擾人臉識別研究的主要難題也日漸為學術界所重視.能將非正面人臉矯正為正面人臉的圖像合成技術已成為模式識別等方向的主要研究熱點[1].目前合成方法主要分為基于三維模型的方法和基于二維模型的方法[2].基于三維模型的人臉合成方法主要利用圖形學和幾何變換的方法將三維圖像投影還原成二維圖像.Blanz等[3]利用大量三維人臉數據的樣本構建三維可變模型，該模型將二維人臉圖像進行匹配，獲取人臉三維的外形和紋理上的參數，最后合成正面人臉圖像，該方法的合成結果逼近真實情況，但其數據量較大，訓練和優(yōu)化過程十分耗時.Ramnath等[4]建立了一個由三相機標定構建的三維形狀模型，該方法可以實現(xiàn)更好的視角匹配魯棒性；Liebelt等[5]提出了由深度相機獲取的深度信息來表示三維形狀的方法，該方法具有較好的匹配性能.但是上述兩篇文獻中只有側臉圖像合成正臉圖像的二維形狀，而無法實現(xiàn)正臉紋理的合成.基于二維圖像的正面人臉合成方法無須建立三維模型，因而在實際中操作簡單，運算速度快，因此近年來被廣泛應用.Chai等[6]提出了局部線性回歸的方法，將圖像劃分為許多重疊的、大小相等的矩形塊，這種方法合成的圖像自然、平滑，而且較接近真實值，但這種矩形分塊的方法需要去除臉頰的紋理來保持對應紋理塊的一致性，因此合成后的正臉圖像中僅包含人臉正面中心區(qū)域.Kim等[7]提出了子空間回歸方法，與文獻[6]中提到的局部線性回歸方法不同的是，對圖像經主成分分析（principal component analysis，PCA）降維后的數據做線性回歸，大大地提高了線性回歸的效率，但是由于這是一種全局的回歸方法，因此其合成圖像的效果不如局部線性回歸的方法.Alba-Castro等[8]提出了對稱輔助正臉合成算法（symmetry-aided frontal view synthesis，SFVS），是一種以點分布模型（point distribution model，PDM）和正面人臉對稱性為基礎的合成方法，但該方法會造成人臉不自然，對稱之后的人臉特征（例如痣、疤痕等）會存在丟失或者多余的情況.杜志軍等[9]提出基于主動形狀模型（active shape models，ASM）的人臉合成方法，通過研究側臉和正臉之間的映射關系來合成正面人臉，該方法計算速度快，定位精度高.但是，伴隨著視頻監(jiān)控系統(tǒng)的普及，待處理的非正臉圖像的數目增長得越來越快，因此從視頻中采集的圖像有可能存在姿態(tài)變化較大、臉部信息嚴重缺損或者側臉圖像發(fā)生畸變等現(xiàn)象.這些圖像可能會導致合成的正臉圖像信息大量缺失，對人臉識別造成干擾.針對上述問題，本文提出了一種基于篩選評估準則的人臉合成方法.其中評估準則包括人臉水平扭轉角度、臉部對稱性和正臉差異水平，實現(xiàn)對人臉的細節(jié)方面以及左右、上下方向的整體方面的評估.本文方法具體分為3部分：①采用ASM算法對輸入的人臉圖像進行檢測定位，確定人臉的精確位置；②本文提出一種對低質量的側臉圖像進行篩選的方法，縮小了合成后的正臉與標準圖像間的差異，同時保證得到的正臉圖像自然并接近真實人臉；③利用Delaunay三角剖分方法，并依據紋理映射關系，對轉正的正臉中信息缺失的部分進行插值運算，最終合成正面人臉圖像.本文提出的方法可有效地排除低質量側臉圖像的干擾，進而有效地合成逼真的正面人臉圖像，提升了人臉識別的精度.

1 人臉標記點定位

本文方法是以人臉輪廓標記點為基礎的，輪廓標記點定位是計算機視覺經典研究問題，目前已有眾多成熟的方法.人臉特征點定位是為了準確描述人臉輪廓，尋找有用的關鍵點，為后面的篩選準則和正則化提供精確的特征信息.本文選用Cootes等[10]提出的ASM算法.ASM計算快速，標記點定位精度高，可以局限整體外形模型，且對遮擋、姿態(tài)和光照變化有一定的魯棒性，可以準確定位側臉圖像的主要輪廓.定位算法主要分為3步：

（1）通過對人臉的訓練集中大批訓練樣本的外形實例進行統(tǒng)計，選用Procrustes Analysis方法[11]對所有外形進行對齊.

（2）對對齊后的外形做PCA分析，構造可以反映目標物體外形變化規(guī)律的外形統(tǒng)計模型，其模型公式為：

（3）定位側面人臉的標記點，首先采用局部紋理模型在標記點周圍進行搜索，接著利用外形模型對標記點集合進行外形限制，并在二者之間進行反復迭代，最后收斂至標準外形，完成標記點定位.人臉輪廓標記點的結果如圖1所示.

圖1 人臉標記點定位結果Fig.1 Location results of facial marking points

2 側面人臉圖像的篩選

在視頻中可能會采集到姿態(tài)變化較大或者不符合人臉定位的非正臉圖像，這些偏轉角度大的人臉圖像存在嚴重的自遮擋，無法實現(xiàn)正臉圖像合成.除此之外，如圖2所示，每幅圖從直方圖、局部二值模式（local binary pattern，LBP）[12]進行比較，可以看出正側臉之間也存在較大的差異.因此選取偏離正面人臉姿態(tài)較小的人臉圖像作為待合成的側臉圖像具有極為重要的現(xiàn)實意義.本文提出細節(jié)與整體相結合的正面人臉水平評價準則，該準則融合了人臉水平扭轉角度、臉部對稱性和正臉差異水平3部分，可以兼顧細節(jié)和整體性特征進行判斷，多方面評價人臉的正面水平，從而很好地排除低質量側臉圖像對合成的正臉圖像的干擾.本節(jié)將具體介紹該準則，并在測試集中檢驗各個準則的效果.

圖2 一個人不同圖像及其直方圖和LBPFig.2 Different images of same person and its histogram，LBP

2.1 人臉水平扭轉角度

測量人臉水平扭轉角度的目的是評估水平方向扭轉的程度，人臉水平扭轉角度實現(xiàn)了對側面人臉細節(jié)方面的評價.根據人臉標記點定位的結果，從中選取4個標記點，分別是人臉的最外2標記點a、b和眼睛的尾部標記點c、d，如圖3所示.

圖3 側面人臉標記點選取結果Fig.3 Selected results of non-frontal face marking points

計算眼睛尾部標記點和最近的最外一點的距離，根據比例換算可以計算出偏離正臉的水平扭轉角度.設l1為a、c之間的距離，l2為b、d之間的距離，m為人臉圖像的序號，水平扭轉角度R(m)計算的表達式為：

在公式（2）中，當l1＞l2時，側臉人臉的水平扭轉角度的結果為負，側臉為向右扭轉；相反，人臉扭轉角度結果為正，側臉為向左扭轉.針對圖4所示圖像，計算人臉水平扭轉角度，結果如表1所示.

圖4 人臉扭轉角度Fig.4 Facial torsion angle

表1 人臉扭轉角度計算結果Tab.1 Calculated results of facial torsion angle

隨機選取實驗樣本進行實驗，其結果與理論結果的誤差在±3°之間，所得結果沒有明顯的偏差.由此說明，公式（2）可以準確地計算出人臉水平扭轉角度.

2.2 臉部對稱性

測量水平扭轉角度是為了估計水平方向的扭轉程度，而臉部的表情變化會影響上述的測量結果.因此本文在評價準則中加入臉部對稱性，實現(xiàn)人臉水平方向的整體評價.該準則根據眼睛的中心線對I(m)進行左右劃分，設和分別是人臉圖像I(m)的左邊和右邊區(qū)域.為了量化人臉的對稱性，采用歐式距離計算與中相應像素間的差異，其表達式為

圖5 人臉對稱性的差異值結果Fig.5 Differences results in facial symmetry

2.3 正臉差異水平

以上兩個測量標準可以適用于水平方向扭轉的測量.然而如果人臉是垂直方向進行扭轉，那么采用上述兩個測量標準評估側臉的扭轉程度時就會出現(xiàn)錯誤.針對該問題，本文給出了人臉垂直方向的整體評價.首先，每一幅側臉圖像采用ASM算法合成對應的正臉圖像；然后，采用歐式距離計算側臉與對應的正臉之間的像素差值，表征正臉差異水平，如圖6所示；最后使用正臉差異水平來評價人臉垂直方向的扭轉程度.

圖6 正臉差異水平的計算結果Fig.6 Calculation results of facial value of difference

由圖6可以看出，垂直方向扭轉角度越小，對應的正臉越接近逼真的正面人臉，正臉差異水平值越小.對同一人的多幅側臉的正臉差異水平值進行大小排序，正臉差異水平值越小，作為待合成的輸入源圖像的概率越高.

2.4 篩選準則

基于上述3個方面，本文提出側臉篩選評估準則來選出待合成的輸入源圖像.盡管有不同的測量結果，但是3個方面是互相聯(lián)系和互相控制的.通過利用3個獨立質量評價指標結果的加權來獲得每個人臉圖像I(m)的整體質量評價值其表達式為：

式中：m為人臉圖像的序號；R(m)為第m幅圖像水平扭轉角度的弧度值；Rmax和Rmin分別表示全部R(m)中的最大值和最小值；Qa值的范圍為[0，1]，Qa隨扭轉角度R(m)變大而減小.

式中：S(m)為左右區(qū)域之間的差異值；Smax和Smin分別表示全部S(m)中的最大值和最小值；值的范圍為[0，1]，S(m)越大，評價指標越小.

為了實現(xiàn)3種質量評價指標的最佳合成，使用文獻[13]中的學習方法來確定其評價因素：首先在訓練集中對參數進行初始設定，然后在一定范圍內將參數進行循環(huán)變化，直至結果盡可能與目標結果相近，記錄下最終參數，最后用于實際情況中.由于評價因素λa、λs、λc的取值范圍為[0，1]，因此，初始設定λa=0，λs= 0，λc=1，步長大小為0.02，對λa=0、λs=0進行循環(huán)增加且同時滿足λc=1-λa-λs，監(jiān)測圖像誤差的計算結果，最終選擇最小圖像誤差來確定.隨機選取實驗樣本中100個人的4幅側臉圖，當影響因素取值為λa= 0.4，λs=0.4，λc=0.2時，篩選出來的人臉圖像和預期待合成輸入源圖像一致，因此根據上述因素值對其余樣本圖像進行篩選可以得到合成效果好的側臉圖像.

圖7 篩選Qall的計算結果Fig.7 Calculation results of Qallvalue

3 人臉正則化

人臉正則化是基于側臉圖像的像素信息來實現(xiàn)正臉圖像的紋理填充，最終得到完整的正面圖像.首先，對ASM得到的人臉均值形狀和篩選后待合成的側臉圖像形狀分別進行Delaunay三角剖分，其中人臉均值形狀是第2節(jié)中所述的訓練集的人臉均值形狀其結果如圖8所示.

圖8 人臉圖像Delaunay三角剖分結果Fig.8 Delaunay triangulation results of facial images

然后，基于三角剖分分成若干三角形的集合，三角形內部對應點如圖9所示，可以看出，三角形的紋理映射關系在像素點上一一對應.

設 p1，p2，p3的3個坐標分別為（x1，y1），（x2，y2），（x3，y3），紋理映射關系為

圖9 三角形內部對應點Fig.9 Corresponding points inside triangle

式中：p1，p2，p3分別為側面人臉通過Delaunay三角剖分后其中一個三角形的頂點；p（x，y）為其三角形中的任意一點.

三角形的每個像素點都對應一組參數值（α，β，γ），而且在三角形內部的點都符合前提：0≤α，β，γ≤1.由式（8）得到參數（α，β，γ），并利用該參數得到點p在正臉圖像的對應三角形中的對應點p′（x′，y′）：

本文在借鑒CDP項目分類標準的基礎上，參考環(huán)保部公布的 《上市公司環(huán)境信息披露指南》，并結合樣本公司碳信息披露的實際情況，建立了涵蓋戰(zhàn)略規(guī)劃、治理架構、風險或機遇識別、碳排放核算四大類的上市公司碳信息披露評價體系。在碳信息披露評價體系的框架下，運用Python軟件實現(xiàn)對樣本公司所披露文件的內容爬取與文本分析，最后通過算法匯總企業(yè)碳信息披露所獲得分。碳信息披露評價體系見表1。

最終，通過上述紋理關系進行插值來獲得正臉圖像，如圖10所示.

圖10 側面人臉正則化的結果圖Fig.10 Resulting figures of non-frontal face regularization

通過人臉的三角化，創(chuàng)建平均正面人臉和側面人臉之間紋理的對應關系，由圖10可以看出，本文方法的人臉正則化結果真實逼近標準正面人臉.

4 實驗結果與分析

本文實驗是在FERET人臉數據的一個子集上進行的，其中包括200個人，每個人有5幅姿態(tài)不同的圖像，分別為ba（+0°），bd（+25°），be（+15°），bf（-15°）和bg（-25°）.隨機抽取100人作為圖像訓練集，用于ASM定位以及人臉均值形狀的確定，其余100人的圖像測試集用來定性和定量評估本文方法.

4.1 合成正臉圖像方法的比較

對于正則化后的正臉集，本文進行加權平均合成正臉來評價篩選評估準則.將本文方法合成的正臉圖像分別與對應的標準正臉圖像、ASM合成的圖像[9]、SFVS合成的圖像[8]進行比較，結果如圖11所示.

圖11 合成的正面人臉結果比較Fig.11 Comparison results of the synthetic frontal face

由圖11可以看出，在每組圖像中，SFVS算法合成的圖像與標準正臉有比較大的差異，而且在一定程度上改變了人臉的身份特征；ASM合成的圖像在細節(jié)特征上有著明顯的圖像信息缺失；本文合成的正臉圖像與標準正臉圖像更為接近.因此保留姿態(tài)較小的側臉圖像可以有效地降低姿態(tài)問題對合成的影響.

4.2 定量實驗

為了進一步評價合成效果，本文通過定量實驗來評估該方法，運算時間、圖像保真度和相似度3個方面對本文方法及其他合成方法性能進行評價，采用均方差來描述圖像的保真程度，同時通過計算兩幅圖像的直方圖歸一化的相似系數來評價合成結果與標準正臉之間的相似度，結果如表2所示.

表2 合成圖像的定量評價Tab.2 Quantitative evaluation of synthetic images

由表2可以看出，本文方法與ASM的運算時間接近，且本文方法的圖像保真度以及相似度皆優(yōu)于其他方法.

圖12所示為累計匹配分數（cumulative match score，CMS）[14]形式呈現(xiàn)的識別結果.本文采用庫中100個不同人臉圖像，圖中橫坐標為結果圖與標準圖之間的相似度等級，縱坐標則用相應等級的匹配圖像個數的累計百分比來評價人臉識別結果.曲線越高且上升速度越快，則人臉識別效果越好.

由圖12可以看出，本文方法的曲線上升速度最快且最早到達“1”，因此采用本文方法合成得到的正臉圖像可以大大提高人臉識別的精度.

圖12 合成正面人臉圖像在人臉識別中的表現(xiàn)Fig.12 Performance of synthetic frontal face images in face recognition

5 結束語

本文提出了一種基于側臉篩選評估準則的非正面人臉圖像合成方法.該方法首先通過篩選的方式選出有利于合成正面人臉的源信息，從而有效減小在正面人臉合成下進行扭曲變換的幅度，使合成圖像更加自然，逼近真實.本文提出的篩選評估準則，綜合了人臉水平扭轉角度、臉部對稱性和正臉差異水平，從細節(jié)到整體全方位評價源信息的正面水平，有助于篩選出最接近正面人臉的信息，從而有效提升合成圖像的真實水平.

[1] 李月龍，封舉富.基于最小扭曲變換的正面人臉圖像合成[J].計算機輔助設計與圖形學學報，2001，23（6）：1085-1090.

[2] 趙林，高新波，田春娜.正面人臉圖像合成方法綜述[J].中國圖象圖形學報，2013，18（1）：1-10.

[3] BLANZ V，VETER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（9）：1063-1074.

[4]RAMNATH K，KOTERBA S，XIAO J.Multi-view AAM fitting and construction[J].International Journal of Computer Vision，2008，76（2）：183-204.

[5] LIEBELT J，XIAO J，YANG J.Robust AAM fitting by fusion of images and disparity data[C]//2006 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.New York：IEEE Press，2006：2483-2490.

[6] CHAI X，SHAN S，CHEN X.Locally linear regression for pose-invariant face recognition[J].IEEE Transactions on Image Processing，2007，16（7）：1716-1725.

[7]KIM M，ZHANG Z，TORRE F.Subspace regression：Predicting a subspace from one sample[EB/OL].[2012-05-02].http：//www.humansensing.cs.cmu.edu/projects/mikim.html.

[8]GONZáLEZ-JIMéNEZ D，ALBA-CASTRO J L.Symmetryaided frontal view synthesis for pose-robust face recognition[C]// IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）.Hawaii：IEEE Press，2007：237-240.

[9] 杜志軍，王陽生.利用主動外觀模型合成動態(tài)人臉表情[J].計算機輔助設計與圖形學學報，2009，21（11）：1590-1594.

[10]COOTES T，TAYLOR C，COOPER D.Active shape modelstheir training and application[J].Computer Vision Image Understanding，1995，61（1）：38-59.

[11]ZOLTOWSKI M D，STAVRINIDES D.Sensor array signal processing via a procrustes rotations based eigenanalysis of the ESPRIT data pencil[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1989，37（6）：832-861.

[12]王瑋，黃非非.使用多尺度LBP特征描述與識別人臉[J].計算機輔助設計與圖形學學報，2009，21（11）：1590-1594.

[13]JAIN A，NANDAKUMAR K，ROSS A.Score normalization in multimodal biometric systems[J].Pattern Recognition，2005，38（12）：2270-2285.

[14]PHILLIPS P J，MOON H，RIZVI S.The FERET evaluation methodology for face-recognition algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（10）：1090-1104.

Non-frontal face image synthesis method based on source screening criteria

XIAO Zhi-tao1，YI Jing1，LI Yue-long2，ZHANG Fang1，GENG Lei1，WU Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.School of Computer Science and Software Engineering，Tianjin Polytechnic University，Tianjin 300387，China）

To solve the problem of information missing and deformation of the traditional synthesized frontal face image，a non-frontal face image synthesis method based on source screening criteria is proposed.The source screening criteria combines the facial symmetry，the frontal face image differences level and the horizontal rotating angle. The horizontal rotating angle uses the details of the eye information to assess the level of the front face.The leftto-right and vertical direction is separately assessed according to the facial symmetry and the frontal face image differences level.Combining these three aspects can availably exclude interference of low-quality non-frontal face image in synthesizing the frontal face.Firstly，marking points are detected and tracked.Then，multi-view face images of same person are screened to obtain the high-quality，low-interference non-frontal face images as the best synthetic input source images.Finally，frontal face images are synthesized by calculated interpolation. Experimental findings on the FERET databases demonstrate that the source screening criteria can availably screen out low-quality，strong-interference non-frontal face images and reduce the impact of pose questions on the precision of face recognition algorithm effectively.The synthesized frontal view face can approximate the ground truth frontal view face.

non-frontal face image synthesis；source screening criteria；face recognition

TP391

A

1671－024X（2015）02－0069－06

2014-12-15

國家自然科學基金資助項目（61302127，11326198）；天津市高等學?？茖W發(fā)展基金計劃項目（20120805）

肖志濤（1971—），男，教授，博士生導師，研究方向為圖像處理與模式識別.E-mail：xiaozhitao@tjpu.edu.cn.