李昕昕，龔 勛

(1.四川大學(xué)錦城學(xué)院 計(jì)算機(jī)科學(xué)與軟件工程系，成都 611731； 2.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

三維人臉建模及在跨姿態(tài)人臉匹配中的有效性驗(yàn)證

李昕昕1，龔 勛2*

(1.四川大學(xué)錦城學(xué)院 計(jì)算機(jī)科學(xué)與軟件工程系，成都 611731； 2.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 610031)

(*通信作者電子郵箱gongxun@foxmail.com)

針對現(xiàn)有三維人臉采集技術(shù)對采集場景存在諸多限制，提出了自由場景下基于多張圖像的三維人臉建模技術(shù)，并對其進(jìn)行了有效性驗(yàn)證。首先，提出一個(gè)姿態(tài)及深度值迭代計(jì)算模型，實(shí)現(xiàn)了特征點(diǎn)深度值的準(zhǔn)確估計(jì)；然后，進(jìn)行了基于多張圖像的深度值融合及整體形狀建模；最后，將深度迭代優(yōu)化算法(IPDO)與目前最優(yōu)的非線性最小二乘法(NLS1_SR)在Bosphorus Database數(shù)據(jù)集上進(jìn)行了對比，建模精度提高了9%，所重建的三維人臉模型投影圖像與二維圖像具有較高的相似度。實(shí)驗(yàn)結(jié)果表明，在大姿態(tài)變化條件下，該識別算法借助三維信息相較于未借助的情況下，其識別率可以提高50%以上。

三維人臉;人臉建模;人臉識別;多姿態(tài);跨模態(tài)

0 引言

作為公共安全的重要保障,監(jiān)控視頻數(shù)量迅速增長，如何有效、智能處理視頻圖像大數(shù)據(jù)是建設(shè)安全、智能型城市的重要保障，其中面部圖像是最重要的監(jiān)控對象。因受到成像條件以及小樣本問題的制約,面向海量人臉數(shù)據(jù)的自動(dòng)人臉識別技術(shù)在公共安防領(lǐng)域還鮮有重大成功案例,最先進(jìn)的自動(dòng)人臉識別算法在類似美國波士頓馬拉松爆炸案的恐怖案件調(diào)查過程中亦未能發(fā)揮效用。人臉識別專家Rowden等[1]于2014年進(jìn)行了關(guān)于人類與機(jī)器視覺在人臉識別問題上性能的對比研究,成果表明在戶外自由、非可控場景中,當(dāng)前最先進(jìn)、基于圖像的人臉識別技術(shù)/系統(tǒng)仍無法達(dá)到人眼辨識水平。

由于人臉天然具有三維形狀,直觀上基于三維人臉數(shù)據(jù)的識別是解決姿態(tài)問題行之有效的手段,學(xué)者采用三維面部法向量在人臉識別大挑戰(zhàn)(Face Recognition Grand Challenge, FRGCv2)三維人臉數(shù)據(jù)集[2]上獲得了99.6%的準(zhǔn)確率[3],驗(yàn)證了高質(zhì)量三維人臉數(shù)據(jù)在人臉識別問題上的有效性。但是現(xiàn)有三維人臉采集技術(shù)對距離、運(yùn)動(dòng)速度、環(huán)境光照均有嚴(yán)格要求,并不適用于自由場景下的人臉采集,因此非用戶配合的三維人臉識別從技術(shù)上還很難實(shí)現(xiàn)。圖1展示了一個(gè)可行的方案(簡稱方案1),即后臺(tái)原型數(shù)據(jù)集(Gallery)采用三維人臉數(shù)據(jù),前端測試集(Probe)依然采用二維圖像,實(shí)現(xiàn)“2D/3D”的跨模態(tài)識別,以解決訓(xùn)練數(shù)據(jù)集的小樣本問題,這類跨模態(tài)人臉識別研究剛起步；另一常見的方案(簡稱方案2)是后臺(tái)Gallery與Probe均是二維圖像,對Gallery中的人臉圖像進(jìn)行三維重建,利用三維信息克服緩解姿態(tài)變化。方案2的優(yōu)勢是便于現(xiàn)有人臉識別系統(tǒng)的改進(jìn),且不需要額外硬件輔助。針對當(dāng)前三維采集設(shè)備并未廣泛使用的情況，本文旨在研究基于圖像的三維人臉建模技術(shù),并針對三維模型用于人臉識別的有效性進(jìn)行評估。

Yi等[4]將采用方案2的方法進(jìn)一步分為4類:1)虛擬正面合成；2)多姿態(tài)投影；3)模型參數(shù)擬合；4)姿態(tài)自適應(yīng)濾波。其中基于圖像的三維人臉建模是這類方法一個(gè)關(guān)鍵問題,是本文的研究內(nèi)容。

圖1 2D/3D跨模態(tài)及基于三維重建的2D/2D人臉識別方案對比

Blanz等[5]提出的三維形變模型(3D Morphable Model, 3DMM)在三維人臉建模技術(shù)發(fā)展歷上具有里程碑意義。對3DMM的優(yōu)化、改進(jìn)也成為了該領(lǐng)域的一個(gè)熱點(diǎn)問題:學(xué)者們分別從提高建模效率[6]、融入表情因素[7]、建立完整頭部模型[8]等角度對3DMM進(jìn)一步完善和發(fā)展。為了簡化優(yōu)化過程，龔勛等[9]提出了基于特征點(diǎn)的算法，實(shí)現(xiàn)了采用單張圖像、快速的人臉建模。

近年，Kemelmacher-Shlizerman等[10]基于人臉近似朗伯(Lambertain)凸表面的假設(shè),利用球面諧波和一個(gè)三維人臉參考模型實(shí)現(xiàn)了單張人臉圖像的建模,并進(jìn)一步用互聯(lián)網(wǎng)圖片[11]和視頻[12]作為訓(xùn)練集恢復(fù)人臉形狀,但參考模型的選擇對建模結(jié)果有一定影響。

從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure From Motion, SFM)是三維重建的主流方法,近年在人臉建模方面取得了持續(xù)性的研究進(jìn)展。Lin等[13]利用5張相差近45°的圖像,實(shí)現(xiàn)了大范圍變化下高精度的人臉建模,但需要建模對象的配合; Gonzalez-Mora等[14]在SFM算法中引入線性人臉模型作為先驗(yàn)知識,以提高在噪聲、丟失信息情況下系統(tǒng)的魯棒性。還有一些專家通過多張圖像匹配點(diǎn)的對應(yīng)關(guān)系建立方程組,并用非線性最小二乘法求解關(guān)鍵點(diǎn)的深度值。

本文在基于特征點(diǎn)的形變統(tǒng)計(jì)模型[15]的基礎(chǔ)上,在SFM框架下實(shí)現(xiàn)多張圖像的三維人臉建模,旨在進(jìn)一步提高特征點(diǎn)的深度值估計(jì)精度。

1 基于圖像的三維人臉形狀建模

本文人臉建模思路采用兩步人臉建模(Two-Step Face Modeling, TSFM)方案[16]實(shí)現(xiàn)從粗到精的形狀建模。

第1步 計(jì)算特征點(diǎn)的類三維坐標(biāo)(Quasi-3D,Q-3D),(將其稱之為類三維坐標(biāo)是因?yàn)槠渥鴺?biāo)值是估計(jì)值)給定1張近正面人臉圖像I0和n張非正面圖像(I1,I2,…,In),通過計(jì)算特征點(diǎn)的深度值,由已知的二維坐標(biāo)與深度估計(jì)值組合以獲得Q-3D坐標(biāo)。

第2步 將Q-3D特征點(diǎn)輸入形變算法擬合整體形狀,實(shí)現(xiàn)面部形狀整體建模。

1.1 基于兩張圖像的特征點(diǎn)深度值估計(jì)

在輸入一張圖像的情況下,Gong等[15]提出了基于稀疏線性模型的優(yōu)化(SparseLinearModelbasedOptimization,SLMO)算法,把所有特征點(diǎn)看成一個(gè)整體,然后利用訓(xùn)練庫中的先驗(yàn)知識對缺失的特征點(diǎn)的坐標(biāo)進(jìn)行整體估計(jì)。本節(jié)將SLMO結(jié)合新的優(yōu)化算法以提高深度值估計(jì)精度。

(1)

(2)

其中,pk=(xk,yk)T,qk=(uk,vk)T分別是I0和Ii上的第k個(gè)特征點(diǎn)。

(3)

(4)

算法1 兩步深度值估計(jì)TSE算法。

步驟1 采用SLMO從I0計(jì)算特征點(diǎn)深度值的初始值z0。

步驟2

a)將特征點(diǎn)的深度值z0固定,首先利用式(4)優(yōu)化旋轉(zhuǎn)、平移參數(shù)和縮放因子,得到ω0、t0和σ0。

b)固定ω0、t0和σ0,通過求解式(4)計(jì)算特征點(diǎn)的z坐標(biāo)值。

1.2 姿態(tài)與深度迭代優(yōu)化算法

從成像模型(3)可以看出,姿態(tài)參數(shù)ω與深度值z二者相互影響，TSE算法采用了分步估計(jì)的策略。精確的姿態(tài)旋轉(zhuǎn)角度能夠進(jìn)一步提高深度值計(jì)算精度。盡管通過估計(jì)算法無法獲得絕對精確的角度值，但通過算法優(yōu)化能夠進(jìn)一步提高旋轉(zhuǎn)角的精度,進(jìn)而獲得一個(gè)折中的估計(jì)結(jié)果。另一方面，由于姿態(tài)參數(shù)ω與深度值z相互影響,要提高ω的估計(jì)精度,就需要更精確的深度值z。基于這一思路,本文提出將算法1變形為一個(gè)迭代方式,即姿態(tài)與深度迭代優(yōu)化(IterativePoseandDepthOptimization,IPDO)算法,歸納如下。

算法2 姿態(tài)與深度迭代優(yōu)化IPDO算法。

步驟1 采用SLMO從I0計(jì)算特征點(diǎn)深度值的初始值z0,初值化循環(huán)指示器i=0。

步驟2

a)將特征點(diǎn)的深度值zi固定,首先利用式(4)優(yōu)化旋轉(zhuǎn)、平移參數(shù)和縮放因子,得到ωi、ti和σi。

1.3 基于多張圖像的深度值融合及整體形變

IPDO算法解決了1張正面圖像和1張非正面圖像的深度值估計(jì),當(dāng)輸入n(>1)張非正面人臉圖像時(shí),將其與正面圖像結(jié)合,可以為每個(gè)特征點(diǎn)計(jì)算得到n個(gè)深度值,采用平均值是一個(gè)常用的策略,但當(dāng)數(shù)據(jù)量不大時(shí)(通常n∈[0,5])容易受到噪聲的影響,本文采用正態(tài)分布假設(shè)去除離群點(diǎn)。

(5)

(6)

基于特征點(diǎn)的Q-3D坐標(biāo),采用徑向基函數(shù)(RadialBasisFunction,RBF)通過調(diào)整平均人臉模型實(shí)現(xiàn)模型形變,獲得最終的三維人臉模型。

2 基于投影及相似度分析三維信息有效性評價(jià)

為了客觀評價(jià)三維人臉信息(既包括采集的高精度三維人臉,也包括重建的三維人臉)在跨姿態(tài)條件下人臉識別的有效性,本文將設(shè)計(jì)兩者方案對其進(jìn)行評價(jià),并客觀比較方案1(采用真實(shí)三維人臉模型)與方案2(采用的重建三維人臉模型)在人臉識別中的性能差異。鑒于本文的重點(diǎn)并非研究人臉識別涉及的特征提取、分類等問題,本章將以面部圖像相似度度量為手段,從如下3方面對三維人臉信息進(jìn)行評測。

1)重建的三維人臉模型的精度評價(jià)。

由于三維人臉庫中通過硬件設(shè)備采集的三維人臉模型作為人臉形狀的真實(shí)值(GroundTruth)。真實(shí)三維人臉形狀模型以及重建形狀模型分別生成深度圖,最后比較二者的差異。

2)相似度S1和S2的比較。

對于輸入的二維圖像,首先估計(jì)其旋轉(zhuǎn)角,然后將重建的三維人臉模型和真實(shí)三維人臉模型按照相應(yīng)的角度進(jìn)行投影,然后計(jì)算投影圖與原始圖像的相似度，分別用S1和S2表示。

3)三維人臉模型在跨姿態(tài)人臉識別中的作用。

在2)的基礎(chǔ)上,采用人臉識別特征提取算法對三維模型投影圖進(jìn)行特征分析,然后進(jìn)行閉集人臉識別測試,并與采用正面人臉圖像的識別率進(jìn)行對比,以驗(yàn)證三維信息在輔助人臉識別中的作用。特征提取采用局部相關(guān)分析匹配(LocalCorrelationMatching,LCM)算法[20]。

3 實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)在CPU：Inteli7 2.7GHz，內(nèi)存4GB，操作系統(tǒng)：Windows10的筆記本電腦上進(jìn)行。

3.1 測試數(shù)據(jù)集

為了驗(yàn)證文中提出深度估計(jì)算法的精度,在兩個(gè)三維人臉數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),三維數(shù)據(jù)庫中的人臉模型為特征點(diǎn)深度估計(jì)、三維人臉建模提供了用于對比的真實(shí)值(GroundTruth)。另外在二維人臉數(shù)據(jù)庫IMM_Face[21]和FERET[22]上進(jìn)行三維人臉建模,針對FERET中8個(gè)不同姿態(tài)子集進(jìn)行了識別測試以驗(yàn)證三維信息。采用的兩個(gè)三維人臉數(shù)據(jù)庫如下。

1)SWJTU-HFDB多模人臉數(shù)據(jù)庫。

針對跨模態(tài)、多模人臉識別等應(yīng)用場景,本文采集了一個(gè)西南交通大學(xué)多模數(shù)據(jù)庫(SouthwestJiaotongUniversity-HybridFaceDatabase,SWJTU-HFDB),包含同一個(gè)人4種不同模態(tài)數(shù)據(jù):1)二維高分辨率圖像(用數(shù)碼相機(jī)采集);2)二維低分辨率圖像(用監(jiān)控?cái)z像頭采集);3)三維高精度人臉模型(用結(jié)構(gòu)光設(shè)備采集);4)三維低精度人臉模型(用Kinect采集)。其中三維高精度人臉子集同時(shí)包含采集三維點(diǎn)云數(shù)據(jù)和紋理圖像,共450個(gè)人臉模型,每個(gè)三維人臉模型均標(biāo)定了76個(gè)特征點(diǎn),是本文測試用到的數(shù)據(jù)集,下文簡稱SWJTU-3D數(shù)據(jù)集。

2)Bosphorus(BS)Database三維人臉數(shù)據(jù)庫。

BS數(shù)據(jù)集[23]包括105個(gè)西方人,共4 652個(gè)人臉模型。每個(gè)模型具有22個(gè)手動(dòng)標(biāo)注的特征點(diǎn)。數(shù)據(jù)通過商業(yè)結(jié)構(gòu)光采集設(shè)備InspeckMegaCapturorII3D采集,同時(shí)采集了三維模型和紋理圖像,其中三維模型包括約35 000個(gè)頂點(diǎn),二維紋理圖像分辨率為1 600×1 200。

3.2 深度值估計(jì)精度驗(yàn)證

為了量化評估文中提出的TSE和IPDO特征點(diǎn)深度估計(jì)的性能,本文將SWJTU-3D數(shù)據(jù)集中的正面人臉模型劃分為訓(xùn)練集和測試集,每個(gè)集合包含225個(gè)模型。基于訓(xùn)練集合,生成一個(gè)平均人臉模型。為了驗(yàn)證不同姿態(tài)下的圖像的估計(jì)效果,用三維模型投影生成了6種姿態(tài)的二維圖像,分別為(10,10,0),(10,20,0),(10,30,0),(20,10,0),(20,20,0),(30,30,0)。

以三維人臉數(shù)據(jù)庫中三維人臉的特征點(diǎn)深度值為基準(zhǔn),采用兩個(gè)量化評估標(biāo)準(zhǔn)，如下所示。

(7)

(8)

2)將所有特征點(diǎn)特征值組成向量,計(jì)算相關(guān)系數(shù)c(zg,ze)[19]作為相似度對比：

(9)

首先,驗(yàn)證TSE、IPDO算法在6種不同姿態(tài)投影圖像上的深度值估計(jì)精度。如前文所述,本文方法與現(xiàn)有方法如非線性最小二乘(NonlinearLeast-Squares，NLS)[19]算法的主要區(qū)別在于初始值的設(shè)置,TSE采用SLMO估計(jì)的值進(jìn)行初始化,而NLS采用平均人臉上對應(yīng)特征點(diǎn)的深度值。用NLS-like來表示用TSE的方法進(jìn)行優(yōu)化,但采用與NLS類似的初始化方法——采用平均人臉上的特征點(diǎn)深度值。如表1所示,可以看到,不同角度對估計(jì)結(jié)果有一定的影響,但總體上波動(dòng)不大,TSE由于采用了較準(zhǔn)確的初始值,結(jié)果要優(yōu)于NLS-like算法,能夠獲得1.5mm以下的估計(jì)誤差,而IPDO算法能夠獲得1.27mm的平均估計(jì)誤差。另外,所有估計(jì)算法均優(yōu)于直接采用平均人臉模型(見Generic數(shù)據(jù))。本實(shí)驗(yàn)結(jié)果驗(yàn)證了本文的算法能夠有效地提高重建三維模型在軸方向的精度。

表1 不同角度下圖像的深度值估計(jì)對比mm

Tab.1Comparisonofdepthvalueestimationusingdifferentposesmm

算法人臉姿態(tài)角/(°)(10，10，0)(10，20，0)(10，30，0)(20，10，0)(20，20，0)(30，30，0)均值Generic2．602．602．602．602．602．602．60NLS?like1．681．641．581．771．691．611．66TSE1．531．451．351．581．451．401．46IPDO1．441．211．041．441．321．151．27注：括號里是分別繞X，Y，Z軸旋轉(zhuǎn)的角度。

為了與現(xiàn)有深度估計(jì)算法通用模型算法(GeneticAlgorithm，GA)[18]、非線性最小二乘法(NonlinearLeast-SquaresModelwithSymmetryandRegularizationterms,NLS1_SR)[14]進(jìn)行客觀對比,在BS數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。與對比文獻(xiàn)保持一致,用一張正面人臉和一張側(cè)面人臉圖像進(jìn)行估計(jì)測試,其中側(cè)面人臉圖像分別來自5個(gè)不同的子集(P_R_D,P_R_SD,P_R_SU,PR_U,YR_R10),對比結(jié)果如表2所示(其中：μ表示均值，std表示方差),可以看到,TSE與IPDO對于不同子集均具有魯棒性,其性能優(yōu)于GA和NLS1_SR算法,說明本文提出的方法性能穩(wěn)定,可為后續(xù)進(jìn)行整體三維建模提供條件。

表2 在BS數(shù)據(jù)集上不同姿態(tài)角下深度值估計(jì)精度的對比

為驗(yàn)證1.3節(jié)所提出的基于多張圖像的深度值融合策略的效果,在BS數(shù)據(jù)集上進(jìn)行了測試,結(jié)果如圖2所示,可以看到不同算法采用多張圖像均能夠有效提高估計(jì)效果,同樣地,IPDO能夠獲得最優(yōu)的結(jié)果,本文提出的兩個(gè)估計(jì)算法均優(yōu)于NLS算法。算法運(yùn)行時(shí)間對比如表3(表3中，NLS2為兩步優(yōu)化的非線性最小二乘(two-step optimization of Nonlinear Least-Squares)),可以看到在沒有進(jìn)行代碼優(yōu)化的情況下,TSE和IPDO能夠具有較高的運(yùn)行效率。

如1.2節(jié)所述,圖像旋轉(zhuǎn)角度估計(jì)會(huì)影響到深度值估計(jì),進(jìn)一步測試了TSE和IPDO在X、Y、Z三個(gè)方向上旋轉(zhuǎn)角的估計(jì)誤差,結(jié)果如圖3所示,可以看到由于IPDO進(jìn)行了迭代,角度估計(jì)的平均誤差和方差均小于TSE算法,從而也驗(yàn)證了迭代的有效性。

圖2 不同算法采用多張圖像的深度估計(jì)誤差

表3 算法運(yùn)行時(shí)間(CPU 2.7 GHz, MEM 4 GB)

Tab.3 Time costs of different methods (CPU 2.7 GHz, MEM 4 GB)

M算法時(shí)間/sM算法時(shí)間/sGA50．09SLMO0．03NLS1＿SR0．10TSE0．53NLS23．00IPDO1．72

圖3 角度估計(jì)平均誤差及方差

3.3 三維人臉重建及三維信息在多姿態(tài)人臉匹配中的作用

3.3.1 三維人臉重建性能

圖4展示了3組真實(shí)人臉照片的重建結(jié)果:分別來自公開庫IMM_Face(Informatics and Mathematical Modelling Face)[21]、FERET(The Facial Recognition Technology)[22]和BS(Bosphorus Database)[23]。左側(cè)是輸入的三維人臉照片,右側(cè)是重建的三維人臉正面、側(cè)面圖,以及相應(yīng)的幾何模型。通過這些重建結(jié)果,可以看到本文算法能夠還原出準(zhǔn)確度高的人臉形狀以及逼真的三維人臉模型。

另一方面,為了量化本文重建的三維人臉模型的精度,采用第2章的評價(jià)方案1,對BS數(shù)據(jù)庫的紋理圖像進(jìn)行重建,并與該數(shù)據(jù)庫的三維人臉模型進(jìn)行深度圖對比?；谏疃葓D像的相似度對比結(jié)果如表4,可以看到與平均模型、SRSD算法[24]、Heo等[25]的算法相比,本文IPDO+RBFs的重建結(jié)果相似度最高。

圖4 基于三維圖像的三維人臉重建效果

表4 不同算法的深度圖相似度比較

Tab.4 Comparison of similarity of depth image with different methods

算法相關(guān)系數(shù)均值相關(guān)系數(shù)方差平均模型0．8844550．056175HEO等算法[25?0．8952080．044480SRSD[24?0．8938400．049134IPDO+RBFs0．9075200．036890

3.3.2 基于三維人臉投影的多姿態(tài)人臉匹配

本節(jié)將采用第2章提出的評價(jià)方案2來驗(yàn)證三維人臉模型精度對人臉識別性能的影響。實(shí)驗(yàn)數(shù)據(jù)采用BS人臉集的5個(gè)子集(PR_D、PR_SD、PR_SU、PR_U和YR_R10)，子集的介紹請參考文獻(xiàn)[23]。對于輸入的二維圖像,首先估計(jì)其旋轉(zhuǎn)角,分別用3種三維模型(真實(shí)三維人臉模型、重建的人臉模型和平均人臉模型)按照根據(jù)該圖像姿態(tài)進(jìn)行投影,然后計(jì)算投影圖像與二維圖像之間的相似度,比較結(jié)果如圖5所示,結(jié)果表明重建的三維模型與平均模型的投影圖與原始二維圖像具有非常高的相似度,相反,真實(shí)的三維人臉投影相似度卻反而低于重建的三維模型。這一實(shí)驗(yàn)結(jié)果表明,二維人臉識別更加注重圖像外觀特征,真實(shí)三維人臉雖然有很好的深度信息,但是紋理效果通常不如重建的人臉模型光滑。因存在毛刺或者不平滑現(xiàn)象而導(dǎo)致投影圖與二維圖像的相似度不高,這一結(jié)果表明:針對二維人臉識別應(yīng)用,用于提供空間輔助信息的三維模型的準(zhǔn)確性對于識別效果影響不大,紋理圖像與對比圖像的一致性更重要。

圖5 不同三維模型下二維圖像之間相似度比較(BS數(shù)據(jù)庫)

如第2章提出的評價(jià)方案3所述,為了驗(yàn)證重建的三維人臉模型對于大姿態(tài)角度變化下的人臉識別作用,本文對FERET數(shù)據(jù)庫[22]中8個(gè)不同子集(分別是bb,bc,bd,be,bf,bg,bh,bi,角度從-60°到+60°之間變化)進(jìn)行識別測試,特征提取算法采用LGXP[26]和LCM[20],分類采用最近鄰,人臉圖像尺寸歸一化到64×64,采用傳統(tǒng)基于瞳孔位置的尺度歸一化方法，測試三種了Gallery構(gòu)建方式下的人臉識別率。

1)根據(jù)測試子集的角度,將重建的三維人臉模型進(jìn)行投影,構(gòu)建Gallery,用“3D-rec”表示;

2)根據(jù)測試子集的角度,借助平均三維模型將正面圖像合成相應(yīng)角度的圖像,構(gòu)建Gallery,用“3D-avg”表示;

3)直接采用正面人臉圖像,用“2D”表示。

實(shí)驗(yàn)結(jié)果如圖6所示,可以看到曲線趨勢有力地說明了利用三維模型相對直接采用正面圖像可以大幅提高識別率,另一方面,采用重建的三維人臉相對直接使用平均人臉模型也可以提高識別率,這就驗(yàn)證了本文三維重建的有效性。圖中表明LGXP和LCM在大角度情況下識別率并不高,主要原因如下。

1)簡單地采用與正面圖像一致的尺寸歸一化方法,即將瞳孔間距歸一化到相同尺度,通常對于正臉或者小姿態(tài)角的人臉圖像有效,并不適用于對于大姿態(tài)角下的人臉匹配。

2)僅采用特征提取和最近鄰分類,未進(jìn)行訓(xùn)練,導(dǎo)致鑒別性能不足。

圖6 基于三維模型的多姿態(tài)二維人臉識別率(FERET數(shù)據(jù)庫)

以上兩方面工作是跨姿態(tài)人臉識別研究的重點(diǎn)研究內(nèi)容,而本文旨在驗(yàn)證三維信息對于姿態(tài)變化的有效性,故并未對以上兩個(gè)問題進(jìn)行深入研究。

4 結(jié)語

本文主要研究基于圖像實(shí)現(xiàn)人臉特征點(diǎn)深度值的精確計(jì)算,進(jìn)而實(shí)現(xiàn)真實(shí)感的三維人臉建模,為人臉識別解決跨姿態(tài)問題奠定基礎(chǔ)。基于圖像的三維關(guān)鍵點(diǎn)重構(gòu)分為姿態(tài)角估計(jì)及深度值估計(jì)兩部分,二者相互影響?，F(xiàn)有方法通常將其融合在一起統(tǒng)一計(jì)算導(dǎo)致深度值估計(jì)精度低,本文提出一個(gè)姿態(tài)及深度值迭代計(jì)算模型,實(shí)現(xiàn)了高精度的特征點(diǎn)深度值估計(jì)。進(jìn)一步研究了多組深度值融合及整體形狀建模。實(shí)驗(yàn)結(jié)果表明,重建的三維人臉形狀接近真實(shí)模型,其投影圖像與二維圖像具有較高的相似度,驗(yàn)證了本文重建的三維人臉模型投影圖像與二維圖像具有較高的相似度,為下一步研究大姿態(tài)變化條件下人臉識別提供了有效手段。

References)

[1] ROWDEN L B, BISHT S, KLONTZ J C, et al.Unconstrained face recognition: establishing baseline human performance via crowdsourcing [C]// Proceedings of the 2014 IEEE International Joint Conference on Biometrics.Piscataway, NJ: IEEE, 2014: 1-8.

[2] PHILLIPS P J, SCRUGGS W T, O’TOOLE A J, et al.FRVT 2006 and ICE 2006 large-scale experimental results [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(5): 831-846.

[3] MOHAMMADZADE H, HATZINAKOS D.Iterative closest normal point for 3D face recognition [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 381-397.

[4] YI D, LEI Z, LI S Z.Towards pose robust face recognition [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2013: 3539-3545.

[5] BLANZ V, VETTER T.A morphable model for the synthesis of 3D faces [C]// Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques.New York: ACM, 1999: 187-194.

[6] PATEL A, SMITH W A P.3D morphable face models revisited [C]// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2009: 1327-1334.

[7] WANG S, LAI S.Reconstructing 3D face model with associated expression deformation from a single face image via constructing a low-dimensional expression deformation manifold [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(10): 2115-2121.

[8] BUSTARD J D, NIXON M S.3D morphable model construction for robust ear and face recognition [C]// Proceedings of the 2010 IEEE Conference Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 2582-2589.

[9] 龔勛，王國胤.基于特征點(diǎn)的三維人臉形變模型[J].軟件學(xué)報(bào)，2009,20(3):724-733.(GONG X, WANG G Y.3D face deformable model based on feature points [J].Journal of Software, 2009, 20(3):724-733.)

[10] KEMELMACHER-SHLIZERMAN I, BASRI R.3D face recon-struction from a single image using a single reference face shape [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(2): 394-405.

[11] KEMELMACHER-SHLIZERMAN I.Internet-based morphable model [C]// Proceedings of the 2013 IEEE International Conference on Computer Vision.Piscataway, NJ: IEEE, 2013: 3256-3263.

[12] SUWAJANAKORN S, KEMELMACHER-SHLIZERMAN I, SEITZ S.Total moving face reconstruction [C]// Proceedings of the 2014 European Conference on Computer Vision.Berlin: Springer, 2014: 796-812.

[13] LIN Y, MEDIONI G, CHOI J.Accurate 3D face reconstruction from weakly calibrated wide baseline images with profile contours [C]// Proceedings of the 2010 IEEE International Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2010: 1490-1497.

[14] GONZALEZ-MORA J, DE LA TORRE F, GUIL N, et al.Learning a generic 3D face model from 2D image databases using incremental structure from motion [J].Image and Vision Computing, 2010, 28(7): 1117-1129.

[15] GONG X, WANG G Y.Example-based learning for depth estimation of facial landmarks and its application in face modeling [J].Chinese Journal of Electronics, 2010, 19(4): 676-680.

[16] GONG X, WANG G Y, LI X X, et al.A statistical two-step method for 3D face reconstruction from single image [J].Chinese Journal of Electronics, 2011, 20(4): 671-675.

[17] KENNEDY J, EBERHART R.Particle swarm optimization [C]// Proceedings of the 2013 IEEE International Conference on Neural Networks.Piscataway, NJ: IEEE, 1995: 1942-1948.

[18] KOO H, LAM K.Recovering the 3D shape and poses of face images based on the similarity transform [J].Pattern Recognition Letters, 2008, 29(6): 712-723.

[19] SUN Z, LAM K, GAO Q.Depth estimation of face images using the nonlinear least-squares model [J].IEEE Transactions on Image Processing, 2013, 22(1): 17-30.

[20] DE MARSICO M, NAPPI M, RICCIO D, et al.Robust face recognition for uncontrolled pose and illumination changes [J].IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, 2013, 43(1): 149-163.

[21] NORDSTROM M M, LARSEN M, SIERAKOWSKI J, et al.The IMM face database — an annotated dataset of 240 face images [R].Copenhagen, Denmark: Technical University of Denmark, 2004.

[22] PHILLIPS P J, WECHSLER H, HUANG J, et al.The FERET database and evaluation procedure for face-recognition algorithms [J].Image and Vision Computing, 1998, 16(5): 295-306.

[23] SAVRAN A, ALYUZ N, DIBEKLIOGLU H, et al.Bosphorus database for 3D face analysis [M]// Biometrics and Identity Management.Berlin: Springer, 2008: 47-56.

[24] BLANZ V, MEHL A, VETTER T, et al.A statistical method for robust 3D surface reconstruction from sparse data [C]// Proceedings of the 2nd International Symposium on 3D Data Processing, Visualization.Washington, DC: IEEE Computer Society, 2004: 293-300.

[25] HEO J, SAVVIDES M.Rapid 3D face modeling using a frontal face and a profile face for accurate 2D pose synthesis [C]// Proceedings of the 2011 IEEE International Conference on Automatic Face & Gesture Recognition.Piscataway, NJ: IEEE, 2011: 632-638.

[26] XIE S, SHAN S, CHEN X, et al.Fusing local patterns of Gabor magnitude and phase for face recognition [J].IEEE Transactions on Image Processing, 2010, 19(5): 1349-1361.

This work is partially supported by the National Natural Science Foundation of China (61202191), the Natural Science Key Projects of Sichuan Provincial Department of Education (16ZA0422).

LI Xinxin, born in 1981, M.S., associate professor.Her research interests include artificial intelligence, pattern recognition, networking protocol test.

GONG Xun, born in 1980, Ph.D., associate professor.His research interests include artificial intelligence, pattern recognition, 3D modeling.

3D face modeling and validation in cross-pose face matching

LI Xinxin1, GONG Xun2*

(1.DepartmentofComputerScienceandSoftwareEngineering,JinchengCollegeofSichuanUniversity,ChengduSichuan611731,China;2.CollegeofInformationScienceandTechnology,SouthwestJiaotongUniversity,ChengduSichuan610031,China)

Since the existing 3D face acquisition technology has many restrictions on gathering scene, a 3D face reconstruction technology based on several images was proposed, and its validation was verified.First, an iterative computing model of pose and depth value estimation was proposed to implement the accurate estimation of feature depth.Then the depth values integration based on several images and shape modeling were further investigated.Finally, the Iterative Pose and Depth Optimization (IPDO) algorithm was compared with Nonlinear Least-Squares Model with Symmetry and Regularization terms (NLS1_SR) on Bosphorus database, the modeling precision was improved by 9%, and the projected image of 3D model is similar to the 2D inputted image.The experimental results show that under the condition of big pose change, the proposed recognition algorithm assisted by 3D information can improve the recognition rate of more than 50%.

3D face; face modeling; face recognition; multiple view; cross-modality

2016-08-30;

2016-09-24。

國家自然科學(xué)基金資助項(xiàng)目(61202191);四川省教育廳自然科學(xué)重點(diǎn)課題(16ZA0422)。

李昕昕(1981—)，女，四川樂至人，副教授，碩士，主要研究方向：人工智能、模式識別、網(wǎng)絡(luò)協(xié)議測試； 龔勛(1980—)，男，湖南永順人，副教授，博士，CCF會(huì)員，主要研究方向：人工智能、模式識別、三維建模。

1001-9081(2017)01-0262-06

10.11772/j.issn.1001-9081.2017.01.0262

TP391.413

A