吳子揚, 周大可, 楊 欣, 胡陽明

(南京航空航天大學 自動化學院, 南京 210016)

0 引 言

近年來, 由于計算機圖形學和模式識別理論的不斷發(fā)展, 基于人臉面部的應用越來越受到關(guān)注。隨著人臉檢測、 人臉識別等應用日益商業(yè)化, 人們開始認識到以圖片形式表達的人臉信息在實際處理中普遍受到光照、 姿態(tài)等多方面的制約。因此, 對人臉計算機表達的相關(guān)研究也由傳統(tǒng)的二維空間轉(zhuǎn)向三維空間。由于直接獲取人臉的三維數(shù)據(jù)需要昂貴的硬件, 故由人臉的二維圖像恢復其三維信息普遍成為當前研究的熱點[1]。

由面部圖像恢復三維信息的經(jīng)典方法是Blanz等[2,3]和Patel等[4]提出的形變模型算法, 通過對一系列的三維人臉樣本進行統(tǒng)計計算參考人臉, 求解全局優(yōu)化方程實現(xiàn)參考人臉到待重建樣本的匹配, 其本質(zhì)是線性組合思想, 即通過某一子空間的基表達該空間的具體實例。由于形變模型方法需要通過迭代求得全局最優(yōu)解, 故需要在局部細節(jié)和重建速度上做出一定的犧牲, 王成章等[5]提出了利用改進的遺傳算法求解形變因子, 在形變模型的基礎上節(jié)省了11 min以上。Blanz等[6]和胡陽明等[7]提出了通過少量特征點重建三維模型的方法, 即稀疏形變模型法。稀疏形變模型同樣利用線性組合思想, 通過對面部少量特征點近似求解優(yōu)化方程, 得到形變系數(shù), 從而完成參考模型的形變。其優(yōu)勢在于重建速度快, 且重建精度不會損失太多。后續(xù)的工作主要建立在統(tǒng)計得到的參考模型[8-10]之上, 通過不同方法對參考模型進行形變或修改以得到最終重建結(jié)果。

Liao等[11]將局部形變模型與明暗恢復(SFS: Shadow From Shading)方法結(jié)合, 對人臉的局部區(qū)域分別重建, 通過RBF(Radical Basis Function)徑向基插值得到最終結(jié)果。但由于局部形變模型較整體形變模型而言更易受到訓練樣本的影響, 且該方法需要首先在二維圖像上檢測出關(guān)鍵區(qū)域, 故統(tǒng)計得到每個區(qū)域的形變模型較困難。文獻[12,13]提出通過參考模型和待重建人臉面部灰度值計算光照反射率, 通過迭代尋優(yōu)的方法恢復整體的深度值, 但由于需要比較參考模型和待重建模型的灰度值, 該方法在很大程度上會受到光照條件的影響。為了解決單純的稀疏形變模型對人臉模型細節(jié)描述能力不夠[14]這一缺陷, 龔勛[15]提出了雙形變模型方法, 即將兩種弱形變模型結(jié)果通過加權(quán)方式結(jié)合得到最終三維重建結(jié)果。該方法對細節(jié)的表達較為豐富, 但不足在于權(quán)值的計算方法以及兩種弱形變模型參數(shù)的確定。此外, 還有部分研究集中于對原始形變模型優(yōu)化方程的改進[16,17]。

筆者在前述工作的基礎上, 通過對稀疏形變模型的研究, 提出了一種由粗到精的重建方案, 即分步重建。首先通過對部分點的稀疏重建得到一個外形相似的粗略模型, 替代原有參考模型, 并將剩余點根據(jù)新的參考模型進行第2步重建。實驗表明, 該方法在不降低重建速度的基礎上能有效提高重建精度, 為三維人臉重建的研究提供一定的借鑒, 也為后續(xù)的三維人臉識別打下基礎。

1 稀疏形變模型簡介

將三維人臉子空間Rn視為線性子空間, 其中任意一個元素都可由其余元素線性表示, 即

(1)

通常情況下, 采集到的三維人臉數(shù)據(jù)由點云組成, 而每個三維人臉的形狀信息也可用點云的坐標表示, 即Si=(x1,y1,z1,x2,y2,z2,…,xk,yk,zk)T, 其中k為點云的數(shù)目。如果直接使用所有三維人臉數(shù)據(jù)重構(gòu)新的三維人臉的計算量巨大, 一般采用主成分分析(PCA: Principal Component Analysis)理論對樣本數(shù)據(jù)庫進行降維, 得到

(2)

根據(jù)式(2)可知, 求取β需要知道測試人臉三維模型上點云的坐標信息, 但實際測量對象是二維圖片, 僅能獲取二維人臉上若干點的位置信息。文獻[6]給出了由少量二維點數(shù)據(jù)恢復整體三維人臉信息方法, 即稀疏形變模型理論。

設測量得到的二維稀疏坐標信息為d=(x1,y1,x2,y2,…,xl,yl)T∈R2l, 其中l(wèi)為二維取點的數(shù)目。設該人臉三維模型全體點坐標數(shù)據(jù)D到二維稀疏點坐標的映射關(guān)系為L, 則d=LD, 根據(jù)式(2), 可做出以下推導

(3)

LΔS=Δd=LPβ=Pfβ

(4)

Δd=Pfβ

(5)

其中Δd為關(guān)鍵特征點的二維坐標與對應平均模型上三維點坐標投影的距離,Pf代表從主成分中選取對應特征點的二維坐標集合。通常, 直接采用式(5)計算β會帶來過擬合現(xiàn)象, 故一般采用文獻[6]所述基于貝葉斯最大后驗概率的最優(yōu)解法。令目標函數(shù)為

E(β)=‖Pfβ-Δd‖2+η‖β‖2

(6)

其中η為權(quán)重系數(shù)。根據(jù)奇異值分解(SVD: Sigular Value Decomposition), 有Pf=UΛVT, 其中Λ為特征值構(gòu)成的對角矩陣,U由Pf(Pf)T的特征向量構(gòu)成,V由(Pf)TPf的特征向量構(gòu)成。這樣可得其最優(yōu)解為

(7)

將式(7)的計算結(jié)果帶入式(2), 可得到三維數(shù)據(jù)的重建結(jié)果

(8)

圖1給出擾動系數(shù)η變化對重建結(jié)果的影響。由圖1可見,η越大, 重建結(jié)果越接近平均人臉, 誤差越大；η過小會導致過匹配, 重建結(jié)果嚴重變形。

圖1 擾動系數(shù)η對重建結(jié)果的影響

2 三維人臉稀疏分步重建

a 第1步重建特征點 b 所有特征點

用于測試的二維人臉首先需要進行特征點的定位, 并將定位后的二維坐標與三維平均人臉坐標建立對應關(guān)系。這種對應關(guān)系通常通過空間坐標系到平面坐標系的投影建立, 將二維坐標轉(zhuǎn)換為圖像坐標, 其原點一般取鼻尖點； 而將三維坐標轉(zhuǎn)換為柱面坐標, 鼻尖點對應于三維坐標的(0,Ymax,0)。在實際操作中, 由于測試人臉受到光照不均或姿態(tài)不完全校正等影響, 無法準確定位出所有特征點, 特別是面部區(qū)域非顯著點。根據(jù)式(7), 所有點的信息均需要帶入運算才能求得最優(yōu)形變因子, 如果存在定位不準確的點, 將導致求得的形變因子不準確。因此, 在傳統(tǒng)的稀疏重建方法中, 二維面部每個特征點定位的精度都會直接影響重建結(jié)果的精度。

為克服一次重建存在的問題, 筆者采用三維人臉稀疏分步重建的方法。利用由粗到精的思路, 先根據(jù)面部定位較準確的關(guān)鍵特征點進行重建, 得到重建的粗略模型, 并根據(jù)第1步重建結(jié)果進行第2步重建。兩步中選取的特征點如圖2所示。

由式(8)可得到由上述特征點重建后的第1步重建結(jié)果

(9)

其中η1為第1步重建的擾動因子。

將S1作為第2步重建的參考人臉, 可得到其余特征點的二維坐標與新的參考人臉三維坐標投影的距離Δd′。在此基礎上將Δd′帶入式(6), 可得

(10)

其中η2為第2步重建的擾動因子?？梢缘玫椒植街亟ǖ淖罱K結(jié)果

(11)

在第1步重建過程中, 選擇每個區(qū)域的顯著點, 如眼角、 鼻翼和嘴角點作為重建特征點, 以確定三維人臉的大體形狀和各個區(qū)域的位置。由于選取的點較少, 一方面雖然重建出的模型細節(jié)表達不完善, 但能大體確定出待重建人臉的形狀和區(qū)域的位置； 另一方面由于每個區(qū)域只選取顯著的特征點, 避免了同一區(qū)域非顯著點對顯著點的干擾。在第2步重建過程中, 由于已得到了一個粗略的形狀模型, 故需要選取較多的特征點對該模型進行形變, 以達到對模型細節(jié)的重建。

在兩步重建的過程中, 擾動系數(shù)的選擇也應采用不同的方式。第1步重建是為得到大體形狀以及區(qū)域位置, 應選取較小的擾動系數(shù)以減小加入的干擾； 第2步重建是為得到較精確的模型, 應選取使重建結(jié)果誤差較小的擾動系數(shù)。

筆者提出的分步重建算法流程如圖3所示。

圖3 分步重建算法流程

3 實驗結(jié)果

實驗以BJUT-3D Face Database中的部分三維人臉數(shù)據(jù)為訓練樣本, 測試樣本為該庫其余樣本、 部分CAS-PEAL二維人臉數(shù)據(jù)庫以及部分現(xiàn)實照片。實驗采用的硬件環(huán)境為主頻1.80 GHz的雙核Intel CPU和2.0 GByte內(nèi)存, 軟件環(huán)境為Matlab 2012a和VC++6.0。

實驗分為兩部分。

1) 庫內(nèi)測試。訓練樣本和測試樣本均來自BJUT-3D數(shù)據(jù)庫, 選取已規(guī)范化(每個人臉由23 676個點構(gòu)成)的70個三維人臉數(shù)據(jù)作為訓練集, 30個三維人臉數(shù)據(jù)作為測試集。將測試集樣本通過正交投影得到二維數(shù)據(jù)庫, 直接在該二維庫上重建, 并與原三維信息進行比較。

2) 庫外測試。即選取已規(guī)范化的100個三維人臉數(shù)據(jù)作為訓練集, 直接對實際照片進行重建。實際照片來自CAS-PEAL二維人臉數(shù)據(jù)庫。

3.1 庫內(nèi)測試

實驗共選取人面部47個特征點, 對筆者提出的三維人臉稀疏分步重建與基于稀疏形變模型的三維重建分別進行實驗, 并與現(xiàn)有相關(guān)三維重建方法做比較。

對于三維人臉數(shù)據(jù)庫內(nèi)樣本, 由于已知其真實三維信息, 故實驗采用平均歐氏距離[6]作為重建精度評價標準, 將重建得到的三維數(shù)據(jù)與原始數(shù)據(jù)直接比較。重建精度(重建誤差)計算如下

(12)

其中So,Sr分別是兩個形狀的曲面,V是曲面上的頂點集合,Vo,Vr分別是So,Sr上的頂點。eeuc越小, 則代表重建結(jié)果與真實結(jié)果越吻合, 即重建精度越高, 重建誤差越小。

實驗第1步共選取人面部12個關(guān)鍵特征點以及3對位于邊緣輪廓上的點, 初步確定待重建人臉的臉型與關(guān)鍵區(qū)域的大體位置； 第2步采用面部其余特征點, 以確定關(guān)鍵區(qū)域的具體細節(jié)信息。對兩步重建中的擾動因子分別取值, 計算其最終重建誤差。經(jīng)過多次試驗,η1=0.85,η2=3.4時, 平均重建誤差最小。故對于測試集所有樣本, 均取η1=0.85,η2=3.4。選用稀疏形變模型(SRSD: Surface Reconstruction from Sparse Data)重建算法作比較, 部分實驗結(jié)果如圖4所示。

a 二維投影人臉 b 第1步結(jié)果 c 第2步結(jié)果 d 真實三維信息 e SRSD重建結(jié)果

由圖4可看出, 分步形變的結(jié)果更加接近真實三維人臉, 且在面部細節(jié)上與稀疏形變模型相比表現(xiàn)得更加細致。而稀疏形變模型的結(jié)果普遍與第1次形變的結(jié)果較為相似, 這是由于稀疏形變模型所選用的部分特征點對整個重建結(jié)果的影響較小, 僅采用人臉部分關(guān)鍵特征點即可形變得到初步的三維人臉重建模型。

表1 相關(guān)算法的重建誤差比較

筆者選擇與筆者相關(guān)的基于稀疏形變模型的三維人臉重建算法和文獻[17]提出的SDM(Sparse Deforming Model)算法作比較, 分別計算其歐氏距離, 最終結(jié)果為測試集上30個樣本的誤差均值。精度對比如表1所示。其中SRSD與SDM的保留主成分數(shù)目為69, 其余參數(shù)設置均參照文獻[5]和文獻[15]。

結(jié)合圖3與重建誤差實驗比較可以得出, 筆者算法與SRSD相比, 精度提高了約10%, 與SDM相比, 精度提高了1.85 mm。

實驗同時比較了不同算法的速度, 將常見三維人臉重建算法所需時間與筆者所述算法進行對比。其中SRSD和筆者算法均用Matlab 2012a實現(xiàn), 包含用于主成分分析的時間, 其余算法時間分別引自文獻[2]、 文獻[6]、 文獻[12]和文獻[8]。實驗結(jié)果如表2所示。

表2 相關(guān)算法的重建速度比較

從相關(guān)算法的速度比較可看出, 筆者提出的分步三維重建算法速度與傳統(tǒng)的稀疏形變模相比, 盡管在第1輪重建結(jié)果的基礎上引入第2輪重建, 但Matlab實現(xiàn)的算法速度與之相當(稍慢0.02 s)。與經(jīng)典的形變模型算法相比, 筆者提出的算法速度具有很大的提高。綜合重建精度和重建速度比較, 筆者提出的基于分步重建的三維人臉稀疏重建算法具有一定的優(yōu)勢。

3.2 庫外測試

該實驗采用CAS-PEAL二維人臉數(shù)據(jù)庫中POSE子集中隨機抽取的個人照片作為測試庫。對于庫中的圖片, 實驗對正臉照片進行重建, 重建的結(jié)果以不同角度的側(cè)面與數(shù)據(jù)庫中對應角度的照片進行比較, 部分實驗結(jié)果如圖5所示。

a 輸入2D圖像 b 三維重建結(jié)果 c 輸入圖像側(cè)面 d 重建結(jié)果側(cè)面 e 輸入圖像側(cè)面 f 重建結(jié)果側(cè)面

對真實照片的重建結(jié)果可看出, 筆者提出的方法能一定程度上還原二維人臉的三維信息, 相比于傳統(tǒng)的重建方法, 筆者方法能在重建精度上得到一定的提高。但由于訓練樣本庫較小, 且方法的根本是由少量點控制整體形變等原因, 三維重建的結(jié)果仍然在細節(jié)上存在一定誤差。

4 結(jié) 語

筆者在傳統(tǒng)稀疏形變模型三維人臉重建方法的基礎上, 提出了一種基于分步重建的稀疏三維重建方法, 并在BJUT-3D Face Database和CAS-PEAL數(shù)據(jù)庫中做了測試。實驗表明, 該算法能在重建速度較快的基礎上, 與經(jīng)典算法相比提高一定的重建精度。由于采用兩步重建三維人臉, 每步的特征點數(shù)量的選擇以及參數(shù)設置都會影響最終結(jié)果和重建精度, 因此, 相關(guān)參數(shù)的選擇和優(yōu)化將是進一步研究的重點。

參考文獻：

[1]徐琳, 袁保宗, 高文. 真實感人臉建模研究的進展與展望 [J]. 軟件學報, 2003, 14(4): 804-810.

XU Lin, YUAN Bao-zong, GAO Wen. Development and Prospect on Realistic Facial Modeling [J]. Journal of Software, 2003, 14(4): 804-810.

[2]BLANZ V, VETTER T. A Morphable Model for the Synthesis of 3D Faces [C]∥ Computer Graphics Proceedings, SIGGRAPH’99. New York, USA: [s.n.], 1999: 187-194.

[3]BLANZ V, VETTER T. Face Recognition Based on Fitting a 3D Morphable Model [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2003, 25(9): 1063-1074.

[4]PATEL A, SMITH W A P. 3D Morphable Face Models Revisited [C]∥Proc IEEE Conf Computer Vision and Pattern Recognition. Miami, FL, USA: IEEE, 2009: 1327-1334.

[5]王成章, 尹寶才, 孫艷豐, 等. 改進的基于形變模型的三維人臉建模方法 [J]. 自動化學報, 2007, 33(3): 232-239.

WANG Cheng-zhang, YIN Bao-cai, SUN Yan-feng, et al. An Improved 3D Face Modeling Method Based on Morphable Model [J]. Acta Automatica Sinica, 2007, 33(3): 232-239.

[6]BLANZ V, VETTER T. Reconstructing the Complete 3D Shape of Faces from Partial Information [J]. It-Information Technology, 2002, 44(6): 295-302.

[7]胡陽明, 周大可, 鹿樂, 等. 基于形變模型的三維人臉快速重建改進算法 [J]. 吉林大學學報: 信息科學版, 2012, 30(6): 605-609.

HU Yang-ming, ZHOU Da-ke, LU Le, et al. Improved 3D Fast Face Reconstruction Algorithm Based on Morphable Model [J]. Journal of Jilin University: Information Science Edition, 2012, 30(6): 605-609.

[8]胡永利. 真實感三維人臉建模及應用研究 [D]. 北京: 北京工業(yè)大學計算機科學與技術(shù)學院, 2004.

HU Yong-li. Realistic 3D Face Modeling and Its Application [D]. Beijing: School of Computer Science and Technology, Beijing University of Technology, 2004.

[9]PATEL A, SMITH W A P. Driving 3D Morphable Models Using Shading Cues [J]. Pattern Recognition, 2012, 45(5): 1993-2004.

[10]尹寶才, 何晏晏, 孫艷豐, 等. 三維人臉的非均勻重采樣對齊算法 [J]. 北京工業(yè)大學學報, 2007, 33(2): 213-218.

YIN Bao-cai, HE Yan-yan, SUN Yan-feng, et al. Nonuniform Resampling Based on Method for Pixel-Wise Correspondence between 3D Faces [J]. Journal of Beijing University of Technology, 2007, 33(2): 213-218.

[11]LIAO H B, CHEN Q H, ZHOU Q J, et al. Rapid 3D Face Reconstruction by Fusion of SFS and Local Morphable Model [J]. Journal of Visual Communication and Image Representation, 2012, 23(6): 924-931.

[12]KEMELMACHER-SHLIZERMAN I, BASRI R. 3D Face Reconstruction from a Single Image Using a Single Reference Face Shape [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2011, 33(2): 394-405.

[13]KEMELMACHER-SHLIZERMAN I, BASRI R. Molding Face Shapes by Example [C]∥Proc European Conference on Computer Vision. Graz, Austn: [s.n.], 2006: 277-288.

[14]龔勛, 王國胤. 基于特征點的三維人臉形變模型 [J]. 軟件學報, 2009, 20(3): 724-733.

GONG Xun, WANG Guo-yin. 3D Face Deformable Model Based on Feature Points [J]. Journal of Software, 2009, 20(3): 724-733.

[15]龔勛. 基于單張二維圖片的三維人臉建模 [D]. 重慶： 西南交通大學信息科學與技術(shù)學院, 2008.

GONG Xun. 3D Face Modeling Based on a 2D Image [D]. Chongqing: School of Information Science and Technology, Southwest Jiaotong University, 2008.

[16]徐成華, 王蘊紅, 譚鐵牛. 三維人臉建模與應用 [J]. 中國圖像圖形學報, 2004, 9(8): 893-903.

XU Cheng-hua, WANG Yun-hong, TAN Tie-niu. Overview of Research on 3D Face Modeling [J]. Journal of Image and Graphics, 2004, 9(8): 893-903.

[17]柴秀娟, 山世光, 卿來云, 等. 基于3D人臉重建的光照、 姿態(tài)不變?nèi)四樧R別 [J]. 軟件學報, 2006, 17(3): 525-534.

CHAI Xiu-juan, SHAN Shi-guang, QING Lai-yun, et al. Pose and Illumination Invariant Face Recognition Based on 3D Face Reconstruction [J]. Journal of Software, 2006, 17(3): 525-534.