孫建偉

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065）

0 引言

人臉是人臉信息傳遞的載體，隨著近幾年來生物特征識(shí)別領(lǐng)域的快速發(fā)展，人臉相關(guān)的研究更是成為了熱門的研究對(duì)象。而真實(shí)感的三維人臉建模也逐漸成為人臉研究中一個(gè)熱點(diǎn)問題。技術(shù)的發(fā)展，生活質(zhì)量的提高，我們注意到三維人臉建模在多種領(lǐng)域中起著重要的作用，更是在計(jì)算機(jī)視覺、醫(yī)學(xué)研究、游戲娛樂、等都具有廣大的應(yīng)用前景。

人臉形狀建模主要有兩類：一種是通過使用三維掃描設(shè)備直接建立三維模型，另一種則是根據(jù)二維圖像重建出三維人臉模型。第一種建模方法采用主動(dòng)式的方法獲得數(shù)據(jù)，其優(yōu)點(diǎn)是能夠得到較為精確的人臉模型，但是只能在特定的環(huán)境下使用。相比較而言，第二類方法更具有普遍性，適用更多的場(chǎng)景，缺點(diǎn)就是重建的模型精度不高，推廣到現(xiàn)實(shí)中需要一定的時(shí)間。

第二類重建方法有多種，而形變模型是第二類重建算法中的代表，它能夠解決在沒有任何約束下基于單張圖像的三維形狀重建所存在的病態(tài)問題，該方法主要依據(jù)現(xiàn)有的三維人臉庫作為先驗(yàn)知識(shí)，對(duì)人臉進(jìn)行約束，從而實(shí)現(xiàn)人臉重建。

現(xiàn)實(shí)中對(duì)于給定的一張人臉來說，往往帶有各種表情，例如驚訝、微笑、沮喪等。這些表情的變化通常成為人臉重建中需要解決的問題。因此探索在基于形變模型的基礎(chǔ)上添加表情模型，對(duì)帶有表情的人臉進(jìn)行三維重建具有重要的意義。本文就提出在基于形變模型基礎(chǔ)上帶表情的三維人臉重建，其主要思想是借助二維特征點(diǎn)反映的表情信息，讓三維形狀產(chǎn)生一定的形變，最終重建出人臉模型。

1 形變模型重建原理

形變模型是一種組合線性模型[1]，不同的線性組合則會(huì)重建出不同的人臉模型，其重建的過程主要分為兩個(gè)階段：一是通過獲取的三維人臉原型數(shù)據(jù)建立組合模型；二是通過特定的圖像實(shí)現(xiàn)模型的匹配。

1.1 建立組合模型

為了可以通過統(tǒng)一的向量形式來表示一個(gè)人臉模型，需對(duì)原型人臉進(jìn)行稠密對(duì)齊，從而使得各對(duì)應(yīng)三維點(diǎn)所代表的物理意義相同。每個(gè)三維人臉包含形狀信息和紋理信息。因此，稠密對(duì)齊后的人臉模型用向量表示為：

其中Si和Ti分別表示的是第i個(gè)人臉的三維形狀向量以及紋理向量，N是人臉數(shù)量，n代表三維人臉點(diǎn)的個(gè)數(shù)。

稠密對(duì)應(yīng)后的人臉向量可以通過線性表示成任何一個(gè)新的人臉模型：

其中ai，bi為組合系數(shù)，同時(shí)ai，bi各自的系數(shù)和為1。

由于原始人臉數(shù)量過多，這里我們通過主成分分析法（PCA）對(duì)形狀向量和紋理向量進(jìn)行轉(zhuǎn)換壓縮，這樣不僅可以使數(shù)據(jù)量減少，而且可以消除人臉數(shù)據(jù)間的相關(guān)性[6]，經(jīng)PCA變換后的組合模型可以表示為：

其中分別表示平均形狀向量和平均紋理向量，m 是主元個(gè)數(shù)，s=（s1,s2,…，sm-1），t=（t1,t2,…，tm-1）分別是形狀和紋理的主元向量組，α=（α1,α2,…αm-1）,β=（β1,β2,…，βm-1）分別代表形狀和紋理向量的組合系數(shù)。通過改變上面的組合系數(shù)，可以重建出任何一個(gè)特定照片的三維人臉形狀模型（Smodel,Tmodel）。

1.2 模型匹配

通過建立線性組合模型可以知道，只要求得α，β這些系數(shù)，就能表示出一張新的三維人臉模型。模型匹配就是通過求解系數(shù)α，β，從而建出三維人臉模型。這里用特定的人臉圖像與模型人臉在二維圖像上的投影圖像對(duì)應(yīng)像素的顏色信息誤差的平方和最小來求解，因此得到優(yōu)化函數(shù)可以表示為：

2012年6月～2017年6月，在本院骨關(guān)節(jié)科接受Oxford活動(dòng)平臺(tái)內(nèi)側(cè)單髁（Biomet,USA）置換的膝關(guān)節(jié)內(nèi)側(cè)間室骨性關(guān)節(jié)炎患者共56例（56膝），所有手術(shù)均由同一資深骨科醫(yī)師主刀。根據(jù)納入標(biāo)準(zhǔn)，共納入男16例，女40例；年齡50～82歲，平均（63.68±8.23）歲?；颊唧w重指數(shù)21～30 kg/m2，平均（25.81±4.52）kg/m2。所有患者術(shù)前常規(guī)進(jìn)行患肢負(fù)重正側(cè)位、膝關(guān)節(jié)內(nèi)外翻應(yīng)力位、髕骨軸位X線片檢查，以及膝關(guān)節(jié)MRI檢查。

1.3 帶表情的人臉重建

由于更普遍的圖像中帶有各種表情信息，因此為了重建出更加適合帶各種有表情的人臉圖像的三維模型，在形變模型的基礎(chǔ)上加上表情模型，則可以延伸出新的形變模型。本文的形狀模型來自Basel Face Model[2]（BFM）,表情模型來自Face Warehouse[3]。根據(jù)Chu等人[4]的研究結(jié)果，可以將原形變模型的形狀模型改寫成：

而對(duì)于三維紋理信息模型則保持不變，仍表示為：

其中，k是表情模型中主元個(gè)數(shù)，m是形狀模型和紋理模型主元個(gè)數(shù)，γ=(γ1,γ2,…γk-1)是表情系數(shù)，Exp=(Exp1,Exp2,…Expk-1)是表情主元向量組，α=(α1,α2,…αm-1)是 形狀系數(shù)，s=（s1,s2,…sm-1）是形狀主元向量組，β=（β1,β2,…βm-1）是紋理系數(shù)，t=（t1,t2,…tm-1）是紋理主元向量組。前面已經(jīng)敘述了關(guān)于形變模型重建過程中通過紋理像素誤差的平方和最小求解α，β系數(shù)，對(duì)于帶表情的人臉重建過程，則只需要多求解一個(gè)γ系數(shù)即可。

在人臉表情領(lǐng)域中，二維特征點(diǎn)的位置能夠很好的表現(xiàn)特定人臉圖像的表情信息，為了求解表情系數(shù)，這里需要借助二維圖片上的68個(gè)二維特征點(diǎn)，用二維特征點(diǎn)的位置信息來約束三維形狀的三維特征點(diǎn)的二維投影，從而讓三維形狀產(chǎn)生一定的形變，通過這種三維特征點(diǎn)投影后與二維特征點(diǎn)的對(duì)應(yīng)關(guān)系，如圖1，我們可以估計(jì)出表情系數(shù)。這里我們預(yù)先把形狀參數(shù)設(shè)置為0，則形狀模型可以簡化為：

對(duì)于Smodel，我們可以找到68個(gè)三維特征點(diǎn)在二維投影上的68個(gè)二維坐標(biāo)Uproj，為了讓三維特征點(diǎn)在二維投影上的的位置跟輸入圖像的二維特征點(diǎn)U2d位置更接近，可以通過優(yōu)化公式：

通過求解，這里能得到形狀模型中的表情系數(shù)γ。

圖1 通過二維特征點(diǎn)約束后的帶表情的三維形狀

2 實(shí)驗(yàn)結(jié)果

針對(duì)本文提出的添加表情模型的人臉重建方法，做了兩組實(shí)驗(yàn)，一組是自然表情的三維人臉重建，另一組是帶表情的人臉重建。實(shí)現(xiàn)結(jié)果表明，在形變模型基礎(chǔ)上添加表情模型，能夠?qū)Ω鞣N情況的人臉圖片進(jìn)行三維建模，這種建模方法體現(xiàn)出更好的通用性。本文用到的形變模型為BFM,表情模型為Face Ware?house。對(duì)于形變模型（BFM），經(jīng)過預(yù)處理后的平均模型由53215個(gè)三維點(diǎn)，105840個(gè)三角面片組成，拉伸為向量時(shí)則表示成159645×1，形狀主元向量s組則由159645×199組成，紋理主元向量組t由159645×199組成；對(duì)于表情模型，經(jīng)過預(yù)處理后的表情主元向量組Exp由159645×29組成。

2.1 自然表情的人臉重建

如圖2，左側(cè)一列是選擇自然表情的二維人臉照片作為輸入，第二，第三列是三維重建的模型效果。

2.2 帶表情的人臉重建

如圖3，左側(cè)一列是選擇帶表情的二維人臉照片作為輸入，第二，第三列是三維重建的模型效果。

3 結(jié)語

本文主要初步探索了在添加人臉表情的情況下，基于形變模型的三維人臉重建。實(shí)驗(yàn)表明，不管是針對(duì)帶表情的人臉圖片，還是自然表情的圖片，該方法可以達(dá)到預(yù)想的效果，這對(duì)于人臉重建更具有通用性和適用性。

重建精度是三維人臉重建的重要指標(biāo)，怎樣提高重建的精度是需進(jìn)一步研究的方向；同時(shí)由于本文主要是針對(duì)正面照片做的重建工作，而對(duì)于側(cè)面帶表情的人臉重建工作還不夠充分，因而這個(gè)方面也將成為后續(xù)的研究工作。

圖2 自然表情的三維人臉重建

圖3 帶表情的三維人臉重建

參考文獻(xiàn)：

[1]V.Blanz,T.Vetter.A Morphable Model for the Synthesis of 3D Faces.Proc.of SIGGRAPH'99，Los Angeles：1999.

[2]P.Paysan,R.Knothe,B.Amberg,S.Romdhani,T.Vetter.A 3D Face Model for Pose and Illumination Invariant Face Recognition.In Advanced Video and Signal Based Surveillance,2009.AVSS'09.Sixth IEEE International Conference on,pages 296-301.IEEE,2009.

[3]C.Cao,Y.Weng,S.Zhou,Y.Tong,K.Zhou.Face ware house:a3D Facial Expression Database for Visual Computing，2013.

[4]B.Chu,S.Romdhani,L.Chen.3D-Aided Face Recognition Robust to Expression and Pose Variations.In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,pages 1899-1906,2014.

[5]龔勛，王國胤.基于特征點(diǎn)的三維人臉形變模型［J］.軟件學(xué)報(bào)，2009，20（3）：724-733．

[6]胡永利，尹寶才，谷春亮，等．基于形變模型的三維人臉重建方法及其改［J］.計(jì)算機(jī)學(xué)報(bào)，2005，28（10）：1672-1678．