龐 敏，張 元，熊風(fēng)光，焦世超，霍昕恬

(1.中北大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，山西 太原 030051；2.中北大學(xué) 機(jī)器視覺與虛擬現(xiàn)實(shí)山西省重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051；3.中北大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 山西省視覺信息處理及智能機(jī)器人工程研究中心，山西 太原 030051；4.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 太原 030023)

0 引 言

三維面部模型構(gòu)建是計(jì)算機(jī)視覺、虛擬仿真領(lǐng)域的重要研究方向[1，2]。傳統(tǒng)三維面部模型構(gòu)建方法包括掃描建模、基于圖像建模和基于三維模型重構(gòu)建模。

研究者利用三維掃描設(shè)備對面部掃描得到高質(zhì)量模型的方法成本高、耗時(shí)長、要求被掃描對象姿態(tài)穩(wěn)定。這些特點(diǎn)造成該方法多適用于實(shí)驗(yàn)室[3]，且不易獲取連續(xù)維度多表情面部模型。

基于圖像的三維建模方法難以準(zhǔn)確體現(xiàn)面部包含的高頻信息，容易丟失褶皺、酒窩等細(xì)節(jié)[4，5]。侯守明等[6]提出三維人臉建模算法利用Kinect獲取對象的色彩和深度信息，依據(jù)彩色圖像建立標(biāo)準(zhǔn)面部模型，再結(jié)合深度信息對其進(jìn)行拉普拉斯變形得到真實(shí)感更強(qiáng)的三維模型。汪淑賢等[5]提出基于圖像的三維重建算法，選取同一面部不同朝向的多張圖像后再根據(jù)顏色信息進(jìn)行聚類、分割獲取面部輪廓，基于輪廓包含的特征對面部圖像立體匹配，獲取帶有深度的稀疏視差圖進(jìn)而生成面部模型的平滑點(diǎn)云。

基于三維變形的模型重構(gòu)方法包括自由變形、骨骼變形、微分變形和基于深度學(xué)習(xí)的變形。自由變形和骨骼變形均不適用，因?yàn)樗麄儫o法為具有豐富幾何細(xì)節(jié)卻缺乏棱角的面部模型創(chuàng)建合適的約束[7，8]?；谏疃葘W(xué)習(xí)的變形需要大量數(shù)據(jù)來支撐深度學(xué)習(xí)算法的訓(xùn)練，且算法適用領(lǐng)域也和訓(xùn)練數(shù)據(jù)相關(guān)，相對缺乏普適性[9]。吳越等[10]提出直接利用無三維標(biāo)簽的二維數(shù)據(jù)進(jìn)行三維建模，通過設(shè)計(jì)弱監(jiān)督損失函數(shù)使其僅根據(jù)圖像進(jìn)行學(xué)習(xí)；通過縮小渲染人臉與輸入人臉間的差距實(shí)現(xiàn)三維重建。微分變形可用于具有豐富幾何細(xì)節(jié)而表面缺乏棱角的模型重建，但控制點(diǎn)的選擇會影響模型變形效果[11]。張紅穎等[12]提出通過優(yōu)化變形參數(shù)實(shí)現(xiàn)面部模型構(gòu)建，改進(jìn)位置映射圖網(wǎng)絡(luò)獲取更準(zhǔn)確特征，以此為基礎(chǔ)定義初始模型參數(shù)，再融合回歸方法得到參數(shù)來優(yōu)化模型參數(shù)，最后優(yōu)化變形模型得到最終面部模型。以上各方法都直接在三維空間實(shí)現(xiàn)模型構(gòu)建，更容易發(fā)生畸變。

針對以上模型構(gòu)建方法存在的問題，本文提出基于共形幾何的模型插值構(gòu)建算法通過引入共形幾何三維變形降維到二維平面；提出多表情模型形狀特征的插值計(jì)算來定義過渡表情建模的約束條件；提出自適應(yīng)模型選擇算法從不同表情的多面部模型中選擇和將生成的過渡模型最接近的面部模型作為建模基礎(chǔ)模型。本文提出的模型構(gòu)建算法在保證建模效率的同時(shí)還提高了表情發(fā)生大幅度變化時(shí)模型構(gòu)建的魯棒性，相比于直接在三維空間變形建模更好避免了畸變的發(fā)生。

1 基本原理

1.1 問題描述

以現(xiàn)有的多個(gè)不同表情三維面部模型為基礎(chǔ)，基于共形幾何插值構(gòu)建它們的過渡表情，實(shí)現(xiàn)表情連續(xù)維度的豐富表達(dá)。

1.2 三維模型配準(zhǔn)及特征提取

三維模型配準(zhǔn)首先利用Super4PCS[13]算法對不同坐標(biāo)系下的多個(gè)三維面部模型進(jìn)行粗配準(zhǔn)；再通過改進(jìn)的ICP(iterative closest point)算法對這些三維面部模型進(jìn)行精配準(zhǔn)，將不同坐標(biāo)系下的多個(gè)三維面部模型統(tǒng)一到同一坐標(biāo)系。具體配準(zhǔn)過程如圖1所示。

圖1 三維面部模型配準(zhǔn)過程

在三維面部模型的配準(zhǔn)過程中，首先將連續(xù)維度三維面部模型和面部模板模型依次進(jìn)行主成分分析，生成累計(jì)貢獻(xiàn)率曲線，通過對該曲線配準(zhǔn)，獲取每個(gè)面部模型和模板面部模型之間的比例因子[14]，再將二者歸一化到同一尺度；之后利用Super4PCS[13]算法進(jìn)行三維面部模型粗配準(zhǔn)，在三維面部模板模型中選取同平面的4個(gè)頂點(diǎn)作為基點(diǎn)，根據(jù)交比一致性在另一三維面部模型中查找和基點(diǎn)對應(yīng)的四點(diǎn)集的集合，同時(shí)求出該三維模型上每一個(gè)四點(diǎn)集與基點(diǎn)的變換矩陣；通過比較最大化公共點(diǎn)集，選擇配準(zhǔn)精度最高的變換矩陣進(jìn)行全局變換，實(shí)現(xiàn)三維模型粗配準(zhǔn)。

將經(jīng)過粗配準(zhǔn)后獲取的旋轉(zhuǎn)參數(shù)和平移參數(shù)作為之后基于ICP的精配準(zhǔn)初始參數(shù)。在原始不同表情面部模型Sn中選取點(diǎn)pi，在原始面部模板模型Q中尋找它的最鄰近點(diǎn)qi，過pi作點(diǎn)法向量ni，過qi作該點(diǎn)的切平面li，此時(shí)ni和li的交點(diǎn)為si，查找si的最鄰近點(diǎn)，若鄰近點(diǎn)不變還是qi，則設(shè)置|pisi|和|siqi|的邊界閾值，同時(shí)剔除該閾值區(qū)域之外的所有si點(diǎn)，獲得滿足最小閾值的點(diǎn)對，組成集合Pn和Sn，然后再次計(jì)算變換矩陣并根據(jù)所計(jì)算的變換矩陣和集合Pn，由式(1)得到新的三維頂點(diǎn)集合，同時(shí)通過式(2)計(jì)算距離diskk+1，當(dāng)其大于指定閾值時(shí)，繼續(xù)循環(huán)執(zhí)行以上步驟，直到迭代達(dá)到指定次數(shù)或disk小于指定閾值，算法停止

(1)

(2)

Rn和Tn分別是第n次迭代后獲取的旋轉(zhuǎn)變換矩陣和平移變換矩陣，σ為給定的收斂閾值，它的取值會影響模型配準(zhǔn)結(jié)果的準(zhǔn)確性，當(dāng)滿足distk+1<σ時(shí)，三維模型精配準(zhǔn)算法結(jié)束。配準(zhǔn)結(jié)果如圖2所示。

圖2 精配準(zhǔn)結(jié)果

本文提出利用式(3)表示的配準(zhǔn)精度RA來衡量精配準(zhǔn)的準(zhǔn)確性，配準(zhǔn)精度是將模型配準(zhǔn)結(jié)束時(shí)兩個(gè)三維模型頂點(diǎn)集合的均方根誤差和模型第一次配準(zhǔn)后的兩模型頂點(diǎn)集合均方根誤差相比較來獲取的。表1表示σ的取值對配準(zhǔn)精度的影響?？梢钥吹溅?0.001時(shí)配準(zhǔn)精度接近于1，也就是模型配準(zhǔn)結(jié)束時(shí)兩模型頂點(diǎn)集合的均方根誤差接近于0，即此時(shí)配準(zhǔn)效果較好

(3)

表1 σ的取值對匹配精度的影響

1.3 三維面部模型插值重構(gòu)

1.3.1 面部模型3D→2D的降維處理

計(jì)算共形幾何可以將幾何學(xué)問題轉(zhuǎn)化到工程計(jì)算領(lǐng)域。共形映射、準(zhǔn)共形映射是共形幾何的研究基礎(chǔ)，在保持局部特征條件下利用解析函數(shù)將處于一種空間區(qū)域的研究對象映射到另一種空間區(qū)域。根據(jù)這一理論，共形幾何為三維變形提供一種新思路，將三維空間中的變形操作降維到二維平面。

共形映射、準(zhǔn)共形映射研究了在保持局部特征條件下如何在不同空間維度實(shí)現(xiàn)共形變換[15]。本文以準(zhǔn)共形映射的局部保角性為基礎(chǔ)研究了三維面部模型向二維平面的轉(zhuǎn)換。

φ*g2=e2λg1

(4)

則此時(shí)φ是一個(gè)共形雙射，兩張曲面M1和M2共形等價(jià)，具有相同的共形不變量。準(zhǔn)共形映射是對共形映射的擴(kuò)展，在實(shí)際中應(yīng)用更廣泛，利用它實(shí)現(xiàn)的共形變換雖然從整體上看會存在較大畸變，但卻可以保持了局部特征不變。以此為依據(jù)，本文提出了基于準(zhǔn)共形映射的從三維空間到二維平面的降維算法。首先計(jì)算原始三維面部模型的邊界，記錄邊界點(diǎn)集；其次計(jì)算模型邊界線長度與角度，并將模型邊界參數(shù)化到圓盤邊界；最后計(jì)算模型內(nèi)部頂點(diǎn)集合的余切拉普拉斯矩陣，并將內(nèi)部頂點(diǎn)集合參數(shù)化到二維圓盤內(nèi)部。

圖3表達(dá)了三維面部模型通過準(zhǔn)共形映射從三維空間到二維平面的降維，圖3(a)是一個(gè)復(fù)雜幾何屬性的三維面部網(wǎng)格模型，圖3(b)是它的降維結(jié)果。可以看到經(jīng)過準(zhǔn)共形映射降維后模型的曲率變?yōu)榱?，整體存在了較大畸變，但是眉眼鼻唇的局部細(xì)節(jié)特征卻得到了完整的保持。

圖3 三維面部模型的降維處理

1.3.2 插值計(jì)算過渡模型特征點(diǎn)

(5)

式中：j代表通過式(5)生成的表情過渡模型索引值，i代表模型中特征點(diǎn)索引值，α代表每個(gè)面部模具有的權(quán)值，定義了包括模板模型和不同表情連續(xù)維度面部模型在內(nèi)的所有原始模型對將生成的過渡模型的影響，α的定義如式(6)

(6)

(k-1) 為除模板模型外原始模型數(shù)量，di索引值為i的原始模型與模板模型對應(yīng)特征點(diǎn)中最大距離差。dm為生成的表情過渡模型與面部模板模型的距離，0

1.3.3 自適應(yīng)定義基礎(chǔ)模型

(7)

1.3.4 面部模型構(gòu)建

利用式(5)獲取的特征點(diǎn)集合Tj為控制點(diǎn)，引導(dǎo)利用式(7)定義的基礎(chǔ)模型的二維平面準(zhǔn)共形迭代，獲取具有過渡表情的面部模型的二維平面數(shù)據(jù)，具體算法如下：

步驟1 從基礎(chǔ)模型的特征點(diǎn)集合t中選取控制點(diǎn)，利用特征點(diǎn)集合Tj中與選取的控制點(diǎn)對應(yīng)的頂點(diǎn)，通過式(8)、式(9)計(jì)算處理，得到集合t和Tj所包含的對應(yīng)頂點(diǎn)之間的初始變換關(guān)系f0和v0

(8)

v0=μ(f0)

(9)

其中，μ為貝爾特拉米系數(shù)[17]；Fb為線性貝爾特拉米求解器[17]。

步驟2 利用基礎(chǔ)模型的網(wǎng)格結(jié)構(gòu)頂點(diǎn)信息vn，通過式(10)～式(12)分別計(jì)算μn+1、fn+1和vn+1

(10)

(11)

(12)

其中，A為拉普拉斯平均算子，δ為參數(shù)化到二維平面頂點(diǎn)坐標(biāo)構(gòu)成的矩陣。

圖4顯示了準(zhǔn)共形迭代處理結(jié)果，其中圖4(a)是面部模型降維得到的二維平面，圖4(b)是對二維平面準(zhǔn)共形迭代的處理結(jié)果。

圖4 準(zhǔn)共形迭代的運(yùn)行結(jié)果

將準(zhǔn)共形迭代得到的二維模型的拓?fù)湫畔⒑筒糠猪旤c(diǎn)的幾何信息為依據(jù)，實(shí)現(xiàn)模型從二維平面到三維空間的轉(zhuǎn)換。

首先根據(jù)二維模型拓?fù)湫畔⒑蛶缀涡畔⒂?jì)算模型的余切拉普拉斯矩陣；然后以一部分頂點(diǎn)為依據(jù)定義約束條件；最后引入最小二乘法構(gòu)建盡可能滿足約束條件的三維模型頂點(diǎn)信息，得到具有過渡表情的三維面部模型。具體算法如下：

步驟1 根據(jù)式(13)計(jì)算模型的余切拉普拉斯矩陣

(13)

其中，在二維平面中邊 (xi，xj) 會與其它頂點(diǎn)構(gòu)成三角形，αij和αji是該三角形中與邊 (xi，xj) 相對的角的度數(shù)。當(dāng) (xi，xj) 為二維平面內(nèi)部邊時(shí)，可以和兩個(gè)頂點(diǎn)分別構(gòu)成兩個(gè)三角形，此時(shí)就出現(xiàn)兩個(gè) (xi，xj) 邊的對應(yīng)角，度數(shù)分別為αij和αji；而當(dāng) (xi，xj) 是邊界邊時(shí)，則只能和一個(gè)頂點(diǎn)構(gòu)成三角形，只有一個(gè)對應(yīng)角度數(shù)為αij。

步驟2 將三維空間的x、y、z坐標(biāo)結(jié)合余切拉普拉斯矩陣構(gòu)建線性系統(tǒng)：Wx=0，Wy=0，Wz=0。

步驟3 從非特征點(diǎn)所在區(qū)域選擇m個(gè)頂點(diǎn)保存到集合C中，C={s1，s2，s3，s4，…sm}，每個(gè)頂點(diǎn)為Vs=(xs，ys，zs)，s∈C，將這m個(gè)頂點(diǎn)和步驟2構(gòu)造的線性方程相結(jié)合，構(gòu)建長度為 (n+m)×n的系統(tǒng)，如式(14)～式(19)所示。其中A的計(jì)算由式(15)、式(16)所示

Ax=bx

Ay=by

Az=bz

(14)

(15)

(16)

(17)

(18)

(19)

步驟4 利用最小二乘法求解滿足如式(20)線性方程的最小值，得到x=(ATA)-1ATbx，y=(ATA)-1ATby，z=(ATA)-1ATbz，則最終所求的頂點(diǎn)坐標(biāo)為Vnew=(x，y，z)

(20)

圖5顯示了模型在不同空間的轉(zhuǎn)換效果，圖5(a)表示了二維平面模型，圖5(b)表示了利用本方法空間轉(zhuǎn)換得到的三維面部模型。

圖5 2D→3D模型轉(zhuǎn)換算法

2 分析與討論

本文以Matlab為開發(fā)工具，以美國紐約州立大學(xué)賓漢姆頓分校的BU3DFER三維人臉數(shù)據(jù)集作為數(shù)據(jù)源，驗(yàn)證了所提出的利用插值構(gòu)建面部模型算法的準(zhǔn)確性。

2.1 算法運(yùn)行效果

圖6中第一行是原始模型，包括圖6(a)模板模型和連續(xù)維度的不同表情模型。本實(shí)驗(yàn)選擇眼睛和嘴巴部分的特征點(diǎn)定義約束條件，插值生成不同表情的過渡模型。圖6第二行顯示了各原始模型中選取的特征點(diǎn)。圖7顯示了本文算法的插值重構(gòu)結(jié)果，其中圖7(a)顯示的是原始模型中滿足差值最小條件的表情模型被降維得到的二維平面，以及在該平面上定義的約束條件，其中圓圈代表來自原始表情模型特征的控制點(diǎn)起始位置，方框代表來自插值后特征點(diǎn)目標(biāo)位置。其中圖7(b)利用約束條件引導(dǎo)二維模型準(zhǔn)共形迭代獲取的結(jié)果模型，圖7(c)顯示了通過三維模型恢復(fù)算法將圖7(b)表示的模型從二維平面轉(zhuǎn)換到三維空間，得到的具有過渡表情的三維面部模型。

圖6 原始模型

圖7 重構(gòu)結(jié)果模型

圖8給出了將本文提出的算法應(yīng)用于不同性別、年齡的面部模型的實(shí)驗(yàn)效果，其中圖8(a)列表示面部模板模型，圖8(b)列和圖8(c)列表示連續(xù)維度的不同表情面部模型，圖8(d)列和圖8(e)列是從不同角度展示了利用本算法生成的過渡模型?？梢钥吹綀D8(a)～圖8(c)列的眼睛和嘴巴包含了閉合和打開狀態(tài)，圖8(d)、圖8(e)顯示的結(jié)果模型則在保持眼睛和嘴巴等面部局部細(xì)節(jié)特征同時(shí)面部表情又發(fā)生一定變化。

圖8 本文算法的模型插值結(jié)果

2.2 傳統(tǒng)模型構(gòu)建算法效果對比

構(gòu)建面部這類細(xì)節(jié)豐富而沒有明顯棱角特征的三維模型時(shí)，基于FFD變形或基于骨架變形的重構(gòu)方法都不適用，所以研究者多選擇使用基于微分變形的重構(gòu)方法來處理此類模型。表2將本文提出的算法和基于拉普拉斯算子的面部模型重構(gòu)算法及基于微分坐標(biāo)的面部模型重構(gòu)算法的性能進(jìn)行比較，包括定義約束條件時(shí)需要的控制點(diǎn)個(gè)數(shù)和算法運(yùn)行時(shí)間?？梢钥吹奖疚乃惴ㄊ窃诙S空間實(shí)現(xiàn)模型變化，所以相較于三維空間的變形，需要的控制點(diǎn)更少，且算法運(yùn)行時(shí)間更短。圖9顯示了3種算法的運(yùn)行結(jié)果，其中圖9(b)是本文算法結(jié)果模型，圖9(c)是基于拉普拉斯算子的面部模型重構(gòu)算法的結(jié)果模型，圖9(d)是基于微分坐標(biāo)的面部模型重構(gòu)算法的結(jié)果模型，可以看出利用他們提出的模型重建算法，直接在三維空間發(fā)生形變實(shí)現(xiàn)三維模型重建的算法時(shí)，對于特征豐富、形變較大的區(qū)域，如唇眼部分很容易發(fā)生畸變。而本文提出的算法，由于模型變化在二維實(shí)現(xiàn)，此時(shí)不需要處理深度信息，使重構(gòu)結(jié)果在保持細(xì)節(jié)的同時(shí)產(chǎn)生更少的畸變。

表2 本算法和其它算法的性能比較

圖9 不同模型重構(gòu)算法處理結(jié)果比較

2.3 消融實(shí)驗(yàn)

為了驗(yàn)證該模型構(gòu)建算法中共形幾何部分和插值構(gòu)建部分的重要性，將在BU3DFER數(shù)據(jù)集上進(jìn)行過渡表情模型構(gòu)建的消融實(shí)驗(yàn)。消融實(shí)驗(yàn)根據(jù)本文提出算法中包含的重要設(shè)計(jì)分為以下3個(gè)部分：

(1)本文方法：構(gòu)建了包含本文提出的基于共形幾何的模型降維處理及基于多模型形狀特征插值生成的模型構(gòu)建約束條件的完整過渡表情模型構(gòu)建算法。

(2)對變形算法進(jìn)行替換，將基于共形幾何的降維變形替換成直接在三維空間進(jìn)行的微分變形，不再對三維模型進(jìn)行降維處理，其它結(jié)構(gòu)不變。

(3)對變形基礎(chǔ)模型和變形約束條件進(jìn)行替換，將利用多模型特征點(diǎn)插值得到的控制約束條件和根據(jù)特征點(diǎn)自適應(yīng)選擇的基礎(chǔ)模型替換為以根據(jù)模板模型到某個(gè)表情模型特征點(diǎn)距離定義約束條件、以模板模型為基礎(chǔ)模型，其它結(jié)構(gòu)不變。

消融實(shí)驗(yàn)構(gòu)建過渡表情的面部模型結(jié)果如圖10所示。圖10(a)是本文方法得到的建模結(jié)果，圖10(b)是將基于共形幾何模型構(gòu)建方法替換為微分變形的建模結(jié)果，圖10(c)是將本文的控制約束條件的定義及自適應(yīng)選擇基礎(chǔ)模型替換為按單一特征點(diǎn)距離構(gòu)建約束條件及使用模版模型作為基礎(chǔ)模型的建模結(jié)果。相比于圖10(a)本文算法的建模結(jié)果，圖10(b)中模型的較大變化區(qū)域會出現(xiàn)扭曲，如第一行模型的鼻子、嘴巴和第二行模型的眼睛；而圖10(c)中模型在較大的變形區(qū)域內(nèi)也會出現(xiàn)明顯的畸變，如第三行模型的嘴巴和眼睛出現(xiàn)明顯的扭曲。

圖10 消融算法的定性結(jié)果

可以看到，本文提出的模型構(gòu)建方法的效果是更好的，驗(yàn)證了共形幾何模塊和插值定義特征點(diǎn)及自適應(yīng)選擇基礎(chǔ)模型模塊在構(gòu)建過渡表情面部模型時(shí)的重要性，它們都提高了模型變形重構(gòu)的運(yùn)行效果。

3 結(jié)束語

綜上所述，本文在對模型配準(zhǔn)的基礎(chǔ)上通過準(zhǔn)共形映射將其降維到二維平面，解決了現(xiàn)有建模方法不易在三維空間構(gòu)建連續(xù)維度多表情模型的問題；然后基于多面部模型特征點(diǎn)插值生成過渡模型特征點(diǎn)并構(gòu)造控制約束條件；同時(shí)根據(jù)插值生成的特征點(diǎn)選擇和其距離最小的表情模型，自適應(yīng)定義變形基礎(chǔ)模型；最后利用控制約束條件引導(dǎo)基礎(chǔ)模型準(zhǔn)共形迭代，生成具有過渡表情的面部模型。實(shí)驗(yàn)驗(yàn)證了本文提出的算法在保持面部模型局部特征的同時(shí)很好實(shí)現(xiàn)了連續(xù)維度多表情模型的構(gòu)建。在今后的工作中，將進(jìn)一步研究連續(xù)維度不同表情中如果出現(xiàn)大幅度變化表情時(shí)配準(zhǔn)效果欠佳的問題，并考慮在獲取面部模型特征點(diǎn)時(shí)引入深度學(xué)習(xí)算法，得到更合理的特征點(diǎn)引導(dǎo)面部模型重構(gòu)。