吳從中, 張凌華, 詹 曙

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009)

融合Gabor特征的SFM算法三維人臉建模

吳從中, 張凌華, 詹 曙

(合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院,安徽 合肥 230009)

采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion,SFM)算法進(jìn)行三維人臉建模一直以來(lái)受到研究者的關(guān)注,但其對(duì)錯(cuò)誤的匹配點(diǎn)比較敏感,因此，文章提出了一種融合Gabor特征的SFM算法三維人臉建模方法。該方法利用Gabor濾波器提取紋理特征,判別輪廓特征點(diǎn)匹配的準(zhǔn)確性;針對(duì)圖像數(shù)增多,傳統(tǒng)因子分解法不易修正旋轉(zhuǎn)矩陣的問(wèn)題,利用旋轉(zhuǎn)矩陣的性質(zhì)求得修正矩陣,避開(kāi)方程組的求解;提出引入迭代最近點(diǎn)算法將稀疏三維特征點(diǎn)與三維模型進(jìn)行配準(zhǔn),縮小空間距離,并結(jié)合薄板樣條函數(shù)插值生成特定的三維人臉模型,為增強(qiáng)真實(shí)感,進(jìn)行紋理映射。實(shí)驗(yàn)結(jié)果表明，該方法有效提高了匹配點(diǎn)的準(zhǔn)確性,能夠重建出具有較強(qiáng)真實(shí)感的三維人臉。

運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM);Gabor濾波器;因子分解;修正矩陣;迭代最近點(diǎn)(ICP)

三維人臉建模技術(shù)作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要部分[1],被廣泛應(yīng)用于人臉識(shí)別[2-3]、計(jì)算機(jī)游戲和影視制作等多個(gè)領(lǐng)域。文獻(xiàn)[4]采用激光掃描儀的方法得到的三維人臉模型數(shù)據(jù)精度高、速度快,但是對(duì)計(jì)算機(jī)的性能要求比較高;Posdamer等人提出結(jié)構(gòu)光的方法,取得了較好的結(jié)果,文獻(xiàn)[5-6]對(duì)該方法做了進(jìn)一步的改進(jìn),建立一個(gè)基于結(jié)構(gòu)光的快速獲取系統(tǒng)。圖像序列重建的方法可以分為基于3D形變模型(morphable model,MM)的方法[7-9]和基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion,SFM)的方法[10]，前者需要大量的模型參數(shù),一旦找到最優(yōu)的模型參數(shù),就可以重建出精細(xì)的3D人臉模型。然而大量的參數(shù)使得計(jì)算成本較高,并且參數(shù)計(jì)算可能陷入局部最小。文獻(xiàn)[11]提出了利用壓縮感知理論估計(jì)三維原型人臉與目標(biāo)人臉的形狀相似性,并根據(jù)相似性對(duì)原型樣本進(jìn)行篩選并構(gòu)建相應(yīng)的形變模型的方法。

基于SFM的三維重建算法[12-14],不需要利用目標(biāo)形狀的先驗(yàn)信息。不考慮面部表情變化的情況下,剛性的SFM算法可以通過(guò)分析在不同視點(diǎn)觀察到的稀疏人臉2D特征點(diǎn)的序列坐標(biāo)得到其三維結(jié)構(gòu)信息。該方法不需要優(yōu)化3D平均人臉的參數(shù),只需準(zhǔn)確找到每幅圖像上相對(duì)應(yīng)的人臉特征點(diǎn)的坐標(biāo)。稀疏的點(diǎn)匹配方法[15]大量減少了尋找匹配點(diǎn)的難度,但頭部發(fā)生一定程度的偏轉(zhuǎn)時(shí),稀疏的特征點(diǎn)也容易發(fā)生匹配錯(cuò)誤。文獻(xiàn)[14]提出采用形狀轉(zhuǎn)換矩陣(shape conversion matrix,SCM)方法確定自遮擋時(shí)人臉特征點(diǎn)的正確位置。SCM方法采用最小二乘法使觀察到的面部特征點(diǎn)更接近真實(shí)值。文獻(xiàn)[16]采用灰度共生矩陣(gray level co-occurrence matrix, GLCM)方法移除錯(cuò)誤的特征點(diǎn)后,再進(jìn)行3D人臉建模。然而在照片數(shù)量比較少,特征點(diǎn)數(shù)也相對(duì)較少的情況下,缺失特征點(diǎn)對(duì)建模會(huì)帶來(lái)一定的影響。

本文提出利用Gabor濾波器提取的紋理特征判斷特征點(diǎn)是否匹配,采用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的因子分解法計(jì)算稀疏點(diǎn)的三維數(shù)據(jù),并根據(jù)得到的三維數(shù)據(jù)將三維人臉模型插值為特定的三維人臉模型。

1 系統(tǒng)組成

本文系統(tǒng)的輸入是相機(jī)拍攝的中性表情的3幅不同姿態(tài)的人臉圖像,采用主動(dòng)外觀模型提取人臉特征點(diǎn),利用局部Gabor紋理特征判斷特征點(diǎn)匹配性,并手動(dòng)尋找正確的匹配點(diǎn),在SFM算法下獲得稀疏的三維數(shù)據(jù),迭代最近點(diǎn)配準(zhǔn)后用一般三維模型插值成特定人臉稠密模型,并進(jìn)行紋理映射。

本文三維人臉建模流程如圖1所示。

圖1 三維人臉建模流程

2 算法描述

2.1 人臉特征點(diǎn)提取

在獲得的F幅人臉圖像上標(biāo)定出相同數(shù)量的人臉特征點(diǎn),例如眼睛、鼻子和面部輪廓。這些特征點(diǎn)的標(biāo)定可以采用手動(dòng)標(biāo)定或者利用主動(dòng)形狀模型(active shape model,ASM)[17]和主動(dòng)外觀模型(active appearance model,AAM)等自動(dòng)特征點(diǎn)檢測(cè)器標(biāo)定。本文引用文獻(xiàn)[18]的AAM算法獲得F幅圖像N個(gè)人臉特征點(diǎn)的坐標(biāo){(xfn,yfn)|f=1,…,F;n=1,…,N}，可得到矩陣W為:

(1)

其中,X、Y均為F×N矩陣,表示所有特征點(diǎn)的xfn、yfn坐標(biāo)。

2.2 特征點(diǎn)選擇

本文利用Gabor濾波器計(jì)算臉部輪廓特征點(diǎn)所在圖像塊的Gabor特征,通過(guò)選擇有效的特征計(jì)算對(duì)應(yīng)圖像塊之間紋理特征的相關(guān)系數(shù),判斷特征點(diǎn)的匹配性,并尋找正確的匹配點(diǎn)。因?yàn)镚abor小波變換具有與哺乳動(dòng)物視皮層細(xì)胞的刺激響應(yīng)系統(tǒng)相似的特性,所以通過(guò)Gabor濾波器提取的特征具有很好的方向選擇性和尺度選擇性,并且通過(guò)設(shè)計(jì)合適的Gabor濾波器可以克服不同光照帶來(lái)的影響[19-20],這是本文選擇Gabor特征的原因。

2.2.1 Gabor紋理特征

Gabor函數(shù)的定義如下:

(2)

其中,z為坐標(biāo)(x,y)處的像素值;u和v分別為方向和尺度;波向量ku,v=kveiφu,kv=kmax/fv,φu=πu/8,最大頻率kmax=π/2,f為頻域核間距因子;σ為窗的寬度與波長(zhǎng)的比例。

一幅M×N的圖像塊I(z),其Gabor特征Gu,v(z)為:

(3)

其中,φu,v(z)為Gabor濾波器。

在實(shí)驗(yàn)設(shè)置方面,可以選擇不同尺寸的Gabor窗、不同的方向和尺度進(jìn)行實(shí)驗(yàn),以5個(gè)尺度v={0,1,2,3,4},8個(gè)方向u={0,1,2,3,4,5,6,7}為例。M×N圖像塊的維度為MN×1,對(duì)圖像塊上每一個(gè)像素提取40個(gè)特征值,則最終I(z)提取的Gabor特征為MN×40的矩陣。

2.2.1 相似度計(jì)算

計(jì)算圖像塊I(z)的有效特征與參考點(diǎn)所在圖像塊對(duì)應(yīng)的Gabor特征的相關(guān)系數(shù),并對(duì)其求平均。例如,定義一個(gè)相關(guān)系數(shù)矩陣C∈RF×N,矩陣C中的cij表示第i幅圖像、第j點(diǎn)圖像塊的相關(guān)系數(shù),其中cij的公式為:

(4)

其中,li,j為第i幅圖像、第j點(diǎn)圖像塊的紋理矢量;lref,j為參考圖像的第j點(diǎn)圖像塊的紋理矢量;P為有效的相關(guān)系數(shù)個(gè)數(shù)。

對(duì)于cij中相關(guān)系數(shù)低的特征點(diǎn),本文認(rèn)為它不是正確的匹配點(diǎn),并進(jìn)行手動(dòng)尋找該點(diǎn)的匹配點(diǎn)。

2.3SFM算法

通過(guò)矯正匹配點(diǎn)獲得人臉特征點(diǎn)坐標(biāo)W后,采用從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)的因子分解法得到人臉稀疏三維結(jié)構(gòu)[21-22]。W可以分解為:

(5)

其中,R為正交投影旋轉(zhuǎn)矩陣;t為平移矩陣;S為人臉三維結(jié)構(gòu)矩陣。

將特征點(diǎn)的中心平移到圖像坐標(biāo)原點(diǎn),有

(6)

(7)

其中,U為2F×2F階酉矩陣;D為半正定2F×N階對(duì)角矩陣,并且對(duì)角線(xiàn)上的值從大到小排列；V為N×N階酉矩陣。分別取它們的前三列U2F×3、D3×3和VN×3,則旋轉(zhuǎn)矩陣和結(jié)構(gòu)矩陣的近似解為:

(8)

(9)

為解決上述問(wèn)題,本文提出了利用旋轉(zhuǎn)矩陣性質(zhì)的方法求解每幀的修正矩陣。文獻(xiàn)[22-23]中提到的旋轉(zhuǎn)矩陣的性質(zhì)如下:

對(duì)于任意的3×3正交矩陣

當(dāng)|D|=1時(shí),D中元素c1、c2、c3的求解方法為:

(10)

2.4 稠密三維模型

稀疏的三維數(shù)據(jù)丟失許多面部細(xì)節(jié),因此有必要把稀疏的三維特征點(diǎn)變成稠密的三維數(shù)據(jù)。本文利用文獻(xiàn)[24]提出的薄板樣條函數(shù)將三維人臉模型對(duì)特定人臉的稀疏特征點(diǎn)插值,重建出三維特定人臉稠密模型。

2.4.1 迭代最近點(diǎn)配準(zhǔn)

在進(jìn)行插值之前,本文提出引用迭代最近點(diǎn)(interative closest point,ICP)三維配準(zhǔn)的方法[25]對(duì)三維模型粗配準(zhǔn),縮小三維模型和參考控制點(diǎn)之間的距離。對(duì)空間三維中的2個(gè)點(diǎn)集X和Y進(jìn)行配準(zhǔn),以使目標(biāo)函數(shù)最小,目標(biāo)函數(shù)如下:

(11)

其中,三維模型的點(diǎn)集作為目標(biāo)點(diǎn)集X,參考點(diǎn)集Y從結(jié)構(gòu)矩陣S中獲得,求解得到變換矩陣R和T,使得X和Y滿(mǎn)足一定度量準(zhǔn)則下的最優(yōu)匹配。求解步驟為:

(1) 在第k次迭代中計(jì)算目標(biāo)點(diǎn)集X中與Y對(duì)應(yīng)的點(diǎn)Xk,使Dmin=‖Y-Xk‖2。

(2) 計(jì)算旋轉(zhuǎn)矩陣Rk和平移矩陣Tk,使得‖RkXk+Tk-Y‖2=min。

(3) 計(jì)算Xk+1=RkXk+Tk,Dk+1=‖Y-Xk+1‖2。

(4) 如果Dk+1不小于給定閥值返回到步驟(1),直到小于該閥值時(shí)迭代結(jié)束,求得變換矩陣。

2.4.2 薄板樣條函數(shù)插值

薄板樣條函數(shù)插值的目的是找到一個(gè)非線(xiàn)性插值函數(shù)F,把ICP配準(zhǔn)后的三維模型插值到稀疏特征矩陣Y中,其中函數(shù)F為:

F(x)=t+Rx+DTs(x)

(12)

其中,x為3×N的矩陣,為三維模型的控制矩陣;t為平移矩陣;R為旋轉(zhuǎn)矩陣;D為形變參數(shù)矩陣;s為薄板樣條函數(shù),其表達(dá)式為:

(13)

其中，ρ(x)的定義為:

(14)

(15)

三維模型上的所有點(diǎn)通過(guò)F函數(shù)對(duì)Y進(jìn)行插值,便獲得稠密的特定三維人臉模型。為了獲得具有真實(shí)感的三維人臉,將人臉紋理映射到對(duì)應(yīng)的人臉模型上。

3 實(shí)驗(yàn)與結(jié)果分析

為了證明采用Gabor濾波器提取紋理特征,判斷特征點(diǎn)的匹配性對(duì)SFM算法重建人臉模型的重要性。本文做了以下2組實(shí)驗(yàn)。

實(shí)驗(yàn)1 在IMM face database上選取20個(gè)人,每人6幅人臉圖像,采用AAM提取每幅人臉圖像的13個(gè)輪廓特征點(diǎn)作為測(cè)試點(diǎn),分別利用Gabor特征、GLCM、局部二值模式(local binary mode,LBP)和Tamura提取測(cè)試點(diǎn)和準(zhǔn)確點(diǎn)所在5×5圖像塊的紋理特征,紋理特征相關(guān)系數(shù)大于0.9則認(rèn)為是匹配點(diǎn)。它們之間的實(shí)驗(yàn)結(jié)果對(duì)比見(jiàn)表1所列,由表1可以看出Gabor特征判別特征點(diǎn)匹配性更可靠。

表1 判斷輪廓特征點(diǎn)準(zhǔn)確度

選取同一人臉的3幅圖像,其中正面圖像得到的輪廓特征點(diǎn)作為參考點(diǎn),其他2幅圖像(臉部朝左側(cè)為圖像1，臉部朝右側(cè)為圖像2)輪廓點(diǎn)作為需要驗(yàn)證的點(diǎn)。在每幅圖像的輪廓點(diǎn)上都提取它們所在5×5圖像塊的40個(gè)Gabor特征,其中選取圖像塊的16個(gè)有效Gabor特征作相關(guān)系數(shù)。同一人的輪廓特征點(diǎn)相關(guān)系數(shù)如圖2所示。

圖2 輪廓特征點(diǎn)的相關(guān)系數(shù)

由圖2可以看出,有2個(gè)特征點(diǎn)的相關(guān)系數(shù)低于0.9。對(duì)于相關(guān)系數(shù)小于0.9的點(diǎn),則認(rèn)為是不匹配點(diǎn),并在其周?chē)謩?dòng)尋找匹配點(diǎn)。

圖2的輪廓點(diǎn)未判斷特征點(diǎn)匹配性時(shí)和修改不匹配的特征點(diǎn)后,兩者之間的對(duì)比如圖3所示。由圖3可以看出修改匹配點(diǎn)后,得到的三維數(shù)據(jù)更準(zhǔn)確。

圖3 三維稀疏特征點(diǎn)

實(shí)驗(yàn)2 ICP配準(zhǔn)。X為3 003個(gè)點(diǎn)組成的三維人臉模型,Y從結(jié)構(gòu)矩陣S中獲得。配準(zhǔn)前后的對(duì)比結(jié)果如圖4所示。由圖4可以看出,配準(zhǔn)后縮小了2個(gè)點(diǎn)集之間的空間距離。

圖4 ICP配準(zhǔn)前后的對(duì)比結(jié)果

實(shí)驗(yàn)結(jié)果表明:本文提出的采用Gabor濾波器提取紋理特征,判斷特征點(diǎn)匹配性可靠性更高,而且ICP配準(zhǔn)后明顯縮小了2個(gè)空間點(diǎn)集的距離,成為三維人臉建模中不可或缺的一部分。采用每人3幅不同姿態(tài)的照片判斷特征點(diǎn)匹配性之后重建出來(lái)的三維人臉模型如圖5所示。直接在通用人臉模型上貼圖與在特定人臉模型上貼圖的對(duì)比如圖6所示。

圖5 三維人臉重建

圖6 模型對(duì)比

從圖6c可以看出,人臉輪廓的貼圖效果更加逼真,由此可知建立特定三維人臉模型對(duì)重建三維人臉的重要性以及本文方法的有效性。

4 結(jié) 論

本文提出了一種融合Gabor特征的SFM算法三維人臉建模方法。針對(duì)特征點(diǎn)不匹配造成SFM算法獲得錯(cuò)誤三維結(jié)構(gòu)的問(wèn)題,利用Gabor濾波器提取的紋理特征判斷特征點(diǎn)的匹配性,可以有效地降低錯(cuò)誤率;利用旋轉(zhuǎn)矩陣性質(zhì)的方法求得修正矩陣,避免了因子分解中方程組的求解問(wèn)題;引用ICP三維配準(zhǔn),減小了空間距離。本文方法的不足是沒(méi)有考慮表情變化下的三維人臉建模。在以后的工作將會(huì)繼續(xù)研究非剛性SFM算法在三維人臉表情建模和三維人臉識(shí)別中的應(yīng)用。

[1] JENI L A,COHN J F,KANADE T.Dense 3D face alignment from 2D videos in real-time[C]//IEEE International Conference on Automatic Face & Gesture Recognition and Workshops.[S.l.:s.n.],2015:1-8.

[2] BLANZ V,VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(9):1063-1074.

[3] 汪海波,陳雁翔,李艷秋.基于主成分分析和Softmax 回歸模型的人臉識(shí)別方法[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,38(6):759-763.

[4] LEE Y C,TERZOPOUIOS D,WAITERS K.ReaIistic modeIing for faciaI animation[C]//Proceedings of the SIGGRAPH95.Los Angeles:[s.n.],l995:55-62.

[5] BEUMIER C,ACHEROY M.3D facial surface acquisition by structured light[C]//International Workshop on Synthetic-Natural Hybrid Coding and Three Dimensional Imaging.Santorini:[s.n.],1999:103-106.

[6] 徐成華,王蘊(yùn)紅,譚鐵牛.三維人臉建模與應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào),2004,9(8):893-903.

[7] BLANZ V,VETTER T.A morphable model for the synthesis of 3D faces[C]//Proceedings of SIGGRAPH 99.Los Angeles:[s.n.],1999:187-194.

[8] 王成章,尹寶才,孫艷豐,等.改進(jìn)的基于形變模型的三維人臉建模方法[J].自動(dòng)化學(xué)報(bào),2007,33(3):232-239.

[9] ZHU Xiangyu,YAN Junjie,YI Dong,et al.Discriminative 3D morphable model fitting[C]//IEEE International Conference and Workshops on Automatic Face and Gesture Recognition.[S.l.]:IEEE,2015:1-8.

[10] ZHANG P B,HUNG Y S.Non-rigid structure from motion through estimation of blend shapes[C]//The International Conference on Digital Image Computing:Techniques and Applications(DICTA).[S.l.]:IEEE,2015:1-7.

[11] 周大可,吳子揚(yáng),楊欣.基于壓縮感知理論的3維人臉快速重建[J].中國(guó)圖象圖形學(xué)報(bào),2014,19(6):924-931.

[12] 王琨,鄭南寧.基于SFM算法的三維人臉模型重建[J].計(jì)算機(jī)學(xué)報(bào),2005,28(6):1048-1053.

[13] 張劍.融合SFM 和動(dòng)態(tài)紋理映射的視頻流3維表情重建[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22 (6):949-958.

[14] LEE S J,PARK K R,KIM J.A SfM-based 3D face reconstruction method robust to self-occlusion by using a shape conversion matrix[J].Pattern Recognition,2011,44(7):1470-1486.

[15] PARK U,JAIN A K.3D model-based face recognition in video[C]//The 2007 International Conference on Advances in Biometrics.Berlin:Springer-Verlag,2007:1085-1094.

[16] YANG Chang,CHEN Jiansheng,XIA Cong,et al.A SFM-based sparse to dense 3D face reconstruction method robust to feature trackong errors[C]//IEEE International Conference on Image Processing.[S.l.:s.n.],2013:3617-3621.

[17] 蔣建國(guó),宣浩.基于MDL 形狀模型的醫(yī)學(xué)圖像分割[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,34(4):497-500.

[18] TZIMIROPOULOS G,PANTIC M.Optimization problems for fast AAM fitting in-the-wild[C]//the 2013 IEEE International Conference on Computer Vision.Washington,D.C.:IEEE Computer Society,2013:593-600.

[19] 胡正平,徐波,白洋.Gabor特征集結(jié)合判別式字典學(xué)習(xí)的稀疏表示圖像識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(2):189-194.

[20] DE JONG M A,WOLLSTEIN A,RUFF C,et al.An automatic 3D facial landmarking algorithm using 2D Gabor wavelets[J].IEEE Transactions on Image Processing,2016,25(2):580-588.

[21] TOMASI C,KANADE T.Shape and motion from image stream under orthography:a factorization method[J].International Journal of Computer Vision,1992,9(2):137-154.

[22] 邱少華,文貢堅(jiān),回丙偉,等.從運(yùn)動(dòng)中恢復(fù)目標(biāo)結(jié)構(gòu)的改進(jìn)因子分解法[J].中國(guó)圖象圖形學(xué)報(bào),2013,18(9):1142-1148.

[23] 王之卓.攝影測(cè)量原理[M].武漢:武漢大學(xué)出版社,2007:554-555.

[24] PARK U,JAIN A K.3D face reconstruction from stereo video[C]//The 3rd Canadian Conference on Computer and Robot Vision.Washington,D.C.:IEEE Computer Society,2006:41-48.

(責(zé)任編輯 閆杏麗)

A method of fusing Gabor features for 3D face modeling by SFM algorithm

WU Congzhong, ZHANG Linghua, ZHAN Shu

(School of Computer and Information, Hefei University of Technology, Hefei 230009, China)

3D face modeling based on structure from motion(SFM) has always attracted researchers’ attention. But it is sensitive to false matching feature points. In this paper, a method of fusing Gabor features for 3D face modeling by SFM algorithm is presented. In this method, texture features extracted by Gabor filter are introduced to evaluate the reliability of outline feature points. With more images, the traditional factorization method is not easy to correct rotation matrix. To solve this problem, the property of a rotation matrix is adopted to calculate corrective matrix. It also avoids solving the equations. Then, sparse 3D feature points and the 3D model are registered by using the iterative closest point(ICP) algorithm to reduce the space distance. And combining the modified 3D model and the shape obtained by thin plate spline interpolation, the person-specific 3D face model can be reconstructed. Finally, the texture is mapped to enhance the realism. The experimental results show that the proposed method is effective in improving the accuracy of matching points and reconstructing higher realistic 3D faces.

structure from motion(SFM); Gabor filter; factorization; corrective matrix; iterative closest point(ICP)

2015-11-23；

2016-03-05

國(guó)家自然科學(xué)基金資助項(xiàng)目(61371156)；安徽省科技攻關(guān)計(jì)劃資助項(xiàng)目(1401B042019)

吳從中(1965-)，男，安徽安慶人，合肥工業(yè)大學(xué)副教授，碩士生導(dǎo)師.

10.3969/j.issn.1003-5060.2017.02.008

TP391.41

A

1003-5060(2017)02-0180-06