趙 青,余元輝,蔡囯榕

(1.集美大學(xué)理學(xué)院，福建 廈門(mén) 361021；2.集美大學(xué)計(jì)算機(jī)工程學(xué)院，福建 廈門(mén) 361021)

0 引言

隨著智能安防的快速發(fā)展和三維數(shù)據(jù)的深入研究，人臉識(shí)別技術(shù)的研究也逐步從二維人臉識(shí)別轉(zhuǎn)向三維人臉識(shí)別。眉毛作為三維人臉數(shù)據(jù)重要的特征之一，具有獨(dú)特的形狀特征及紋理特征，即具有較好的身份特異性，使得眉毛提取在人臉識(shí)別、人臉圖像美化等方面具有重要的研究?jī)r(jià)值。Sadr等[1]將人臉圖像劃分為缺失眉毛區(qū)域的圖像和缺失眼睛區(qū)域的圖像兩類(lèi)，通過(guò)對(duì)比兩類(lèi)圖像的識(shí)別率說(shuō)明了眉毛的識(shí)別率高于眼睛的識(shí)別率。已有的算法,例如特征串算法[2]、PCA算法[3]，小波和SVM算法[4]、HMM算法[5]等，均是基于二維人臉圖像進(jìn)行眉毛提取，然而現(xiàn)實(shí)生活中的圖像形變、光照變化等因素都會(huì)降低眉毛的識(shí)別特性。

陳智等[6]編碼三維人臉模型頂點(diǎn)的幾何信息構(gòu)成正方形切平面描述符，采用隨機(jī)森林算法進(jìn)行面部區(qū)域分類(lèi)，實(shí)現(xiàn)了三維人臉模型中眉毛、眼睛、嘴巴、鼻子的區(qū)域識(shí)別率達(dá)到了94.46%，但三維人臉模型的區(qū)域分割需要手工標(biāo)記，尚達(dá)不到精準(zhǔn)區(qū)域分割。Tsalakanidou等[7]基于局部特征檢測(cè)器和人臉跟蹤器，提出了完全自動(dòng)化的人臉表情識(shí)別系統(tǒng)，基于眉毛形變實(shí)現(xiàn)細(xì)微的人臉動(dòng)作和表情的有效分類(lèi)，該方法的識(shí)別效果優(yōu)于完全基于2D圖像的人臉表情識(shí)別方法，但是受三維模型姿態(tài)的影響較大。在此基礎(chǔ)上，Liu等[8-9]提出了一種分層CRF(conditional random field algorithm)方法進(jìn)行眉毛和周期性頭部姿態(tài)識(shí)別，通過(guò)標(biāo)記3D人臉特征點(diǎn)并投影到2D平面上，同時(shí)采用魯棒的人臉跟蹤器進(jìn)行2D人臉特征點(diǎn)標(biāo)定，并依據(jù)眉毛區(qū)域的特征點(diǎn)確定眉毛區(qū)域，從而檢測(cè)眉毛抬高或降低的幅度，但在提取幾何特征和表觀特征的過(guò)程中，需要進(jìn)行特征排序，有序特征的識(shí)別提高了識(shí)別率的同時(shí)增加了計(jì)算量，特征如何排序達(dá)到最優(yōu)識(shí)別結(jié)果也是一個(gè)較難處理的問(wèn)題。Lei等[10]通過(guò)自動(dòng)獲取三維點(diǎn)云數(shù)據(jù)和深度圖像上12個(gè)特征點(diǎn)以及二維圖像映射到三維點(diǎn)云數(shù)據(jù)上的8個(gè)特征點(diǎn)，選取25個(gè)三維特征點(diǎn)之間的歐氏距離作為特征向量進(jìn)行6種表情識(shí)別，平均識(shí)別率為87.1%，但無(wú)法實(shí)現(xiàn)三維點(diǎn)云上的特征點(diǎn)的全自動(dòng)獲取。杜星悅等[11]將三維人臉模型進(jìn)行正交投影獲得相對(duì)應(yīng)的二維人臉深度圖像和特征點(diǎn)，在卷積神經(jīng)網(wǎng)絡(luò)下實(shí)現(xiàn)眉毛、眼睛、嘴巴、鼻尖等區(qū)域的特征點(diǎn)定位，解決了需要手工標(biāo)定三維人臉關(guān)鍵點(diǎn)且耗時(shí)長(zhǎng)的問(wèn)題，卻忽略了初始標(biāo)定三維特征點(diǎn)的準(zhǔn)確度。

在此基礎(chǔ)上，為了有效提取三維眉毛區(qū)域，本文以DMCSv1[12]數(shù)據(jù)庫(kù)中的三維點(diǎn)云數(shù)據(jù)為實(shí)驗(yàn)數(shù)據(jù)，基于Matlab進(jìn)行了三維眉毛區(qū)域提取的一系列仿真實(shí)驗(yàn)。

1 預(yù)處理

1.1 數(shù)據(jù)預(yù)處理

通過(guò)3D結(jié)構(gòu)光技術(shù)獲取的三維點(diǎn)云數(shù)據(jù)，包括頭發(fā)、面部、耳朵、頸部、衣領(lǐng)的信息，其中的冗余信息、密度不均、離群點(diǎn)、孔洞、噪聲等問(wèn)題均會(huì)對(duì)眉毛提取操作造成干擾并增加復(fù)雜度[13]。因此高質(zhì)量三維人臉數(shù)據(jù)對(duì)人臉關(guān)鍵點(diǎn)的提取和鼻尖點(diǎn)定位具有不可忽略的重要性。本文移除離群點(diǎn)與填充孔洞的具體方法為：

1)移除離群點(diǎn)?；跀?shù)理統(tǒng)計(jì)方法，利用點(diǎn)云庫(kù)中的條件刪除和統(tǒng)計(jì)異常值刪除過(guò)濾器[14]對(duì)原始點(diǎn)云人臉數(shù)據(jù)(見(jiàn)圖1a)進(jìn)行濾除離群值處理(見(jiàn)圖1b)。

2)填充孔洞。利用點(diǎn)云的法線(xiàn)與周?chē)c(diǎn)云的拓?fù)浣Y(jié)構(gòu)建立同構(gòu)關(guān)系，使得所有的點(diǎn)構(gòu)成三角網(wǎng)格，同時(shí)孔洞部分的三角網(wǎng)格逼近其真實(shí)的拓?fù)浣Y(jié)構(gòu)，數(shù)據(jù)處理結(jié)果如圖1c所示。

1.2 鼻尖點(diǎn)定位

本文在文獻(xiàn)[15-17]的基礎(chǔ)上進(jìn)行鼻尖點(diǎn)定位。初始化包含n個(gè)頂點(diǎn)V=(v1,v2,…,vn)的三維點(diǎn)云正面人臉數(shù)據(jù)，記點(diǎn)云數(shù)據(jù)為：

(1)

2 融合表觀和曲率特征提取三維眉毛區(qū)域

本文提出的三維眉毛區(qū)域提取方法結(jié)合3D-2D投影方法、二維圖像的人臉關(guān)鍵點(diǎn)算法、Z值回歸方法獲取三維點(diǎn)云對(duì)應(yīng)的眉毛區(qū)域關(guān)鍵點(diǎn)，構(gòu)建眉毛區(qū)域的感興趣區(qū)域ROI(region of interest)，融合曲率和表觀特征驗(yàn)證眉毛區(qū)域提取的可行性。

2.1 基于3D-2D-3D的眉毛關(guān)鍵點(diǎn)提取

本文提出了在3D-2D-3D的框架下實(shí)現(xiàn)三維點(diǎn)云數(shù)據(jù)中眉毛關(guān)鍵點(diǎn)的獲取方法。3D-2D-3D框架是指三維點(diǎn)云數(shù)據(jù)通過(guò)一定的投影變換獲得對(duì)應(yīng)的二維圖像數(shù)據(jù)，利用人臉關(guān)鍵點(diǎn)算法獲得二維圖像上的眉毛區(qū)域的關(guān)鍵點(diǎn)，再將關(guān)鍵點(diǎn)通過(guò)Z值回歸至原三維空間，確定三維點(diǎn)云中眉毛區(qū)域的關(guān)鍵點(diǎn)。

2.1.1 3D-2D投影及特征點(diǎn)的可視化

3D-2D之間投影變換[19-21]關(guān)系的相關(guān)研究已相對(duì)成熟，假設(shè)投影得到的二維圖像表示為：

(2)

設(shè)三維點(diǎn)云投影到二維平面的投影矩陣為P，圖像坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系的變換矩陣為Pc，則投影過(guò)程為：I(U,V)=Pc°P(SP)。

三維點(diǎn)云數(shù)據(jù)SP中每個(gè)頂點(diǎn)s(xi,yi,zi)投影到xoy平面的像素點(diǎn)I(ui,vi)，本文通過(guò)對(duì)已經(jīng)訓(xùn)練好的Dlib庫(kù)中68點(diǎn)人臉關(guān)鍵點(diǎn)算法[22]、DAN(deep alignment network)算法[23]、OpenPose開(kāi)源庫(kù)中69點(diǎn)人臉關(guān)鍵點(diǎn)算法[24]的實(shí)驗(yàn)結(jié)果比對(duì)發(fā)現(xiàn)：DAN算法不適用于本文投影得到的二維圖像，Dlib庫(kù)的68點(diǎn)人臉關(guān)鍵點(diǎn)算法對(duì)二維圖像的關(guān)鍵點(diǎn)標(biāo)定有較大誤差，69點(diǎn)人臉關(guān)鍵點(diǎn)算法的關(guān)鍵點(diǎn)標(biāo)定誤差最小?；诖耍瑢?duì)投影得到的二維圖像I進(jìn)行面部關(guān)鍵點(diǎn)標(biāo)定，將眉毛區(qū)域的17到26共10個(gè)關(guān)鍵點(diǎn)進(jìn)行提取，具體過(guò)程如圖2所示。

2.1.2 2D關(guān)鍵點(diǎn)Z值回歸

本研究將獲得的圖像I中眉毛區(qū)域關(guān)鍵點(diǎn)的像素坐標(biāo)，進(jìn)行投影逆變換以及Z值回歸，進(jìn)而確定三維空間中對(duì)應(yīng)的關(guān)鍵點(diǎn)坐標(biāo)。

2.2 基于表觀特征提取三維眉毛區(qū)域

本文提出了一種R-RGB方法，即結(jié)合眉毛區(qū)域的ROI和眉毛本身的RGB特征實(shí)現(xiàn)三維眉毛區(qū)域的提取。

2.2.1 構(gòu)建三維眉毛ROI

眉毛在面部區(qū)域的獨(dú)特性表現(xiàn)在形狀和顏色兩方面，眉毛與其周?chē)鷧^(qū)域相比而言，具有RGB值突變、形狀彎曲程度偏高的特點(diǎn)。以肉眼的視角可以直接提取出眉毛，但在三維點(diǎn)云數(shù)據(jù)中難以依據(jù)有限個(gè)關(guān)鍵點(diǎn)確定完整的眉毛區(qū)域大小，因此本文提出了一個(gè)基于眉毛關(guān)鍵點(diǎn)構(gòu)建其ROI的方法。

在三維空間中確定標(biāo)簽為17到21的關(guān)鍵點(diǎn)為一組點(diǎn)集PL=(Xl,Yl,Zl)，其中17≤l≤21，標(biāo)簽為22到26的關(guān)鍵點(diǎn)為一組點(diǎn)集PR=(Xr,Yr,Zr)，其中22≤r≤26。已知人臉關(guān)鍵點(diǎn)算法在眉毛區(qū)域?qū)?yīng)的10個(gè)關(guān)鍵點(diǎn)均位于眉毛上側(cè)，以點(diǎn)集PL為例，確定5個(gè)關(guān)鍵點(diǎn)在各個(gè)方向上的取值范圍，以關(guān)鍵點(diǎn)17的三維坐標(biāo)為原點(diǎn)，以L=max(Xl)-min(Xl)為長(zhǎng)，以W=max(Yl)-min(Yl)為寬，以H=max(Zl)-min(Zl)為高構(gòu)建長(zhǎng)方體，長(zhǎng)方體內(nèi)的三維點(diǎn)云數(shù)據(jù)為ROI區(qū)域(即圖4紅色區(qū)域)包含的點(diǎn)云數(shù)據(jù)，此時(shí)長(zhǎng)方體為包含眉毛的最小區(qū)域。

2.2.2 確定ROI的點(diǎn)云灰度閾值

在三維點(diǎn)云數(shù)據(jù)中主要存在膚色和發(fā)色兩種色彩，表明這兩種色彩之間存在一個(gè)閾值可以將其區(qū)分開(kāi)來(lái)。左眉毛和右眉毛的灰度值并不一致，主要是數(shù)據(jù)本身在采集過(guò)程中造成的。將三維點(diǎn)云數(shù)據(jù)的RGB值轉(zhuǎn)換為灰度值(Gray)Go：

Go=R×0.299+G×0.587+B×0.114。

(4)

設(shè)置膚色與發(fā)色之間的閾值為T(mén)L，TR，根據(jù)特征點(diǎn)Gray值的平均值以及文獻(xiàn)[25]中的Gray值，確定TL，TR，并提取出眉毛區(qū)域的點(diǎn)云Se(X,Y,Z)。

2.3 曲率描述子

在三維點(diǎn)云中每個(gè)頂點(diǎn)都具有曲率特征，曲率特征不會(huì)隨著外界影響因素的變化而有所波動(dòng)，因此用曲率來(lái)表示眉毛的形狀具有穩(wěn)定性。三維點(diǎn)云人臉數(shù)據(jù)是不規(guī)則曲面，構(gòu)成的表面高低起伏不同，鼻子區(qū)域位于面部凸區(qū)域，內(nèi)眼角位于面部凹區(qū)域，曲率變化相差最大。而眉毛區(qū)域位于內(nèi)眼角區(qū)域之上，其本身也具有一定的彎曲程度，導(dǎo)致眉毛區(qū)域也具有較為明顯的曲率變化。

當(dāng)α=1時(shí)，該廣義熵指數(shù)就是泰爾指數(shù)。泰爾指數(shù)具有可加分解性，通過(guò)分解成為組內(nèi)差異和組間差異，從而可以看出區(qū)域之間發(fā)展差距以及各區(qū)域內(nèi)部發(fā)展差距。泰爾指數(shù)最終分解為：

2.4 算法流程介紹

本文三維眉毛區(qū)域提取的算法流程如下：

輸入：歸一化處理后的點(diǎn)云數(shù)據(jù)SP(X，Y，Z)

輸出：三維眉毛區(qū)域的點(diǎn)云Se(X，Y，Z)

1：I(U,V)=PC°P(SP(X,Y,Z))；

2：I(ui,vi)=Open pose(I(U,V))；

3：fori=17 to 26：

4：si+p(xi,yi,zp)=min(D(s(xp,yp),I(xi,yi)))；

5： Whilesi+p(xi,yi,zp)∈SP(r3)：

sf(xf,yf,zf)=min(e)；

6： ROI=V(L,W,H)；

8：returnSe(X,Y,Z)。

3 實(shí)驗(yàn)結(jié)果與分析

本文的仿真實(shí)驗(yàn)環(huán)境為Windows 10系統(tǒng)，搭載i7-8565U的CPU、NVIDIA GeForce MX-150的GPU，基于Matlab 2016a，實(shí)驗(yàn)結(jié)果僅為該配置下的運(yùn)行結(jié)果。

3.1 數(shù)據(jù)集

DMCSv1[12]數(shù)據(jù)庫(kù)中的三維面部點(diǎn)云數(shù)據(jù)是使用如圖5所示搭建的MBS站(多模式生物識(shí)別系統(tǒng)站)測(cè)量裝置獲取的，包括左右面部點(diǎn)云數(shù)據(jù)以及融合之后的面部點(diǎn)云數(shù)據(jù)。該數(shù)據(jù)庫(kù)有35個(gè)受試者，其中女性受試者有2名，所占比例為5.7%，男性受試者為33名，所占比例為94.3%。受試者面部均未進(jìn)行化妝等修飾，每人有中性、微笑、生氣、傷心、無(wú)聊的表情。按眉毛形狀劃分，粗直型眉毛的受試者有12名，所占比例為34.3%；彎曲型眉毛的受試者有11名，所占比例為31.4%；淺直型眉毛的受試者有12名，所占比例為34.3%。

3.2 實(shí)驗(yàn)結(jié)果

三維點(diǎn)云數(shù)據(jù)的Log-曲率(見(jiàn)圖6a)整體偏小，取值范圍在[-inf,0.0686]，將其坐標(biāo)軸取值范圍擴(kuò)大，增強(qiáng)Log-曲率之間的對(duì)比度。從曲率效果圖可以發(fā)現(xiàn)眉毛的整體Log-曲率與面部區(qū)域存在明顯差異，同時(shí)與眼睛部分的曲率區(qū)分較大，使得眉毛區(qū)域的形狀與輪廓整體較為突出。三維點(diǎn)云數(shù)據(jù)的平均曲率(見(jiàn)圖6b)整體集中在[-0.7876,0.8080]，增強(qiáng)平均曲率之間的對(duì)比度，眉毛區(qū)域的平均曲率相較于面部的曲率對(duì)比明顯，由于內(nèi)眼角區(qū)域與眉毛部分的平均曲率差異較大，使得眉毛區(qū)域更加突出，但是眉毛區(qū)域與額頭區(qū)域的平均曲率差異較小，使得眉毛的輪廓模糊，對(duì)眉毛區(qū)域形狀的凸顯效果較差。

針對(duì)DMCSv1數(shù)據(jù)庫(kù)中的點(diǎn)云數(shù)據(jù)，數(shù)據(jù)在采集過(guò)程中有諸多影響因素，以至于RGB分布不均。直接利用RGB的方法，記為D-RGB法，與本文方法進(jìn)行了效果對(duì)比，結(jié)果發(fā)現(xiàn)：D-RGB方法有諸多干擾區(qū)域，效果不理想，如圖7所示。R-RGB方法提取三維眉毛區(qū)域效果如圖8所示，針對(duì)不同表情，如中性表情、微笑表情、生氣表情的三維點(diǎn)云數(shù)據(jù)，情緒的變化對(duì)眉毛區(qū)域的ROI影響微小，驗(yàn)證了眉毛區(qū)域的穩(wěn)定性。就整個(gè)眉毛區(qū)域的提取效果而言，對(duì)眉頭區(qū)域的提取較為準(zhǔn)確，但對(duì)稀疏的與膚色接近的眉尾區(qū)域的提取效果仍有待提高。

按眉毛形狀主要?jiǎng)澐譃橹泵己蛷澝純纱箢?lèi)，其中直眉又分為顏色淺且短直(S-P)和顏色深且直(S-D)的眉毛。由圖9可知，針對(duì)S-P類(lèi)型的眉毛，對(duì)眉頭區(qū)域的提取效果較為準(zhǔn)確，但對(duì)眉毛尾部區(qū)域的提取不夠細(xì)致；針對(duì)S-D類(lèi)型的眉毛，因?yàn)槊济鄬?duì)于膚色更加明顯突出，所以眉毛整體區(qū)域的提取效果較為準(zhǔn)確。相對(duì)而言，彎眉也分為顏色淺且彎曲(C-P)和顏色深且彎曲(C-D)的眉毛。由圖9可以看出，針對(duì)C-P類(lèi)型的眉毛，特別是女性的眉毛顏色更淺且細(xì)，導(dǎo)致整體眉毛的提取與原始眉毛區(qū)域存在差異；針對(duì)C-D類(lèi)型的眉毛，由于眉毛點(diǎn)云的顏色與周?chē)c(diǎn)云的膚色相差較大，眉毛點(diǎn)云的提取更加接近原始眉毛輪廓。

結(jié)合不同表情，不同眉毛形狀的提取結(jié)果，可以發(fā)現(xiàn)，本文所提方法具有有效性和可行性。

4 結(jié)論

本文的主要工作是實(shí)現(xiàn)三維眉毛提取。在3D-2D投影的基礎(chǔ)上提出了一個(gè)3D-2D-3D框架，結(jié)合人臉關(guān)鍵點(diǎn)算法實(shí)現(xiàn)了三維點(diǎn)云數(shù)據(jù)中眉毛關(guān)鍵點(diǎn)的自動(dòng)提??；通過(guò)構(gòu)建眉毛的ROI，以曲率說(shuō)明眉毛形狀，利用灰度閾值進(jìn)一步實(shí)現(xiàn)眉毛區(qū)域的提取。實(shí)驗(yàn)結(jié)果表明，針對(duì)DMCSv1數(shù)據(jù)庫(kù)中不同表情的三維點(diǎn)云數(shù)據(jù)，本文提出的方法一方面有效縮小了目標(biāo)區(qū)域，極大地減少了計(jì)算量，另一方面利用RGB特征在ROI區(qū)域?qū)⒚济崛〕鰜?lái)，快速、簡(jiǎn)便且有效，具有一定的可行性。