吳偉國(guó),閆云雪
(哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院,150001哈爾濱)
人頭面部輪廓數(shù)學(xué)模型的研究
吳偉國(guó),閆云雪
(哈爾濱工業(yè)大學(xué)機(jī)電工程學(xué)院,150001哈爾濱)
針對(duì)現(xiàn)有圖像處理技術(shù)中提取人臉輪廓線光滑性差的問題,提出一種人頭面部輪廓的分段建模方法.通過輪廓特征點(diǎn)定義和輪廓分段,采用超橢圓、圓弧和拋物線等曲線建立了人頭面部輪廓數(shù)學(xué)模型,選取100組5種臉型的真實(shí)人頭面圖像經(jīng)圖像處理及優(yōu)化后,用獲得的輪廓樣本參數(shù)對(duì)模型進(jìn)行驗(yàn)證.結(jié)果表明,對(duì)于任一樣本,該模型在進(jìn)行參數(shù)優(yōu)化后都能保證模型平均誤差在1.2%以下,最大誤差在2.6%以下,驗(yàn)證了該模型的有效性和普適性.提出了基于該模型的臉型判定方法,給出了各類臉型的模型參數(shù)范圍.
人頭面部輪廓;數(shù)學(xué)模型;超橢圓曲線;臉型判定方法
人臉輪廓是人臉重要的特征信息,其在各個(gè)領(lǐng)域的應(yīng)用也越來越廣泛.文獻(xiàn)[1-3]針對(duì)下頜輪廓線的特點(diǎn),研究了下頜輪廓線的提取與分類,利用拋物線模型和折線模型建立下頜形狀模板,并將其運(yùn)用于人臉識(shí)別系統(tǒng),提高了人臉識(shí)別的正確率和識(shí)別速度.在人臉三維建模中,精確的面部輪廓線是模型建立的必要前提[4].同時(shí),人臉輪廓線在人臉檢測(cè)[5-6]、人臉表情動(dòng)畫[7-8]以及面部整容醫(yī)學(xué)等方面也有著廣泛的應(yīng)用,相比于通過對(duì)人臉皮膚顏色過濾的方法[9]更能夠反映面部的真實(shí)特征,這使得對(duì)于面部輪廓線獲得方法的研究成為國(guó)內(nèi)外眾多學(xué)者的研究熱點(diǎn).目前,常用的輪廓線獲得方法有:可變形模板,該方法對(duì)面部器官輪廓的提取效果較好,但存在著初始值定位困難且計(jì)算復(fù)雜的問題;活動(dòng)輪廓模型(Snake模型)[10-12],該方法能夠用于任意形狀輪廓線的精確提取,但受參數(shù)初值的影響大,計(jì)算繁瑣也制約了該方法的應(yīng)用.此外,隱式的水平集、Cabor小波變換、Hough變換等方法也用于人臉輪廓的檢測(cè)與提取,但得到的輪廓線連續(xù)性和光滑性較差;近幾年,基于Snake模型的改進(jìn)算法逐漸被學(xué)者提出,效果較好的是基于PGVF Snake模型[13]的人臉輪廓提取方法,該方法通過將梯度矢量場(chǎng)引入外部能量項(xiàng),克服了傳統(tǒng)Snake模型的缺點(diǎn),能夠較快速準(zhǔn)確地提取人臉輪廓,提取出的人臉輪廓效果如圖1所示.從圖中可以看出,雖然提取出的人臉輪廓線逼近于真實(shí)人臉輪廓線,但輪廓曲線光滑性差,其精確性也有待提高.
圖1 基于PGVF Snake模型提取的輪廓線
上述幾種方法提取出的人臉輪廓線都存在以下共性問題:當(dāng)照片質(zhì)量有缺陷時(shí),得到的輪廓線會(huì)出現(xiàn)較大的拐點(diǎn),導(dǎo)致輪廓的精確性下降;得到的輪廓線連續(xù)性、光滑性較差且無(wú)法對(duì)其進(jìn)行局部調(diào)整;輪廓線的存儲(chǔ)和再現(xiàn)方式依賴于大量離散點(diǎn)數(shù)據(jù)信息,增加了人臉輪廓數(shù)據(jù)庫(kù)建立和人像比對(duì)的復(fù)雜性.
為解決以上問題,同時(shí)旨在將人臉輪廓應(yīng)用于臉型可變仿人頭像機(jī)器人研究當(dāng)中,本文對(duì)人頭面部輪廓數(shù)學(xué)模型的建立進(jìn)行了研究,并給出了具體的數(shù)學(xué)表達(dá).
人頭面部的幾何結(jié)構(gòu)復(fù)雜,存在很大的差異,但人頭面部的輪廓形態(tài)卻存在一定的規(guī)律,其中頂骨的彎曲形狀決定了頭部輪廓線的形態(tài);額骨、顴骨、上頜骨以及下頜骨等顱面骨基本上決定了面部輪廓線形態(tài);面部肌肉組織的附著賦予了人頭面部輪廓線光滑這一特性.
通過對(duì)人臉結(jié)構(gòu)形態(tài)進(jìn)行分析,定義頭頂點(diǎn)v、顱側(cè)點(diǎn)eu、上頜骨圓弧起點(diǎn)g1、下頜骨圓弧終點(diǎn)g2、頦下點(diǎn)gn作為人頭面部輪廓特征點(diǎn)(其中頭頂點(diǎn)v、顱側(cè)點(diǎn)eu和頦下點(diǎn)gn為人體測(cè)量學(xué)中定義的骨性標(biāo)志點(diǎn)),各特征點(diǎn)具體位置如圖2所示.
各特征點(diǎn)在人頭面部輪廓中的意義為:頭頂點(diǎn)v為法蘭克福平面(法蘭克福平面是由左右側(cè)耳門上點(diǎn)(po)和左側(cè)眼眶下緣點(diǎn)(or)3個(gè)點(diǎn)所確定的一個(gè)平面,也稱眼耳平面,如圖3所示)以上,距離法蘭克福平面最遠(yuǎn)的點(diǎn);顱側(cè)點(diǎn)eu為位于頂骨區(qū)域內(nèi)以及顳側(cè)面最突出的點(diǎn),兩顱側(cè)點(diǎn)間寬表征頭面輪廓最大寬;g1點(diǎn)為下頜骨圓弧起點(diǎn);g2點(diǎn)為下頜骨圓弧終點(diǎn);頦下點(diǎn)gn為法蘭克福平面以下,距離法蘭克福平面最遠(yuǎn)的點(diǎn),和頭頂點(diǎn)v共同表征頭面輪廓最大長(zhǎng)度.可以看出,這些特征點(diǎn)的位置結(jié)合各點(diǎn)依次連接的方式?jīng)Q定了人頭面部輪廓的形狀.
圖2 特征點(diǎn)位置及頭面部正面坐標(biāo)系
圖3 法蘭克福平面示意圖
人頭面部輪廓的多樣性和光滑性要求建立的數(shù)學(xué)模型具有普適性,并要保證模型曲線光滑連續(xù),同時(shí)為了便于不同臉型之間的遷移,在保證模型有效性的前提下其參數(shù)應(yīng)盡量少,本文采用分段函數(shù)建立該數(shù)學(xué)模型.
坐標(biāo)系的建立方式如圖2所示,以左右顱側(cè)點(diǎn)連線和正中矢狀面(將人頭部分為左右對(duì)等的面)的交點(diǎn)作為原點(diǎn)O建立直角坐標(biāo)系,以兩顱側(cè)點(diǎn)連線作為Y軸,向右為正;Z軸位于正中矢狀面上,垂直于Y軸,向上為正;X軸符合右手定則.
由于人頭面部結(jié)構(gòu)左右對(duì)稱,這里只闡述右半部分頭面輪廓的數(shù)學(xué)模型建立方法.首先,根據(jù)特征點(diǎn)將人頭面部輪廓進(jìn)行分段,分段情況以及各段采取的模型曲線為:v~eu段,超橢圓曲線;eu~g1段,橢圓曲線;g2~gn段,拋物線;g1~g2段:圓弧曲線,該圓弧為eu~g1段橢圓曲線和g2~gn段拋物線的相切圓?。?/p>
設(shè)各特征點(diǎn)坐標(biāo)為:v點(diǎn)(0,b),eu點(diǎn)(a,0),g1點(diǎn)(m,n),g2點(diǎn)(g,h),gn點(diǎn)(0,B).則右半部分人頭面部輪廓的數(shù)學(xué)模型為
式中:
當(dāng)a≥b時(shí),a為超橢圓長(zhǎng)半軸,當(dāng)a<b時(shí),a為超橢圓短半軸;s為超橢圓指數(shù);c、d分別為橢圓長(zhǎng)半軸、短半軸,(yc,zc)為橢圓曲線和拋物線的相切圓弧圓心坐標(biāo).
由式(1)可知,a、b、s、c、m、g,R這7個(gè)獨(dú)立的參數(shù)就足以控制模型曲線形狀.為便于確定參數(shù)范圍,將m、g分別表示成橢圓參數(shù)方程以及圓參數(shù)方程中的坐標(biāo)形式:m=acos θ,
則最終的模型參數(shù)為a、b、s、c、θ、β、R,對(duì)這7個(gè)獨(dú)立參數(shù)進(jìn)行優(yōu)化即可得到任一特定人頭面部輪廓的數(shù)學(xué)模型.通過計(jì)算該數(shù)學(xué)模型在連接點(diǎn)處的左右導(dǎo)數(shù),能夠證明該模型曲線光滑,這里不做贅述.
由于本文建立的人頭面部輪廓數(shù)學(xué)模型為通用模型,對(duì)于任一給定的真實(shí)人頭面部輪廓,為得到其特定的數(shù)學(xué)模型并使模型曲線與真實(shí)頭面輪廓的誤差最小,需要對(duì)模型參數(shù)進(jìn)行優(yōu)化.
3.1 模型誤差的定義
采用人體測(cè)量學(xué)的方法對(duì)被測(cè)量者頭全高進(jìn)行測(cè)量,測(cè)量時(shí)應(yīng)使被測(cè)量者保持直立姿勢(shì),兩眼向前平視,頭部位于眼耳平面,設(shè)測(cè)得的頭全高為H;利用數(shù)碼設(shè)備獲取被測(cè)量者的正面頭部照片,測(cè)得圖片上頭全高為h,則照片上人頭面部輪廓經(jīng)圖像處理后進(jìn)行比例放大即得到真實(shí)人頭面部輪廓線數(shù)據(jù)點(diǎn),其中,比例因子k=H/h;最后建立該真實(shí)輪廓線的數(shù)學(xué)模型,并將得到的模型曲線定義為理論輪廓線.
本文以樣本理論輪廓線上數(shù)據(jù)點(diǎn)和真實(shí)輪廓線上對(duì)應(yīng)數(shù)據(jù)點(diǎn)間的相對(duì)距離衡量模型誤差,定義各對(duì)數(shù)據(jù)點(diǎn)相對(duì)距離的平均值和最大值為模型平均誤差和最大誤差.?dāng)?shù)據(jù)點(diǎn)的選取方法如圖4所示,首先將理論輪廓線和真實(shí)輪廓線均置于所建立的模型坐標(biāo)系中,以原點(diǎn)O為中心,z≥0區(qū)域的曲線,每隔γ1取數(shù)據(jù)點(diǎn),z<0區(qū)域的曲線,每隔γ2取數(shù)據(jù)點(diǎn),真實(shí)輪廓線和理論輪廓線上各取n個(gè)數(shù)據(jù)點(diǎn).
圖4 誤差計(jì)算中數(shù)據(jù)點(diǎn)的選取
設(shè)真實(shí)輪廓線數(shù)據(jù)點(diǎn)為Ai(i=1,2,…,n),Ai坐標(biāo)為(yi,zi);理論輪廓線數(shù)據(jù)點(diǎn)為Bi(i=1,2,…,n),Bi坐標(biāo)為(y0i,z0i);則數(shù)據(jù)點(diǎn)Bi與數(shù)據(jù)點(diǎn)Ai的相對(duì)距離平均值為
數(shù)據(jù)點(diǎn)相對(duì)距離最大值為
3.2 模型參數(shù)的優(yōu)化
為了可靠、全面地說明模型的有效性,以理論輪廓線數(shù)據(jù)點(diǎn)與真實(shí)輪廓線上對(duì)應(yīng)數(shù)據(jù)點(diǎn)的相對(duì)距離平均值和最大值的加權(quán)和作為優(yōu)化設(shè)計(jì)的目標(biāo)函數(shù),由此得到優(yōu)化設(shè)計(jì)的數(shù)學(xué)模型.
1)設(shè)計(jì)變量:
2)目標(biāo)函數(shù):
式中:λ1、λ2為加權(quán)系數(shù),λ1+λ2=1,由于平均值反映綜合誤差,最大值反映局部誤差,取λ1,λ2分別為0.6,0.4.
根據(jù)《成年人頭面部尺寸》[14]以及人體測(cè)量學(xué)中上述特征點(diǎn)在人頭面部的分布原則,得到:amax=90 mm,bmax=90 mm,smax=4,cmax=250 mm,θmax=0,βmax=0;Rmax=30 mm,amin=65 mm,bmin=70 mm,smin=0.7,cmin=150 mm,θmin=-2 rad,βmin=-1 rad,Rmin=0.
對(duì)該優(yōu)化模型分析表明,其屬于多峰函數(shù).遺傳算法能夠同時(shí)對(duì)搜索空間中的多個(gè)解進(jìn)行評(píng)估[15],具有較好的全局搜索性能,對(duì)于非線性、多峰值函數(shù)能以很大的概率找到全局最優(yōu)解;因此,本文利用遺傳算法求取模型參數(shù)最優(yōu)解.
3.3 算例驗(yàn)證
將100組漢族成人真實(shí)頭面輪廓作為算例樣本,其中男女比例為1∶1,包含圓形臉等5種臉型類別,各類型均為20組,為使數(shù)據(jù)點(diǎn)充足且分布均勻,取γ1=6°,γ2=3°,即n=90.圖5為對(duì)心形臉類別中隨機(jī)抽取的一組樣本進(jìn)行頭面輪廓建模得到的模型效果圖.圖5(a)為該樣本正面照片;圖5(b)為樣本真實(shí)輪廓線和理論輪廓線對(duì)比圖;圖5(c)給出了具體的真實(shí)輪廓線和理論輪廓線上各對(duì)數(shù)據(jù)點(diǎn)的相對(duì)距離及模型誤差.
圖5 心形臉類別中一組樣本頭面輪廓建模效果
表1給出了對(duì)其他臉型樣本中隨機(jī)抽取的樣本進(jìn)行頭面輪廓建模得到模型參數(shù)、各對(duì)數(shù)據(jù)點(diǎn)的相對(duì)距離和模型誤差.通過計(jì)算100組算例樣本的模型誤差可知,對(duì)于其中任一樣本,該模型在進(jìn)行參數(shù)優(yōu)化后都能保證模型平均誤差在1.2%以下,最大誤差在2.6%以下,驗(yàn)證了該數(shù)學(xué)模型的有效性和普適性.
表1 模型參數(shù)、各對(duì)數(shù)據(jù)點(diǎn)的相對(duì)距離和模型誤差
4.1 曲線相似性的定義
為了使臉型的判定有明確的衡量標(biāo)準(zhǔn),給出本文對(duì)曲線相似性的定義:
設(shè)有曲線M1N1、M2N2,將這兩條曲線置于同一直角坐標(biāo)系中,連接點(diǎn)M1、M2與點(diǎn)N1、N2,線段M2M1和N2N1的延長(zhǎng)線交于點(diǎn)O.如圖6所示,以O(shè)點(diǎn)為圓心,以γ為間隔在曲線M1N1上取點(diǎn)P1,P2,…,Pn-2,得到集合P={M1,P1,P2,…,Pn-2,N1};在曲線M2N2上取點(diǎn)Q1,Q2,…,Qn-2,得到集合Q={M2,Q1,Q2,…,Qn-2,N2}.
圖6 數(shù)據(jù)點(diǎn)的獲取方法
4.2 臉型判定方法的研究
基于先驗(yàn)知識(shí)可知,臉型可以分為圓形臉、方形臉、長(zhǎng)形臉、蛋形臉以及心形臉,選出各類臉型中具有代表性的人臉樣本并將樣本真實(shí)頭面輪廓曲線作為標(biāo)準(zhǔn)臉型模板,如圖7所示.
圖7 標(biāo)準(zhǔn)臉型模板
根據(jù)曲線相似性定義,分別計(jì)算待分類人臉樣本真實(shí)頭面輪廓和5種標(biāo)準(zhǔn)臉型曲線的均方差,設(shè)均方差分別為σ1、σ2、σ3、σ4、σ5,則σmin對(duì)應(yīng)的模板類型即該人臉樣本對(duì)應(yīng)的臉型類別,其中σmin=min{σ1,σ2,σ3,σ4,σ5}.因?yàn)轭^頂輪廓對(duì)臉型沒有影響,故只對(duì)顱測(cè)點(diǎn)以下曲線進(jìn)行均方差的計(jì)算.
利用上述方法對(duì)100組人臉樣本進(jìn)行分類,限于篇幅這里只給出部分人臉樣本的分類結(jié)果,如圖8所示.
圖8 部分樣本分類結(jié)果
最后通過10個(gè)人對(duì)這100組樣本進(jìn)行臉型類別認(rèn)知實(shí)驗(yàn),認(rèn)知結(jié)果和采用本文的臉型分類方法得到的分類結(jié)果相似率達(dá)到85%以上,驗(yàn)證了該分類方法的有效性.表2為認(rèn)知實(shí)驗(yàn)中部分樣本的認(rèn)知結(jié)果.
表2 識(shí)別實(shí)驗(yàn)中部分樣本的識(shí)別結(jié)果
4.3 各類臉型模型參數(shù)范圍的確定
對(duì)100組臉型進(jìn)行分類后,建立各類臉型樣本頭面輪廓的數(shù)學(xué)模型,對(duì)模型參數(shù)范圍進(jìn)行總結(jié),為以后對(duì)臉型可變仿人頭像機(jī)器人的研究提供理論基礎(chǔ),臉型與模型參數(shù)范圍的對(duì)應(yīng)關(guān)系見表3所示.
表3 各類臉型對(duì)應(yīng)的模型參數(shù)范圍
1)利用超橢圓曲線、橢圓曲線、圓弧曲線以及拋物線建立了人頭面部輪廓的具有7個(gè)獨(dú)立參數(shù)的數(shù)學(xué)模型,從而實(shí)現(xiàn)了將人臉輪廓大量離散點(diǎn)的存儲(chǔ)轉(zhuǎn)化為7個(gè)獨(dú)立參數(shù)存儲(chǔ),簡(jiǎn)化人臉數(shù)據(jù)庫(kù)建立的復(fù)雜性.
2)以理論輪廓線數(shù)據(jù)點(diǎn)Ai相對(duì)真實(shí)輪廓線上對(duì)應(yīng)數(shù)據(jù)點(diǎn)Bi的偏離距離平均值和最大值為優(yōu)化目標(biāo)對(duì)模型參數(shù)進(jìn)行優(yōu)化,利用遺傳算法求取模型參數(shù)最優(yōu)解,從而實(shí)現(xiàn)特定人臉輪廓模型的建立.
3)選取100組真實(shí)人頭面輪廓樣本對(duì)模型進(jìn)行驗(yàn)證,結(jié)果表明,對(duì)于任一樣本,該模型在進(jìn)行參數(shù)優(yōu)化后都能保證模型平均誤差在1.2%以下,最大誤差在2.6%以下,驗(yàn)證了該數(shù)學(xué)模型的有效性和普適性.
4)當(dāng)人臉正面照片存在質(zhì)量缺陷或部分遮擋時(shí),只需提取出真實(shí)輪廓有效的特征點(diǎn)位置數(shù)據(jù),同樣可以得到連續(xù)光滑的人頭面輪廓曲線,因此能夠彌補(bǔ)圖像處理方法中對(duì)人臉輪廓提取的不足.
5)提出一種新的臉型分類方法,確定出各類臉型模型參數(shù)范圍,拓寬了人頭面輪廓在仿人頭像機(jī)器人等領(lǐng)域的應(yīng)用,為人臉輪廓線的提取、人臉識(shí)別、臉型遷移以及人臉三維建模的進(jìn)一步研究提供了基礎(chǔ).
致 謝
向提供頭面部圖像并接受頭全高測(cè)量的機(jī)械設(shè)計(jì)系研究生們致以衷心的感謝!
[1]王俊艷,蘇光大,林行剛.用于人臉識(shí)別的下頜輪廓線分類方法[J].光電子·激光,2005,16(11):1368-1372.
[2]GU Hua,CHENG Du.Fuzzy and ISODATA classification of facecontours[C]//Proceedingsofthe2004 InternationalConferenceonMachineLearningand Cybernetics.Piscataway:IEEE Press,2004:3568-3573.
[3]王俊艷,蘇光大.基于下頜輪廓線的人臉分類方法[J].紅外與激光工程,2004,33(2):159-163.
[4]GOTO T,LEE W S,MAGNENAT?THALMANN N. Facial feature extraction for quick 3D face modeling[J].Signal Processing:Image Communication,2002, 17(3):243-259.
[5]方昱春,王蘊(yùn)紅,譚鐵牛.融合人臉輪廓和區(qū)域信息改進(jìn)人臉檢測(cè)[J].計(jì)算機(jī)學(xué)報(bào),2004,27(4):482-491.
[6]HSU C Y,WANG H F,WANG H C,et al.Automatic extraction of face contours in images and videos[J]. Future Generation Computer Systems,2012,28(1):322-335.
[7]王翔宇,肖俊,潘紅.表演驅(qū)動(dòng)的矢量化二維表情動(dòng)畫[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2012,24(5):598-604.
[8]YANG Yang,ZHENG Nanning,LIU Yuehu,et al. Expression transfer for facial sketch animation[J]. Signal Processing,2011,91(11):2465-2477.
[9]ORTEGA G D,PERNAS F J,ZARZUELA M M,et al. Real-time hands,face and facial features detection and tracking:Application to cognitive rehabilitation tests monitoring[J].Journal of Network and Computer Applications,2010,33(4):447-466.
[10]PERLIBAKAS V.Automatical detection of face features and exact face contour[J].Pattern Recognition Letters,2003,24(16):2977-2985.
[11]BING X,WEI Y,CHAREONSAK C.Face contour extraction using Snake[C]//2004 IEEE International WorkshoponBiomedicalCircuitsandSystems. Piscataway:IEEE Press,2004:S3.2-5-S3.2-8.
[12]FANG H,KIM S H,JANG J W.A snake algorithm for automatically tracking multiple objects[C]//2011 18th IEEE International Conference on Image Processing. Piscataway:IEEE Press,2011:469-472.
[13]HSU C Y,WANG H F,WANG H C,et al.Automatic extraction of face contours[C]//Proceedings of The 2010 International Joint Conference on Neural Networks(IJCNN).Piscataway:IEEE Press,2010:1-8.
[14]國(guó)家標(biāo)準(zhǔn)化管理委員會(huì).GB/T 2428-1998成年人頭面部尺[S].北京:中國(guó)標(biāo)準(zhǔn)出版社,1998.
[15]DEB K,PRATAP A,AGAWAL S,et al.A fast and elitist multiobjective genetic algorithm:NSGA?II[J]. IEEE Transactions on Evolutionary Computation,2002,6(2):182-197.
(編輯 楊 波)
Research on mathematical model for human head?face contour
WU Weiguo,YAN Yunxue
(School of Mechatronics Engineering,Harbin Institute of Technology,150001 Harbin,China)
Face contour extracted by most existing extraction technology has the problem of non?smooth.Aimed at this situation,an segmentation modeling method for head?face contour is proposed.The piecewise function model is established using hyperelliptic curve,elliptic curve,circular curve and parabolic curve according to points definition and segmentation of contour.Contour sample's parameters obtained from the processing and optimization of 100 real human head?face images which contains five kinds of face verify the effectiveness and universality of the model.The result shows that the average error is under 1.2%and the maximum error is under 2.6%for each sample after optimizing the model.Finally the range of model parameters corresponding to each type of face is given by face shape classification based on the mathematical model.
head?face contour;mathematical model;hyperelliptic curve;face shape classification
TP391
:A
:0367-6234(2014)11-0030-07
2014-06-06.
國(guó)家高技術(shù)研究發(fā)展計(jì)劃(2006AA04Z201,2012AA041601).
吳偉國(guó)(1966—),男,教授,博士生導(dǎo)師.
吳偉國(guó),wuwg@hit.edu.cn.