傅 杰,黃樹成

(江蘇科技大學(xué) 計(jì)算機(jī)學(xué)院, 鎮(zhèn)江 212000)

人臉對(duì)齊任務(wù)就是根據(jù)輸入的人臉圖像,自動(dòng)運(yùn)用算法，檢測(cè)出面部特征點(diǎn)位置,如眼睛、臉部輪廓、嘴巴、眉毛和鼻尖等．該項(xiàng)技術(shù)應(yīng)用十分廣泛，如人臉識(shí)別[1-3]、人臉表情識(shí)別[4]和面部動(dòng)作捕捉[5]等方面．隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法[6-8]與傳統(tǒng)的人臉關(guān)鍵點(diǎn)檢測(cè)算法相比，已經(jīng)展現(xiàn)出巨大優(yōu)勢(shì),主要原因就是大量訓(xùn)練數(shù)據(jù)集開放以及深度神經(jīng)網(wǎng)絡(luò)對(duì)于大規(guī)模訓(xùn)練數(shù)據(jù)中蘊(yùn)含的特征具有很強(qiáng)的提取和擬合能力．目前基于深度學(xué)習(xí)的人臉關(guān)鍵點(diǎn)檢測(cè)算法[9-10]大多都是對(duì)輸入圖像的全局表觀特征進(jìn)行一系列計(jì)算和處理實(shí)現(xiàn)的,還有部分模型方法是提取人臉多個(gè)局部區(qū)域的特征[11]，再分別進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，最后得到整張人臉圖像的關(guān)鍵點(diǎn)位置.這些方法雖然在人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)上都取得了一定效果,但是也給模型留下了一定的提升空間[12-13],主要原因就是這些方法都沒有特別考慮到人臉各部位間的結(jié)構(gòu)化信息.為了表征這一信息,借用了前人在PRN[14]中提到的思想,將兩兩關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉局部特征對(duì)之間的結(jié)構(gòu)關(guān)系加入到模型訓(xùn)練中,以此來優(yōu)化模型性能,并且結(jié)合人臉圖像全局表觀特征和DAN[15]模型中提出的熱圖特征來實(shí)現(xiàn)多特征融合的級(jí)聯(lián)回歸人臉關(guān)鍵點(diǎn)檢測(cè)算法．實(shí)驗(yàn)證明，該模型與最新的人臉對(duì)齊算法相比，進(jìn)一步降低了人臉測(cè)試數(shù)據(jù)集上的錯(cuò)誤率．

1 模型訓(xùn)練數(shù)據(jù)及其預(yù)處理

1.1 數(shù)據(jù)集介紹

為了訓(xùn)練多特征融合的級(jí)聯(lián)回歸人臉關(guān)鍵點(diǎn)檢測(cè)模型，進(jìn)行對(duì)比實(shí)驗(yàn)驗(yàn)證模型效果,選擇了大多數(shù)相關(guān)領(lǐng)域研究者使用的通用數(shù)據(jù)集,該數(shù)據(jù)集是國(guó)際人臉關(guān)鍵點(diǎn)檢測(cè)比賽中用到的300W公開測(cè)試數(shù)據(jù)集,數(shù)據(jù)集的構(gòu)成主要有AFW[16]、LFPW[17]、HELEN[11]和IBUG[18]4個(gè)子數(shù)據(jù)集，每個(gè)數(shù)據(jù)集中的每張人臉圖像都有其相對(duì)應(yīng)的68個(gè)關(guān)鍵點(diǎn)標(biāo)注信息和人臉bounding box的坐標(biāo)信息．實(shí)驗(yàn)中將該數(shù)據(jù)集分成了訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)兩個(gè)部分,其中訓(xùn)練數(shù)據(jù)包括AFW數(shù)據(jù)集、LFPW數(shù)據(jù)集中的訓(xùn)練集和HELEN數(shù)據(jù)集中的訓(xùn)練集部分,總共3 148張人臉數(shù)據(jù)．模型的測(cè)試數(shù)據(jù)部分則按照通用方法，處理成3個(gè)不同的測(cè)試數(shù)據(jù)集:① Common數(shù)據(jù)集，該測(cè)試數(shù)據(jù)集由LFPW數(shù)據(jù)集和HELEN數(shù)據(jù)集中的測(cè)試集組成,總共554張人臉圖像;② Challenging數(shù)據(jù)集，該數(shù)據(jù)集是由IBUG數(shù)據(jù)集構(gòu)成,總共135張人臉圖片;③ 300W公開測(cè)試數(shù)據(jù)集，該測(cè)試數(shù)據(jù)集由LFPW數(shù)據(jù)集中的測(cè)試集、HELEN數(shù)據(jù)集中的測(cè)試集和IBUG數(shù)據(jù)集構(gòu)成,總共689張人臉圖片．

1.2 模型訓(xùn)練數(shù)據(jù)預(yù)處理

深度學(xué)習(xí)算法之所以能在人臉關(guān)鍵點(diǎn)檢測(cè)領(lǐng)域獲得重大突破,主要原因就是有大量的訓(xùn)練數(shù)據(jù)來對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,只有通過海量數(shù)據(jù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)節(jié)和優(yōu)化才能使模型能夠有較好的特征提取和數(shù)據(jù)擬合能力,而從訓(xùn)練數(shù)據(jù)的介紹來看,這個(gè)級(jí)別的數(shù)據(jù)量對(duì)于神經(jīng)網(wǎng)絡(luò)是遠(yuǎn)遠(yuǎn)不夠的．所以為了緩解數(shù)據(jù)量不夠充足而帶來的問題,對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行了數(shù)據(jù)增強(qiáng)處理,將訓(xùn)練數(shù)據(jù)集中每一張人臉圖片通過圍繞y軸鏡像、隨機(jī)平移、旋轉(zhuǎn)和縮放操作生成對(duì)應(yīng)的10張圖片,這樣不但增加了訓(xùn)練數(shù)據(jù)量而且使訓(xùn)練出來的模型能夠獲取到同一張人臉在不同角度、不同姿勢(shì)下的特征信息．通過數(shù)據(jù)增強(qiáng)操作后的人臉圖像如圖1.

圖1 人臉增強(qiáng)數(shù)據(jù)樣例Fig.1 Examples of enhanced face images

2 模型方法和結(jié)構(gòu)

2.1 模型框架結(jié)構(gòu)與流程

如圖2,整個(gè)模型結(jié)構(gòu)類似DAN中的框架,采用級(jí)聯(lián)回歸的結(jié)構(gòu),整個(gè)模型由多個(gè)回歸階段組成,每個(gè)階段包含一個(gè)前向傳播模塊和一個(gè)多特征轉(zhuǎn)化模塊,其中前向傳播模塊主要實(shí)現(xiàn)人臉圖像深度特征的提取和人臉關(guān)鍵點(diǎn)坐標(biāo)偏移量的計(jì)算．多特征轉(zhuǎn)化模塊則為下一個(gè)階段生成神經(jīng)網(wǎng)絡(luò)需要的人臉特征信息．

從框架圖中可知，模型第1個(gè)回歸階段的輸入為人臉圖像I和初始化關(guān)鍵點(diǎn)位置坐標(biāo)S0,而S0是初始化在人臉檢測(cè)框的正中間的．除了第1個(gè)階段,模型的其他階段都有轉(zhuǎn)換成標(biāo)準(zhǔn)姿勢(shì)形態(tài)的人臉圖像T(I)、對(duì)應(yīng)于關(guān)鍵點(diǎn)的人臉熱力圖H、兩兩關(guān)鍵點(diǎn)對(duì)應(yīng)的局部人臉特征對(duì)關(guān)系特征P和上一階段神經(jīng)網(wǎng)絡(luò)提取的人臉全局特征F4個(gè)特征數(shù)據(jù)輸入．模型每一個(gè)階段輸出關(guān)鍵點(diǎn)位置坐標(biāo)的偏移量,由于每個(gè)階段開始的時(shí)候都對(duì)圖像進(jìn)行了標(biāo)準(zhǔn)姿勢(shì)形態(tài)的轉(zhuǎn)化,所以每次計(jì)算得到的關(guān)鍵點(diǎn)位置都要經(jīng)過標(biāo)準(zhǔn)化轉(zhuǎn)換的逆變換才能得到原始人臉圖像上的關(guān)鍵點(diǎn)位置,具體轉(zhuǎn)換公式為:

St=Tt-1(Tt(St-1)+ΔSt)

(1)

式中：t為第t個(gè)回歸階段；ΔSt為該階段網(wǎng)絡(luò)輸出的關(guān)鍵點(diǎn)位置偏移量；T()為人臉圖像轉(zhuǎn)換成標(biāo)準(zhǔn)姿態(tài)的轉(zhuǎn)換函數(shù)；T-1()為標(biāo)準(zhǔn)姿態(tài)轉(zhuǎn)換的逆變換；St為原人臉圖像中的關(guān)鍵點(diǎn)坐標(biāo)．

2.1.1 前向傳播模塊

前向傳播模塊由一個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成,其主要實(shí)現(xiàn)對(duì)人臉圖像的特征提取和關(guān)鍵點(diǎn)坐標(biāo)偏移量的計(jì)算,主要結(jié)構(gòu)如表1.除了表格中展示的結(jié)構(gòu),網(wǎng)絡(luò)中每一層都采用了批歸一化操作來加快模型收斂速度,網(wǎng)絡(luò)采用Relu函數(shù)作為激活函數(shù)．每個(gè)階段的網(wǎng)絡(luò)結(jié)構(gòu)中在fc1層之前采用了dropout層來防止模型過擬合．

圖2 模型框架圖Fig.2 Framework of model

表1 前向傳播模塊網(wǎng)絡(luò)結(jié)構(gòu)Table 1 structure of feed forward network

2.1.2 多特征轉(zhuǎn)換模塊

圖3為模型框架中的多特征轉(zhuǎn)換模塊,主要由1個(gè)參數(shù)求解函數(shù)和5個(gè)特征轉(zhuǎn)換函數(shù)構(gòu)成.圖像標(biāo)準(zhǔn)化變換參數(shù)求解模塊函數(shù)實(shí)現(xiàn)圖像標(biāo)準(zhǔn)化變換函數(shù)的參數(shù)求解,圖像標(biāo)準(zhǔn)化姿勢(shì)轉(zhuǎn)換模塊函數(shù)實(shí)現(xiàn)圖像的標(biāo)準(zhǔn)化姿勢(shì)轉(zhuǎn)換,人臉關(guān)鍵點(diǎn)逆標(biāo)準(zhǔn)化轉(zhuǎn)換模塊函數(shù)實(shí)現(xiàn)標(biāo)準(zhǔn)化人臉圖像上關(guān)鍵點(diǎn)坐標(biāo)到原人臉圖像上的關(guān)鍵點(diǎn)坐標(biāo)轉(zhuǎn)化,人臉熱圖特征生成模塊函數(shù)實(shí)現(xiàn)根據(jù)關(guān)鍵點(diǎn)預(yù)測(cè)生成對(duì)應(yīng)的熱圖特征,人臉全局特征提取模塊函數(shù)實(shí)現(xiàn)人臉全局特征的獲取,人臉兩兩關(guān)鍵點(diǎn)對(duì)之間結(jié)構(gòu)特征提取模塊函數(shù)實(shí)現(xiàn)兩兩關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉局部圖像對(duì)之間的結(jié)構(gòu)特征提?。唧w的模塊內(nèi)部各函數(shù)之間的數(shù)據(jù)流轉(zhuǎn)如圖3．

圖3 多特征轉(zhuǎn)換模塊Fig.3 Transform module for multiple features

圖像標(biāo)準(zhǔn)化變換參數(shù)求解模塊函數(shù)的功能是得到人臉標(biāo)準(zhǔn)化轉(zhuǎn)換的函數(shù)參數(shù),也就是上文中函數(shù)T()的參數(shù)求解,其原理為:

M=St×Tt+1

(2)

(3)

式中：St為原人臉圖像中的關(guān)鍵點(diǎn)坐標(biāo)；M為標(biāo)準(zhǔn)化處理之后的關(guān)鍵點(diǎn)坐標(biāo)；T()為標(biāo)準(zhǔn)化處理函數(shù)．

人臉熱圖特征生成模塊函數(shù)具體實(shí)現(xiàn)原理是通過上一個(gè)回歸階段得到的標(biāo)準(zhǔn)化的人臉關(guān)鍵點(diǎn)的坐標(biāo)，按照一定的熱圖構(gòu)建規(guī)則生成關(guān)鍵點(diǎn)坐標(biāo)對(duì)應(yīng)的熱圖信息,而熱圖可以將上一個(gè)回歸階段得到的人臉關(guān)鍵點(diǎn)信息傳遞到下一個(gè)回歸階段,具體構(gòu)建規(guī)則如下:

(4)

式中：si為標(biāo)準(zhǔn)化后的68個(gè)人臉關(guān)鍵點(diǎn)坐標(biāo)中的第i個(gè)關(guān)鍵點(diǎn)坐標(biāo)；H(x,y)為關(guān)鍵點(diǎn)坐標(biāo)(x,y)對(duì)應(yīng)的熱圖中的熱值．熱圖值的計(jì)算只在以關(guān)鍵點(diǎn)為中心，以16為半徑的圓的范圍內(nèi)．

人臉全局特征提取模塊模塊的實(shí)現(xiàn)原理是根據(jù)上個(gè)階段網(wǎng)絡(luò)中第一個(gè)全連接層提取到的人臉一維特征重新調(diào)整為56×56的二維特征矩陣,然后再上采樣為112×112的特征矩陣作為人臉全局特征參與人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)．

人臉兩兩關(guān)鍵點(diǎn)對(duì)之間結(jié)構(gòu)特征提取模塊函數(shù)的具體實(shí)現(xiàn)如圖4．首先，根據(jù)上一個(gè)回歸階段得到的人臉關(guān)鍵點(diǎn)坐標(biāo),利用ROI映射，獲取到各個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉局部特征向量Fl={f1,f2,…，fN},其中N表示人臉關(guān)鍵點(diǎn)的個(gè)數(shù)，然后將這些向量?jī)蓛山M合作為關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉局部對(duì)之間的結(jié)構(gòu)向量,將所有這樣的局部對(duì)之間的結(jié)構(gòu)向量組合到一起作為整張人臉的結(jié)構(gòu)特征向量,最后經(jīng)過一個(gè)神經(jīng)網(wǎng)絡(luò)的全連接層得到最終整個(gè)人臉圖像的局部對(duì)之間的結(jié)構(gòu)化關(guān)系特征PR．對(duì)應(yīng)于圖4,PR計(jì)算規(guī)則如下:

PR(I)=Fφ(A(Cat(fi,fj)))

(5)

式中：fi,fj分別為第i,j個(gè)人臉關(guān)鍵點(diǎn)在人臉圖像的卷積特征圖上對(duì)應(yīng)的ROI映射向量；Cat()函數(shù)表示連接操作；函數(shù)A()表示對(duì)這些局部人臉映射向量連接后的組合和歸一化操作；函數(shù)Fφ表示對(duì)最終得到的關(guān)系向量進(jìn)行全連接層的特征提取操作；最終提取到的特征就是PR．

圖4 成對(duì)關(guān)系結(jié)構(gòu)特征生成模塊Fig.4 Pairwise structural feature generation module

2.2 模型訓(xùn)練的優(yōu)化目標(biāo)函數(shù)

整個(gè)模型的優(yōu)化目標(biāo)函數(shù)是使模型預(yù)測(cè)得到的關(guān)鍵點(diǎn)位置坐標(biāo)和實(shí)際關(guān)鍵點(diǎn)坐標(biāo)之間的差異最小化,具體的優(yōu)化函數(shù)為:

(6)

式中：S*為人臉原圖像中的人臉關(guān)鍵點(diǎn)位置坐標(biāo)．相比較于其他模型的模型優(yōu)化目標(biāo)函數(shù)，采用人臉圖像中眼睛中心之間的距離作為分母,文中對(duì)于分母歸一化項(xiàng)的選擇有所不同,這里的D為人臉圖像對(duì)應(yīng)的邊界框?qū)蔷€的長(zhǎng)度,這種優(yōu)化函數(shù)可以一定程度上減小部分側(cè)臉圖像中人眼之間距離過小而導(dǎo)致的損失變化較大的問題,可以減小訓(xùn)練過程中的損失波動(dòng),使訓(xùn)練更加平穩(wěn)．關(guān)于模型的訓(xùn)練,采用一個(gè)階段接著一個(gè)階段的訓(xùn)練模式,當(dāng)前一個(gè)階段的模型預(yù)測(cè)得到的關(guān)鍵點(diǎn)坐標(biāo)的錯(cuò)誤率不再下降時(shí)便開始下一個(gè)階段回歸模型的訓(xùn)練,訓(xùn)練下一個(gè)階段時(shí)固定前一個(gè)階段的模型參數(shù)．采用此模式直到整個(gè)模型的關(guān)鍵點(diǎn)檢測(cè)錯(cuò)誤率不再降低,完成模型訓(xùn)練,實(shí)驗(yàn)表明當(dāng)模型經(jīng)過一共兩個(gè)回歸階段時(shí)可以達(dá)到最優(yōu)效果．

3 實(shí)驗(yàn)和分析

為了全面驗(yàn)證上述改進(jìn)方法的有效性,實(shí)驗(yàn)使用了3種關(guān)鍵點(diǎn)坐標(biāo)預(yù)測(cè)錯(cuò)誤率計(jì)算方法,計(jì)算方法為式(6),這3種計(jì)算方法的區(qū)別主要是分母的計(jì)算方式不同,3種分母歸一化項(xiàng):① 人臉圖像中兩個(gè)眼睛中心之間距離；② 人臉圖像中兩個(gè)眼睛外眼角之間距離;③ 人臉圖像中人臉檢測(cè)框?qū)蔷€長(zhǎng)度．

文中利用包含2個(gè)階段的多特征人臉關(guān)鍵點(diǎn)回歸檢測(cè)模型來做人臉關(guān)鍵點(diǎn)標(biāo)注測(cè)試,并且將結(jié)果與目前效果較好的一些人臉關(guān)鍵點(diǎn)檢測(cè)算法進(jìn)行了對(duì)比,實(shí)驗(yàn)采用了3種指標(biāo)對(duì)模型效果進(jìn)行測(cè)評(píng),這3種指標(biāo)分別是人臉關(guān)鍵點(diǎn)坐標(biāo)預(yù)測(cè)的平均錯(cuò)誤、AUC值和預(yù)測(cè)失敗率．其中當(dāng)采用上述②中分母歸一化計(jì)算方式來計(jì)算模型失敗率時(shí),模型失敗閾值被設(shè)置為0.08,<0.08為預(yù)測(cè)成功,>0.08為預(yù)測(cè)失敗.對(duì)于AUC值計(jì)算,實(shí)驗(yàn)采用相同閾值,實(shí)驗(yàn)具體結(jié)果和數(shù)據(jù)如表2、3．

表2 模型關(guān)鍵點(diǎn)檢測(cè)平均誤差Table 2 Mean errors of the model key points %

表3 模型關(guān)鍵點(diǎn)檢測(cè)的AUC0.08值和失敗率Table 3 AUC0.08 and failure rate of the model key points

注：實(shí)驗(yàn)數(shù)據(jù)來自人臉圖像中眼睛外眼角之間的距離.

表2是各個(gè)模型在3種不同的關(guān)鍵點(diǎn)錯(cuò)誤率計(jì)算方法下模型對(duì)關(guān)鍵點(diǎn)坐標(biāo)預(yù)測(cè)的平均錯(cuò)誤率,其中Heatmap-DAN模型表示只用熱圖特征和人臉全局表觀特征來做關(guān)鍵點(diǎn)檢測(cè),MF-DAN表示在Heatmap-DAN基礎(chǔ)上加入兩兩人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的局部人臉對(duì)之間的關(guān)系特征后的多特征級(jí)聯(lián)回歸人臉關(guān)鍵點(diǎn)檢測(cè)模型,也就是文中提出的模型．從表2可以看出該模型在兩個(gè)測(cè)試集上的效果都取得提升,尤其是在Challenging測(cè)試集上.使用兩個(gè)眼睛中心之間的距離作為誤差計(jì)算歸一化項(xiàng)時(shí)得到的失敗率是8.90%.使用兩個(gè)眼睛外眼角之間的距離作為誤差計(jì)算歸一化項(xiàng)時(shí)得到的錯(cuò)誤率是6.03%.使用人臉檢測(cè)框?qū)蔷€的長(zhǎng)度作為誤差計(jì)算歸一化項(xiàng)時(shí)得到的錯(cuò)誤率是2.26%.而在Common測(cè)試數(shù)據(jù)集上,除了使用兩個(gè)眼睛中心之間的距離作為誤差計(jì)算歸一化項(xiàng)時(shí)沒有獲得最低的錯(cuò)誤率,提出的模型在其他兩種錯(cuò)誤率計(jì)算方法中分別得到了3.31%和1.41%的失敗率,相比較于未使用多特征融合的人臉關(guān)鍵點(diǎn)檢測(cè)的Heatmap-DAN模型得到的檢測(cè)錯(cuò)誤率，分別降低了0.11%和0.16%,結(jié)果都顯示多特征融合的模型效果優(yōu)于大多數(shù)其他的人臉關(guān)鍵點(diǎn)檢測(cè)模型,說明了多特征融合對(duì)于提升人臉關(guān)鍵點(diǎn)檢測(cè)效果是有效的．特別是當(dāng)采用人臉檢測(cè)框?qū)蔷€作為歸一化項(xiàng)來計(jì)算關(guān)鍵點(diǎn)預(yù)測(cè)平均錯(cuò)誤時(shí),MF-DAN在平均錯(cuò)誤率上較Heatmap-DAN降低了9.6%,由此證明了融合特征的有效性,也說明了多特征融合后的模型在性能上取得了不錯(cuò)的提升．

表3是模型的人臉關(guān)鍵點(diǎn)檢測(cè)的失敗率和AUC值,實(shí)驗(yàn)數(shù)據(jù)是在選用人臉圖像中眼睛外眼角之間的距離作為錯(cuò)誤率計(jì)算公式中的歸一化項(xiàng)得到的．從表中可以看出，模型相比較于MDM和Heatmap-DAN，AUC0.08值分別提升了1.64%和1.08%．除此之外,MF-DAN在MDM模型的基礎(chǔ)上將預(yù)測(cè)的錯(cuò)誤率降低了30.17%,達(dá)到了1.27%．

綜上所述,兩兩人臉關(guān)鍵點(diǎn)對(duì)應(yīng)的局部人臉對(duì)之間的關(guān)系特征對(duì)于模型性能提升起到了不錯(cuò)的效果,實(shí)驗(yàn)結(jié)果表明多特征融合的級(jí)聯(lián)回歸人臉關(guān)鍵點(diǎn)檢測(cè)模型的效果優(yōu)于大多數(shù)現(xiàn)有的人臉關(guān)鍵點(diǎn)檢測(cè)模型,結(jié)果符合預(yù)期設(shè)想．模型在Common和Challenging測(cè)試集上的預(yù)測(cè)結(jié)果如圖5、6．

圖5 Common數(shù)據(jù)集中樣本及其對(duì)應(yīng)預(yù)測(cè)結(jié)果Fig.5 Examples and their correspondingresults in the Common test set

圖6 Challenging數(shù)據(jù)集中樣本及其對(duì)應(yīng)預(yù)測(cè)結(jié)果Fig.6 Examples and their correspondingresults in the Challenging test set

4 結(jié)論

將兩兩關(guān)鍵點(diǎn)對(duì)應(yīng)的人臉局部特征對(duì)之間的結(jié)構(gòu)關(guān)系、整張人臉圖像的全局表觀和關(guān)鍵點(diǎn)對(duì)應(yīng)的局部熱圖這3種人臉特征結(jié)合,在以往模型的基礎(chǔ)上構(gòu)建了多特征的基于級(jí)聯(lián)回歸方法的人臉關(guān)鍵點(diǎn)檢測(cè)模型,并且以300W公開數(shù)據(jù)集為數(shù)據(jù)進(jìn)行模型訓(xùn)練和測(cè)試．

實(shí)驗(yàn)結(jié)果證明改進(jìn)的多特征融合的級(jí)聯(lián)回歸人臉關(guān)鍵點(diǎn)檢測(cè)模型的檢測(cè)效果優(yōu)于大多數(shù)現(xiàn)有的人臉關(guān)鍵點(diǎn)檢測(cè)模型．但該研究采用的數(shù)據(jù)集樣本數(shù)量少,雖然使用了數(shù)據(jù)增強(qiáng)方法來緩解這一問題,但是增強(qiáng)數(shù)據(jù)遠(yuǎn)沒有原始數(shù)據(jù)效果好,在未來的工作中將探索合適的方法來克服這一缺點(diǎn),并且將致力于大姿態(tài)、有遮擋的人臉圖像關(guān)鍵點(diǎn)檢測(cè)研究．