王賀兵，張春梅

（北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，銀川 750021）

（*通信作者電子郵箱chunmei66@hotmail.com）

0 引言

人臉關(guān)鍵點(diǎn)檢測(cè)作為計(jì)算機(jī)視覺主要研究方向之一［1］，其應(yīng)用場(chǎng)景包括人臉表情識(shí)別［2］、人臉追蹤［3］、身份驗(yàn)證［4］等。雖然被廣泛地研究，但是存在多尺度人臉、復(fù)雜表情、光照、姿態(tài)和遮擋等情況，獲取高精度人臉關(guān)鍵點(diǎn)仍是一個(gè)具有挑戰(zhàn)性的問題。

人臉關(guān)鍵點(diǎn)檢測(cè)是一項(xiàng)檢測(cè)人臉面部關(guān)鍵點(diǎn)位置的視覺任務(wù)［5］，即在一張給定的人臉圖像坐標(biāo)系中，定位出人臉面部關(guān)鍵區(qū)域的坐標(biāo)，例如眼睛、嘴角、臉部輪廓等。本文是對(duì)人臉左眼、右眼、鼻尖、左嘴角和右嘴角五點(diǎn)進(jìn)行定位。

人臉關(guān)鍵點(diǎn)檢測(cè)算法從建模方法上劃分大體可以分為三類：

1）基于形狀優(yōu)化建模?；顒?dòng)形狀模型（Active Shape Model，ASM）［6］將人臉關(guān)鍵點(diǎn)坐標(biāo)構(gòu)建成形狀向量，人臉對(duì)齊計(jì)算出平均形狀向量然后進(jìn)行主成分分析（Principal Component Analysis，PCA）降維得到形狀模型，為每一個(gè)關(guān)鍵點(diǎn)提取局部特征，以局部特征作為約束條件迭代匹配直至收斂?；顒?dòng)外觀模型（Active Appearance Model，AAM）［7］是由ASM 活動(dòng)形狀模型改進(jìn)而來，算法在構(gòu)建形狀模型的基礎(chǔ)上還構(gòu)建了紋理模型，將形狀模型與紋理模型融合再PCA 降維形成AAM 模型。ASM 與AAM 的泛化能力較差，對(duì)差異性較大的人臉準(zhǔn)確率會(huì)下降，同時(shí)這種近似窮舉搜索的方式在一定程度上也影響了計(jì)算效率。

2）基于級(jí)聯(lián)回歸建模：級(jí)聯(lián)回歸算法一般需要訓(xùn)練一系列回歸器，通過級(jí)聯(lián)回歸器逐步將初始形狀回歸到關(guān)鍵點(diǎn)真實(shí)位置，每一步回歸器的計(jì)算都依賴于先前回歸器的輸出。級(jí)聯(lián)姿態(tài)回歸（Cascaded Pose Regression，CPR）［8］把由數(shù)據(jù)集形狀向量計(jì)算出的平均人臉作為輸入，提取姿態(tài)索引特征送入回歸器，將回歸偏移量加上當(dāng)前階段形狀向量作為下一階段形狀向量，遞歸至收斂。CPR 很依賴回歸函數(shù)和人工特征的選擇，其有效程度會(huì)直接影響人臉關(guān)鍵點(diǎn)定位的精度。

3）基于深度學(xué)習(xí)建模。神經(jīng)網(wǎng)絡(luò)具有近似擬合任意函數(shù)的能力，因此被廣泛地應(yīng)用在各個(gè)領(lǐng)域中，并取得了相當(dāng)矚目的成果。級(jí)聯(lián)深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）算法［9］首次將卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［10］應(yīng)用到人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)中，同時(shí)結(jié)合了級(jí)聯(lián)回歸的思想，采用多階段級(jí)聯(lián)CNN 回歸策略，在人臉五點(diǎn)檢測(cè)上取得了相當(dāng)高的精度。級(jí)聯(lián)DCNN 算法精心設(shè)計(jì)了三個(gè)階段：第一階段以整張人臉和裁剪后的左右眼鼻尖、鼻尖左右嘴角作為輸入，分別用來預(yù)測(cè)人臉五點(diǎn)、左右眼和鼻尖、鼻尖和左右嘴角的坐標(biāo)，然后對(duì)預(yù)測(cè)的結(jié)果取平均值作為第一階段的輸出；第二階段以第一階段輸出的結(jié)果為中心對(duì)原圖像進(jìn)行分割，將含有左右眼、鼻尖、左右嘴角的分割結(jié)果作為輸入，每?jī)蓚€(gè)CNN 預(yù)測(cè)一個(gè)人臉器官的坐標(biāo)偏差，取平均后作為該器官在第二階段的輸出；第三階段在第二階段的輸出結(jié)果上對(duì)原圖像進(jìn)行裁剪預(yù)處理后作為輸入，同樣每?jī)蓚€(gè)CNN 預(yù)測(cè)一個(gè)人臉器官的坐標(biāo)偏差，取平均后作為該器官在第三階段的輸出，算法流程如圖1 所示。整個(gè)算法以第一階段預(yù)測(cè)結(jié)果為基礎(chǔ)，經(jīng)第二、三階段結(jié)果矯正后，作為整個(gè)算法最終的輸出。精心設(shè)計(jì)的級(jí)聯(lián)DCNN 算法雖然取得了很高的精度，但是算法使用了三個(gè)階段來對(duì)人臉關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行回歸計(jì)算，相鄰階段間還需要繁瑣的圖像預(yù)處理，整個(gè)算法流程相當(dāng)?shù)貜?fù)雜。

圖1 級(jí)聯(lián)DCNN算法流程Fig.1 Flowchart of cascade DCNN algorithm

為解決級(jí)聯(lián)算法在人臉五點(diǎn)檢測(cè)上不僅需要多階段回歸還需要在相鄰階段間進(jìn)行圖像預(yù)處理的問題，本文在次代殘差網(wǎng)絡(luò)（Next Residual Network，ResNeXt）［11］基礎(chǔ)上，添加非對(duì)稱卷積（Asymmetric Convolution，AC）［12］結(jié)構(gòu)，強(qiáng)化網(wǎng)絡(luò)空間學(xué)習(xí)能力提升對(duì)翻轉(zhuǎn)、旋轉(zhuǎn)圖像的魯棒性，添加壓縮激發(fā)結(jié)構(gòu)（Squeeze Excitation，SE）［13］，提高特征映射的通道相關(guān)性，構(gòu)建出非對(duì)稱卷積-壓縮激發(fā)ResNeX（tAsymmetric Convolution-Squeeze Excitation ResNeXt，AC-SE-ResNeXt）網(wǎng)絡(luò)，只使用單階段一個(gè)AC-SE-ResNeXt 網(wǎng)絡(luò)便可以完成人臉五點(diǎn)關(guān)鍵點(diǎn)檢測(cè)任務(wù)。

本文的主要工作如下：1）在ResNeXt 網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上添加AC結(jié)構(gòu)和SE結(jié)構(gòu)，強(qiáng)化網(wǎng)絡(luò)空間學(xué)習(xí)和通道學(xué)習(xí)；2）為了能精確擬合復(fù)雜環(huán)境下人臉，將AC-SE-ResNeXt 網(wǎng)絡(luò)模型加深到101 層，在單階段只使用一個(gè)網(wǎng)絡(luò)情況下，不僅達(dá)到了級(jí)聯(lián)策略的精度還降低了檢測(cè)失敗率，提高了算法魯棒性。

1 相關(guān)網(wǎng)絡(luò)結(jié)構(gòu)

1.1 ResNeXt塊結(jié)構(gòu)

在訓(xùn)練網(wǎng)絡(luò)時(shí)，隨著網(wǎng)絡(luò)深度增加，輸出結(jié)果會(huì)逐漸增至飽和后迅速退化，He等［14］為解決深度網(wǎng)絡(luò)中存在的網(wǎng)絡(luò)退化問題，提出殘差網(wǎng)絡(luò)（Residual Network，ResNet），在ResNet 中核心部分是殘差單元，使得網(wǎng)絡(luò)可以進(jìn)行殘差學(xué)習(xí)和恒等映射，同時(shí)由于恒等映射ResNet 在一定程度上也能緩解梯度消失的問題。

ResNeXt 保留了ResNet 的恒等映射部分，將殘差學(xué)習(xí)由單路徑卷積擴(kuò)展成多路徑分組卷積，多路徑分組卷積遵循分割、轉(zhuǎn)換、合并范式，輸入數(shù)據(jù)會(huì)被分別送入到數(shù)量為分支基數(shù)（Cardinality）的多路徑中，各路徑獨(dú)立進(jìn)行卷積計(jì)算，計(jì)算結(jié)果以通道為基準(zhǔn)進(jìn)行連接，ResNeXt塊如圖2所示。

圖2 ResNeXt塊結(jié)構(gòu)Fig.2 Structure of ResNeXt block

1.2 非對(duì)稱卷積模塊

非對(duì)稱卷積結(jié)構(gòu)在非對(duì)稱卷積網(wǎng)絡(luò)（Asymmetric Convolution Network，ACNet）中最先被使用，利用CNN 卷積核中權(quán)重與權(quán)重空間位置的關(guān)系強(qiáng)化普通卷積層，添加水平方向和豎直方向卷積運(yùn)算提升模型對(duì)翻轉(zhuǎn)和旋轉(zhuǎn)圖像的魯棒性。文獻(xiàn)［10］通過剪枝實(shí)驗(yàn)證明，在卷積核中不同空間位置的權(quán)重其重要性也不同，中間骨架的權(quán)重最為重要，因此在訓(xùn)練網(wǎng)絡(luò)時(shí)，可以將單路徑n×n卷積拆分成n×n、n× 1 和1×n三路卷積，在測(cè)試時(shí)將三路卷積權(quán)重線性相加重新合并成n×n，通過骨架權(quán)重合并的方式強(qiáng)化卷積層所提取的空間特征，同時(shí)還保持原測(cè)試網(wǎng)絡(luò)結(jié)構(gòu)不變，非對(duì)稱卷積模塊如圖3所示。

圖3 非對(duì)稱卷積模塊示意圖Fig.3 Schematic diagram of asymmetric convolution module

1.3 壓縮激發(fā)模塊

壓縮激發(fā)網(wǎng)絡(luò)（Squeeze-and-Excitation Network，SENet）從特征通道相關(guān)性的角度出發(fā)構(gòu)建網(wǎng)絡(luò)模型，通過強(qiáng)化特征映射中重要通道的特征，減弱不重要通道的特征來增強(qiáng)卷積層所提取特征的指向性。SENet 的核心是壓縮激發(fā)結(jié)構(gòu)，此結(jié)構(gòu)共分為兩個(gè)過程：壓縮與激發(fā)。對(duì)高寬通道數(shù)分別為H×W×C的輸入，首先進(jìn)行全局平均池化（Global Average Pooling，GAP），輸出為1× 1×C的數(shù)據(jù)，該過程稱為壓縮；然后對(duì)1× 1×C的輸入進(jìn)行兩級(jí)全連接（Full Connection，F(xiàn)C），該過程稱為激發(fā)；最后把激活函數(shù)Sigmoid的輸出1× 1×C作為一個(gè)縮放尺度乘到原輸入H×W×C的C個(gè)通道上，作為下一級(jí)的輸入，壓縮激發(fā)模塊的結(jié)構(gòu)如圖4所示。

圖4 壓縮激發(fā)模塊結(jié)構(gòu)Fig.4 Structure of squeeze-and-excitation module

2 AC?SE?ResNeXt人臉關(guān)鍵點(diǎn)檢測(cè)算法

2.1 AC-SE-ResNeXt塊結(jié)構(gòu)

本文算法是在自行設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)AC-SE-ResNeXt 基礎(chǔ)上對(duì)人臉五個(gè)關(guān)鍵點(diǎn)：左眼（Left Eye center，LE）、右眼（Right Eye center，RE）、鼻尖（Nose tip，N）、左嘴角（Left Mouth corner，LM）和右嘴角（Right Mouth corner，RM）進(jìn)行檢測(cè)。AC-SE-ResNeXt 網(wǎng)絡(luò)結(jié)構(gòu)的核心組成部分是AC-SE-ResNeXt塊，如圖5所示。

圖5 AC-SE-ResNeXt塊Fig.5 AC-SE-ResNeXt block

輸入數(shù)據(jù)為矩陣X(b，h，w，c)，其中：b表示一次送入網(wǎng)絡(luò)中樣本的數(shù)量即批量；h和w、c分別表示輸入矩陣的高、寬和通道數(shù)。數(shù)據(jù)進(jìn)入AC-SE-ResNeXt 塊后會(huì)先進(jìn)行批量歸一化（Batch Normalization，BN）［15］操作，以消除網(wǎng)絡(luò)在訓(xùn)練過程中由于參數(shù)更新導(dǎo)致每一層輸入數(shù)據(jù)分布不穩(wěn)定所帶來的學(xué)習(xí)速度下降和梯度消失的問題。在單通道上批量歸一化可形式化表示為：

其中：n表示通道且0 ≤n≤c-1；參數(shù)ε是一個(gè)很小的常數(shù)，保證分母大于0；兩個(gè)可學(xué)習(xí)的超參數(shù)γ和β分別表示拉伸量和偏移量。經(jīng)BN 操作輸出的數(shù)據(jù)會(huì)由整流線性單元（Rectified Linear Unit，ReLU）作非線性映射，由此之后數(shù)據(jù)將分別流向恒等映射和殘差學(xué)習(xí)兩條分支。恒等映射分支會(huì)檢查輸入數(shù)據(jù)與輸出數(shù)據(jù)的通道匹配度，若不匹配則采用1× 1卷積擴(kuò)充通道使之匹配，1× 1卷積運(yùn)算具體可表示為：

其中：m表示一次送入網(wǎng)絡(luò)中樣本的數(shù)量且0 ≤m≤b-1。圖5 中恒等映射分支卷積操作CONV 1× 1× 64 × 256 表示卷積核的尺寸為1× 1，輸入通道數(shù)為64，輸出通道數(shù)為256。

為了使殘差學(xué)習(xí)分支可以提取出更豐富的特征，在ResNeXt 的分割、轉(zhuǎn)換、合并范式基礎(chǔ)上替換普通卷積為AC結(jié)構(gòu)，以提高卷積層的空間信息提取能力和對(duì)翻轉(zhuǎn)、旋轉(zhuǎn)圖像的魯棒性，同時(shí)添加SE 結(jié)構(gòu)，在網(wǎng)絡(luò)訓(xùn)練過程中為特征映射的不同通道學(xué)習(xí)一個(gè)權(quán)重系數(shù)，強(qiáng)化重要通道特征，弱化不重要通道特征，結(jié)合通道相關(guān)性增強(qiáng)特征映射的表征。殘差學(xué)習(xí)分支的1× 1 卷積通過學(xué)習(xí)特征映射通道相關(guān)性將輸入數(shù)據(jù)各個(gè)通道映射到新的特征空間中，卷積結(jié)果會(huì)被送入并行的多路徑中，每條路徑采用相同的拓?fù)浣Y(jié)構(gòu)但訓(xùn)練參數(shù)相互獨(dú)立，給層間結(jié)構(gòu)更多可以根據(jù)數(shù)據(jù)自動(dòng)調(diào)節(jié)的空間，提高特征提取能力。其中基于硬件性能的考慮，本文使用了8 條并行路徑。在每條路徑層間連接的轉(zhuǎn)換部分借鑒了非對(duì)稱卷積思想，將單路徑3× 3 卷積拆分成3× 1、1× 3 和3× 3 三路并行卷積，不同尺寸卷積核的卷積運(yùn)算聚焦不同的空間信息，把提取到的多尺度特征進(jìn)行線性相加融合，強(qiáng)化卷積核骨架部分提取的特征，使得映射結(jié)果包含更豐富的空間信息。融合后的數(shù)據(jù)經(jīng)過ReLU 函數(shù)作非線性映射，各個(gè)分支的輸出結(jié)果以通道為基準(zhǔn)進(jìn)行連接合并，上述過程可表示為：

其中：X為輸入矩陣；CONVn×n(?)表示卷積核尺寸為n×n的卷積運(yùn)算；BN(?)為批量歸一化運(yùn)算；C(?)表示以輸入矩陣通道為基準(zhǔn)的連接運(yùn)算。

數(shù)據(jù)矩陣流動(dòng)到SE 結(jié)構(gòu)會(huì)分為兩條分支：一條分支上的數(shù)據(jù)會(huì)原樣向下傳遞。另一條分支會(huì)對(duì)數(shù)據(jù)矩陣先進(jìn)行GAP運(yùn)算，即：

其中：n表示通道且0 ≤n≤c-1?；谕ǖ赖恼w信息來對(duì)原始數(shù)據(jù)矩陣進(jìn)行降維，每一個(gè)矩陣切片的均值代表該通道初始權(quán)重。然后連接神經(jīng)元個(gè)數(shù)為的FC 層，其中c表示輸入數(shù)據(jù)的通道數(shù)目，r為一個(gè)超參數(shù)，本文使用的數(shù)值為16。經(jīng)激活函數(shù)ReLU 運(yùn)算后再連接神經(jīng)元個(gè)數(shù)為c的FC層，以保證跟原始數(shù)據(jù)通道匹配，最后sigmoid 函數(shù)將結(jié)果限制到范圍［0，1］內(nèi)。把通過訓(xùn)練集學(xué)習(xí)出的權(quán)重系數(shù)乘到原始數(shù)據(jù)對(duì)應(yīng)通道上，使得不同通道的特征指向性更強(qiáng)。

2.2 算法網(wǎng)絡(luò)結(jié)構(gòu)

AC-SE-ResNeXt 將整張人臉圖像作為網(wǎng)絡(luò)的輸入，輸出網(wǎng)絡(luò)回歸的人臉關(guān)鍵點(diǎn)坐標(biāo)。一張人臉圖像X∈Rq×1，其中q為圖像像素個(gè)數(shù)，Y∈R2p×1表示輸出的p個(gè)關(guān)鍵點(diǎn)（p=5）坐標(biāo)。整個(gè)人臉關(guān)鍵點(diǎn)檢測(cè)任務(wù)就是去學(xué)習(xí)一個(gè)人臉圖像輸入矩陣到人臉器官坐標(biāo)輸出的映射函數(shù)f：X→Y，其中函數(shù)f需滿足關(guān)系：

其中：向量Yt表示真實(shí)人臉器官坐標(biāo)。從數(shù)學(xué)角度來看，人臉關(guān)鍵點(diǎn)回歸任務(wù)其實(shí)是一個(gè)逼近問題，在給定的訓(xùn)練樣本中去學(xué)習(xí)一個(gè)映射函數(shù)，用深度神經(jīng)網(wǎng)絡(luò)來求解回歸問題，那么映射函數(shù)的形式便是神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。神經(jīng)網(wǎng)絡(luò)具有近似擬合任意函數(shù)的能力，通過加深網(wǎng)絡(luò)和改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，可以使網(wǎng)絡(luò)的擬合能力更強(qiáng)，近似精度更高。

人臉圖像具有紋理結(jié)構(gòu)性的特點(diǎn)，即一般雙眼在鼻子上方，嘴巴在鼻子下方，器官間的相對(duì)位置固定。網(wǎng)絡(luò)在學(xué)習(xí)人臉關(guān)鍵點(diǎn)與對(duì)應(yīng)坐標(biāo)的映射關(guān)系時(shí)，需要將人臉器官間相互約束的結(jié)構(gòu)性信息隱含其中，顯式地學(xué)習(xí)像素點(diǎn)到坐標(biāo)的回歸關(guān)系，同時(shí)還需要隱式地學(xué)習(xí)圖像全局上下文信息，結(jié)合這兩方面的信息輸出預(yù)測(cè)結(jié)果。為了使網(wǎng)絡(luò)提取出更豐富的特征，從空間學(xué)習(xí)和通道學(xué)習(xí)兩個(gè)方面加強(qiáng)網(wǎng)絡(luò)特征提取能力，同時(shí)為了保證預(yù)測(cè)結(jié)果的精度，將整個(gè)網(wǎng)絡(luò)加深到101 層，AC-SE-ResNeXt 網(wǎng)絡(luò)結(jié)構(gòu)概覽如圖6 所示。人臉邊界框由先驗(yàn)知識(shí)人臉檢測(cè)器得到，依據(jù)邊界框坐標(biāo)將裁剪后的人臉圖像送入網(wǎng)絡(luò)中。網(wǎng)絡(luò)結(jié)構(gòu)詳細(xì)信息如表1所示。

表1 AC-SE-ResNeXt網(wǎng)絡(luò)詳細(xì)信息Tab.1 AC-SE-ResNeXt network details

圖6 AC-SE-ResNeXt網(wǎng)絡(luò)結(jié)構(gòu)概覽圖Fig.6 Overview of AC-SE-ResNeXt network structure

3 實(shí)驗(yàn)與結(jié)果分析

平均誤差率和失敗率被廣泛地應(yīng)用于人臉關(guān)鍵點(diǎn)檢測(cè)算法中［16-19］，誤差率和失敗率可以評(píng)價(jià)整個(gè)算法的準(zhǔn)確性和可靠性。平均誤差率定義為：

其中：(x，y)和(x′，y′)分別表示關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)和網(wǎng)絡(luò)預(yù)測(cè)的坐標(biāo)；歸一化參數(shù)w可以是人臉檢測(cè)器檢測(cè)出的人臉框邊長，也可以是人臉雙目間距離。平均誤差率超過給定的閾值則被認(rèn)為檢測(cè)失敗。為了與其他算法作比對(duì)，本文使用人臉雙目距離作為歸一化參數(shù)，失敗率閾值設(shè)置為10%。

3.1 實(shí)驗(yàn)數(shù)據(jù)

數(shù)據(jù)集分為三個(gè)部分：訓(xùn)練集、驗(yàn)證集和測(cè)試集。其中，訓(xùn)練集和驗(yàn)證集是由級(jí)聯(lián)DCNN 算法所使用的13 466 張人臉圖像數(shù)據(jù)增強(qiáng)（旋轉(zhuǎn)、平移）而來，增強(qiáng)后的數(shù)據(jù)共26 932 張，訓(xùn)練集與驗(yàn)證集分別使用了21 632 張和5 300 張。測(cè)試集使用的是公共數(shù)據(jù)集BioID［20］和LFPW［21］，BioID 數(shù)據(jù)集中的人臉圖像是在實(shí)驗(yàn)室條件下采集得到，LFPW 數(shù)據(jù)集則是從網(wǎng)絡(luò)上搜集的人臉圖像。對(duì)得到的公共數(shù)據(jù)集首先要進(jìn)行數(shù)據(jù)清理，剔除掉數(shù)據(jù)集中因格式損壞、人臉邊界框偏差過大而無法使用的人臉圖像，經(jīng)處理后的BioID 數(shù)據(jù)集和LFPW 數(shù)據(jù)集分別為1 471 張、662 張。同時(shí)，BioID 數(shù)據(jù)集中的人臉圖像為單通道灰度圖像，為了保持網(wǎng)絡(luò)輸入通道一致性，將BioID 數(shù)據(jù)集單通道的人臉圖像擴(kuò)充為三通道。

3.2 實(shí)驗(yàn)細(xì)節(jié)與縱向?qū)Ρ?/h3>

本文所提AC-SE-ResNeXt 人臉關(guān)鍵點(diǎn)檢測(cè)算法的訓(xùn)練和測(cè)試均是基于開源深度學(xué)習(xí)框架，其中網(wǎng)絡(luò)訓(xùn)練過程中所使用的損失函數(shù)為：

網(wǎng)絡(luò)權(quán)重采用Xavier［22］初始化方法，學(xué)習(xí)率設(shè)置為0.01，同時(shí)網(wǎng)絡(luò)在訓(xùn)練過程中會(huì)依據(jù)提前設(shè)置的計(jì)劃表動(dòng)態(tài)調(diào)整學(xué)習(xí)率，在經(jīng)過120、240 和300 次迭代時(shí)，會(huì)分別使學(xué)習(xí)率減小為原來的1/10，最終學(xué)習(xí)率為0.000 01，整個(gè)算法的迭代次數(shù)為450。訓(xùn)練過程中使用L2正則減少過擬合，其中正則化參數(shù)設(shè)置為0.000 1。使用Adam［23］優(yōu)化器對(duì)損失函數(shù)即式（10）進(jìn)行優(yōu)化，訓(xùn)練批量的大小BatchSize設(shè)置為676。

縱向?qū)Ρ葘?shí)驗(yàn)發(fā)現(xiàn)會(huì)造成結(jié)果產(chǎn)生明顯性差異的參數(shù)是網(wǎng)絡(luò)深度，實(shí)驗(yàn)初期選用深度為50 層，其他參數(shù)設(shè)置基本相同的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)驗(yàn)結(jié)果精度上不如101 層網(wǎng)絡(luò)，具體對(duì)比如表2～3所示。

表2 在LFPW測(cè)試集上50層網(wǎng)絡(luò)與101層網(wǎng)絡(luò)的平均誤差率 單位：%Tab.2 Mean error rate of 50-layer network and 101-layer network on LFPW test set unit：%

表3 在BioID測(cè)試集上50層網(wǎng)絡(luò)與101層網(wǎng)絡(luò)的平均誤差率 單位：%Tab.3 Mean error rate of 50-layer network and 101-layer network on BioID test set unit：%

3.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文算法在人臉關(guān)鍵點(diǎn)檢測(cè)上的有效性，除了與級(jí)聯(lián)DCNN 算法［9］進(jìn)行比較外，同時(shí)與已有的人臉五點(diǎn)關(guān)鍵點(diǎn)檢測(cè)算法和商業(yè)軟件進(jìn)行比較。統(tǒng)計(jì)對(duì)比各個(gè)算法在LFPW、BioID 測(cè)試集上平均誤差率和失敗率如表4～7 所示。本文算法在測(cè)試集LFPW 上右眼平均誤差率低于級(jí)聯(lián)DCNN算法，左眼、鼻尖、左嘴角和右嘴角平均誤差率略高于級(jí)聯(lián)DCNN 算法，明顯優(yōu)于其他算法；各個(gè)關(guān)鍵點(diǎn)失敗率均低于其他算法，所有算法的綜合平均誤差率如表6～7所示，其中本文算法綜合平均誤差率為2.3%，級(jí)聯(lián)DCNN 算法綜合平均誤差率為2.19%。在測(cè)試集BioID上鼻尖、右嘴角平均誤差率低于級(jí)聯(lián)DCNN 算法，左眼、右眼和左嘴角略高于級(jí)聯(lián)DCNN 算法，較其他算法有明顯的優(yōu)勢(shì)；左右眼失敗率略高于級(jí)聯(lián)DCNN 算法，剩余關(guān)鍵點(diǎn)失敗率均低于其他算法，其中本文算法綜合平均誤差率為1.99%，級(jí)聯(lián)DCNN 算法綜合平均誤差率為2.02%。本文算法在平均誤差率上與級(jí)聯(lián)DCNN 算法相差不大，相較于其他算法優(yōu)勢(shì)明顯；在失敗率上相較于其他算法有所提升，說明本文算法在關(guān)鍵點(diǎn)檢測(cè)過程中魯棒性更強(qiáng)，可靠性上更有優(yōu)勢(shì)。

表4 不同算法在LFPW測(cè)試集上的平均誤差率 單位：%Tab.4 Mean error rates of different algorithms on LFPW test set unit：%

表5 不同算法在BioID測(cè)試集上的平均誤差率 單位：%Tab.5 Mean error rates of different algorithms on BioID test set unit：%

表6 不同算法在LFPW測(cè)試集上的失敗率與綜合平均誤差率 單位：%Tab.6 Failure rates and comprehensive average error rates of different algorithms on LFPW test set unit：%

圖7 為在驗(yàn)證集、LFPW 和BioID 測(cè)試集上人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果示例，在不同光照、姿態(tài)、表情、面部遮擋等多種環(huán)境下，本文算法均能較為準(zhǔn)確地定位到人臉左眼、右眼、鼻尖、左嘴角和右嘴角關(guān)鍵點(diǎn)的位置。

圖7 在驗(yàn)證集、LFPW和BioID測(cè)試集上的人臉關(guān)鍵點(diǎn)檢測(cè)結(jié)果示例Fig.7 Examples of facial landmark detection results on validation set，LFPW and BioID test sets

4 結(jié)語

為解決級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)策略在人臉關(guān)鍵點(diǎn)檢測(cè)中不僅需要多階段回歸還需要在相鄰階段間進(jìn)行圖像預(yù)處理的問題，本文基于ResNeXt 網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合ACNet、SENet 的思想，提出了基于AC-SE-ResNeXt 網(wǎng)絡(luò)的人臉關(guān)鍵點(diǎn)檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明，在網(wǎng)絡(luò)結(jié)構(gòu)上增加非對(duì)稱卷積模塊、壓縮激發(fā)模塊，強(qiáng)化網(wǎng)絡(luò)所提取的空間特征和特征通道相關(guān)性，增加網(wǎng)絡(luò)深度，可以有效地提高人臉關(guān)鍵點(diǎn)檢測(cè)精度，增強(qiáng)算法魯棒性，將級(jí)聯(lián)策略下多階段人臉關(guān)鍵點(diǎn)回歸模型簡(jiǎn)化為端到端的單階段單網(wǎng)絡(luò)回歸模型。

表7 不同算法在BioID測(cè)試集上的失敗率與綜合平均誤差率 單位：%Tab.7 Failure rates and comprehensive average error rates of different algorithms on BioID test set unit：%

本文所設(shè)計(jì)的AC-SE-ResNeXt 網(wǎng)絡(luò)模型雖說可以達(dá)到與級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)策略相似的精度，但是整個(gè)網(wǎng)絡(luò)深度也達(dá)到了101 層。如何對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行壓縮以及嘗試使用回歸熱力圖進(jìn)行訓(xùn)練和檢測(cè)是接下來的研究方向。