管紓玥,狄 嵐,梁久禎

1(江南大學 人工智能與計算機學院,江蘇 無錫 214122) 2(常州大學 計算機與人工智能學院,江蘇 常州 213164)

1 引 言

人臉特征點定位,又稱人臉關鍵點檢測或人臉對齊,是指在人臉圖像上找出眼睛、鼻子、嘴巴等特征點的坐標.它是人臉識別、人臉重建、頭部姿態(tài)估計等計算機視覺任務的重要環(huán)節(jié).雖然深度學習技術極大提高了人臉特征點定位的準確性,但在實際應用中姿態(tài)、表情、光照、遮擋、模糊等因素仍使得人臉特征點定位面臨巨大挑戰(zhàn).由于新冠疫情的發(fā)展,遮擋人臉在實際生活中變得越來越普遍,研究遮擋人臉的特征點定位變得更加迫切.

針對人臉特征點定位的遮擋問題,目前已取得了不少的進展.2013年Burgos-Artizzu等人[1]提出RCPR(Robust Cascaded Pose Regression)依賴有遮擋標簽的訓練集,將人臉分成不同的塊,利用遮擋先驗預測對應特征點的遮擋概率.在此基礎上,2021年Tong等人[2]提出TSCPR(Two-Stage Cascaded Pose Regression)算法,使用原始圖像和鏡像圖像的定位差異來預測特征點是否遮擋.2019年Zhu等人[3]提出ODN(Occlusion-adaptive Deep Networks)算法,使用蒸餾模塊生成遮擋概率圖作為權重減少遮擋影響,獲得干凈的人臉特征表示,使用幾何感知模塊挖掘人臉幾何特征輔助低秩模塊更好恢復丟失特征.2020年,Wan等人[4]提出CRD(Cascaded Regression and Deocclusion)算法,使用編解碼器檢測遮擋并逐步恢復遮擋部分圖像.同年Kumar等人[5]則在Stracked Dense U-Net[6]的基礎上提出了LUVLi損失來評估特征點的位置可信度和可見度.

現有的人臉遮擋定位算法,或依賴大量的遮擋標注區(qū)分遮擋點與非遮擋點,或需添加額外模塊進行遮擋特征提取或祛除,進而減輕特征點定位過程中遮擋帶來的影響.除COFW外,300W、WFLW等人臉特征點定位數據集均未提供特征點的遮擋標簽.為特征點定位模塊添加遮擋輔助模塊則會增加模型的計算成本,輔助模塊與整個定位算法高度耦合,移植性較差.

損失函數是深度模型的重要組成部分,熱圖回歸模型通常選用L2損失(也稱MSE損失).L2損失使得在訓練過程中人臉圖像上所有像素具有相同的損失和權重,忽視了遮擋等因素的影響,最終產生較大的定位誤差.

對人臉圖像進行隨機矩形擦除能夠模擬遮擋,在一定程度上提升模型的魯棒性.2018年Dong 等人[7]提出SAN(Style Aggregated Network)算法,將一張人臉圖像經由GAN網絡生成多張不同風格的圖像,有效提升了過亮過暗的人臉圖像上特征點定位結果.2021年Yan等人[8]采用在圖像上隨機位置生成隨機大小的橢圓的方式解決遮擋問題.但遮擋是不規(guī)則的、隨機的和復雜的,人臉的任何部分都可能被任意對象遮擋,上述方法不能有效模擬現實中的遮擋.

特征點定位模型一般僅輸入3通道的人臉圖像.2018年Wu等人[9]提出LAB(Look At Boundary)算法,使用邊界生成器生成邊界圖,將邊界熱圖與原圖融合后輸入特征點定位模塊,增強特征點之間的幾何聯系,獲得更好的定位效果.2019年Wang等人[10]提出AWing(Adaptive Wing loss)算法輸出額外通道預測特征點的邊界圖.2021年Park H等人[11]所提的ACN(Attentional Combination of heterogeneous regression Networks)算法使用特征金字塔生成注意力掩碼,消除遮擋造成的特征中斷.以上算法證明了,邊熱圖、掩碼圖有助于模型更好的提取特征.

以HRNet[12]為基礎,本文提出了一種遮擋自適應權重的人臉特征點定位算法occHRNet(occlusion_High-Resolution Network),減輕遮擋對人臉定位的影響,主要貢獻包括以下3個方面:

1)設計了一種遮擋自適應權重的損失函數.添加遮擋預測輔助模塊,利用主干網絡的特征提取結果預測特征點的遮擋度,對遮擋度進行線性變換作為特征點定位的損失權重,減輕遮擋點的影響.

2)提出了一種遮擋人臉生成及標注算法,來解決人臉特征點遮擋標簽不足的問題.充分考慮遮擋的復雜性,生成隨機大小、形狀、紋理、透明度的遮擋物進行人臉遮擋;使用GAN網絡生成諸如胡子、眼鏡等具有實際意義的不規(guī)則遮擋;并對遮擋圖進行特征點批量遮擋標注.

3)提出了一種復合特征圖生成及融合方案.根據人臉特征點的預測坐標,生成人臉的點特征圖、邊特征圖、區(qū)域特征圖以及裁剪圖,將特征圖與原圖相融合,從點線面三層次幫助網絡更好的提取人臉特征.

本算法在COFW、300W數據集上進行了測試,遮擋人臉特征點定位的精度取得了有效的提升,同時無遮擋人臉的定位效果仍能與HRNet相持平.

2 相關算法

人臉特征點定位算法可以分為基于傳統的定位算法和基于深度的定位算法.

傳統的人臉特征點定位算法包括主動形狀模型(Active Shape Model,ASM)[13]和主動表觀模型(Active Appearance Model,AAM)[14],主要通過調整模型的參數來不斷優(yōu)化誤差函數,進而進行形狀估計,但對遮擋人臉往往定位效果不佳.

關于基于深度學習的人臉特征點定位一般分為兩種:1) 坐標回歸模型(Coordinate-Based Regression,CBR);2) 熱圖回歸模型(Heatmap-Based Regression,HBR).坐標回歸模型,是直接輸出N維向量作為特征點對應的預測坐標,而熱圖回歸模型則是輸出N通道的熱圖,再將熱圖按公式(1)映射出特征點的坐標.一般來說熱圖回歸模型的效果優(yōu)于坐標回歸模型.

p(x,y)=arg maxx,yh(x,y)

(1)

其中,h(x,y)為特征點所對應的熱圖,p(x,y)為特征點所對應的坐標.

2.1 骨干網絡

熱圖回歸模型最為常用的骨干網絡為沙漏網絡模型(Hourglass Net)[15]、U-Net.沙漏網絡、U-Net網絡采用對稱的網絡架構,前半部分進行下采樣,后半部分進行上采樣,實現從低分辨率到高分辨率的恢復,但在下采樣的過程中往往會損失原始尺度的信息.HRNet始終保持高分辨率,并行連接從高分辨率到低分辨率的多個分辨率的卷積結果,且在并行卷積的過程中多次進行多尺度融合.HRNet共4個階段;第一階段為一個單獨的分支,其通道為18,分辨率為64×64;其余階段保留上一階段已有分支,并添加一個分辨率為上一階段最低分辨率一半的新分支;第4階段共4個分支,每個分支生成的特征的通道與分辨率分別為18×64×64、36×32×32、72×16×16、144×8×8;最后對不同分辨率的特征經過上采樣輸入熱圖生成模塊,生成分辨率為64×64的熱圖.HRNet在下采樣提取特征的同時保留高分辨表征,即避免了高分辨率特征的損失.與沙漏網絡、U-Net網絡相比,HRNet在人臉回歸任務中取得了更好的定位效果,且HRNet輸出多種分辨率特征,下采樣融合后可以更好的預測特征點遮擋度,故本文選擇HRNet作為本算法的骨干網絡.

2.2 損失函數

損失函數是深度回歸模型的重要組成部分.特征點定位模型常用的損失函數是L2損失,計算過程為:

(2)

2019年Guo等人[16]使用輔助網絡預測人臉的偏轉角度,將姿態(tài)幾何信息集成到損失函數中,減輕姿態(tài)對特征點定位的影響.2022年Pourramezan等人[17]提出ARC損失(adaptive coordinate-based regression loss)以人臉圖像中特征點位置到該點在平均臉位置的距離為該點定位的難度,根據特征點的難度水平自適應地修改損失函數權重,提高特征點定位的準確性.上述損失函數提升了模型的預測效果,但并未將遮擋與損失函數相關聯.

3 算法流程

為了解決遮擋帶來的人臉特征點定位不準確問題,本文提出了一種基于自適應遮擋權重的人臉特征點回歸算法occHRNet,occHRNet的框架如圖1所示.

圖1 occHRNet框架圖Fig.1 occHRNet framework

從圖1(a)自適應遮擋區(qū)域可以看到,本算法添加了一個遮擋預測的輔助模塊.將預測的遮擋度經由線性變換后作為熱圖回歸任務的自適應權重,設計了遮擋自適權重損失函數.如圖1(b)數據集擴增區(qū)域所示,生成具有不同形狀、大小、紋理和透明度的遮擋人臉并標注特征點的遮擋度,豐富數據集的遮擋信息.在圖1(c)特征生成及融合區(qū)域所示,生成人臉點特征圖、邊特征圖、區(qū)域特征圖以及裁剪圖的復合特征圖,并于與原圖融合后輸入主干網絡.

假設數據集一共包含N個樣本,采用M點標注法,則圖像Ia上對應特征點坐標標簽Pa為:

Pa=[(xa0,ya0),(xa1,ya1),…,(xa(m-1),ya(m-1))]

(3)

(4)

特征點遮擋標簽Oa為:

Oa=[oa0,oa1,…,oa(m-1)]

(5)

(6)

3.1 遮擋自適應權重損失

熱圖回歸網絡常用的L2損失使得所有的像素具有相同的權重和梯度,未考慮遮擋對于特征點定位的影響.

特征點的遮擋概率Oa與權重wa之間存在線性關系:

(7)

其中,θ為一個偏置量,本文中定為0.5.

遮擋自適應權重損失函數:

(8)

簡記為:

Locc=wa×L2

(9)

(10)

遮擋自適應權重損失函數則為:

(11)

簡記為:

(12)

如公式(13)所示使用任務權重γ調整特征點定位任務和遮擋預測任務間平衡問題.

(13)

簡記為:

(14)

3.2 遮擋數據集生成

在常用人臉特征點定位數據集300W中缺少特征點的遮擋標簽,而COFW數據集僅提供了1345張訓練圖像,圖像數量偏少.經由統計COFW訓練集中遮擋圖像約占40%,而測試集則達到90%;訓練集遮擋點占10%的,測試集中占20%.對訓練集進行遮擋生成,來解決COFW中遮擋點與未遮擋點數據分布不均,遮擋預測誤差較大的問題.數據擦除僅生成隨機大小的灰色矩形塊來模擬遮擋對原圖像數據的影響,忽略了遮擋的復雜性.實際應用中,遮擋的形狀、大小、顏色、紋理、透明度等屬性均無法確定.

針對遮擋點不足、遮擋具有復雜性和不確定性的問題,本文提出一中遮擋生成及標注算法,將遮擋的形狀、大小、顏色、紋理、透明度納入考量,保留原數據集的同時,對原數據集進行遮擋生成,根據遮擋區(qū)域及其透明度標注特征點的遮擋度.根據遮擋生成的流程細節(jié),將遮擋生成分為隨機幾何遮擋生成、隨機實物遮擋生成和語義遮擋生成,具體流程如圖2所示.

3.2.1 隨機遮擋生成

隨機幾何遮擋算法如圖2(a)所示.

第1步.隨機生成形狀掩碼m,其中白色部分像素值為1,黑色部分為0,可生成矩形、圓形和多邊形.使用python的opencv庫繪制矩形、圓形.對于n多邊形生成本算法提供兩種繪制方案.方案1,隨機生成中心點(x,y).對第i個點pi生成半徑ri、角度θi,經公式(15)得到邊界點pi(xi,yi).方案2,隨機生成i個點,調用opencv庫的內置多邊形繪制函數進行多邊形繪制.

(15)

第2步.遮擋元素圖If機形變.對掩碼m進行輪廓提取,計算輪廓最小外接矩形Rm的長wr、寬hr和最小坐標點pr(xmin,ymin).當遮擋元素圖If的長wf>wr或寬hf>hr時,對If進行長寬等比例放大.在遮擋元素圖上裁取Rm大小的遮擋內容If-r.I′f與掩碼m大小一致,I′f從(xmin,ymin)到(xmin+wr,ymin+hr)為If-r,其余部分像素值為0.

(16)

(17)

(18)

現實中遮擋往往不是簡單的幾何圖形,而是形狀不規(guī)則紋理各異的實物.語義分割數據集提供了實物掩碼,即圖2中元素標簽圖Il.隨機實物遮擋算法如圖2(b)所示,與隨機幾何遮擋算法類似.

3.2.2 GAN網絡遮擋生成

遮擋具有不可預測性,常見遮擋除了外物遮擋,還有與人臉部位緊密貼合的遮擋類型,如妝容、胡子等.這類遮擋使用傳統的圖像融合技術不能得到很好的生成圖像,在此使用GAN生成妝容、胡子、眼鏡等遮擋.如圖2(c)所示,人臉特征生成的GAN網絡僅對人臉區(qū)域進行特征生成,為了得到更好的遮擋圖對人臉進行裁剪后輸入GAN網絡生成器進行遮擋特征生成.

使用BeautyGAN[18]生成妝容遮擋圖.StarGAN[19]在Celeba人臉多特征標注數據集提取多種遮擋特征——妝容、胡子、模糊、眼鏡,并生成相關特性的遮擋圖.其中妝容遮擋僅改變人臉的妝容風格,不改變圖像中特征點的遮擋性;胡子遮擋使得嘴部特征點被遮擋;眼鏡使得雙眼的特征點被遮擋;模糊使得全部特征點均被遮擋.

3.2.3 遮擋標簽

COFW數據集標注特征點位置信息的同時標注了每個特征點的遮擋情況,1表示遮擋,0未遮擋.使用公式(19)進行遮擋圖像遮擋標注.

(19)

其中,oo為原始圖像上特征點的初始遮擋度,oadd為遮擋生成算法對特征點新增的遮擋度,o′為最終特征點所對應的遮擋度.

參考COFW數據集,oadd進行01標注,對遮擋點標注1,未遮擋點標注0.對于隨機幾何遮擋和隨機實物遮擋,對特征點p(x,y)檢測掩碼m在(x,y)處的值m(x,y)是否為0.若m(x,y)為0,則該點未遮擋,其標簽為0;否則其標簽為1.GAN遮擋根據遮擋類型進行遮擋標注,眼鏡遮擋將眼睛特征點全部標注為1,其余特征點標簽為0;胡子遮擋將嘴巴特征點全部標注為1,其余特征點標簽為0;妝容遮擋和模糊遮擋所有點均為0.

隨機遮擋中遮擋物具有不同的透明度,對特征點使用01標注忽視了遮擋物的透明度,將遮擋物的透明度af作為遮擋度對oadd進行軟標注.對于隨機幾何遮擋和隨機實物遮擋,對特征點p(x,y)檢測掩碼m在(x,y)處的值m(x,y)是否為0.若m(x,y)為0,則該點未遮擋,其標簽為0;否則其標簽為遮擋物的透明度af.GAN遮擋根據遮擋類型進行遮擋標注,眼鏡遮擋將眼睛特征點全部標注為0.7,其余特征點標簽為0;胡子遮擋將嘴巴特征點全部標注為0.7,其余特征點標簽為0;妝容遮擋和模糊遮擋所有點均為0.3.以0.5為閾值,當o′>0.5則點被遮擋,否則該點未遮擋.

保留COFW訓練集原圖并增加1倍灰色矩形擦除遮擋圖,構成遮擋數據集COFW-Gray(*2).保留COFW訓練集原圖并增加1倍遮擋圖,每張圖像的遮擋圖從其對應的模糊遮擋圖、眼鏡遮擋圖、妝容遮擋圖、胡須遮擋圖、局部遮擋圖、全局遮擋圖中隨機挑選一張,構成數據集COFW-EC(*2),增加訓練集中的遮擋點,使遮擋點的占比與測試集相持平.

3.3 復合特征生成及融合

LAB、ACN等驗證了人臉邊界熱圖、人臉掩碼等特征圖對于特征點的定位具有積極作用.基于以上實驗方案,本文提出了一種復合特征融合模塊,協助模型對原圖進行特征提取.考慮到對于測試圖已知信息僅有圖像,如何得到可靠的特征圖、得到何種特征圖、如何進行特征融合是值得研究的問題.

Pt=Pt-1+ΔPt

(20)

輸入圖像為255×255的三通道彩色圖像,部分特征圖如圖3所示.

圖3 人臉特征圖Fig.3 Features of face

從圖3可見,3行為人臉特征點定的3種不同標注方式即29點,68點和98點的預測坐標及對應的特征圖.其中,第1行為COFW數據集的29點標注法,第2行為300W數據集的68點標注法,第3行為WFLW數據集的98點標注法.在訓練過程中對圖像進行隨機縮放、旋轉、翻轉增加模型的魯棒性,故而圖3中的原圖具有不同的大小、角度和方向.其中第1列為原圖及數據集提供的真實坐標,第2列為預測坐標,第3列為單通道圖像,第4～第6列分別為裁剪圖、點特征圖、總邊特征圖和總區(qū)域特征圖.

裁剪特征圖(cpk):MTCNN[20]、CRD[4]算法截取特征點周圍區(qū)域提取局部信息,減少遮擋對未遮擋點的影響.第n張圖像的第m特征點pmn(x,y)的裁剪掩碼cmknm以該點為中心,2k為邊長,將m個特征點的裁剪掩碼相加得該圖像的裁剪掩碼cmkn,其中k選擇4和16.k為16的裁剪圖(cm16n)如圖3中第4列所示.

邊特征圖(hb):參照LAB將邊特征圖作為輸入信息,為了得到更為準確的預測結果,將邊界圖拆分為多通道的單邊特征圖.COFW可拆分成14通道的單邊特征圖,其中總邊特征圖(hb_sum)如圖3中第6列所示.

區(qū)域特征圖(ha):ACN使用特征金字塔提取多尺度特征生成人臉未遮擋區(qū)域的注意力掩碼,過濾非人臉信息和遮擋部分的無用局部特征.根據特征點的語義生成區(qū)域特征圖,可以將人臉與背景部分分離,減少背景干擾;同時可將眼口鼻與面部區(qū)域分離,減少部分遮擋對無遮擋區(qū)域影響.COFW可拆分成5通道的單區(qū)域特征圖,其中總區(qū)域特征圖(ha_sum)如圖3中第7列所示.

特征圖融合:COFW數據集原始圖像I具有3通道,點線面熱圖有22通道,裁剪圖有2通道.使用公式(21)將3通道原始圖像壓縮為1通道圖像I′,如圖3第3列所示.

(21)

將圖像I′與裁剪掩碼cmk進行點乘可得裁剪圖cpk,將圖像I′與cpk進行通道拼接,得到μ通道裁剪特征圖組crop_zoo(簡記為cz).

cpk=cmk?I′

(22)

cz=cpk0⊕cpk1⊕I′

(23)

其中,?表示面向元素的點積操作,⊕表示面向通道的連接操作.

ν通道熱圖特征組heatmap_zoo(簡記為hz)如公式(24)所示由單通道特征點熱圖hp、多通道邊界熱圖hb、多通道區(qū)域熱圖ha進行通道拼接而成.

hz=hp⊕hb⊕ha

(24)

將I、cz和hz按公式(26)進行融合拼接得到最終的z通道輸入inp.

z=3+μ+μ×ν

(25)

(26)

4 實驗分析

本文實驗環(huán)境為64位window10操作系統,GPU為 6G顯存的 NVIDIA GeForce GTX 1060s,使用Pytorch框架,在PyCharm上編程實現.

對訓練數據集進行隨機翻轉、旋轉、縮放,進行樣本擴充.使用HRNet作為主干網絡,沿用HRNet參數設置,學習率為0.001,batch_size 為 8,訓練60個批次.

4.1 數據集

本文使用COFW數據集[21]和300W數據集[22]進行實驗效果評估,使用WFLW數據集[10]進行人臉特征圖生成,使用Celeba數據集[23]、ZJU-Leaper 紡織品瑕疵數據集[24]和VOC2010 語義分割數據集[25]進行遮擋生成.

COFW數據集:使用29個特征點標注,并對每一個特征點進行了遮擋標注.訓練集1345張,測試集507張.29點人臉標注包括,眉毛8個點,眼睛10個點(含2個眼中心點),鼻子4個點,嘴巴6點,邊緣輪廓1個點.

COFW-68[26]對測試集標注68個點的位置和遮擋情況,其特征點位置標注與300W的標注方式一致.

300W數據集:具有68個特征點標注.訓練集3148張,測試集分為普通測試集和挑戰(zhàn)集,普通集中主要是正面人臉,而挑戰(zhàn)集中涵蓋大姿態(tài)、遮擋、強光等難度較大的人臉圖像.全集由普通集和挑戰(zhàn)集一同組成,共689張圖像.68點人臉標注包括邊緣輪廓16個點,眉毛10個點,鼻子9個點,眼睛12點,嘴巴20點.

Masked 300W[27]數據集是在300W測試集上添加一個口罩遮擋.

為了使定位算法具有更廣泛的應用性,根據特征點標簽的語義進行跨數據映射.圖4展示了COFW(29點)和300W(68點)數據集的特征點定位標簽,以及根據特征點的相同語義,進行不同標注方式的映示意圖.

(a) 29點映射68點 (b) 68點映射29點圖4 人臉特征點標注及映射示意圖Fig.4 Label and map of face landmark

如圖4(a)為COFW的29點標注映射到300W的68點標注示意圖,68點標注圖中空心點可由29點標注映射得到,從而更新68點中部分點的預測結果.圖4(b)為300W的采用68點標注映射到COFW的29點標注示意圖.29點標注圖中空心點可由68點標注映射得到,從而更新29點中部分點的預測結果.

4.2 評估標準

為了評價特征點定位的效果,采用歸一化平均誤差(Normalized Mean Error,NME)、失敗率(Failure Rate,FR)和累積誤差分布(Cumulative Error Distribution,CED)曲線作為評價指標.使用準確率(accuracy,acc)、精確率(precision,pre)、召回率(recall,rec)作為遮擋檢測任務的評價指標.使用與交叉熵類似的自適應權重雙任務評價指標,通過賦予兩個任務不同權重計算的最終得分,評價兩個任務的最終效果.其中NME和FR是occHRNet的核心任務特征點定位的評價指標.

1)歸一化平均誤差(NME)是主流人臉特征點定位算法的主要的評價指標.NME對每一張圖像計算所有點的預測坐標p與真實坐標gt之間的歐式距離,再除以外眼角之間的距離進行歸一化,對整個測試集求其平均值.具體運算如公式(27)所示:

(27)

其中,N是樣本總量,L是人臉特征點數量,pi和gti分別為第i個樣本的特征點位置的預測值和真實值,di是第i個樣本雙眼中心點或外眼角點之間的歐式距離.NME值越小,特征點定位越準確.

2)失敗率(FR),是特征點定位的重要指標.特征點定位失敗指當特征點的NME值大于閾值δ,則該點認為特征點定位失敗.失敗率是指預測失敗的特征點數在總預測點數中所占的百分比.FR值越小,說明特征點定位越準確.閾值δ設為0.08和0.10,使用失敗率FR0.08和FR0.10對特征點定位進行評價.

3)累積誤差分布(CED)曲線,橫軸表示NME值,縱軸表示測試樣本中對應NME占總樣本的比例,NME取值范圍為0.00到0.15.

4)準確率(acc)、精確率(pre)、召回率(rec)是分類任務的重要指標,遮擋預測可視為二分類問題.真實值為真且預測值為真,記為TP;真實值為真且預測值為假,記為FN;真實值為假且預測值為真,記為FP;真實值為假且預測值為假,記為TN,具體運算如公式(28)所示.精確率即查準率,召回率即查全率.精確率和召回率在0和1之間,數值越接近1,其分類效果越好.經由數據統計知COFW測試集中77.13%點未遮擋,22.90%的點遮擋,即假設所點未遮擋準確率可達到77.13%.準確率小于77.13%,判定遮擋檢測任務失敗,僅考慮定位任務結果.

(28)

5)多任務評價

使用公式(29)評價兩個任務的最終效果(score,s),本文將特征點定位任務作為主要任務(計為Tm),將遮擋預測視為輔助任務(計為Ta).對主要任務賦予任務權重wtask,則次要任務權重為1-wtask.其中,特征點定位任務的評價指標NME值越小,特征點定位越準確,則Tm的計算見公式(30).

s=wtask×Tm+(1-wtask)×Ta

(29)

Tm=1-NME

(30)

4.3 模塊有效性分析

不同的損失函數選擇的相關消融實驗,均使用COFW-EC(*2)數據集及img+COFW-72特征融合方式,實驗結果見表1,表中實驗數據分別為均一化平均誤差NME(%)、失敗率FR0.08(%)和FR0.10(%)、遮擋檢測的準確率occAcc(%).

表1 不同損失函數的評估結果Table 1 Evaluation with different loss

圖5 定位任務與遮擋預測任務評價統計圖Fig.5 Evaluation of facial landmark detection and occlusion prediction

4.3.2 隨機遮擋數據集效果評估

1)隨機遮擋生成結果

圖6展示了遮擋生成的效果.隨機幾何遮擋和隨機實物遮擋的部分效果圖見圖6(a).

圖6 遮擋效果示意圖Fig.6 Results of occlusion

圖6(a)包含了不同的形狀、大小、顏色、紋理、透明度的遮擋物,確保了遮擋的不確定性和復雜性.

圖6(b)展示了一張圖像所有遮擋效果圖,其中第1行第1列為原圖.第2行第1列灰色矩形擦除遮擋圖,即數據集COFW-Gray(*2)的遮擋示意圖.第2列和第3列均為GAN網絡生成的緊貼人臉結構的遮擋圖;第2列為模糊遮擋圖和眼鏡遮擋圖,第3列為妝容遮擋圖和胡子遮擋圖.模糊、眼鏡和胡子由StarGAN生成,妝容遮擋由BeautyGAN生成.第4列為局部隨機遮擋和全局隨機遮擋.

2)不同遮擋數集和遮擋標注的評估

表2 不同遮擋數據集評估結果Table 2 Evaluation on different dataset

如表2所示,第1組遮擋標注o′的原始標注oo均使用COFW數據集提供的特征點遮擋標簽,其中COFW-h表示對COFW數據集遮擋標注o′采用01標注;COFW-EC(*2)-s表示COFW-EC(*2)的遮擋標注o′采用軟標注.對比第1組的實驗結果,COFW-Gray(*2)和COFW-EC(*2)對特征點定位效果的提升均有幫助.由表2可知COFW-EC(*2),-s 的NME、FR0.08及FR0.10均取得最小值,其定位效果最佳,且遮擋檢測的準確率與COFW-h僅相差0.1%.COFW數據集上的其余實驗中均采用COFW-EC(*2)-s.

考慮到300W等常用人臉定位數據集不存在特征點遮擋標簽,第2組實驗模擬原始標注oo不可知的情況,COFW-EC(*2)-1和COFW-EC(*2)-0-s分別將所有特征點的原始標注oo設為1和0,再對繼續(xù)進行軟標注得到o′;COFW-EC(*2)-nme 則將每個特征點的NME值映射為o′.在第2組所有的occAcc均小于77.13%,判定遮擋檢測任務失敗,故此僅考慮定位任務.COFW-EC(*2)-1的NME和失敗率最小,表明其特征點定位效果最佳.在沒有遮擋標注的300W數據集上,將所有特征點均標注為遮擋,提高特征點定位的準確性.

4.3.3 復合特征融合效果評估

表3 不同特征圖的評估結果Table 3 Evaluation with different features

如表3所示,第1組實驗證明了點線面3種特征圖中,邊特征圖能夠幫助網絡更好的提取特征點特征.第2組實驗,可知采用img+COFW-66-noba-sum,即舍去總邊特征圖和總區(qū)域特征圖,可以得到最好的定位效果.第3組可知,使用300W的68點標注法能夠更好的提取面部特征,由圖3第1和2行對比,可知COFW的29點標注缺乏面部輪廓點,而68點則可以很好的描述人臉的輪廓,進而提升了邊特征圖組和區(qū)域特征圖組的準確性.考慮到跨數據集的計算量提升,后續(xù)實驗仍舊選擇img+COFW-66-noba-sum作為COFW數據集的特征融合方案.

4.4 與現有方法的比較

本節(jié)中將occHRNet與ACR(2022)、LAB(2018)、ODN(2019)等算法在COFW數據集和300W數據集上進行比較,主要是基于深度網絡的高斯熱圖回歸算法,實驗數據來自算法原文章或相關文章.

4.4.1 COFW數據集上的效果評估

表4 COFW-29數據集上評估結果Table 4 Evaluation on COFW-29

表4中包含3個組,第1組算法僅關注特征點的定位效果,第2組為結合遮擋檢測的人臉特征點定位算法,第3組為occHRNet的實驗結果.表中實驗數據分別為均一化平均誤差NME(%)、失敗率FR0.10(%)、遮擋檢測的精確率和召回率(pre/rec,%/%).

從表4中可以看出,與第1組算法比較,本文算法occHRNet的NME僅次于PIPNet和HRNet,但其失敗率低于其他所有算法,包括HRNet.與第2組算法對比,可以發(fā)現occHRNet的遮擋檢測精確率為80%時召回率達到53.4%,作為輔助任務的遮擋檢測結果雖只達到中等水平,但關鍵性任務特征點定位的評價指標NME和失敗率均取得最小值,證明了occHRNet在特征點定位任務上的優(yōu)越性.為了更好的展示occHRNet對于遮擋點的定位效果,分別對遮擋點和未遮擋點計算NME,實驗結果見圖7.

圖7 COFW數據集上特征點的定位誤差統計圖Fig.7 NME on the COFW dataset

從圖7可知,與 HRNet比較,雖然occHRNet對于未遮擋點定位誤差提高了0.01%,但在遮擋點上的NME降低了0.23%,最終使得整體的NME降低了0.04%.由此可知,occHRNet對遮擋特征點具有魯棒性.

HRNet和occHRNet在COFW測試集上部分圖像上的定位結果和遮擋檢測結果如圖8(a)所示.

圖8 COFW數據集測試結果示意圖Fig.8 Result on COFW

圖8中,各列為測試集中不同圖像在各算法上的定位結果.當特征點的遮擋預測結果與數據集提供遮擋標簽一致使用黑色,不一致時使用白色,圖中白色點越多,則該圖的遮擋預測錯誤越多.黑色圓點表示未遮擋點預測出不遮擋,白色十字表示未遮擋點預測為遮擋,黑色叉號表示遮擋點預測出遮擋,白色三角形表示遮擋點預測為不遮擋.為了更直觀的比較方案的優(yōu)劣,提供了單張圖片的的NME和occAcc.NME為該圖像的所有特征點均一化平均誤差,值越低越好.occAcc為圖中特征點的遮擋預測正確所占百分比,值越大越好.

圖8(a)中3行可以看到occHRNet在完成定位任務的同時提供了特征點的遮擋信息.通過比較第2、3行圖中的occAcc值,occHRNet的遮擋檢測結果優(yōu)于HRNet,證明了occHRNet的遮擋檢測任務的有用性,而比較圖中的NME值可以直觀的看出occHRNet的定位效果優(yōu)于HRNet.

4.4.2 300W數據集和COFW-68測試集

表5 300W 和 COFW-68上評估結果Table 5 Evaluation on 300W and COFW-68

從表5中,可以看出對于300W的全集和普通集,相較于HRNet,occHRNet并未取得明顯的提升效果,但對于300W的挑戰(zhàn)集,occHRNet的定位誤差降低了 0.08%,而對于存在眾多遮擋的COFW的測試集定位誤差降低了0.91%,NME值達到最小.HRNet-29在COFW上的實驗結果相較于HRNet(復現)誤差降低了0.23%,說明了occHRNet在COFW數據集上的訓練模型對于遮擋人臉具有魯棒性.

圖9為表5 中部分算法在COFW-68測試集上的CED曲線圖.

圖9 COFW-68數據集上CED曲線圖Fig.9 CED on COFW-68

從圖9可以看出 occHRNet 在其他曲線上方,其AUC值最大,由圖9可知occHRNet算法NME低于10%的樣本占比最高,證明了該算法的失敗率較低.

圖8(b)展示了在COFW-68測試集上部分圖像上的定位結果.圖像標注方案與圖8(a)一致.從圖8(b)定位效果和NME值可以看出occHRNet定位優(yōu)于其他對比算法.比較HRNet和occHRNet所在行的第3列,可以發(fā)現HRNet對于嚴重遮擋不具有魯棒性,而occHRNet則能夠較為準確的定位出遮擋點.HRNet和HRNet-29比較,可以發(fā)現使用29點映射68點,不僅可以獲得部分特征點的遮擋預測結果,還提升了特征點的定位結果.occHRNet和occHRNet-29比較發(fā)現特征點的定位準確性下降,證明了300W上的occHRNet模型定位性能優(yōu)于COFW上的occHRNet.再次證明occHRNet在遮擋人臉定位問題上的有效性.

為了進一步驗證occHRNet對遮擋特征點的魯棒,在Masked 300W數據集上進行測試,其NME(%)值如表6所示.

表6 Masked 300W上評估結果Table 6 Evaluation on Masked 300W

表6中,occHRNet-random為無預測坐標,通過隨機生成預測坐標的方式構建特征圖,旨在模擬特征點定位算法實際應用流程,即僅知人臉圖片時進行特征點定位的情況.其在3個測試集上的實驗結果仍舊優(yōu)于HRNet(復現),再次證明了occHRNet 對于遮擋特征點定位的有效性.occHRNet則是利用occHRNet-random的定位結果進行第一次特征圖生成,進行循環(huán)迭代至定位誤差不再減小.occHRNet相較于occHRNet-random在挑戰(zhàn)集上NME降低了2.33%.occHRNet-noocc則是使用了對應無遮擋300W數據集的預測結果進行特征圖生成,即特征圖更貼合標簽,得到了最好的定位結果,說明了高質量特征圖對特征點定位具有積極作用,如何獲得遮擋人臉的高質量特征圖是值得研究的.

5 結束語

本文提出了一種針對遮擋人臉的特征點回歸算法occHRNet,以HRNet為基礎,添加遮擋檢測模塊,將特征點遮擋度作為定位任務的權重優(yōu)化損失函數,在進行特征點定位的同時預測特征點的遮擋度.充分考慮遮擋的形狀、紋理、透明度等特性,生成遮擋圖像及對應的標簽進行數據集增強.將點特征圖、邊特征圖、區(qū)域特征圖和分割圖與原圖進行融合幫助骨干網絡更好的提取特征.本算法在COFW數據集上進行了詳細的實驗驗證了該算法的定位和遮擋檢測任務有效性,同時在300W和COFW68數據集上其定位效果同樣有所提升.本算法僅修改了骨干網絡的輸入和輸出模塊,未添加復雜的遮擋處理模塊,降低了網絡模型的運算成本,下一步可通過替換更為先進的骨干網絡或對現有骨干網絡進行結構優(yōu)化,進一步提升模型的性能.