李俊瑤,黎智輝,謝蘭遲,侯欣雨,葉 東
1.江蘇警官學(xué)院 刑事科學(xué)技術(shù)系,南京210000
2.公安部物證鑒定中心,北京100032
隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的快速發(fā)展,人臉識(shí)別已經(jīng)廣泛應(yīng)用于電子消費(fèi)、安防、打擊犯罪等領(lǐng)域,ResNet[1]、DenseNet[2]等算法的識(shí)別準(zhǔn)確率甚至高于人類。但是,對(duì)于失蹤兒童長(zhǎng)大后身份驗(yàn)證、逃犯長(zhǎng)期追蹤與識(shí)別、積案累案?jìng)赊k等需要使用跨年齡人臉識(shí)別技術(shù)的問(wèn)題,目前還沒(méi)有很好的解決方法。
目前,跨年齡識(shí)別問(wèn)題較難解決是因?yàn)殡S著年齡的增長(zhǎng),面部老化會(huì)引起面部特征的改變。對(duì)于兒童和青少年,身體未發(fā)育完全,顱面的生長(zhǎng)導(dǎo)致面部輪廓發(fā)生變化;對(duì)于成年人和老年人,衰老導(dǎo)致皮膚老化,使得五官形狀改變、面部皺紋增多等[3]。當(dāng)前,對(duì)于跨年齡人臉識(shí)別的研究主要分為兩大類:一類是研究人臉老化規(guī)律,利用不同時(shí)期的老化模型,合成老化人臉,基于合成的老化人臉進(jìn)行人臉識(shí)別與匹配;另一類是探尋人臉的年齡不變量,強(qiáng)化跨年齡人臉識(shí)別中與受年齡影響較小的個(gè)體特征,提高跨年齡人臉識(shí)別相似度和準(zhǔn)確性。
近幾年,部分學(xué)者對(duì)隨年齡進(jìn)程的人臉老化模型進(jìn)行過(guò)系統(tǒng)地梳理。其中,F(xiàn)u等人[4]總結(jié)了人臉老化合成和年齡估計(jì)相關(guān)算法,針對(duì)人臉老化合成,在深入剖析年齡進(jìn)程中人臉特征變化的基礎(chǔ)上,將人臉模型分為幾何模型、圖像模型、外觀模型等,并從數(shù)據(jù)驅(qū)動(dòng)合成、力學(xué)合成和統(tǒng)計(jì)學(xué)合成三個(gè)方面對(duì)現(xiàn)有的老化合成算法進(jìn)行詳細(xì)描述。Shu等人[5]將人臉老化方法分為基于原型、基于PCA、基于重建、基于模型和基于學(xué)習(xí)五大類,并詳細(xì)介紹了和年齡進(jìn)程有關(guān)的包括跨年人臉識(shí)別、年齡估計(jì)等應(yīng)用場(chǎng)景的解決方法和常用的三個(gè)跨年齡人臉數(shù)據(jù)庫(kù)(FG-NET、MORPH和CACD)。隨著深度學(xué)習(xí)算法的不斷發(fā)展,基于老化模型的跨年齡識(shí)別方法也不斷出新。本文詳細(xì)研究基于老化模型的跨年齡識(shí)別問(wèn)題,對(duì)各類老化模型、評(píng)價(jià)方法、跨年齡數(shù)據(jù)庫(kù)重新進(jìn)行總結(jié)歸納。
基于原型的人臉老化是利用不同年齡段、不同性別、不同種族的原型人臉圖像合成老化后的人臉圖像,這些原型人臉通常是利用大規(guī)模數(shù)據(jù)庫(kù)計(jì)算得到的平均人臉圖像。這一類研究主要是將原始年齡和目標(biāo)年齡對(duì)應(yīng)原型之間的差異轉(zhuǎn)換到輸入的人臉中,從而得到老化后的人臉圖像,其研究重點(diǎn)在于確定不同年齡組的原型。
Burt等人[6]提出在輸入圖像中加入原型之間的差值,將原始年齡的輸入人臉圖像轉(zhuǎn)換為目標(biāo)年齡的老化人臉圖像,如公式(1)所示:
其中,In(t1)是輸入的原始人臉圖像,AgingFace(t2)是輸出的老化后的人臉圖像,t1為原始年齡,t2為老化后的目標(biāo)年齡,AverageFace(t1)和AverageFace(t2)為t1、t2對(duì)應(yīng)年齡的原型人臉圖像。如圖1所示,左側(cè)一列為原始年齡的輸入圖像,第二列為目標(biāo)年齡對(duì)應(yīng)的原型人臉(平均人臉),第三列為原始年齡對(duì)應(yīng)的原型人臉(平均人臉),右側(cè)一列為老化后的人臉圖像,可實(shí)現(xiàn)人臉老化,但是面部老化紋理真實(shí)性較差。
圖1 基于原型的人臉老化方法Fig.1 Prototype-based face aging method
為解決紋理真實(shí)性問(wèn)題,Tiddeman等人[7]在紋理增強(qiáng)中加入小波變換,突出老化過(guò)程中的紋理特征變化,效果更加明顯。王章野等人[8]基于黃種人不同臉型老化模式存在差異的情況,建立黃種人人臉原型庫(kù),提出了一種基于人臉輪廓特征的老化方法,通過(guò)計(jì)算輸入人臉臉型特征點(diǎn)的局部曲率標(biāo)準(zhǔn)差,匹配人臉數(shù)據(jù)庫(kù)中的多個(gè)原型人臉圖像,利用原型人臉圖像進(jìn)行人臉紋理合成以及臉部形狀、膚色調(diào)整,得到比較真實(shí)的老化人臉。Kemelmacher等人[9]提出了一種光照感知年齡(IAAP)方法,考慮場(chǎng)景光照和陰影,利用光流場(chǎng)對(duì)原型人臉進(jìn)行光照調(diào)整,使得老化后的人臉紋理真實(shí)、清晰。
為解決原型人臉中缺乏個(gè)性特征的問(wèn)題,Shu等人[10]利用親屬關(guān)系信息改善年齡老化特征,提出了親屬關(guān)系引導(dǎo)的人臉老化方法(KinGAP)。該方法增強(qiáng)了人臉老化中的個(gè)性特征,但老化后圖像容易受親屬原型圖像中光照、表情等影響,原型圖像中的重影問(wèn)題也會(huì)弱化面部特征。因此,為了消除原型人臉中的重影問(wèn)題,Wang等人[11]利用相鄰年齡組之間的演化狀態(tài),提出了基于遞歸神經(jīng)網(wǎng)絡(luò)的遞歸人臉老化(RFA)方法,得到更加真實(shí)的老化人臉。
基于原型的人臉老化方法綜合考慮了人臉外觀特征隨年齡增長(zhǎng)的變化,包括面部皺紋增多、頭發(fā)變白等,可以反映面部衰老的真實(shí)情況,有較好的視覺(jué)效果,而且算法簡(jiǎn)單、易于實(shí)現(xiàn)。但是,該方法對(duì)姿態(tài)、表情要求較高,待老化人臉與模型人臉之間的姿態(tài)和表情差異會(huì)影響老化效果。另一方面,該類方法的年齡特征信息主要來(lái)源于原型人臉,而通過(guò)人臉平均方法計(jì)算得到的原型人臉通常缺少個(gè)體特征,使得老化模型同化,導(dǎo)致老化后的人臉具有一定的相似性,降低跨年齡人臉識(shí)別的準(zhǔn)確率。
基于傳統(tǒng)模型的老化方法是建立人臉的參數(shù)模型,利用人體測(cè)量學(xué)等理論,仿真模擬出人臉的骨骼輪廓生長(zhǎng)、皮膚紋理變化等,從而對(duì)輸入人臉進(jìn)行老化渲染,老化后的人臉可以保存部分個(gè)體特征。
用于模擬人臉結(jié)構(gòu)和皮膚的物理模型有很多,如參數(shù)模型[12]、幾何模型[13]、肌肉動(dòng)作模型[14]、張力網(wǎng)模型[15]、人臉凹凸和紋理映射模型[16]、表情和皺紋的幾何混合模型[17]、主動(dòng)外觀模型AAM[18]等,早期的模型主要研究人臉的靜態(tài)模型,對(duì)于老化特征細(xì)節(jié)研究較少。
人臉老化過(guò)程中,五官形狀和皺紋的變化是由面部肌肉、皮膚紋理等生理結(jié)構(gòu)決定的。因此,可以通過(guò)表征面部生理結(jié)構(gòu)的參數(shù)模型模擬人臉老化過(guò)程,實(shí)現(xiàn)老化特征細(xì)節(jié)增強(qiáng)。
Wu等人[19]基于靜態(tài)人臉模型和人體測(cè)量學(xué)提出了用三層結(jié)構(gòu)(肌肉層、結(jié)締組織層、皮膚層)模擬人臉老化的方法,采用B樣條插值、線性范性模型等表現(xiàn)層結(jié)構(gòu)的不同特征。雖然對(duì)人臉老化過(guò)程有較好的表示,但是該模型為動(dòng)畫(huà)模型,無(wú)法直接應(yīng)用于真實(shí)人臉的跨年齡識(shí)別?;谏锝Y(jié)構(gòu)可以根據(jù)受力的大小和方向進(jìn)行重構(gòu)的原理,Todd等人[20]利用幾何變換模擬面部結(jié)構(gòu)的老化過(guò)程,提出了流體靜力模型模擬人臉生長(zhǎng)變化。該模型對(duì)面部輪廓隨著年齡變化產(chǎn)生的細(xì)微變化具有較高的靈敏度,但模型過(guò)于依賴不同類型幾何變換的使用,對(duì)于未知的個(gè)體,界定合適的變換組合模式需要大量對(duì)比實(shí)驗(yàn),模型泛化能力有待提高。
Ramanathan等人[21]利用面部標(biāo)志參數(shù)的平均變化來(lái)表示年輕人臉的輪廓變化,但是無(wú)法模擬復(fù)雜的老化紋理,而且實(shí)驗(yàn)過(guò)程對(duì)樣本要求高,計(jì)算量大。在此基礎(chǔ)上,他們?cè)O(shè)計(jì)了基于物理的參數(shù)化肌肉模型和基于圖像梯度的紋理變換函數(shù)兩種新模型[22],分別表示面部肌肉和皮膚皺紋在老化過(guò)程中的變化,用以模擬成年人的人臉老化過(guò)程,另外,在老化過(guò)程中還考慮了體重變化對(duì)人臉老化的影響,如圖2所示。此外,還有學(xué)者提出通過(guò)數(shù)據(jù)訓(xùn)練得到臉部肌肉的生長(zhǎng)參數(shù),構(gòu)建肌肉模型[23],利用年齡子空間中的肌肉幾何和紋理變化信息合成老化后的人臉。
圖2 基于肌肉模型和皮膚紋理的老化模型Fig.2 Face aging model based on muscle model and skin texture
基于生理結(jié)構(gòu)的方法,雖從生物學(xué)角度對(duì)老化問(wèn)題進(jìn)行了建模,但是對(duì)解剖學(xué)知識(shí)要求較高,且參數(shù)較多,模型復(fù)雜,計(jì)算量較大。因此,部分學(xué)者從AAM模型出發(fā),建立人臉老化模型。
AAM模型是通過(guò)參數(shù)化的采樣形狀來(lái)構(gòu)建面部形狀模型[24],利用PCA方法描述形狀和紋理特征。Lanitis等人[25]針對(duì)兒童的面部成長(zhǎng)規(guī)律,建立全局老化函數(shù)描述面部年齡和AAM模型參數(shù)之間的關(guān)系,基于已知老化進(jìn)程的人臉圖像建立老化模型參數(shù)數(shù)據(jù)集,模擬兒童的人臉老化過(guò)程,但是該方法是利用待老化人臉與數(shù)據(jù)庫(kù)中人臉圖像的相似性計(jì)算衰老參數(shù),真實(shí)性與準(zhǔn)確性受數(shù)據(jù)集影響較大。Patterson等人[26]在主動(dòng)外觀模型(AAM)中加入人臉老化過(guò)程中產(chǎn)生的五官形狀、輪廓變化等參數(shù),使用SVR對(duì)AAM模型中年齡相關(guān)的參數(shù)進(jìn)行訓(xùn)練[27],得到年齡參數(shù)表,合成老化后的人臉,但是該方法未考慮老化過(guò)程中的外觀紋理變化。
Wang等人[28]將超分辨率方法[29]與AAM模型相結(jié)合,合成人臉老化過(guò)程中的面部紋理,并通過(guò)構(gòu)造張量基空間中的單位參數(shù)向量[30]提高算法效率,可以實(shí)現(xiàn)人臉老化和逆向合成。但是,受到數(shù)據(jù)集規(guī)模的影響,老化后的人臉圖像會(huì)出現(xiàn)特征模糊、紋理重疊等情況,合成質(zhì)量有待進(jìn)一步提高。Du等人[31]結(jié)合NMF算法,提出了一種基于稀疏約束的人臉老化模擬方法,從面部形狀和紋理分別進(jìn)行老化模擬。為加快運(yùn)算速度,該方法將圖像轉(zhuǎn)為灰度圖像進(jìn)行處理,有一定的數(shù)據(jù)損失。基于AAM模型的老化方法可以相對(duì)簡(jiǎn)化模型,且不需要研究者掌握人類解剖學(xué)相關(guān)專業(yè)知識(shí),擴(kuò)展了應(yīng)用范圍。
此外,Suo等人[32-33]根據(jù)圖模型原理,提出了一種多層表示的高分辨率語(yǔ)法人臉模型,將人臉?lè)譃檎w外觀變化、人臉五官特征和各區(qū)域的皺紋等細(xì)節(jié)特征三個(gè)層次,用“與-或”圖譜表示,并在時(shí)間軸上用動(dòng)態(tài)馬爾科夫模擬老化過(guò)程,如圖3所示,有效地表現(xiàn)了衰老過(guò)程中面部外觀的變化,有較好的視覺(jué)效果,但是采用面部組件拼接實(shí)現(xiàn)的人臉老化,缺少個(gè)體特征,且分辨率較低,面部細(xì)節(jié)表征較差。
圖3 “與-或”圖譜表示的人臉老化過(guò)程Fig.3 Face aging process represented by“and-or”map
基于傳統(tǒng)模型的老化方法通過(guò)提取人臉老化的輪廓、形狀和紋理特征,建立老化模型,將人臉圖像像素映射到高維空間,較好地解決了人臉老化合成問(wèn)題。通過(guò)微調(diào)不同的模型參數(shù),可以保留部分個(gè)體特征。但是,模型類型、參數(shù)設(shè)置、老化模式等都會(huì)對(duì)結(jié)果有很大的影響,有時(shí)甚至?xí)霈F(xiàn)較大的偏差,因此,大部分方法要求研究人員有一定的解剖學(xué)知識(shí),了解面部衰老的生物學(xué)原理,先驗(yàn)知識(shí)要求較高。另外,該類方法對(duì)實(shí)驗(yàn)數(shù)據(jù)依懶性強(qiáng)、要求高,通常需要個(gè)體多個(gè)階段、在時(shí)間軸上較為連續(xù)的臉部圖像,算法模型通常較為復(fù)雜、實(shí)驗(yàn)仿真時(shí)間消耗長(zhǎng)。
隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)方法的不斷推陳出新,人臉識(shí)別準(zhǔn)確率大大提升,很多研究人員也將深度學(xué)習(xí)方法應(yīng)用于人臉老化研究,取得了不錯(cuò)的效果。
人臉老化的模擬本質(zhì)上屬于對(duì)人臉的合成,目前在圖像合成方面表現(xiàn)最為突出、廣泛的是生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN),因此,現(xiàn)有的基于深度學(xué)習(xí)的老化方法都是基于GAN模型展開(kāi)的[34]。
GAN同時(shí)訓(xùn)練兩個(gè)模型:一個(gè)是生成模型G,用來(lái)捕捉訓(xùn)練樣本的數(shù)據(jù)分布,學(xué)習(xí)生成新的樣本加入訓(xùn)練;一個(gè)是判別模型D,對(duì)生成樣本的真實(shí)性進(jìn)行判別。模型G和D利用公式(2)所示的最大最小目標(biāo)函數(shù)進(jìn)行動(dòng)態(tài)博弈,交替訓(xùn)練,從而得到“以假亂真”的合成圖像。
其中,pdata(x)為訓(xùn)練數(shù)據(jù),z為服從分布p(z)隨機(jī)采樣的向量。
為了解決直接將GAN應(yīng)用于人臉老化合成帶來(lái)的網(wǎng)絡(luò)不穩(wěn)定、結(jié)果不收斂等問(wèn)題,Antipov等人[35]首先提出將生成模型G用于在要求年齡類別內(nèi)生成合成圖像。將GAN改進(jìn)為基于年齡條件的生成式對(duì)抗模型(Age-cGAN),保留原始人臉的身份信息,該模型需要解決每個(gè)圖像的L-BFGS算法優(yōu)化問(wèn)題,因此,該方法效率較低。Liu等人[36]提出了一種條件生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(C-GANs),將判別模型擴(kuò)展為年齡判別網(wǎng)絡(luò)Da和過(guò)渡模式判別網(wǎng)絡(luò)Dt,其中,年齡判別網(wǎng)絡(luò)與每個(gè)個(gè)體年齡組分布相關(guān)過(guò)渡模式判別網(wǎng)絡(luò)與相鄰兩個(gè)年齡組的過(guò)渡模式相關(guān),進(jìn)而增強(qiáng)生成圖像的真實(shí)性。
Wang等人[37]設(shè)計(jì)了一種保留身份的條件生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(IPCGANs)框架,包括條件生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)模型(CGAN)、身份保留模塊、年齡分類器三個(gè)模塊,在IPCGANs的目標(biāo)中引入了感知損失,可以有效保存身份信息。Yang等人[38]將CNN[39]用于生成模型的訓(xùn)練,并提出了一種金字塔結(jié)構(gòu)判別模型模擬高齡人臉特征,按照公式(3)和公式(4)對(duì)G模型和D模型交替訓(xùn)練。該方法對(duì)年齡跨度較大的人臉老化效果較好,年齡差低于30歲的老化效果較差。在此基礎(chǔ)上,他們加入條件年齡信息,將模型更新為包含中間老化狀態(tài)的漸進(jìn)式老化模式[40],進(jìn)一步細(xì)化面部年齡進(jìn)階和逆向合成過(guò)程。
Zeng等人[41]設(shè)計(jì)了一個(gè)基于單個(gè)生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)的FaceGAN訓(xùn)練架構(gòu),可以實(shí)現(xiàn)無(wú)監(jiān)督學(xué)習(xí),在判別模型中加入輔助多類分類器,引入了預(yù)先訓(xùn)練的深度人臉識(shí)別模型[42]和預(yù)先訓(xùn)練的深度年齡估計(jì)模型,更好地保留了人臉的身份信息和年齡相似性。Shi等人[43]將注意力模型引入人臉老化過(guò)程,構(gòu)建了CAN-GAN網(wǎng)絡(luò),并設(shè)計(jì)了有“貢獻(xiàn)”意識(shí)的年齡分類器(CAAC),為人臉向量分配不同的權(quán)重,提高分類器的能力,增強(qiáng)老化合成的效果,但是老化后人臉的年齡估計(jì)與真實(shí)年齡相差較大,年齡屬性的準(zhǔn)確性有待進(jìn)一步提高。
Palsson等人[44]提出了基于CycleGAN的模型來(lái)進(jìn)一步細(xì)化老化效應(yīng),利用周期一致性損失來(lái)保存身份信息。在此基礎(chǔ)上,Yang等人[45]針對(duì)不同性別老化模式存在差異的問(wèn)題,提出基于性別差異性的約束模型,用WGAN-GP替換了損失函數(shù),得到更真實(shí)的老化人臉。
Liu等人[46]針對(duì)兒童人臉生長(zhǎng)的特殊性,提出了兒童的人臉老化框架,將老化分為輪廓變化和紋理變化,分別設(shè)計(jì)幾何形變GAN(GD-GAN)和紋理變化GAN(TV-GAN)模擬兒童及青少年在成長(zhǎng)過(guò)程中的臉部變化。Fang等人[47]提出了三重生成式對(duì)抗神經(jīng)網(wǎng)絡(luò)(Triple-GAN),引入三重變換損失和增強(qiáng)型對(duì)抗損失,如圖4所示。使得不同年齡域之間的漸進(jìn)映射可以完全相關(guān),從而模擬年齡間的復(fù)雜相關(guān)性,改進(jìn)老化效果,該方法利用年齡估計(jì)值作為收斂條件,年齡表征準(zhǔn)確性高,但是面部個(gè)體信息損失較多,年齡識(shí)別準(zhǔn)確率較低。針對(duì)未成年的人臉老化問(wèn)題,Chandaliya等人[48]提出用自注意模塊(SAB)[49]學(xué)習(xí)兒童面部特征,建立多尺度GAN模型(SAMSP-GAN)。
圖4 Triple-GAN結(jié)構(gòu)圖Fig.4 Framework of Triple-GAN
由于GAN的生成模型是由隨機(jī)噪聲產(chǎn)生的,缺乏語(yǔ)義信息,另外有時(shí)會(huì)產(chǎn)生訓(xùn)練不穩(wěn)定、梯度消失、模式崩潰等問(wèn)題。因此有研究學(xué)者提出自編碼器(AE)[50]、對(duì)抗性自編碼器(AAE)[51]實(shí)現(xiàn)圖像合成,如圖5所示。編碼器學(xué)習(xí)將數(shù)據(jù)分布轉(zhuǎn)換為先驗(yàn)分布,解碼器學(xué)習(xí)得到深度生成模型。
圖5 AAE網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Structure of AAE network
Zhang等人[52]假設(shè)人臉建模于與年齡相關(guān)的高維流體上,提出了一種條件對(duì)抗性的自編碼器(CAAE),通過(guò)隱空間對(duì)人臉流形進(jìn)行學(xué)習(xí),從而實(shí)現(xiàn)平滑的年齡增長(zhǎng)和回歸,如圖6所示。但是由于訓(xùn)練鑒別器的表達(dá)能力不足,僅呈現(xiàn)老化過(guò)程中的粗糙皺紋,細(xì)節(jié)特征表現(xiàn)較差。Xiao等人[53]在CAAE結(jié)構(gòu)中加入性別分類器,并利用VGG[54]架構(gòu)最大化原始人臉和老化人臉的面部特征相似性,從而保留身份特征。
圖6 CAAE網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.6 Structure of CAAE network
由于深度學(xué)習(xí)對(duì)人臉隱性特征有較強(qiáng)的理解能力,對(duì)衰老過(guò)程有優(yōu)秀的擬合能力,基于深度學(xué)習(xí)的老化方法視覺(jué)效果明顯優(yōu)于其他方法,真實(shí)感得到有效提高。另外,不同層次的網(wǎng)絡(luò)設(shè)計(jì)也可以保留個(gè)體特征,用于跨年齡人臉識(shí)別。與基于傳統(tǒng)模型的老化方法相比,通過(guò)各類網(wǎng)絡(luò)結(jié)構(gòu)、合成方法,可以有效減少先驗(yàn)知識(shí)對(duì)構(gòu)建模型的影響,極大地?cái)U(kuò)大了人臉老化的應(yīng)用場(chǎng)景。另外,受神經(jīng)網(wǎng)絡(luò)強(qiáng)大學(xué)習(xí)能力的影響,基于深度學(xué)習(xí)的人臉老化方法不僅可以擬合低齡到高齡的衰老過(guò)程,也可以實(shí)現(xiàn)高齡到低齡的人臉逆生長(zhǎng)[55]。但是,當(dāng)前的老化合成方法對(duì)五官細(xì)節(jié)特征、面部邊緣融合效果較差,圖像分辨率也可以進(jìn)一步提高。由于人臉的屬性特征是相互糾纏的,改變局部特征會(huì)對(duì)其他面部特征產(chǎn)生影響,導(dǎo)致年齡估計(jì)與人臉識(shí)別的準(zhǔn)確率仍未同時(shí)達(dá)到高準(zhǔn)確率。
表1 總結(jié)梳理了當(dāng)前人臉老化方法的研究概況。可以看出:(1)基于原型的老化方法老化效果由原型決定,模型同化,缺少個(gè)體特征,但是算法相對(duì)簡(jiǎn)單,對(duì)面部的紋理變化表征較好,易于實(shí)現(xiàn);(2)基于傳統(tǒng)模型的老化方法按照不同的算法機(jī)制可以分為基于面部生理結(jié)構(gòu)、基于AAM模型和基于圖模型,該類方法在老化過(guò)程中可以保留一定的個(gè)體特征,除增加面部紋理外,實(shí)現(xiàn)面部輪廓、五官形狀的變化。但是模型復(fù)雜,跨年齡小的人臉老化效果較差;(3)基于深度學(xué)習(xí)的老化方法可以較好地保留個(gè)體特征,老化效果真實(shí),可以分為基于GAN和基于AEE兩類,對(duì)于兒童和成年人的人臉老化都有較好的效果,但是現(xiàn)有方法所生成的老化后人臉圖像用于人臉識(shí)別準(zhǔn)確率較低,基于人臉老化的跨年齡人臉識(shí)別方法有待進(jìn)一步改進(jìn)。
表1 人臉老化方法總結(jié)Table 1 Summary of face aging methods
人臉老化模型的準(zhǔn)確性評(píng)價(jià)、性能評(píng)價(jià)等是衡量老化算法優(yōu)劣的關(guān)鍵環(huán)節(jié)。不同的文獻(xiàn)中,評(píng)價(jià)方法不盡相同,暫未形成統(tǒng)一的評(píng)價(jià)體系。目前,常用的評(píng)價(jià)方法有外觀評(píng)價(jià)、年齡估計(jì)、身份保持評(píng)價(jià)等。
通過(guò)對(duì)合成圖像的直接展示,對(duì)老化后的人臉圖像整體及細(xì)節(jié)部分進(jìn)行視覺(jué)效果分析,如面部的皺紋變化、未成年的顱面生長(zhǎng)變化、五官的衰老特征及頭發(fā)顏色的變化等(如圖7所示),主要用于評(píng)價(jià)老化模式的真實(shí)性,包括本算法視覺(jué)效果分析和與其他算法的對(duì)比實(shí)驗(yàn)等。外觀評(píng)價(jià)直觀、清晰,是人臉老化模型的基礎(chǔ)評(píng)價(jià)方法,屬于定性評(píng)價(jià)。
圖7 外觀評(píng)價(jià)Fig.7 Appearance evaluation
另外,也可以利用數(shù)據(jù)集中的真實(shí)老化圖像,基于真實(shí)年輕圖像對(duì)合成老化圖像和真實(shí)老化圖像進(jìn)行比較評(píng)分[27]或判斷哪一張更可能是真實(shí)年輕圖像的老化圖像[9],從而對(duì)合成老化圖像進(jìn)行定量的外觀評(píng)價(jià)。
年齡估計(jì)是對(duì)合成后的圖像進(jìn)行年齡評(píng)估,從而分析合成的圖像是否能正確表現(xiàn)老化后的年齡,具體的估計(jì)方法主要包括兩大類:
第一類是通過(guò)志愿者對(duì)合成后人臉的年齡進(jìn)行估計(jì)[7,36-37,44],與老化后的實(shí)際年齡進(jìn)行比較,評(píng)價(jià)老化模型對(duì)年齡表現(xiàn)的準(zhǔn)確性。這種估計(jì)方法主觀性強(qiáng),受志愿者人數(shù)、年齡評(píng)估能力、人臉?lè)直婺芰τ绊戄^大,對(duì)非志愿者本種族的年齡估計(jì)誤差較大。
第二類是利用已有的人臉識(shí)別方法。在深度學(xué)習(xí)方法快速發(fā)展后,年齡估計(jì)算法也日漸成熟和穩(wěn)定,使用成熟的年齡估計(jì)算法(軟件)如Face++[37-38,43,46,52,55-56]、百度人臉識(shí)別平臺(tái)[46]等對(duì)老化后的人臉進(jìn)行年齡估計(jì),并與老化模型中設(shè)置的老化年齡參數(shù)進(jìn)行比較,評(píng)價(jià)老化算法表現(xiàn)年齡的準(zhǔn)確性和魯棒性。
如表2所示,以使用MORPH數(shù)據(jù)集的老化方法為例,將老化后的年齡分為31~40、41~50、51~60三個(gè)年齡區(qū)間,利用Face++對(duì)老化合成后的人臉進(jìn)行年齡估計(jì),計(jì)算合成老化后的年齡估計(jì)值與實(shí)際老化年齡的差值的平均值(表中“平均年齡差”),可以直觀地表現(xiàn)出不同算法對(duì)不同年齡段的老化效果。
表2 人臉老化方法的年齡估計(jì)誤差Table 2 Age estimation error of face aging methods
通過(guò)對(duì)比老化合成圖像與原始圖像、不同年齡的老化合成圖像、老化合成圖像與真實(shí)老化圖像,評(píng)估老化方法對(duì)人臉圖像中身份信息的保持情況。可以通過(guò)主觀評(píng)價(jià)[45]和成熟的人臉比對(duì)算法(軟件)如Face++[38,43,46-47,55]、Open AI[37]、Open Face[35]等對(duì)人臉圖像進(jìn)行相似度評(píng)價(jià)。
如表3所示,以使用MORPH數(shù)據(jù)集的老化方法為例,將老化后的年齡分為31~40、41~50、51~60三個(gè)年齡區(qū)間,利用Face++對(duì)老化合成后的人臉和原始圖像進(jìn)行驗(yàn)證,其中Face++的閾值為76.5,F(xiàn)AR為10-5。
表3 人臉老化方法的身份保持評(píng)價(jià)結(jié)果Table 3 Face verification results of face aging methods
由于大部分?jǐn)?shù)據(jù)庫(kù)中缺少真實(shí)老齡人臉圖像,當(dāng)前的絕大部分文獻(xiàn)只對(duì)身份保持評(píng)價(jià)中的前兩項(xiàng)或其中一項(xiàng)進(jìn)行相似度比較,對(duì)于老化合成圖像和真實(shí)老化圖像的評(píng)價(jià)方法使用得較少。
由于無(wú)法有效評(píng)價(jià)人臉老化模型身份保持的準(zhǔn)確性,現(xiàn)有方法雖然可以得到較好的視覺(jué)效果,但是仍停留在理論研究階段,很難直接應(yīng)用于犯罪長(zhǎng)期在逃人員、長(zhǎng)期失蹤兒童的人臉識(shí)別中。
MORPH數(shù)據(jù)集是2003年至2007年之間收錄的67 600個(gè)個(gè)體在不同年齡段的402 055張人臉圖像[58],如圖8所示,主要為標(biāo)準(zhǔn)條件下拍攝的正面免冠人臉圖像,無(wú)遮擋、光照條件和面部表情相似,廣泛應(yīng)用于年齡估計(jì)[59-60]、人臉老化等領(lǐng)域。
圖8 MORPH數(shù)據(jù)集示例Fig.8 Example of MORPH dataset
該數(shù)據(jù)集包含年齡、性別、種族等標(biāo)簽信息,如表4、表5所示。數(shù)據(jù)集的年齡從16歲至77歲,范圍較大,但是多集中于中青年階段,未成年和老年的人臉圖像較少。另外,受收集時(shí)間的限制,個(gè)體的年齡變化最多為4.6年,年齡跨度較小,老化特征變化不明顯。在種族屬性方面,主要是非洲人和歐洲人,亞洲人的人臉圖像較少。
表4 MORPH數(shù)據(jù)集的圖像數(shù)據(jù)統(tǒng)計(jì)Table 4 Image data statistics in MORPH dataset
表5 MORPH數(shù)據(jù)集的個(gè)體數(shù)據(jù)統(tǒng)計(jì)Table 5 Individual data statistics in MORPH dataset
跨年齡名人數(shù)據(jù)集(Cross-Age Celebrity Dataset,CACD)是從互聯(lián)網(wǎng)上收集的2 000位明星的163 446張圖像[61],數(shù)據(jù)集中每張圖像提供了16個(gè)人臉關(guān)鍵點(diǎn)的標(biāo)注信息,年齡范圍從16歲至62歲,如圖9所示,包含個(gè)體不同年齡、光照環(huán)境、表情和角度的人臉圖像,主要用于年齡估計(jì)[62]、跨年齡的人臉識(shí)別和檢索。
圖9 CACD數(shù)據(jù)集示例Fig.9 Example of CACD dataset
該數(shù)據(jù)集中大部分圖像都是化妝后的人臉圖像,對(duì)年齡估計(jì)、老化特征提取與分析等造成一定影響。數(shù)據(jù)集中的個(gè)體年齡跨度較大,同一個(gè)體不同年齡的人臉圖像相對(duì)較多,但是個(gè)體的年齡是通過(guò)網(wǎng)絡(luò)檢索得到的拍攝日期減去出生日期估算得到的,年齡標(biāo)簽存在誤差。
FG-Net數(shù)據(jù)集[4]包含82個(gè)個(gè)體在不同年齡段的1 002張圖像,且每幅圖像中包含68個(gè)人臉關(guān)鍵點(diǎn)信息,年齡范圍從0歲到69歲,如圖10所示,為同一個(gè)體在不同年齡階段的拍攝的人臉圖像,常用于年齡估計(jì)[63]、跨年齡人臉識(shí)別、年齡變化推演[64]等。
圖10 FG-Net數(shù)據(jù)集示例Fig.10 Example of FG-Net dataset
數(shù)據(jù)集來(lái)源于舊照片掃描,圖像分辨率和清晰度不穩(wěn)定,存在黑白圖像,且圖像背景、色調(diào)、光照強(qiáng)度上都存在較大差異。該數(shù)據(jù)集中,87.13%的圖像為30歲以下的人臉圖像,70%以上的個(gè)體包含低齡照片,適用于低齡的跨年齡人臉識(shí)別和年齡估計(jì)研究。另外,數(shù)據(jù)集中的個(gè)體絕大部分為白種人,缺少其他種族的跨年齡人臉圖像。
IMDB-WIKI數(shù)據(jù)集[65]是目前規(guī)模最大的跨年齡數(shù)據(jù)集之一,分為IMDN數(shù)據(jù)集和Wikipedia數(shù)據(jù)集兩部分,分別從互聯(lián)網(wǎng)電影資料庫(kù)(Internet Movie Database,IMDB)網(wǎng)站和維基百科網(wǎng)站上獲取得到,其中,IMDB數(shù)據(jù)集包含20 284位明星的460 723張圖像,Wikipedia數(shù)據(jù)集包含這些名人的62 328張圖像,一共523 051張人臉圖像。年齡范圍從0至119歲,如圖11所示,人臉圖像標(biāo)注有性別、年齡等標(biāo)簽信息,包括不同人數(shù)、遮擋、姿態(tài)、光照、背景、表情等情形,可以用于年齡估計(jì)[66]、性別識(shí)別[67]、人臉老化等研究。
圖11 IMDB-WIKI數(shù)據(jù)集示例Fig.11 Example of IMDB-WIKI dataset
該數(shù)據(jù)集中的人臉圖像大部分是化妝后圖像,會(huì)影響年齡估計(jì)、人臉老化的準(zhǔn)確性。人臉圖像中的年齡信息通過(guò)圖像拍攝時(shí)間戳和出生日期估算得到,由于數(shù)據(jù)集標(biāo)注過(guò)程是自動(dòng)處理的,因此標(biāo)注一般質(zhì)量不高,且年齡信息存在錯(cuò)誤內(nèi)容,訓(xùn)練前需要過(guò)濾錯(cuò)誤信息。
UTKFace數(shù)據(jù)集是從互聯(lián)網(wǎng)獲取的23 708張人臉圖像,年齡范圍從0歲至116歲,如圖12所示。每張圖像有68個(gè)標(biāo)注點(diǎn),標(biāo)注有年齡、性別、種族等信息。包括不同的姿勢(shì)、面部表情、光照、遮擋等,可以用于年齡估計(jì)[68]、人臉老化、種族識(shí)別[69]等研究。
圖12 UTKFace數(shù)據(jù)集示例Fig.12 Example of UTKFace dataset
該數(shù)據(jù)集中包含已經(jīng)剪裁、對(duì)齊的人臉圖像,年齡、種族、性別等信息是通過(guò)DEX算法估計(jì)得出,存在一定誤差。另外,該數(shù)據(jù)集主要按照年齡屬性進(jìn)行分類,缺少個(gè)人信息,無(wú)法獲取個(gè)體的年齡跨度信息。
對(duì)上述跨年齡數(shù)據(jù)集及其在基于人臉老化的跨年齡人臉識(shí)別算法中的使用情況進(jìn)行比較和分析,如表6、表7所示。MORPH數(shù)據(jù)集和IMDB-WIKI數(shù)據(jù)集在個(gè)體數(shù)和人臉圖像數(shù)量上有一定的優(yōu)勢(shì),IMDB-WIKI數(shù)據(jù)集和UTKFace數(shù)據(jù)集的年齡范圍較大,而FG-Net數(shù)據(jù)集中個(gè)體的年齡跨度較大,且包含未成年人的臉部圖像,對(duì)于研究?jī)和娜四樌匣休^好的作用。
表6 跨年齡人臉圖像數(shù)據(jù)集的對(duì)比Table 6 Comparison of cross-age face image datasets
表7 數(shù)據(jù)集在文獻(xiàn)中的使用情況Table 7 Use of datasets in literature
其中,CACD數(shù)據(jù)集和IMDB-WIKI數(shù)據(jù)集是網(wǎng)絡(luò)獲取的圖像,個(gè)體年齡通過(guò)網(wǎng)絡(luò)信息估算得到,誤差較大,另一方面,這兩個(gè)數(shù)據(jù)集都是以明星為主,照片大部分為劇照、采訪照、寫(xiě)真照等,圖像質(zhì)量參差不齊,且化妝效果、表情都會(huì)對(duì)普通人臉老化的模擬產(chǎn)生影響。MORPH數(shù)據(jù)集雖在數(shù)量上有一定的優(yōu)勢(shì),但是年齡跨度太小,對(duì)于人臉老化的進(jìn)程研究作用較小。FG-Net數(shù)據(jù)集的個(gè)體數(shù)和圖像數(shù)較少,用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練容易產(chǎn)生較大的偏移。UTKFace數(shù)據(jù)集中的個(gè)體雖然年齡范圍較大,但是由于缺乏個(gè)體信息,無(wú)法得到個(gè)體隨年齡變化的臉部特征。另外,這些數(shù)據(jù)庫(kù)絕大多數(shù)的個(gè)體都是歐洲裔和非洲裔,缺少亞洲跨年齡人臉圖像。
作為跨年齡人臉識(shí)別中的重要部分之一,人臉老化研究取得了相當(dāng)?shù)倪M(jìn)展,但是另一方面,對(duì)于實(shí)際應(yīng)用,尤其是犯罪長(zhǎng)期在逃人員、長(zhǎng)期失蹤兒童的人臉識(shí)別等問(wèn)題,仍然存在現(xiàn)有數(shù)據(jù)不充分、評(píng)價(jià)體系不完整、實(shí)際應(yīng)用難實(shí)現(xiàn)、方法待改進(jìn)等問(wèn)題。因此,未來(lái)研究可以考慮以下幾個(gè)方面:
(1)建立人臉老化數(shù)據(jù)集
數(shù)據(jù)集的數(shù)量和質(zhì)量對(duì)于深度學(xué)習(xí)模型訓(xùn)練有著非常重要的作用,人臉老化研究的關(guān)鍵在于分析個(gè)體在不同年齡段的臉部特征變化。當(dāng)前的數(shù)據(jù)集都不能完全滿足這一條件。其次,當(dāng)前的可以用于人臉老化研究的數(shù)據(jù)集中亞洲人(尤其是中國(guó)人)的數(shù)據(jù)較少。未來(lái),建立隨年齡(年齡段)連續(xù)變化的人臉圖像數(shù)據(jù)集將是跨年齡人臉識(shí)別研究的首要任務(wù)。
(2)降低老化模型數(shù)據(jù)依賴
當(dāng)前,跨年齡數(shù)據(jù)集的不完備性大大影響了基于人臉老化的跨年齡人臉識(shí)別技術(shù)發(fā)展,在隨年齡連續(xù)性變化人臉樣本圖像較少的情況下,改進(jìn)現(xiàn)有基于深度學(xué)習(xí)的人臉老化方法,減少老化模型對(duì)數(shù)據(jù)依賴,將弱監(jiān)督[70-71]、自監(jiān)督[72-73]學(xué)習(xí)方法融入深度學(xué)習(xí)網(wǎng)絡(luò)中,利用現(xiàn)有的小樣本數(shù)據(jù)得到更為真實(shí)、準(zhǔn)確的人臉老化模型,從而達(dá)到智能學(xué)習(xí)的目的。
(3)考慮群體特征與個(gè)體特征差異
現(xiàn)有研究在實(shí)際中應(yīng)用較少,是因?yàn)橐蕾嚿赡P偷娜四樌匣瘜?shí)質(zhì)上是對(duì)低齡人臉的重新生成[74],當(dāng)前的人臉老化模型大都是研究人類衰老過(guò)程的一般規(guī)律(即群體特征),個(gè)體老化特征考慮較少,會(huì)導(dǎo)致老化后的人臉損失個(gè)人身份信息,降低跨年齡人臉識(shí)別準(zhǔn)確率。為解決這一問(wèn)題,可以引入注意力機(jī)制[75],利用群體特征和個(gè)體特征的權(quán)重設(shè)置和定向?qū)傩孕薷?,?shí)現(xiàn)對(duì)老化屬性特征的進(jìn)一步細(xì)化控制,提高老化模型真實(shí)性的同時(shí),保留個(gè)體特征,提高跨年齡識(shí)別的準(zhǔn)確率。
(4)三維人臉老化研究
老化后的人臉三維模型比二維更加直觀,特征也更加豐富,融合二維圖像和三維數(shù)據(jù)的人臉識(shí)別結(jié)果明顯優(yōu)于僅使用單模態(tài)數(shù)據(jù)的識(shí)別結(jié)果[76],對(duì)于多姿態(tài)的跨年齡人臉識(shí)別有著更重要的作用。雖然,三維人臉合成技術(shù)已經(jīng)有了一定的研究成果[77-78],但是三維人臉老化過(guò)程中涉及的面部輪廓變化、不同角度的皮膚紋理、為表現(xiàn)立體感而引入的渲染與重光照步驟以及維度增加導(dǎo)致的數(shù)據(jù)量增長(zhǎng),都會(huì)提高模型的復(fù)雜度和數(shù)據(jù)訓(xùn)練的難度,是未來(lái)待解決的重要問(wèn)題之一。