曹 猛, 田 青, 馬廷淮 , 陳松燦

1(南京信息工程大學 計算機與軟件學院,江蘇 南京 210044)

2(南京航空航天大學 計算機科學與技術(shù)學院,江蘇 南京 210016)

近年來,在計算機視覺與模式識別等領(lǐng)域,人臉相關(guān)研究得到了越來越多的關(guān)注.這主要由于人臉擁有豐富且穩(wěn)定的特征信息,且易于被攝像頭等儀器捕捉,進而被廣泛應(yīng)用于人機交互[1]、智能消費推薦[2,3]、訪問控制[4-6]和輔助身份識別[1,7]等領(lǐng)域.

當前,人臉屬性估計相關(guān)工作主要集中在人種估計、性別識別、年齡估計等幾個方面.在相關(guān)研究方向上,分別已有大量工作被提出.例如,文獻[8,9]利用集成學習進行人種分類估計;文獻[10-25]借助貝葉斯分類器和SVM分類器等進行人臉性別識別;文獻[26-61]將人類年齡估計分別視為分類問題、回歸問題或者混合問題進行研究;文獻[62]基于字典學習進行人臉老化合成研究等.然而,相關(guān)研究[26,63-65]表明,不同面部屬性之間存在關(guān)聯(lián)性影響,并且某一屬性估計受到其他屬性的影響.因此,依據(jù)是否考慮人臉不同屬性之間的內(nèi)在關(guān)聯(lián)和影響,本文將現(xiàn)有人臉面部屬性研究工作劃分為兩大類,如圖 1所示:一是未考慮不同屬性間關(guān)聯(lián)影響的獨立屬性估計方法,這與樸素貝葉斯理論[66]中不考慮屬性間關(guān)聯(lián)、獨立對待不同屬性的假設(shè)相類似,因此本文稱其為樸素的(na?ve)方法;二是考慮并利用不同屬性之間關(guān)聯(lián)影響的屬性估計方法(例如,男女之間存在老化差異,該差異會對人類面部年齡估計準確性產(chǎn)生影響[26]),在建模估計面部屬性時,考慮面部其他屬性對當前屬性估計的影響,能夠更好地迎合人臉屬性演化的自然規(guī)律,因此,本文將該類方法稱為自然的(natural)方法.

盡管目前已有大量的人臉屬性估計相關(guān)工作被提出,然而研究者們通?；?FG-NET[6]、Morph[3]、Adience[67]、CACD 2000[68]等單一數(shù)據(jù)集進行研究.而單一的相關(guān)數(shù)據(jù)集普遍存在屬性標記不完備(如FG-NET、CACD 2000僅有年齡標簽)、樣本缺失(如Morph樣本的年齡標記空間為16歲～77歲,缺少0～15歲樣本)、樣本不均衡(如Morph含有55 000多張人臉樣本,其中男性樣本占84.6%;黑種人與白種人樣本占總體的96.4%,黃種人與其他人種僅占 3.6%)等固有缺陷,這將嚴重影響屬性估計器的識別準確性,并限制其泛化性能.因此,可基于多屬性跨庫標記以擴充訓練數(shù)據(jù)集,并構(gòu)建人臉年齡、性別和人種等多屬性聯(lián)合估計模型,探索屬性之間和屬性內(nèi)在的關(guān)聯(lián),以實現(xiàn)更可靠的屬性聯(lián)合估計算法.

本文第1節(jié)總結(jié)并分析樸素的人臉年齡、性別、人種等面部屬性估計相關(guān)工作.第2節(jié)回顧自然的人臉年齡、性別和人種等面部屬性識別相關(guān)工作.第3節(jié)探索未來的面部屬性估計研究方向.最后,對本文進行總結(jié).

1 樸素的人臉面部屬性識別

本節(jié)主要回顧樸素的人臉年齡、性別、人種等面部屬性識別相關(guān)工作,即完全不考慮屬性間關(guān)聯(lián)影響的單一屬性識別.

1.1 人種分類

人種分類(race classification,簡稱 RC),顧名思義是對給定的人臉圖像識別出其屬于哪一類人種,例如白種人、黑種人、黃種人等人種類型,如圖2所示.

相對于性別和年齡屬性,人臉人種估計相關(guān)工作較少.代表性工作如下.

(1) 文獻[8,9],對于給定的人臉圖像,先抽取 Haar-like特征(簡單來看,該特征反映了圖像的灰度變化情況,能夠描述簡單的圖形結(jié)構(gòu),對邊緣與線段較為敏感),然后采用Adaboost集成分類器進行人種估計,并在FERET等人臉數(shù)據(jù)集上獲得了較好的人種分類結(jié)果.

(2) 文獻[72],首先提取灰度圖像的人臉外觀特征,然后使用多尺度描述算子提取人臉特征,并利用主成分分析(principal component analysis,簡稱PCA)進行特征降維,最后借助線性判別分析(linear discriminant analysis,簡稱LDA)實現(xiàn)測試人臉的人種分類.

1.2 性別識別

所謂性別識別(gender recognition,簡稱GR),即對給定的人臉圖像估計判斷其為男性還是女性,如圖3所示.

不同于RC的多分類問題,人臉性別估計為二值分類問題(非男即女).其代表性實現(xiàn)方法總結(jié)如下.

(1) 貝葉斯分類器(Bayesian).文獻[10,11]先將給定人臉圖像分割成多塊互不重疊的網(wǎng)格塊,然后通過學習出來的公共數(shù)據(jù)庫L獲取相似網(wǎng)絡(luò)塊表示,最后使用這些相似網(wǎng)格塊進行后驗概率估計,獲得性別估計結(jié)果.

(2) 支持向量機(SVM)分類.文獻[12-17]首先提取臉部特征,經(jīng)過降維獲取主要面部特征,最后使用SVM分類器得到性別識別結(jié)果.其中,文獻[13,14]直接借助線性 SVM 分類器;為應(yīng)對人臉樣本的線性不可分問題,文獻[12]采用高斯徑向基函數(shù)(radial basis function,簡稱RBF)核化的非線性SVM進行人臉性別分類;并且,為了更好地融合利用人臉不同部件的語義判別信息,文獻[15-17]通過集成頭部、面部、眼部和嘴(如圖4所示)等不同部位的性別識別結(jié)果,以得到最終的性別識別結(jié)果.

(3) 貝葉斯與 SVM 融合分類.為應(yīng)對復(fù)雜的人臉獲取環(huán)境并充分利用人臉區(qū)域的特有信息,文獻[18]提出人臉多區(qū)域SVM性別識別融合的GR.其算法流程如圖5所示,通過貝葉斯準則(見公式(1))融合人面部不同區(qū)域的決策結(jié)果獲取GR.

其中,PFP和PFN分別表示分類器判別當前樣本為女性的正確概率和錯誤概率,δ(x)表示當x為0時,函數(shù)值為1,反之為0.

(4) 決策樹.為挖掘利用三維人臉的空間分布信息,文獻[19]首先提取人臉的三維梯度和空間距離信息,然后利用隨機森林(random forset)法對提取的面部特征進行性別分類.

(5) 極速學習機.文獻[20]采用極速學習機(extreme learning machine,簡稱ELM)構(gòu)建性別分類網(wǎng)絡(luò).與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)不同,ELM不需要迭代地調(diào)整學習參數(shù),在設(shè)定好網(wǎng)絡(luò)結(jié)構(gòu)后,僅需隨機初始化輸入層到隱藏層的權(quán)值,隱藏層到輸出層的權(quán)值即可直接解出,進一步提高了人工神經(jīng)網(wǎng)絡(luò)的訓練效率.典型的ELM由輸入層、隱藏層、輸出層構(gòu)成,其網(wǎng)絡(luò)輸出可表示為

其中,W1表示輸入向量到隱藏節(jié)點層的隨機權(quán)重矩陣,σ表示激活函數(shù),W2為隱藏節(jié)點層到輸出向量的權(quán)重矩陣,Ypredict表示網(wǎng)絡(luò)的預(yù)測輸出.當W1隨機初始化后,W2可由最小二乘法計算得出(見公式(4)、公式(5)).

其中,Yreal表示期望輸出,σ(W1X)+表示矩陣的Moore-Penrose廣義逆.

(6) 神經(jīng)網(wǎng)絡(luò).鑒于深度卷積學習(convolutional neural network,簡稱CNN)在計算機視覺等領(lǐng)域的成功應(yīng)用,研究人員開始將CNN用于性別識別之中.為此,文獻[21-25]首先提取歸一化的人臉樣本集,然后借助CNN提取人臉語義表示并采用“端-端(end-to-end)”學習方式訓練性別分類器,在 Morph等人臉數(shù)據(jù)庫上獲得了更準確的GR結(jié)果.其流程如圖6所示.

1.3 年齡估計

所謂年齡估計(age estimation,簡稱AE),就是根據(jù)給定的人臉圖像估計其年齡值(或年齡范圍),如圖7所示.

截止目前,已有大量AE工作被提了出來.依據(jù)這些工作的方法類型,本文將其歸納為基于分類的AE、基于回歸的AE、基于分類與回歸混合的AE這3種類型.

1.3.1 基于分類的AE

若將年齡(諸如0歲、5歲、23歲等)看成互不相關(guān)的離散類,則AE可視為多分類問題.

年齡相關(guān)特征表示在 AE中的利用.文獻[35,36]分別采用非負矩陣分解(構(gòu)建圖像局部信息)和獨立成分分析(獲取圖像本質(zhì)結(jié)構(gòu)特征)的方法,構(gòu)造低維子空間獲取人臉特征,然后采用淺層神經(jīng)網(wǎng)絡(luò)作為年齡估計器進行 AE.隨后,文獻[26-34]將更豐富的特征描述方法應(yīng)用至 AE當中,主要包括主動外觀模型(active appearance model,簡稱AAM)、生物啟發(fā)特征(bio-inspired feature,簡稱BIF)、局部二值模式(local binary pattern,簡稱LBP)等,然后借助SVM進行年齡分類.

然而,上述研究方法僅將年齡看作是互不相關(guān)的離散類,并沒有將年齡的有序信息(例如,20歲大于10歲,卻小于25歲)考慮其中.

考慮年齡有序性的 AE.文獻[37]提出了一種 LBP特征的代價敏感版本(cost-sensitive local binary feature learning,簡稱 CS-LBPL),將代價敏感學習融入 LBP特征當中,然后使用超平面序列排序器(ordinal hyperplanes ranker,簡稱 OHRanker)借助年齡的有序性進行 AE分類估計.與文獻[37]相異,文獻[73]考慮直接在特征上利用年齡的有序性,該文作者提出一種用于保持人臉圖像局部流型結(jié)構(gòu)與年齡間序列特性的特征提取方法,具體模型見公式(6).

其中,M表示原始圖像特征維度,d表示獲取后的特征子空間維度,yu表示是否利用原始特征中的第u維特征.在公式(6)中,第1項用于獲取人臉圖像的局部流型結(jié)構(gòu)信息(用來刻畫M維原始特征各自的權(quán)重),第2項用于保持年齡間的有序信息(利用wu維護),超參數(shù)α用于平衡兩種信息之間的重要程度.通過最大化這一模型,可以獲得一個較小維度的既保持序列信息又保有面部局部的流型結(jié)構(gòu),同時也保持了人臉特征子空間的相對完整性,最后通過該特征子空間,借助OHRanker獲取AE結(jié)果.

考慮年齡近鄰相似性的 AE.年齡屬性不僅具有序列性,同時還具有近鄰相似性.如圖 7所示,對于同一個人的人臉圖像,18歲時,與其 16歲和 20歲時的面部較為相似.為此,文獻[38]提出采用標記分布學習(label distribution learning,簡稱LDL)方法刻畫年齡屬性的近鄰相似特性.對于年齡標記,LDL并不認為其為單一的標簽,而是將其轉(zhuǎn)成一個標記分布向量(包含臨近年齡的描述度),并將標記分布向量作為訓練集中的類別信息.例如,20歲的年齡圖像同樣也可以作為標記為21歲的樣本,只是描述度相比描述20歲時要低,即真實年齡的描述度最高.當前樣本輔助描述(標記)的年齡距離真實年齡越遠,描述度越低,且所有描述度之和為 1.文獻[38]通過條件概率假設(shè),利用最大熵模型來構(gòu)建映射關(guān)系,采用KL散度作為衡量預(yù)測分布和真實分布距離的損失函數(shù),獲得了比較好的效果.然而,這些年齡標簽分布需要基于某些先驗假設(shè)從訓練樣本中獲得,年齡近鄰關(guān)系的描述必然不是十分準確的.同時,由于人類各階段年齡變化速度不同,各年齡階段相似度描述也就相異(如圖 8所示),文獻[39]提出一種自適應(yīng)版本的LDL(adaptive label distribution learning,簡稱ALDL)來解決上述問題.鑒于文獻[38]使用固定的標記分布以及文獻[39]對于不同樣本集分布描述不靈活的缺陷,文獻[74]提出基于數(shù)據(jù)依賴的標記分布算法.

同時利用年齡有序性和近鄰相似性的 AE.為建模利用年齡類的有序性和近鄰相似性,文獻[42]利用馬氏距離度量,構(gòu)建了如下度量目標函數(shù),以學習有序度量空間來實現(xiàn)AE:

跨庫年齡類別互補的 AE.為解決單一年齡庫存在部分年齡樣本不完備的問題(即某些年齡類別無對應(yīng)訓練樣本),文獻[44]嘗試跨越多個年齡數(shù)據(jù)庫構(gòu)建混合表示空間(如圖 9所示),利用典型相關(guān)分析(canonical correlation analysis,簡稱 CCA)合并樣本空間,并在所得樣本表示空間通過樣本聯(lián)合表示構(gòu)建年齡估計器,并實驗驗證了其優(yōu)越性.

借助深度神經(jīng)網(wǎng)絡(luò)的AE.近年來,深度學習在計算機視覺、模式識別等領(lǐng)域得到大量成功的應(yīng)用.相較于以上傳統(tǒng)方法將特征表示(feature representation)與目標決策(decision making)分離學習的模式,深度學習通常以end-to-end學習方式將二者融合到一起同時進行學習,并可在特定任務(wù)上取得更優(yōu)的性能.受此啟發(fā),文獻[75-78]等借助CNN或VGG網(wǎng)絡(luò)抽取圖像特征,然后采用Softmax函數(shù)等分類方法預(yù)測年齡實現(xiàn)AE.其中,文獻[75,76]采用較深的 VGG-16網(wǎng)絡(luò)結(jié)構(gòu)以獲取更高維的特征表示.為防止訓練過擬合,同時也為了利用年齡屬性間的近鄰關(guān)系,文獻[40,41]借助高斯分布生成年齡分布標記,并采用IMDB-WIKI數(shù)據(jù)集微調(diào)網(wǎng)絡(luò)以獲取更好的泛化能力.

1.3.2 基于回歸的AE

基于分類的AE方法將不同的年齡模式視作相互獨立的普通的多類問題進行處理,然而人臉面部老化是一個連續(xù)和漸變的過程.因此,將 AE視作連續(xù)的回歸問題加以處理似乎更為合理.為此,文獻[13,45-51]嘗試從人臉圖像中提取不同的特征表示,然后借助回歸器(如支持向量回歸,SVR)進行年齡回歸預(yù)測.其中,文獻[45]采用先提取人臉不同區(qū)域的特征,然后借助貝葉斯準則融合特征以獲取分層的人臉特征表示,如圖10所示.

文獻[47,49,51]采用多元嶺回歸模型(multi-ridge regression,簡稱mRR)來擬合年齡回歸函數(shù).mRR優(yōu)化目標如下所示:

其中,yi表示期望輸出,W表示投影矩陣,b表示偏置項.在公式(8)中,第1項用于估計擬合損失,第2項用于控制模型復(fù)雜度,當λ取 0時,模型退化為普通的最小二乘線性回歸問題.然而,文獻[52-54]認為,相對于線性回歸模型,二次回歸模型具有更好的年齡估計擬合能力,并通過如下優(yōu)化目標實現(xiàn)對年齡估計器f(xi)的學習:

其中,f(xi)=α0+α1Txi+α2Txi2表示二次年齡回歸模型(αi表示回歸系數(shù)),yi表示真實年齡標簽.

文獻[55]認為:(1) 人臉老化模式不可控;(2) 存在個人因素;(3) 人臉老化模式是隨時間而變化的.基于以上考慮,文獻[55]將人臉按時間順序排列構(gòu)建年齡模式空間(aging pattern subspace,簡稱AGES)(如圖11所示).鑒于所用數(shù)據(jù)庫中每個個體年齡標記存在部分缺失的問題,該文作者提出一種編碼再解碼的方式重建缺失的年齡模式,并構(gòu)建年齡模式空間進行 AE.具體來說,使用相同年齡圖像均值初始化缺失部分xl,并與已存在部分xa用PCA降維后,再重新變換回原始空間,利用重建后的xanew與xa進行誤差估計;反復(fù)上述過程,直至重建誤差低于預(yù)定值.

文獻[56]為了保證局部語義相似,借助馬氏距離度量,重新調(diào)整同一鄰域內(nèi)樣本對的距離,同時擴大鄰域外部的樣本距離,構(gòu)建空間度量模型mkNN,并將其用于AE度量.mkNN目標函數(shù)如下:

文獻[47]為利用年齡類的有序性和近鄰相似性,將累積屬性編碼(cumulative attribute coding,簡稱CA)融入mRR模型當中,保證人臉的累積變化特性.其中,CA編碼的編碼長度與當前所有樣本的最大年齡相關(guān)(如,最大年齡為100歲,編碼長度為101),具體表示為

其中,y表示樣本年齡,li表示第i位編碼.為利用CA編碼間的關(guān)系,文獻[49]借助差分運算將CA編碼的0階關(guān)系與1階關(guān)系融入年齡估計模型,獲得了性能更優(yōu)的AE結(jié)果.

在深度學習方面,文獻[79]在CNN網(wǎng)絡(luò)中融入有序回歸思想,在Morph II數(shù)據(jù)集上取得較好的AE結(jié)果.文獻[71]借助同一網(wǎng)絡(luò)模型主體架構(gòu),對比了5種方案在AE問題上的識別性能,發(fā)現(xiàn)基于拉普拉斯損失的回歸型方法略優(yōu)于其他對比方法.這 5種方案分別為基于交叉熵損失的分類型方法(分別采用 One-Hot編碼和LDL編碼兩種標號編碼方式)、基于最小平方損失和基于拉普拉斯損失的回歸型方法以及基于有序損失的回歸型方法.與此同時,文獻[69]在CNN網(wǎng)絡(luò)中借助CA編碼的累積特性以解決訓練樣本類分布不均衡問題,提出采用對比信號來刻畫人臉有序性以增強特征表示的判別能力,并構(gòu)建 D2C網(wǎng)絡(luò)實現(xiàn) AE.D2C網(wǎng)絡(luò)結(jié)構(gòu)如圖12所示.

其中,CRL(comparative ranking layer)用于學習樣本的排列函數(shù)f(即若輸入樣本xi年老于xj,則f(φi)＞f(φj),φi與φj分別表示樣本i,j的特征向量).D2C網(wǎng)絡(luò)整體損失函數(shù)定義為

其中,α與β為超參數(shù),第1項對應(yīng)年齡預(yù)測的損失項,第2項對應(yīng)CA編碼損失,第3項輔助約束樣本排序.文獻[69]認為,年齡的有序性比單一的年齡標簽信息更加穩(wěn)定.更為重要的是,通過CRL構(gòu)建樣本的序列關(guān)系可實現(xiàn)重復(fù)利用訓練樣本,以減緩樣本類不均衡的狀況.

1.3.3 基于分類與回歸混合的AE

為了獲得性能更優(yōu)的年齡估計器,文獻[48,57-61]采用分類和回歸相結(jié)合的策略實現(xiàn) AE.其中,文獻[61]認為,SVR回歸預(yù)測年齡不精確,僅能預(yù)測全局的老化趨勢(如圖 13(a)所示).為此,該文提出借助局部調(diào)整策略來構(gòu)建LARR(locally adjusted robust regressor)估計器,并利用其在測試人臉樣本上進行年齡識別.具體而言,采用局部偏移(如圖13(b)所示)策略,使得預(yù)測年齡ypredict更接近真實年齡yreal(即期望yreal∈[ypredict-d,ypredict+d]);為了獲取每類偏移方向,文獻[61]還采用二叉樹構(gòu)造多分類SVM進行最后的決策.之后,很多對LARR的改進工作被提了出來,如文獻[60]將流型學習融入LARR;文獻[59]對LARR進行了概率化擴展,并在UIUC-IFP-Y等數(shù)據(jù)集上取得了比LARR更優(yōu)的AE識別結(jié)果.在深度學習方面,文獻[57]采用CNN和LDL分別對人臉圖像進行特征表示與年齡編碼,通過集成兩套網(wǎng)絡(luò)(一套基于分類、一套基于回歸)的預(yù)測結(jié)果實現(xiàn)AE.

1.4 性能對比

本節(jié)通過列表對比形式對有代表性的人臉單一屬性估計工作給出總結(jié)性性能對比.具體見表1.

Table 1 Summary and comparison of na?ve-group human facial attributes estimation techniques on different databases表1 在不同數(shù)據(jù)集上的人臉單一屬性估計方法的對比與總結(jié)

Table 1 Summary and comparison of na?ve-group human facial attributes estimation techniques on different databases (Continued)表1 在不同數(shù)據(jù)集上的人臉單一屬性估計方法的對比與總結(jié)(續(xù))

2 自然的人臉面部屬性識別

上述樸素的人臉年齡、性別和人種等面部屬性識別方法未考慮人臉年齡、性別和人種等不同屬性間的潛在關(guān)聯(lián)和影響,而是將它們視作獨立的問題分別加以考慮.相關(guān)研究[26,63-65]表明,不同面部屬性之間存在關(guān)聯(lián)性影響,并且某一屬性估計受到其他屬性的影響.為了與上述樸素的人臉年齡、性別和人種等面部屬性識別相區(qū)別,我們稱此類考慮屬性間關(guān)系的識別方法為自然的人臉年齡、性別和人種等面部屬性識別.

2.1 考慮性別、人種屬性對AE的影響

為探究性別屬性是否對AE產(chǎn)生影響,文獻[31]分別在按性別拆分的樣本集與在相同樣本集混合情況(即性別當成未知)下,借助SVM進行AE.通過比較實驗結(jié)果可知,性別屬性顯著地影響AE的準確率.文獻[26]采用相同的方式在Morph II數(shù)據(jù)集上(劃分見表2)研究性別、人種屬性對AE是否存在關(guān)系.

鑒于同一年齡層內(nèi),男性和女性的人臉在年齡特征上的差異較大,文獻[1]首先基于提取的人臉 Gabor特征進行GR,然后依據(jù)性別分類結(jié)果再借助SVM進行AE以提高AE的性能,具體流程圖如圖14所示.

Table 2 Distribution on Morph Ablum II database[26]表2 Morph II數(shù)據(jù)集使用情況[26]

與文獻[55]相異,為構(gòu)建人臉老化空間,同時考慮到性別間的差異與不同年齡段人臉相似性差異不同,文獻[62]劃分年齡段,并將同一人的訓練樣本填充至相鄰年齡段中構(gòu)建老化空間.鑒于當前數(shù)據(jù)集的固有缺陷,同一個人的訓練樣本不可能完全填充至每一個年齡段中,文獻[62]在保證至少一組相鄰年齡含有同一人樣本的情況下,借助耦合字典學習構(gòu)建空間,其學習目標函數(shù)如下:

其中,Xg表示第g個年齡段中所有人的樣本圖像,Yg表示在g+1個年齡段中對應(yīng)人的樣本圖像,Dg(:,d)表示第g個年齡段第d幅圖像特征.在公式(13)中,第1項用于度量第g個年齡段的損失,第3項用于度量第g+1個年齡段的損失,第2項用于保持人臉的個性細節(jié),第4項為稀疏項;通過第1項與第3項的級聯(lián),可以利用人臉對之間存在的關(guān)系促進人臉老化關(guān)系的學習.然而,文獻[62]為獲取結(jié)果需要依賴中間層輸出,中間層結(jié)果存在誤差,必然導(dǎo)致實驗效果降低.為此,文獻[80]將老化字典學習模型層次化,以獲得更優(yōu)的結(jié)果.

考慮到性別、人種屬性對AE的影響,文獻[81]借助LDA的思想將來自不同性別和人種的同一年齡類的年齡模式相融合進行研究.其主要思想為:同年齡類內(nèi)散度小,同人種不同類間盡量分離,同類不同人種之間盡可能接近(如圖15所示).經(jīng)過映射后,來自不同群體的老化模式被投射到共同空間中,在該空間中不同群體的老化模式可以產(chǎn)生相似或更接近的分布.

2.2 考慮年齡屬性分別對RC、GR的影響

為探究年齡等屬性對RC的影響,文獻[65]在Morph II圖像集上首先進行年齡和性別屬性的人群劃分(同文獻[26]),然后針對每類人群進行RC,并發(fā)現(xiàn)RC準確率在不同人群間存在較大差異.

為探究年齡等屬性對 GR的影響,文獻[83]對 YGA等人臉集進行“老”“中”“青”這 3類人群年齡組的分類,然后針對每個分組進行 GR;文獻[84]首先將人臉集劃分為“未成年”和“成年”兩類,然后針對每個子類進行 GR,并發(fā)現(xiàn)后者的GR準確率高于前者.

2.3 考慮性別屬性和人種屬性對GR和RC的相互影響

針對人臉面部屬性關(guān)系的建模利用問題,同時考慮性別屬性與人種屬性相互關(guān)系的有關(guān)研究十分稀少.為了將性別和人種兩種屬性間內(nèi)在關(guān)系融入到GR和RC中,文獻[85]借助SVM分別對不同模態(tài)的3D圖像進行預(yù)測,最后進行決策融合以實現(xiàn)性別與人種的聯(lián)合估計.盡管文獻[86]借助架構(gòu)較淺的神經(jīng)網(wǎng)絡(luò)模型進行性別與人種的聯(lián)合估計,卻獲得了較好的識別性能,其具體網(wǎng)絡(luò)結(jié)構(gòu)如圖16所示.整體網(wǎng)絡(luò)除輸入輸出層外,僅包含4層卷積層,前 3層卷積層之間由 2×2大小的最大池化層連接進行特征選擇,而第 3層卷積層的輸出采用 ReLU函數(shù)激活送往第4層卷積層,最后借助Softmax函數(shù)實現(xiàn)聯(lián)合分類估計.

2.4 考慮年齡屬性和性別屬性對AE和GR的相互影響

為了將年齡屬性和性別屬性兩者內(nèi)在關(guān)系融入到AE和GR中,文獻[87-89]借助深度卷積網(wǎng)絡(luò)(CNN)獲取性別和年齡相關(guān)的語義特征表示,再基于年齡和性別聯(lián)合輸出編碼實現(xiàn)AE和GR.

在傳統(tǒng)方法中,文獻[70,90]認為:(1) 文獻[1]提出的性別識別與年齡估計的級聯(lián)模型不能避免性別分類器對整個模型帶來的誤差累計效應(yīng)(即初始性別分類錯誤,造成年齡估計誤差增大);(2) 文獻[63]雖然聯(lián)合了人臉多種屬性,但其標簽連接不僅可能混淆性別和年齡之間的語義關(guān)系,還忽略了男性和女性之間的老化差異.為此,文獻[76]提出一種語義空間中近鄰正交的方案,對性別與年齡屬性內(nèi)在關(guān)系聯(lián)合建模,同時研究 AE和 GR,其基本模型如下:

其中,第1項表示性別分類損失項,第3項表示有序回歸方法下的年齡估計損失項,第2項、第4項用于控制模型復(fù)雜度,第5項定義為RNOSSpaces=(waTwg)2,期望在語義空間中,不同性別間樣本盡可能地分離.

2.5 同時考慮年齡、性別和人種三者屬性之間的內(nèi)在關(guān)聯(lián)

偏最小二乘(partial least square,簡稱PLS,見公式(16))與典型相關(guān)分析(CCA,見公式(17))可以在輸入樣本集X與輸出集Y之間建模,獲取兩者最大相關(guān)的子成分,其中,wx與wy表示投影向量.因此,文獻[63,64,91]借助PLS與 CCA及其變種,將年齡、性別、人種整合為三元集標簽,采用回歸策略在樣本空間與聯(lián)合屬性間建立關(guān)系,實現(xiàn)AE、GR和RC的聯(lián)合估計.

為了同時利用三者屬性信息,文獻[71,92]借助深度模型 CNN實現(xiàn)對年齡、性別和人種這三者屬性的同時估計.文獻[71]認為,AE、GR、RC這3種屬性估計任務(wù)難度并不相同,因此,各任務(wù)所需特征表示的精細程度相異.該文通過共享底層以實現(xiàn)三者屬性之間的公共特征表示,然后為各屬性分別構(gòu)建網(wǎng)絡(luò)以滿足不同的特征表示需求.網(wǎng)絡(luò)基本結(jié)構(gòu)如圖17所示,損失函數(shù)定義為

其中,La、Lg與Lr分別表示年齡估計損失、性別分類估計損失、人種分類估計損失,α與β為非負超參數(shù),用于平衡3種任務(wù)間的重要程度.然而,對于AE,此框架僅利用了性別與人種信息,沒有兼顧到任務(wù)之間的內(nèi)在關(guān)系.盡管此后,文獻[71]提出一種混合模型以利用任務(wù)之間的內(nèi)在關(guān)聯(lián),并在Morph II數(shù)據(jù)集上獲得MAE結(jié)果首次低于3的優(yōu)異成績,但其本質(zhì)與文獻[1]提出的級聯(lián)模型相同,仍然存在分類器分類錯誤帶來的累計誤差等問題,還有提升空間.

2.6 性能對比

本節(jié)通過列表對比形式對有代表性的人臉多屬性聯(lián)合估計工作給出總結(jié)性性能對比.具體可見表3.

3 分析與展望

目前為止,學者們提出了多種方法利用單一的人臉屬性和不同程度地聯(lián)合多屬性進行研究,以提高AE、RC和GR的準確率或者精度.文獻[1,26,63-65]的研究表明,男性和女性在面部年齡老化方面存在差異,即性別因素對年齡估計存在影響;白種人、黃種人和黑種人等不同人種的年齡老化規(guī)律和性別外觀差異也不盡一致.同時,不同年齡階段的男性和女性的面部性別外觀差異也不盡相同.能否有效地利用多屬性內(nèi)在關(guān)系將成為影響實際應(yīng)用的主要因素.

然而,現(xiàn)有方法模型訓練通?；趩我坏南嚓P(guān)數(shù)據(jù)集(如FG-NET、Morph Album、Adience、CACD 2000等),這些數(shù)據(jù)集通常存在以下兩個嚴重問題:(1) 單一數(shù)據(jù)集在某些屬性上的標記分布不完備.如表 4所示,Morph數(shù)據(jù)集上樣本的年齡標記主要集中分布在16歲～70歲范圍;而FG-NET數(shù)據(jù)集上樣本的年齡標記主要分布在0～70歲.(2) 單一數(shù)據(jù)集在某些屬性上的標記缺失.如表4所示,Morph數(shù)據(jù)集上的每張人臉圖像同時標記了年齡、性別和人種這3種屬性信息;而 FG-NET集合中的人臉圖像僅提供了年齡屬性等標記信息.人臉不同屬性在現(xiàn)有單個臉庫的標記不完備,使得對其聯(lián)合估計變得困難.同時,單個數(shù)據(jù)庫樣本的缺失導(dǎo)致單獨基于該數(shù)據(jù)集獲得的屬性估計器泛化能力存在嚴重缺陷.

Table 4 Label distributions between Morph Album II and FG-NET表4 相關(guān)屬性在不同人臉數(shù)據(jù)集上的標記信息對比(以Morph和FG-NET為例)

本文中所指自然的人臉屬性估計僅是相對樸素的方法而言,第 2節(jié)所回顧的相關(guān)工作僅是一定程度上考慮并利用了屬性之間的關(guān)系,然而利用得并不完善.除文獻[63,64,71,91,92]等所做的工作之外,本文上述總結(jié)回顧的絕大部分人臉年齡、性別和種族等面部屬性識別相關(guān)工作都未同時實現(xiàn)以上多屬性的聯(lián)合估計.然而,即便是文獻[63,64,71,91,92]等給出的聯(lián)合估計模型,也未能很好地利用年齡、性別和種族等面部屬性關(guān)系.例如,文獻[63]、文獻[70]指出其標簽連接的方法不僅可能混淆性別和年齡之間的語義關(guān)系,而且忽略了男性和女性的老化差異;而文獻[70]也僅利用了性別與年齡之間的內(nèi)在關(guān)系,并未考慮人種屬性的影響.

在零星的跨語義庫研究中,盡管文獻[44]實現(xiàn)了跨庫訓練的年齡單種屬性估計,同時通過實驗表明跨語義庫進行 AE的效果優(yōu)于單一數(shù)據(jù)集,但其并未考慮面部性別和種族等其他屬性對年齡估計的影響.此外,該方法亦未實現(xiàn)人臉多個屬性的聯(lián)合估計.

基于以上考慮,人臉面部屬性未來的研究方向應(yīng)基于多屬性跨庫標記搜集訓練數(shù)據(jù)集,并構(gòu)建人臉年齡、性別和種族等多屬性聯(lián)合估計模型,探索并建模利用屬性間內(nèi)在關(guān)聯(lián),以實現(xiàn)更可靠的屬性聯(lián)合估計算法.

4 總 結(jié)

就基于人臉圖像的性別、年齡、人種等面部屬性估計,本文首先系統(tǒng)地回顧了樸素的(不考慮屬性之間的相關(guān)關(guān)聯(lián)和影響)和自然的(利用了屬性之間的相關(guān)性)人臉屬性相關(guān)研究工作.通過對現(xiàn)有工作的回顧和總結(jié),發(fā)現(xiàn)現(xiàn)有工作的以下問題和不足:單一訓練庫屬性標記不完備致使估計器泛化性有缺陷;未對年齡、性別和人種等面部多屬性進行完全估計;未很好地利用年齡、性別和人種等面部屬性間關(guān)系.為應(yīng)對以上問題以獲得更好的面部屬性估計結(jié)果,本文認為進一步工作可基于多屬性跨庫標記以擴充現(xiàn)有人臉屬性數(shù)據(jù)集,并構(gòu)建人臉年齡、性別和人種等多屬性聯(lián)合估計模型,探索并建模利用屬性之間和屬性內(nèi)在的關(guān)聯(lián),以實現(xiàn)更可靠的屬性聯(lián)合估計算法.