吳會(huì)叢　賈克斌　蔣　斌

1(河北科技大學(xué)信息科學(xué)與工程學(xué)院　河北 石家莊 050018)2(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院　北京 100124)

?

用于表情識(shí)別的半監(jiān)督學(xué)習(xí)自適應(yīng)提升算法

吳會(huì)叢1賈克斌2蔣斌2

1(河北科技大學(xué)信息科學(xué)與工程學(xué)院河北 石家莊 050018)2(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院北京 100124)

摘要針對(duì)半監(jiān)督人臉表情識(shí)別算法在表情來(lái)源多樣、姿態(tài)不一時(shí)準(zhǔn)確率低的問(wèn)題，在遷移學(xué)習(xí)自適應(yīng)提升算法的基礎(chǔ)上，提出一種新的半監(jiān)督學(xué)習(xí)自適應(yīng)提升算法。該算法通過(guò)近鄰計(jì)算由訓(xùn)練集中的已標(biāo)記樣本求出未標(biāo)記樣本的類別，并借助AdaBoost.M1算法分別對(duì)多數(shù)據(jù)源的人臉表情樣本和多姿態(tài)人臉表情樣本展開(kāi)識(shí)別，實(shí)現(xiàn)樣本的多類識(shí)別任務(wù)。實(shí)驗(yàn)結(jié)果表明，與標(biāo)號(hào)傳遞等半監(jiān)督學(xué)習(xí)算法相比，該算法顯著提高了表情識(shí)別率，且分別在多數(shù)據(jù)庫(kù)和多姿態(tài)數(shù)據(jù)庫(kù)上獲得了73.33%和87.71%的最高識(shí)別率。

關(guān)鍵詞人臉表情識(shí)別半監(jiān)督學(xué)習(xí)自適應(yīng)提升

0引言

近年來(lái)，人臉表情識(shí)別作為一種生物特征識(shí)別技術(shù)，已成為多媒體信息處理、人機(jī)交互、圖像處理與模式識(shí)別等領(lǐng)域的重要研究課題[1，2]。在人臉表情識(shí)別過(guò)程中，樣本標(biāo)記起到了重要的作用，但是并不容易獲取。由于半監(jiān)督學(xué)習(xí)[3]能夠利用少量的標(biāo)記樣本和大量的未標(biāo)記樣本構(gòu)建學(xué)習(xí)模型，研究者將其應(yīng)用于人臉表情識(shí)別領(lǐng)域以解決標(biāo)記樣本不足的問(wèn)題，提高人臉表情識(shí)別的實(shí)用性。

半監(jiān)督學(xué)習(xí)的目的是借助大量的未標(biāo)記樣本參與訓(xùn)練以彌補(bǔ)訓(xùn)練樣本不足的缺陷。然而，專業(yè)數(shù)據(jù)庫(kù)中人臉表情圖像數(shù)量的不足限制了半監(jiān)督學(xué)習(xí)在表情識(shí)別中的發(fā)展。因此，需要尋找一種方案來(lái)解決數(shù)據(jù)量不足的問(wèn)題，以便更好地完成半監(jiān)督學(xué)習(xí)在人臉表情識(shí)別中的應(yīng)用。解決問(wèn)題的思路有兩個(gè)：其一是將多個(gè)數(shù)據(jù)庫(kù)放在一起使用，進(jìn)行多數(shù)據(jù)庫(kù)聯(lián)合實(shí)驗(yàn)。該方法具有以下兩個(gè)優(yōu)點(diǎn)：第一，能夠收集大量的未標(biāo)記樣本，方便研究者復(fù)原實(shí)驗(yàn)過(guò)程，使得在該數(shù)據(jù)庫(kù)上得到的實(shí)驗(yàn)結(jié)果更具有說(shuō)服力；第二，在實(shí)際生活中，我們面對(duì)的人群是多種多樣的，多數(shù)據(jù)庫(kù)有利于我們模擬實(shí)際情況。所以使用多數(shù)據(jù)庫(kù)進(jìn)行半監(jiān)督學(xué)習(xí)實(shí)驗(yàn)的做法，具有很大的優(yōu)勢(shì)。其二是將多姿態(tài)圖像作為樣本，參與半監(jiān)督人臉表情識(shí)別。該方法對(duì)于在現(xiàn)實(shí)環(huán)境中識(shí)別多姿態(tài)的人臉表情圖像具有重要的實(shí)際意義。

目前，針對(duì)多數(shù)據(jù)庫(kù)、多姿態(tài)表情識(shí)別的半監(jiān)督學(xué)習(xí)的研究還處于起步階段。針對(duì)多數(shù)據(jù)庫(kù)條件下的表情識(shí)別問(wèn)題，文獻(xiàn)[4]提出了一種新的遷移子空間學(xué)習(xí)算法，在JAFFE、CK和Feedtum數(shù)據(jù)庫(kù)兩兩組合成的數(shù)據(jù)集上取得了一定的效果。對(duì)于多姿態(tài)條件下的表情識(shí)別問(wèn)題，主要通過(guò)改進(jìn)特征提取方法來(lái)提高樣本識(shí)別的正確率。文獻(xiàn)[5]采用了張量臉結(jié)合流形學(xué)習(xí)的方法來(lái)解決多姿態(tài)條件下的人臉識(shí)別問(wèn)題。文獻(xiàn)[6]提出了基于正交鑒別向量的算法來(lái)克服人臉姿態(tài)變化對(duì)識(shí)別造成的干擾。文獻(xiàn)[7]將基于子空間的人臉表征看作一個(gè)回歸問(wèn)題，因此采用了嶺回歸和線性回歸的方法來(lái)處理人臉的姿態(tài)變化問(wèn)題。文獻(xiàn)[8]使用嵌入式馬爾科夫模型方法處理人臉的不同姿態(tài)，獲得了比傳統(tǒng)的基于構(gòu)件的分類器更好的識(shí)別率。

為進(jìn)一步提升多數(shù)據(jù)庫(kù)、多姿態(tài)條件下的表情識(shí)別率，本文引入了遷移學(xué)習(xí)自適應(yīng)提升(TrAdaBoost)[9]算法中的知識(shí)遷移方式，提出了一種新的基于半監(jiān)督學(xué)習(xí)的自適應(yīng)提升(SSL-AdaBoost)算法。選擇引入TrAdaBoost算法有以下兩點(diǎn)原因：其一，該方法是遷移學(xué)習(xí)理論的代表性算法，既能保證知識(shí)遷移效果，又具有結(jié)構(gòu)簡(jiǎn)單、便于操作的優(yōu)點(diǎn)；其二，該方法以AdaBoost算法為基本框架。而在半監(jiān)督學(xué)習(xí)中出現(xiàn)了不少基于AdaBoost框架的算法，如SemiBoost[10]算法、ASSEMBLE[11]算法以及RegBoost[12,13]算法等，為TrAdaBoost算法改進(jìn)為半監(jiān)督學(xué)習(xí)算法提供了可能性。

1算法原理分析

1.1TrAdaBoost算法原理

TrAdaBoost算法的基本原理如下：

設(shè)Xs表示源域內(nèi)和目標(biāo)域數(shù)據(jù)分布相同的樣本，Xd表示源域內(nèi)和目標(biāo)域數(shù)據(jù)分布不同的樣本。令X=Xs∪Xd，Y={0,1}表示樣本標(biāo)記，c表示將X映射到Y(jié)的布爾函數(shù)，c(x)表示樣本x的標(biāo)記。

如果符合t≤N、εt<0.5的條件，算法開(kāi)始循環(huán)：

(2) 依據(jù)分布Pt，采用WeakLearn得到樣本的分類結(jié)果ht:X→Y；

(4) 設(shè)參數(shù)βt=εt/(1-εt)；

(5) 更新權(quán)重向量：

(1)

如果達(dá)到收斂條件，算法結(jié)束，否則繼續(xù)執(zhí)行。

最后，輸出最終分類器hf(x)：

(2)

其中，「?是上取整函數(shù)，「N/2?表示不小于N/2的整數(shù)中最小值。

1.2SSL-AdaBoost算法原理

本文提出的SSL-AdaBoost算法在保留TrAdaBoost算法的知識(shí)遷移能力的同時(shí)，對(duì)TrAdaBoost算法進(jìn)行兩方面的改進(jìn)：一方面，TrAdaBoost算法屬于監(jiān)督學(xué)習(xí)算法，算法需要訓(xùn)練樣本的標(biāo)記信息，而SSL-AdaBoost算法是一個(gè)半監(jiān)督學(xué)習(xí)算法。按照半監(jiān)督學(xué)習(xí)的要求，訓(xùn)練集由標(biāo)記樣本和未標(biāo)記樣本組成。因此，需要選取一定比例的訓(xùn)練樣本為未標(biāo)記樣本，余下的為標(biāo)記樣本，從而兼顧了半監(jiān)督學(xué)習(xí)的要求和算法的分類性能。為了進(jìn)一步消除未標(biāo)記樣本對(duì)分類的不利因素，借助SemiBoost和ASSEMBLE等算法的處理方式，利用訓(xùn)練集中的已標(biāo)記樣本，通過(guò)近鄰計(jì)算求出訓(xùn)練集中未標(biāo)記樣本的類別。另一方面，TrAdaBoost算法用于解決二類分類問(wèn)題，而人臉表情識(shí)別卻需要完成多種表情的識(shí)別任務(wù)。由于TrAdaBoost算法可以看作AdaBoost算法的擴(kuò)展，而AdaBoost算法是二類分類方法，本文可以借助一種用于實(shí)現(xiàn)多類分類任務(wù)的AdaBoost算法，即AdaBoost.M1算法，完成樣本的多類識(shí)別。

SSL-AdaBoost算法的基本原理如下：

令Xs表示源域內(nèi)和目標(biāo)域數(shù)據(jù)分布相同的樣本，Xd表示源域內(nèi)和目標(biāo)域數(shù)據(jù)分布不同的樣本。令X=Xs∪Xd。

(3)

如果符合t≤N、εt<0.5的條件，算法開(kāi)始循環(huán)：

(2) 依據(jù)分布Pt，采用WeakLearn得到樣本的分類結(jié)果ht:X→Y；

(4) 設(shè)參數(shù)βt=εt/(1-εt)；

(5) 更新權(quán)重向量：

(4)

如果達(dá)到收斂條件，算法結(jié)束，否則繼續(xù)執(zhí)行。

最后，輸出最終分類器hf(x)：

(5)

2實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)以人臉表情識(shí)別為應(yīng)用背景，共分為兩部分：多數(shù)據(jù)庫(kù)條件下的半監(jiān)督學(xué)習(xí)實(shí)驗(yàn)和多姿態(tài)條件下的半監(jiān)督學(xué)習(xí)實(shí)驗(yàn)。

2.1多數(shù)據(jù)庫(kù)人臉表情識(shí)別實(shí)驗(yàn)

多數(shù)據(jù)庫(kù)條件下的半監(jiān)督學(xué)習(xí)實(shí)驗(yàn)采用180幅日本女性人臉表情數(shù)據(jù)庫(kù)JAFFE(JapanFemaleFacialExpression)[14]的圖像、240幅美國(guó)卡內(nèi)基梅隆大學(xué)動(dòng)作單元編碼數(shù)據(jù)庫(kù)CK(Cohn-KanadeAU-CodedDatabase)[15]的表情峰值圖像以及荷蘭內(nèi)梅亨大學(xué)人臉數(shù)據(jù)庫(kù)RaFD(RadboudFacesDatabase)[16]的57個(gè)成年人的342幅正面像。待分類樣本分別具有生氣、厭惡、恐懼、悲傷、高興和驚奇表情，各數(shù)據(jù)庫(kù)中每種表情的圖像數(shù)量基本相等。因?yàn)橐M(jìn)行多數(shù)據(jù)庫(kù)聯(lián)合實(shí)驗(yàn)，所以在獲取人臉圖像后，對(duì)所有人臉圖像進(jìn)行尺度歸一化，將圖像大小設(shè)為168×120。然后，采用直方圖均衡的方法對(duì)圖像進(jìn)行光照補(bǔ)償。最后，通過(guò)PCA將數(shù)據(jù)維數(shù)降至40維，運(yùn)用LDA實(shí)現(xiàn)對(duì)表情圖像的特征提取。

為驗(yàn)證SSL-AdaBoost算法的效果，實(shí)驗(yàn)采用AdaBoost.M1算法、ASSEMBLE算法、RegBoost[12]算法和標(biāo)號(hào)傳遞(LP)算法[17]作為基線算法。實(shí)驗(yàn)以k近鄰分類器作為AdaBoost.M1、RegBoost和SSL-AdaBoost算法的基礎(chǔ)分類器。設(shè)k值為11，算法的最大循環(huán)次數(shù)為10次。

首先，以JAFFE數(shù)據(jù)庫(kù)為源域、CK數(shù)據(jù)庫(kù)為目標(biāo)域開(kāi)展分類實(shí)驗(yàn)。按照表情類別，隨機(jī)選取r比例的目標(biāo)域樣本和源域樣本組成訓(xùn)練集，其中r分別取10%、20%、30%、40%和50%。因?yàn)閷?shí)驗(yàn)采用180個(gè)JAFFE樣本和240個(gè)CK樣本，所以選取的目標(biāo)域樣本數(shù)量為r×180，余下的240-r×180個(gè)目標(biāo)域樣本組成測(cè)試集。令訓(xùn)練集中標(biāo)記樣本和未標(biāo)記樣本的比例為1。每個(gè)比例的樣本數(shù)據(jù)各生成10組，算法識(shí)別率取10次實(shí)驗(yàn)的平均結(jié)果，實(shí)驗(yàn)結(jié)果如表1所示。從表1中可以看出，SSL-AdaBoost算法在不同比例下的平均識(shí)別率高于AdaBoost.M1和RegBoost算法。再以CK數(shù)據(jù)庫(kù)為源域、JAFFE數(shù)據(jù)庫(kù)為目標(biāo)域進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表2所示。從表2中可以看出，各算法的識(shí)別率普遍不高，原因在于JAFFE數(shù)據(jù)庫(kù)中的表情個(gè)體為日本女性，民族和性別情況單一，對(duì)同一種表情的表達(dá)強(qiáng)度近似。CK數(shù)據(jù)庫(kù)中的個(gè)體以歐美人群為主，民族及性別情況十分復(fù)雜，對(duì)同一種表情的表達(dá)強(qiáng)度不一。所以將CK數(shù)據(jù)庫(kù)作為源域，極大地增加了識(shí)別難度，但是本文提出的SSL-AdaBoost算法仍在10%～30%的比例下保持了最高的平均識(shí)別率。

表1　JAFFE與CK數(shù)據(jù)庫(kù)的識(shí)別率

表2　CK與JAFFE數(shù)據(jù)庫(kù)的識(shí)別率

其次，以JAFFE數(shù)據(jù)庫(kù)為源域、RaFD數(shù)據(jù)庫(kù)為目標(biāo)域開(kāi)展分類實(shí)驗(yàn)，結(jié)果如表3所示。從表3中可以看出，在不同的數(shù)據(jù)庫(kù)下，SSL-AdaBoost算法在不同比例下的平均識(shí)別率高于基線算法。再以RaFD數(shù)據(jù)庫(kù)為源域、JAFFE數(shù)據(jù)庫(kù)為目標(biāo)域進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表4所示。實(shí)驗(yàn)結(jié)果表明，表3和表4的識(shí)別率高于表1和表2，原因在于JAFFE數(shù)據(jù)庫(kù)和RaFD數(shù)據(jù)庫(kù)的民族比較單一，前者為日本女性，后者為白種人。相比之下，CK數(shù)據(jù)庫(kù)包含了世界各地的民族，所以數(shù)據(jù)的特征空間和數(shù)據(jù)分布不一致的問(wèn)題更嚴(yán)重，干擾了半監(jiān)督學(xué)習(xí)算法的識(shí)別效果。

表3　JAFFE與RaFD數(shù)據(jù)庫(kù)的識(shí)別率

表4　RaFD與JAFFE數(shù)據(jù)庫(kù)的識(shí)別率

最后，以CK數(shù)據(jù)庫(kù)為源域、RaFD數(shù)據(jù)庫(kù)為目標(biāo)域開(kāi)展分類實(shí)驗(yàn)，結(jié)果如表5所示。再以RaFD數(shù)據(jù)庫(kù)為源域、CK數(shù)據(jù)庫(kù)為目標(biāo)域進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果如表6所示。實(shí)驗(yàn)結(jié)果表明，SSL-AdaBoost算法在40%和50%比例下，相對(duì)于基線算法在識(shí)別率上仍具有優(yōu)勢(shì)。CK數(shù)據(jù)庫(kù)和RaFD數(shù)據(jù)庫(kù)均以西方人為主，西方人對(duì)同一種表情的表達(dá)方式比較豐富，因此增加了識(shí)別的難度。

表5　CK與RaFD數(shù)據(jù)庫(kù)的識(shí)別率

表6　RaFD與CK數(shù)據(jù)庫(kù)的識(shí)別率

綜上所述，SSL-AdaBoost算法在一定程度上克服了不同數(shù)據(jù)環(huán)境下的個(gè)體差異性對(duì)表情識(shí)別的干擾，有效地實(shí)現(xiàn)了對(duì)未標(biāo)記樣本的訓(xùn)練。與基線算法相比，SSL-AdaBoost算法在多數(shù)情況下具有更好的魯棒性和識(shí)別率，對(duì)比實(shí)驗(yàn)證明了算法的有效性。

2.2多姿態(tài)人臉表情識(shí)別實(shí)驗(yàn)

多姿態(tài)條件下的半監(jiān)督學(xué)習(xí)實(shí)驗(yàn)選擇RaFD數(shù)據(jù)庫(kù)和BHU數(shù)據(jù)庫(kù)為實(shí)驗(yàn)對(duì)象。前者選取了57個(gè)人的6種基本表情、3個(gè)水平旋轉(zhuǎn)角度(正面、135°和180°)的人臉圖像，每個(gè)角度的圖像數(shù)量為342幅。后者選取了8個(gè)人的兩種表情(生氣、高興)、2個(gè)水平旋轉(zhuǎn)角度(正面和水平旋轉(zhuǎn)30°)的人臉圖像。每個(gè)角度的圖像數(shù)量為480幅。每種表情的圖像數(shù)量相同。

首先，實(shí)驗(yàn)依靠圖像處理軟件，通過(guò)人工切分的方法，以前額發(fā)跡線到下顎為人臉的縱向切分范圍，獲取人臉圖像，所有人臉圖像的大小歸一化為64×64。其次，通過(guò)直方圖均衡化方法，對(duì)圖像進(jìn)行光照補(bǔ)償。預(yù)處理后的實(shí)驗(yàn)樣本如圖1和圖2所示。其中，圖1從上到下分別為正面、135°和180°旋轉(zhuǎn)角度的RaFD數(shù)據(jù)庫(kù)的表情圖像；圖2從上到下分別為正面和30°旋轉(zhuǎn)角度的BHU數(shù)據(jù)庫(kù)的表情圖像。最后，采用LDA算法作為樣本的特征提取算法。

圖1　RaFD數(shù)據(jù)庫(kù)的實(shí)驗(yàn)樣本

圖2　BHU數(shù)據(jù)庫(kù)的實(shí)驗(yàn)樣本

實(shí)驗(yàn)采用AdaBoost.M1算法、ASSEMBLE算法、RegBoost算法以及LP算法作為基線算法。分別以k近鄰分類器(k-NN)或反向傳播神經(jīng)網(wǎng)絡(luò)分類器(BP-NN)作為算法的基礎(chǔ)分類器。從中選取識(shí)別率高的分類結(jié)果作為最終的實(shí)驗(yàn)結(jié)果。算法的最大循環(huán)次數(shù)設(shè)為10次。

首先，以RaFD數(shù)據(jù)庫(kù)的正面樣本為源域、135°樣本為目標(biāo)域開(kāi)展分類實(shí)驗(yàn)。采用k-NN作為基礎(chǔ)分類器，設(shè)k值為3。隨機(jī)選取r比例的目標(biāo)域樣本和源域樣本組成訓(xùn)練集，其中r分別取10%、20%、30%、40%和50%。因?yàn)閷?shí)驗(yàn)采用了正面及135°樣本各342個(gè)，所以選取的目標(biāo)域樣本數(shù)量為r×342的整數(shù)，余下的342-r×342個(gè)目標(biāo)域樣本組成測(cè)試集。令訓(xùn)練集中標(biāo)記樣本和未標(biāo)記樣本的比例為1。每個(gè)比例的樣本數(shù)據(jù)各生成10組，算法識(shí)別率取10次實(shí)驗(yàn)的平均結(jié)果，實(shí)驗(yàn)結(jié)果如表7所示。

其次，以RaFD數(shù)據(jù)庫(kù)的正面圖像為源域、180°圖像為目標(biāo)域進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)采用BP-NN作為基礎(chǔ)分類器。實(shí)驗(yàn)結(jié)果如表8所示。

表7　RaFD數(shù)據(jù)庫(kù)中正面和135°圖像的算法分類正確率

表8　RaFD數(shù)據(jù)庫(kù)中正面和180°圖像的算法分類正確率

表7和表8的實(shí)驗(yàn)結(jié)果表明：一方面，算法識(shí)別率隨著偏轉(zhuǎn)圖像在訓(xùn)練集中比例的增加而提高。既說(shuō)明了特征空間和數(shù)據(jù)分布相同的樣本在分類中起到了很大作用，也說(shuō)明了在樣本特征空間和數(shù)據(jù)分布不同的情況下，基線算法僅依靠抑制誤分類樣本無(wú)法獲得更好的識(shí)別效果。而SSL-AdaBoost算法依靠知識(shí)遷移，有效地運(yùn)用正面圖像的表情特征，克服了樣本特征空間和數(shù)據(jù)分布差異對(duì)半監(jiān)督學(xué)習(xí)造成的干擾，在大部分比例下取得了比基線算法更高的識(shí)別率。另一方面，偏轉(zhuǎn)造成了人臉器官的遮擋以及大量表情信息的缺失，嚴(yán)重影響了算法的識(shí)別效果?；€算法在信息缺失與噪聲干擾的情況下，僅依靠少量偏轉(zhuǎn)圖像的表情特征不能更好地完成半監(jiān)督學(xué)習(xí)任務(wù)。SSL-AdaBoost算法通過(guò)知識(shí)遷移，將正面圖像的表情特征遷移到偏轉(zhuǎn)圖像的分類器構(gòu)建之中，降低了信息缺失造成的干擾。在多姿態(tài)條件下，SSL-AdaBoost算法具有較好的魯棒性。

最后，以BHU數(shù)據(jù)庫(kù)的正面圖像為源域、30°圖像為目標(biāo)域開(kāi)展分類實(shí)驗(yàn)。實(shí)驗(yàn)設(shè)置與表7相同。實(shí)驗(yàn)結(jié)果如表9所示。從表9中可以看出，在BHU數(shù)據(jù)庫(kù)上，SSL-AdaBoost算法依然在識(shí)別率上保持了優(yōu)勢(shì)。多姿態(tài)條件下的實(shí)驗(yàn)結(jié)果證明了SSL-AdaBoost算法的有效性。

表9　BHU數(shù)據(jù)庫(kù)中正面和30°圖像的算法分類正確率

3結(jié)語(yǔ)

本文提出一種新的半監(jiān)督學(xué)習(xí)自適應(yīng)提升算法。該算法借助遷移學(xué)習(xí)理論中的知識(shí)遷移方法，在多數(shù)據(jù)庫(kù)條件下將數(shù)據(jù)分布不同的樣本表情特征遷移到分類器的構(gòu)建中，在一定程度上克服了不同數(shù)據(jù)環(huán)境下的個(gè)體差異性對(duì)表情識(shí)別的干擾，有效地實(shí)現(xiàn)了對(duì)未標(biāo)記樣本的訓(xùn)練。此外，在多姿態(tài)條件下將正面圖像的表情特征遷移到偏轉(zhuǎn)圖像的分類器構(gòu)建中，降低了信息缺失造成的干擾。實(shí)驗(yàn)結(jié)果表明，本文算法在多數(shù)據(jù)庫(kù)條件下有效地提高了算法的表情識(shí)別率；在多姿態(tài)表情圖像上取得了比基線算法更高的識(shí)別率。

參考文獻(xiàn)

[1] 劉帥師，田彥濤，王新竹．基于對(duì)稱雙線性模型的光照魯棒性人臉表情識(shí)別[J]．自動(dòng)化學(xué)報(bào)，2012，38(12)：1933-1940.

[2] 易積政，毛峽，IshizukaM，等．基于特征點(diǎn)矢量與紋理形變能量參數(shù)融合的人臉表情識(shí)別[J]．電子與信息學(xué)報(bào)，2013，35(10)：2403-2410.

[3]ChapelleO,Sch?lkopfB,ZienA.Semi-supervisedlearning[M].Cambridge:MITPress, 2006.

[4]YanHB,AngJrMH,PooAN.Cross-datasetfacialexpressionrecognition[C]//ProceedingsofIEEEInternationalConferenceonRoboticsandAutomation,Shanghai, 2011:5985-5990.

[5]LiWQ,ChenDS.Multi-posefacerecognitioncombiningtensorfaceandmanifoldlearning[C]//ProceedingsoftheIEEEInternationalConferenceonComputerScienceandAutomationEngineering.Shanghai:IEEEPress, 2011:543-547.

[6]WangJH,YouJ,LiQ,etal.Orthogonaldiscriminantvectorforfacerecognitionacrosspose[J].PatternRecognition, 2012,45(12):4069-4079.

[7]LiAN,ShangSG,GaoW.Coupledbias-variancetradeoffforcross-posefacerecognition[J].IEEETransactionsImageProcess, 2012, 21(1):305-315.

[8]LeePH,HsuGS,WangYW,etal.Subject-specificandpose-orientedfacialfeaturesforfacerecognitionacrossposes[J].IEEETransactionsonSystems,Man,andCybernetics-PartB:Cybernetics, 2012, 42(5):1357-1368.

[9]DaiWY,YangQ,XueG,etal.Boostingfortransferlearning[C]//Proceedingsofthe24thInternationalConferenceonMachineLearning,Corvallis, 2007:193-200.

[10]MallapragadaP,JinR,JainA,etal.SemiBoost:Boostingforsemi-supervisedlearning[J].IEEETransactiononPatternAnalysisandMachineIntelligence, 2009,31(11):2000-2014.

[11]BennettKP,DemirizA,MaclinR.Exploitingunlabeleddatainensemblemethods[C]//Proceedingsofthe8thACMInternationalConferenceonKnowledgeDiscoveryandDataMining,Edmonton:ACMPress, 2002:289-296.

[12]WangSH,ChenK.Ensemblelearningwithactivedataselectionforsemi-supervisedpatternclassification[C]//ProceedingsofInternationalJointConferenceonNeuralNetworks,Orlando,Florida,USA, 2007.

[13]ChenK,WangSH.Semi-supervisedlearningviaregularizedboostingworkingonmultiplesemi-supervisedassumptions[J].IEEETransactiononPatternAnalysisandMachineIntelligence, 2011,33(1):129-143.

[14]SuwaM,SugieN,FujimoraK.Apreliminarynoteonpatternrecognitionofhumanemotionalexpression[C]//Proceedingsofthe4thInternationalJointConferenceonPatternRecognition,Kyoto,Japan:InstituteofElectricalandElectronicsEngineers, 1978:408-410.

[15]MaseK,PentlandA.Recognitionoffacialexpressionfromopticalflow[J].IEICETransactions,1991,E74(10):3474-3483.

[16]EssaI,PentlandA.Coding,analysis,interpretationandrecognitionoffacialexpressions[J].IEEETransactiononPatternAnalysisandMachineIntelligence,1997,19(7):757-763.

[17]ZhuXJ,GhahramaniZ.Learningfromlabeledandunlabeleddatawithlabelpropagation[R].TechnicalReportCMU-CALD-02-107,CarnegieMellonUniversity,2002.

AN ADAPTIVE BOOSTING ALGORITHM WITH SEMI-SUPERVISED LEARNINGFORFACIALEXPRESSIONRECOGNITION

Wu Huicong1Jia Kebin2Jiang Bin2

1(College of Information Science and Engineering, Hebei University of Science and Technology, Shijiazhuang 050018, Hebei, China)2(College of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124,China)

AbstractTo address the low recognition rate of traditional facial expression recognition algorithm with semi-supervised learning caused by diverse expressions sources and different face attitudes, we propose a novel semi-supervised learning adaptive boosting (SSL-AdaBoost) algorithm based on transplanting learning adaptive boosting algorithm. The algorithm determines the categories of unmarked samples by calculating the marked samples concentrated in training through near neighbour, and recognises by means of AdaBosst.M1 algorithm the facial expression sample with multi-data sources and the facial expression sample of multiple attitudes respectively to realise the multi-category recognition task of samples. Experimental results show that the algorithm significantly improves the expression recognition rate in comparison with the label propagation method and many other semi-supervised learning methods. Besides, it achieves the highest recognition rate by 73.33% on multiple databases and 87.71% on multi-attitude database respectively.

KeywordsFacial expression recognitionSemi-supervised learningAdaptive boosting

收稿日期：2015-03-03。河北省自然科學(xué)基金項(xiàng)目(F201420 8113)。吳會(huì)叢，博士生，主研領(lǐng)域：數(shù)據(jù)挖掘，演化計(jì)算。賈克斌，教授。蔣斌，博士生。

中圖分類號(hào)TP391.4

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.06.065