喬體洲 戴樹(shù)嶺

(北京航空航天大學(xué) 自動(dòng)化科學(xué)與電氣工程學(xué)院，北京100191)

頭部姿態(tài)計(jì)算技術(shù)是一種利用光學(xué)、電磁學(xué)、計(jì)算機(jī)等理論和設(shè)備分析人類(lèi)頭部姿態(tài)參數(shù)的技術(shù)，是人體姿態(tài)識(shí)別的重要分支之一，也是人機(jī)交互領(lǐng)域的重要研究領(lǐng)域之一.使用電磁跟蹤設(shè)備是工業(yè)應(yīng)用領(lǐng)域比較成熟的方案，但是對(duì)環(huán)境要求比較苛刻.基于光學(xué)測(cè)量的方案應(yīng)用潛力已經(jīng)顯現(xiàn)，隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步，以計(jì)算機(jī)視覺(jué)技術(shù)為基礎(chǔ)進(jìn)行頭部姿態(tài)計(jì)算的研究越來(lái)越多地受到人們的重視.

雖然基于二維圖像數(shù)據(jù)的相關(guān)研究是熱點(diǎn)之一[1－2]，但是在實(shí)際應(yīng)用中容易受到環(huán)境光亮度變化、遮擋、面部表情變化等影響，穩(wěn)定性較差，而且計(jì)算速度較慢[3].利用深度圖像信息計(jì)算頭部姿態(tài)可有效避免受環(huán)境光變化的影響，但是目前已有的一些依靠深度信息的方法[4－7]計(jì)算頭部姿態(tài)的研究存在計(jì)算速度和識(shí)別成功率相互制約的問(wèn)題，且不能完全解決遮擋、面部表情變化、數(shù)據(jù)噪聲等問(wèn)題.由于隨機(jī)森林[8]能夠高效地處理大規(guī)模的訓(xùn)練數(shù)據(jù)，還具有很高的運(yùn)行速度和廣泛的適用性等特點(diǎn)[9－10]，將隨機(jī)森林應(yīng)用于基于計(jì)算機(jī)視覺(jué)技術(shù)的頭部姿態(tài)計(jì)算可以相對(duì)容易地實(shí)現(xiàn)計(jì)算速度和性能之間的平衡[11－14]，但是由于隨機(jī)森林的圖像特征、二元測(cè)試的決策函數(shù)、度量函數(shù)等的選取對(duì)于噪聲和干擾敏感程度不一致，以及對(duì)特征的辨識(shí)度不同，在實(shí)現(xiàn)高識(shí)別精度和識(shí)別率的同時(shí)，解決遮擋、面部表情變化等的影響依然是很具有挑戰(zhàn)性的問(wèn)題.

本文的研究目的是利用隨機(jī)森林計(jì)算速度快、抗干擾能力強(qiáng)等特點(diǎn)，在基于深度信息計(jì)算頭部姿態(tài)時(shí)，降低姿態(tài)參數(shù)的估計(jì)方差，提高計(jì)算的穩(wěn)定性，并提高處理存在遮擋的頭部深度數(shù)據(jù)的能力.由于使用隨機(jī)森林進(jìn)行特征點(diǎn)識(shí)別不依賴(lài)任何特定的面部特征，有潛力降低頭發(fā)、眼鏡等遮擋對(duì)性能的影響，本文使用隨機(jī)森林進(jìn)行特征點(diǎn)識(shí)別，并在圖像特征中使用曲率提高二元測(cè)試的特征識(shí)別力，再對(duì)投票聚類(lèi)得到的群簇進(jìn)行Mean Shift以降低噪聲干擾.

1 隨機(jī)森林的樣本標(biāo)注選取

隨機(jī)森林的構(gòu)建過(guò)程依照Breiman[8]描述的方式進(jìn)行(圖1).決策樹(shù)是根據(jù)一組標(biāo)注參數(shù)真實(shí)值的樣本子域圖像集合的隨機(jī)子集合訓(xùn)練建立的，這些圖像塊是從訓(xùn)練數(shù)據(jù)集的圖像中隨機(jī)提取出來(lái)的.從根節(jié)點(diǎn)開(kāi)始，每一個(gè)決策樹(shù)的建立過(guò)程都是一個(gè)遞歸過(guò)程，非葉子節(jié)點(diǎn)包含了進(jìn)行分割的決策函數(shù)，它控制了數(shù)據(jù)進(jìn)入哪個(gè)子節(jié)點(diǎn).

圖1 隨機(jī)回歸森林進(jìn)行頭部姿態(tài)計(jì)算Fig.1 Head pose estimation with random regression forest

由于訓(xùn)練數(shù)據(jù)包含頭部位置和頭部姿態(tài)的真實(shí)值，訓(xùn)練時(shí)可以標(biāo)注一組頭部位置和頭部朝向矢量的真值，即圖2中所示的Q1和F1.頭部位置的具體標(biāo)注點(diǎn)各異，圖2假設(shè)標(biāo)注為鼻尖的位置.文獻(xiàn)[12－13]直接使用了標(biāo)注的頭部位置和頭部朝向矢量，在深度數(shù)據(jù)的采樣子域保存了F1和F3，圖3所示即為該標(biāo)注方法的計(jì)算效果，所含高誤差投票會(huì)影響結(jié)果準(zhǔn)確度.為了使得計(jì)算對(duì)象之間的關(guān)系更具一般化并降低估計(jì)方差，本文在樣本子域中保存的是F2和F3，這樣在最終的計(jì)算中投票估計(jì)Q1和Q2點(diǎn)，兩者確定的矢量即為朝向矢量.

圖2 標(biāo)注值選取示意圖Fig.2 Labelling selection demonstration

圖3 含有高誤差投票數(shù)據(jù)的計(jì)算結(jié)果Fig.3 Result with high error votes

2 決策函數(shù)和圖像特征選擇

最佳決策函數(shù)的選擇是來(lái)自于一組隨機(jī)生成的決策函數(shù)集φ*={φ}，所有到達(dá)這個(gè)節(jié)點(diǎn)的樣本子域圖像塊都要經(jīng)過(guò)這一組中所有的決策函數(shù)計(jì)算評(píng)估，使得這個(gè)節(jié)點(diǎn)分裂的信息增益最大化的決策函數(shù)作為當(dāng)前節(jié)點(diǎn)的分裂決策函數(shù):

信息增益的定義是

式中，ωL和ωR為到達(dá)左/右子節(jié)點(diǎn)的圖像塊所占總的訓(xùn)練樣本集合的比率;H(P)為樣本子域圖像塊集合P的一個(gè)類(lèi)熵度量函數(shù).訓(xùn)練過(guò)程中，在分裂節(jié)點(diǎn)依據(jù)該節(jié)點(diǎn)所保存的最優(yōu)決策函數(shù)，數(shù)據(jù)進(jìn)入左/右子節(jié)點(diǎn)，整個(gè)訓(xùn)練過(guò)程迭代式進(jìn)行下去，迭代的停止條件是達(dá)到了決策樹(shù)規(guī)定的最大樹(shù)深度，或者剩余的訓(xùn)練樣本數(shù)量已經(jīng)低于規(guī)定的最小值時(shí)，最終創(chuàng)建的是葉子節(jié)點(diǎn).

樣本子域圖像塊標(biāo)注了兩個(gè)實(shí)數(shù)矢量，其中θ1是該樣本子域圖像塊中心的三維點(diǎn)到鼻子尖端的方向矢量;θ2是以歐拉空間姿態(tài)角形式存儲(chǔ)的頭部姿態(tài)角.

因此這樣一組訓(xùn)練圖像塊集合的參數(shù)化表示為 P={Pi=(Ji，θi)}，其中 θi=(θ1i，θ2i)是依據(jù)標(biāo)注真值得到的數(shù)據(jù).如圖4所示，Ji表示根據(jù)一個(gè)圖像塊計(jì)算得到的圖像特征，可以是原始的深度數(shù)據(jù)Dv，也可以使用頂點(diǎn)法線(xiàn)數(shù)據(jù)Nv，但是Ji至少應(yīng)當(dāng)包括深度值特征.為了得到更精準(zhǔn)的訓(xùn)練分類(lèi)，這里還使用了離散高斯曲率Kv和平均曲率Hv，根據(jù)Meyer等人的方法[15]計(jì)算三角網(wǎng)格的離散曲率.同時(shí)，使用單位法向量的極坐標(biāo)表示，使得單位法線(xiàn)的變量參數(shù)簡(jiǎn)化為兩個(gè).

圖4 三角網(wǎng)格特征參數(shù)計(jì)算的變量定義Fig.4 Definition of feature parameters in triangular mesh

式中N(i)為點(diǎn)v的鄰域點(diǎn)集.

根據(jù)以上分析，特征 J∈{Dv，φ，μ，Kv，Hv}，其中φ和μ為法向量的任意2個(gè)通道.決策函數(shù)φ(J)使用Haar特征，定義為兩個(gè)隨機(jī)矩形每個(gè)像素上的平均特征值的差值[10，12]:

式中，R1和R2為兩個(gè)定義在樣本子域圖像塊內(nèi)的非對(duì)稱(chēng)矩形;τ為閾值.使用單個(gè)像素的差值作為決策函數(shù)，對(duì)噪聲的干擾更加敏感[16].

3 度量函數(shù)

假定θn是三變量的高斯隨機(jī)分布，可以將集合 P 的標(biāo)注真值表示為 p(θn)=N(n，Σn)，從而可以為n∈{1，2}計(jì)算其對(duì)應(yīng)的微分熵H(P)n:

回歸度量函數(shù)是所有參數(shù)熵的和:

式中，an為參數(shù)相關(guān)的加權(quán)系數(shù);Σn為方差矩陣.

將回歸度量函數(shù)代入信息增益gIG(φ)，使其最大化，即使得以子節(jié)點(diǎn)的全部標(biāo)注矢量θn計(jì)算的高斯分布的協(xié)方差最小化，可以降低回歸的不確定性.

經(jīng)訓(xùn)練后的每一個(gè)葉子節(jié)點(diǎn)中，類(lèi)別概率p(c=k|P)和連續(xù)頭部姿態(tài)參數(shù) p(θ1)和p(θ2)的分布都有保存，其中P為圖像塊集合，k為類(lèi)別.分布的計(jì)算是使用到達(dá)該葉子節(jié)點(diǎn)的訓(xùn)練樣本子域圖像塊進(jìn)行的，然后在后面的部分中用于頭部姿態(tài)估測(cè)的計(jì)算.

4 頭部姿態(tài)計(jì)算

在對(duì)深度圖像進(jìn)行測(cè)試時(shí)，將采樣得到的一定量樣本子域圖像塊傳送到隨機(jī)森林中的所有決策樹(shù)中.每一個(gè)圖像塊都根據(jù)保存在當(dāng)前節(jié)點(diǎn)的分裂決策函數(shù)的控制選擇下一步行動(dòng)方式，當(dāng)一個(gè)樣本到達(dá)葉子節(jié)點(diǎn)，就按照當(dāng)前葉子節(jié)點(diǎn)保存的概率分布函數(shù)給出頭部姿態(tài)參數(shù)的估計(jì).

在葉子節(jié)點(diǎn)中根據(jù)所保存的類(lèi)別概率，可以分析當(dāng)前的測(cè)試采樣圖像塊對(duì)于類(lèi)別k的貢獻(xiàn)度.這個(gè)概率值表示了當(dāng)前的圖像塊是否屬于頭部.為提高精確度這里只分析類(lèi)別概率為1的葉子節(jié)點(diǎn)，再去掉對(duì)回歸過(guò)程的貢獻(xiàn)相對(duì)較小的有較高方差的葉子節(jié)點(diǎn)，即協(xié)方差的跡tr(Σ1)大于給定的閾值Mv的葉子節(jié)點(diǎn).

經(jīng)過(guò)濾后剩余的分布則用來(lái)估計(jì)鼻尖位置θ1，即通過(guò)對(duì)圖像塊的中心 θ(P)添加偏移均值1，得到鼻尖位置的分布;根據(jù)統(tǒng)計(jì)學(xué)的人體頭部平均直徑[17]對(duì)所有的投票進(jìn)行聚類(lèi)分析，使用Mean Shift得到進(jìn)一步優(yōu)化從而去掉那些異常值.最終得到的投票群簇如果足夠大，就認(rèn)為是有效的結(jié)果.頭部群簇的高斯分布的總和是一個(gè)新的多變量高斯分布，均值作為頭部姿態(tài)的估計(jì)值，協(xié)方差作為估計(jì)的置信度.

5 性能測(cè)試

隨機(jī)森林的訓(xùn)練和測(cè)試，使用了數(shù)據(jù)庫(kù)ETH Face Pose Range Image Data Set[4](下文簡(jiǎn)稱(chēng)為ETH數(shù)據(jù)庫(kù))，數(shù)據(jù)提供了鼻子頂端的三維空間坐標(biāo)和從鼻子頂端指向面部方向的矢量.在訓(xùn)練隨機(jī)森林時(shí)使用了90%的ETH數(shù)據(jù)庫(kù)數(shù)據(jù)，剩余的10%數(shù)據(jù)則作為測(cè)試數(shù)據(jù)使用.隨機(jī)森林生長(zhǎng)停止條件:決策樹(shù)的深度達(dá)到20;節(jié)點(diǎn)剩余圖像塊少于20.為了達(dá)到節(jié)點(diǎn)分裂最優(yōu)化，在每個(gè)節(jié)點(diǎn)隨機(jī)生成30000個(gè)分裂決策函數(shù)，即生成1000種決策函數(shù)參數(shù)的不同值組合，每一種組合使用30個(gè)不同的閾值.實(shí)驗(yàn)時(shí)使用的 CPU是 Intel Core i7 CPU@3.4 GHz.默認(rèn)使用的參數(shù)值:鼻子位置的誤差閾值15 mm;面部朝向的角度誤差閾值15°;最大樹(shù)深度20;決策樹(shù)數(shù)量20;計(jì)算決策函數(shù)的樣本子域圖像分辨率40像素×40像素;采樣步幅10像素.

由圖5a、圖5b可見(jiàn)，分辨率偏小無(wú)法一次性獲得足夠的信息來(lái)預(yù)測(cè)頭部姿態(tài);增大分辨率也會(huì)帶來(lái)性能的一定損失.如果將圖像塊的大小控制在80像素×80像素到100像素×100像素之間是一個(gè)比較合理的選擇.圖像特征中使用曲率對(duì)成功率的提高作用比較明顯，當(dāng)訓(xùn)練圖像數(shù)據(jù)的數(shù)量達(dá)到2 000之后精度的增高幅度很小.在接下來(lái)的實(shí)驗(yàn)中，每個(gè)決策樹(shù)使用3000張深度圖像進(jìn)行訓(xùn)練，每張訓(xùn)練圖像中提取出大小為100像素×100像素的圖像塊50個(gè).圖5c～圖5f所示的實(shí)驗(yàn)是分析隨機(jī)森林決策樹(shù)數(shù)量和采樣步幅在不同參數(shù)設(shè)定下對(duì)特征點(diǎn)的位置識(shí)別精確度的影響，以及對(duì)頭部姿態(tài)角的識(shí)別精確度的影響.在測(cè)試特征點(diǎn)位置的誤差時(shí)，是將鼻尖位置和面部朝向特征點(diǎn)位置的實(shí)驗(yàn)結(jié)果統(tǒng)一分析得到的結(jié)果.實(shí)驗(yàn)還測(cè)試了圖像特征對(duì)識(shí)別精度的影響.根據(jù)實(shí)驗(yàn)結(jié)果可知，增加使用幾何法線(xiàn)等圖形特征比起增加決策樹(shù)的數(shù)量，能夠更大幅度地提升探測(cè)的精確度，使用曲率對(duì)精度的提升效果也比較明顯.

圖5 使用不同圖像特征時(shí)隨機(jī)森林參數(shù)對(duì)識(shí)別成功率、平均位置誤差和平均角度誤差的影響Fig.5 Experiments of different data features’effect on accuracy，average nose error and average direction error

在圖6a、圖6b中顯示的是經(jīng)過(guò)對(duì)測(cè)試數(shù)據(jù)庫(kù)進(jìn)行計(jì)算得到的誤差閾值和識(shí)別成功率的關(guān)系曲線(xiàn)，實(shí)驗(yàn)還對(duì)比了不同圖像特征的影響.根據(jù)實(shí)驗(yàn)數(shù)據(jù)可知，使用法線(xiàn)和曲率可以有效提高特征辨識(shí)力，從而提高成功率，但是使用高斯曲率后進(jìn)一步使用平均曲率的影響比較微弱.

測(cè)試遮擋的影響，對(duì)測(cè)試數(shù)據(jù)做了遮擋處理.數(shù)據(jù)被遮擋比例的計(jì)算方式為:由于遮擋損失的有深度數(shù)據(jù)的像素?cái)?shù)量，與遮擋前所有的有深度數(shù)據(jù)的像素?cái)?shù)量的比值.從圖6c中的曲線(xiàn)可以看到，存在遮擋的情況下使用曲率可以有效減小識(shí)別誤差;而且圖像特征使用曲率時(shí)，10%以?xún)?nèi)的遮擋比例對(duì)平均位置誤差的影響很小，在20%的遮擋率情況下，可以使得平均誤差在10mm以?xún)?nèi).圖6d所示為頭部姿態(tài)的平均識(shí)別誤差與數(shù)據(jù)被遮擋比例之間的曲線(xiàn)關(guān)系.在遮擋比例大于15%之后，平均角度誤差急劇增大;小于15%時(shí)，遮擋比例的變化對(duì)于平均誤差的影響比較平緩，尤其是圖像特征使用曲率的情況下，平均角度誤差一直低于10°.圖6e和圖6f所示為遮擋比例與認(rèn)定為識(shí)別成功的角度差閾值對(duì)于識(shí)別成功率的影響.由實(shí)驗(yàn)可知，圖像特征使用曲率有助于提高識(shí)別的成功率.將閾值設(shè)為5°的條件比較嚴(yán)格，成功率相對(duì)較低;而10°～15°的閾值設(shè)定較為平衡，既能保證成功率較高，誤差范圍的值也比較小.

根據(jù)圖7可以看到，當(dāng)數(shù)據(jù)被遮擋的比例大約在13%以?xún)?nèi)時(shí)，本文的方法都可以獲得90%以上的正確識(shí)別率.而Tang[14]采用的圖像特征ISF(Integral Slice Features)由于更容易受到遮擋的影響，所以對(duì)遮擋的影響非常敏感.

圖8和圖9給出了部分測(cè)試數(shù)據(jù)的效果，分別顯示了本文方法計(jì)算的頭部姿態(tài)和標(biāo)注的頭部姿態(tài).從總體上看，在圖像特征中使用法線(xiàn)和曲率，較大幅度地提高了特征辨識(shí)力，從而提升了隨機(jī)森林系統(tǒng)進(jìn)行特征點(diǎn)位置計(jì)算的精度，可以使得位置的平均誤差在10 mm以?xún)?nèi).由于所使用的部分源數(shù)據(jù)是在有遮擋物的情況下采集到的深度數(shù)據(jù)，所以使用該數(shù)據(jù)進(jìn)行的測(cè)試事實(shí)上已經(jīng)說(shuō)明了本文方法在處理有遮擋物時(shí)的性能.本文還對(duì)隨機(jī)產(chǎn)生0%～30%遮擋比例的數(shù)據(jù)進(jìn)行了實(shí)驗(yàn)測(cè)試，從圖6c～圖6f的實(shí)驗(yàn)結(jié)果看到10%以?xún)?nèi)的遮擋對(duì)算法性能的影響相對(duì)很小，對(duì)平均位置和角度誤差的影響分別在10%和15%以?xún)?nèi)，存在20%的遮擋比例時(shí)也可以實(shí)現(xiàn)大約10 mm的平均位置誤差和13°的平均角度誤差.

圖7 不同方法識(shí)別效果的實(shí)驗(yàn)結(jié)果Fig.7 Comparison of different methods

圖8 ETH數(shù)據(jù)庫(kù)中部分?jǐn)?shù)據(jù)的識(shí)別結(jié)果Fig.8 Recognition results of ETH database

圖9 測(cè)試遮擋影響時(shí)的識(shí)別結(jié)果Fig.9 Recognition results of head depth data with partial occlusions

6 結(jié)論

1)本文方法使用多種特征計(jì)算決策函數(shù)可以提升頭部姿態(tài)跟蹤的能力，實(shí)現(xiàn)穩(wěn)定的頭部姿態(tài)識(shí)別性能，適當(dāng)?shù)膮?shù)設(shè)置可以達(dá)到95%左右的識(shí)別成功率;

2)降低了跟蹤誤差，達(dá)到了5～6 mm左右的位置識(shí)別精度和6°～8°的角度識(shí)別精度;

3)有效提高了對(duì)有遮擋數(shù)據(jù)的處理能力，數(shù)據(jù)被遮擋的比例大約在13%以?xún)?nèi)時(shí)，本文的方法都可以獲得90%以上的正確識(shí)別率.

References)

[1]Martins P，Batista J.Accurate single view model－based head pose estimation[C]//Proceedings of International Conference on Automatic Face and Gesture Recognition.Piscataway，NJ:IEEE Computer Society Press，2008:4813369

[2]Morency L P，Whitehill J，Movellan J.Generalized adaptive viewbased appearance model:integrated framework for monocular head pose estimation[C]//Proceedings of International Conference on Automatic Face and Gesture Recognition.Piscataway，NJ:IEEE Computer Society Press，2008:4813429

[3]Murphy－Chutorian E，Trivedi M M.Head pose estimation in computer vision:a survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009，31(4):607 －626

[4]Breitenstein M D，Kuettel D，Weise T，et al.Real－time face pose estimation from single range images[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE Computer Society Press，2008:4587807

[5]Lu X G，Jain A K.Automatic feature extraction for multiview 3D face recognition[C]//Proceedings of International Conference on Automatic Face and Gesture Recognition.Piscataway，NJ:IEEE Computer Society Press，2006:585 －590

[6]Weise T，Leibe B，Van G L.Fast 3d scanning with automatic motion compensation[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE Computer Society Press，2007:4270316

[7]Breitenstein M D，Jensen J，Hilund C，et al.Head pose estimation from passive stereo images[C]//Lecture Notes in Computer Science.Heidelberg:Springer－Verlag，2009:219 － 228

[8]Breiman L.Random forests[J].Machine Learning，2001，45(1):5－32

[9]Gall J，Lempitsky V.Class－specific hough forests for object detection[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE Computer Society Press，2009:1022 －1029

[10]Criminisi A，Shotton J，Robertson D，et al.Regression forests for efficient anatomy detection and localization in CT studies[C]//Lecture Notes in Computer Science.Heidelberg:Springer－Verlag，2010:106 －117

[11]Huang C，Ding X Q，F(xiàn)ang C.Head pose estimation based on random forests for multiclass classification[C]//Proceedings of International Conference on Pattern Recognition.Piscataway，NJ:IEEE Computer Society Press，2010:934 －937

[12]Fanelli G，Gall J，Van G L.Real time head pose estimation with random regression forests[C]//Proceedings of International Conference on Computer Vision and Pattern Recognition.Piscataway，NJ:IEEE Computer Society Press，2011:617 － 624

[13]Fanelli G，Weise T，Gall J，et al.Real time head pose estimation from consumer depth cameras[C]//Lecture Notes in Computer Science.Heidelberg:Springer－Verlag，2011:101 －110

[14]Tang Y Q，Sun Z N，Tan T N.Real－time head pose estimation using random regression forests[C]//Lecture Notes in Computer Science.Heidelberg:Springer－Verlag，2011:66 － 73

[15]Meyer M，Desbrun M，Schr?der P，et al.Discrete differential－geometry operators for triangulated 2－manifolds[J].Visualization and Mathematics，2002，3(2):52 －58

[16]Gall J，Yao A，Razavi N，et al.Hough forests for object detection，tracking，and action recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33(11):2188－2202

[17]Paysan P，Knothe R，Amberg B，et al.A 3D face model for pose and illumination invariant face recognition[C]//Proceedings of International Conference on Advanced Video and Signal Based Surveillance.Piscataway，NJ:IEEE Computer Society Press，2009:296－301