潘杰，熊惠霖

0 引言

Viola等人在文獻(xiàn)[1-2] 中提出的基于級(jí)聯(lián)結(jié)構(gòu)的AdaBoost算法，提供了優(yōu)異的檢測(cè)速度，但是它需要大量時(shí)間進(jìn)行訓(xùn)練，提出了一種基于特征簡(jiǎn)化的AdaBoost算法來(lái)減少訓(xùn)練時(shí)間。為了提高檢測(cè)效率及處理目標(biāo)遮擋，采用文獻(xiàn)[3] 提出的膚色分割方法和引入 Kalman濾波器，通過(guò)排除非人臉區(qū)域，使視頻序列的實(shí)時(shí)多角度人臉檢測(cè)與跟蹤成為可能；同時(shí)在人臉運(yùn)動(dòng)過(guò)程中不斷更新被跟蹤人臉的運(yùn)動(dòng)模型，利用Kalman濾波器的預(yù)測(cè)結(jié)果，更新被遮擋目標(biāo)的位置。

1 人臉的檢測(cè)

1.1 AdaBoost算法：

AdaBoost 算法是利用大量的分類能力一般的弱分類器通過(guò)一定方法疊加起來(lái)，構(gòu)成一個(gè)分類能力很強(qiáng)的強(qiáng)分類器。Schapire在文獻(xiàn)[4] 中證明了只要弱分類器分類能力比隨機(jī)猜測(cè)好，當(dāng)簡(jiǎn)單分類器個(gè)數(shù)趨向于無(wú)窮時(shí)，強(qiáng)分類器的錯(cuò)誤率將趨于0。

對(duì)于兩類問(wèn)題的AdaBoost算法過(guò)程如下：

1. (初始化)

2. (尋找T個(gè)弱分類器)

Fort=1,…，T

(1) 在確定的簡(jiǎn)單分類器中, 求出一個(gè)具有最小誤差的弱分類器fi(x)：

(2)Ft(x)=Ft-1(x)+fi(x)

(3) 更新權(quán)重:

其中Zt是所有權(quán)重和。

3.(Output)

1.2 基于Fisher準(zhǔn)則的特征簡(jiǎn)化

經(jīng)典的AdaBoost算法訓(xùn)練緩慢，影響訓(xùn)練速度的因素除了算法本身的效率外，更重要的是訓(xùn)練樣本的數(shù)量和特征數(shù)量。一般而言，訓(xùn)練樣本數(shù)量不可能減少，否則會(huì)影響最后得到的強(qiáng)分類器效果，因此，要想提高訓(xùn)練速度，只能減少特征數(shù)量。事實(shí)上，在數(shù)量巨大的類Haar特征中，有一些特征對(duì)人臉和非人臉的區(qū)分不是很有效，去除這些特征，而保留那些分類能力較強(qiáng)的類Haar特征，既可以有效區(qū)分人臉和非人臉樣本，又可以顯著減少訓(xùn)練時(shí)間，本文采用Fisher準(zhǔn)則來(lái)選擇分類能力強(qiáng)的特征。

Fisher準(zhǔn)則表述為：找到一個(gè)最合適的投影方向，使兩類樣本在該方向上投影的類間距最大而類內(nèi)距最小，從而達(dá)到最佳的分類效果。圖1表示了

圖1 兩類樣本在w1與w2方向上的投影情況

在二維空間中兩類樣本在兩個(gè)不同的向量w1與w2上的投影情況。

用投影后數(shù)據(jù)的統(tǒng)計(jì)性質(zhì)一均值和離散度的函數(shù)，作為判別優(yōu)劣的標(biāo)準(zhǔn)。用以評(píng)價(jià)投影方向w的函數(shù)為：

圖2（a）和（b）分別是需要保留和剔除的類Haar特征的灰度直方圖圖例。

圖2 正負(fù)樣本累積直方圖

本文的實(shí)驗(yàn)中，實(shí)驗(yàn)運(yùn)行環(huán)境為：Pentium D 3.0G Hz 雙核處理器，1GB內(nèi)存。選取3組不同的JF值來(lái)進(jìn)行訓(xùn)練，各層的訓(xùn)練時(shí)間和最后選出的弱分類器個(gè)數(shù)如表1所示，JF分別取大于850、750和680時(shí)，經(jīng)過(guò)篩選后用于訓(xùn)練的類Haar特征分別為6394、13984和31501個(gè)。

在CMU的人臉測(cè)試集合中篩選部分正面人臉(91 幅圖片、315 個(gè)人臉) ，比較本文的算法與Viola算法的檢測(cè)效果，作ROC曲線，如圖3所示。

表1 本文與Viola訓(xùn)練方法耗時(shí)對(duì)比

本文改進(jìn)算法的ROC曲線在Viola方法的下方，從理論上來(lái)說(shuō)是合理的，因?yàn)閂iola的方法搜索了所有的類Haar特征（138694個(gè)），在相同的權(quán)重條件下選出的是最優(yōu)的弱分類器，本文的方法在訓(xùn)練時(shí)取的只是所有特征中的一個(gè)子集，不可避免的會(huì)漏掉一些較優(yōu)的類Haar特征。因此，在相同的虛警率下檢測(cè)精度有所下降，但本文的方法使訓(xùn)練效率提高了十多倍。Viola的方法訓(xùn)練20層需要整整2天，本文的方法取JF＞750時(shí)只要2.5小時(shí)。

圖3 ROC曲線對(duì)比圖

1.3 多角度人臉檢測(cè)

多角度人臉檢測(cè)，可以通過(guò)訓(xùn)練不同角度的人臉?lè)诸惼?，然后用各個(gè)分類器對(duì)待檢測(cè)圖像進(jìn)行檢測(cè)，最后把不同分類器的檢測(cè)結(jié)果綜合起來(lái)，就可以得到不同角度的人臉檢測(cè)結(jié)果，如圖4所示：a、b、c分別為正面，左側(cè)面，右側(cè)面和最后融合后的檢測(cè)圖像。

圖4 多角度人臉結(jié)果融合

1.4 非膚色區(qū)域的快速排除

文獻(xiàn)[5-8] 中使用形態(tài)學(xué)和連通域的方法提取待檢測(cè)區(qū)域，然后再對(duì)提取的局部區(qū)域進(jìn)行檢測(cè)，以避免對(duì)整幅圖像的全局搜索；但是，形態(tài)學(xué)處理本身就是相當(dāng)費(fèi)時(shí)的，很難滿足實(shí)時(shí)性的要求，例如，在一副480×320的圖像上作結(jié)構(gòu)元素為20×20的一次開(kāi)運(yùn)算，平均耗時(shí)130毫秒，因此，用形態(tài)學(xué)處理視頻序列，來(lái)提高檢測(cè)速度是不可行的。

為此，本文提出了一種基于膚色的快速檢測(cè)方法，在用級(jí)聯(lián)分類器對(duì)候選區(qū)域搜索前，先計(jì)算候選區(qū)域內(nèi)膚色部分的面積，根據(jù)人臉區(qū)域的特征，如果區(qū)域內(nèi)的膚色面積大于整個(gè)候選區(qū)域面積的一半，則認(rèn)為是待檢測(cè)區(qū)域，否則直接排除，以提高檢測(cè)的速度。而候選區(qū)域的膚色面積，可以直接由積分圖求得Sskin=iiA+iiD–(iiB+ iic)，iit是在t處的積分圖。使用本文提出的快速檢測(cè)算法，即使對(duì)檢測(cè)圖像用多個(gè)角度的分類器進(jìn)行檢測(cè)，也能達(dá)到每秒30幀以上，這使得視頻多角度人臉實(shí)時(shí)檢測(cè)成為可能。

圖5 積分圖計(jì)算

2 人臉的跟蹤

2.1 膚色分割

由于RGB顏色空間對(duì)光照亮度變化比較敏感，為了減少光照亮度變化對(duì)跟蹤效果的影響，CamShift算法將圖像由RGB 顏色空間轉(zhuǎn)化到HSV 顏色空間進(jìn)行后續(xù)處理。

HSV空間是RGB空間的非線性變換，它將原本相關(guān)性很強(qiáng)的R、G、B值轉(zhuǎn)換為相關(guān)性較弱的H、S、V值。在HSV空間中，彩色圖像的每一個(gè)均勻性色彩區(qū)域都對(duì)應(yīng)一個(gè)相對(duì)一致的色調(diào)(Hue)，使得色調(diào)(Hue)能夠單獨(dú)用來(lái)進(jìn)行彩色區(qū)域的分割。田巍、莊鎮(zhèn)泉在文獻(xiàn)[21] 中詳細(xì)分析了膚色在HSV空間的分布情況，本文取H(色調(diào))：0-50，作為膚色區(qū)域的分割標(biāo)準(zhǔn)，圖6(a)、(b)顯示了對(duì)應(yīng)的膚色區(qū)域。

圖6 膚色分割

2.2 Camshift

CamShift最早由 Bradski提出來(lái)[9-10] ，CamShift跟蹤算法是Mean Shift[11] 算法的改進(jìn)，它利用顏色直方圖作為特征，使用MeanShift算法在顏色概率分布圖像中迭代搜索目標(biāo)區(qū)域，然后動(dòng)態(tài)調(diào)整目標(biāo)區(qū)域的參數(shù)。圖7所示為原圖像對(duì)應(yīng)的顏色概率分布圖（亮度越高，則越接近人臉膚色）。

圖7 顏色概率分布圖

整個(gè)算法的具體步驟如下：

1. 確定人臉目標(biāo)區(qū)域

2. 計(jì)算目標(biāo)區(qū)域的H通道顏色直方圖

3. 由 H通道顏色直方圖，計(jì)算待檢測(cè)圖像的顏色概率圖

4. 用Meanshift迭代算法，在顏色概率圖中計(jì)算搜索區(qū)域的質(zhì)心位置

5. 動(dòng)態(tài)調(diào)整目標(biāo)窗口大小，輸出目標(biāo)位置

3 Kalman濾波器預(yù)測(cè)

Kalman在文獻(xiàn)[13] 中提出了卡爾曼濾波器的基本原型，卡爾曼濾波器可以利用目標(biāo)的運(yùn)動(dòng)信息，預(yù)測(cè)下一時(shí)刻的運(yùn)動(dòng)狀態(tài)，其實(shí)現(xiàn)過(guò)程分為兩個(gè)部分：預(yù)測(cè)和更新。在預(yù)測(cè)階段，濾波器使用上一狀態(tài)的估計(jì)，做出對(duì)當(dāng)前狀態(tài)的估計(jì)；在更新階段，濾波器利用當(dāng)前狀態(tài)的估計(jì)和新的測(cè)量變量以優(yōu)化在預(yù)測(cè)階段獲得的預(yù)測(cè)值。

更新方程首先做的是計(jì)算卡爾曼增益Kk。其次便測(cè)量輸出以獲得Zk，然后按（4-4）式計(jì)算更新的狀態(tài)估計(jì)。最后按（4-5）式計(jì)算狀態(tài)的協(xié)方差估計(jì)。

計(jì)算完預(yù)測(cè)方程和更新方程，整個(gè)過(guò)程再次重復(fù)，在更新階段計(jì)算得到的預(yù)測(cè)值，被作為下一次預(yù)測(cè)階段的狀態(tài)估計(jì)，詳細(xì)推導(dǎo)請(qǐng)參照文獻(xiàn)[5] 。

4 實(shí)驗(yàn)結(jié)果與分析

本文將Camshift跟蹤算法與Kalman濾波器相結(jié)合，在沒(méi)有出現(xiàn)人臉目標(biāo)相互遮擋的情況下，使用 Camshift跟蹤算法進(jìn)行跟蹤，同時(shí)更新Kalman濾波器參數(shù)；當(dāng)出現(xiàn)人臉相互遮擋，則利用Kalman濾波器對(duì)被遮擋人臉目標(biāo)進(jìn)行預(yù)測(cè)。

對(duì)第5n（n=0、1、2 …）幀圖像，用多角度分類器檢測(cè)，綜合各個(gè)分類器的檢測(cè)結(jié)果，計(jì)算待跟蹤圖像的反向投影圖，如果沒(méi)有目標(biāo)被遮擋，則用 Camshift算法跟蹤目標(biāo)位置；反之，由Kalman濾波器的預(yù)測(cè)值更新目標(biāo)位置，同時(shí)把Kalman濾波器的預(yù)測(cè)值作為下一幀預(yù)測(cè)的觀測(cè)值。對(duì)于其他幀，不進(jìn)行檢測(cè)，直接用 Camshift的跟蹤結(jié)果作為目標(biāo)位置。實(shí)驗(yàn)結(jié)果如圖8所示：

由實(shí)驗(yàn)結(jié)果可知，在人臉區(qū)域未出現(xiàn)遮擋前，先用Kalman濾波器對(duì)人臉目標(biāo)建立運(yùn)動(dòng)模型，當(dāng)人臉目標(biāo)出現(xiàn)遮擋（第3和第20幀），由Kalman濾波器進(jìn)行預(yù)測(cè)（白色矩形框所示），甚至在人臉完全被遮擋時(shí)，Kalman濾波器依然能預(yù)測(cè)到人臉的所在位置，因此把Adaboost算法、Camshift算法和Kalman濾波器相結(jié)合，能夠?qū)崿F(xiàn)視頻多角度人臉的實(shí)時(shí)檢測(cè)與跟蹤，當(dāng)出現(xiàn)人臉遮擋時(shí)，也能夠很好的進(jìn)行預(yù)測(cè)。

圖8 Kalman預(yù)測(cè)結(jié)果

5 結(jié)束語(yǔ)

對(duì)Adaboost檢測(cè)算法和基于Camshift的多人臉跟蹤算法提出了適當(dāng)改進(jìn)，并取得了一定效果，但是 Camshift算法在有顏色干擾的情況下，會(huì)出現(xiàn)誤跟蹤，如何提高在有顏色干擾的情況下跟蹤的精度，是下一階段要做的。

[1] VIOLA P, JONES M. Robust real-time face detection [J] .International Journal of Computer Vision, 2004, 57(2):137-154.

[2] VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features [C] //Proc. of IEEE Conf. on Computer Vision Pattern Recognition, Kauai,Hawaii, USA. 2001: 511-518.

[3] 田巍,莊鎮(zhèn)泉.基于HSV色彩空間的自適應(yīng)膚色檢測(cè)[J] .計(jì)算機(jī)工程與應(yīng)用, 2004,14:81 -85.

[4] ROBERT E, SCHAPIRE. The strength of weak learnability.Machine Learning[M] . 1990, 5(2): 197-227

[5] 孫雙寧,孫雁飛.基于Boosting算法的實(shí)時(shí)人臉監(jiān)控系統(tǒng)設(shè)計(jì)[J] .信息技術(shù), 2009, 33(1): 55-62.

[6] 鄭明恩,管業(yè)鵬.基于膚色與膚色矩實(shí)時(shí)視頻人臉檢測(cè)與跟蹤[J] .計(jì)算機(jī)工程與設(shè)計(jì), 2008, 29(4): 879-881.

[7] 邢昕,汪孔橋,沈蘭蓀.基于器官跟蹤的人臉實(shí)時(shí)跟蹤方法[J] .電子學(xué)報(bào), 2000,28(6): 29-31.

[8] 杜岳濤.彩色視頻圖像序列中的人臉檢測(cè)研究[D] .西安:西安工業(yè)大學(xué),2007.

[9] BRADSKI G R, CLARA S. Computer Vision Face Tracking For Use in a Perceptual User Interface[J] .Intelligence Technology Journal, 1998,2:1-15.

[10] John G Allen, Richard Y D. Jesse Xu, Jin S.Object Tracking Using CamShift algorithm and Multiplt QuantizedFeature Spaces[C] .Proc.Pan-Sydney Area Workshop on Visual Information Processing(VIP2033),Sydney,Australia,Dec,2003.3-7.

[11] Comaniciu D, Meer P. Mean Shift Analysis and Applications[C] . IEEE Int . Conf . Computer Vision(ICCV’99) , Kerkyra, Greece , 1999 : 1197-1203.

[12] Comaniciu D, Meer P. Mean Shift-A Robust Approach Toward. Feature Space Analysis [J] . IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(5):603-619

[13] Kalman R E．A new approach to linear filtering and prediction problems[J] . Journal of Basic Engineering,1960,82(1):35-45.