劉鵬，賴惠成，王俊南，王睿

(新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046)

0 引言

人臉檢測與跟蹤是計算機(jī)視覺領(lǐng)域中的研究熱點(diǎn)，其成果可廣泛應(yīng)用于視頻監(jiān)控、邊境安檢、家庭安全、政府安防等多種領(lǐng)域[1?9]，應(yīng)用領(lǐng)域十分廣闊，與人類生活息息相關(guān).近年來，各種優(yōu)秀的人臉跟蹤算法不斷被提出，但在應(yīng)對人臉旋轉(zhuǎn)、消失、被遮擋等情況下效果并不理想，因此，研究復(fù)雜運(yùn)動中的人臉跟蹤尚有重要的意義.

現(xiàn)階段，最早將相關(guān)濾波用于目標(biāo)跟蹤的是MOSSE[10]算法，其采用的是灰度特征，速度能達(dá)到615fps，遠(yuǎn)超同時期的其他算法.但相應(yīng)的，由于采用的特征單一，其準(zhǔn)確度并不高.CSK[11]在MOSSE的基礎(chǔ)上提出了稠密采樣，并且引入了循環(huán)矩陣和核的概念，仍采用灰度特征，速度上達(dá)到了320fps，精度上相比MOSSE有所提升，從此循環(huán)矩陣和核函數(shù)在相關(guān)濾波的目標(biāo)跟蹤領(lǐng)域大放異彩.兩年后，作者在CSK的基礎(chǔ)上進(jìn)行完善，提出了KCF算法[12].KCF采用的HOG多通道特征，其中由CSK的單通道特征拓展到多通道特征這一點(diǎn)對后來的算法啟發(fā)價值很大，既有循環(huán)矩陣傅里葉對角化的利用來簡化計算，又有對單通道特征應(yīng)用的拓展，可以適應(yīng)更多優(yōu)秀的特征描述子，這才有了以后眾多基于相關(guān)濾波器的優(yōu)秀算法.CN[13]同樣也是在CSK的基礎(chǔ)上提出來的，它采用多通道顏色特征Color Names(CN)，將RGB的三維紅、綠、藍(lán)顏色通道映射到符合人眼觀察的十一維顏色通道，并歸一化得到十維顏色通道特征.為了提高運(yùn)算速度，采用PCA降維的方法，將十維的特征降維到二維，提升了計算性能.Staple[14]是HOG特征和顏色概率特征的結(jié)合，不同于DSST[15]，它是在響應(yīng)階段的融合，不是在構(gòu)建特征模板階段的融合.顏色概率特征采用的是傳統(tǒng)的顏色直方圖，它將濾波響應(yīng)圖和顏色概率圖以一定的權(quán)值比例分配，融合特征結(jié)合后的得分圖來定位目標(biāo).Staple速度上能達(dá)到80fps，而且跟蹤精度也相當(dāng)高.相關(guān)濾波在跟蹤時具有高速性、魯棒性，將其應(yīng)用到人臉跟蹤領(lǐng)域中需要克服目標(biāo)人臉消失、遮擋、脫離鏡頭時的難題.

本文在Staple算法的啟發(fā)下，提出一種自適應(yīng)置信機(jī)制的人臉跟蹤算法.首先利用位置濾波器提取人臉檢測出來的人臉特定HOG特征與顏色概率模型提取人臉檢測出來的人臉顏色概率模型保留作為先驗(yàn)特征，并將人臉HOG特征相關(guān)濾波器與顏色概率特征分配一定的權(quán)重，進(jìn)行線性加權(quán)運(yùn)算得到多個不同判定偏向性的融合特征.然后建立一個置信度機(jī)制，對人臉融合特征進(jìn)行可信度判定，選取濾波器響應(yīng)值得分較高的融合特征作為跟蹤特征，以此來估計人臉的候選位置.在跟蹤過程中若最高可信度低于可信度閾值，則利用視頻首幀提取的HOG特征與顏色概率模型作為濾波模板，重新進(jìn)行濾波器的運(yùn)算.由于Staple是在響應(yīng)階段融合特征的，所以濾波模板不斷更新確保模型對跟蹤時特征描述的準(zhǔn)確性.基于存在人臉消失、遮擋、脫離鏡頭的測試庫算法分析，結(jié)合實(shí)際場景進(jìn)行性能驗(yàn)證.

1 相關(guān)濾波

相關(guān)濾波方法是近年來目標(biāo)跟蹤領(lǐng)域的主流方法.其基本思想是在信號處理中，用相關(guān)性來描述兩個因素之間的聯(lián)系，目標(biāo)越相似其相關(guān)值越大，濾波器得到的響應(yīng)值越大，最大響應(yīng)處作為跟蹤區(qū)域.2010年，David首次在目標(biāo)跟蹤中用到了相關(guān)濾波的方法，在此之后，大量基于相關(guān)濾波的跟蹤算法如雨后春筍不斷提出.

1.1 相關(guān)濾波的原理

相關(guān)性的直觀解釋就是衡量兩個函數(shù)在某個時刻相似程度.假設(shè)存在兩個信號f和g，那么兩者之間的相關(guān)性為：

其中f?表示f的復(fù)共軛.這時需要一個濾波函數(shù)，計算出其在目標(biāo)上的響應(yīng)值.濾波器如下：

其中g(shù)為系統(tǒng)響應(yīng)值，f為輸入信號，h為濾波模板.對f輸入信號與h濾波模板進(jìn)行卷積計算，便可得到系統(tǒng)響應(yīng)值，卷積的計算比較耗時，所以David對其進(jìn)行快速傅里葉變換.變換后，卷積計算變成了點(diǎn)乘計算，降低了計算量.快速傅里葉變換后的公式：

即：

在跟蹤領(lǐng)域中，被跟蹤的目標(biāo)會在外觀上有所變化，會產(chǎn)生多幅圖像，需要對多幅圖像進(jìn)行相關(guān)濾波計算，David考慮到這一點(diǎn)，提出了MOSSE模型：

通過這個公式提高了濾波器模板在圖像處理中的魯棒性.為了進(jìn)行元素級操作，可將上式轉(zhuǎn)換為：

對上式求導(dǎo)可得最小的濾波模板Hwv?，如下公式：

推導(dǎo)后的濾波模板H為：

在跟蹤領(lǐng)域中，David對目標(biāo)跟蹤區(qū)域進(jìn)行隨機(jī)仿射變換，獲得Fi訓(xùn)練樣本，那么gi便是fi中心點(diǎn)的高斯函數(shù)峰值.

David又設(shè)計如下的模板更新策略：

η為一個參數(shù)，在過程中不斷更新，在這個模板更新策略下，濾波器對目標(biāo)形變、光照變化具備更好的魯棒性.

在本文中，位置濾波器和顏色概率模型用于提取樣本特征.然后通過對兩個響應(yīng)圖通過線性加權(quán)的方式進(jìn)行組合，得到最終的目標(biāo)位置響應(yīng)圖.其組合公式如下：

融合特征的響應(yīng)函數(shù)為ff，權(quán)重分配因子為ω，顏色概率模型的響應(yīng)函數(shù)為fc，位置濾波器的響應(yīng)函數(shù)為fcf.通過對位置濾波器與顏色概率模型的響應(yīng)函數(shù)線性加權(quán)，合理分配權(quán)重因子ω，得到融合特征的響應(yīng)函數(shù).

權(quán)值分配因子[16]ω的變化，會使融合出的特征具有特征偏向性，以應(yīng)對變化的目標(biāo)及背景信息.本文在參考前人基礎(chǔ)上，通過大量實(shí)驗(yàn)得出了表現(xiàn)效果比較好的權(quán)值分配比例，具體如表1.

表1 融合特征多權(quán)重分配方式Tab 1 Fusion feature multi-weight distribution

1.2 基于Staple的改進(jìn)人臉跟蹤算法

Staple在跟蹤準(zhǔn)確性與實(shí)時性上都表現(xiàn)出較好的效果，因此本文算法采用Staple算法作為基本框架.

跟蹤框架主要分為濾波模板的建立、跟蹤區(qū)域的估計、和濾波模板更新等三個階段.

（1）根據(jù)人臉檢測出來的目標(biāo)人臉位置信息，利用位置濾波器提取人臉特定的HOG特征，利用顏色概率模型統(tǒng)計人臉區(qū)域的顏色特征，對兩者特征進(jìn)行訓(xùn)練，訓(xùn)練出一個能估計目標(biāo)位置和目標(biāo)尺度的相關(guān)濾波器，以此來建立目標(biāo)人臉模型.

（2）提取當(dāng)前幀的估計區(qū)域的HOG特征和統(tǒng)計顏色概率特征，使用前一幀確定的目標(biāo)人臉模型對兩種基礎(chǔ)特征分別進(jìn)行相關(guān)濾波處理.然后對得出的位置濾波器響應(yīng)值與顏色概率模型響應(yīng)值分配不同的權(quán)重進(jìn)行融合，在置信度機(jī)制下，對融合特征進(jìn)行可信度判定，選取相關(guān)性得分較高的融合特征作為跟蹤特征，估計人臉的候選位置.若最高可信度低于可信度閾值，則將視頻首幀的融合特征作為濾波模板，并進(jìn)行計算.最后使用尺度濾波器對目標(biāo)人臉進(jìn)行估計，完成跟蹤過程.

（3）更新階段.由于Staple是在響應(yīng)階段融合特征的，所以在跟蹤階段，需要對位置濾波器、膚色概率模型和尺度濾波器進(jìn)行不斷地更新.

位置濾波器主要是用來提取人臉區(qū)域HOG特征[17,18]，HOG特征的優(yōu)點(diǎn)是對顏色變化處理穩(wěn)定，缺點(diǎn)是當(dāng)目標(biāo)人臉發(fā)生旋轉(zhuǎn)、消失與快速移動時較敏感.

位置濾波器主要是提取目標(biāo)區(qū)域的HOG特征并將其轉(zhuǎn)化為響應(yīng)圖.對目標(biāo)人臉區(qū)域提取d維特征，記作Fl,l∈(1,2,...,d)，為最優(yōu)的相關(guān)濾波器hl，需要構(gòu)建一個最小化代價函數(shù)，公式如下：

1.2.2 顏色概率模型

顏色概率模型[17]主要提取人臉區(qū)域顏色信息，以此來獲取相應(yīng)的響應(yīng)圖.顏色統(tǒng)計特征不屬于相關(guān)濾波的范疇，不受邊界效應(yīng)的影響，對于人臉旋轉(zhuǎn)、移動以及表情變化表現(xiàn)效果較好，但受光照影響較大.

對顏色概率直方圖進(jìn)行歸一化操作，依靠統(tǒng)計的顏色特征判別是否為目標(biāo)人臉區(qū)域，以此來得到前景概率響應(yīng)圖.前景位置的響應(yīng)分?jǐn)?shù)越高就越有可能是目標(biāo)人臉的位置.響應(yīng)圖的得分公式如下：

M為像素個數(shù)，α為模型參數(shù)，φ(x)是第x幀中統(tǒng)計顏色特征的函數(shù).通過公式16計算出每個像素點(diǎn)的響應(yīng)分?jǐn)?shù)，從而得到目標(biāo)人臉區(qū)域的顏色概率響應(yīng)圖.運(yùn)動中的人臉需要時刻的更新模型，所以采用最小化損失函數(shù)的方法.公式如下：

一方面，行政機(jī)構(gòu)多項(xiàng)稅制改革作為國庫支付制度改革、政府收支分類改革的基礎(chǔ)，可以使財政資源使用效率得到很好的改善。

本文在RGB顏色空間中采用平均加權(quán)的方法統(tǒng)計直方圖得分.上式中，O為顏色概率模型所提取的目標(biāo)人臉區(qū)域的圖像個數(shù)，B為顏色概率模型在背景區(qū)域提取的圖像個數(shù)，α為模型參數(shù)，對于相關(guān)嶺回歸問題，采用下式解決：

在公式(19)中，ρj(O)為目標(biāo)人臉的特征j的非零區(qū)域中像素比，ρj(B)為背景區(qū)域中特征j的非零區(qū)域中像素比，j為特征的維度數(shù)量，λ為權(quán)重.

在第t幀，學(xué)習(xí)率為η時，采用下式更新像素比：

1.2.3 多尺度濾波

在跟蹤過程中構(gòu)建一個尺度相關(guān)濾波器，實(shí)時的調(diào)整跟蹤框形狀大小.尺度濾波器模型的期望響應(yīng)函數(shù)是高斯函數(shù)，符合使用相關(guān)濾波的條件，構(gòu)建尺度池的方法如下：

其中W×H為前一幀人臉的大小，δ為尺度因子，n是比例濾波器的大小，S為特征維數(shù)，Sscale為尺度響應(yīng)值.尺度濾波器原理類似于位置濾波器，期望函數(shù)也是高斯函數(shù)，不過是一維的而已.

1.2.4 跟蹤置信度

實(shí)際情況中，當(dāng)目標(biāo)人臉發(fā)生旋轉(zhuǎn)、消失與脫離鏡頭時，輸入特征信號與特征濾波模板的響應(yīng)值便不會很高，而此時估計區(qū)域的最大響應(yīng)值便不具備參考性，更新之后的濾波模板可能摻雜了其他無關(guān)特征.

所以跟蹤置信度機(jī)制的設(shè)定尤為關(guān)鍵，本文提出一個新穎的跟蹤置信度機(jī)制，流程如下.

（1）首先，對首幀人臉檢測后的人臉區(qū)域進(jìn)行特征提取，設(shè)置一個濾波模板h0，此濾波模板h0不再發(fā)生變化.

（2）當(dāng)跟蹤在視頻首幀時，將非人臉區(qū)域分為與人臉區(qū)域同等大小的多個分塊，設(shè)這些分塊區(qū)域?yàn)閖i，計算ki=ji?h0，計算完畢后取一個最大的響應(yīng)值maxki作為一個閾值.

（3）在視頻跟蹤過程中，人臉發(fā)生快速旋轉(zhuǎn)、消失和移動時，此時g=f?h中的f便代表非人臉區(qū)域，h便代表人臉區(qū)域，此時g=f?h與ki=ji?h0表達(dá)等同.

（4）在發(fā)生（3）的情況下，若g≤maxki則將ho代入g=f?h中的h，之后再進(jìn)行相關(guān)濾波的跟蹤，然后若再發(fā)生（3）的情況便轉(zhuǎn)入第（4）步.

本文算法實(shí)驗(yàn)流程如圖1.

圖1 基于改進(jìn)Staple人臉跟蹤算法Fig 1 Face tracking algorithm base on improved Staple

2 實(shí)驗(yàn)結(jié)果

為驗(yàn)證本文改進(jìn)的人臉跟蹤算法的性能，在Windows7、8G內(nèi)存、英特爾Core(TM)i5-4590 CPU主頻3.30GHz(3301 MHz)、MATLAB2016b環(huán)境中對該算法進(jìn)行了模擬仿真.其中本文算法的特征融合階段選擇的比重為：HOG特征比重0.5，顏色特征比重0.5，HOG特征選取的維度為16，顏色選取的特征維度為3，式1-15中λ為0.001.將本文算法與改進(jìn)Camshift人臉跟蹤算法，Staple原算法的處理結(jié)果進(jìn)行對比.測試視頻為斯坦福大學(xué)的Girl，視頻總1 000幀.另外本文采用了新疆大學(xué)自主建設(shè)的新疆人臉庫中的SFT07，視頻總402幀.Girl與SFT07視頻中存在人臉尺度變化、人臉偏轉(zhuǎn)、人臉消失等難點(diǎn).便于充分驗(yàn)證本文所提算法的性能.

圖2 本文算法對Girl的部分效果Fig 2 Part of the Results of This Algorithm on Girl

圖3 本文算法對SFT07的部分效果Fig 3 Part of the Results of the Algorithm on SFT07

表2 Girl跟蹤結(jié)果分析Tab 2 Girl Tracking Results Analysis

表3 SFT 07跟蹤結(jié)果分析Tab 3 Part of the Results of This Algorithm on Girl

3 結(jié)論

在實(shí)驗(yàn)中，改進(jìn)Camshift算法應(yīng)對人臉尺度變化、偏轉(zhuǎn)、消失時出現(xiàn)了跟蹤框漂移等情況，Staple算法在對SFT07跟蹤時雖然也呈現(xiàn)不錯的效果，但也暴露出算法的弊端.當(dāng)視頻中的對象轉(zhuǎn)身后或脫離鏡頭時，如果人臉在大約7幀之內(nèi)再次出現(xiàn)，那么算法便能繼續(xù)跟蹤，并保持良好的跟蹤效果.而當(dāng)對Girl進(jìn)行跟蹤時，目標(biāo)人臉在轉(zhuǎn)身脫離鏡頭或者被非目標(biāo)人臉遮擋時足足有10幀以上，此時跟蹤效果并不理想.本文在置信度機(jī)制的改進(jìn)大大避免了這種情況，雖然增加了些許計算量，但速度仍與Staple相當(dāng)，而且準(zhǔn)確率還有所提升，經(jīng)實(shí)驗(yàn)仿真證明，已達(dá)到預(yù)期的效果.