張玉榮

（1.武漢理工大學(xué)信息工程學(xué)院，湖北武漢430070；2.徽商職業(yè)學(xué)院電子信息系，安徽合肥230061）

基于多變量動(dòng)態(tài)建模的粒子濾波行人跟蹤算法實(shí)現(xiàn)

張玉榮1，2

（1.武漢理工大學(xué)信息工程學(xué)院，湖北武漢430070；2.徽商職業(yè)學(xué)院電子信息系，安徽合肥230061）

對(duì)于行人運(yùn)動(dòng)模型是線性系統(tǒng)，噪聲符合高斯分布，采用邊檢測(cè)邊跟蹤的卡爾曼濾波算法，試驗(yàn)達(dá)到了預(yù)期的效果。但在實(shí)際中行人的隨機(jī)行走具有很大的不確定性，不一定是線性系統(tǒng)和高斯分布，此時(shí)利用Kalman濾波就會(huì)導(dǎo)致跟蹤失敗。研究了基于先檢測(cè)后跟蹤的加權(quán)顏色直方圖為匹配模板，基于動(dòng)態(tài)建模的粒子濾波實(shí)現(xiàn)對(duì)行人的有效跟蹤。在初始幀利用AdaBoost算法確定行人的位置、大小等狀態(tài)信息，以行人矩形框內(nèi)的加權(quán)顏色直方圖作為跟蹤的目標(biāo)模板，初始化粒子集。在后續(xù)的視頻圖像中，利用粒子濾波算法實(shí)現(xiàn)行人跟蹤。結(jié)果表明，即使在目標(biāo)有遮擋、陰影等復(fù)雜噪聲背景下，提出的方法也能很好地跟蹤到視頻序列中行人。

行人檢測(cè)；行人跟蹤；AdaBoost；加權(quán)顏色直方圖；粒子濾波

行人跟蹤不僅能夠提供行人的運(yùn)動(dòng)軌跡，也為后期的行為識(shí)別（如異常動(dòng)作檢測(cè)等）提供了準(zhǔn)確可靠的信息。在視頻序列中，為了估計(jì)行人的運(yùn)動(dòng)軌跡，可利用行人檢測(cè)算法確定初始幀圖像的行人狀態(tài)作為先驗(yàn)信息，結(jié)合行人的狀態(tài)方程和觀測(cè)方程對(duì)行人在后續(xù)幀的位置、速度、寬高等進(jìn)行估計(jì)［1-3］。

目前，行人跟蹤的方法有基于檢測(cè)的方法和基于跟蹤的方法兩大類［1］。當(dāng)行人運(yùn)動(dòng)模型為線性系統(tǒng)，噪聲符合高斯分布時(shí)，采用邊檢測(cè)邊跟蹤的卡爾曼濾波算法，可以得到最小均方誤差意義上狀態(tài)的最優(yōu)估計(jì)，試驗(yàn)達(dá)到了預(yù)期的效果。但也存在著跟蹤過(guò)程過(guò)多依賴檢測(cè)性能的問(wèn)題。另外，行人運(yùn)動(dòng)的自主性很強(qiáng)，運(yùn)動(dòng)軌跡是隨機(jī)、不確定的，行走過(guò)程中可能發(fā)生短時(shí)全部遮擋或局部遮擋，屬于非線性系統(tǒng)，原來(lái)的運(yùn)動(dòng)模型不一定符合實(shí)際行人行走的規(guī)律，并且利用最優(yōu)貝葉斯估計(jì)的預(yù)測(cè)與更新方程計(jì)算時(shí)，存在高維積分運(yùn)算，很難把最優(yōu)解析解形式狀態(tài)解出，此時(shí)使用Kalman濾波無(wú)法實(shí)現(xiàn)可靠地跟蹤［4-5］。而基于Monte-Carlo思想和遞推貝葉斯估計(jì)的粒子濾波在非線性、非高斯分布的系統(tǒng)中得到了研究者的推廣，非常適合非線性系統(tǒng)，即使在目標(biāo)有遮擋、陰影等復(fù)雜噪聲背景下，也能很好地跟蹤到視頻序列中行人。因此本文以加權(quán)顏色直方圖為匹配模板，基于動(dòng)態(tài)建模的粒子濾波實(shí)現(xiàn)對(duì)行人的有效跟蹤。

1 基于卡爾曼濾波的行人跟蹤算法

利用卡爾曼濾波對(duì)行人進(jìn)行跟蹤，需要首先確定行人的運(yùn)動(dòng)模型（即狀態(tài)方程）和觀測(cè)模型，然后再利用卡爾曼濾波的遞推方程組估計(jì)行人的運(yùn)動(dòng)狀態(tài)。

1.1 運(yùn)動(dòng)模型與觀測(cè)模型

視頻目標(biāo)與點(diǎn)目標(biāo)跟蹤的不同是：視頻目標(biāo)的狀態(tài)除了目標(biāo)的質(zhì)心位置，還要包括目標(biāo)的輪廓大小。對(duì)于行人跟蹤，通常采用外接矩形框表示目標(biāo)的輪廓［6］。在第t幀圖像中行人的狀態(tài)向量表示為

其中，（xt，yt）為行人矩形框質(zhì)心點(diǎn)第t幀圖像的像素位置，（Δxt，Δyt）分別為質(zhì)心的變化率，（ht，wt）為行人外接矩形框的高度和寬度，（Δht，Δwt）分別為矩形框高度和寬度的變化率。在相鄰幀之間，視頻目標(biāo)運(yùn)動(dòng)的機(jī)動(dòng)性不是很大，在大多數(shù)情況下采用一階常速模型表述行人變化規(guī)律。隨時(shí)間變化的目標(biāo)的狀態(tài)方程可以表示為

其中，ΔT為幀率的倒數(shù)，稱為采樣周期，Wt-1為多變量的高斯白噪聲。

行人檢測(cè)得到的是觀測(cè)向量Zt=（xt，yt，ht，wt）T，則系統(tǒng)的觀測(cè)模型為

使用卡爾曼濾波跟蹤行人，首先要確認(rèn)狀態(tài)變量的初始狀態(tài)值X0和誤差方差矩陣的初始值P0。本文利用行人檢測(cè)算法在連續(xù)兩幀圖像上進(jìn)行檢測(cè)，確定行人矩形區(qū)域質(zhì)心位置、矩形寬高、位置變化率、寬高變化率，然后從第3幀開(kāi)始跟蹤行人。因此，狀態(tài)向量的初始值可表示為

由于Pt在Kalman濾波中反復(fù)更新，因此可以將狀態(tài)的誤差方差矩陣初始值P0設(shè)置為較大初值。假設(shè)初始行人在x方向和y方向速度離真實(shí)速度有±5個(gè)像素誤差，在x方向和y方向離真實(shí)位置有±10個(gè)像素的誤差。由于行人腿部運(yùn)動(dòng)，使得行人矩形框的寬度比高度有較大的變化，所以矩形窗口的寬度誤差設(shè)為±10個(gè)像素，寬度變化率設(shè)為±5個(gè)像素，高度誤差設(shè)為±5個(gè)像素，高度的變化有±3個(gè)像素的誤差。因此，誤差方差矩陣初始值可表示為［1］

利用初始條件、狀態(tài)方程、觀測(cè)方程、誤差方差矩陣等已知條件，代入卡爾曼濾波遞推方程組進(jìn)行行人狀態(tài)的估計(jì)。

1.2 利用卡爾曼濾波實(shí)現(xiàn)行人跟蹤的試驗(yàn)

本文采用邊檢測(cè)邊跟蹤的卡爾曼濾波跟蹤算法對(duì)攝像機(jī)采集的視頻序列進(jìn)行行人跟蹤。行人跟蹤的具體流程為：

（1）視頻序列連續(xù)兩幀檢測(cè)到行人后，按式（4）求出狀態(tài)向量的初始值；

（2）通過(guò)前一時(shí)刻行人的狀態(tài)向量運(yùn)動(dòng)模型預(yù)測(cè)出行人在下一幀中的狀態(tài)。以此時(shí)狀態(tài)向量的位置元素（x，y）為中心，在寬、高元素的基礎(chǔ)上放大2倍，得出行人的感興趣區(qū)域；

（3）在感興趣區(qū)域利用AdaBoost行人檢測(cè)算法檢測(cè)行人，獲得當(dāng)前時(shí)刻下行人的觀測(cè)信息；

（4）利用觀測(cè)信息校正預(yù)測(cè)的狀態(tài)向量，通過(guò)卡爾曼濾波方程組得到狀態(tài)向量的最優(yōu)估計(jì)；最后轉(zhuǎn)入第（2）步進(jìn)行下一幀行人的跟蹤。

利用Kalman濾波和AdaBoost行人檢測(cè)算法實(shí)現(xiàn)視頻序列行人跟蹤，效果較好，如圖1所示。但該算法的觀測(cè)量主要依賴于行人檢測(cè)算法的準(zhǔn)確率。假如某一幀行人檢測(cè)算法的效果不好，如圖1中的第140幀，那么跟蹤效果就會(huì)受到影響，跟蹤軌跡偏離較大。更糟糕的是，如果某一幀中無(wú)法檢測(cè)出行人，那么就會(huì)導(dǎo)致跟蹤失敗。另外行人運(yùn)動(dòng)模型也是根據(jù)經(jīng)驗(yàn)得到的線性系統(tǒng)，噪聲也是符合高斯分布條件的。但在實(shí)際中行人的隨機(jī)行走具有很大的不確定性，不一定是線性系統(tǒng)和高斯分布，此時(shí)再利用Kalman濾波就會(huì)導(dǎo)致跟蹤失敗。因此可根據(jù)觀測(cè)向量的時(shí)間序列建立符合行人運(yùn)動(dòng)規(guī)律的狀態(tài)模型，定時(shí)更新?tīng)顟B(tài)模型，利用粒子濾波避免線性系統(tǒng)、高斯分布的限制，就能達(dá)到跟蹤的高可靠性。

圖1 Kalman濾波算法實(shí)現(xiàn)單個(gè)行人跟蹤

2 利用粒子濾波實(shí)現(xiàn)單個(gè)行人跟蹤的試驗(yàn)

運(yùn)用加權(quán)顏色直方圖的粒子濾波算法跟蹤視頻中的單個(gè)行人目標(biāo)。筆者選取校園內(nèi)的三個(gè)場(chǎng)景隨機(jī)拍攝了視頻序列，三個(gè)場(chǎng)景都分別拍攝了兩組視頻，一組視頻是1個(gè)行人；為模擬相似物的干擾，跟蹤行人有交叉運(yùn)動(dòng)，另一組多添加1個(gè)行人。視頻采集用惠普TrueVision HD攝像機(jī)，每幀速率為10 fps，幀的像素為320×240。這些視頻數(shù)據(jù)采集包括跟蹤目標(biāo)的隨意轉(zhuǎn)動(dòng)和相似物樹(shù)影以及光照變化等比較復(fù)雜的背景［2］。

2.1 初始化

首先利用雙閾值運(yùn)動(dòng)區(qū)域分割的AdaBoost行人檢測(cè)算法，給出跟蹤人所在區(qū)域的位置信息的起始狀態(tài)p（x0），其中狀態(tài)向量為x0=｛x0，y0，vx，vy，hx，hy，at_dot｝，檢測(cè)初始幀中的目標(biāo)行人。使用加權(quán)顏色直方圖作為觀測(cè)模型，按式求出加權(quán)顏色直方圖分布作為目標(biāo)模型。然后在目標(biāo)行人區(qū)域的中心點(diǎn)附近選取一些粒子，并初始化粒子集，每個(gè)粒子的狀態(tài)為，其中是在初始狀態(tài)的基礎(chǔ)上按照高斯分布N（0，0.42）疊加的隨機(jī)干擾。

2.2 粒子的傳播

對(duì)于視頻目標(biāo)來(lái)說(shuō)，在目標(biāo)變化機(jī)動(dòng)性很小的相鄰兩幀之間，可以用一階常速模型表述行人的運(yùn)動(dòng)變化。初始目標(biāo)隨時(shí)間的狀態(tài)改變方程可表示為

其中，A為系統(tǒng)傳遞矩陣，B為噪聲矩陣，ΔT為采樣周期，是視頻幀率的倒數(shù)，wk-1為一個(gè)多變量的高斯白噪聲。粒子集中的每個(gè)粒子按式（6）進(jìn)行改變，由k-1時(shí)刻傳播到k時(shí)刻，粒子集就更新了分布。隨著行人目標(biāo)的運(yùn)行，行人矩形框每間隔20幀就用中心點(diǎn)x、y坐標(biāo)、矩形半寬、半高四個(gè)狀態(tài)量形成的時(shí)間序列建立4個(gè)AR（p）模型［7］。然后由新的狀態(tài)方程確定粒子的傳播。給出AR模型階數(shù)p=3的x坐標(biāo)數(shù)據(jù)建立的模型為

誤差εxt～N（0，5.101 7）。AR模型階數(shù)p=1的y坐標(biāo)數(shù)據(jù)建立的模型為

誤差εyt～N（0，10.127 0）。矩形半寬hx的80幀數(shù)據(jù)建立的AR模型階數(shù)p=6，模型為

誤差εhxt～N（0，5.884 9）。矩形半高h(yuǎn)y的80幀數(shù)據(jù)建立的AR模型階數(shù)p=1，模型為

誤差εhyt～N（0，4.345 8）。這樣就由前p時(shí)刻的狀態(tài)確定狀態(tài)xt，yt，hxt，hyt。

2.3 粒子的觀測(cè)值計(jì)算

在獲得新的粒子集后計(jì)算它們用來(lái)確定的矩形候選區(qū)域的觀測(cè)值，即加權(quán)顏色直方圖分布q?iu，i=1，…，Np。然后計(jì)算目標(biāo)模型與各個(gè)粒子的候選模型，相似度函數(shù)值di，i=1，…，Np。并根據(jù)di計(jì)算出粒子對(duì)應(yīng)的顏色觀測(cè)似然函數(shù)值，歸一化用以更新粒子的權(quán)值

2.4 重采樣

根據(jù)粒子集的匱乏程度來(lái)決定是否對(duì)粒子集進(jìn)行重采樣。按隨機(jī)采樣將權(quán)值大的粒子多次復(fù)制，具體采用如下幾個(gè)步驟：

（3）令xi?xj，權(quán)重值重新定義為wi=1/N。為實(shí)現(xiàn)重采樣，需要在采樣總數(shù)保持不變的情況下多次復(fù)制權(quán)重較大的粒子。

到此，粒子集經(jīng)過(guò)系統(tǒng)狀態(tài)方程的預(yù)測(cè)，又經(jīng)過(guò)觀測(cè)方程的更新，最后新的狀態(tài)估計(jì)就是粒子集加權(quán)求和［8］。這個(gè)狀態(tài)估計(jì)處的加權(quán)顏色直方圖分布和目標(biāo)模型的相似度值滿足一定條件就更新目標(biāo)模型。

3 仿真跟蹤效果

（1）實(shí)驗(yàn)中只有一個(gè)跟蹤行人視頻圖像。在3個(gè)場(chǎng)景中跟蹤的效果如圖2～4所示。

圖2 場(chǎng)景1：對(duì)一個(gè)行人的跟蹤效果

圖2所在的視頻包含346幀圖像，跟蹤一個(gè)目標(biāo)。在第1幀矩形框中心分散80個(gè)粒子點(diǎn)。第293幀因?yàn)楸尘暗挠绊?，此目?biāo)粒子集在向背景漂移使得跟蹤矩形框與實(shí)際行人有一定程度的偏離，但在第300幀后，又逐步達(dá)到有效跟蹤。

圖3 場(chǎng)景2：跟蹤目標(biāo)反方向行走

由圖3可知，由于受到環(huán)境變化的影響，粒子濾波在行人跟蹤過(guò)程中效果會(huì)受到一定程度的影響，如第101幀，但到了第110幀又重新跟蹤上了。當(dāng)目標(biāo)在第143幀開(kāi)始轉(zhuǎn)向，向反方向行走時(shí)，同樣也能順利地跟蹤上目標(biāo)。

圖4 場(chǎng)景3：復(fù)雜場(chǎng)景下對(duì)單個(gè)人的跟蹤

圖4所在的視頻包含244幀，行人目標(biāo)相對(duì)較小，且左側(cè)圖像區(qū)域由于房屋、樹(shù)的倒影，以及汽車顏色的影響，光線偏暗，粒子傳播到左側(cè)區(qū)域時(shí)，分散度較大，跟蹤矩形框會(huì)與實(shí)際行人有較大的偏離，但到最后還是能跟蹤上目標(biāo)。

（2）實(shí)驗(yàn)中有兩個(gè)行人的視頻圖像。還是對(duì)其中一個(gè)行人進(jìn)行跟蹤，而另一個(gè)人與跟蹤目標(biāo)有相交情況，此時(shí)運(yùn)用粒子濾波跟蹤到的效果如圖5、6所示。

圖5 當(dāng)跟蹤目標(biāo)遇到行人交叉相遇而目標(biāo)不被遮擋

圖5所在的視頻包含232幀，目標(biāo)相對(duì)較小，當(dāng)跟蹤目標(biāo)在行走遇到其他行人沒(méi)有被遮擋時(shí)，在樹(shù)木倒影、光照變化的影響下，該粒子濾波算法能夠?qū)崿F(xiàn)正確的跟蹤。

圖6 當(dāng)跟蹤目標(biāo)遇到行人交叉相遇且目標(biāo)被遮擋

圖6所在的視頻包含252幀，目標(biāo)相對(duì)較小，當(dāng)跟蹤目標(biāo)在行走時(shí)遇到其他行人時(shí)，且目標(biāo)被行人遮擋，在樹(shù)木倒影、光照變化的影響下，該粒子濾波算法也能實(shí)現(xiàn)正確的跟蹤。

4 結(jié)語(yǔ)

對(duì)視頻序列的單個(gè)行人采用兩種方法進(jìn)行跟蹤。一種是邊檢測(cè)邊跟蹤的Kalman濾波行人跟蹤算法，另一種是基于加權(quán)顏色直方圖的先檢測(cè)后跟蹤粒子濾波行人跟蹤算法［3］。針對(duì)第1種方法，先建立行人運(yùn)動(dòng)模型和觀測(cè)模型；然后從初始狀態(tài)向量開(kāi)始預(yù)測(cè)下一時(shí)刻行人可能出現(xiàn)的候選區(qū)域，在候選區(qū)域中進(jìn)行AdaBoost行人檢測(cè)［5］，縮小檢測(cè)范圍，校正了Kalman濾波預(yù)測(cè)的狀態(tài)向量，保證了跟蹤的精度。但該算法過(guò)多依賴檢測(cè)效果的優(yōu)劣，因此使用第2種方法，先檢測(cè)初始視頻幀，確定行人的位置、寬高等作為跟蹤的先驗(yàn)信息；由先驗(yàn)信息計(jì)算加權(quán)顏色直方圖作為構(gòu)建似然函數(shù)的目標(biāo)模板，初始化粒子的狀態(tài)分布［9］；然后利用狀態(tài)轉(zhuǎn)移模型預(yù)測(cè)粒子下一時(shí)刻的狀態(tài)分布，計(jì)算每個(gè)粒子對(duì)應(yīng)的加權(quán)顏色直方圖與目標(biāo)模板的似然函數(shù)值，并更新粒子權(quán)值；根據(jù)有效粒子的個(gè)數(shù)判斷是否進(jìn)行重采樣，并對(duì)目標(biāo)模板更新；最后由所有粒子的加權(quán)和估計(jì)行人的運(yùn)動(dòng)狀態(tài)。實(shí)驗(yàn)表明，該算法在環(huán)境光照變化大、目標(biāo)半遮擋、全遮擋的情況下，都能有效地實(shí)現(xiàn)行人跟蹤。

［1］GORDONN.A hybrid bootstrap filter for target tracking in clutter［J］.IEEETransactionson Aerospaceand Electronic Systems, 1997,33（1）:353-358.

［2］李鍇,馮瑞.基于粒子濾波的多特征融合視頻行人跟蹤算法［J］.計(jì)算機(jī)工程,2012,38（24）:141-145.

［3］朱志宇.粒子濾波算法及其應(yīng)用［M］.北京:科學(xué)出版社,2010:3-32,190-206.

［4］朱偉.基于人體匹配解決多人體跟蹤中遮擋問(wèn)題的方法研究［D］.上海:上海交通大學(xué),2009.

［5］李偉,何鵬舉,楊恒,等.基于雙閾值運(yùn)動(dòng)區(qū)域分割的AdaBoost行人檢測(cè)算法［J］.計(jì)算機(jī)應(yīng)用研究,2012,29（9）: 3571-3574,3576.

［6］郭曉東.轎車前方行人識(shí)別及碰撞預(yù)警系統(tǒng)研究［D］.沈陽(yáng):東北大學(xué),2012.

［7］鄭曉薇,于夢(mèng)玲.基于Matlab多核集群的人臉識(shí)別算法的并行化設(shè)計(jì)［J］.計(jì)算機(jī)應(yīng)用,2011,31（10）:2597-2599.

［8］郭烈.基于單目視覺(jué)的車輛前方行人檢測(cè)技術(shù)研究［D］.長(zhǎng)春:吉林大學(xué),2007.

［9］胡士強(qiáng),敬忠良.粒子濾波原理及其應(yīng)用［M］.北京:科學(xué)出版社,2010.

【責(zé)任編輯：王桂珍 foshanwgzh@163.com】

Particle filter algorithm for tracking person tracking based on dynam icmodeling

ZHANG Yu-rong
（1.School of Information Engineering,Wuhan Universityof Technology,Wuhan 430070,China; 2.Department of Electronics Information,Huishang Vocational College,Hefei230061,China）

We study on particle filtering algorithm for tracking person based on theweighted color histogram.In the thesis,we use themethod with detecting person firstly and tracking itsecondly.First,we apply the pedestrian detection algorithm to rectangle the persons in the images and compute the status information,like position, scale,and so on.Then we compute theweighted color histogram in the rectangle region as target template.Then we initialize the particle setaccording to the startstatus.The random workmodel isused asstate equation in the initial tracking stage to propagate the state ofparticles.Thenwe compute theweighted colorhistogram of the each particle as observation data,and also compute the similarity coefficient between them and the target template. According to the similarity coefficient,each particle isweighted by thenew value.Then allweighted particlesare summed to get the final state estimation to be output.Finally,the particles were re-sampled to reduce the degradation.Since the personswalk in the uncertainty and random,one state equation isnoteffective to be used to track the target during thewhole procedure.Sowe propose themethod with dynamical state equation update based on time series to reduce the estimation error.The experimental results show that the proposedmethod can well track the video sequences in the presenceofcomplexbackground such asocclusion and shadow.

pedestrian detection;pedestrian tracking;AdaBoost;weighted colorhistogram;particle filtering

TP391.4

A

2017-05-12

安徽省自然科學(xué)研究重點(diǎn)項(xiàng)目（KJ2016A685）；安徽省教育廳質(zhì)量工程項(xiàng)目（2014jxtd110，2015tszy089）

張玉榮（1976-），女，安徽廬江人，徽商職業(yè)學(xué)院副教授，武漢理工大學(xué)博士生。

1008-0171（2017）04-0047-07