王 靜，王 琰，楊大為

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

一種改進(jìn)的兩階段目標(biāo)跟蹤方法

王 靜，王 琰，楊大為

(沈陽(yáng)理工大學(xué) 信息科學(xué)與工程學(xué)院，遼寧 沈陽(yáng) 110159)

針對(duì)動(dòng)態(tài)場(chǎng)景中使用固定模板進(jìn)行跟蹤容易丟失目標(biāo)的問(wèn)題以及利用動(dòng)態(tài)模型估計(jì)目標(biāo)位置時(shí)產(chǎn)生的漂移問(wèn)題，提出一種改進(jìn)的基于偏最小二乘法的兩階段目標(biāo)跟蹤方法。該方法利用偏最小二乘分析法對(duì)在高維特征空間中搜集的正負(fù)樣本降維，獲得特征子空間構(gòu)建目標(biāo)表觀模型集。跟蹤在貝葉斯推理框架下進(jìn)行：在初始跟蹤階段，利用粒子濾波原理及似然函數(shù)估計(jì)目標(biāo)的初步位置；在校正階段，采用一種適應(yīng)性的基準(zhǔn)模型確定最終的目標(biāo)位置。對(duì)一些視頻序列的實(shí)驗(yàn)結(jié)果證明了所提出方法的有效性。

目標(biāo)跟蹤;偏最小二乘法;粒子濾波;動(dòng)態(tài)模型集;基準(zhǔn)模型

目標(biāo)跟蹤在圖像理解、人-機(jī)交互、智能監(jiān)控、機(jī)器人學(xué)等方面有廣泛的應(yīng)用[1]。近年來(lái)，雖然人們已提出了大量的跟蹤算法，但在跟蹤過(guò)程中，由于受光照變化、遮擋、姿勢(shì)改變及復(fù)雜背景等因素的影響，要設(shè)計(jì)一種魯棒的跟蹤算法仍是一項(xiàng)極具挑戰(zhàn)的任務(wù)。目前已提出的算法根據(jù)其表觀模型大體上分為兩類：生成式模型跟蹤算法和判別式模型跟蹤算法。

生成式模型的跟蹤方法首先學(xué)習(xí)一個(gè)外觀模型來(lái)表示目標(biāo)，然后搜索具有最大相似度的圖像區(qū)域作為跟蹤結(jié)果。Ross等[2]提出了一種增量視覺(jué)跟蹤方法(IVT)，該方法用一個(gè)低維的PCA子空間表示目標(biāo)并假設(shè)誤差項(xiàng)是高斯分布，用最小二乘法求解目標(biāo)函數(shù)。盡管IVT方法對(duì)由光照變化和姿勢(shì)改變引起的外觀變化有效，但對(duì)一些具有挑戰(zhàn)性因素(如部分遮擋和背景擾動(dòng))仍不能很好地跟蹤。Adam等[3]用多碎片設(shè)計(jì)一個(gè)外觀模型，該模型對(duì)于部分遮擋是強(qiáng)健的。最近，稀疏表示被引進(jìn)到跟蹤任務(wù)中[4]，并且對(duì)部分遮擋、光照變化以及姿勢(shì)改變顯示了良好的效果。然而，生成式的方法丟棄了圍繞目標(biāo)區(qū)域的有用信息，而這些信息能夠?qū)⒛繕?biāo)更好地從背景中區(qū)分出來(lái)。

判別式模型的跟蹤方法視跟蹤為一個(gè)二進(jìn)制分類問(wèn)題，通過(guò)局部搜索在目標(biāo)圖像塊和背景中估計(jì)決定邊界。這些方法也稱為基于檢測(cè)的跟蹤方法，即視跟蹤為一項(xiàng)檢測(cè)工作[5]。Grabner等[6]提出了在線Boosting特征選擇方法。但是，此方法只使用一個(gè)正樣本和多個(gè)負(fù)樣本來(lái)更新分類器。如果當(dāng)前分類器檢測(cè)的目標(biāo)位置不準(zhǔn)確，抽取的正樣本也將不準(zhǔn)確，導(dǎo)致一個(gè)次優(yōu)更新的分類器。這種累積的誤差將嚴(yán)重地降低分類器的性能，最終導(dǎo)致跟蹤失敗(漂移)。多實(shí)例學(xué)習(xí)(MIL)跟蹤器[7]將正負(fù)樣本分別放入正負(fù)包，利用包相似函數(shù)在線訓(xùn)練分類器。該方法已被證明能很好地處理漂移問(wèn)題。但是，該方法中使用的噪聲或模型沒(méi)有考慮正樣本的重要性，因此，該跟蹤器可能會(huì)選擇一些效果較小的正樣本。

為處理判別式的方法在跟蹤階段由于估計(jì)不準(zhǔn)確導(dǎo)致目標(biāo)漂移問(wèn)題，本文加入校正，提出一種基于新的基準(zhǔn)模型的兩階段跟蹤方法。首先在運(yùn)動(dòng)目標(biāo)所占據(jù)的區(qū)域和其周圍的環(huán)境區(qū)域中，采用擾動(dòng)由狀態(tài)參數(shù)表示的圖像的方法獲得滿足數(shù)量要求的正、負(fù)樣本；再采用偏最小二乘回歸方法進(jìn)行降維，獲得特征子空間用于構(gòu)建基準(zhǔn)模型和動(dòng)態(tài)模型集；最后在兩階段的粒子濾波下進(jìn)行跟蹤：在初始跟蹤階段，采用一般的粒子濾波方法獲得目標(biāo)的估計(jì)位置；在校正階段，將新的具有適應(yīng)性的基準(zhǔn)模型應(yīng)用于該階段，從而確定目標(biāo)位置。通過(guò)對(duì)數(shù)個(gè)視頻序列的實(shí)驗(yàn)以及與已有的兩階段粒子濾波方法[8-9]的比較驗(yàn)證了本文提出的方法具有良好的跟蹤效果。

1 兩階段跟蹤方法

1.1 偏最小二乘法降維

為了建立由各因素構(gòu)成的數(shù)據(jù)矩陣X與由各目標(biāo)構(gòu)成的數(shù)據(jù)矩陣Y之間的關(guān)系，偏最小二乘方法(Partial Least Squares，PLS)[8]同時(shí)將X與Y作雙線性分解，即

X=TPT+E

Y=UQT+F

(1)

式中：T∈RN×p,U∈RN×p是因素(得分、成分)矩陣；P∈Rm×p,Q∈Rn×p是載荷矩陣；E∈RN×m,F∈RN×n是誤差項(xiàng)。通過(guò)求解優(yōu)化問(wèn)題：

(2)

式中表示內(nèi)積，可得w1、c1。通過(guò)以下公式：

(3)

由于目標(biāo)的外觀在跟蹤過(guò)程中很有可能是非線性且復(fù)雜的，因此一個(gè)線性的外觀模型不能滿足跟蹤需要。同時(shí)，目標(biāo)的外觀模型又在時(shí)間上相關(guān)且有可能重復(fù)，因此，用多個(gè)外觀模型表示目標(biāo)。圖1表明目標(biāo)的觀察在跟蹤過(guò)程中可以分為多個(gè)集。

圖1 目標(biāo)外觀在跟蹤過(guò)程中的變化

1.2 粒子濾波采樣

本文將目標(biāo)跟蹤當(dāng)作一個(gè)動(dòng)態(tài)的貝葉斯推理任務(wù)[12]進(jìn)行，給定目標(biāo)觀察組x1:t={x1,x2,…,xt}，目的是利用最大化后驗(yàn)估計(jì)來(lái)估計(jì)目標(biāo)狀態(tài)st，

(4)

(5)

式中，p(st|st-1)是描述連續(xù)幀間狀態(tài)轉(zhuǎn)移的運(yùn)動(dòng)模型，p(xt|st)是估計(jì)一個(gè)觀察圖像塊屬于目標(biāo)類的觀察模型。本文采用仿射運(yùn)動(dòng)模型，狀態(tài)轉(zhuǎn)移由隨機(jī)漫步形成，例如p(st|st-1)=N(st;st-1,Σ),Σ表示仿射參數(shù)方差的對(duì)角協(xié)方差矩陣。動(dòng)態(tài)似然函數(shù)由

p(xt|st)∝exp(-dt)

(6)

式中dt為樣本xt到習(xí)得的模型A間的距離，

(7)

1.3 適應(yīng)性的基準(zhǔn)模板

在動(dòng)態(tài)場(chǎng)景中，使用固定模板進(jìn)行目標(biāo)跟蹤容易丟失目標(biāo)，因?yàn)樗鼪](méi)有考慮光照及姿勢(shì)變化等因素引起的外觀改變。然而，如果過(guò)于頻繁地用新觀察更新模板，錯(cuò)誤有可能累積并且跟蹤器將遠(yuǎn)離目標(biāo)發(fā)生漂移。因此，為了更好地處理漂移問(wèn)題，采用兩階段粒子濾波方法，在校正階段不是以第一幀作為基準(zhǔn)模板而是采用新的基準(zhǔn)模板。

(8)

式中：A0在第一幀初始化；Ai為在線獲取的動(dòng)態(tài)模型，n根據(jù)動(dòng)態(tài)模型集中模型的個(gè)數(shù)改變。從而采用兩階段進(jìn)行跟蹤：在第一階段，利用粒子濾波原理在前一幀的目標(biāo)位置周圍隨機(jī)產(chǎn)生600個(gè)粒子并利用公式(7)分別計(jì)算其到習(xí)得的動(dòng)態(tài)模型集的距離，選出距離最小的作為當(dāng)前幀的初步估計(jì)目標(biāo)位置，至此獲得的位置可能有點(diǎn)不準(zhǔn)確但接近準(zhǔn)確的目標(biāo)位置；在校正階段，再次利用粒子濾波原理在第一步獲得的初步估計(jì)目標(biāo)位置周圍隨機(jī)產(chǎn)生600個(gè)粒子，利用公式(6)和(7)計(jì)算其到定義的適應(yīng)性基準(zhǔn)模型A0′的距離，選出似然函數(shù)值最大的即為當(dāng)前幀的最終目標(biāo)位置[13]。

使用該基準(zhǔn)模型，不僅與第一幀作了比較，也與在線獲取的動(dòng)態(tài)模型比較，使校正階段的基準(zhǔn)模板具有適應(yīng)性從而提高了跟蹤的準(zhǔn)確性，進(jìn)一步減輕了目標(biāo)漂移問(wèn)題。

1.4 跟蹤算法

(1) 輸入：圖像幀F(xiàn)1,…,FN.

(2) 當(dāng)t=1時(shí)手動(dòng)標(biāo)定目標(biāo)區(qū)域，搜集正負(fù)樣本并計(jì)算外觀模型A0；當(dāng)t≠1時(shí)，階段1：利用粒子濾波原理在前一幀的跟蹤結(jié)果st-1周圍隨機(jī)產(chǎn)生粒子，選出距離最小的作為初始估計(jì)的目標(biāo)位置st；階段2：再次使用粒子濾波原理及初步估計(jì)的跟蹤結(jié)果st與基準(zhǔn)模型，選出似然函數(shù)值最大的作為最終的跟蹤結(jié)果st。

(3) 使用當(dāng)前獲得的跟蹤結(jié)果更新動(dòng)態(tài)的外觀模型。

(4) 輸出：第t幀的跟蹤結(jié)果st并用矩形框顯示目標(biāo)。

2 實(shí)驗(yàn)結(jié)果及分析

圖2 操作界面示意圖

圖3 David-indoor視頻序列的跟蹤結(jié)果

圖4 CocaCola視頻序列的跟蹤結(jié)果

圖5 Trellis視頻序列的跟蹤結(jié)果

圖6 Boy視頻序列的跟蹤結(jié)果

圖7 David-indoor序列的中心位置差曲線圖

圖8 CocaCola序列的中心位置差曲線圖

圖9 Trellis序列的中心位置差曲線圖

圖10 Boy序列的中心位置差曲線圖

表1 平均中心誤差(像素)

光照及姿勢(shì)變化：在David-indoor及Trellis中，見(jiàn)圖3、圖5，對(duì)視頻序列中的人進(jìn)行跟蹤，并且目標(biāo)均有很大的光照及姿勢(shì)變化。PLS方法雖然在David-indoor視頻序列中出現(xiàn)了目標(biāo)跟丟的情況，但整體跟蹤效果較好。但在Trellis視頻跟蹤中，其誤差曲線圖9在100幀以后將目標(biāo)丟失了。如圖5中，Trellis的第151幀出現(xiàn)了偏差，在第200、280、380、515中丟失跟蹤目標(biāo)。分析原因，是由于目標(biāo)受光照，尺度及姿勢(shì)發(fā)生巨大變化時(shí)，僅僅用第一幀作為基準(zhǔn)模型遠(yuǎn)遠(yuǎn)不能滿足跟蹤需要，因此出現(xiàn)了目標(biāo)丟失情形。

旋轉(zhuǎn)及突然運(yùn)動(dòng)：PLS1是單階段的跟蹤算法，通過(guò)觀察圖7、8、9和10，表明兩階段的跟蹤算法比單階段的跟蹤效果更好，更穩(wěn)定。因?yàn)閱坞A段的只在線學(xué)習(xí)一個(gè)外觀模型從而更容易跟丟目標(biāo)，特別是對(duì)于如圖4的CocaCola序列，對(duì)該序列中的物進(jìn)行跟蹤時(shí)目標(biāo)發(fā)生旋轉(zhuǎn)以及如圖6的Boy序列，對(duì)該序列中的人進(jìn)行跟蹤時(shí)目標(biāo)突然運(yùn)動(dòng)的情況，很容易產(chǎn)生不理想的外觀模型，從而導(dǎo)致錯(cuò)誤累積。從圖7、8、9、10可以看出，PLS1的跟蹤誤差常常出現(xiàn)較大波動(dòng)。

本算法采用適應(yīng)性的基準(zhǔn)模型，使跟蹤更具在線學(xué)習(xí)性。即使目標(biāo)受光照、尺度及姿勢(shì)發(fā)生巨大變化時(shí)，仍能穩(wěn)定地跟蹤目標(biāo)。在David-indoor視頻序列中本算法仍能很好地跟蹤，即作為基準(zhǔn)的模板既利用了第一幀的靜態(tài)模型，又利用了動(dòng)態(tài)模型集從而使新的基準(zhǔn)模板更具有適應(yīng)性。表1表明在校正階段采用適應(yīng)性的基準(zhǔn)模板的跟蹤方法具有更好的跟蹤效果。

表2 目標(biāo)位置的部分坐標(biāo)

注：與原始位置最接近的用粗體表示.

3 結(jié)論

提出了一種改進(jìn)的兩階段跟蹤方法。在校正階段，提出了適應(yīng)性的基準(zhǔn)模型，將第一幀的模型和選入動(dòng)態(tài)模型集中的模型的均值作為新的基準(zhǔn)模型，使基準(zhǔn)模板具有適應(yīng)性，從而更好地對(duì)跟蹤階段的初步跟蹤結(jié)果進(jìn)行校正。對(duì)不同視頻序列的目標(biāo)跟蹤結(jié)果表明，本文算法進(jìn)一步解決了目標(biāo)漂移問(wèn)題，比PLS的跟蹤穩(wěn)定性有所提高。

[1]A.Yilmaz,O.Javed,M.Shah.Object tracking:A survey [J].ACM Computing Surveys (CSUR),2006,38(4):13.

[2]D.Ross,J.Lim,R.Lin,et al.Incremental learning for robust visual tracking [J].International Journal of Computer Vision,2008,77(1-3):125-141.

[3]A.Adam,E.Rivlin,I.Shimshoni.Robust fragments-based tracking using the integral histogram[C].CVPR,2006 IEEE Computer Society Conference on.IEEE,2006:798-805.

[4]X.Mei,H.Ling.Robust visual tracking using l1 minimization[C].Computer Vision,2009 IEEE 12th International Conference on.IEEE,2009:1436-1443.

[5]張謝華,路梅,田敏.基于支持向量機(jī)的目標(biāo)跟蹤研究[J].計(jì)算機(jī)工程與設(shè)計(jì),2011,32(12):4210-4212.

[6]H.Grabner,M.Grabner,H.Bischof.Real-time tracking via on-line boosting[C].BMVC,2006:6.

[7]B.Babenko,M.Yang,S.Belongie.Robust object tracking with online multiple instance learning [J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2011,33(8):1619-1632.

[8]Qing Wang,Feng Chen,Wenli Xu,et al.Object Tracking via Partial Least Squares Analysis [J].Image Processing,IEEE Transactions on,2012,21(10):4454-4465.

[9]Qing Wang,Feng Chen,Wenli Xu,et al.Online Discriminative Object Tracking with Local Sparse Representation[C].Applications of Computer Vision(WACV),2012 IEEE Workshop on.IEEE,2012:425-432.

[10]X.Li,W.Hu,Z.Zhang,et al.Robust visual tracking based on incremental tensor subspace learning[C].Computer Vision,2007.ICCV 2007.IEEE 11th International Conference on.IEEE,2007:1-8.

[11]R.S.Lin,D.A.Ross,J.Lim,et al.Adaptive discriminative generative model and its applications[C].Advances in neural information processing systems,2004:801-808.

[12]Dong Wang,Huchuan Lu,Ming-Hsuan Yang.Least Soft-thresold Squares Tracking [C].CVPR,2013 IEEE Conference on.IEEE,2013:2373-2375.

[13]Kaihua Zhang,Lei Zhang,Ming-Hsuan Yang.Fast compressive tracking [J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2014,36(10):2002-2015.

[14]岡薩雷斯.數(shù)字圖像處理(MATLAB版)[M].北京:電子工業(yè)出版社,2009.

(責(zé)任編輯：馬金發(fā))

An Improved Two-phase Object Tracking Method

WANG Jing，WANG Yan，YANG Dawei

(Shenyang Ligong University，Shenyang 110159，China)

To solve the problem that tracking with fixed templates is prone to fail in dynamic scenes and alleviate the visual drift problem caused by using dynamic models to estimate the target position in object tracking,an improved two-phase object tracking is proposed by partial least squares method.A low-dimensional feature subspace is studied with a few positive and negative samples in the high-dimensional feature space via partial least squares(PLS) analysis,which constructs an appearance model.Object tracking is carried out within the Bayesian inference framework:in the initial tracking phase,the preliminary estimation of object location is achieved by particle filter principle;in calibrating phase,the adaptive benchmark model is adopted to determine the final target location.Experimental results on some video sequences show the proposed method effectiveness.

object tracking;partial least squares(PLS);particle filter;dynamic model;benchmark model

2014-07-08

沈陽(yáng)市科技創(chuàng)新專項(xiàng)基金資助項(xiàng)目(F13-316-1-73)

王靜(1989—)，女，碩士研究生；通訊作者：王琰(1962—)，女，教授，博士，研究方向：計(jì)算機(jī)圖形學(xué)，虛擬現(xiàn)實(shí)技術(shù)，圖像處理技術(shù).

1003-1251(2015)02-0016-07

TP391.41

A