顧幸方

(南京理工大學(xué)自動(dòng)化學(xué)院，江蘇南京210094)

0 引言

視頻中的運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)的一個(gè)重要研究領(lǐng)域，它在智能監(jiān)控、人機(jī)交互、機(jī)器人導(dǎo)航和基于運(yùn)動(dòng)的識(shí)別等領(lǐng)域有著廣泛的應(yīng)用前景［1］。至今已經(jīng)有許多視頻跟蹤算法被提出，其中基于Mean Shift的跟蹤框架［2］自提出起就受到研究者的廣泛關(guān)注。該框架利用空間加權(quán)的顏色直方圖作為目標(biāo)模型，用Bhattacharrya距離度量目標(biāo)與候選目標(biāo)之間的差異度。它將跟蹤問(wèn)題轉(zhuǎn)化為最大化相似度量的優(yōu)化問(wèn)題，通過(guò)Mean Shift迭代來(lái)找到目標(biāo)函數(shù)的局部最優(yōu)值。該方法具有計(jì)算負(fù)荷小、跟蹤效果較好的優(yōu)點(diǎn)，自提出以來(lái)吸引了大批研究者的關(guān)注。但是，此跟蹤框架也具有明顯的缺陷。由于目標(biāo)模型是建立在全局顏色直方圖上，因而丟失了目標(biāo)各個(gè)部分的位置信息。所以在遇到遮擋問(wèn)題時(shí)目標(biāo)位置會(huì)產(chǎn)生漂移，當(dāng)遮擋面積大于一定程度時(shí)甚至?xí)G失目標(biāo)。文獻(xiàn)3提出了將目標(biāo)分塊以克服遮擋的思想，文中采用了窮搜索的方式來(lái)跟蹤目標(biāo)，當(dāng)目標(biāo)尺寸稍大時(shí)難以保證實(shí)時(shí)性。另一方面，跟蹤窗口中難免摻雜背景象素，目標(biāo)中也可能存在與背景顏色相似的部分，這些都對(duì)跟蹤的穩(wěn)健性造成影響。本文采用目標(biāo)分塊的Mean Shift跟蹤，并且通過(guò)對(duì)前景與背景直方圖的分析來(lái)抑制目標(biāo)中與背景相似象素的權(quán)重，從而提高了跟蹤的穩(wěn)健性，并且具有較好的實(shí)時(shí)性。

1 基于分塊的Mean Shift跟蹤算法

1.1 分塊方式

首先將跟蹤目標(biāo)分為若干不重疊的子塊，3種分塊方式如圖1所示。選擇某種分塊方式與實(shí)際目標(biāo)尺寸、遮擋出現(xiàn)的位置和遮擋面積大小等因素相關(guān)。分塊過(guò)多會(huì)影響跟蹤的實(shí)時(shí)性，分塊過(guò)少使抗遮擋的性能下降。

文獻(xiàn)4采用圖1(b)、(c)結(jié)合的分塊方式。對(duì)類(lèi)似人臉形狀目標(biāo)，本文采用圖1(a)所示分塊方式，而對(duì)于行人采用圖1(b)所示分塊方式。對(duì)于遮擋面積在70%以上的情況，圖1(a)中仍可保證2個(gè)子塊能夠獲得比較好的跟蹤效果。如果分塊過(guò)多，每個(gè)子目標(biāo)覆蓋的面積太小以至直方圖模型易受干擾產(chǎn)生漂移，影響跟蹤效果。

圖1 目標(biāo)分塊方式

1.2 分塊跟蹤與整體目標(biāo)位置確定

基于分塊的Mean Shift跟蹤框架下每個(gè)分塊成為一個(gè)獨(dú)立的目標(biāo)。每個(gè)分塊跟蹤結(jié)束后，計(jì)算候選子目標(biāo)與原子目標(biāo)之間的相似度。設(shè)ρj表示第j個(gè)分塊的Bhattacharyya系數(shù)。選出候選目標(biāo)與原目標(biāo)最相似，也就是Bhattacharyya系數(shù)最大的子塊的位移作為整個(gè)目標(biāo)的移動(dòng)方向和距離。然后以整個(gè)目標(biāo)的新位置更新其他分塊的位置，再進(jìn)行下一幀的處理。但是，當(dāng)目標(biāo)受到遮擋時(shí)僅僅依賴(lài)一個(gè)子塊的跟蹤來(lái)確定整體的位置是有風(fēng)險(xiǎn)的，有時(shí)會(huì)產(chǎn)生目標(biāo)漂移，所以需要綜合考慮多個(gè)子塊的跟蹤情況。當(dāng)ρj＜ρ_th時(shí)認(rèn)為所在子塊j所在區(qū)域有遮擋出現(xiàn)，本文取ρ_th=0.7。記錄沒(méi)有被遮擋子塊的個(gè)數(shù)Nnon，若Nnon≥1，則候選目標(biāo)的位置由相似度最高子塊j*的位置與其他未發(fā)生遮擋子塊(ρj≥ρ_th，j≠j*)的位置加權(quán)決定:

式中，yj是每個(gè)分塊在Mean Shift迭代收斂后的位置，devij是每個(gè)分塊的中心相對(duì)整體目標(biāo)中心的偏移，λ表示其權(quán)重，本文取λ=0.8。當(dāng)Nnon=0，即所有候選目標(biāo)中分塊與原分塊之間的相似度都較小，候選目標(biāo)位置由所有分塊按各自相似度加權(quán)決定:

2 基于前景/背景信息的跟蹤

在視頻目標(biāo)跟蹤系統(tǒng)中，如果目標(biāo)模型(前景)與背景環(huán)境有比較好的區(qū)分度，那么簡(jiǎn)單的跟蹤算法就能獲得比較好的跟蹤效果。文獻(xiàn)5提出一種計(jì)算跟蹤窗口中象素隸屬目標(biāo)概率的方法，其主要思想為在跟蹤窗口外設(shè)置一個(gè)背景窗口分析前景與背景的直方圖信息。如圖2(a)所示，紅色窗口為跟蹤窗口，綠色與紅色窗之間是背景窗口。設(shè)hob和hbg分別表示跟蹤窗口和背景窗口的歸一化顏色直方圖，則跟蹤窗口中的象素xi屬于前景的隸屬度為:

式中，u=b( xi)表示象素xi的灰度值(彩色圖像中為RGB值在直方圖中的索引值)。ε是為了保證分母和對(duì)數(shù)函數(shù)的自變量不為零。

由式3的定義，L(xi)＞0表示顏色b(xi)屬于目標(biāo)的概率較大，反之屬于背景的概率較大。當(dāng)L(xi)接近0時(shí)，顏色b( xi)在目標(biāo)與背景中有相似分布。采用sigmoid函數(shù)將L(xi)的值限定在區(qū)間(0，1)之間，即令λu=1/(1+e－Lu/0.5)。將λu作為象素屬于目標(biāo)的隸屬度引入直方圖的計(jì)算，用來(lái)抑制直方圖中屬于背景的分量。因此，目標(biāo)與候選目標(biāo)的直方圖模型如:

式中，k(x)為核函數(shù)的輪廓函數(shù)，常用Epanechnikov核、高斯核等，C與Ch分別為歸一化系數(shù)。在跟蹤結(jié)束后，以整體目標(biāo)位置及其周?chē)尘爸匦掠?jì)算{λu}u=1，…，m更新直方圖分量的權(quán)重系數(shù)。圖2(b)～(d)顯示了上述前景與背景分割方法的效果，為了能直觀地展示效果將窗口內(nèi)滿(mǎn)足L(xi)≤0的象素點(diǎn)設(shè)置為白色，滿(mǎn)足L(xi)＞0的象素點(diǎn)保持不變。

圖2 前景與背景的分割

3 實(shí)驗(yàn)結(jié)果及分析

本文的實(shí)驗(yàn)在VC++6.0環(huán)境，以及內(nèi)存1G、主頻1.83GHz的筆記本上完成。并實(shí)現(xiàn)了經(jīng)典的Mean Shift跟蹤算法與文獻(xiàn)6所述分塊跟蹤算法用于和本文算法進(jìn)行對(duì)比。目標(biāo)RGB顏色直方圖模型的分辨率為16×16×16。本文算法在兩段測(cè)試視頻上的跟蹤效果如圖3、4所示。根據(jù)目標(biāo)形狀不同，對(duì)人臉采用3×3的分塊(如圖1(a))，而對(duì)行人采用如圖1(b)所示分塊。圖3顯示了各個(gè)子塊的跟蹤情況，圖中小矩形框是滿(mǎn)足ρj≥ρ_th的分塊。圖3(a)～(d)顯示隨著遮擋面積的增大能滿(mǎn)足上述條件的分塊個(gè)數(shù)逐漸減少。但是，整體目標(biāo)的定位仍不受遮擋的影響。

圖3 子塊跟蹤結(jié)果

一段行人跟蹤的測(cè)試結(jié)果如圖4所示，由于行人姿態(tài)變化、背景變化和攝像機(jī)移動(dòng)等不利因素，所以這段視頻更具挑戰(zhàn)。圖4中紅色與綠色窗口分別表示本文算法與經(jīng)典Mean Shift跟蹤算法。從結(jié)果中可以看到，本文方法能夠比較穩(wěn)健地跟蹤行人，在其受到遮擋以及漸遠(yuǎn)的過(guò)程中基本能保證目標(biāo)定位的準(zhǔn)確性，而經(jīng)典方法下目標(biāo)位置有較大偏移。

圖4 行人跟蹤結(jié)果對(duì)比

此外，與文獻(xiàn)6提出的分塊Mean Shift跟蹤算法相比，本文算法具有更準(zhǔn)確的目標(biāo)定位能力。如圖5(a)所示，文獻(xiàn)6算法在受到不同方向的遮擋干擾情況下目標(biāo)窗口有相應(yīng)偏移，而本文算法的偏移量相對(duì)較小。圖5(b)顯示了3種算法的跟蹤偏差，其中真實(shí)位置由文獻(xiàn)3提供。圖中每隔5幀記錄上述算法結(jié)果與真實(shí)位置的歐式距離。從圖中可以看到本文算法明顯優(yōu)于經(jīng)典Mean Shift算法，而且在絕大多數(shù)幀中偏差小于文獻(xiàn)6算法。

4 結(jié)束語(yǔ)

本文提出了一種基于目標(biāo)分塊與前景/背景信息的Mean Shift跟蹤算法。分塊表達(dá)提供了目標(biāo)各個(gè)部分的位置信息，而前景與背景直方圖的分析抑制了跟蹤窗口內(nèi)摻雜的背景象素和與背景相似的目標(biāo)象素對(duì)跟蹤效果的干擾。實(shí)驗(yàn)結(jié)果顯示本文方法能夠有效克服短時(shí)遮擋問(wèn)題，具有較強(qiáng)穩(wěn)健性，并且能夠滿(mǎn)足實(shí)時(shí)性的要求。另外，對(duì)目標(biāo)尺度的估計(jì)是未來(lái)研究的重點(diǎn)與難點(diǎn)，使跟蹤窗口與實(shí)際目標(biāo)尺度保持一致可以進(jìn)一步增加跟蹤的穩(wěn)健性。

圖5 本文算法與經(jīng)典Mean Shift及文獻(xiàn)6算法的對(duì)比

［1］ Alper Yilmaz，Omar Javed，Mubarak Shah.Object tracking:A survey［J］.ACM Computing Surveys，2006，38(4):1 －45.

［2］ Comaniciu D，Ramesh V，Meer P.Kernel－based object tracking［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2003，25(5):564－575.

［3］ Amit Adam，Ehud Rivlin，Ilan Shimshioni.Robust Fragments－based Tracking using the Integral Histogram［C］.New York:Proceedings of IEEE conference on Computer Vision and Pattern Recognition，2006:798－805.

［4］ 顏佳，吳敏淵，陳淑珍.應(yīng)用Mean Shift和分塊的抗遮擋跟蹤［J］.光學(xué)精密工程，2010，18(6):1 413－1 418.

［5］ Robert Collins，Yanxi Liu，Marius Leordeanu.Online Selection of Discriminative Tracking Features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1 631－1 643.

［6］ Fanglin Wang，Shengyang Yu，Jie Yang.A novel fragments－ based tracking algorithm using mean shift［C］.Hanoi:Proceedings of IEEE International Conference on Control Automation Robotics and Vision，2008:694－698.