王愛麗　董寶田　武鴻源

(1.北京交通大學 交通運輸學院, 北京 100044; 2.中國鐵路總公司信息技術中心， 北京 100038)

?

基于多特征概率分布的均值漂移行人跟蹤算法*

王愛麗1,2董寶田1武鴻源1

(1.北京交通大學 交通運輸學院, 北京 100044; 2.中國鐵路總公司信息技術中心， 北京 100038)

在目標尺寸和顏色發(fā)生變化時，傳統(tǒng)均值漂移法因目標模型單一和核窗口大小方向固定而導致目標丟失.為此，文中提出一種基于多特征概率分布的均值漂移行人跟蹤算法，首先利用目標的顏色、輪廓和運動特征構建目標模型，得到顏色、邊緣和運動直方圖分布；然后將顏色和邊緣的直方圖反向投影生成二維概率密度分布，利用運動信息修正顏色和邊緣概率分布；并根據(jù)各特征所占權重，運用自適應融合法得到目標特征關聯(lián)概率分布；最后利用關聯(lián)概率密度的零階矩值調整下一幀跟蹤窗口尺寸，結合均值漂移跟蹤框架，實現(xiàn)常態(tài)下目標跟蹤.實驗結果表明，該算法提取的目標特征具有較強的準確性，能實現(xiàn)復雜交通場景下的行人跟蹤.

行人跟蹤；均值漂移；直方圖分布；多特征融合；關聯(lián)概率分布

智能交通視頻監(jiān)控系統(tǒng)是計算機視覺領域中新興的研究方向，具有廣泛的應用前景.其中，基于目標檢測對交通視頻圖像內目標跟蹤的研究，能實時、準確地獲取交通流中運動物體的信息，是計算機視覺領域的一個研究熱點和難點，為更高級的視覺范疇和視覺系統(tǒng)提供了有效的交通信息.

幾十年來，新的跟蹤方法層出不窮，主要包括基于圖像特征的方法、基于模板匹配的方法、基于區(qū)域的方法和基于學習的方法等[1- 3].近年來，基于模板匹配的均值漂移(Mean Shift)算法[3]受到了廣泛重視，該算法定位目標的方式是通過均值向量迭代求取概率密度極大值，能快速搜索和匹配目標，避免了窮盡搜索，從而極大降低了計算量，適應于對行人的實時跟蹤.然而，傳統(tǒng)均值漂移算法在跟蹤大小明顯變化和單一目標模型不能很好地描述的目標時，很容易在跟蹤過程中發(fā)生目標定位漂移甚至丟失目標.而利用多種特征進行跟蹤是提高跟蹤算法魯棒性的一種有效途徑.

為提高復雜環(huán)境下行人目標跟蹤的穩(wěn)定性，基于多特征的目標跟蹤方法[4- 12]開始興起.文獻[4]中采用顏色、紋理、邊緣方向特征，并在粒子濾波框架內進行概率融合，給出了一種通用性較好的多特征跟蹤方法，然而在復雜的背景中易受運動噪音干擾；文獻[5]中使用角點、邊緣、紋理和區(qū)域灰度特征實現(xiàn)對剛性目標的跟蹤；文獻[6]中提出了一種新的綜合輪廓和灰度特征的行人跟蹤算法，其性能依賴于預先構建的目標輪廓原型，且假設不同行人的輪廓是相互近似的，忽略了行人個體間的差異性；文獻[7]中將紅外圖像的灰度特征、可見光圖像的顏色和紋理特征融入到模板跟蹤框架中，實現(xiàn)了復雜環(huán)境下的目標跟蹤，該方法需要對多傳感器間進行同步測算和設置，計算復雜且成本高，不利于算法的推廣應用；文獻[8]和[9]中提出了融合顏色和形狀紋理特征的跟蹤算法，但忽略了目標的運動特性和每個特征的貢獻.

然而，多特征跟蹤算法仍依賴于單個特征的合理選擇，其性能的發(fā)揮受單個特征鑒別能力的影響較大，此外，融合方法的有效性會直接影響其跟蹤的性能.文中提出一種基于多特征概率分布的均值漂移行人跟蹤算法，綜合考慮目標的外表和空間特征，且利用運動特征修正各個特征概率分布，提高融合特征的有效性，實現(xiàn)目標精確跟蹤，提取出目標的運動軌跡、速度、加速度等交通信息.

1　基于多特征概率分布的均值漂移行人跟蹤算法

基于概率分布圖的均值漂移算法，其核心思想是在視頻圖像中的每一幀對應的概率分布圖上做Mean Shift迭代運算，并將前一幀的結果(搜索窗口的中心和大小)作為下一幀Mean Shift算法搜索窗口的初始值，重復這個過程，繼而實現(xiàn)目標跟蹤[10- 11].

在跟蹤過程中，目標特征概率分布模型構建和目標搜索定位[12]是最重要的兩個步驟.為了提高跟蹤的準確度，文中利用圖像的顏色、輪廓和運動特征構建目標模型，得到顏色、邊緣和運動直方圖分布；將顏色和邊緣的直方圖反向投影生成二維概率密度分布，利用運動信息修正顏色和邊緣概率分布，得到運動-顏色和運動-邊緣概率分布圖，并根據(jù)各特征所占權重自適應融合生成新型特征目標的關聯(lián)概率分布；最后利用關聯(lián)概率密度的零階矩值調整下一幀跟蹤窗口尺寸，結合Mean Shift跟蹤框架，實現(xiàn)目標定位跟蹤.

1.1目標特征直方圖分布

1.1.1顏色特征

在交通視頻圖像中，顏色信息是最典型的基本特征，對目標旋轉、遮擋等情況具有穩(wěn)健的特點.因此，文中首先采用目標的顏色直方圖分布信息來描述目標的外觀特征，選用RGB顏色空間三通道表示目標顏色信息，將R、G、B空間分為k個相等區(qū)間bin，這些bin構成了特征空間，這里設bin的個數(shù)為mbin=16×16×16.

把顏色特征空間分為16×16×16個顏色特征值，此時目標模型的直方圖表示為q=[q1q2…

(1)

圖1　顏色信息

1.1.2邊緣特征

雖然顏色特征對目標變形和姿態(tài)變化具有很強的頑健性，但其不能描述目標的空間結構，容易受外界條件的影響.而邊緣信息能夠彌補顏色信息的缺陷，不易受外界變化的影響，且不需要明確的目標模型[13].因此，文中選用邊緣信息來描述目標的空間特征.

在初始幀時，首先將彩色圖像轉換為灰度圖像，利用Sobel算子[14]求解圖像的計算邊緣梯度幅值G(x,y)和方向θ(x,y)：

(2)

式中，Gx[x,y]和Gx[x,y]分別表示水平和垂直方向的邊緣梯度幅值.

為提高邊緣直方圖的抗噪性，對邊緣方向進行濾波，保留邊緣強度大的邊緣信息，剔除偽邊緣，得到邊緣梯度幅值圖：

(3)

由于提取的邊緣Edge(x,y)存在不連續(xù)問題，文中采用形態(tài)學[11]對圖像進行修正(如式(4)所示)，完成對斷裂邊緣的連接，從而獲得高信噪比和低均方差的邊緣圖像.

(4)

式中，⊕表示膨脹運算，⊙為邊緣細化運算，?為擊中或擊不中的變換運算符.

通過式(2)標記出邊緣點，并在相應點計算出梯度方向，發(fā)現(xiàn)方向θ的取值范圍為θ∈(-90°,90°).為簡單起見，文中對目標圖像的邊緣點的方向θ進行量化，將其分為18等分，每個區(qū)間角度變化范圍為10°.

邊緣特征向量為qe=[qe1qe2…qem]T，m=18,則目標的邊緣直方圖分布函數(shù)表示為

(5)

式中，Cedge為歸一化常數(shù)，xedge(i,j)為目標區(qū)域通過邊緣檢測提取的邊緣像素集.圖2給出了行人的邊緣方向直方圖分布.

1.1.3運動特征

目標顏色和邊緣信息描述了目標靜態(tài)信息，但目標都是動態(tài)的，為了更好地對其跟蹤，還需檢測其運動信息.文中采用多幀差分法提取圖像目標的運動信息[13]，具體計算過程為：

(1)計算第t幀圖像It和第t-1幀圖像It-1之

圖2　邊緣信息

間以該像素為中心的3×3范圍內所有像素的絕對差之和，并賦值給該像素，得到前兩幀的差分圖像Dt,t-1(x,y)：

It-1(x+l,y+h)|

(6)

(2)同樣，計算第t-1幀圖像It-1和第t-2幀圖像It-2的差分圖像Dt-1,t-2(x,y)；

(3)求解圖像Dt,t-1(x,y)和圖像Dt-1,t-2(x,y)的均值：

(7)

(8)

1.2目標關聯(lián)概率分布

多種特征的聯(lián)合使用會有效地提高目標跟蹤的準確性，因此文中通過采用多信息融合算法自適應融合目標顏色、邊緣和運動信息，生成新型特征的目標關聯(lián)概率分布圖.具體融合過程如下.

(1)目標模型反向投影

直方圖反向投影是指將原始視頻圖像通過目標直方圖轉換到概率分布圖(PDM)的過程[11,13].直方圖反向投影產(chǎn)生的概率分布圖即為直方圖的反向投影圖，該概率分布圖中的每個像素值表示輸入圖像中對應像素屬于目標直方圖的概率.

(9)

圖3　反向投影結果

(2)利用運動引導顏色和邊緣概率分布

為了提高融合算法的有效性，文中首先將提取的運動信息M(xi,yi|t)融入到目標顏色和邊緣信息里，修正顏色概率分布圖Pcolor(xi,yi|t)和邊緣概率分布圖Pedge(xi,yi|t)，計算得到運動-顏色和運動-邊緣概率分布圖：

(10)

(3)目標的關聯(lián)概率分布

根據(jù)自適應融合機制，利用顏色直方圖分布qcolor和邊緣直方圖分布qedge所占的權重，將運動-顏色概率分布圖Pm-c(xi,yi|t)和運動-邊緣概率分布圖Pm-e(xi,yi|t)自動融合，得到融合后的關聯(lián)概率分布圖Pnew(xi,yi|t)：

Pnew(xi,yi|t)=wm-cPm-c(xi,yi|t)+

wm-ePm-e(xi,yi|t)

(11)

其中，

圖4給出了圖 1(a)中框內行人的各個信息相融合的結果，從圖4(d)中可以看出，利用多線索信息融合的目標表觀建模可以更精確地描述目標(所有結果都是經(jīng)過二值化和形態(tài)學[14]處理后提取).

圖4　多線索信息融合結果

1.3行人跟蹤算法實現(xiàn)

采用Mean Shift算法迭代尋找目標最優(yōu)位置區(qū)域，根據(jù)上述投影構建的新型目標概率密度分布圖Pnew(xi,yi|t)，計算該區(qū)域內以點k為中心的搜索窗口內目標概率密度的零階矩、一階矩和質心位置.并依據(jù)均值漂移思想迭代計算，最終定位目標.具體步驟如下.

步驟1目標模板初始化.利用行人檢測方法，提取初始幀中監(jiān)控區(qū)域內存在的行人目標區(qū)域，自動把跟蹤目標限定在矩形移動框內，將其作為初始化的搜索窗，設搜索窗的尺寸為s0，中心位置為K0,實現(xiàn)目標模板的初始化.

步驟3直方圖反向投影.將顏色和邊緣的直方圖反向投影，得到目標圖像的顏色概率分布圖Pcolor(xi,yi|t)和邊緣概率分布圖Pedge(xi,yi|t).

步驟4概率分布融合.將檢測到的運動信息M(xi,yi|t)融入到目標顏色和邊緣信息里，修正顏色概率分布圖和邊緣概率分布，得到運動-顏色概率分布Pm-c(xi,yi|t)和運動-邊緣概率分布Pm-e(xi,yi|t)，并根據(jù)顏色和邊緣特征所占權重進行融合運算，生成新型特征目標的關聯(lián)概率分布圖Pnew(xi,yi|t).

步驟5迭代搜索目標位置.在融合后的概率分布圖Pnew(xi,yi|t)上，根據(jù)搜索窗口的尺寸s0和中心位置P0計算搜索窗的質心位置，計算步驟為

(1) 計算搜索窗內零階矩M00和一階矩[M10,M01]

(12)

(13)

(3) 重新調整搜索窗的尺寸

(14)

(15)

(4) 反復執(zhí)行(1)、(2)、(3)，直至目標搜索窗口中心處于窗口中概率分布峰值處或滿足迭代次數(shù)則終止循環(huán).

2　實驗結果

文中以Matlab2009b為開發(fā)平臺，在IntelCorei5- 2500sCPU、2.70GHz、4.00GB內存、Win7計算機上，采用在北京市門頭溝區(qū)街道處采集的2段AVI格式的視頻，分別對不同行人目標進行跟蹤實驗.

圖5給出了在視頻序列I中基于文中跟蹤算法對單個目標進行定位跟蹤的結果.圖5(a)-5(d)依次為第100、200、390、476幀的跟蹤結果，矩形框內是跟蹤到的目標，跟蹤步長為2幀.從圖5的跟蹤過程中，可以看出目標逐漸遠離鏡頭，目標尺寸由約7 621像素逐漸縮小至約824像素，并伴有方向上的微動.傳統(tǒng)均值漂移算法在目標尺寸變化時，搜索窗口的大小固定不變，無法自適應調整目標尺度.而從圖5的跟蹤結果可看出，文中算法利用關聯(lián)概率密度的零階矩值調整下一幀跟蹤窗口尺寸，使搜索窗口(搜索窗口為矩形框)隨著目標的變化而變化，與實際需求相符合，進一步保證了跟蹤的可靠性.

圖5　單目標跟蹤結果

圖6給出了文中算法和原始均值漂移算法對上述交通場景的跟蹤定位結果.將文中算法跟蹤到的X、Y方向運動軌跡以及原算法跟蹤到的X、Y方向軌跡與實際軌跡(實驗中每幀圖像目標實際的中心位置(x、y)是通過手工逐幀標記獲取的)進行擬合比較，得到兩種算法的跟蹤誤差信息.從圖6(b)和6(d)中可以看出，在整個跟蹤過程中，由于原始算法無法自適應目標大小和方向的變化，造成在X、Y方向上跟蹤誤差較大，最大跟蹤誤差達到31.7 和22.39像素，平均誤差值達到17.694 5和12.266 6像素，且隨著時間的積累誤差越來越大.同時，從圖中也可以看出，由于文中跟蹤算法融入了邊緣、運動信息和搜索窗口的自適應調整，故采集到的X、Y方向上的目標位置信息與實際坐標軌跡變化狀態(tài)基本一致，均保持穩(wěn)定的較小誤差，最大誤差值分別為9.446 9和6.692 4像素，平均誤差值分別為3.504 3和2.687 2像素.

圖6　X、Y方向上的跟蹤定位結果對比

根據(jù)X、Y方向上的跟蹤坐標信息，計算出整個過程中總的誤差信息.圖7則給出了傳統(tǒng)Mean Shift算法單獨使用RGB顏色特征和文中改進算法的誤差對比結果.從圖中可以看出，在前面跟蹤階段中，原始算法出現(xiàn)較大誤差，最大誤差達到25.297 6像素；而文中算法最大誤差為8.166 3像素，誤差波動不是很大.在后續(xù)階段中，跟蹤目標遠離攝像頭，目標大小明顯變小，傳統(tǒng)均值漂移算法由于核函數(shù)窗口尺寸和方向固定，在基于已有較大誤差的跟蹤結果繼續(xù)迭代，促使跟蹤誤差進一步變大，平均誤差達到21.696 8像素，直至最終丟失目標；而文中算法平均跟蹤誤差和最大誤差分別僅為4.679 8和9.674 7像素，一直保持穩(wěn)定狀態(tài).

圖7　跟蹤誤差對比

圖8給出了在視頻序列II中基于文中跟蹤算法對多個行人進行跟蹤的結果，依次為第58、210、318、360、400、530、580、610、620、640、670、690幀的跟蹤結果.從圖中可以看出，多運動行人的跟蹤效果較好，行人運動軌跡基本都成功跟蹤到.同時，從圖8中可以看出監(jiān)控場景中含行人遮擋情況，圖8(h)-8(j)分別顯示遮擋前、中、后3個狀態(tài)的跟蹤效果.圖8(h)是行人發(fā)生遮擋前的跟蹤圖像，圖8(i)為遮擋中的跟蹤效果圖，圖8(j)為遮擋結束后的跟蹤圖像.從圖8(h)和8(i)可以看出，文中多特征融合算法在一定程度上可以抵制局部遮擋，雖在發(fā)生遮擋時跟蹤到的軌跡有些波動，遮擋結束后，基本能夠恢復對遮擋行人的跟蹤.

圖8　多行人跟蹤結果

圖9給出了上述交通場景整個跟蹤過程各個目標的跟蹤誤差變化情況(上圖已經(jīng)對各個目標進行編號).在跟蹤過程中，需建立目標鏈，隨著目標的進、出不斷更新，當目標走出跟蹤區(qū)域，則從目標鏈中刪除，圖9前面部分主要給出了目標1和2的誤差變化狀況；在中間部分目標3開始進入，而目標1和2離開跟蹤區(qū)域；在后面部分目標4進入.同時，從圖中也可以看出，在整個跟蹤過程中，各個目標的跟蹤誤差基本穩(wěn)定，最大誤差分別為13.865 7、12.925 7、16.342 5和12.674 8像素，平均誤差分別為5.536 7、5.325 7、5.738 1和4.913 5像素.實驗結果表明：文中算法因融入了邊緣、運動信息和搜索窗口的自適應調整，故在整個跟蹤過程中跟蹤目標的誤差波動不明顯，基本保持穩(wěn)定的較小誤差，行人跟蹤效果比原始算法更準確.

圖9　目標跟蹤誤差曲線圖

3　結語

為提高目標跟蹤的精度，文中提出了基于多特征概率分布的均值漂移行人跟蹤算法.采用顏色、邊緣、運動3個具有一定互補性的特征進行聯(lián)合概率跟蹤，通過目標顏色、輪廓和運動直方圖分布描述目標的外觀、空間和動態(tài)特征，增強了對目標特征的描述能力；該算法還根據(jù)直方圖反向投影和顏色、輪廓特征所占權重，運用自適應融合法生成新型特征目標的關聯(lián)概率分布，融合策略合理，實現(xiàn)簡單，保證了跟蹤性能的充分發(fā)揮；算法最后在均值漂移跟蹤框架下，通過關聯(lián)概率密度的零階矩值調整下一幀跟蹤窗口尺寸，實現(xiàn)搜索窗口的自適應調整，提高了目標跟蹤的準確度.行人跟蹤實驗結果表明，文中算法中顏色、輪廓特征的鑒別性較高，且融入了運動特征，避免了單一特征的不穩(wěn)定，對顏色相似區(qū)域、運動背景干擾和部分遮擋等均具有較高的魯棒性，比傳統(tǒng)Mean Shift算法的誤差小，跟蹤性能更好.然而，實際交通環(huán)境復雜，運動目標之間存在干擾、遮擋導致跟蹤位置丟失等問題，需對此展開進一步研究.

[1]RUI Y,CHEN Y.Better proposal distributions：object tracking using unscented particle filter [C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Arlington:[s.n.],2001,786- 793.

[2]SHAN C F,TAN T N,WEI Y C.Real-time hand tracking using a mean shift embedded particle filter [J].Pattern Recognition,2007,40(7):1958- 1970.

[3]顧幸方,茅耀斌,李秋潔.基于meanshift 的視覺目標跟蹤算法綜述 [J].計算機科學,2012,39(12)：16- 24.

GU Xing-fang,MAO Yao-bin,LI Qiu-jie.Survey on visual tracking algorithms based on mean shift. [J].Computer Science,2012,39(12)：16- 24.

[4]BRASNET P,MIHAYLOVA L,BULL D.Sequential monte carb tracking by fusing multiple cues in video sequence [J].Image Vision Computing,2007,25(8)：1217- 1227.[5]SERBY D,KOLLER-Meier E,VAN-Gool L.Probabilistic object tracking using multiple features [C]∥International Conference on Pattern Recognition.Cambridge:[s.n.],2004:184- 187.

[6]解易,裴明濤,于冠群.增量學習灰度與輪廓模板的行人跟蹤方法 [J].北京理工大學學報,2012,32(3):274- 280.

XIE Yi,PEI Ming-tao,YU Guan-qun.Incremental lear-ning intensity and contour templates for tracking pedes-trians on PTZ camera surveillance platform [J].Transactions of Beijing Institute of Technology,2012,32(3):274- 280.

[7]趙高鵬,薄煜明,陳益.多特征提取的紅外和可見光目標跟蹤方法 [J].兵工學報,2011,32(4)：445- 451.

ZHAO Gao-peng,BO Yu-ming,CHEN Yi.A method for tracking object in infrared and visible image based on multiple features [J].Journal of China Ordnance,2011,32(4):445- 451.

[8]賈松敏,王爽,王麗佳.多特征自適應均值漂移算法的目標跟蹤 [J].光電子·激光,2014,25(10):2018- 2024.

JIA Song-min,WANG Shuang,WANG Jia-li.Human tracking based on adaptive multi-feature mean-shift algorithm [J].Journal of Optoelectronics·Laser,2014,25(10):2018- 2024.

[9]WANG J Q,YAgi Y S.Integrating color and shape-texture features for adaptive real-time object tracking [J].IEEE Transactions on Image Processing,2008,17(2):235- 240.

[10]李琦,邵春福,岳昊.核窗口尺寸和目標模型自適應的均值漂移跟蹤 [J].華南理工大學學報(自然科學版),2013,41(2)：74- 81.

LI Qi,SHAO Chun-fu,YUE Hao.Mean shift tracking with adaptive kernel window size and target model [J].Journal of South China University of Technology(Natural Science Edition),2013,41(2)：74- 81.

[11]王年,丁業(yè)兵,唐俊,等.寬帶自適應的Mean shift 目標跟蹤算法 [J].華南理工大學學報(自然科學版),2011,39(10)：44- 49.

WANG Nian,DING Ye-bing,TANG Jun,et al.Bandwidth-adaptive mean-shift target tracking algorithm [J].Journal of South China University of Technology(Natural Science Edition),2011,39(10)：44- 49.

[12]丁業(yè)兵,王年,唐俊,等.基于顏色和邊緣特征Cam Shift目標跟蹤算法 [J].華東理工大學學報(自然科學版),2012,38(1)：69- 74.

DING Ye-bing,WANG Nian,TANG Jun,et al.Cam Shift target tracking algorithm based on color and edge character [J].Journal of East China University of Science and Technology(Natural Science Edition),2012,38(1)：69- 74.[13]王鑫,徐立中.圖像目標跟蹤技術 [M].北京：人民郵電出版社,2012.

[14]RAFAEL C G,RICHARD E W,STEVEN L E.Digital image processing using MATLAB [M].Beijing：Publishing House of Electronics Industry,2005：260- 280.

Supported by the National High-tech R & D Program of China(863 Program)(2009AA11Z207)

Mean Shift Pedestrian Tracking Algorithm Based on Multi-Feature Probability Distribution

WANGAi-li1,2DONGBao-tian1WUHong-yuan1

(1.School of Traffic and Transportation, Beijing Jiaotong University, Beijing 100044, China; 2.Information Technology Center,China Railway Corporation,Beijing 100044,China)

For the traditional mean shift tracking algorithm, single feature and fixed nuclear window size may result in a track loss when the size and color of targets change. In order to solve this problem, a pedestrian tracking algorithm is proposed based on the multi-feature probability distribution and the mean shift. In the algorithm, first, a target model is constructed based on the color, outline and movement features, and thus the color, edge and movement histogram distributions are obtained. Then, a two-dimensional probability density distribution is created by means of the back-projection of the color and edge histograms, and the color and edge probability distributions are corrected by using the movement information. Moreover, according to the multi-feature weights, the correlation probability distribution of target features is achieved by the adaptive fusion method. Finally, the zero moment of the correlation probability distribution is used to adjust the size of the next tracking window, and by combining the mean shift tracking framework, a normal target tracking is realized. Experimental results indicate that the proposed algorithm is more accurate in extracting target features and can track pedestrians in complex traffic scenes.

pedestrian tracking; mean shift; histogram distribution; multi-feature fusion; correlation probability distribution

2015- 10- 18

國家“863”計劃項目(2009AA11Z207)；高等學校博士學科點專項科研基金資助項目(20110009110011)

王愛麗(1987-),女,博士生,主要從事智能交通研究.E-mail：wangaili20050722@163.com

1000- 565X(2016)08- 0123- 08

U 491

10.3969/j.issn.1000-565X.2016.08.018