石祥濱，喬利英，劉 芳，吳杰宏

(沈陽航空航天大學 a.計算機學院;b.工程訓練中心，沈陽 110136)

在動態(tài)環(huán)境下進行目標跟蹤是當今機器視覺中的一個研究熱點和難點，并被廣泛應用于軍用和民用領域。目前，國內外學者提出了許多不同的跟蹤算法［1－3］，但是這些算法大都是面向特定應用環(huán)境的。為了提高跟蹤的魯棒性，許多人研究認為利用多個特征進行目標跟蹤是解決這一問題的有效途徑。但是，多特征跟蹤存在的兩個問題即如何合理選擇目標特征以及如何構造有效的融合機制。文獻［4］使用串行結構處理多個視覺線索，最大的特點就是跟蹤系統(tǒng)對環(huán)境和場景變化的自組織和自適應力強。Collins等［5］將一種在線多特征自適應選擇機制嵌入在均值漂移跟蹤方法中，但該方法本質上還是只利用了目標的顏色特征，當目標和背景相似時其跟蹤效果較差。對此，文獻［6］提出的算法從顏色和形狀－紋理等7個特征分量中選擇前兩個較可靠的特征集合來描述目標，并且跟蹤過程中對模板進行了更新。但該方法在模板跟蹤過程中是對一定間隔的幀數(shù)進行模板更新，無法適應跟蹤過程中的環(huán)境突變，所以不具有完全的自適應性。王歡等［7］在Auxiliary粒子濾波框架內將所有特征觀測進行概率融合，并使用融合權系數(shù)計算法進行擇優(yōu)過濾，跟蹤結果更可靠，但是該方法復雜度高，跟蹤實時性難以保證。

Mean Shift算法［8］是一種基于非參數(shù)概率密度估計的核跟蹤方法。該方法實時性好、易于實現(xiàn)，且對邊緣遮擋、目標旋轉以及輕微的變形都不敏感，因而在人體目標跟蹤中得到了廣泛應用。但是，該算法魯棒性不高，原因是單一信息缺乏對光照變化及相似背景等的足夠強的區(qū)分性，而且缺乏有效的模板更新機制。

針對上面算法存在的缺陷，同時考慮Mean Shift方法的不足之處，本文提出了一種基于顏色和邊緣特征相融合的方法，并且對跟蹤過程中目標的模板變化進行及時更新。該方法首先在初始幀通過構造目標兩個特征的核密度模型來描述目標;然后在待檢測幀中使用相似度函數(shù)的加權融合來度量每個特征與模板的相似性;通過尋找候選目標與模板的總體最大相似度來完成對目標的定位;最后通過對目標特征權值和模板的更新來避免跟蹤中模板漂移現(xiàn)象的發(fā)生。提出的方法在精確性和魯棒性方面對單一特征的Mean Shift跟蹤算法進行了改進，實驗結果證明了本文提出的算法的有效性。

1 目標特征提取

1.1 顏色特征描述

傳統(tǒng)Mean Shift方法通常采用RGB顏色空間，但是這種彩色空間具有分量間高度相關性且與人的視覺感知不一致的缺點。為了獲得對光照變化的魯棒性，減弱通道間的耦合關系，本文將輸入的彩色圖像從RGB顏色空間轉變到HSV空間。其中H(Hue)表示色調，S(Saturation)表示飽和度，V(Value)表示顏色的亮度。HSV顏色空間的兩個重要特點是:首先亮度分量與色調分量是分開的，V分量與圖像的彩色信息無關。其次，H與S分量與人感受色彩的方式緊密相連。這些特點使得HSV顏色空間非常適合人的的視覺系統(tǒng)對彩色感知特性進行處理分析。計算公式［9］如下:

其中(R，G，B)分別代表紅、綠、藍像素值，取值范圍為［0，255］。H 的取值范圍為［0，360］。從公式(1)中觀察到，當亮度值變得很高或者很低時，會導致H值發(fā)生較大波動。這樣會使反投影圖像表示不精確，同時也增加了噪聲。為了消除這種影響，本文對亮度設定閾值，剔除掉小于或者大于一定亮度值的像素。本文只考慮那些與亮度值大于10或者小于240對應的H值。

為了簡便，本文僅提取H分量信息建立目標顏色直方圖。首先將H值均勻劃分成m個小區(qū)間，每個小區(qū)間稱為直方圖的一個bin。然后，統(tǒng)計目標區(qū)域內落入每個直方圖區(qū)間的像素數(shù)。同時，使用核函數(shù)給靠近中心位置的像素賦予較高的權值，靠近邊緣的賦予較低權值，以降低背景噪聲的影響，提高顏色特征對目標和背景的區(qū)分能力。這樣得到的色度特征向量為:Qc=(qc1，qc2，…qcm)，則第i個子區(qū)間對應的bin的概率密度函數(shù)可以通過式(2)［8］計算得到:

基于HSV顏色直方圖的提取過程如圖1所示。

1.2 邊緣特征描述

圖1 HSV特征提取

邊緣是圖像最基本的特征之一。本文使用Sobel算子來檢測圖像的邊緣［10］。假設用G表示跟蹤窗口內原圖像，Gx和Gy分別表示使用水平和垂直的Sobel算子對圖像進行卷積運算后得到的梯度圖像，則梯度大小為:G=，梯度方向為θ=arg tan。梯度方向的取值范圍為［0，π］。與顏色直方圖構建方法一樣，將邊緣方向均勻劃分為n等分，形成的邊緣特征向量為Qe=(qe1，qe2，…，qen)，則第 i個特征值對應的目標邊緣概率密度函數(shù)用式(4)［8］計算得到:

其中Cc=1/k(‖q0－pj/h‖2)為歸一化常數(shù)使得=1。p0表示搜索窗口中心像素位置，{pj}j=1，…，n表示該區(qū)域內像素位置，k(x)表示核函數(shù)，這里同樣使用Epanechikov核，h為核函數(shù)帶寬。dir(pj)函數(shù)用來計算像素pj所屬的子區(qū)間。邊緣方向直方圖的提取過程如圖2所示。

圖2 邊緣方向直方圖

2 相似性測量

Mean Shift跟蹤算法是基于最大化目標模板與候選的中心加權直方圖計算得到的Bhattacharyya系數(shù)為準則的。相似性度量函數(shù)可作為目標模板和候選之間距離的相似性判據(jù)。這里我們定義目標模板和候選這兩個離散分布之間的距離為［8］:

其中，pci和qci為顏色特征的候選目標和模板，pei和qei為目標的邊緣特征的候選和模板的表示。

3 目標定位

ωcj和ωej分別表示顏色特征和邊緣特征所對應的像素xj的權值。二者的計算公式相似，其中基于顏色的ωcj的計算公式如下:

注意到式(10)中第一項與第三項與y無關，第二項和第四項表示輪廓函數(shù)為k、權值為wω的核概率密度估計。則與總的相似性度量函數(shù)(7)對應的Meanshift向量為:

其中g(x)=－k'(x)。獲得Mean Shift偏移向量之后，可以求得相應的Mean Shift迭代公式(13)，使候選目標從當前位置y^迭代移動到新的位置，若‖y1－y0‖ ＜ε或迭代次數(shù) ＞N則停止迭代。

算法中通常取ε=0.5pixels和N=20。從式(9)和式(11)可以看出，本文算法中每個像素的權值由兩部分組成:一部分來自核函數(shù)g(x)，使得離候選目標中心越遠的點權值越小;另一部分來自wω，是根據(jù)每個特征的區(qū)分能力獲得的像素權值ω的加權和。特征的權值w越高，則跟蹤結果越依賴于該特征;反之則對跟蹤結果的影響越小。如果能夠根據(jù)不同的場景對每個特征設定不同的權值，就可以實現(xiàn)更加準確可靠的跟蹤。

4 自適應權值更新

在長時間的跟蹤過程中，場景可能會發(fā)生變化，比如光照變化或目標姿態(tài)變化等。考慮到不同的特征對場景中目標與背景的區(qū)分能力是不同的，因此在目標與候選目標總的相似性度量值中應該更相信那些區(qū)分能力強的特征，而區(qū)分能力弱的特征容易受到背景的干擾，影響跟蹤的穩(wěn)定性和魯棒性。故本文利用下式來評價每個特征對當前場景的可分性:其中，ρtk表示特征k的模板在t時刻與當前幀目標之間的相似性測度。

考慮到當場景(指背景和目標)遭遇到比較頻繁的突變時，僅依靠目標在當前幀的信息來確定特征權值，可能會使跟蹤變得不太穩(wěn)定。為了避免權值的更新對目標變化過于敏感，更新公式如下:

5 模板更新

Mean Shift算法的缺陷之一就是缺乏必要的模板更新機制。若場景中突然發(fā)生了光照變化或者目標自身發(fā)生了平移旋轉等變化，某些特征的模板和目標相比已經(jīng)發(fā)生了很大的變化，導致二者的匹配度很低甚至無法匹配，這時需要及時更新該特征模板，保證跟蹤能持續(xù)穩(wěn)定的進行下去。模板更新存在的一個主要問題是模板漂移，這是因為在跟蹤過程中，圖像中的背景像素被誤分類為目標像素，導致模型逐漸偏離真實值。而本文利用兩個特征在跟蹤場景中的互補性，僅選擇那些權值較低即可分性差的特征進行模板更新，而那些權值較高即對當前場景適應力強的則保持不變。這樣做，一方面可以避免錯誤的更新造成整個目標模型的漂移，另一方面又可以使模板對目標及環(huán)境變化有足夠的適應性。具體方法是對本文的兩個特征的權值求最小值，若該值小于模板的可靠性閾值，則更新該模板，具體公式如下:

其中Td為特征的可靠性閾值，取值范圍為Td∈［0，0.5］。為了避免模板更新對目標的變化過于敏感，根據(jù)下式更新目標的模板:

6 實驗及結果分析

本實驗使用的硬件平臺為2.00 HZ的CPU，在Windows XP操作系統(tǒng)下的計算機，軟件平臺為 Microsoft VC++6.0編程環(huán)境，用 Open CV1.0為基礎進行實現(xiàn)。采集環(huán)境為超市，測試視頻的圖像大小為720*576，共150幀圖像?；陬伾斑吘壧卣魅诤系暮烁櫵惴鞒倘缦?

(1)初始化:采用手工標定的方法定位t=0時刻的目標位置為，目標的顏色及邊緣特征特征被均勻劃分為16份，形成的模板分別為qc和qe，權值分別為wc和we，算法的最大迭代次數(shù)為N=20，初始權值均為0.5，目標跟蹤過程中使用的模板更新閾值為0.15，更新系數(shù)為0.8。

(2)以y0為候選目標起始搜索位置，根據(jù)公式(2)和公式(4)計算候選目標的顏色及邊緣特征模型;

(3)根據(jù)公式(9)計算候選目標區(qū)域內的每個特征的像素的權值;

(6)根據(jù)公式(12)計算每個特征在當前場景下的可分性;

(7)利用公式(13)更新目標的各個特征在下一幀中的權值;

(8)根據(jù)公式(14)選擇需要更新的特征模板，根據(jù)公式(15)更新該特征模板。

圖3 跟蹤結果對比

圖3給出了基于顏色特征(CMS)的跟蹤、文獻［6］提出的基于顏色、形狀和紋理(CSTMS)的自適應跟蹤算法以及本文算法的實驗結果。對比實驗使用跟蹤結果的x坐標誤差、y坐標誤差來度量跟蹤結果的準確程度，使用平均跟蹤時間(fps)來評價目標的實時效果，如表1所示。各算法的跟蹤結果對比圖3從上到下依次為CMS、CMTMS以及本文算法，從左至右依次為圖像序列的第22、69、118和149幀。由于攝像機的運動，主要測量在背景運動情況下，目標的平移、旋轉以及環(huán)境光照變化等對跟蹤的影響。由圖(3)可以看出，初始時刻在室內光照未變化時，雖然目標顏色和環(huán)境較為相似，但是CMS、CMTMS以及本文算法都能穩(wěn)定地跟蹤目標，其中基于顏色的Mean Shift跟蹤效果最佳，其次是本文算法，CMTMS需要對所選擇的多個特征進行優(yōu)先級排序，然后選擇可分性較好的兩個特征進行跟蹤，故處理時間稍慢一些。從117幀開始場景中發(fā)生光照變化時，導致目標外觀的亮度發(fā)生了急劇變化，顏色線索的可分性逐漸惡化，CMS方法出現(xiàn)跟蹤偏差，甚至有漂移的傾向。CMTMS提出的模型更新方法由于不能及時更新模型，所以也出現(xiàn)了跟蹤偏差。而本文方法利用了兩個特征在跟蹤過程中的互補作用。當顏色特征的權值急劇減小時，形狀特征權值逐漸變大，這時主要依靠邊緣信息保證跟蹤的準確性和穩(wěn)定性，從而克服了光照變化對跟蹤的影響。隨著對目標顏色模型的及時更新，顏色特征的可分性逐漸增加，其權值也相應地提高，圖4顯示了特征權值在跟蹤過程中的自適應變化。

圖4 權值的自適應變化

表1 跟蹤誤差(均值標準差)和平均每幀跟蹤時間對比

從表1可以看出，本文算法的X坐標和Y坐標的平均跟蹤誤差比CMS方法和CMTMS的跟蹤算法都較小。算法在未經(jīng)優(yōu)化的情況下，同時受實驗環(huán)境的影響，實時性如表1所示，在理想化情況下完全可以達到實時跟蹤。

7 結論

本文使用多特征融合思想，利用特征之間的互補性，提出融合顏色和邊緣特征在Mean Shift跟蹤算法中，同時根據(jù)環(huán)境變化自適應調整特征之間的權值，并通過一種選擇性模板更新策略，克服了跟蹤過程中產(chǎn)生的模板漂移問題。實驗證明，在運算時間增幅不明顯的情況下，改進算法有效地提高了目標跟蹤的魯棒性和精確性，并在動態(tài)相似背景、光照變化、目標旋轉平移等變化等情況都具有良好的適應性。作者認為，如果在多特征融合框架下引入背景運動補償機制，可有效的解決背景的大幅度運動，我們對此將做進一步研究。

［1］李培華.一種新穎的基于顏色信息的粒子濾波器跟蹤算法［J］.計算機學報，2009，32(12):2454－2463.

［2］ Nummiaro K，Koller-Meier E，Van-Gool L.An adaptive color-based particle filter［J］.Image and Vision Computing，2003，21(1):99 －110.

［3］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions on Patten Analysis and Machine Intelligence，2003，25(5):564 －575.

［4］張海青，李厚強.基于多線索的目標跟蹤［J］.中國圖象圖形學報，2008，13(11):2187 －2196.

［5］ Collins R T，Liu Y X，Leordeanu M.Online selection of discriminative tracking features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10):1631 －1643.

［6］ Junqiu Wang，Yasushi Yagi.Integrating color and shape-texture features for adaptive real-time object tracking［J］.IEEE Transactions on Image Processing，2008，17(2):235 －241.

［7］王歡，王江濤，任明武，等.一種魯棒的多特征融合目標跟蹤新算法［J］.中國圖象圖形學報，2009，14(33):489－498.

［8］ Comaniciu D，Ramesh V，Meer P.Kernel-based object tracking［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，2003，25(5):564 －575.

［9］朱虹.數(shù)字圖像技術與應用［M］.北京:機械工業(yè)出版社，2011.

［10］岡薩雷斯.數(shù)字圖像處理(第二版)［M］.北京:北京電子工業(yè)出版社，2007.