李 寧，汪利慶，李 迅

(武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院，湖北 武漢 430205)

基于顏色直方圖概率分布的目標跟蹤算法研究

李 寧，汪利慶，李 迅*

(武漢工程大學(xué) 計算機科學(xué)與工程學(xué)院，湖北 武漢 430205)

針對復(fù)雜場景中存在受目標相似物干擾造成的跟蹤錯誤問題，改進了基于顏色直方圖概率分布的跟蹤算法，首先利用卡爾曼濾波器預(yù)估目標狀態(tài)所在區(qū)域，可避免目標被遮擋時Cam-shift算法陷入局部最大值，以及目標速度過快時導(dǎo)致跟蹤失敗的問題。然后利用馬爾科夫模型加入方向預(yù)測器，在背景干擾下實現(xiàn)顏色特征離散時的目標狀態(tài)估計，增強檢測器對相似目標的辨識能力。通過對多組場景下的目標跟蹤實驗，結(jié)果表明，改進后的跟蹤算法提高了跟蹤準確度和目標的檢測速度，并且很大程度上提高了復(fù)雜背景中辨識相似目標的準確度。

目標跟蹤；卡爾曼濾波；遮擋；處理速度；目標預(yù)估

在跟蹤算法研究過程中，目標的不定向運動會產(chǎn)生目標遮擋、非剛性目標結(jié)構(gòu)等變化，使得跟蹤算法受到各種程度的影響，甚至?xí)霈F(xiàn)目標丟失的情況。當圖像的特征信息相對穩(wěn)定時，目標不發(fā)生形變，不管物體怎么移動或怎樣旋轉(zhuǎn)，其顏色直方圖概率分布相對中心的距離在縮放比例下是確定的。因此，文獻中的方法廣泛利用顏色直方圖和物體特征進行目標跟蹤。常用的特征匹配算法有SIFT[1]、KLT[2]，等等，將KTL和SIFT特征結(jié)合的匹配算法[3]可提高跟蹤過程中的匹配精度，但無法解決光照和相似特征物體的干擾。利用SIFT特征與Mean-Shift結(jié)合[4]，由SIFT特征點提供的特征位置信息校正Mean-Shift向量，但匹配特征點與相對位置之間的變化對跟蹤結(jié)果的影響較大，而且背景區(qū)域的特征點對跟蹤結(jié)果也會產(chǎn)生干擾。顏色直方圖特征在目標顏色特征描述略顯匱乏，缺少空間信息等，導(dǎo)致跟蹤結(jié)果精度降低。改進的mean-shift算法[5]是利用目標的顏色概率信息達到連續(xù)跟蹤目標的效果，時間復(fù)雜度低，在簡單背景下跟蹤結(jié)果更精準，能自動調(diào)節(jié)搜索窗口大??；但受到檢測器檢測范圍的限制，改進的mean-shift算法對移動速度過快的目標跟蹤效果較差；并且，由于主要處理顏色直方圖反投影形成的二值圖像，以獲取圖像顏色的概率分布信息，對背景復(fù)雜和紋理特征豐富的目標跟蹤效果較差，很容易受背景中與目標相似的物體的干擾導(dǎo)致跟蹤失敗。該算法忽略了目標的空間分布特征，所以在背景復(fù)雜情況下跟蹤算法中需要對目標信息進行預(yù)處理。

Cam-shift算法只考慮顏色直方圖概率分布，忽略了目標空間特性和背景相似顏色特征的干擾。針對該算法存在的問題，本文在原跟蹤算法的基礎(chǔ)上進行改進，利用卡爾曼濾波器，建立了目標當前狀態(tài)的模型，預(yù)估目標運動速度，對目標中心點所在區(qū)域預(yù)估，縮小檢測器搜索范圍，提高目標局部遮擋時的跟蹤精度。針對紋理特征較為豐富的目標檢測問題，加入基于馬爾科夫模型的方向預(yù)測器，實現(xiàn)顏色特征離散情況下的狀態(tài)估計，能夠增強檢測器對相似目標的辨識能力，解決背景中復(fù)雜的特征相似問題。

1 算法介紹

1.1卡爾曼濾波器

在顏色直方圖概率分布的目標跟蹤算法中，加入卡爾曼濾波器[6]，對目標狀態(tài)區(qū)域進行預(yù)估，預(yù)測目標在下幀圖像序列中的位置，再由Cam-shift算法測量反饋，對卡爾曼濾波器預(yù)測以目標位置為中心的區(qū)域進行搜索目標，能有效降低檢測器搜索范圍并提高算法的抗干擾性和準確性。利用卡爾曼濾波器預(yù)估目標下一幀的狀態(tài)是在誤差協(xié)方差最小準則中的最佳方法，其實時性高，計算量小，利用實際的目標運動參數(shù)對目標狀態(tài)估計值更新修正。根據(jù)算法的檢測器搜索區(qū)域大小和位置，卡爾曼濾波的狀態(tài)方程為：

Xk=Ak,k-1Xk-1+WK-1

(1)

式中Xk為在離散時刻K的一個不可觀測12×1維狀態(tài)向量，WK-1為k-1時刻的狀態(tài)噪聲干擾，是獨立的零均值高斯白噪聲序列，由運動模型可得到的A(K,K-1)是兩個時刻之間的狀態(tài)轉(zhuǎn)移矩陣。利用卡爾曼濾波器得出狀態(tài)預(yù)測方程。Kalman預(yù)測器狀態(tài)預(yù)測方程為：

X′(k+1│k)=AX′(k│k-1)+AKk[Zk-HkX′(k│k-1)]

(2)

利用卡爾曼濾波器預(yù)測當前目標狀態(tài)中心位置，以該位置為中心，設(shè)定比上一幀輸出的目標邊界框大4倍的矩形區(qū)域，判定該區(qū)域為目標出現(xiàn)的區(qū)域，再由檢測器檢測該幀的子窗口中是否有目標。由此來增強對目標運動速度過快和目標被遮擋的跟蹤能力，并提高檢測器的速度。圖1為該過程示意圖，C框是由卡爾曼濾波器預(yù)估并結(jié)合上一幀輸出目標邊界框給出的當前幀目標所在范圍。子窗口A和B與C窗口有重疊，該范圍將被檢測器檢測，子窗口D無重疊范圍，將被忽略不再檢測。

圖1利用卡爾曼濾波器減小檢測范圍示意圖

1.2馬爾科夫模型預(yù)測

利用馬爾科夫模型對目標運動方向預(yù)估，有效解決背景中存在兩個或兩個以上與目標相似情形時的干擾，增強對目標在運動過程中出現(xiàn)遮擋后的辨識能力。馬爾科夫模型預(yù)測[7]具有時域空間一致性，通過計算上一時刻目標運動方向，有效預(yù)測下一時刻的目標運動狀態(tài)和位置。

在視頻幀數(shù)據(jù)中，目標運動可理解為二維空間中的平面運動，簡單劃分為垂直方向和水平方向上的運動。分別設(shè)計馬爾科夫模型預(yù)測兩個方向上的目標運動趨勢。在水平維度上，定義空間狀態(tài)為0和1,0代表向左方向，1代表向右方向。設(shè)定馬爾科夫模型當前預(yù)測狀態(tài)只和上一時刻狀態(tài)及狀態(tài)轉(zhuǎn)移矩陣相關(guān)。目標在t時刻的運動方向狀態(tài)量和轉(zhuǎn)移矩陣，預(yù)測t+1時刻的目標方向為：

(4)

式中p(St=1)和p(St=0)表示目標在t時刻的向右和向左的概率。p(St+1=1)和p(St+1=0)表示預(yù)測目標在下一時刻的運動方向的概率。預(yù)測目標在下一時刻的運動方向選擇概率較大的方向。根據(jù)馬爾科夫模型預(yù)測判定跟蹤人體目標的運動方向，根據(jù)上一時刻跟蹤目標的中心點位置標定當前幀中的一個區(qū)域，在下一幀中目標出現(xiàn)在劃定的區(qū)域內(nèi)，則符合馬爾科夫模型對目標方向的預(yù)測。圖2為馬爾科夫模型對跟蹤目標運動方向預(yù)測判定，標定檢測區(qū)域示意圖，圖2中矩形框表示運動目標在上一時刻的位置區(qū)域，在該時刻由馬爾科夫模型預(yù)測得出運動目標在水平方向向右的趨勢。因此，在虛線右側(cè)的區(qū)域為檢測器檢測區(qū)域。

圖2目標運動方向預(yù)測和檢測區(qū)域示意圖

2 改進的CamShift跟蹤算法

Cam-Shift算法是改進的mean-shift算法，不斷迭代計算均值漂移矢量，直至收斂到概率密度最大的過程，其計算量較小，是顏色特征的非參數(shù)核密度估計算法，即連續(xù)自適應(yīng)目標的跟蹤算法。原算法對目標快速移動的跟蹤，會造成目標與當前搜索區(qū)域窗口無法連接，影響目標跟蹤，造成跟蹤錯誤甚至目標丟失。本文加入卡爾曼濾波器和卡爾曼模型，對目標狀態(tài)區(qū)域的進行預(yù)估，能夠使 Cam-Shift算法更容易處理背景復(fù)雜的情況下的跟蹤問題，對每幀圖像序列得到的目標區(qū)域位置的預(yù)測和更新修正，能有效縮小檢測器檢測范圍，提高檢測器處理速度，可得到對目標快速移動更精準的跟蹤結(jié)果。

跟蹤目標出現(xiàn)大面積的遮擋時，利用卡爾曼濾波器計算目標所在區(qū)域的預(yù)估值，得到目標位置，直到目標不被遮擋。通過Bhattachryya距離d(y)計算不同顏色直方圖之間的相似程度，以判斷跟蹤目標目標被遮擋的時間和程度，計算出的值越小，表示兩個顏色直方圖越匹配。

利用Bhattachryya距離判斷目標是否被遮擋，Bhattacharyya系數(shù)ρ(y):

(5)

式中pu(y)是目標模型顏色直方圖，qu是當前幀目標子圖顏色直方圖。

計算Bhattacharyya距離公式d(y):

(6)

設(shè)定閾值Tb(本文取Tb=0.5)，若d(y)

針對動態(tài)環(huán)境中存在與目標相似物體干擾和快速的運動目標跟蹤問題，加入卡爾曼濾波器，改進了卡爾曼模型對目標狀態(tài)區(qū)域的預(yù)估算法，縮小運動目標檢測的空間區(qū)域范圍來提高運算處理速度，增強目標跟蹤的準確性和算法魯棒性。

圖3 改進的自適應(yīng)跟蹤算法框架圖

3 實驗結(jié)果及分析

本文實驗是基于Visual Tracking Benchmark[8]的數(shù)據(jù)基準，采用背景影響較大和運動目標速度快的多組圖像系列。對各種場景變化干擾和目標發(fā)生形變、遮擋的數(shù)據(jù)進行實驗測試，列出具有代表性的兩組實驗圖像序列結(jié)果圖對比。在原始的Cam-shift算法基礎(chǔ)上改進，利用卡爾曼濾波器對當前時刻目標位置所在的區(qū)域預(yù)估，再由馬爾科夫模型預(yù)測運動目標下一時刻的運動方向。針對檢測器增加的檢測區(qū)域改進，排除不符合卡爾曼濾波器和馬爾科夫模型預(yù)測結(jié)果區(qū)域的范圍。實驗對多組場景下的目標跟蹤驗證，增強了算法跟蹤結(jié)果準確性和處理速度，并且提高了對場景中的相似目標的辨識能力。

3.1實驗結(jié)果對比

在足球(football)數(shù)據(jù)測試中，復(fù)雜背景中存在多個人物與目標相似造成干擾，圖像序列中目標快速移動和大尺度的形變造成的影響。原跟蹤算法對目標發(fā)生少許形變跟蹤較為準確，但是目標發(fā)生大尺度的形變，造成目標跟蹤錯誤(如#186在背景中受相似目標干擾造成目標跟蹤錯誤)。本文改進后的跟蹤算法處理速度較快，對目標發(fā)生大尺度形變的跟蹤結(jié)果準確，利用馬爾科夫模型預(yù)測目標運動方向的必要性，減小了背景相似目標干擾和運動目標較快的影響，跟蹤過程中跟蹤邊界框沒有出現(xiàn)偏離中心點和目標丟失等錯誤情況。圖4中#001是圖像序列的初始幀和算法跟蹤結(jié)果圖對比。

在Skating2圖像序列測試中，運動目標移動速度快，并且目標發(fā)生很大程度的形變，原Cam-shift算法出現(xiàn)跟蹤錯誤和丟幀，其中#329跟蹤結(jié)果遠離目標中心點，本文利用卡爾曼濾波器預(yù)測目標位置區(qū)域的改進，對目標快速移動有很好的跟蹤結(jié)果，并且容易適應(yīng)目標形變的跟蹤。在部分圖像序列跟蹤結(jié)果偏離中心點(如#251，#268)，但是在目標迅速移動并且被遮擋，發(fā)生形變的復(fù)雜情況下能夠更準確的完成跟蹤。

3.2算法定量評估

表1 圖像序列測試結(jié)果

4 結(jié)語

Cam-shift跟蹤算法由于計算量較小，得到了廣泛應(yīng)用，但無法在復(fù)雜的場景下跟蹤。本文針對背景顏色和相似目標的影響因素較大，以及運動目標速度過快導(dǎo)致目標無法在搜索范圍內(nèi)檢測的問題，利用卡爾曼濾波和馬爾科夫模型預(yù)測下一時刻目標的位置區(qū)域，以該位置為中心的搜索區(qū)域，有效減小檢測器檢測范圍，由卡爾曼濾波器的預(yù)測值作為目標當前位置，以解決目標被大面積嚴重遮擋問題，提高跟蹤精度和速度。通過多個視頻圖像序列測試，在實驗結(jié)果比較中，本文改進的跟蹤算法有效地提高了目標檢測的準確性，由馬爾卡夫模型預(yù)測，增強算法對復(fù)雜場景中相似目標的辨識能力，更加準確的跟蹤目標。后續(xù)工作將會在更復(fù)雜的環(huán)境下進行實驗，采用數(shù)據(jù)集相結(jié)合訓(xùn)練的方法，更好地實現(xiàn)目標物體的跟蹤。

[1] 侯志強, 黃安奇, 余旺盛,等. 利用SIFT特征聯(lián)合匹配的非剛體目標跟蹤算法[J]. 系統(tǒng)工程與電子技術(shù), 2015, 37(6):1417-1423.

[2] Qadri M T, Tayyab M. Real time object tracking using FPGA development Kit[J].International Journal of Information Technology & Computer Science, 2014, 6(11):54-58.

[3] Jabar F,Farokhi S,Sheikh U U.Object tracking using SIFT and KLT tracker for UAV-based applications[C]//IEEE International Symposium on Robotics and Intelligent Sensors. IEEE, 2016:65-68.

[4] 王智軍, 王建華. 基于SIFT驗證的Mean Shift跟蹤運動目標新算法[J].電光與控制, 2016(11):93-96.

[5] 丁業(yè)兵, 李敬仕, 方國濤,等. 多特征連續(xù)自適應(yīng)均值漂移人臉跟蹤算法[J]. 計算機應(yīng)用, 2014(s2):276-279.

[6] Jia B, Blasch E, Pham K D, et al. Space object tracking and maneuver detection via interacting multiple model cubature Kalman filters[C]//Aerospace Conference. IEEE, 2015:1-8.

[7] Bashir F I, Khokhar A A, Schonfeld D. Object trajectory-based activity classification and recognition using hidden Markov models[J]. IEEE transactions on Image Processing, 2007, 16(7): 1912-1919.

[8] Wu Y, Lim J, Yang M H. Online object tracking: a benchmark[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2013: 2411-2418.

(責任編輯：熊文濤)

TargetTrackingAlgorithmBasedontheColorHistogramProbabilityDistribution

Li Ning, Wang Liqing, Li Xun*

(SchoolofComputerScienceandEngineering,WuhanInstituteofTechnology,Wuhan,Hubei430205,China)

Aiming at the problem of tracking errors is caused by interference with objects similar to object in complex scenes, the tracking algorithm is improved based on color histogram probability distribution. In the first place, Kalman filter is used to estimate the target state area in order to avoid the problem of Cam-shift algorithm's falling into local maximum when the target is blocked and the problem of target tracking failure when the target moves too quickly. Then the direction predictor based on the Markov model is added to realize the target state estimation under the condition of background color interference and to enhance the ability of the detector to identify similar objects. The experimental results show that the new algorithm can improve the accuracy of target tracking as well as the target testing speed, and the accuracy of identifying similar targets in complex scenes in a great sense.

target tracking； Kalmanfilter； occlusion; processing speed； target estimation

TP391.4

A

2095-4824(2017)06-0102-05

2017-07-16

武漢工程大學(xué)研究生創(chuàng)新基金項目(CX2016071)

李 寧(1992- )，男，河南周口人，武漢工程大學(xué)計算機科學(xué)與工程學(xué)院碩士研究生。

李 迅(1980- )，男，湖北黃石人，武漢工程大學(xué)計算機科學(xué)與工程學(xué)院副教授,博士，本文通信作者。