王菡　李長齊　李俊禮

【摘要】目標(biāo)跟蹤是視頻監(jiān)控、視頻壓縮、人工智能等所必須的技術(shù)，本文提出針對目標(biāo)跟蹤提出了解決問題的關(guān)鍵算法，用于解決目標(biāo)跟蹤過程中遇到的干擾。

一、緒論

“天眼”是指視頻監(jiān)控，視頻監(jiān)控已經(jīng)在城市道路，商場監(jiān)控，車站機場等公共場合得到了普遍應(yīng)用，隨著移動終端的興起，家庭等私人場所的監(jiān)控使用的數(shù)量也是與日俱增。傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要是以閉路電視錄像的方式進(jìn)行記錄和保存，當(dāng)遇到異常情況時需要調(diào)用相關(guān)視頻時，需要工作人員對視頻記錄進(jìn)行異常分析來查找原因，或者需要專門的技術(shù)人員一直盯著監(jiān)控屏幕的方式來進(jìn)行場景實時監(jiān)控，這種方式需要有人長時間盯著監(jiān)控器，容易造成人員視覺疲勞，對于實時監(jiān)控，長時間監(jiān)視屏幕也容易出現(xiàn)漏報、誤報等現(xiàn)象以及不能及時發(fā)現(xiàn)異常。由于受到光照變化，目標(biāo)形變以及突然加速等因素的干擾，建立一個穩(wěn)定、效率高的跟蹤系統(tǒng)仍然非常具有挑戰(zhàn)性。本文我們提出了兩種魯棒實時的跟蹤算法：基于預(yù)測的多尺度壓縮跟蹤算法和基于顏色修正的多尺度壓縮跟蹤算法，用于解決跟蹤過程中遇到的干擾。

二、目標(biāo)跟蹤概述

一個成熟完善的監(jiān)控系統(tǒng)由視頻采集、圖像預(yù)處理、目標(biāo)檢測、目標(biāo)分類、目標(biāo)跟蹤、異常檢測、事件分析與理解和預(yù)警報警等幾個步驟組成。其中，目標(biāo)跟蹤是其中一個視頻監(jiān)控中重要的功能模塊，它的作用是檢測出需要的目標(biāo)對象，然后通過跟蹤目標(biāo)對象并獲得其運動軌跡，為上層算法提供判斷分析的數(shù)據(jù)。

視頻中的目標(biāo)跟蹤主要有目標(biāo)對象、搜索機制和模型更新三部分組成。

由于Lucas 和 Kanade的重要貢獻(xiàn)，全局模板被提出用于目標(biāo)跟蹤。隨后，為了適應(yīng)表觀模型的變化，提出了基于子空間的跟蹤算法[1]。Mei和Ling提出基于稀疏表示的跟蹤算法來處理目標(biāo)跟蹤中發(fā)生的表觀模型受到損壞的情況。除了基于模板的表示方法，還有顏色信息表示、邊緣直方圖信息表示、梯度直方圖信息表示，灰度特征以及紋理特征等[2]。依據(jù)表示方式不同，目標(biāo)跟蹤有不同的分類方法。依據(jù)文獻(xiàn)[3]提出的分類方法，可以把基于目標(biāo)特征的跟蹤分為三類，即基于點特征的跟蹤、基于邊緣輪廓以及剪影特征的跟蹤以及基于目標(biāo)對象外觀特征構(gòu)建的跟蹤。

基于點特征的跟蹤是使用點集來對表示目標(biāo)對象，通過對前后兩幀圖像中的相關(guān)點集進(jìn)行檢測來實現(xiàn)跟蹤目標(biāo)，根據(jù)所采用的點特征的方法，基于點特征的目標(biāo)跟蹤又分為基于貝葉斯模型的后驗概率統(tǒng)計方法和確定性計算方法;后驗概率性統(tǒng)計方法是通過觀測模型和測量模型來估計目標(biāo)的最終狀態(tài)[3]。比較著名的后驗概率算法有卡爾曼濾波跟蹤算法、擴展的卡爾曼濾波算法和粒子濾波跟蹤算法[3]。由于卡爾曼濾波要求被跟蹤目標(biāo)的觀測狀態(tài)和預(yù)測狀態(tài)都要服從線性高斯分布才能進(jìn)行，而現(xiàn)實目標(biāo)跟蹤中，這樣的情況很難實現(xiàn)，所以Rosales等對卡爾曼濾波進(jìn)行了改進(jìn)，提出了改進(jìn)的擴展卡爾曼濾波（Extended Kalman Filter，EKF），擴展的卡爾曼濾波只要求跟蹤目標(biāo)服從高斯分布就可運用，但在實際使用中還是受到了一定的限制;Kitagawa等提出了粒子濾波跟蹤算法對卡爾曼濾波進(jìn)一步改進(jìn)，粒子濾波跟蹤算法對被跟蹤目標(biāo)的觀測狀態(tài)和預(yù)測狀態(tài)沒有作要求，因此，可以更好的滿足現(xiàn)實目標(biāo)跟蹤的需要。確定性方法則是在一定約束條件下，通過代價函數(shù)建立相鄰兩幀間點的對應(yīng)關(guān)系。

基于線跟蹤是利用目標(biāo)對象的邊界或者輪廓信息來表示目標(biāo)對象，然后通過輪廓演變或者形狀匹配來跟蹤目標(biāo)對象。這類跟蹤一般分為兩類：形狀匹配和外形跟蹤?；诿娓櫷ㄟ^構(gòu)建跟蹤對象的外觀信息來表示跟蹤對象，然后在后續(xù)幀中以一定的搜索機制搜索目標(biāo)，并在搜索到目標(biāo)后更新目標(biāo)外觀信息。根據(jù)對目標(biāo)外觀信息表述的不同，可以將基于面的跟蹤分為兩類：產(chǎn)生式表觀模型跟蹤算法和判別式表觀模型跟蹤算法。產(chǎn)生式表觀模型跟蹤方法是只利用目標(biāo)本身的表觀信息來建立模型，而后通過搜索算法在下一幀中搜索目標(biāo)。而判別式跟蹤方法是把跟蹤當(dāng)成二分類問題，利用分類器把目標(biāo)從背景中分離出來，不僅需要用到目標(biāo)本身的信息，也要用到背景信息。較為典型的相關(guān)文獻(xiàn)有生成模型的基于稀疏表達(dá)的外觀模型[4]，基于正交匹配追蹤的外觀模型[5]，增量學(xué)習(xí)方法[6]等。這些已有的生成式外觀模型最大的問題在于，外觀特征的學(xué)習(xí)需要的訓(xùn)練樣本數(shù)目較多，為了降低計算復(fù)雜度，只能在線下學(xué)習(xí)并假設(shè)目標(biāo)外觀在整個跟蹤過程中是不變的。而且生成式模型不能充分利用目標(biāo)附近的背景信息，這些背景信息往往有利于提升跟蹤效果。比較典型的判別式跟蹤模型有利用支持向量機分類器的跟蹤，在線提升跟蹤算法，半監(jiān)督在線提升跟蹤算法，多實例學(xué)習(xí)跟蹤算法，壓縮跟蹤算法等。

三、壓縮感知在目標(biāo)跟蹤中的應(yīng)用

在視頻視覺跟蹤領(lǐng)域有很多的基于稀疏表示和壓縮感知的跟蹤算法。這些算法用一些目標(biāo)模板的稀疏線性組合來表示目標(biāo)。一些模板利用Li規(guī)則最小化可以很近似的表示一個目標(biāo)。在文獻(xiàn)[7]中，最小誤差邊界策略被引用進(jìn)來，但仍然遠(yuǎn)不能達(dá)到實時性的要求。在文獻(xiàn)[8]中，Li等人利用正交匹配基跟蹤算法擴展了L1跟蹤算法，雖然效率得到了很大的提高，實現(xiàn)了實時跟蹤，但由于不能充分利用目標(biāo)附近的背景信息，往往導(dǎo)致跟蹤的效果不是很好。Kaihua Zhang等人提出將壓縮感知理論應(yīng)用到目標(biāo)跟蹤中去降低提取的特征的維數(shù)，提出了壓縮跟蹤，由于采用非常稀疏的隨機投影矩陣，使得在壓縮域內(nèi)的計算復(fù)雜度大大降低。該算法簡單、實時、高效，但還存在一些問題，如沒有充分利用目標(biāo)的上下文信息，當(dāng)目標(biāo)突然加速或者光照變化大時，容易發(fā)生漂移，甚至丟失目標(biāo);由于使用了固定尺度的跟蹤框，在跟蹤過程中由于目標(biāo)尺度的變化，容易發(fā)生跟蹤漂移的問題。Huilan Luo等提出了結(jié)合目標(biāo)預(yù)測位置的壓縮跟蹤，利用前幀的信息預(yù)測目標(biāo)在下一幀的位置，并結(jié)合檢測，取得了良好的效果，但是尺度沒有變化，還是容易出現(xiàn)漂移問題。后來，Kaihua Zhang等人在壓縮跟蹤的基礎(chǔ)上，提出了快速的壓縮跟蹤，并提出了尺度的變化，但尺度變化不明顯。Yunxia Wu等人在壓縮跟蹤的基礎(chǔ)上提出了多尺度跟蹤，把粒子濾波和壓縮跟蹤結(jié)合，解決了尺度變化問題，取得了比較好的效果，但對遮擋情況效果不理想。

四、基于預(yù)測的多尺度壓縮跟蹤

目標(biāo)跟蹤是計算機視覺研究領(lǐng)域的一個熱門課題，在社會生活中的應(yīng)用越來越廣。由于跟蹤過程中，跟蹤環(huán)境的復(fù)雜多變，跟蹤目標(biāo)外觀易受到光線干擾、運動目標(biāo)大小尺度發(fā)生變化、運動目標(biāo)與攝像機之間的角度的偏移造成的目標(biāo)觀測外觀變化、背景和目標(biāo)的相似性干擾、對目標(biāo)遮擋以及運動突然加速造成的目標(biāo)外觀模糊等情況，開發(fā)一個性能滿足需要，又適應(yīng)多個場景中干擾因素的算法非常困難。在通過檢測實現(xiàn)跟蹤的算法中，Kaihua Zhang等提出用壓縮感知對正負(fù)采樣樣本降維跟蹤的算法，提高了目標(biāo)跟蹤處理的速度。但是，該算法有以下不足：第一，由于采用了固定大小的跟蹤框來檢測識別目標(biāo)，使得目標(biāo)在跟蹤過程中，跟蹤框不能隨目標(biāo)尺度變化而變化，從而影響目標(biāo)跟蹤的魯棒性;第二，在搜索目標(biāo)位置時，由于選用了固定半徑的搜索策略。這使得目標(biāo)在跟蹤過程中，不能運行的太快或偏離上一幀目標(biāo)位置太遠(yuǎn)，否則，搜索半徑就會很大，影響跟蹤的實時性;第三，沒有充分前一幀中的信息，比如可以提高跟蹤性能的背景信息。本文針對以上問題，提出了基于預(yù)測的多尺度壓縮跟蹤算法，通過利用上一幀目標(biāo)的位置信息，預(yù)測目標(biāo)的大概位置;然后再在該位置精搜索目標(biāo)的準(zhǔn)確位置，并利用尺度空間信息量的度量方法，來實現(xiàn)目標(biāo)的多尺度自適應(yīng)變化;最后，在對貝葉斯分類器參數(shù)的更新上，采用了非線性的更新方式，對處理遮擋問題有更好的效果。通過在benchmark挑戰(zhàn)圖像序列中的測試，我們的算法與CT、FCT、MSCT算法進(jìn)行了對比，實驗證明總體表現(xiàn)都比上述基于壓縮跟蹤的算法效果要好。

五、關(guān)鍵算法

1、目標(biāo)的壓縮特征提取方法。在基于檢測的跟蹤中，需要提取一些目標(biāo)特征來表示目標(biāo)。而為了減少計算量，傳統(tǒng)的方法，有的是構(gòu)建子空間模型來表示目標(biāo)，有的是利用增量子空間模型表示目標(biāo)來適應(yīng)目標(biāo)外觀的變化，有的通過支持向量機（SVM）來提高判別特征的選擇，但是這些方法的計算復(fù)雜度高，不能滿足實際應(yīng)用的需要。為了降低計算量，本文擬在目標(biāo)附近選取一些正樣本塊，在遠(yuǎn)離目標(biāo)的區(qū)域取一些負(fù)樣本塊，再將這些樣本與方框濾波器進(jìn)行卷積，得到正負(fù)樣本的高維特征向量;由于高維特征向量的維數(shù)仍然很大，進(jìn)一步利用測量矩陣對高維特征向量進(jìn)行降維，可大大的降低運算量，得到壓縮域內(nèi)的正負(fù)樣本特征向量，初步研究表明，該降維后的特征基本保留了原向量的大部分信息，對跟蹤的精度影響較小。

2、目標(biāo)的壓縮特征的多尺度表示方法。在目前的跟蹤方法中，大部分跟蹤使用固定大小的跟蹤框檢測識別樣本，跟蹤框不隨目標(biāo)尺度變化而改變，無法適應(yīng)目標(biāo)尺度變化對跟蹤效果的影響，從而影響跟蹤的效果。本項目擬通過正負(fù)樣本與多尺度方框濾波器進(jìn)行卷積得到正負(fù)樣本的高維多尺度特征向量，然后再通過測量矩陣的投影，得到壓縮域的低維的多尺度特征，以實現(xiàn)目標(biāo)尺度變化的魯棒性。

3、壓縮目標(biāo)位置的預(yù)測方法：在大多數(shù)的跟蹤方法中，把跟蹤看成對每一幀的檢測問題，即基于檢測的跟蹤問題。由于只考慮當(dāng)前幀的信息，忽略了時空信息，造成跟蹤算法存在以下的以下問題：1）跟蹤目標(biāo)突然加速或者漂移時，在當(dāng)前幀檢測目標(biāo)搜索的范圍就會相應(yīng)的變大，相應(yīng)的計算量也會明顯的提高，影響跟蹤的實時性。2）由于沒有充分利用時空上下文幀的信息，當(dāng)目標(biāo)被遮擋時，因檢測不到目標(biāo)造成跟蹤失敗，丟失目標(biāo)。結(jié)合預(yù)測目標(biāo)位置的跟蹤算法，可以利用前一幀的信息，通過預(yù)測算法預(yù)測目標(biāo)在下一幀的位置，不僅可以減少目標(biāo)的搜索范圍，對目標(biāo)遮擋也有一定的免疫性。因此對目標(biāo)位置的預(yù)測對于提高算法的速度和魯棒性都非常有必要。Mean-shift算法是一種基于核概率密度估計的無參數(shù)算法。該類算法應(yīng)用于預(yù)測目標(biāo)位置有很好的效果。本文擬采用修正的背景權(quán)重直方圖框架的mean-shift方法預(yù)測目標(biāo)的位置，該方法通過降低目標(biāo)跟蹤中目標(biāo)模型和背景模型的顯著背景特征來減少背景干擾，更準(zhǔn)確的預(yù)測目標(biāo)的位置。

4、多尺度描述下的特征搜索策略：在基于檢測的跟蹤算法中，目標(biāo)的搜索影響著跟蹤的速度，精確度和穩(wěn)定性。傳統(tǒng)的跟蹤算法中，對目標(biāo)的檢測一般是在目標(biāo)的上一幀位置處開始搜索，這就要求在目標(biāo)跟蹤過程中，不能運動太快或偏離目標(biāo)在上一幀的位置處太遠(yuǎn)，否則需要搜索的半徑就非常大，并且要求目標(biāo)跟蹤中要始終比較精確，否則會存在積累錯誤，造成目標(biāo)的最終跟丟。因此，選擇一個好的搜索策略，不僅影響到跟蹤的速度，還影響到跟蹤的穩(wěn)定性和精確性。本文擬采用先粗后精的搜索策略，先通過上一幀的信息預(yù)測目標(biāo)在下一幀的位置，然后在該預(yù)測位置以半徑25，步長4搜索到目標(biāo)的大致位置，再在此位置以半徑10，步長1搜索目標(biāo)的最終位置，這可以很大程度減少計算量，提高跟蹤的速度;并且結(jié)合預(yù)測的目標(biāo)位置，還可以減少對漂移的影響，提高跟蹤的精度。

基金項目：云南省教育廳指導(dǎo)性項目《基于壓縮感知的單目標(biāo)多尺度跟蹤算法研究》（201ZDX139）

參考文獻(xiàn)：

[1]Baker S，Matthews I. Lucas-kanade 20 years on： A unifyingframework[J]. International journal of computer vision， 2004，56（3）： 221-255.

[2]X. Mei and H. Ling. Robust Visual Tracking using L1Minimization. In ICCV， 2009.

[3]蔣良衛(wèi). 圖像序列中目標(biāo)跟蹤技術(shù)研究[D].華中科技大學(xué)，2013.

[4]Mei X， Ling H. Robust visual tracking and vehicleclassification via sparse representation[J]. IEEE Transactions onPattern Analysis and Machine Intelligence. 2011， 33（11）：2259-2272.

[5]Li H，Shen C，Shi Q. Real-time visual tracking usingcompressive sensing[C]// IEEE Conference on ComputerVision and Pattern Recognition （CVPR）. 2011： 1305-1312.

[6]Ross D A，Lim J，Lin R S，et al. Incremental learning forrobust visual tracking[J]. International Journal of ComputerVision， 2008， 77（1-3）： 125-141.

[7]Grabner H， Grabner M， Bischof H. Real-Time Tracking viaOn-line Boosting[C]// British Machine Vision Conference2006， Edinburgh， Uk， September. 2006：47-56.

[8]Grabner H，Leistner C，Bischof H. Semi-supervised on-lineboosting for robust tracking[M]//Computer Vision–ECCV2008. Springer Berlin Heidelberg，2008： 234-247.