梁 碩，陳金勇，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊050081)

基于分類的視頻目標(biāo)跟蹤算法研究

梁 碩，陳金勇，吳金亮

(中國電子科技集團公司第五十四研究所，河北 石家莊050081)

針對視頻目標(biāo)跟蹤中的速度和準(zhǔn)確度問題，介紹了視頻目標(biāo)跟蹤的表觀模型和跟蹤模型，重點對當(dāng)前基于分類的視頻目標(biāo)跟蹤算法進行了研究。對4種最具有代表性的基于分類的跟蹤算法，分別從光照變化、尺度變化、遮擋和復(fù)雜背景4個方面進行速度和準(zhǔn)確度的定量實驗評估，根據(jù)實驗結(jié)果分析各算法的優(yōu)缺點，為新算法的提出提供參考。

目標(biāo)檢測；分類學(xué)習(xí)；目標(biāo)跟蹤；評估算法

0 引言

視頻目標(biāo)跟蹤是計算機視覺領(lǐng)域研究中的一個核心問題。在過去的10多年中它已經(jīng)迅速成為學(xué)者們研究的熱點,不斷地被應(yīng)用于國防軍事和人民生產(chǎn)生活的各個領(lǐng)域。經(jīng)過近幾年的發(fā)展，越來越多的學(xué)者將機器學(xué)習(xí)的理論應(yīng)用到視頻目標(biāo)跟蹤中，提出了許多分類學(xué)習(xí)的算法，為視頻目標(biāo)跟蹤開創(chuàng)了一個新的方向，取得了良好的效果。

但由于視頻中噪聲、光照變化、目標(biāo)尺度變化、復(fù)雜背景以及遮擋等問題的存在，當(dāng)前仍沒有一個算法能夠完全滿足任何條件下魯棒性和實時性的要求。有的算法能夠進行快速的實時跟蹤，可能跟蹤的準(zhǔn)確度就會很差。有的算法能夠?qū)δ繕?biāo)進行準(zhǔn)確跟蹤，卻可能需要長時間處理，無法達到實時性要求。有的算法能夠有效克服光照變化的影響，卻無法抵抗遮擋的問題。因此，對于當(dāng)前先進跟蹤算法的性能評估就成為一個十分必要的工作，分析比較各個算法的優(yōu)勢和劣勢對下一步的研究工作有著非常重要的意義。

本文綜合計算機視覺數(shù)據(jù)集，從光照變化、尺度變化、背景復(fù)雜和遮擋4個方面進行分類，每個方面選取了10個視頻序列進行測試，對STRUCK[1]、TLD[2]、CT[3]和KCF[4]算法設(shè)計了統(tǒng)一的接口，從準(zhǔn)確度和速度方面進行評估，并對評估結(jié)果進行分析，為算法改進研究提供參考價值。

1 相關(guān)工作

視頻目標(biāo)跟蹤是根據(jù)目標(biāo)的表觀特征信息和目標(biāo)運動模型，在視頻序列中估計目標(biāo)的位置和范圍。迄今為止，基于分類的視頻目標(biāo)跟蹤算法因其魯棒性取得了良好的效果，許多學(xué)者都提出了相關(guān)算法。視頻目標(biāo)跟蹤一般包含兩大方面的內(nèi)容：表觀特征描述和跟蹤算法。

視頻目標(biāo)具有細(xì)節(jié)豐富的表觀信息，需要通過相應(yīng)的目標(biāo)表觀特征描述方法將其中的相對穩(wěn)定的統(tǒng)計特性或某些不變特性提取出來，以此對目標(biāo)和背景進行區(qū)分。原始圖像特征直接將目標(biāo)區(qū)域的原始圖像信息[5]或經(jīng)簡單處理得到的底層圖像特征作為對目標(biāo)的描述[6]。通常選取的特征有灰度、顏色和梯度等。該類特征提取簡單、快速，但對目標(biāo)特征的挖掘程度低，適應(yīng)力較差。直方圖特征[7]，通過統(tǒng)計目標(biāo)區(qū)域內(nèi)某種特征在每個像素位置上出現(xiàn)的頻次，并進行歸一化，構(gòu)成該目標(biāo)區(qū)域?qū)?yīng)特征的概率密度函數(shù)。直方圖有效描述了特征的統(tǒng)計特性，對于非剛體形變具有較好的魯棒性，但對于光照變化和背景雜波有一定欠缺。稀疏表示理論[8]，通過超完備字典將目標(biāo)映射為稀疏向量，作為表觀描述特征，計算量小，但有一定的隨機性，不能保證最優(yōu)。

為了估計目標(biāo)的位置和范圍，需要選擇合適的跟蹤算法對目標(biāo)進行跟蹤。學(xué)者們提出了許多跟蹤算法，文獻[9-11]基于貝葉斯理論，對目標(biāo)位置直接進行預(yù)測。文獻[12-14]對均值漂移的方法進行了改進。文獻[15-18]提出了基于分類的跟蹤算法，將目標(biāo)和背景都作為樣本進行訓(xùn)練，通過分類器對目標(biāo)和背景進行區(qū)分。

2 跟蹤算法和數(shù)據(jù)集的選擇

為了保證評估的公平性，所選的數(shù)據(jù)集帶有目標(biāo)的真實信息，測試的跟蹤算法以及其中特定的參數(shù)都是由作者本人公開發(fā)表的。

2.1 數(shù)據(jù)集的選取

對視頻目標(biāo)跟蹤算法的性能進行評估，首先要選取合適的數(shù)據(jù)集。計算機視覺方面有許多經(jīng)典的數(shù)據(jù)集可供選擇，其中都包含目標(biāo)的真實包圍盒信息，比如VIVID、CAVIAR等。本文根據(jù)算法評估需要，選擇合適的數(shù)據(jù)集進行實驗，并將數(shù)據(jù)分為以下4類：光照變化、尺度變化、遮擋和復(fù)雜背景。測試數(shù)據(jù)集如圖 1所示。其中，選取各個數(shù)據(jù)集中第1幀視頻作為代表，矩形框為目標(biāo)，第1、2、3、4行分別為光照變化類數(shù)據(jù)集、尺度變化類數(shù)據(jù)集、遮擋類數(shù)據(jù)集、復(fù)雜背景類數(shù)據(jù)集。

圖1 測試數(shù)據(jù)集

2.2 跟蹤算法的選取

在基于分類的視頻目標(biāo)跟蹤算法中，STRUCK、TLD、CT和KCF算法在速度和準(zhǔn)確度方面分別有著獨特的表現(xiàn)，是當(dāng)前最為先進的視頻目標(biāo)跟蹤算法的代表。STRUCK提取目標(biāo)區(qū)域Haar特征，引入核函數(shù)，采用非線性的SVM分類器。TLD將整個跟蹤過程分為跟蹤器、學(xué)習(xí)器和檢測器3個獨立的部分，通過檢測器和跟蹤器聯(lián)合輸出目標(biāo)，學(xué)習(xí)器對跟蹤器和檢測器進行監(jiān)督。其中，檢測器通過提取目標(biāo)的梯度和LBP特征，跟蹤器采用前后光流法。CT引入壓縮感知技術(shù)，對多尺度的樣本空間進行降維，對目標(biāo)提取Haar-like特征，選用貝葉斯模型分類器。KCF對目標(biāo)提取HOG特征和LAB特征，變換到傅里葉域處理，引入核函數(shù)，采用嶺回歸分類器對目標(biāo)進行跟蹤。

3 評估標(biāo)準(zhǔn)

視頻目標(biāo)跟蹤算法必須滿足魯棒性和實時性才能保證系統(tǒng)的追蹤性能。本文采取目標(biāo)包圍盒的形式來表示目標(biāo)，對視頻目標(biāo)跟蹤進行定量分析，從準(zhǔn)確度和速度2個方面對STRUCK、CT、TLD和KCF算法進行評估。

3.1 準(zhǔn)確度評估標(biāo)準(zhǔn)

3.2 速度評估標(biāo)準(zhǔn)

每種跟蹤算法對視頻的跟蹤速度是一個非常重要的標(biāo)準(zhǔn)，本文以跟蹤算法每秒處理幀數(shù)(FPS)為跟蹤速度的評估標(biāo)準(zhǔn)。

4 評估結(jié)果及分析

光照變化測試數(shù)據(jù)集包含10組視頻序列，共計10 066幀；尺度變化測試數(shù)據(jù)集包含10組視頻序列，共計11 037幀；遮擋測試數(shù)據(jù)集包含10組視頻序列，共計19 283幀；復(fù)雜背景測試數(shù)據(jù)集包含10組視頻序列，共計17 288幀。算法運行環(huán)境為IntelCorei7-3770，CPU3.40GHz，RAM3.47GB的PC機。

4.1 實驗結(jié)果

圖2 實驗結(jié)果

4.2 速度評估結(jié)果及分析

針對4組不同類別的數(shù)據(jù)集，本文記錄了每個算法對每個數(shù)據(jù)集處理的平均速度，以此為標(biāo)準(zhǔn)繪制成折線圖，結(jié)果如圖3所示。

由圖3可以看出，跟蹤速度與數(shù)據(jù)集的類別沒有太大關(guān)系，在4組類別的數(shù)據(jù)集中，CT和KCF都具有非常高的跟蹤速率，平均可達100fps左右，而TLD和STRUCK跟蹤速率不佳，平均只有20fps左右。CT運用了壓縮感知理論，將正負(fù)樣本進行尺度變換，對樣本量進行擴充，然后將這個多尺度的樣本空間的樣本通過稀疏矩陣投影到低維空間中，降低了計算量。KCF引入循環(huán)矩陣對樣本進行稠密采樣，將時域的卷積運算變換到頻域進行乘積運算，從而實現(xiàn)快速采樣和快速檢測，大大提高了跟蹤速度。

圖3 速度評估結(jié)果

4.3 準(zhǔn)確度評估結(jié)果及分析

針對4組不同類別的數(shù)據(jù)，為了消除單個數(shù)據(jù)的偶然性，本文記錄了每組數(shù)據(jù)集中的跟蹤成功率，并繪制成柱狀圖進行表示，結(jié)果如圖 4所示。

圖4 準(zhǔn)確度評估結(jié)果

由圖4可以看出，在任何類別的數(shù)據(jù)集中KCF的準(zhǔn)確度最高。在光照變化、遮擋和復(fù)雜背景數(shù)據(jù)集中，STRUCK的表現(xiàn)僅次于KCF，而在尺度變化中，TLD的表現(xiàn)較好，CT的整體表現(xiàn)較差。

KCF通過對目標(biāo)進行HOG特征進行提取，并結(jié)合LAB特征，同時加入核函數(shù)的嶺回歸分類器分類性能較強，具有與SVM相當(dāng)?shù)男Ч?，能夠?qū)δ繕?biāo)進行有效標(biāo)記，提高了算法的魯棒性。STRUCK在跟蹤過程中，采用的是比較精確的非線性SVM分類器，對準(zhǔn)確率有了一定的提高，但并沒有針對目標(biāo)的尺度變化采取任何措施。TLD通過獨立的檢測、學(xué)習(xí)和跟蹤模塊，具有一定的魯棒性，但由于其是對目標(biāo)原始像素進行操作，同時采用比較脆弱的光流法跟蹤算法，影響了器跟蹤的精度。CT將樣本空間經(jīng)過稀疏矩陣變換到低維空間，具有一定的隨機性，影響了器跟蹤精度。

綜上所述，KCF在跟蹤速度和準(zhǔn)確度方面都有著非常優(yōu)異的表現(xiàn)。STRUCK和TLD具有一定魯棒性，但其跟蹤速度過慢。CT有著非常高的跟蹤速度，但其跟蹤準(zhǔn)確度不高。分類器的選擇對跟蹤算法的魯棒性有著直接關(guān)系，強分類器(KCF,STRUCK)能夠有效區(qū)分背景和目標(biāo)，能夠提高跟蹤效果。在速度方面，稀疏表示(CT)的特征描述方法能夠顯著提高跟蹤速度，但其穩(wěn)定性需要進一步探究。循環(huán)矩陣與快速傅里葉變換(KCF)是一個很好的結(jié)合方式，能夠大大提高跟蹤的速度。

5 結(jié)束語

本文采用試驗驗證的方式對基于分類的視頻目標(biāo)跟蹤算法進行了分析研究，并針對其中4種表現(xiàn)最優(yōu)的目標(biāo)跟蹤算法進行定量評估。評估結(jié)果表明，單一的圖像特征無法滿足所有視頻的需求，采取多特征描述會增加算法的魯棒性，改善跟蹤的漂移問題。同時，基于分類視頻目標(biāo)跟蹤中，分類器的強弱與算法的魯棒性有著很大的關(guān)系。因此，選擇合適的圖像特征和分類器，能夠在一定程度上提高跟蹤算法的魯棒性。

[1]HARES,SAFFARIA,TORRP.Struck:StructuredOutputTrackingwithKernels[C]∥IEEEInternationalConferenceonComputerVision,2011:263-270.

[2]KALALZ,MIKOLAJCZYKK,MATASJ.Tracking-learning-detection[J].IEEETransactiongsonPatternAnalysisAndMachineIntelligence,2012,34(7):1 409-1 422.

[3]ZHANGK,ZHANGL,YANGMH.Real-timeCompressiveTracking[C]∥EuropeanConferenceonComputerVision,2012:866-879.

[4]HENRIQUESJF,CASEIROR,MARTINSP,etal.High-SpeedTrackingwithKernelizedCorrelationFilters[J].IEEETransactiongsonPatternAnalysisandMachineIntelligence,2015,37(3):583-596.

[5]ORONS,BAR-HILLELA,LEVID,etal.LocallyOrderlessTracking[C]∥IEEEConferenceonComputerVisionandPatternRecognition,2012:1 940-1 947.

[6]KWONJ,LEEKM.TrackingbySamplingTrackers[C]∥IEEEInternationalConferenceonComputerVision,2011:1 195-1 202.

[7]GODECM,ROTHPM,BISCHOFH.Hough-basedTrackingofNon-rigidObjects[J].ComputerVisionandImageUnderstanding,2013,117(10):1 245-1 256.

[8]JIAX,LUH,YANGMH.VisualTrackingviaAdaptiveStructuralLocalSparseAppearanceModel[C]∥IEEEConferenceonComputerVisionandPatternRecognition,2012:1 822-1 829.

[9] 張洪建.基于有限集統(tǒng)計學(xué)的多目標(biāo)跟蹤算法研究[D].上海:上海交通大學(xué),2009.

[10] 宋驪平.被動多傳感器目標(biāo)跟蹤方法研究[D].西安:西安電子科技大學(xué),2008.

[11] 楊柏勝.被動多傳感器探測目標(biāo)跟蹤技術(shù)研究[D].西安:西安電子科技大學(xué),2008.

[12] NING J,ZHANG L,ZHANG D,et al.Scale and Orientation Adaptive Mean Shift Tracking[J].IET Computer Vision,2012,6(1):52-61.

[13] BEYANC,TEMIZEL A.Adaptive Mean-shift for Automated Multi Object Tracking[J].IET Computer Vision,2012,6(1):1-12.

[14] MAZINANA H,AMIR-LATIFI A.Improvement of Mean Shift Tracking Performance Using a Convex Kernel Function and Extracting Motion Information[J].Computers & Electrical Engineering,2012,38(6):1 595-1 615.

[15] GRABNERH,GRABNER M,BISCHOF H.Real-Time Tracking via On-line Boosting[C]∥The British Machine Vision Conference,2006:47-56.

[16] ROSS D,LIM J,LIN R S,et al.Incremental Learning for Robust Visual Tracking[J].International Journal of Computer Vision,2008 77(1):125-141.

[17] BABENKO B,YANG M H,BELONGIE S.Visual Tracking with Online Multiple Instance Learning[C]∥IEEE Conference on Computer Vision and Pattern Recognition,2009:983-990.

[18] MEI X ,LING H R.Visual Tracking Using L1 Minimization[C]∥IEEE International Conference on Computer Vision,2009:1 436-1 443.

[19] EVERINGHAM M,GOOL L J V,WILLIAMS C K I,et al.The Pascal Visual Object Classes VOC Challenge[J].International Journal of Computer Vision,2010,88(2):303-338.

梁 碩 男,(1991—)，碩士研究生。主要研究方向：視頻圖像處理。

陳金勇 男，( 1970—) ，研究員，博士生導(dǎo)師。主要研究方向:航天地面應(yīng)用、電子信息系統(tǒng)。

A Survey of Video Object Tracking Algorithms Based on Classification

LIANG Shuo，CHEN Jin-yong，WU Jin-liang

(The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

For the problem of speed and accuracy in the video object tracking,the appearance model and tracking algorithm for the video object tracking are introduced in this paper,and the video object tracking algorithm based on classification is analyzed.Quantitative experiment is carried out to evaluate the speed and accuracy of four state-of-art tracking methods based on classification from illumination variation,scale variation,occlusion and background clutters.By analyzing the advantages and disadvantages of the approaches,a reference is built for the proposal of new methods.

object detection;classification learning;object tracking;evaluation algorithm

10.3969/j.issn.1003-3106.2017.01.05

梁 碩,陳金勇,吳金亮.基于分類的視頻目標(biāo)跟蹤算法研究[J].無線電工程,2017,47(1):19-22,66.

2016-11-14

海洋公益性科研專項基金資助項目(201505002)。

TP391.4

A

1003-3106(2017)01-0019-04