甘展鵬 許華榮，2 何原榮 曹 衛(wèi)

（1.廈門理工學(xué)院計算機與信息工程學(xué)院 廈門 361024）（2.廈龍工程技術(shù)研究院 龍巖 364000）

1 引言

隨著計算機和科學(xué)技術(shù)的發(fā)展，機器視覺廣泛的應(yīng)用于人們生活中的方方面面。在實際的生活中，目標(biāo)跟蹤技術(shù)已經(jīng)廣泛地應(yīng)用于智能視頻監(jiān)控、汽車導(dǎo)航、無人機的目標(biāo)跟蹤、智能交通等行業(yè)中［1～5］，而相關(guān)濾波憑借的高速的處理能力和良好的跟蹤正確率受到人們的青睞。在2010年，Bolme［6］等人，通過計算最小均方誤差（MOSSE）計算相似性，首次將時域轉(zhuǎn)換到頻域進行計算；2014年，Henriques等提出了多通道HOG特征的核相關(guān)濾波器KCF［7］；Danelljan提出了具備尺度變化判別的DSST算法［8］；2014年的SAMF［9］提出一種將灰度、HOG和CN相結(jié)的多特征表示以及加入尺度估計實現(xiàn)目標(biāo)跟蹤；在2016年，Bertinetto等提出STAPLE［10］，利用顏色直方圖濾波器和HOG濾波器進行互補學(xué)習(xí)跟蹤；在2017年，Danelljan提出ECO［11］通過因式分解卷積的方法簡化特征提取。

上述的算法對相關(guān)濾波目標(biāo)跟蹤進行了一定程度上的改進。但是依舊存在以下幾個問題：跟蹤的精度和正確率有待提高；在運動模糊或者遮擋情況下，容易發(fā)生漂移或者跟蹤失敗。針對以上問題，本文分別單獨訓(xùn)練HOG+Gray濾波器和CN濾波器，然后線性加權(quán)融合兩個濾波器的響應(yīng)圖，來提高判別器判別能力；通過構(gòu)建尺度池，求取最大尺度來響應(yīng)輸出最佳尺度變化，以及融入反向檢測輸出正確尺度；通過目標(biāo)歷史運動狀態(tài)以及響應(yīng)變化提出一種自適應(yīng)學(xué)習(xí)率機制，實現(xiàn)動態(tài)的模型更新。

2 KCF跟蹤算法

在跟蹤器的訓(xùn)練過程中，KCF利用循環(huán)矩陣進行密集采樣，得到樣本集：{x1，x2，x3，...， }xn構(gòu)建線性嶺回歸模型：

其中，yi是樣本xi的標(biāo)簽，f為濾波器，ω為濾波器參數(shù)，λ為正則化系數(shù)。

對線性嶺回歸進行求解可得：

其中，X為樣本的循環(huán)矩陣，I為單位陣。

為了提高跟蹤器的判別能力，利用非線性函數(shù)φ(x)將樣本集映射到高維空間，此時

其中，α是w的對偶空間變量。并且引入核技巧，最終嶺回歸的解為

其中，K為核相關(guān)矩陣。借助循環(huán)矩陣的性質(zhì)，最終求得在頻域中的解為

其中，∧表示傅里葉變換，k∧xx表示樣本x在傅里葉中的自相關(guān)。

3 一種多特征自適應(yīng)學(xué)習(xí)機制的目標(biāo)跟蹤算法

3.1 多特征線性融合

為提高跟蹤器的判別能力，將HOG、GRAY和CN三種不同屬性的特征進行線性加權(quán)融合。首先訓(xùn)HOG+GRAY特征的濾波器和CN顏色濾波器。其次，計算兩個濾波器的APCE［12］（average peak to correlation energy）響應(yīng)值。最后，線性加權(quán)融合兩個濾波器的輸出響應(yīng)，得到最終響應(yīng)。其中，APCE計算如下：

其中，R是響應(yīng)圖，“mean”為均值操作。

分別計算兩個濾波器輸出響應(yīng)的置信值A(chǔ)PCEHOG+GRAY，APCECN來自適應(yīng)線性加權(quán)得到最終響應(yīng)R：

其中，RHOG+GRAY、RCN分別是HOG+GRAY和CN濾波器兩個濾波器的輸出響應(yīng)圖。

3.2 尺度濾波器與反向檢測

針對KCF不具備尺度變換問題，文獻［8，13］采用一個一維的尺度估計濾波器來輸出對應(yīng)目標(biāo)的尺度，并加入反向檢測機制，提高尺度判別準(zhǔn)確的。

通過當(dāng)前幀目標(biāo)的寬P、高R以及尺度因子a來確定目標(biāo)的尺寸：

根據(jù)式（10）生成對應(yīng)大小的圖像塊，并且提取每個圖像塊的d維特征，從而訓(xùn)練一個尺度濾波器h。

雖然通過尺度濾波器能夠較好地在物體發(fā)生尺度變換的情況下正確的框出大小，但是難免會出現(xiàn)尺度估計錯誤的情況。如圖1 human3中，目標(biāo)尺度發(fā)生很微小的變化，但是由于尺度濾波器錯誤估計，導(dǎo)致納入太多錯誤背景信息，發(fā)生濾波器跟蹤丟失。

圖1 human3視頻序列

因此，本文針對上述問題，提出一種反向檢測的方式來避免錯誤的尺度估計。具體流程：首先通過尺度濾波器輸出最佳目標(biāo)尺度，然后將得到的新尺度反向的進行上述的HOG+Gray濾波器和CN顏色特征濾波器檢測并線性融合得到新的響應(yīng)圖R，通過計算當(dāng)前估計尺度下目標(biāo)的APCE置信度和前一幀APCE置信度的大小。當(dāng)反向檢測最終的APCE滿足APCEt<β*APCEt-1時候，停止更新目標(biāo)尺度；否則更新目標(biāo)尺度。

3.3 自適應(yīng)學(xué)習(xí)率

由于傳統(tǒng)的KCF采用固定的學(xué)習(xí)率進行更新模型逐幀更新，所以當(dāng)物體發(fā)生快速運動或者遮擋的時候容易導(dǎo)致模型污染。針對以上問題，本文提出一種根據(jù)物體運動速度與APCE相結(jié)合的自動學(xué)習(xí)率調(diào)整模型。在先前提到的APCE中，其可以反映響應(yīng)圖的波動情況。當(dāng)目標(biāo)快速移動或者發(fā)生遮擋的時候APCE會出現(xiàn)明顯的下降，意味著當(dāng)前的響應(yīng)置信度不高，此時可以通過調(diào)低學(xué)習(xí)率或者禁止模型更新，防止模型引入過多的噪聲干擾。更新率θ1與APCE取值之間的關(guān)系滿足以下公式：

其中，mean_apce是歷史幀的均值，公式如下：

圖2 APCE的變化-更新率曲線

在式（11）和（12）中的APCE由式（6）計算得到。

有時候，單獨的使用APCE來計算更新率不一定能夠很好地反映物體的運動狀態(tài)。因此引入物體運動速度來估計模型的更新率。當(dāng)物體快速移動的時候，應(yīng)加大更新率，防止模型更新過慢而導(dǎo)致跟丟；當(dāng)物體運動較為緩慢，可以降低更新率。本文將上一幀目標(biāo)的中心位置與當(dāng)前幀目標(biāo)的中心位置的歐氏距離視為物體每一幀的運動速度。更新率θ2與速度v之間的關(guān)系式如下［14］：

當(dāng)物體發(fā)生遮擋的時候，根據(jù)文獻［13，15］提出的遮擋判別策略，本文將兩者的優(yōu)點融合在一起，用于物體發(fā)生遮擋的時候，停止模型更新。

首先，計算當(dāng)前的相鄰兩幀的峰值變換情況：

其次分別計算歷史峰值變換均值：

根據(jù)式（12）計算歷史均值mean(APCE)與APCEt之間的比例關(guān)系。在兩種同時滿足一點比例的時候，說明物體發(fā)生了遮擋應(yīng)以較小的學(xué)習(xí)率更新模型或者停止模型的更新。

最終，為了得到更加魯棒的自動更新率，本文將兩者進行線性融合，每隔兩幀計算最終的學(xué)習(xí)因子η，如下：

3.4 算法步驟

本文算法步驟如下：

輸入：視頻幀frames.

輸出：目標(biāo)框target_sz，中心位置Pos.

1）初始化HOG+Gray位置濾波器和CN位置濾波器，尺度濾波器h.

2）對于第i幀，根據(jù)式（7）計算位置濾波器最終的響應(yīng)圖R.

3）根據(jù)位置濾波器得到的目標(biāo)位置，通過尺度濾波器計算S個尺度下對應(yīng)的響應(yīng)，輸出尺度濾波器最佳尺度S_Best，并將該尺度反向傳回到位置濾波器HOG+Gray和CN進行計算APCE置信度，從而輸出最終的最佳目標(biāo)尺度.

4）每隔兩幀計算當(dāng)前目標(biāo)的學(xué)習(xí)因子，更新目標(biāo)濾波器的模型.

4 分析與討論

4.1 實驗環(huán)境

實驗以Matlab 2015a為開發(fā)平臺，在Windows 10系統(tǒng)，處理器Inter（R）Core（TM）i5-9300H CPU@2.40GHz的電腦上測試。實驗用的是Visual Tracker Benchmark測試的OTB-100數(shù)據(jù)集進行測試［16～17］。在整個目標(biāo)跟蹤實驗里，與主流的跟蹤算法DSST、MOSSE_CA［18］、DCF_CA［18］，KCF、SAMF、CT［19］、CSK［20］共七種算法進行對比實驗。

4.2 實驗系數(shù)確定

經(jīng)過實驗表明，在算法跟蹤矩形框與實際標(biāo)注框的中心距離設(shè)置為20的情況下，自動學(xué)習(xí)率的系數(shù)選擇為b=0.018，c=0.01實驗成功率最好。

表1 不同系數(shù)下的目標(biāo)跟蹤成功率

4.3 定量分析

經(jīng)過試驗分析，本文的參數(shù)選擇為首幀學(xué)習(xí)率learning_factor=0.02；動態(tài)學(xué)習(xí)率更新系數(shù)b=0.018，c=0.01，β=0.95，η1=1.5，η2=0.45，KCF和DSST的λ=10-4。其余參數(shù)和KCF、DSST一樣。

從上圖可以得知，本文的算法在OTB-100數(shù)據(jù)集上，選擇OPE評測方法得到的DP和OP相較于其他7種算法具有較好的成功率和精度。在精度曲線圖設(shè)置評測閾值為20像素點的情況下，DP得分為0.776，相較于SAMF和DCF_CA分別提升了2.5%和3.2%；在重疊率閾值為0.5的情況下，OP得分為0.699，相較于SAMF和DSST提升了3%和8.6%。為了更好地評測本文算法與其他算法的性能差異，在OTB-100數(shù)據(jù)集中11種不同屬性目標(biāo)跟蹤場景下進行分析。表2～3中格數(shù)據(jù)加粗的為評分第一，下劃線為第二。

圖3 8種算法在OTB-100中得到的精度曲線圖和成功率曲線圖

從表2～4可以看出，在保持較好的跟蹤速度的同時，本文算法還能夠具備較優(yōu)的跟蹤準(zhǔn)確率。

表2 8種目標(biāo)跟蹤算法在11種不同場景下的距離精度DP評價指標(biāo)

表3 8種目標(biāo)跟蹤算法在11種不同場景下的成功率OP評價指標(biāo)

表4 8種算法在OTB-100上的平均速度和精度

5 結(jié)語

本文算法是在傳統(tǒng)的KCF核相關(guān)濾波框架上，提出一種多特征融合、尺度判別和自適應(yīng)學(xué)習(xí)率的跟蹤算法。經(jīng)過實驗表明，本文算法在目標(biāo)尺度變換、遮擋、快速運動以及光照變化等具有較好的跟蹤魯棒性。同時，在跟蹤速度上平均幀率為45.5fps，滿足實時物體跟蹤要求。本文算法主要是針對目標(biāo)跟蹤的短時跟蹤，接下來的工作可以從長時間目標(biāo)跟蹤入手；本文選擇的特征主要是傳統(tǒng)的手工特征，為了達(dá)到更好的跟蹤效果，未來可以嘗試更具深層次的深度特征。