王任華,王本璇,孔 軍,蔣晨琛

(1.中國人民公安大學 信息技術(shù)與網(wǎng)絡安全學院,北京 100038;2.香港理工大學 電子及資訊工程系,香港 999077;3.江南大學 物聯(lián)網(wǎng)工程學院,江蘇 無錫 214122)

目標跟蹤一直是機器視覺研究領(lǐng)域中的一個基礎(chǔ)且重要的研究課題。隨著機器視覺領(lǐng)域研究的迅猛發(fā)展以及高質(zhì)量圖像數(shù)據(jù)采集技術(shù)的出現(xiàn),目標跟蹤技術(shù)的發(fā)展也是日新月異[1]。當然,這與目標跟蹤技術(shù)的廣泛應用也是密不可分的[2]。目標跟蹤的工業(yè)應用領(lǐng)域主要包括自動監(jiān)控系統(tǒng)、智能醫(yī)學診斷、精確軍事偵察、機器人視覺導航等。此外,目標跟蹤技術(shù)在場景理解、視頻語義分析、行為識別等學術(shù)領(lǐng)域也均具有重要的研究價值。但令人遺憾的是,目標跟蹤的實現(xiàn)一直面臨著諸多干擾和挑戰(zhàn),其中最常見的就是目標遮擋和目標形變[3]。這主要是因為跟蹤過程中,由于非剛性目標的姿態(tài)動作或者外界遮擋物的出現(xiàn),目標的外觀信息會隨之發(fā)生變化,尤其是目標的空間結(jié)構(gòu)會被打亂。這些視覺信息變化帶來的跟蹤誤差會隨著跟蹤的進行而累積,最終導致跟蹤失敗。

鑒于相關(guān)濾波器(Correlation filter,CF)在目標檢測中的良好表現(xiàn),Bolme等[4]將相關(guān)濾波器應用到目標跟蹤中,提出了基于最小輸出誤差平方和(Minimum output sum of squared error,MOSSE)的相關(guān)濾波跟蹤算法。隨后,眾多學者在此框架上提出了各種改進算法,從利用更多有效特征、緩解邊界效應、利用上下文信息、簡化模型復雜度、引入多分塊策略等眾多方面出發(fā),提升跟蹤效果。這其中Henriques等[5]提出的核化相關(guān)濾波(Kernelized correlation filters,KCF)跟蹤算法可以說是目前應用最為廣泛的基于相關(guān)濾波的跟蹤算法。但KCF算法作為基于模板的跟蹤算法,對形變、遮擋等干擾十分敏感。為此,Bertinetto等[6]提出了Staple算法,通過分配固定的權(quán)重比例將顏色感知算法[7](Distractor-aware tracker,DAT)與相關(guān)濾波器進行了聯(lián)合學習,但固定權(quán)重的聯(lián)合在大多數(shù)復雜情況下無法很好地體現(xiàn)聯(lián)合的優(yōu)勢。為了解決跟蹤目標的尺度變化問題,在MOSSE的基礎(chǔ)上,判別尺度空間跟蹤(Discriminative scale space tracker,DSST)算法[8]被提出。隨著深度學習在大多數(shù)視覺任務上的出色表現(xiàn),很多學者將深度特征引入基于相關(guān)濾波的跟蹤算法中[9-10],也有直接通過端到端的深度學習框架實現(xiàn)高性能的單目標跟蹤[11,12]。但是這兩類深度方法通常需要大量的數(shù)據(jù)用來訓練網(wǎng)絡,同時對運行平臺要求高,也很難滿足實時性的需求。

在當前流行的眾多跟蹤算法中,基于多分塊的跟蹤算法因為其對抗部分遮擋的有利特性而廣受歡迎。Li等[13]在連續(xù)蒙特卡羅框架下利用概率模型來估計每幀中瑣碎分塊分布的可信度,試圖識別和利用可靠的分塊并通過投票機制得到最優(yōu)位置。Liu等[14]利用結(jié)構(gòu)約束掩碼和判別式分塊選擇方案,提高了基于分塊的跟蹤器性能。Dong等[15]提出了一種新的循環(huán)結(jié)構(gòu)分類器進行無遮擋檢測并建立分類器池,根據(jù)熵最小化準則從分類器庫中選擇一個最優(yōu)分類器對受遮擋目標進行重新檢測。在基于多分塊的跟蹤算法中,目標的外觀在結(jié)構(gòu)上是由目標的若干個局部分塊構(gòu)成的。當部分遮擋發(fā)生時,目標處仍有可見的分塊,可以用于提取目標特征,為目標定位提供了可靠的外觀表述信息。但這類算法通常在計算上非常復雜,同時不準確的分塊通常會導致不穩(wěn)定的最終跟蹤結(jié)果。

在上述研究的基礎(chǔ)上,為了優(yōu)化基于相關(guān)濾波器的跟蹤算法,本文利用局部分塊模型應對部分遮擋問題,同時考慮到局部與全局目標的聯(lián)系,聯(lián)合全局模型與局部分塊模型來實現(xiàn)魯棒的目標跟蹤。其中分塊的偏移信息將用來評估塊的可信度,緩解錯誤信息分塊對最終結(jié)果的負面影響。這里的全局和分塊模型使用的均為自適應互補模型,不但繼承了相關(guān)濾波模型的判別能力,而且具有顏色模型應對大幅度的形變和部分遮擋的魯棒性。而在尺度估計模塊,不同于大部分的基于多分塊的模型使用分塊的相對位置得到目標尺度,本文仍使用單獨的快速尺度估計模塊。最后本文提出的算法滿足實際應用中的實時性需求。

1 基本原理

1.1 基于核相關(guān)濾波器的目標跟蹤

在KCF算法[5]中,對于一組樣本與標簽(x1,y1),(x2,y2),…,(xm,ym),濾波器w可以通過對訓練樣本和標簽之間關(guān)系的計算得到。對于樣本xi來說,計算得到的f(xi)=wTxi最好可以保證與回歸目標yi之間的誤差最小

(1)

式中:λ為正則參數(shù),為了防止過擬合發(fā)生。式(1)的矩陣形式為

(2)

式中:數(shù)據(jù)矩陣X=[x1,x2,…,xn]T為樣本矩陣,y為回歸目標,對應樣本標簽。對w求導,可以得到w的復數(shù)形式解為

w=(XHX+λI)-1XHy

(3)

式中:XH=(X*)T表示X的復共軛轉(zhuǎn)置矩陣,I為單位矩陣。利用離散傅里葉變換(Discrete Fourier transform,DFT)求解式(3)。這里的X符合循環(huán)矩陣的性質(zhì),能夠被離散傅里葉變換所對角化

(4)

(5)

式中:⊙表示像素點乘積,分號表示按像素點相除。利用循環(huán)矩陣的卷積性質(zhì)將式(5)化簡得到

(6)

由此時域中的解w可以通過傅里葉逆變換得到,避免了復雜的矩陣求逆等運算。

同時考慮到實際應用中大量的非線性可分的數(shù)據(jù),Henriques等[5]引入了核方法,利用映射函數(shù)的內(nèi)積即核函數(shù)來避免相關(guān)映射的直接求解。此時解w可以由映射后的樣本φ(xi)的線性組合[16]表示:w=∑iαiφ(xi)。由此得到嶺回歸的解

α=(K+λI)-1y

(7)

式中:α為由αi構(gòu)成的向量,K為核矩陣,由核函數(shù)k(x,x′)=φT(x)φ(x′)組成,I為單位矩陣。對于任意測試樣本z的濾波器響應值可以表示為

Sf(z)=wTz=∑iαik(z,xi)

(8)

1.2 目標全局模型

本文的目標全局模型使用的是基于自適應模型補償?shù)南嚓P(guān)濾波跟蹤器。基于顏色直方圖的算法模型利用目標與背景的顏色統(tǒng)計信息,可以有效應對目標形變,但無法在快速運動和運動模糊等方面上取得很好的成績?；诤讼嚓P(guān)濾波器的跟蹤模型由于其剛性模板的固有特性,對目標形變十分敏感,本文提出自適應權(quán)重聯(lián)合兩個模型,取長補短。該自適應模型補償由加權(quán)疊加公式完成來,其表達式

Sglobal=ωhSh+ωfSf

(9)

式中:Sf和Sh分別是基于核相關(guān)濾波器模型和顏色模型的響應;ωf和ωh分別是濾波器模型和顏色模型的自適應權(quán)重,且ωh=(1-ωf)。兩個模型的聯(lián)合權(quán)重取決于它們的置信度SE[17]。

該置信度評判由濾波器的響應波動程度得到,數(shù)學表達式為

(10)

聯(lián)合模型中顏色跟蹤器的響應是根據(jù)有限區(qū)域上定義顏色直方圖特征計算得到[6]

(11)

式中:Ψ表示在區(qū)域Ω中基于樣本像素r的顏色直方圖特征,β為權(quán)重向量。該響應可以看作是特征投票的平均值。其中β的求解可以由顏色跟蹤器的損失函數(shù)得到

(12)

解式(12)可以得到

(13)

式中:ρ(H)=N(H)/(H)表示在區(qū)域H中,非零特征的像素所占比例,N(H)=|{r∈H:Ψ[r]≠0}|表示有限區(qū)域H內(nèi)直方圖特征Ψ[r]不為零的像素個數(shù),λh為正則化項,防止分母為零。

1.3 局部分塊模型

大多數(shù)的目標跟蹤算法都是對目標整體進行檢測和定位的,但在這過程中,若目標的外觀發(fā)生較大變化,單一的目標外觀表示很難應對這種突然的改變,尤其是在應對遮擋問題的時候。對于這種問題,常見的解決方案是在跟蹤目標之前將目標劃分為若干分塊,用這些分塊的組合表述目標外觀,這樣將更容易獲得合適的目標外觀表示,最終獲得準確的跟蹤結(jié)果。因而,這種基于多分塊的跟蹤策略主要被用于處理部分遮擋和形變等外觀發(fā)生大幅度變化的問題。

參考文獻[14]的分塊策略進行分塊操作,如圖1所示。圖1中,1矩形框代表采樣區(qū)域,2矩形框代表目標矩形框,可以由全局跟蹤模型得到全局響應圖。3矩形框和4矩形框為局部分塊,可以由局部跟蹤模型得到每個小分塊的響應圖,最后由全局和局部分塊的響應聯(lián)合得到最終目標位置為點5。

（1）應用齊波夫定律進行礦產(chǎn)資源預測，要求礦區(qū)內(nèi)礦體是在相同地質(zhì)時期、相同地質(zhì)條件、相同地質(zhì)背景下形成的，且各礦體資源量滿足齊波夫分布定律。

(14)

L的值越大,說明該分塊的偏移越大,越不值得信任,若各個分塊的運動軌跡保持穩(wěn)定,L的值將穩(wěn)定在0左右。

1.4 全局與局部分塊的聯(lián)合估計

(15)

(16)

(17)

式中:max(Sglobal)表示全局模型響應圖Sglobal的最大值。

1.5 尺度估計

(18)

式中:γ為懲罰項。

由此得到的最大響應值所對應的目標尺寸即為當前幀的目標尺度。式(18)中的M和N可以分別通過下式更新得到

(19)

(20)

式中:t表示幀,θ表示學習率,F和G分別為訓練樣本和高斯型期望值的離散傅里葉變換形式。

1.6 算法框架

本文的跟蹤算法框架圖如圖2所示。為了有效應對復雜環(huán)境下的目標遮擋問題,本文算法設置遮擋判斷機制,當判斷當前幀不存在遮擋時,僅利用目標的全局模型來獲得最終目標位置;若判斷當前幀存在遮擋,則聯(lián)合全局與局部分塊得到最終目標位置。全局與局部的聯(lián)合權(quán)重來自于各自的置信度量,不僅包括各自的響應,還包括分塊的相對運動信息。本文算法借助分塊策略完善互補融合模型,可以有效應對遮擋形變等復雜情況。

2 實驗結(jié)果與討論

本文的實驗是在Intel Core i5 CPU處理器上進行的,計算機擁有3.20 GHz和8 GB內(nèi)存,代碼的編程平臺是Window7系統(tǒng)下的Matlab R2015a。

2.1 實驗參數(shù)

與大部分的相關(guān)濾波跟蹤模型相同,本文使用HOG來表征所有圖像塊。本文實驗中,λ的取值為0.01,濾波器模型和顏色模型的學習率分別設定為ηf=0.015和ηh=0.04,權(quán)重ωf和ωh的初始值設置為0.7和0.3,即ω0=0.7。同時本文的分塊數(shù)量為4,大小為目標尺度的0.6倍。參考文獻[4],遮擋判斷閾值T0設置為35。對于尺度估計模塊,尺度因子a設置為1.02,尺度濾波的個數(shù)為33。

2.2 評估方法

Wu等[18]提出的OTB數(shù)據(jù)庫是目前最為流行的跟蹤基準,包含并整理了50個具有不同干擾屬性的視頻序列,其中所有的視頻序列可以劃分為11個不同的屬性,分別為目標形變(Deformation,DEF),光照變化(Illumination variation,IV),遮擋(Occlusion,OCC),平面外旋轉(zhuǎn)(Out-of plane rotation,OPR),尺度變化(Scale variation,SV),快速移動(Fast motion,FM),低分辨率(Low resolution,LR),運動模糊(Motion blur,MB),超出視野范圍(Out-of-view,OV),背景雜亂(Background clutters,BC),平面內(nèi)旋轉(zhuǎn)(In-plane rotation,IPR)。本文在實驗中采用的就是該視頻數(shù)據(jù)集。

本文提出的算法與OTB數(shù)據(jù)集上的22個經(jīng)典算法[14]:IVT、L1APG、SemiT、CT、CPF、Frag、DFT、VR-V、BSBT、TLD、ORIA、ASLA、MTT、CXT、LOT、SMS、OAB、MIL、SCM、KMS、Struck、CSK以及KCF[5]、DSST[8]、RPT[13]、Staple[6]、SiamFC[11]一共27個算法在OTB2013視頻序列集合上來進行對比實驗。這27個算法包括了經(jīng)典的生成式跟蹤方法和判別式跟蹤方法,以及端對端的深度學習方法,同時將擁有相似思想的算法KCF、RPT、DSST和Staple列入對比實驗。上述所有算法的代碼和數(shù)據(jù)結(jié)果分別從OTB數(shù)據(jù)庫和相應作者的主頁上獲得。

2.3 實驗結(jié)果與分析

本文采用OTB數(shù)據(jù)集中的OPE指標進行評估,即利用視頻序列中的第一幀作為實驗的第一幀。不同屬性干擾下的對比實驗結(jié)果分別如圖3和圖4所示,為了清晰顯示對比實驗結(jié)果,圖中僅顯示前10名的算法結(jié)果。圖3為精確度圖,圖4為覆蓋成功率圖。從圖3、4可以看出,在精確度的對比上,本文算法在OCC、DEF、OPR、IPR和BC這5個主要屬性上都取得了第一名的表現(xiàn),其余屬性也都位列前三。在成功率的對比上,本文算法在OCC、DEF、IV、平面內(nèi)外旋轉(zhuǎn)等7個屬性上表現(xiàn)出了最具競爭力的性能。

對于遮擋、形變和旋轉(zhuǎn)干擾,無論是精確度還是成功率方面,本文算法都優(yōu)于經(jīng)典的深度學習算法SiamFC以及與本文思想類似的RPT和Staple算法。這一方面是由于分塊的策略在抗遮擋上發(fā)揮著重要作用。另一方面是多分塊與全局模型的結(jié)合,利用互補融合模型在旋轉(zhuǎn)和形變上的優(yōu)秀表現(xiàn),使本文的算法在實際復雜跟蹤環(huán)境中擁有較好的魯棒性,可以準確定位目標?？傮w而言,本文提出的跟蹤算法將自適應模型補償引入多分塊的跟蹤框架,聯(lián)合全局和局部分塊模型,可以在復雜環(huán)境下實現(xiàn)魯棒的目標跟蹤。

從算法準確率和成功率的對比中,可以看出本文的跟蹤算法在各種復雜情形下都表現(xiàn)出優(yōu)異的性能。為了進一步體現(xiàn)出本文算法的運算復雜度和應用價值,本實驗選取了精度前10名的算法做實時性分析,結(jié)果如表1所示。從表中可以看出,本文的基礎(chǔ)算法KCF在數(shù)據(jù)庫上的平均速度為189 f/s,而由于本文所使用的分塊策略以及互補融合模型等操作導致算法的運算復雜度上升,本文所提出的跟蹤算法(Ours)在數(shù)據(jù)庫上的平均速度僅為39 f/s,但也可以滿足實際應用中的實時性要求。

同時,為了更為直觀地展現(xiàn)算法在不同干擾因素的影響下在視頻序列上的跟蹤效果,本實驗從OTB數(shù)據(jù)庫中選取了5個具有代表性的視頻序列,這些視頻序列包含的干擾屬性如表2所示。隨后,圖5展示了本文提出的跟蹤算法(Ours)與KCF算法、Staple算法、DSST算法、RPT算法在這5個視頻序列上的對比跟蹤效果,圖5從上到下的視頻序列依次為Bolt、CarScale、Couple、DragonBaby、Coke。

表2 視頻序列屬性表

從圖5可以明顯看出,在Bolt序列中,第10幀時KCF算法、DSST算法和RPT算法定位的目標中心開始出現(xiàn)偏差,隨著跟蹤進行,KCF算法和DSST算法出現(xiàn)目標漂移,而RPT算法無法很好預測目標尺度信息。隨著形變、背景雜亂等因素的影響,DSST算法和KCF算法定位的目標位置完全偏離真實目標位置。這主要是因為基于相關(guān)濾波的目標跟蹤算法因其固有缺陷,無法應對大幅度形變,在跟蹤非剛性目標時表現(xiàn)不理想。而本文算法采用的基礎(chǔ)模型是自適應互補模型,可以有效應對形變等問題。在CarScale序列中,KCF算法無法應對尺度變化,而DSST算法和RPT算法受遮擋和旋轉(zhuǎn)的影響,所定位的中心點發(fā)生偏移。在Couple序列中,背景雜亂、遮擋、形變、快速運動等多種干擾因素的影響十分嚴重。受到背景雜亂的干擾KCF算法和DSST算法在訓練過程中引入過多的錯誤訓練樣本,濾波器判別目標的能力下降,最終跟蹤失敗。隨著跟蹤進行,非目標像素逐漸累積,Staple算法無法有效利用其互補模型對其進行矯正,定位的目標中心發(fā)生較大偏差,而本文算法根據(jù)每一幀的響應值來適時的調(diào)整權(quán)重比例,同時考慮到了利用多分塊的思想來設置抗遮擋機制,實現(xiàn)了較為穩(wěn)定準確的跟蹤。同樣,在DragonBaby序列中,Staple算法也逐漸發(fā)生目標中心偏差,KCF算法和DSST算法無法應對旋轉(zhuǎn)和遮擋問題,RPT算法受快速運動和運動模糊的影響發(fā)生跟蹤結(jié)果漂移,而本文算法能始終成功定位到目標(臉部)。在Coke序列中,第35幀和第265幀中的目標遇到了較為嚴重的目標遮擋,同時伴隨著光照變化,KCF算法、Staple算法、DSST算法和RPT算法都發(fā)生了不同程度的中心位置偏移。而本文算法通過遮擋判斷機制,通過多分塊的策略有效應對遮擋問題,同時考慮到全局與局部信息的聯(lián)系,聯(lián)合全局與局部模型實現(xiàn)更為魯棒的目標跟蹤。

3 結(jié)論

本文主要提出了一種聯(lián)合全局與局部分塊的相關(guān)濾波目標跟蹤算法,在面對目標嚴重遮擋時,聯(lián)合全局響應與局部分塊響應獲取最終的目標位置。為了緩解遮擋對算法的負面影響,利用局部分塊獲得響應,采用自適應加權(quán)疊加的策略與全局模型進行聯(lián)合來獲得嚴重遮擋情況下的目標位置。同時,在多分塊的跟蹤框架下,本文引入了自適應模型補償?shù)母櫰?將融合模型的概念融入多分塊跟蹤中。本文提出的跟蹤算法從局部分塊中獲得了較強的抗遮擋能力,從自適應互補模型的跟蹤器中獲得了較強的判別能力。此外,設置單獨的尺度處理模塊來處理尺度問題。通過OTB視頻數(shù)據(jù)集上的大量對比實驗,本文提出算法相較于其他算法,具有出色的識別目標的能力,能在遮擋、形變等復雜環(huán)境下獲得較為準確的跟蹤結(jié)果。在下一步的研究工作中,將致力于長時間跟蹤中的目標完全丟失問題,設置重檢測模塊來提高跟蹤結(jié)果的精度,同時考慮降維策略來減少算法的運行時間。