任奕穎，董小明

（安慶師范大學(xué) 電子工程與智能制造學(xué)院，安徽 安慶 246133）

隨著智能交通、視頻監(jiān)控和人機(jī)交互等領(lǐng)域的不斷發(fā)展，目標(biāo)跟蹤逐漸成為計(jì)算機(jī)視覺領(lǐng)域的熱門研究方向之一。近年來涌現(xiàn)出很多優(yōu)秀的算法，相比過去已取得了很大突破，但如何在運(yùn)動模糊、遮擋、光照變化等干擾下保持跟蹤算法的準(zhǔn)確性，仍是尚待研究的問題。

當(dāng)前目標(biāo)追蹤算法的研究熱點(diǎn)方向主要有兩類。一類是基于相關(guān)濾波的跟蹤算法。自從提出相關(guān)濾波追蹤方法后，因其性能和速度優(yōu)勢，在目標(biāo)追蹤領(lǐng)域受到了廣泛的關(guān)注，在跟蹤的精度及速度方面有很大提升，但相關(guān)濾波法隨著研究的推進(jìn)，在精度提升上遇見了瓶頸[1-5]。另一類是基于孿生網(wǎng)絡(luò)框架?；趯\生網(wǎng)絡(luò)（Siamese Network）的目標(biāo)追蹤算法由于其在速度和準(zhǔn)確度方面上能取得相對平衡，故引起了廣泛關(guān)注。SiamFC[6（]Siam Full Convolution）算法采用相似性函數(shù)設(shè)計(jì)以計(jì)算模板區(qū)域與搜索區(qū)域之間的相似度，從而得到所跟蹤目標(biāo)的位置及大小，這種方法雖然在速度上取得了很大提升，但難以解決長時(shí)間跟蹤后的目標(biāo)偏移及丟失問題。SiamRPN[7（]Siam Region proposed Network）模型在孿生網(wǎng)絡(luò)的輸出后加上區(qū)域建議網(wǎng)絡(luò)，通過聯(lián)合訓(xùn)練分支和回歸分支進(jìn)行區(qū)域建議，將跟蹤任務(wù)轉(zhuǎn)換為檢測任務(wù)，在保持精度的同時(shí)實(shí)現(xiàn)了高速跟蹤。然而，當(dāng)目標(biāo)快速移動或有遮擋干擾時(shí)，其容易出現(xiàn)目標(biāo)丟失情況。ZHU等在SiamRPN結(jié)構(gòu)上提出了DaSiamRPN模型[8]，通過在訓(xùn)練階段增加負(fù)訓(xùn)練樣本以增強(qiáng)數(shù)據(jù)，使得結(jié)果更具有魯棒性。BO等在SiamRPN結(jié)構(gòu)上設(shè)計(jì)了SiamRPN++模型[9]，通過隨機(jī)移動訓(xùn)練目標(biāo)在搜索區(qū)域中的位置以消除中心偏差，并對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了優(yōu)化，使跟蹤精度達(dá)到更高的深度網(wǎng)絡(luò)結(jié)構(gòu)。然而在長時(shí)間跟蹤中，Siamese類跟蹤器對于目標(biāo)全遮擋和運(yùn)動模糊等情況處理效果不佳。為了改善長時(shí)間目標(biāo)跟蹤易出現(xiàn)的跟蹤偏差問題，本文在孿生網(wǎng)絡(luò)跟蹤基礎(chǔ)上，設(shè)計(jì)了一種孿生網(wǎng)絡(luò)結(jié)合卡爾曼濾波[10-11]的方法，以期改進(jìn)跟蹤效果。改進(jìn)的孿生網(wǎng)絡(luò)以SiamRPN為基礎(chǔ)，在視覺信息輸入時(shí)，利用卷積神經(jīng)網(wǎng)絡(luò)對模板幀和檢測幀進(jìn)行特征提取，再通過區(qū)域推薦網(wǎng)絡(luò)來獲取位置坐標(biāo)和跟蹤目標(biāo)的尺度，其后將結(jié)果傳遞給Kalman濾波器，通過上下幀的關(guān)聯(lián)來提高跟蹤的穩(wěn)定性?？柭鼮V波模塊能夠根據(jù)預(yù)測能力在目標(biāo)受到環(huán)境噪聲影響時(shí)，對目標(biāo)位置進(jìn)行更精確的跟蹤，使得跟蹤精度更高。

1 跟蹤框架

1.1 孿生網(wǎng)絡(luò)框架

孿生網(wǎng)絡(luò)[10-12]類跟蹤算法由模板分支和搜索分支兩部分組成，如圖1所示。算法求取目標(biāo)相似性分?jǐn)?shù)的過程可以抽象為f(z,x)=g(φ(z),φ(x))。其中，z為模板分支特征，x為搜索分支特征，φ(·)為特征表達(dá)函數(shù)，g(·,·)表示算法的映射變換，f(·,·)表示相似性分?jǐn)?shù)。跟蹤時(shí)通過共享參數(shù)的主干網(wǎng)絡(luò)來提取特征，然后經(jīng)過核心跟蹤算法處理以獲得目標(biāo)在分?jǐn)?shù)響應(yīng)圖中的位置，最后通過映射關(guān)系來得到目標(biāo)在真實(shí)視頻幀中的位置和輪廓大小。

圖1 孿生網(wǎng)絡(luò)類跟蹤框架

1.2 孿生網(wǎng)絡(luò)改進(jìn)

改進(jìn)的孿生網(wǎng)絡(luò)以SiamRPN 為基礎(chǔ)，SiamRPN 方法把第一幀作為模板，將其與檢測幀分別通過結(jié)構(gòu)和參數(shù)完全相同的AlexNet網(wǎng)絡(luò)以形成兩條支路來進(jìn)行特征提取，然后經(jīng)過區(qū)域候選網(wǎng)絡(luò)卷積運(yùn)算來分別得到分類分支和回歸分支結(jié)果。本文在特征提取部分進(jìn)行了改進(jìn)（圖2），主干網(wǎng)絡(luò)以殘差網(wǎng)絡(luò)為基礎(chǔ)，加入了空洞卷積金字塔池化過程，即ASPP（Atrous Spatial Pyramid Pooling）[13]模塊以加大感受野，從而增加全局信息。

圖2 Resnet網(wǎng)絡(luò)結(jié)構(gòu)

整體的孿生網(wǎng)絡(luò)框架如圖3所示，將模板圖像和搜索圖像輸入到左邊的孿生網(wǎng)絡(luò)中進(jìn)行特征提取，并將提取到的信息輸入?yún)^(qū)域建議網(wǎng)絡(luò)（RPN網(wǎng)絡(luò)），從分類分支得到目標(biāo)前景背景區(qū)分，從回歸分支得到目標(biāo)邊界框較精準(zhǔn)位置。

圖3 改進(jìn)的孿生網(wǎng)絡(luò)結(jié)構(gòu)

1.3 融合自適應(yīng)卡爾曼濾波

目標(biāo)跟蹤涉及時(shí)間和空間維度，如果結(jié)合歷史幀所跟蹤的目標(biāo)軌跡信息，能進(jìn)一步提升跟蹤效果。本文利用卡爾曼濾波器將目標(biāo)的時(shí)間軌跡信息與跟蹤器信息進(jìn)行整合。經(jīng)典的卡爾曼濾波在面臨跟蹤過程中非線性軌跡變換時(shí)，存在明顯的缺陷?？柭鼮V波穩(wěn)定跟蹤要求所跟蹤目標(biāo)的數(shù)學(xué)模型必須精確，不合適的噪聲模型設(shè)定將導(dǎo)致跟蹤精度的下降，甚至引起濾波器的發(fā)散。當(dāng)卡爾曼濾波器達(dá)到穩(wěn)態(tài)時(shí)，卡爾曼增益趨于穩(wěn)定。如果目標(biāo)狀態(tài)突然改變，卡爾曼濾波器不能很快地調(diào)整增益，并將導(dǎo)致濾波器的發(fā)散。針對傳統(tǒng)卡爾曼濾波方法的不足，本文設(shè)計(jì)了一種自適應(yīng)卡爾曼濾波方法來抑制干擾，以期克服目標(biāo)快速運(yùn)動過程中的跟蹤不穩(wěn)定性。通過引入一個調(diào)整因子，可以在線調(diào)整濾波器增益矩陣，從而快速、平穩(wěn)地調(diào)整濾波器。

傳統(tǒng)的卡爾曼濾波器有時(shí)間更新和觀測更新兩個更新過程。時(shí)間更新主要用于系統(tǒng)的預(yù)測，包括狀態(tài)預(yù)測和協(xié)方差預(yù)測。觀測更新包括卡爾曼增益的計(jì)算、狀態(tài)更新和協(xié)方差更新，稱為校正階段。在系統(tǒng)預(yù)測過程中，利用對當(dāng)前狀態(tài)的觀測來修正預(yù)測值。狀態(tài)預(yù)測可表示為xk|k-1=Ckxk-1|k-1+BkUk，其中，xk|k-1是對以前狀態(tài)的預(yù)測，Ck是狀態(tài)轉(zhuǎn)移矩陣，Bk是系統(tǒng)參數(shù)，Uk是進(jìn)程在k時(shí)間的控制量，如果不存在控制，其可以為零?？柭鼮V波器的狀態(tài)x由目標(biāo)的位置x、y和速度νx、νy組成。時(shí)間k的殘差可以表示為Vk=Zk-Hxk|k-1，其中，Zk是時(shí)間k的觀測值，H是觀測矩陣。協(xié)方差預(yù)測過程用于預(yù)測狀態(tài)的協(xié)方差，表示為Pk|k-1=λkCkPk-1|k-1+Qk，其中Pk|k-1是對狀態(tài)xk|k-1的協(xié)方差預(yù)測，而Qk是系統(tǒng)進(jìn)程的協(xié)方差矩陣。λk是Pk-1|k-1的調(diào)節(jié)因子，在卡爾曼濾波器中λk=1。下一步是觀測更新，首先計(jì)算狀態(tài)更新和協(xié)方差更新的卡爾曼增益，然后得到電流狀態(tài)的觀測值。狀態(tài)更新可以通過對當(dāng)前狀態(tài)的最優(yōu)狀態(tài)估計(jì)來實(shí)現(xiàn)，包括預(yù)測值、觀測值和增益?？柭鲆娴亩x是Gk=Pk|k-1HT(HPk|k-1HT+RK)-1，其中，Gk是卡爾曼增益，H是觀測矩陣，Rk是測量噪聲的協(xié)方差矩陣。狀態(tài)更新過程表示為xk|k=xk|k-1+Gk(Zk-Hxk|k-1)，其中，xk|k是最優(yōu)狀態(tài)估計(jì)，Zk是觀測值。協(xié)方差更新表示為Pk|k=(I-GkH)Pk|k-1(I-GkH)T+GkRk，其中I是單位矩陣。

卡爾曼濾波與自適應(yīng)卡爾曼濾波的主要區(qū)別在于Rk，Qk和λk。Rk和Qk在卡爾曼濾波器中是固定的，其有效性取決于Rk和Qk的初值。因此，我們引入了自適應(yīng)濾波器對卡爾曼濾波器的更新過程。Rk=μRk-1+(1-μ)[-HPk|kHT]，Qk=μQk-1+(1-μ)[+Pk|k-CPk-1|k-1CT]，其中μ是Rk和Qk的衰減因子。實(shí)驗(yàn)表明，μ值過大會導(dǎo)致嚴(yán)重的濾波器漂移，因此其應(yīng)該滿足0 ≤μ≤0.1。λk大小影響Pk|k-1和Gk的大小。通過在線調(diào)整λk值，設(shè)計(jì)了合適自適應(yīng)卡爾曼濾波器，以滿足E[]=0。設(shè)計(jì)λk是為了消除時(shí)間k的殘余誤差。當(dāng)k變大時(shí)，λk值受殘差協(xié)方差的影響會變小。因此，噪聲對濾波器的影響不大，預(yù)測曲線變得平滑。隨著時(shí)間推移，殘差期望值趨于零。通過上述方法，可以快速平穩(wěn)地調(diào)整濾波器。

2 算法設(shè)計(jì)及結(jié)果分析

2.1 算法流程

本文算法的目標(biāo)跟蹤過程：首先，初始化系統(tǒng)，在修改卡爾曼濾波器系統(tǒng)狀態(tài)初始值和初始預(yù)測的同時(shí)，將初始框的中心和位置賦值給改進(jìn)版SiamRPN和卡爾曼濾波器。隨后，孿生網(wǎng)絡(luò)通過特征提取、分類回歸和分支回歸，最終得到位置坐標(biāo)和跟蹤目標(biāo)的尺度，并向卡爾曼濾波器傳遞結(jié)果，自適應(yīng)卡爾曼濾波根據(jù)上一幀的信息來相對準(zhǔn)確地預(yù)測當(dāng)前幀目標(biāo)中心點(diǎn)位置，并重復(fù)上述過程，實(shí)現(xiàn)目標(biāo)跟蹤（圖4）。

圖4 本文算法流程圖

2.2 定性分析

本實(shí)驗(yàn)從OTB100[14]中選取了6組代表性視頻：Bluecar、Jump、Human、Suv、Trellis和Man，分別對應(yīng)運(yùn)動模糊、遮擋、光照變化等情況，以期驗(yàn)證本文算法的有效性。圖5中Bluecar和Jump視頻序列主要針對運(yùn)動模糊情況，可以看出，本文算法可以在當(dāng)車輛行駛過程出現(xiàn)模糊時(shí)準(zhǔn)確跟蹤目標(biāo)，也可以在運(yùn)動員因跳高快速移動而出現(xiàn)模糊和尺度變化時(shí)精準(zhǔn)鎖定運(yùn)動員，不會出現(xiàn)目標(biāo)丟失的情況。

圖5 不同情況下的跟蹤效果圖。（a）畫面模糊情況下的Bluecar跟蹤效果；（b）快速運(yùn)動下的Jump跟蹤效果；（c）部分遮擋時(shí)的Human跟蹤效果；（d）畫面昏暗情況下的Suv跟蹤效果；（e）色彩單調(diào)時(shí)的Trellis跟蹤效果；（f）光線變化人臉跟蹤效果

Human和Suv視頻序列主要針對目標(biāo)遮擋情況，由圖可知，行人經(jīng)過路牌時(shí)上半身被遮擋，本文算法可以準(zhǔn)確跟蹤到顯露出來的雙腿，并在行人重新出現(xiàn)時(shí)準(zhǔn)確地跟蹤。車輛經(jīng)過樹冠、只剩下小部分車身時(shí)，本文算法也可以將其準(zhǔn)確定位，并在車輛再次出現(xiàn)時(shí)，重新定位。Trelliis和Man視頻序列主要針對光照變化情況，由圖可知，本算法可以在光線由暗轉(zhuǎn)亮或由亮變暗等不同亮度變化情況下準(zhǔn)確跟蹤到目標(biāo)。以上結(jié)果表明，本文所提算法可以有效適應(yīng)光照變化、運(yùn)動模糊、遮擋等復(fù)雜環(huán)境，證明了本文算法在應(yīng)對復(fù)雜環(huán)境情況時(shí)具有較強(qiáng)魯棒性。

2.3 定量分析

跟蹤定量比較實(shí)驗(yàn)在視覺目標(biāo)跟蹤標(biāo)準(zhǔn)平臺OTB100 測試集中進(jìn)行，該測試集評估指標(biāo)包括精確度和重疊率等。本文對多種算法進(jìn)行對比[14]，并重點(diǎn)標(biāo)注表現(xiàn)良好的前十種算法，其中Muster算法[15]是利用長短期記憶來學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)算法，還有其他排名靠前的相關(guān)濾波類算法，在標(biāo)準(zhǔn)平臺的對比結(jié)果中表現(xiàn)都低于孿生網(wǎng)絡(luò)算法[14]。同時(shí)我們設(shè)計(jì)的算法在精確度和成功率方面都有良好表現(xiàn)，超過孿生網(wǎng)絡(luò)代表算法SiamRPN[7]。精確度指標(biāo)表示所跟蹤區(qū)域的中心值與所標(biāo)注的真實(shí)區(qū)域中心值的距離。顯然，若所要求距離越近，跟蹤結(jié)果視頻中能達(dá)到此要求的幀數(shù)越少，而所要求距離越遠(yuǎn)。則能達(dá)到要求的幀數(shù)比例越高。跟蹤精度如圖6所示，其橫坐標(biāo)是位置誤差閾值，縱坐標(biāo)是在誤差允許范圍內(nèi)跟蹤成功幀數(shù)所占總幀數(shù)的比率，曲線整體走勢是隨著誤差閾值要求放寬，整體符合要求的幀比例走高。圖中清晰反遇出，SiamRPN相對傳統(tǒng)算法[14]已經(jīng)表現(xiàn)不俗，經(jīng)過改進(jìn)后，可進(jìn)一步提升精度效果。在目標(biāo)跟蹤研究中，重疊率是另一個重要衡量指標(biāo)，表示所跟蹤的目標(biāo)面積與目標(biāo)實(shí)際標(biāo)注面積的比值。顯然，重疊率越高則表示跟蹤效果越好，理論上跟蹤位置與真實(shí)位置完全重合即重疊率為1時(shí)是跟蹤的完美情況。圖7的橫坐標(biāo)是重疊率閾值，縱坐標(biāo)是在此重疊率標(biāo)準(zhǔn)下視頻中能成功跟蹤的幀數(shù)與總幀數(shù)比例。顯然，重疊率要求越高，則整體成功率會隨之降低，所以圖7的曲線整體走勢是逐步降低，本文所設(shè)計(jì)的算法在整體表現(xiàn)上也超越了SiamRPN和傳統(tǒng)算法。

圖6 算法精度對比

圖7 算法成功率對比

3 結(jié)束語

本文提出了一種目標(biāo)追蹤算法，其結(jié)合卡爾曼濾波器改進(jìn)了SiamRPN模型，改進(jìn)后的SiamRPN模型分別通過對模板幀和檢測幀提取特征，因深層的殘差神經(jīng)網(wǎng)絡(luò)能獲得更精確的目標(biāo)特征，從而提高了對目標(biāo)的有效識別和定位。同時(shí)，卡爾曼濾波模塊利用目標(biāo)軌跡關(guān)聯(lián)特性，提高了目標(biāo)受到干擾或遮擋時(shí)的穩(wěn)定性，并提高了跟蹤精度。后續(xù)研究將在特征選擇網(wǎng)絡(luò)結(jié)構(gòu)和濾波策略兩方面進(jìn)行改善。