程世龍，謝林柏，彭 力

物聯(lián)網(wǎng)技術(shù)應(yīng)用教育部工程研究中心（江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院），江蘇 無錫214122

視覺目標(biāo)跟蹤在人機(jī)交互、視頻監(jiān)控、自動(dòng)駕駛等領(lǐng)域有著廣泛的應(yīng)用需求。由于目標(biāo)物體在實(shí)際環(huán)境中會(huì)受到光照、形變、遮擋和背景干擾等不利因素的影響，因此準(zhǔn)確定位目標(biāo)物體仍然是跟蹤研究領(lǐng)域的難點(diǎn)。

近年來，基于深度網(wǎng)絡(luò)的目標(biāo)跟蹤方法在跟蹤領(lǐng)域得到了很大的發(fā)展。深度目標(biāo)跟蹤方法主要分為兩類：相關(guān)濾波類（correlation filter，CF）和孿生網(wǎng)絡(luò)類（siamese network，SN）。相關(guān)濾波類算法將深度網(wǎng)絡(luò)提取到的目標(biāo)特征和相關(guān)濾波器結(jié)合在一起，利用傅里葉域中循環(huán)相關(guān)的特征訓(xùn)練回歸器，使跟蹤精度和速度得到了提升。Ma 等認(rèn)為卷積網(wǎng)絡(luò)不同層特征有不同的空間信息和語義信息，提取網(wǎng)絡(luò)不同層特征（hierarchical convolutional features，HCF）訓(xùn)練各自的相關(guān)濾波器，在跟蹤時(shí)按各響應(yīng)圖權(quán)重相加得到最終的目標(biāo)位置。Zhu 等提出光流追蹤（flow track，F(xiàn)T）思想，通過光流技術(shù)建立前后幀目標(biāo)之間的時(shí)序關(guān)系，利用注意力機(jī)制將前后幀特征融合到一起。劉芳等提出一種自適應(yīng)特征模板更新算法（adaptive template updating，ATU），通過特征融合和模型更新等方法，確保模型對目標(biāo)跟蹤的準(zhǔn)確性。

孿生網(wǎng)絡(luò)類算法主要由兩條結(jié)構(gòu)相似的深度網(wǎng)絡(luò)分支組成，分別是目標(biāo)模板分支和搜索區(qū)域分支。Bertinetto 等最先建立基于孿生網(wǎng)絡(luò)端到端的全卷積網(wǎng)絡(luò)（fully-convolutional siamese networks，SiamFC）目標(biāo)跟蹤方法，離線訓(xùn)練相似性學(xué)習(xí)深度卷積網(wǎng)絡(luò)。Li 等在孿生網(wǎng)絡(luò)后面接入?yún)^(qū)域提取網(wǎng)絡(luò)（region proposal networks，RPN），提出區(qū)域提取孿生網(wǎng)絡(luò)（siamese region proposal networks，SiamRPN）。該網(wǎng)絡(luò)包括分類和邊框回歸兩部分。仇祝令等為提高網(wǎng)絡(luò)對相似目標(biāo)的判別能力，提出在線更新網(wǎng)絡(luò)參數(shù)策略（online feature discrimination with siamese network，OFDSiamNet），使網(wǎng)絡(luò)能夠?qū)W習(xí)到實(shí)時(shí)的目標(biāo)特征，增強(qiáng)跟蹤算法的魯棒性。

以上基于深度網(wǎng)絡(luò)的跟蹤算法取得了良好的跟蹤效果，但是仍然存在一些問題需要解決：（1）不同場景下待跟蹤目標(biāo)具有任意性，在構(gòu)建跟蹤模型時(shí)會(huì)使用冗余的特征通道盡量使網(wǎng)絡(luò)模型具有通用性；（2）待跟蹤目標(biāo)周圍存在干擾物體，而干擾物體會(huì)影響目標(biāo)的識別和定位；（3）在以孿生網(wǎng)絡(luò)為框架的算法中，大部分用均權(quán)通道響應(yīng)分?jǐn)?shù)圖確定目標(biāo)的位置，沒有考慮各組互相關(guān)操作對物體的貢獻(xiàn)情況。

綜上所述，本文提出梯度導(dǎo)向的通道選擇目標(biāo)跟蹤算法（gradient-guided object tracking algorithm，GGOT）。針對特征通道冗余問題，本文在孿生網(wǎng)絡(luò)框架基礎(chǔ)上，將梯度導(dǎo)向模塊嵌入到預(yù)訓(xùn)練網(wǎng)絡(luò)后面，根據(jù)反向傳播時(shí)特征通道的梯度信息剔除多余的特征通道。本文利用開關(guān)-懲罰損失函數(shù)削弱干擾物體對目標(biāo)的影響，提高算法抗干擾能力。最后通過逐通道互相關(guān)操作進(jìn)一步提高跟蹤精度。

1 相關(guān)理論

1.1 梯度和注意力模型關(guān)系

Pu 等研究了梯度和注意力模型的關(guān)系，表明梯度信息可以用來表示對物體的關(guān)注程度，并將其應(yīng)用到跟蹤網(wǎng)絡(luò)中，關(guān)系表示為：

其中，f()是網(wǎng)絡(luò)輸出分?jǐn)?shù)圖；為網(wǎng)絡(luò)的輸入；表示輸入的某個(gè)樣本；A表示中對應(yīng)像素的重要性圖，即網(wǎng)絡(luò)輸出分?jǐn)?shù)圖對輸入樣本的注意力圖。Selvaraju 等在研究CNN（convolutional neural networks）網(wǎng)絡(luò)模型視覺解釋性問題時(shí)，用梯度加權(quán)類激活映射函數(shù)Grad-CAM 代替Zhou 等提出的類激活映射（class activation maps，CAM），通過對歸一化后的梯度值進(jìn)行全局平均池化（global average pooling，GAP）可以獲得某類目標(biāo)對應(yīng)的特征通道權(quán)值系數(shù)，權(quán)值系數(shù)高的特征通道對當(dāng)前類的貢獻(xiàn)大。

1.2 卷積回歸網(wǎng)絡(luò)

目標(biāo)跟蹤中常用回歸方法對目標(biāo)的邊框位置和尺寸進(jìn)行回歸，如SiamRPN 等?；揪矸e回歸問題可以通過優(yōu)化嶺回歸函數(shù)解決，表示為：

其中，*表示回歸網(wǎng)絡(luò)中的卷積操作；表示回歸網(wǎng)絡(luò)的權(quán)值矩陣；是網(wǎng)絡(luò)正則化參數(shù)，該參數(shù)可以防止網(wǎng)絡(luò)在訓(xùn)練過程中發(fā)生過擬合現(xiàn)象；表示卷積網(wǎng)絡(luò)的輸入樣本；表示樣本標(biāo)簽。

2 本文算法

本文提出的跟蹤算法主要由特征提取網(wǎng)絡(luò)、梯度導(dǎo)向模塊（gradient-guided module，G-GM）和通道互相關(guān)模塊（multi-channel cross correlation，M-C）三部分組成，如圖1 所示。

圖1 目標(biāo)跟蹤算法框架圖Fig.1 Framework of object tracking algorithm

2.1 梯度導(dǎo)向模塊

預(yù)訓(xùn)練網(wǎng)絡(luò)中的參數(shù)是在多種類別數(shù)據(jù)集中訓(xùn)練獲得的，相對于當(dāng)前要跟蹤的目標(biāo)存在許多冗余的特征通道參數(shù)。為了減少冗余特征通道對當(dāng)前跟蹤目標(biāo)的不利影響，需要采用一系列方法剔除冗余特征通道。

借鑒已有的梯度和注意力模型關(guān)系以及卷積回歸網(wǎng)絡(luò)理論，本文在預(yù)訓(xùn)練網(wǎng)絡(luò)后面連接了卷積回歸網(wǎng)絡(luò)，通過嶺回歸函數(shù)計(jì)算目標(biāo)特征通道的梯度信息，經(jīng)由梯度重要性權(quán)值選擇特征通道。

在本文跟蹤任務(wù)中，由于視頻幀中的語義信息除了目標(biāo)外都是背景區(qū)域，且在訓(xùn)練時(shí)輸入的視頻幀都是以目標(biāo)為中心的正方形感興趣域（region of interest，ROI）。因此嶺回歸函數(shù)中的樣本標(biāo)簽可以構(gòu)造成高斯軟標(biāo)簽(,)，其中心與目標(biāo)中心對齊如式（3）所示：

其中，(,)表示相對于目標(biāo)的偏移位置；是高斯核的寬度值。由式（2）和式（3），可以通過優(yōu)化如下嶺回歸函數(shù)解決本文算法中網(wǎng)絡(luò)回歸問題：

其中，表示卷積網(wǎng)絡(luò)的第個(gè)輸入通道的特征；表示輸入的總通道數(shù)。

由1.1 節(jié)可知在注意力模型中，對特征通道的梯度圖A進(jìn)行全局平均池化操作可以獲得每個(gè)通道的梯度平均值。本文對式（1）加以拓展，將梯度和特征通道的關(guān)系引入目標(biāo)跟蹤中對預(yù)訓(xùn)練網(wǎng)絡(luò)提取的特征通道進(jìn)行選擇。通過嶺回歸函數(shù)回歸到高斯軟標(biāo)簽后的梯度和特征通道關(guān)系表示為：

對式（5）中所得梯度平均值進(jìn)行min-max 標(biāo)準(zhǔn)化，可以得出輸入的每個(gè)特征通道重要性權(quán)值：

其中，δ是每個(gè)特征通道的重要性權(quán)值，min(·) 和max(·)函數(shù)分別用于求取特征通道梯度的最小值和最大值。

在對視頻中目標(biāo)進(jìn)行跟蹤之前，將提取到的初始目標(biāo)特征作為回歸網(wǎng)絡(luò)的輸入，然后通過回歸損失計(jì)算特征通道的反向梯度，對特征通道權(quán)值δ排序，從而選擇排名靠前的表達(dá)能力強(qiáng)的特征通道參與后續(xù)的互相關(guān)操作。

圖2 中顯示了本文算法在兩組典型跟蹤場景下運(yùn)用梯度導(dǎo)向模塊對選擇出的特征通道進(jìn)行特征融合的情況。在選擇的第一組場景中，目標(biāo)背景相對簡單，周圍沒有相似性干擾物體，融合后的特征通道熱力圖焦點(diǎn)集中在目標(biāo)物體上。在第二組場景中，目標(biāo)周圍背景雜亂，包含許多相似性物體。由于存在干擾物體，融合后的特征熱力圖中有些焦點(diǎn)落在周圍物體上，但是主要的焦點(diǎn)仍然集中在目標(biāo)上。

圖2 特征熱力圖Fig.2 Heat maps of features

2.2 開關(guān)-懲罰損失函數(shù)

2.1 節(jié)分析了在目標(biāo)背景雜亂，包含干擾物體時(shí)應(yīng)用傳統(tǒng)嶺回歸損失函數(shù)選擇出的特征通道融合后焦點(diǎn)不能完全集中在目標(biāo)物體上，選擇的特征通道將不能準(zhǔn)確描述當(dāng)前需要跟蹤的目標(biāo)。

為了抑制干擾物體，基于原始的嶺回歸損失函數(shù)，本文提出開關(guān)-懲罰損失函數(shù)（switch-penalty，S-P）：

其中，⊙為哈達(dá)瑪積（Hadamard product）；(,)為懲罰函數(shù)；(,)在回歸過程中對結(jié)果預(yù)測圖中異常值進(jìn)行抑制，使回歸網(wǎng)絡(luò)參數(shù)調(diào)節(jié)重點(diǎn)位于跟蹤目標(biāo)上，懲罰函數(shù)具體表示如下：

由于結(jié)果預(yù)測圖中異常值主要由干擾物體引入，(,)為負(fù)指數(shù)冪形式，懲罰力度從中心到邊緣依次增大，逐步降低背景干擾所占總損失的比例。

其中，為調(diào)節(jié)因子，用于調(diào)節(jié)對干擾物體的懲罰力度；(,)是開關(guān)函數(shù)，用于控制施加懲罰的時(shí)機(jī)，具體形式表示為：

其中，是設(shè)定的誤差閾值，(,)是預(yù)測響應(yīng)和高斯標(biāo)簽的誤差函數(shù)：

綜上所述，S-P 損失函數(shù)表示為：

在上述S-P 函數(shù)中，只有當(dāng)誤差值(,)大于設(shè)定的閾值時(shí)，才會(huì)按照負(fù)指數(shù)冪形式對干擾物體施加懲罰。背景簡單時(shí)的懲罰力度小，從而使得懲罰函數(shù)不會(huì)過于敏感，具有良好的適應(yīng)能力。如圖2所示，應(yīng)用S-P 函數(shù)代替嶺回歸損失函數(shù)后，提取到的特征通道具有很強(qiáng)的表達(dá)能力，第二組包含復(fù)雜背景的場景中特征熱力圖焦點(diǎn)集中在當(dāng)前要跟蹤的物體上，很好地避免了背景的干擾。

2.3 逐通道互相關(guān)操作

互相關(guān)操作是孿生網(wǎng)絡(luò)類跟蹤算法的重要組成部分。類似于網(wǎng)絡(luò)中的卷積操作，該層將模板分支最后一層特征看作卷積核，將搜索分支特征看作待卷積特征，通過互相關(guān)操作獲取目標(biāo)分?jǐn)?shù)響應(yīng)圖，從而得到目標(biāo)在待搜索部分最可能的位置。如圖3（1）所示，常規(guī)的基于孿生網(wǎng)絡(luò)結(jié)構(gòu)的跟蹤算法只是單純地獲得分?jǐn)?shù)響應(yīng)圖，沒有考慮每個(gè)特征通道和目標(biāo)物體的相關(guān)性。由2.1 節(jié)分析可知，不同的目標(biāo)物體會(huì)激活特定的特征通道。被激活的通道有效提取了目標(biāo)的特征，而那些被抑制的通道會(huì)給目標(biāo)物體的定位帶來干擾。此外，每個(gè)特征通道對不同物體的貢獻(xiàn)程度也不一樣。為了有效利用各個(gè)特征通道，本文提出逐通道互相關(guān)算法，簡稱為M-C：

2.4 跟蹤過程

如圖1 所示，本文采用離線訓(xùn)練的CNN 網(wǎng)絡(luò)提取目標(biāo)特征。給定視頻序列第一幀中目標(biāo)的初始狀態(tài)，包括中心坐標(biāo)和目標(biāo)尺寸，然后裁剪出模板圖像作為預(yù)訓(xùn)練網(wǎng)絡(luò)的輸入。梯度導(dǎo)向模塊接收提取到的目標(biāo)特征，利用回歸網(wǎng)絡(luò)和損失函數(shù)計(jì)算每次迭代過后特征通道的梯度信息。選擇正梯度信息對應(yīng)的特征通道作為當(dāng)前目標(biāo)的特征表示，并對特征通道進(jìn)行重要性排序，獲得的重要性分?jǐn)?shù)作為逐通道互相關(guān)部分各通道互相關(guān)的權(quán)重系數(shù)。

圖3 逐通道互相關(guān)比較圖Fig.3 Comparison of multi-channel cross correlation

圖4 搜索分支特征通道選擇Fig.4 Selection of feature channels in search branch

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)細(xì)節(jié)與參數(shù)

本文使用Python 語言和Pytorch 框架在Ubuntu 18.04 操作系統(tǒng)上實(shí)現(xiàn)了本文提出的目標(biāo)跟蹤算法。實(shí)驗(yàn)硬件配置為主頻3.6 GHz Intel Core?i7-7700 的CPU，8 GB 顯存的GTX1080GPU，32 GB 運(yùn)行內(nèi)存，平均跟蹤速度為43 frame/s。ImageNet 中的ILSVRC 2015訓(xùn)練集包含3 862個(gè)視頻片段，總共超過100萬幀標(biāo)注圖片，驗(yàn)證集包含555 個(gè)視頻片段，總共超過10 萬幀標(biāo)注圖片。本文中使用的離線訓(xùn)練網(wǎng)絡(luò)為在ILSVRC2015 大規(guī)模數(shù)據(jù)集上訓(xùn)練的VGG16 卷積網(wǎng)絡(luò)，在跟蹤數(shù)據(jù)集上沒有進(jìn)行優(yōu)化網(wǎng)絡(luò)參數(shù)（finetune）操作。淺層特征包含較多的空間信息，而深層特征包含較多的語義信息。特征的空間信息可以提高目標(biāo)定位的準(zhǔn)確性，語義信息具有較強(qiáng)的抗干擾能力。因此，本文使用VGG16 網(wǎng)絡(luò)中Conv4_1和Conv4_3 層特征作為基本的深度特征。在特征通道選取時(shí)凍結(jié)預(yù)訓(xùn)練網(wǎng)絡(luò)參數(shù)，跟蹤時(shí)針對當(dāng)前目標(biāo)，利用損失函數(shù)和回歸網(wǎng)絡(luò)對特征通道進(jìn)行選擇，后續(xù)幀沿用初始幀選擇出的特征通道。初始學(xué)習(xí)率設(shè)置為10，隨著迭代的進(jìn)行最終下降為10。高斯軟標(biāo)簽中設(shè)定為3，正則化參數(shù)設(shè)置經(jīng)驗(yàn)值為10。在跟蹤階段，本文所用參數(shù)和SiamFC類似，輸入的模板圖像尺寸為127×127，搜索圖像尺寸為255×255。本文在3 個(gè)尺度上搜索目標(biāo)1.05，以應(yīng)對目標(biāo)的尺寸變化。

在S-P 函數(shù)中，懲罰函數(shù)(,)在一個(gè)坐標(biāo)維度隨懲罰調(diào)節(jié)因子的變化情況如圖5 所示，可以看出在相對距離不變時(shí)，隨著增大，對應(yīng)的干擾比重減小，降低了干擾物體在結(jié)果預(yù)測圖中的權(quán)重，對干擾物體的懲罰力度增大。在實(shí)驗(yàn)中，為了不至于過分降低背景干擾所占損失比例，設(shè)置為0.8。

圖5 懲罰函數(shù)隨α 的變化情況Fig.5 Curve of penalty function with α

值在實(shí)驗(yàn)過程中逐步確定。固定懲罰調(diào)節(jié)因子=0.8，在實(shí)驗(yàn)中誤差閾值從0 變化到1.0，在值為0.1 時(shí)跟蹤表現(xiàn)最好，因此開關(guān)閾值值設(shè)置為0.1。

3.2 對比實(shí)驗(yàn)分析

OTB 數(shù)據(jù)集主要的評測指標(biāo)是平均像素誤差（average pixel error）和平均重疊率（average overlap rate）。平均像素誤差以跟蹤到的目標(biāo)中心位置與真實(shí)位置的像素距離作為誤差，差值越大，表明跟蹤誤差越大。平均重疊率表明預(yù)測目標(biāo)區(qū)域與真實(shí)目標(biāo)區(qū)域之間的重疊百分比，重疊率越高表示跟蹤結(jié)果越接近真實(shí)情況。像素誤差和重疊率可視化為精度圖（precision plots）和成功率圖（success plots），曲線下的面積（area under curve，AUC）表示對算法的性能評價(jià)情況。本文比較了10 種主流跟蹤算法，包含空間正則相關(guān)濾波器（spatially regularized discriminative correlation filters，SRDCF）、基于卷積特征的相關(guān)濾波（DeepSRDCF）、實(shí)時(shí)跟蹤的互補(bǔ)學(xué)習(xí)器（Staple）、區(qū)別性的尺度空間跟蹤（fast discriminative scale space tracking，fDSST）以及基于相關(guān)濾波的端到端表示學(xué)習(xí)（CFNet）5 種相關(guān)濾波算法和SiamFC、SiamRPN、干擾感知孿生網(wǎng)絡(luò)跟蹤算法（DaSiamRPN）、更深更寬實(shí)時(shí)跟蹤孿生網(wǎng)絡(luò)（SiamDWfc）以及梯度導(dǎo)引跟蹤網(wǎng)絡(luò)（GradNet）5 種孿生網(wǎng)絡(luò)類算法。

如表1 和圖6 所示，本文算法在OTB50上獲得了最好的跟蹤性能。在OTB100上，本文算法超過了所對比的5 種相關(guān)濾波算法。和孿生網(wǎng)絡(luò)算法進(jìn)行對比，在跟蹤精度方面僅次于DaSiamRPN 算法，在成功率方面仍然獲得了最好的表現(xiàn)。并且相對于最初的SiamFC 算法，在跟蹤成功率方面，本文由0.519（OTB50）和0.629（OTB100）提高到0.619（OTB50）和0.659（OTB100）。

圖6 算法在OTB50 和OTB100 數(shù)據(jù)集上的評測結(jié)果Fig.6 Evaluation results of algorithms on OTB50 and OTB100 datasets

表1 OTB 數(shù)據(jù)集上各算法的AUC 值Table 1 AUC of algorithms on OTB dataset

VOT Benchmark是一個(gè)評測視覺目標(biāo)跟蹤算法性能的測試平臺，其主要評測指標(biāo)包括精度（A）、魯棒性值（R）和預(yù)期平均重疊值（EAO）。精度表示跟蹤算法預(yù)測的邊界框和標(biāo)定的邊界框之間的重疊率，魯棒性值表示算法在視頻序列中的失敗情況，預(yù)期平均重疊值是跟蹤算法的綜合性能指標(biāo)。精度和預(yù)期平均重疊值越大表示算法的跟蹤準(zhǔn)確度越好。魯棒性值越小表示跟蹤失敗的次數(shù)越少，泛化性能越好。本文在VOT2018 測試平臺上比較了一些算法，包括實(shí)時(shí)跟蹤聯(lián)合卷積網(wǎng)絡(luò)算法（unified convolutional tracking，UCT）、模型更新跟蹤算法（UNet-SiamFC）、SiamRPN、有效卷積算子跟蹤算法（ECO_HC）、實(shí)時(shí)跟蹤雙層孿生網(wǎng)絡(luò)算法（SASiam）和遞推最小二乘估計(jì)目標(biāo)跟蹤算法（SimpleRTMDNet）。VOT2018數(shù)據(jù)集上各跟蹤算法性能比較如表2 所示。

表2 VOT2018 數(shù)據(jù)集上各跟蹤算法性能比較Table 2 Performance comparison of tracking algorithms on VOT2018 dataset

由表2 可以看出，在VOT2018 數(shù)據(jù)集上本文算法獲得了較好的性能，在所對比跟蹤算法中跟蹤精度和期望平均重疊率最高。在魯棒性方面比SASiam 算法略差，這是因?yàn)镾A-Siam 算法構(gòu)造了語義和外觀雙孿生網(wǎng)絡(luò)，并且加入了注意力機(jī)制，使得跟蹤魯棒性較好。但是本文算法根據(jù)不同目標(biāo)選取對應(yīng)的特征通道，剔除冗余特征，并且加入了逐通道互相關(guān)操作，從而使得精度值和期望平均重疊值優(yōu)于SA-Siam?？傮w來講，本文算法在VOT2018 數(shù)據(jù)集上的評測結(jié)果達(dá)到了主流算法的要求。

3.3 跟蹤效果分析

為了直觀地展示本文算法跟蹤情況，選擇6 種主流算法和本文算法進(jìn)行比較，在OTB100 部分視頻序列上的可視化跟蹤結(jié)果如圖7 所示。選擇的視頻序列包含遮擋、旋轉(zhuǎn)、尺度變化等復(fù)雜場景屬性，具體挑戰(zhàn)情況如表3 所示。

表3 OTB100 上部分視頻序列屬性Table 3 Some video properties on OTB100

圖7 不同算法在OTB100 部分視頻序列上可視化跟蹤結(jié)果Fig.7 Visualization tracking results on partial video sequences of OTB100 by different algorithms

Matrix 和Soccer 視頻序列存在運(yùn)動(dòng)模糊、快速運(yùn)動(dòng)、背景混亂等屬性挑戰(zhàn)?？梢钥闯鲈贛atrix 第48幀～第96 幀，Staple、DeepSRDCF、SiamFC、SiamRPN和GradNet 算法窗口出現(xiàn)嚴(yán)重漂移；在Soccer 第266幀～第304 幀，Staple、SiamFC、SiamRPN 算法未跟蹤到目標(biāo)，而本文算法依舊能夠準(zhǔn)確地跟蹤到目標(biāo)，說明本文算法具有良好的適應(yīng)運(yùn)動(dòng)模糊和快速運(yùn)動(dòng)的能力。

Bird1 視頻序列存在遮擋、形變、超出視野等屬性挑戰(zhàn)?？梢钥闯觯繕?biāo)被云彩遮擋后，在第297 幀～第375 幀，Staple、DeepSRDCF、DaSiamRPN、SiamFC、SiamRPN 和GradNet 均發(fā)生漂移。而本文算法在遮擋后仍然能夠準(zhǔn)確地定位到目標(biāo)，說明本文算法具有較好的抗遮擋能力。

Box 和MotorRolling 視頻序列存在旋轉(zhuǎn)、尺度變化、運(yùn)動(dòng)模糊等屬性挑戰(zhàn)。在Box 中，本文算法能夠準(zhǔn)確地跟蹤到目標(biāo)。在MotorRolling 第47 幀～第129幀，摩托車落地后本文算法能夠正確定位目標(biāo)，相較于其他算法，本文算法完整地標(biāo)識出了目標(biāo)的外觀輪廓。

圖8 中定量地顯示了本文算法在OTB100 數(shù)據(jù)集中應(yīng)對常見挑戰(zhàn)的綜合表現(xiàn)情況。從圖8 中可以看出，在光照變化、遮擋、快速運(yùn)動(dòng)和運(yùn)動(dòng)模糊指標(biāo)中，本文算法表現(xiàn)最好。在物體形變和復(fù)雜背景中本文算法也排在前列。

圖8 OTB100 上6 種不同屬性視頻序列跟蹤成功率Fig.8 Success rate of video sequences with 6 different attributes on OTB100

綜上所述，本文算法能夠較好地應(yīng)對遮擋、形變、快速運(yùn)動(dòng)和背景混亂等復(fù)雜場景的挑戰(zhàn)。

3.4 算法有效性分析

為了說明本文算法的有效性，分別對算法中各組件在OTB100 數(shù)據(jù)集上的性能表現(xiàn)做了對比實(shí)驗(yàn)。

由表4 和圖9 可以看出，在未應(yīng)用S-P 和M-C 之前跟蹤精度和成功率較低，在應(yīng)用S-P 函數(shù)后將精度和成功率分別提升到0.860 和0.648，在綜合應(yīng)用S-P和M-C 后，精度和成功率提高到0.865 和0.659。各模塊對比實(shí)驗(yàn)說明S-P 損失函數(shù)可以使選擇的特征通道具有很強(qiáng)的表達(dá)能力，很好地避免了背景的干擾，并且逐通道互相關(guān)操作的加入又進(jìn)一步地提高了跟蹤的精準(zhǔn)度。通過3.2 節(jié)在不同數(shù)據(jù)集上不同算法之間的對比和算法內(nèi)部組件之間的對比可以充分說明本文算法在跟蹤精度和泛化性方面表現(xiàn)良好，各模塊的有效性得到了驗(yàn)證。

圖9 OTB100 上各模塊表現(xiàn)情況Fig.9 Performance of each module on OTB100

表4 OTB100 數(shù)據(jù)集上算法各模塊跟蹤精度和跟蹤成功率對比Table 4 Tracking accuracy and success rate of each module on OTB100 dataset

Siamese 類跟蹤算法中的互相關(guān)操作如下：

其中，為相似度圖，(·)是共享的卷積網(wǎng)絡(luò)，和分別是目標(biāo)模板和搜索區(qū)域。

本文算法和GradNet 算法都引入了梯度信息指導(dǎo)目標(biāo)跟蹤。不過本文算法和GradNet 算法側(cè)重點(diǎn)和優(yōu)勢各不相同。

GradNet 旨在通過更新模板（第一幀目標(biāo)物體）以適應(yīng)目標(biāo)在每一幀的外觀，以獲得更高的模板相似度。GradNet 訓(xùn)練時(shí)計(jì)算損失函數(shù)對模板特征通道的梯度，并將該梯度連同剛開始提取的模板特征求和后送入共享的卷積網(wǎng)絡(luò)中再一次求取梯度更新網(wǎng)絡(luò)的權(quán)值，相當(dāng)于求取二階梯度，由此得到更新后的模板。

許多Siamese 類跟蹤網(wǎng)絡(luò)使用冗余的特征通道盡量使網(wǎng)絡(luò)模型具有通用性，并且目標(biāo)周圍的干擾物體會(huì)進(jìn)一步影響目標(biāo)的識別和定位。與GradNet不同，本文致力于解決特征通道冗余和存在干擾物體問題。本文通過計(jì)算損失函數(shù)對特征通道的反向梯度信息，基于Selvaraju 等提出的方法對特征通道進(jìn)行排序以剔除冗余通道。此外，本文提出S-P 損失函數(shù)對干擾物體加以抑制，進(jìn)一步提高跟蹤的精度。

4 結(jié)束語

本文在孿生網(wǎng)絡(luò)框架下，提出了梯度導(dǎo)向的目標(biāo)跟蹤算法，通過梯度導(dǎo)向模塊實(shí)現(xiàn)了針對不同跟蹤目標(biāo)選擇特定特征通道的目的。同時(shí)針對目標(biāo)周圍相似干擾物體，利用S-P 損失函數(shù)對干擾施加懲罰，排除了背景干擾。在獲取分?jǐn)?shù)響應(yīng)圖時(shí)應(yīng)用逐通道互相關(guān)操作，使目標(biāo)物體最終定位更加準(zhǔn)確。在公開數(shù)據(jù)集上測試結(jié)果表明，本文提出的跟蹤算法能夠較好地應(yīng)對環(huán)境中的光照變化、物體形變、遮擋等不利因素。和當(dāng)前主流算法比較結(jié)果顯示本文算法在跟蹤精度、成功率和魯棒性方面表現(xiàn)良好，達(dá)到了主流算法的性能要求。通過比較算法內(nèi)部各模塊對總體的貢獻(xiàn)情況，驗(yàn)證了所提出的S-P 損失函數(shù)和M-C 模塊的有效性。本文跟蹤算法基于目標(biāo)初始幀，后續(xù)工作重點(diǎn)是在跟蹤網(wǎng)路中加入時(shí)序模塊，提取視頻序列之間的時(shí)序信息，建立初始幀和后續(xù)幀之間的關(guān)系，進(jìn)一步提高視頻跟蹤的精度。