孫志成，董一杰，胡愛蘭，張瑞權(quán)

(1.63861 部隊，吉林 白城 137000；2.華北計算機系統(tǒng)工程研究所，北京 100083)

0 引言

某型號系統(tǒng)在進(jìn)行靶場試驗時，需準(zhǔn)確定位并跟蹤被試設(shè)備，確保其能處于相應(yīng)試驗系統(tǒng)范圍中，這對單目標(biāo)跟蹤提出了更高的要求。單目標(biāo)跟蹤逐漸成為計算機視覺所需研究和應(yīng)用的重點之一[1]，為了滿足某些復(fù)雜場景的使用需求，對視頻中特定目標(biāo)進(jìn)行自適應(yīng)處理逐漸成為重要的需求。隨著近年來計算機技術(shù)的發(fā)展與算力的進(jìn)步，單目標(biāo)跟蹤被廣泛地應(yīng)用于軍事設(shè)施設(shè)備、安防監(jiān)控、無人駕駛等領(lǐng)域[2-4]。

國內(nèi)外相關(guān)學(xué)者根據(jù)不同的工作原理對跟蹤算法做了大量研究工作。Henriques[5]等提出了核相關(guān)濾波算法，但該算法在遮擋等因素影響下會出現(xiàn)跟蹤丟失的情況；Zhou[6]等提出了結(jié)合目標(biāo)位置、形狀、外觀的多核相關(guān)濾波算法，對實際海洋雷達(dá)目標(biāo)進(jìn)行跟蹤；盧楊[7]等通過改進(jìn)紋理特征并應(yīng)用于紅外目標(biāo)跟蹤，驗證了其魯棒性與實時性；仇祝令[8]等考慮目標(biāo)的空時域特性對正則化項進(jìn)行約束求解，該方法在一定程度上提升了跟蹤的實時性與精確度。

近年來，基于深度學(xué)習(xí)的方法在目標(biāo)檢測領(lǐng)域展現(xiàn)出了高效的性能，其逐漸也成為了目標(biāo)跟蹤領(lǐng)域研究的熱點[9]。結(jié)合深度特征的目標(biāo)跟蹤算法被相繼提出，宋建鋒[10]等使用VGG16 網(wǎng)絡(luò)中第3 組第3 層提取的深度卷積特征進(jìn)行跟蹤，深度特征具有更高的跟蹤準(zhǔn)確率與有效性；周治國[11]等提出了一種基于單發(fā)多盒探測器的空間與時間信息相融合的跟蹤算法，確保了跟蹤速度與準(zhǔn)確度。在過往的研究中，傳統(tǒng)方法得到的候選處理目標(biāo)框并未結(jié)合歷史軌跡與時間動態(tài)信息，當(dāng)目標(biāo)基于上一幀位置出現(xiàn)較大尺度與劇烈位移變化時，往往會出現(xiàn)跟蹤框漂移與丟失的情況；另一方面，深度卷積特征雖然在空間信息中表現(xiàn)出色，但由于本身結(jié)構(gòu)復(fù)雜使得其對時序特征目標(biāo)表征遲鈍，當(dāng)出現(xiàn)與前景相似的干擾物以及被背景嚴(yán)重遮擋時，其網(wǎng)絡(luò)性能會明顯下降。

針對上述研究以及問題的總結(jié)，本文提出了一種關(guān)聯(lián)動態(tài)特征的移動目標(biāo)自適應(yīng)跟蹤算法。首先使用門控循環(huán)單元提取待跟蹤目標(biāo)的時序特征，為避免背景特征影響目標(biāo)運動狀態(tài)，此過程僅利用時間信息獲取候選處理目標(biāo)框；然后使用卷積神經(jīng)網(wǎng)絡(luò)處理候選目標(biāo)框中的圖像信息，得到空間維度的深度特征圖并獲取目標(biāo)位置信息，同時分離出當(dāng)前幀的背景深度特征；最后在跟蹤過程中使用分離出的背景深度特征對網(wǎng)絡(luò)參數(shù)進(jìn)行更新，提高網(wǎng)絡(luò)對移動目標(biāo)的自適應(yīng)跟蹤能力，以適應(yīng)復(fù)雜的靶場環(huán)境要求。

1 門控循環(huán)單元

門控循環(huán)單元[12](Gated Recurring Units，GRU)是長短期記憶網(wǎng)絡(luò)[13]的一種變體。門控循環(huán)單元結(jié)構(gòu)中包括輸入向量x(t)、先前輸出向量h(t-1)，每個門的輸出可以通過邏輯運算和非線性變換獲得，見式(1)：

式中，z(t)為更新門，r(t)為重置門，W 為參數(shù)矩陣、U 為向量，σg為sigmoid函數(shù)，σh為tanh 函數(shù)，?為哈達(dá)瑪積。本文采用門控循環(huán)單元提取待跟蹤目標(biāo)的時序動態(tài)特征。

2 關(guān)聯(lián)動態(tài)特征的跟蹤算法設(shè)計

考慮到門控循環(huán)單元對時序位置信息具有極強的敏感性，首先以當(dāng)前圖像前一幀的位置信息作為網(wǎng)絡(luò)輸入，對比前一幀與后一幀圖像之間的前景目標(biāo)位置變換提取前景目標(biāo)的位置動態(tài)特征，得到候選處理目標(biāo)框，為避免背景干擾信息對后續(xù)深度特征提取的影響，該階段并未使用圖像信息；然后使用卷積神經(jīng)網(wǎng)絡(luò)提取候選處理目標(biāo)框的深度特征并確定目標(biāo)位置，同時將背景卷積特征分離出來；最后在跟蹤過程中，利用背景卷積特征更新網(wǎng)絡(luò)參數(shù)。圖1 為本文算法網(wǎng)絡(luò)框架。

圖1 本文算法網(wǎng)絡(luò)框架

2.1 基于時間順序的動態(tài)特征提取

靶場被試設(shè)備的相關(guān)視頻數(shù)據(jù)，實則是由圖像采集系統(tǒng)將單幀副圖像基于時間順序組合的結(jié)果。本節(jié)利用門控循環(huán)單元對時間序列的敏感性并結(jié)合歷史位置動態(tài)信息，得到當(dāng)前時刻候選目標(biāo)框。

時序特征提取網(wǎng)絡(luò)部分共有3 層GRU 網(wǎng)絡(luò)，經(jīng)過實驗調(diào)參確定每層神經(jīng)元數(shù)量：第一層包含128 個神經(jīng)元，第二層包含64 個神經(jīng)元，第三層包含32 個神經(jīng)元。末端加入線性全連接層，該部分最終需輸出當(dāng)前幀of隱含層狀態(tài)h(of)的特征值，所以不能使用會限制輸出范圍的非線性激活函數(shù)。

由于當(dāng)前幀of 的前一幀of-1 的目標(biāo)框位置信息pof-1是確定的，該位置信息包含了目標(biāo)框左上角坐標(biāo)xof-1、yof-1，目標(biāo)框?qū)挾葁of-1，以及目標(biāo)框高度hof-1。結(jié)合目標(biāo)物體運動的隨機性，以該目標(biāo)框為中心使用泊松分布構(gòu)建m×4 維候選框矩陣Pof-1，見式(2)，該矩陣作為門控循環(huán)單元的輸入，得到隱含層狀態(tài)h(of)，見式(3)：

式中，gGRU(·)為式(1)的計算過程，h(of-1)為前一幀隱含層狀態(tài)，WGRU為門控循環(huán)網(wǎng)絡(luò)權(quán)重系數(shù)矩陣，bGRU為偏置項。經(jīng)式(3)處理后可得到運動目標(biāo)時序特征。GRU 網(wǎng)絡(luò)末端線性全連接層的輸出，即當(dāng)前幀of 隱含層狀態(tài)h(of)的特征值，見式(4)：

式中，chv 為特征值，WFC為全連接層權(quán)重系數(shù)矩陣，bFC為全連接層偏置項。

然后得到候選目標(biāo)框矩陣Pof-1相對于前一幀目標(biāo)框pof-1的概率分布函數(shù)，見式(5)：

結(jié)合式(4)、式(5)，使用softmax 函數(shù)計算矩陣Pof-1中的每個矩陣框概率分布，見式(6)：

利用交叉熵函數(shù)求得提取到的目標(biāo)框矩陣Pof-1與前一幀目標(biāo)框pof-1之間的距離值，見式(7)：

按升序的方式選取距離值最小的前5 個目標(biāo)框，并取其位置信息的平均值得到目標(biāo)框。融合目標(biāo)框與前一幀目標(biāo)框pof-1位置信息得到當(dāng)前幀待處理目標(biāo)框目標(biāo)框位置信息將作為卷積特征網(wǎng)絡(luò)的輸入，用于準(zhǔn)確提取待跟蹤目標(biāo)的卷積特征，并與背景卷積特征區(qū)分開來。

2.2 候選目標(biāo)特征提取

本文算法框架中候選目標(biāo)特征提取部分主要由卷積神經(jīng)網(wǎng)絡(luò)部分與候選區(qū)域提取部分組成。目標(biāo)框圖像作為卷積網(wǎng)絡(luò)輸入，經(jīng)由卷積層、最大池化層提取當(dāng)前幀圖像的目標(biāo)框卷積特征與背景卷積特征。

2.2.1 特征圖像提取

卷積神經(jīng)網(wǎng)絡(luò)由卷積層以及最大池化層組成，如圖1 所示。其具體步驟如下：輸入圖像經(jīng)卷積層運算，使用ReLU[14]作為激活函數(shù)。經(jīng)過卷積層得到特征矩陣，進(jìn)入池化層進(jìn)一步提取最有用信息，本文采用最大特征值池化的方法，對特征矩陣進(jìn)行降維運算。本文采用Conv3-3、Conv4-3、Conv5-3層的輸出進(jìn)行多層卷積特征融合[15]，最終得到融合后的卷積特征圖，其使得網(wǎng)絡(luò)模型在尺度變化等因素的影響下仍能保持優(yōu)異的魯棒性。

2.2.2 候選區(qū)域提取

將候選框區(qū)域特征輸入全連接層進(jìn)行映射轉(zhuǎn)換，其中fc2 層采用softmax 函數(shù)，最終得到n 個候選區(qū)域R=[r1，r2，…，ri，…，rn]的目標(biāo)分?jǐn)?shù)f+(ri)和背景分?jǐn)?shù)f-(ri)，對應(yīng)目標(biāo)分?jǐn)?shù)最大的第ri個候選框，即為當(dāng)前幀of 的待跟蹤目標(biāo)所在位置pof。

2.3 模型訓(xùn)練

綜上所述，模型訓(xùn)練階段也將分為兩步，均采用離線的方式進(jìn)行訓(xùn)練。

(1)對門控循環(huán)單元網(wǎng)絡(luò)的離線訓(xùn)練

門控循環(huán)單元網(wǎng)絡(luò)的損失函數(shù)定義見式(8)：

采用Adam[16]算法進(jìn)行反向梯度優(yōu)化得到損失函數(shù)的最優(yōu)值。在GRU 部分使用dropout[17]，指定層輸入單元dropout 比率為0.1，指定循環(huán)單元dropout 比率為0.5。

(2)對卷積神經(jīng)網(wǎng)絡(luò)的離線訓(xùn)練

為解決跟蹤目標(biāo)框出現(xiàn)漂移的情況，在對卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練階段，使用兩種類別損失項與較小區(qū)域重疊面積閾值結(jié)合的損失函數(shù)來保證跟蹤目標(biāo)框的準(zhǔn)確性，見式(9)：

式中，losscls(·)為二值交叉熵?fù)p失函數(shù)，λ和μ為兩項間的平衡權(quán)重，xi和yi為兩個不同候選目標(biāo)框經(jīng)全連接層映射變化得到的目標(biāo)類別置信度分?jǐn)?shù)，為IOU閾值0.7 時所得到的類別值為直接使用特征圖中的映射區(qū)域作為類別值。

2.4 網(wǎng)絡(luò)模型更新

為了使得網(wǎng)絡(luò)模型在復(fù)雜環(huán)境下仍能保持優(yōu)異的魯棒性與適應(yīng)性，采用背景更新與長期更新相結(jié)合的方法對全連接層進(jìn)行更新。采用背景更新[18]對網(wǎng)絡(luò)參數(shù)調(diào)整的方式，可以在短時間能內(nèi)提升網(wǎng)絡(luò)模型對待跟蹤目標(biāo)尺度變化以目標(biāo)姿態(tài)大幅調(diào)整的適應(yīng)能力。同時結(jié)合長期更新的方法，可以使得網(wǎng)絡(luò)模型在背景噪聲、光線變換等環(huán)境因素下保持較好的魯棒性。選取最近跟蹤成功的50 幀圖像，其經(jīng)過特征圖像提取和候選區(qū)域提取所生成的待跟蹤目標(biāo)框即IOU>0.7 時的正樣本，并結(jié)合上述背景更新時所采用的背景負(fù)樣本對全連接層參數(shù)進(jìn)行更新。

3 結(jié)果與分析

3.1 數(shù)據(jù)集劃分

采用跟蹤數(shù)據(jù)集TrackingNet[19]對網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，選取該數(shù)據(jù)集的800 段視頻序列，將其按照3:1 的比例劃分為訓(xùn)練集與驗證集。然后為了測試網(wǎng)絡(luò)模型的泛化能力，采用Visual Tracker Benchmark 數(shù)據(jù)集中的8 段與本文跟蹤對象及場景相似的視頻序列(Car1:1020 幀、Car2:913 幀、Car4:659 幀、Car24:3059 幀、BlurCar1:742 幀、Blur-Car2:585 幀、RedTeam:1918 幀、MotorRolling:164 幀)作 為測試集，對訓(xùn)練好的模型進(jìn)行測試。為了再次驗證本文所提算法的有效性，最后通過圖像采集系統(tǒng)所采集到的真實靶場視頻數(shù)據(jù)對網(wǎng)絡(luò)模型進(jìn)行應(yīng)用驗證。

3.2 評價指標(biāo)與結(jié)果分析

本文選取平均中心像素誤差(Average Pixel Error，ARE)與平均重疊率(Average Overlap Rate，AOR)作為評判標(biāo)準(zhǔn)。ARE 是根據(jù)預(yù)測目標(biāo)框中心位置和真實目標(biāo)框中心位置的像素距離作為誤差，該誤差值越小說明算法的跟蹤精準(zhǔn)度越高。AOR 是以預(yù)測目標(biāo)框與真實目標(biāo)框之間的重疊面積來對成功跟蹤進(jìn)行評判，對整個視頻片段來說，單幀跟蹤成功數(shù)越多，算法對視頻片段跟蹤成功率越高。

將本文算法與幾種具有代表性的跟蹤算法(KCF[5]、HCF[20]、CFNet[21]、MDNet[22])進(jìn)行對比試驗。圖2 展示了上述5 種算法在BlurCar1 視頻序列中第20 幀、第50 幀、第150 幀的跟蹤結(jié)果。從跟蹤結(jié)果上可以直觀地看到：KCF、HCF 算法在面對畫面模糊的情況下，從跟蹤一開始就出現(xiàn)了跟蹤框漂移的現(xiàn)象；在第50 幀較為清晰的目標(biāo)中，漂移現(xiàn)象得到了輕微的改善；但在第150 幀跟蹤目標(biāo)變得更為模糊的情況下，KCF 與HCF 算法徹底丟失跟蹤目標(biāo)。CFNet、MDNet 算法在第20 幀并未出現(xiàn)明顯的跟蹤框漂移現(xiàn)象，隨著視頻序列的遞進(jìn)，兩種算法的跟蹤匹配度較高；但在第150 幀畫質(zhì)模糊的情況下，可以看到MDNet 跟蹤框出現(xiàn)了尺度收縮的情況，即跟蹤框僅能匹配到待跟蹤目標(biāo)的部分區(qū)域，CFNet 跟蹤框出現(xiàn)了較為明顯漂移。本文算法在結(jié)合深度特征與深度卷積網(wǎng)絡(luò)的基礎(chǔ)上引入了位置動態(tài)特征，從跟蹤結(jié)果中可以看到該算法克服了畫面模糊、光照弱、背景光源干擾等跟蹤難點，在視頻序列中對目標(biāo)始終能夠保持穩(wěn)定的跟蹤。

圖2 算法在BlurCar1 視頻中的跟蹤結(jié)果

圖3 展示了6 種算法在RedTeam 視頻序列中第20幀、第200 幀、第500 幀、第800 幀、第900 幀、第1 530幀的跟蹤結(jié)果。該6 幀圖像能夠較為全面地反映整個序列中的待跟蹤目標(biāo)與背景的變化特征：待跟蹤目標(biāo)隨著時序變化，其尺度由小變大，在移動過程中第800 幀出現(xiàn)了對比較為強烈的白色干擾物體；在第900 幀時干擾背景基本與待跟蹤目標(biāo)位置處于同一位置。KCF 與HCF相比在第900 幀丟失了跟蹤目標(biāo)，目標(biāo)框?qū)Π咨尘斑M(jìn)行了誤跟蹤，但在第1 530 幀兩種算法同時對目標(biāo)成功跟蹤，但目標(biāo)框出現(xiàn)了不同程度的漂移。CFNet 與MDNet算法跟蹤框漂移現(xiàn)象得到了改善，但跟蹤框尺度不能完全匹配目標(biāo)物體的現(xiàn)象依舊存在，在第800 幀和第900幀跟蹤框尺度不能完全覆蓋目標(biāo)區(qū)域并且存在著向上移動的趨勢。本文算法始終保持目標(biāo)框的自適應(yīng)尺度匹配以及良好的跟蹤狀態(tài)，體現(xiàn)出了本文算法的自適應(yīng)跟蹤能力并進(jìn)一步表征了其在復(fù)雜環(huán)境和各種干擾因素下仍能保持優(yōu)異的魯棒性與適應(yīng)性的能力。

圖3 算法在RedTeam 視頻中的跟蹤結(jié)果

為了量化上述算法跟蹤性能及其在測試數(shù)據(jù)集中的整體表現(xiàn)，采用平均中心像素誤差與平均重疊率作為對每種方法的評價標(biāo)準(zhǔn)，如表1 和表2 所示。從表中結(jié)果可以直觀地看到，本文所提出的算法相比于其他算法展現(xiàn)出了較高的跟蹤精準(zhǔn)度與目標(biāo)重疊率，直觀且量化地證明了提取位置動態(tài)特征來獲得候選處理目標(biāo)框這一方法的有效性與正確性，同時進(jìn)一步證明了結(jié)合深度卷積網(wǎng)絡(luò)提取候選處理目標(biāo)框深度特征的結(jié)構(gòu)應(yīng)用在目標(biāo)跟蹤任務(wù)中的魯棒性與穩(wěn)健性。

表1 測試集中的平均中心像素誤差

表2 測試集中的平均重疊率

經(jīng)過測試集對算法進(jìn)行驗證后，使用圖像采集系統(tǒng)所采集到的靶場視頻數(shù)據(jù)對算法的實際性能驗證。該視頻數(shù)據(jù)中包含了試驗現(xiàn)場某型號設(shè)備以及揚塵、揚沙、強光等多變的環(huán)境背景，其對本文算法未來實際應(yīng)用于試驗現(xiàn)場自適應(yīng)目標(biāo)跟蹤任務(wù)提供了可行性的依據(jù)。

表3 為綜合表現(xiàn)的統(tǒng)計結(jié)果，可以看到本文關(guān)聯(lián)時序特征的跟蹤算法具有最優(yōu)的誤差值與重疊率，其成功跟蹤率比MDNet 方法提升了16.2%，平均中心像素誤差降低了54.1%，平均重疊率提升了12.2%，進(jìn)一步驗證了算法的實際性能。通過對比平均跟蹤幀率可以發(fā)現(xiàn)，本文算法相對于基于相關(guān)濾波算法的跟蹤速度還有較大的提升空間，其耗時主要集中在提取位置動態(tài)特征來獲得候選處理目標(biāo)框以及模型更新的過程。

表3 綜合表現(xiàn)統(tǒng)計結(jié)果

4 結(jié)論

為了應(yīng)對試驗現(xiàn)場復(fù)雜的環(huán)境背景，本文提出了一種基于時序動態(tài)特征提取候選處理目標(biāo)框再結(jié)合深度卷積網(wǎng)絡(luò)提取候選框深度特征來進(jìn)行跟蹤任務(wù)的算法。為避免背景信息對后續(xù)深度特征提取的影響，該算法首先利用非圖像信息提取當(dāng)前幀前景目標(biāo)的位置信息即候選目標(biāo)框；然后利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多層深度特征融合，得到融合后的卷積特征圖并最終確定目標(biāo)位置。跟蹤過程中采用背景更新與長期更新相結(jié)合的方法對網(wǎng)絡(luò)參數(shù)進(jìn)行更新，使得網(wǎng)絡(luò)模型在復(fù)雜背景環(huán)境下仍能保持優(yōu)異的魯棒性與適應(yīng)性。在測試集中的結(jié)果表明，本文算法有著良好的泛化能力，且展示出了穩(wěn)定且高成功率的跟蹤效果；在真實試驗數(shù)據(jù)中的結(jié)果表明，揚沙、強光、地域廣闊等現(xiàn)場環(huán)境下算法仍能保持較好的魯棒性與自適應(yīng)跟蹤能力。在面對未來試驗現(xiàn)場應(yīng)用前，需對特征提取復(fù)雜度以及網(wǎng)絡(luò)模型進(jìn)一步優(yōu)化，提升實時跟蹤速率。