張永梅， 賴裕平， 馬健喆， 馮超， 束頡

(1.北方工業(yè)大學 信息學院， 北京 100144； 2.香港理工大學 電子與信息工程系， 香港 00852)

0 引言

裝甲車是當代戰(zhàn)爭中的重要地面武裝力量，擁有強大的破壞力以及超遠射程，可對遠程重要目標進行摧毀。飛機靈活性強、速度快，可以很好地進行空中支援以及對地面目標進行摧毀。

軌跡預測的目的是通過分析移動目標的歷史軌跡數(shù)據(jù)來挖掘數(shù)據(jù)特征，從而得到軌跡數(shù)據(jù)模型，進一步實現(xiàn)軌跡的時空預測[1]。無論定位系統(tǒng)、社交平臺或基于位置的服務軟件等，都記錄了移動目標的軌跡點信息。軌跡數(shù)據(jù)作為移動目標活動規(guī)律的歷史依據(jù)，隱藏著大量的移動目標行為模式及潛在規(guī)律，如何從這些軌跡信息中提取有用信息，成為一個研究熱點[2]。

當前軌跡預測常用的算法主要包括隱馬爾可夫模型(HMM)[3]和混合高斯模型(GMM)[4-5]。HMM本質(zhì)上是對時間序列的預測，但是對噪聲沒有較好的魯棒性，并且隨著數(shù)據(jù)集的增大，預測誤差會不斷累積。GMM則是一種廣泛應用的基于概率統(tǒng)計的預測模型，它將軌跡數(shù)據(jù)視為由多個高斯過程線性組合產(chǎn)生，通過混合高斯建模，并利用最大似然估計算法求取模型參數(shù)，再通過高斯混合回歸實現(xiàn)軌跡預測。但當數(shù)據(jù)復雜度提高時，GMM算法不再具有良好的適用性，而且隨著數(shù)據(jù)集的增大，GMM算法的計算代價也會呈指數(shù)倍增加。

深度學習模型能夠從像素級原始數(shù)據(jù)到抽象的語義概念逐層提取信息，學習高效的數(shù)據(jù)特征表示，并且模擬復雜的非線性問題，適用于多種類型的場景，具有很強的泛化能力，因此出現(xiàn)了基于深度學習的軌跡預測算法。

由Hochreiter等提出的長短時記憶(LSTM)網(wǎng)絡可以更加有效地處理時間序列問題[6]，現(xiàn)有大多數(shù)較好的軌跡預測算法都是基于LSTM的改進[7-8]。Xue等[9]設計了一種神經(jīng)網(wǎng)絡用來預測行人軌跡，著重考慮了待預測行人與其他人的位置關系，采用的網(wǎng)絡包括基于多層感知機(MLP)的位置編碼器、基于LSTM神經(jīng)網(wǎng)絡的運動編碼器以及軌跡預測。

社交長短時記憶(Social-LSTM)網(wǎng)絡是由Alahi等[10]于2016年提出的用于行人軌跡預測的網(wǎng)絡，該算法利用了周圍鄰居信息，將個體周圍的鄰居信息引入當前軌跡預測，極大地提升了軌跡預測的效果。

目前大多數(shù)研究人員通過調(diào)整深度學習模型來實現(xiàn)典型目標的軌跡檢測[11]，利用深度學習模型的自學習特點可以很好地預測視頻目標的軌跡，節(jié)省了大量的時間和人力。目前軌跡預測算法效果很好，但主要存在以下兩個問題：

1)多目標跟蹤是一個極具挑戰(zhàn)的研究課題。目前視頻典型目標軌跡檢測算法在視頻目標較少或視頻目標之間不存在遮擋時，軌跡檢測效果較好。但當視頻目標較多時，存在漏檢問題以及當視頻目標之間相互遮擋或其他物體遮擋時，檢測的軌跡片段不完整，影響后續(xù)視頻典型目標軌跡預測。

2)目前軌跡預測算法在預測典型目標軌跡時，僅依賴其唯一的位置信息，沒有考慮視頻目標軌跡的上下文環(huán)境信息以及視頻中多個目標軌跡間的相互影響，導致目標的軌跡預測準確率較低。

本文選取裝甲車、飛機視頻典型目標為移動對象，研究基于視頻的多目標檢測跟蹤及軌跡預測算法。針對當前視頻目標跟蹤算法跟蹤多目標時容易跟丟的問題，提出一種改進跟蹤學習檢測(TLD)的視頻多目標檢測跟蹤算法，跟蹤獲取目標的運行行為軌跡，生成移動目標的軌跡時空圖。針對目前軌跡預測算法沒有考慮視頻中多目標間運行軌跡影響而導致軌跡預測準確率較低的問題，提出一種基于Social-LSTM的視頻典型目標軌跡預測算法，綜合考慮典型目標自身運行方式以及其鄰近目標運行方式對其的影響，預測視頻典型目標的運行軌跡。

1 基于Social-LSTM的視頻典型目標檢測跟蹤及軌跡預測算法

本文研究基于改進TLD的視頻多目標檢測跟蹤算法，以獲取移動目標的完整軌跡。對移動軌跡數(shù)據(jù)進行分析，提出一種基于Social-LSTM的視頻典型目標預測算法，結(jié)合上下文特征信息進行預測，提高了預測的準確率。

1.1 基于改進TLD的視頻多目標檢測跟蹤算法

視頻目標軌跡獲取主要包括視頻目標檢測和視頻目標跟蹤，檢測視頻目標的位置，再對視頻目標進行跟蹤，并標記視頻目標在每一幀圖像的位置，形成目標在視頻中的運動軌跡。視頻目標軌跡的獲取方法主要可以分為基于深度學習結(jié)合相關濾波的跟蹤方法、基于預測的跟蹤方法和基于光流的跟蹤方法[12]。3種方法對應的經(jīng)典算法分別為用于跟蹤的深度特征與相關濾波相結(jié)合的高效卷積運算符(ECO)算法[13]、Kalman濾波算法和Lucas-Kanade(LK)光流算法。雖然這3種算法能夠很好地檢測特定環(huán)境中的視頻目標軌跡，但是在檢測視頻目標軌跡時仍然存在一些問題。

復雜場景中需要設計魯棒的跟蹤算法，以解決光照變化、障礙物遮擋等實際應用中不可避免的問題。深度學習方法得到的深度特征比傳統(tǒng)手工特征更加精確，但跟蹤實時性很低。相關濾波將計算轉(zhuǎn)化到頻域，大幅度提升了跟蹤速度。將深度學習與相關濾波結(jié)合，可以充分發(fā)揮兩種方法的優(yōu)勢[14]。

2016年提出的ECO算法旨在通過解決計算復雜度和過擬合問題來同時提高速度和跟蹤效果，但是ECO模型龐大復雜，其高復雜度的代價并未帶來跟蹤準確率的大幅提升。本文采用較輕便的基于淺層特征的ECO算法作為跟蹤對比算法。Kalman濾波算法是協(xié)方差誤差最小準則下的最優(yōu)估計方法，計算量小，實時性高，利用實際的運動參數(shù)不斷修正未來運動狀態(tài)的估計值，提高估計精度，兼顧實時性和穩(wěn)健性。該算法對單一目標有很好的跟蹤效果，但由于沒有考慮多目標之間的相互影響，導致多目標的跟蹤效果不好。基于LK的跟蹤算法只能跟蹤視頻中運動變化較小的目標，當視頻目標運動變化較大時，跟蹤效果并不好。綜上所述，這些算法在多目標復雜場景下，跟蹤效果都不理想。

視頻場景中存在多個目標時，對多個目標進行有效跟蹤，單純依靠目前某一種跟蹤算法行不通[15]。需要從當前的主流跟蹤算法中選擇合理的跟蹤算法，并將多種不同的跟蹤算法結(jié)合，互補利弊，研究設計移動目標軌跡跟蹤算法。

TLD算法是一種邊檢測邊跟蹤的算法，當視頻中有遮擋物存在時，會導致檢測不到目標而跟丟目標；當無遮擋物時，該算法是一種穩(wěn)定且有效的算法。為了提高視頻目標跟蹤的準確率，本文提出一種改進TLD的視頻多目標軌跡獲取算法，在目標移動情況下跟蹤并獲取目標的運行行為軌跡。將TLD算法作為基本跟蹤算法，以Kalman濾波算法作為輔助跟蹤算法，利用Kalman濾波算法獲得的軌跡補充TLD算法獲取的軌跡缺失部分，得到視頻目標的完整軌跡。該算法具體步驟如下：

步驟1輸入視頻。

步驟2初始化TLD算法和Kalman濾波算法。

步驟3利用TLD算法跟蹤并檢測視頻目標，判斷當前視頻幀是否檢測到目標輪廓，若是則執(zhí)行步驟4，否則更新Kalman預測階段的狀態(tài)方程，并執(zhí)行步驟6.

步驟4判斷檢測的目標輪廓是否完整，若是則執(zhí)行步驟5，否則更新Kalman預測階段的狀態(tài)方程，并執(zhí)行步驟6.

步驟5更新TLD學習模型中的訓練參數(shù)。

步驟6記錄視頻目標所在位置，并判斷視頻是否結(jié)束。如果視頻結(jié)束，則輸出視頻目標軌跡數(shù)據(jù)，否則轉(zhuǎn)步驟1.

1.2 融合上下文特征的視頻目標軌跡預測算法

視頻典型目標的運動軌跡在相鄰幀之間存在時序依賴關系，而不同運動目標在同一幀可能存在相互影響。如果不能合理解決這兩個問題，則會影響視頻典型目標運動軌跡預測的精度。

為了解決上述問題，本文提出一種基于Social-LSTM的視頻目標軌跡預測算法。該算法利用LSTM處理同一個典型目標運動軌跡在不同視頻幀間的時序關系。在處理多個典型目標時，分別采用LSTM預測每一個目標的軌跡，并在多個LSTM之間添加一個社交池(S-Pooling)層來處理多個目標之間的相互影響，以較準確地預測視頻典型目標的軌跡。

1.2.1 Social-LSTM的構建方法

Social-LSTM是LSTM的改進，該網(wǎng)絡模型是在LSTM結(jié)構基礎上加入一個S-Pooling，考慮同幀圖像中鄰近目標對其運行軌跡的影響，預測目標的運行軌跡。該S-Pooling允許空間近端序列的LSTM彼此共享各個網(wǎng)絡的隱藏狀態(tài)。Social-LSTM模型有效考慮了視頻典型目標運行規(guī)則和同一場景中其他目標的影響，并聯(lián)合預測該場景所有典型目標的運動軌跡[10]。Social-LSTM網(wǎng)絡結(jié)構如圖1所示。圖1中，hi(i=1，…，n)表示同一場景中第i個視頻目標對應的LSTM的預測軌跡，n為同一場景中視頻目標的個數(shù)，Hi為同一場景中第i個視頻目標的隱藏狀態(tài)。

圖1 Social-LSTM網(wǎng)絡結(jié)構Fig.1 Social-LSTM network structure

圖1中的LSTM表示一個LSTM神經(jīng)網(wǎng)絡，每個LSTM神經(jīng)網(wǎng)絡用來預測視頻中一個典型目標的軌跡。由于LSTM網(wǎng)絡是無監(jiān)督學習，每個LSTM神經(jīng)網(wǎng)絡都需要通過學習歷史軌跡數(shù)據(jù)來獲得其權重參數(shù)，并利用該網(wǎng)絡預測視頻目標在未來時刻的坐標軌跡。由于視頻中一個目標的運行軌跡可能會受到其鄰近目標運動的影響，本文通過一個S-Pooling層將待檢測目標的LSTM網(wǎng)絡與其鄰近目標的LSTM網(wǎng)絡進行連接，從而形成一個新的網(wǎng)絡，即Social-LSTM，并利用該網(wǎng)絡預測待檢測目標的軌跡。

(1)

計算S-Pooling層的隱藏狀態(tài)后，融合S-Pooling層計算得到的待檢測目標隱藏狀態(tài)以及其自身運動狀態(tài)，從而計算待檢測目標的運行軌跡，計算公式如(2)式所示。

(2)

基于Social-LSTM的視頻目標軌跡預測算法利用LSTM來處理同一目標運動軌跡在不同幀間的時序關系。在處理多個目標時，分別采用LSTM預測每一個目標的軌跡，并在多個LSTM之間添加一個S-Pooling層來處理多個目標之間的相互影響，從而能夠較準確地預測視頻典型目標的軌跡。

Social-LSTM能夠?qū)⑾噜從繕塑壽E間的影響因素考慮在內(nèi)，并將影響因素加入S-Pooling. 該網(wǎng)絡模型能夠綜合考慮視頻目標自身運行軌跡規(guī)律以及其他鄰近目標對其運行軌跡的影響，并將二者進行融合預測視頻目標的軌跡，有助于提高典型目標軌跡預測的精度。

1.2.2 上下文特征提取方法

視頻與圖像最大的不同在于其擁有時間維信息。上下文特征即視頻運動目標在前后兩幀視頻圖像中存在的依賴關系，以及在同一幀視頻圖像中其他運動目標對待檢測目標運行軌跡的影響。為了準確預測典型目標的運行軌跡以及消除其他鄰近目標對其運動軌跡的影響，本文在LSTM基礎上添加一個S-Pooling，提取典型目標在同一幀圖像中的上下文特征，該網(wǎng)絡可以將同一幀圖像中處于一個網(wǎng)格內(nèi)的其他運動目標對其運行軌跡的影響關系考慮在內(nèi)。

由于LSTM網(wǎng)絡中的記憶單元可以存儲典型目標在前幾幀圖像中的運行狀態(tài)，通過LSTM網(wǎng)絡中的自循環(huán)單元可以將典型目標在當前幀圖像中的運行狀態(tài)考慮在內(nèi)。本文利用LSTM網(wǎng)絡中的記憶單元來提取典型目標在前后兩幀圖像中存在的依賴關系。

1.2.3 基于Social-LSTM的視頻典型目標軌跡預測算法

(3)

(4)

為了求出該網(wǎng)絡中的權重參數(shù)，本文定義了負對數(shù)似然損失函數(shù)，通過求出負對數(shù)似然損失函數(shù)的最小值來得到該網(wǎng)絡中未知的權重參數(shù)，負對數(shù)似然損失函數(shù)的定義見(5)式。

(5)

由于添加的S-Pooling沒有引入額外的未知參數(shù)，該網(wǎng)絡只需求出LSTM結(jié)構中的權重參數(shù)即可。根據(jù)視頻目標的歷史軌跡數(shù)據(jù)以及損失函數(shù)的最小值，可以求出LSTM結(jié)構中未知的We、Wl和Wp權重參數(shù)。

網(wǎng)絡學習完成后，輸入視頻目標軌跡的測試數(shù)據(jù)，根據(jù)(4)式求出視頻目標的預測軌跡；利用預測的軌跡，根據(jù)(3)式求出該視頻目標的隱藏狀態(tài)，得到視頻場景中與其鄰近目標的軌跡。

2 實驗比較結(jié)果與分析

2.1 實驗數(shù)據(jù)

本文使用的視頻數(shù)據(jù)來自網(wǎng)上下載的視頻數(shù)據(jù)，由于下載的視頻數(shù)據(jù)格式不符合本文要求，本文在使用視頻數(shù)據(jù)之前需要對視頻數(shù)據(jù)格式進行轉(zhuǎn)換，并對視頻數(shù)據(jù)進行預處理。原始視頻數(shù)據(jù)經(jīng)過預處理之后，格式轉(zhuǎn)換為.avi格式，并且處理后的每個視頻數(shù)據(jù)約有2 min時長，包含200～300幀視頻圖像。經(jīng)過預處理后每個視頻數(shù)據(jù)至少包含有一個典型目標，而且每一個視頻中典型目標所處的背景環(huán)境各不相同。

2.2 基于改進TLD的視頻多目標檢測跟蹤算法實驗結(jié)果與分析

基于LK的跟蹤算法能夠有效檢測和跟蹤視頻目標，具有較高的準確率?；跍\層特征的ECO算法是一種模型較小、運行速度快但不太穩(wěn)定的跟蹤算法，雖然其能在遮擋后還能有效跟蹤目標，但是一旦拍攝角度發(fā)生變化，就可能會造成檢測錯誤，導致跟蹤失敗。為了驗證本文基于改進TLD的視頻多目標軌跡檢測算法跟蹤的準確率和獲取軌跡的完整性，分別與LK和基于淺層特征的ECO跟蹤算法進行對比。由于篇幅有限，本文采用簡單環(huán)境和有遮擋物的視頻數(shù)據(jù)驗證了跟蹤算法，如表1和表2所示。

表1的實驗結(jié)果表明，在簡單環(huán)境下，3種算法都能較好地跟蹤視頻目標。表2的實驗結(jié)果表明，當有遮擋物出現(xiàn)時，LK跟蹤算法在遮擋物消失后出現(xiàn)了跟丟情況，基于淺層特征的ECO算法在拍攝角度發(fā)生變化時也出現(xiàn)丟失目標情況。而本文算法在存在遮擋物或拍攝角度發(fā)生變化時，也能較為穩(wěn)定地跟蹤視頻中的目標。因此，綜合兩種環(huán)境下3種算法的跟蹤效果可知，本文算法跟蹤效果優(yōu)于其他兩種算法。

為了驗證本文算法的有效性，本文統(tǒng)計3種跟蹤算法獲取軌跡的完整度，并定量地進行比較。3種跟蹤算法軌跡完整度的統(tǒng)計結(jié)果如表3所示。

由表3可以看到，本文算法的軌跡完整度高于基于淺層特征的ECO跟蹤算法和LK算法。由于視頻裝甲車目標的面積較大，本文算法獲取的裝甲車目標軌跡完整度高于視頻中飛機目標獲取的軌跡完整度。

本文算法是一種邊檢測邊跟蹤的算法，當有遮擋物存在時會影響檢測結(jié)果。Kalman濾波算法彌補了一部分缺失的軌跡，但仍然不能獲取全部軌跡。基于淺層特征的ECO算法是一種不太穩(wěn)定的跟蹤算法，當拍攝角度發(fā)生變化時會嚴重影響該算法的跟蹤效果；當有遮擋物存在時會影響LK算法的跟蹤效果，容易跟丟目標。表1、表2的實驗結(jié)果表明，本文算法跟蹤的結(jié)果優(yōu)于其他兩種算法，且獲取的軌跡完整度較高。

表1 簡單環(huán)境下的跟蹤結(jié)果

本文通過實驗測試了本文算法對于多組目標的跟蹤效果。由于篇幅有限，圖2、圖3分別給出了兩個裝甲車目標相遇以及兩個裝甲車目標接近并未接觸兩種視頻中本文算法的跟蹤結(jié)果，可以看到本文算法能夠比較準確地跟蹤多個目標。

2.3 融合上下文特征的視頻目標軌跡預測算法實驗結(jié)果與分析

本文利用各種視頻數(shù)據(jù)驗證了融合上下文特征的軌跡預測算法有效性。圖4、圖5分別給出了對于圖2、圖3的視頻，本文軌跡預測算法的多目標軌跡預測結(jié)果。在圖4和圖5中，綠色線表示視頻目標實際運動軌跡，紅色線表示視頻目標預測軌跡。

表2 有遮擋物的跟蹤結(jié)果

通過圖4、圖5中4個裝甲車目標的預測軌跡可以看到，預測的視頻目標軌跡與視頻目標的實際運動趨勢相近，表明本文算法具有較高的預測精度。

HMM和GMM經(jīng)常用來預測軌跡。1階HMM只考慮當前軌跡點對未來軌跡點的影響，預測準確率低；而高階HMM增加了模型計算復雜度，不適用于海量軌跡數(shù)據(jù)的訓練學習。

本文采用1階HMM進行預測，圖6、圖7分別給出了對于圖2、圖3的視頻，采用HMM算法多目圖8、圖9分別給出了對于圖2、圖3的視頻，利用GMM算法多目標軌跡的預測結(jié)果，其中綠色線表示視頻目標實際運動軌跡，紅色線表示視頻目標預測軌跡。從圖8、圖9中可以看到，綠色線表示的視頻目標實際運動軌跡與紅色線表示的視頻目標預測軌跡只有部分重合，準確率不高。

表3 3種跟蹤算法軌跡完整度的統(tǒng)計結(jié)果Tab.3 Statistical trajectory integrity results of three tracking algorithms

圖2 兩個目標相遇時本文算法的跟蹤結(jié)果Fig.2 Tracking result of the proposed algorithm when two targets encounter each other

圖3 兩個目標接近但并未接觸時本文算法的跟蹤結(jié)果Fig.3 Tracking result of the proposed algorithm when two targets are close together but not in contact with each other

圖4 圖2中兩個目標本文算法預測結(jié)果Fig.4 Predicted results of the proposed algorithm for the two targets in Fig.2

圖5 圖3中兩個目標本文算法預測結(jié)果Fig.5 Predicted results of the proposed algorithm for the two targets in Fig.3

圖6 圖2中兩個目標HMM算法預測結(jié)果Fig.6 Predicted results of HMM method for the two targets in Fig.2

標軌跡的預測結(jié)果，其中綠色線表示視頻目標實際運動軌跡，紅色線表示視頻目標預測軌跡。從圖6和圖7中可以看到，綠色線表示的視頻目標實際運動軌跡與紅色線表示的視頻目標預測軌跡相差偏大，準確率低。

圖7 圖3中兩個目標HMM算法預測結(jié)果Fig.7Predicted results of HMM method for the two targets in Fig.3

圖8 圖2中兩個目標GMM算法預測結(jié)果Fig.8 Predicted results of GMM method for the two targets in Fig.2

圖9 圖3中兩個目標GMM算法預測結(jié)果Fig.9 Predicted results of GMM method for the two targets in Fig.3

為了驗證本文算法的有效性，將本文算法與LSTM算法、HMM算法以及GMM算法在軌跡預測的準確率方面進行定量比較，結(jié)果如表4所示。

表4 4種算法軌跡預測統(tǒng)計結(jié)果Tab.4 Statistical trajectory prediction results of four algorithms

從表4中可以看到，本文算法預測的準確率高于LSTM算法、HMM算法和GMM算法。這是因為：LSTM算法只考慮了單一目標前后幀的依賴關系，并沒有考慮同一視頻幀圖像中其他目標對待預測目標的影響，導致預測準確率較低；HMM算法根據(jù)當前軌跡點數(shù)據(jù)預測未來軌跡點，沒有充分利用歷史軌跡點數(shù)據(jù)，預測結(jié)果與實際結(jié)果相差較大，預測準確率低；GMM算法可以根據(jù)不同歷史數(shù)據(jù)自適應訓練獲取模型參數(shù)，但其計算量隨著數(shù)據(jù)增加而變大。利用GMM算法進行軌跡預測，預測準確率比較低，無法解決不同時間點預測誤差差別較大的問題。

本文視頻目標軌跡預測算法以LSTM為基本算法，并在LSTM算法基礎上加入S-Pooling層，考慮同一視頻幀圖像中相鄰目標對待預測目標的影響，軌跡預測的準確率高于LSTM算法、HMM算法和GMM算法。由于裝甲車目標較大，獲取的軌跡精度較高，裝甲車目標軌跡預測的準確率高于飛機目標。

3 結(jié)論

1) 本文研究了基于視頻的裝甲車和飛機檢測跟蹤及軌跡預測算法，采用改進的TLD算法檢測視頻中的多目標并進行跟蹤，獲取視頻中多目標的運行軌跡，將視頻多目標的運行軌跡輸入到Social-LSTM，預測裝甲車、飛機在未來時間段的軌跡。在改進TLD算法基礎上融合Kalman算法預測功能，能夠較為完整地獲取視頻多目標的運行軌跡，有利于解決TLD算法由于目標跟丟導致軌跡不完整的問題。仿真實驗結(jié)果表明，新算法能夠較為完整地獲取視頻典型目標的運動軌跡，而且獲取的軌跡完整度高于LK和基于淺層特征的ECO跟蹤算法。

2) 本文提出一種基于Social-LSTM的視頻目標軌跡預測算法，預測運動目標軌跡時通過增加S-Pooling層，考慮同幀圖像中鄰近目標對其運行軌跡的影響，預測典型目標的運行軌跡。仿真實驗結(jié)果表明，新算法能夠較準確地預測典型目標的軌跡，而且軌跡預測的準確率優(yōu)于LSTM算法、HMM算法和GMM算法。