朱洪峰,熊偉,崔亞奇,王子玲

(海軍航空大學信息融合研究所,264001,山東煙臺)

目標跟蹤技術(shù)在軍用和民用兩個領(lǐng)域有著廣泛的應用[1-2]。如今應用較為廣泛的是Kalman濾波[3]、交互式多模型(interactive multiple-model,IMM)[4]以及在這兩種框架上發(fā)展、改進而來的算法。但是,基于模型的經(jīng)典算法非常依賴先驗知識。隨著科學技術(shù)的發(fā)展,目標的運動能力愈發(fā)強大,目標跟蹤應用的環(huán)境也愈發(fā)復雜,經(jīng)典目標跟蹤算法越來越難以滿足應用需求。近十年,深度學習技術(shù)得到了飛速發(fā)展,在許多領(lǐng)域有了廣泛的研究和應用[5]。深度學習作為一種數(shù)據(jù)驅(qū)動方法,能夠從大數(shù)據(jù)中學習到顯式模型難以表達的潛在規(guī)律和趨勢。因此,許多學者將其應用到目標跟蹤中,利用神經(jīng)網(wǎng)絡學習目標和環(huán)境的知識來提高經(jīng)典算法的效能,形成數(shù)據(jù)與模型混合驅(qū)動的目標跟蹤算法。隨著計算機技術(shù)的不斷發(fā)展以及未來智能化的需求,混合驅(qū)動成為了目標跟蹤技術(shù)的重要的發(fā)展趨勢之一[6]。

目前,混合驅(qū)動的目標跟蹤相關(guān)研究可以總結(jié)為對經(jīng)典模型驅(qū)動算法的運動模型參數(shù)[7]、中間參數(shù)[8]以及估計輸出[9]這3個方面進行估計和修正,使得經(jīng)典跟蹤算法的跟蹤性能有了一定的提升。但是,上述的同類文獻中的神經(jīng)網(wǎng)絡幾乎采用的都是有監(jiān)督學習的方式,需要優(yōu)化目標的真值或者標簽,如運動模型和真實軌跡。數(shù)據(jù)集是深度學習應用面臨的阻礙之一[10],在實際的目標跟蹤工程應用中,目標運動的成本和時機、電磁環(huán)境以及任務限制等客觀因素限制了采集到的數(shù)據(jù)集規(guī)模和質(zhì)量[11],而且許多復雜場景難以獲取理想的標簽或者真值,這導致有監(jiān)督學習的方式難以真正實施和部署。無監(jiān)督學習的方式通常不需要優(yōu)化目標的真值,對數(shù)據(jù)集的要求低。隨著目標跟蹤應用的環(huán)境越發(fā)復雜,研究探索無監(jiān)督學習的混合驅(qū)動目標跟蹤算法對于工程實用有著重要意義。

現(xiàn)有的無監(jiān)督學習的目標跟蹤算法大多采用時間序列處理領(lǐng)域的變分自編碼器(variational auto-encoder,VAE)[12]作為基本網(wǎng)絡結(jié)構(gòu),之后結(jié)合其他網(wǎng)絡進行發(fā)展而來。文獻[13]使用循環(huán)神經(jīng)網(wǎng)絡和VAE構(gòu)建了一個貝葉斯濾波器進行時間序列預測;文獻[14]使用了VAE來進行自動駕駛中的軌跡重建和機動分類;文獻[15]將神經(jīng)網(wǎng)絡建模隨機過程,并利用VAE的架構(gòu)對參數(shù)求解,提出了神經(jīng)過程等。這些方法能夠通過無監(jiān)督的方式學習時間序列的建模和生成,但是解碼器直接使用神經(jīng)網(wǎng)絡輸出序列,直接用于目標軌跡生成時,會導致輸出的目標軌跡受量測影響嚴重,平滑性和動力學特征差,算法可解釋性差,也沒有充分利用已知的領(lǐng)域知識。因此,如何將領(lǐng)域知識與VAE充分結(jié)合,實現(xiàn)更加符合實際的時間序列處理器,也是當下一個熱點研究問題[16]。

為了進一步提高無監(jiān)督學習的目標跟蹤算法的跟蹤效果,本文對神經(jīng)過程的解碼器使用了混合驅(qū)動的方式進行重構(gòu),提出了一種混合驅(qū)動的神經(jīng)過程濾波器(hybrid-driven neural process filter, HD-NPF)。HD-NPF在解碼器部分使用神經(jīng)網(wǎng)絡作為數(shù)據(jù)驅(qū)動,估計每個滑動時間窗口內(nèi)的目標運動的隨機微分方程的初值以及機動參數(shù),求解微分方程可得到目標任意時刻的狀態(tài)估計,從而實現(xiàn)了混合驅(qū)動。目標的動力學模型引導和約束了目標軌跡生成過程,從而使得生成的軌跡更加平滑且具有動力學特征,也降低了神經(jīng)網(wǎng)絡的規(guī)模,提高了其學習效率。仿真結(jié)果表明,HD-NPF依賴先驗知識少,環(huán)境自適應能力較之經(jīng)典目標跟蹤算法更強。

1 問題描述

1.1 目標運動的隨機微分方程

本文主要考慮目標跟蹤中目標的狀態(tài)估計(濾波)問題[17]。在實際場景中,目標運動在時間上是連續(xù)的,加上環(huán)境中的擾動,目標運動可通過Langevin隨機微分方程進行建模[18]

(1)

對于dβ(t),從廣義上來看,其不僅包含了環(huán)境噪聲,還包含了當目標遇到未知情況進行的人工調(diào)整、規(guī)避以及目標跟蹤算法機動判斷延遲(算法需要累積一定量測才能判斷出目標機動)帶來的誤差等,這些使得dβ(t)以及D(x(t),t)的數(shù)學形式非常復雜,甚至難以用數(shù)學模型明確表達。

因此,在復雜的機動場景中,難以獲得準確先驗知識,難以精確設置式(1)的各部分,導致跟蹤受到影響。

1.2 神經(jīng)過程網(wǎng)絡

神經(jīng)過程(neural process, NP)[15]是一種將隨機過程和神經(jīng)網(wǎng)絡相結(jié)合的模型,其本質(zhì)是使用神經(jīng)網(wǎng)絡來參數(shù)化隨機過程的映射函數(shù),然后利用推導VAE的方式推導出NP的參數(shù)學習方式。NP的主要原理如下。

首先,定義一個隨機過程函數(shù)F:T →S,對于任意一個有限序列,表示為向量t1:n=(t1,t2,…,tn),ti∈T,i=1,2,…,n(i為序列索引),定義ρ為(F(t1),F(t2),…,F(tn))的邊緣分布,則有

ρ1:n(s1:n)=ρt1,…,tn(s1,…,sn)

(2)

上式滿足文獻[15]中的一致性和交換性時,對于F的一個實例化f,根據(jù)式(2)有

(3)

實際中的樣本y是存在量測噪聲的,類似高斯過程,NP將量測噪聲建模為Si～N (F(ti),σ2),即

(4)

將式(4)代入式(3),得到

(5)

然后,NP采用神經(jīng)網(wǎng)絡g重新建模F(ti),高維向量h作為輸入提供序列信息,即F(ti)=g(ti,h),式(5)可重新表示為

(6)

結(jié)合VAE的推導過程[12],引入h的變分先驗分布q(h|s1:n,t1:n),則似然函數(shù)p(s1:n|t1:n)的證據(jù)下限(evidence lower-bound,ELBO)表示為

Lp(s1:n|t1:n)=-KL(q(h|s1:n,t1:n)‖p(h))+

(7)

式中KL代表求取KL散度的函數(shù)。NP為了便于處理預測問題和使網(wǎng)絡更好地學習到正確的模型,其將數(shù)據(jù)集劃分為上下文信息t1:m、s1:m和目標信息tm+1:n、sm+1:n,然后使用上下文信息q(h|s1:m,t1:m)作為先驗信息替代q(h|s1:n,t1-n),則預測分布p(sm+1:n|t1:m,s1:m)的ELBO為

Lp(sm+1:n|t1:n,s1:m)=

-KL(q(h|s1:n,t1:n)‖q(h|s1:m,t1:n))+

(8)

NP通過最小化式(8)來完成序列的無監(jiān)督學習。NP通過神經(jīng)網(wǎng)絡參數(shù)化隨機過程,靈活性強,并且根據(jù)上下文信息預測目標點的方式將部分訓練轉(zhuǎn)移到測試時間,提高了效率。本文采用NP作為無監(jiān)督學習的網(wǎng)絡框架,對目標的軌跡進行學習和估計。

2 基于神經(jīng)過程的混合驅(qū)動濾波器

2.1 混合驅(qū)動解碼器

1.2小節(jié)分析了NP的基本原理,在應用中x為時間或者控制量,y為時間序列。但是,由NP解碼器的生成過程(式(6))可以看到,生成的yi是相互獨立的,如果將y作為目標軌跡序列,這顯然是不符合實際的。目標狀態(tài)的轉(zhuǎn)移通常以一階Markov鏈建模,為了符合目標跟蹤的變量設定,這里強調(diào):x和z分別表示目標量測和狀態(tài)向量。令M表示目標的運動模式或者對應的參數(shù),可以得到聯(lián)合分布

p(z1:n,x1:n,h,M)=p(h)p(M0)p(x0)·

(9)

神經(jīng)網(wǎng)絡是一種數(shù)據(jù)驅(qū)動的方法,具有強大的非線性擬合和建模能力[20]。在復雜的機動場景中,目標運動和環(huán)境難以建模,采用神經(jīng)網(wǎng)絡參數(shù)化式(1)得到神經(jīng)微分方程[21]是較好的選擇。但是,完全使用神經(jīng)網(wǎng)絡估計目標軌跡并沒有利用好領(lǐng)域知識(如目標遵從一些基本的運動規(guī)律),可解釋性差,且因為一般將網(wǎng)絡的維度設置較大而導致計算消耗大。因此,本小節(jié)提出了混合驅(qū)動解碼器,來替代NP的解碼器。

(10)

(11)

結(jié)合式(1)可以得到混合驅(qū)動的解碼器微分方程

(12)

t,t0,t1∈[k-l+1,k+1]

(13)

式中SDESolver為隨機微分方程(stochastic differential equation, SDE)的求解器。

式(12)根據(jù)目標加速度模型,直接給定了目標狀態(tài)與其微分的形式,這給神經(jīng)網(wǎng)絡的梯度優(yōu)化過程提供了方向,提高了解碼器的學習效率的同時減少了神經(jīng)網(wǎng)絡的規(guī)模,提高了算法的可解釋性。

2.2 HD-NPF框架結(jié)構(gòu)

將2.1小節(jié)提出的混合驅(qū)動解碼器與NP的解碼器相結(jié)合,得到了基于神經(jīng)過程的混合驅(qū)動濾波器(HD-NPF),其網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 混合驅(qū)動神經(jīng)過程濾波器結(jié)構(gòu)Fig.1 Structure diagram of the hybrid-driven neural process filter

(14)

(15)

(16)

(17)

令目標狀態(tài)為高斯分布(即使不服從高斯分布,神經(jīng)網(wǎng)絡會對其補償),同時令量測矩陣為

(18)

根據(jù)高斯分布的性質(zhì),得到似然函數(shù)

(19)

式中to表示HDF-NP輸出的目標狀態(tài)估計的時刻點序列向量。

對比1.2小節(jié)和本小節(jié)HD-NPF和NP的原理可以發(fā)現(xiàn),兩者的本質(zhì)區(qū)別在式(6)和式(16)。即,HD-NPF在解碼器部分由于動力學約束p(xi|xi-1,h)導致其可能不再滿足NP的一致性和交換性,不能直接利用NP的ELBO計算方式和結(jié)論。因此,需要證明HD-NPF也是NP。

p((z1:n,x1:n),h)=p(Fθ(t))·

(20)

此時,式(20)與式(6)具有同樣的形式,因此HD-NPF也為一種NP,可以直接使用NP的結(jié)論。結(jié)合式(8)和式(16),令在當前滑動窗口中算法生成的軌跡點數(shù)為Ng,可以得到HDF-NP的ELBO為

(21)

對比式(21)和式(8)可以發(fā)現(xiàn),HDF-NP的ELBO或者優(yōu)化目標較之NP沒有變化,但是其內(nèi)部解碼器生成過程具有了動力學特征,目標狀態(tài)相互之間具有Markov性,算法的可解釋性提高。而且,相較NP,本文提出的HDF-NP在動力學約束下,能夠生成狀態(tài)的二階估計,即速度、狀態(tài)估計的維度得以增加。

3 HD-NPF訓練

為便于分析HD-NPF性能,本文構(gòu)造了一個二維的飛行目標數(shù)據(jù)集作為訓練集。令目標在二維直角坐標系平面進行運動,其運動由CV、CA以及CT隨機組合,形成機動軌跡。每條軌跡的起始和結(jié)束模型為CV,中間進行了兩次隨機為CA或者CT的機動。數(shù)據(jù)集其他參數(shù)見表1。

表1 數(shù)據(jù)集參數(shù)

目標的初始位置和速度在滿足表1情況下隨機生成。令rand(a,b)表示a和b之間的均勻分布。CV運動持續(xù)時間為rand(10, 30) s;CA運動持續(xù)時間為rand(10, 20) s(首要滿足加速后不超過最大速度)。

根據(jù)表1隨機生成100條軌跡,每條軌跡隨機抽選20條長度為10 s(上下文信息為其中2～7 s的片段)的軌跡段,則訓練集的規(guī)模為2 000條。每個訓練輪對數(shù)據(jù)集添加標準差為50 m的零均值高斯白噪聲,使得網(wǎng)絡更好地學習目標軌跡的統(tǒng)計特征。

(22)

(23)

目標量測數(shù)據(jù)隨軌跡起始點變化范圍很大,為便于神經(jīng)網(wǎng)絡學習,需要對其進行歸一化處理。根據(jù)目標軌跡特點和表1,本文將目標量測軌跡段歸一化到[-1,1]

(24)

式中:tk=[k-l+1,k-l+2,…,k]為第t個窗口內(nèi)量測對應的時間戳向量;fs為傳感器的采樣頻率;vmax為預設的目標最大速度;lp為需要預測的時刻點數(shù)目,目標跟蹤中通常關(guān)注濾波值和一步預測,因此lp=1。

4 仿真實驗與分析

4.1 HD-NPF和NP對比

首先進行HD-NPF的消融實驗,驗證分析HD-NPF中混合驅(qū)動解碼模塊的效果。NP和HD-NPF采用同樣的訓練集軌跡長度進行訓練。按照第3節(jié)所述隨機生成一條軌跡段,分別使用HDF-NP和NP生成目標軌跡,結(jié)果如圖2所示。

對比圖2中HD-NPF和NP生成的軌跡可以發(fā)現(xiàn),由于HD-NPF的解碼器為混合驅(qū)動的動力學解碼模塊,使得其生成的軌跡較NP明顯平滑了許多,具有了目標運動的特征,而NP學習的結(jié)果是朝著量測靠近,導致其估計的軌跡受數(shù)據(jù)影響大。由此可知,混合驅(qū)動的動力學模塊正確發(fā)揮了預期作用。

(a)HD-NPF生成軌跡

(b)NP生成軌跡

4.2 機動目標跟蹤實驗

由于本文考慮的是復雜機動場景且先驗知識難以獲知下的機動目標跟蹤問題,因此對比算法的參數(shù)設置較為粗糙。LSF算法采用3階多項式來對目標每個維度的量測進行擬合。CS模型的機動頻率設置為α=1/20,最大加速度幅值為|a±m(xù)ax|=60 m/s2。CS和IMM的量測方差設置為σm=2 500 m2。IMM采用了3個Kalman濾波器,運動模型和參數(shù)設置如下:過程噪聲σp=0.012m2的CV,σp=0.012m2、σp=16 m2的CA,轉(zhuǎn)移概率矩陣為

(25)

(26)

然后,進行機動目標跟蹤實驗。對于HD-NPF,當目標剛起始跟蹤即量測數(shù)目小于l時,無法進行跟蹤。這個階段選擇經(jīng)典算法進行初始跟蹤。

場景1在這個場景中,目標狀態(tài)初值x0=[7 000 m,200 m/s,6 000 m,220 m/s]T。開始時直行15 s,然后采取蛇形機動直到80 s,在81～90 s時直行,16～80 s階段進行5次CA模型機動,其加速度相對于時間的變化情況見表2。

表2 場景1中CA模型參數(shù)序列

進行200次蒙特卡羅仿真實驗,得到場景1中各算法跟蹤的位置和速度RMSE對比,如圖3所示。

計算場景1中各算法在整個軌跡上的位置和速度的平均均方根誤差和峰值均方根誤差,結(jié)果如表3所示。需要說明的是,上述計算從軌跡的第12 s開始算起,以減少算法初始化對計算指標的影響。此外,將4個算法200次仿真的運行時間也列于表3中。

(a)位置RMSE對比

(b)速度RMSE對比

從圖3和表3可以看出:本文提出的HD-NPF算法由于使用了混合驅(qū)動,同時具有了數(shù)據(jù)驅(qū)動和模型驅(qū)動算法的特征。HD-NPF由于利用目標歷史信息,位置和速度RMSE的曲線較模型驅(qū)動算法(CS、IMM)波動更小,峰值誤差更低,較CS和IMM降低了約20%,跟蹤更為平穩(wěn)、魯棒性更強。較數(shù)據(jù)驅(qū)動算法(LSF),HD-NPF由于加入了領(lǐng)域知識,使其在圖3(a)中能夠?qū)δ繕诉\動模型的變化發(fā)生產(chǎn)生一定反饋,在圖3(b)中在目標穩(wěn)定運動期間,如10～35 s,速度的估計明顯優(yōu)于LSF算法,可解釋性更強,符合表3的數(shù)據(jù)。

從200次仿真中隨機抽選一次實驗,將各算法的軌跡進行對比,如圖4(a)所示。為方便觀察,局部放大其機動部分,如圖4(b)所示?？梢钥闯?由于HD-NPF解碼器為混合驅(qū)動的動力學模塊,其估計的軌跡平滑性較好。

但是,HD-NPF是無監(jiān)督學習算法,學習效率較低。同時,場景1的機動為加速度機動,較為符合LSF、CS和IMM的先驗知識設置,因此在位置跟蹤精度上,HDF-NP較其他3種算法較差。

從表3中算法的運行時間來看,雖然HD-NPF使用了神經(jīng)網(wǎng)絡,但是增加的計算成本并不多,較IMM,200次仿真僅增加了0.3 s左右,效率較高。

表3 場景1跟蹤精度對比

(a)估計軌跡

(b)估計軌跡局部放大

場景2場景1的軌跡雖然與訓練集不同構(gòu),但是其速度等關(guān)鍵參數(shù)范圍大致在表1范圍內(nèi)。在實際場景中,可能在跟蹤區(qū)域出現(xiàn)異常目標,其機動性明顯超出訓練集參數(shù)范圍,此時重新訓練算法是不現(xiàn)實的。對于本文提出的HD-NPF,面對上述的異常目標,其策略為通過調(diào)整式(24)的軌跡段歸一化參數(shù)vmax,對異常目標的量測數(shù)據(jù)進行適當縮放,使得處理后的軌跡參數(shù)范圍大致符合訓練集,從而盡可能保證跟蹤效果。

因此,場景2設置了一個異常目標的跟蹤場景,其特點在于高速和高機動性。令目標初始狀態(tài)向量為x0=[4 000 m,300 m/s,9 000 m,600 m/s]T,目標在1～15 s期間進行勻速直線運動,然后以-20 (°)/s的轉(zhuǎn)彎率右轉(zhuǎn)彎15 s,31～40 s期間以[-30,10]Tm/s2的加速度機動,然后再以15 (°)/s的轉(zhuǎn)彎率持續(xù)10 s的左轉(zhuǎn)彎,之后再以[-40,15]Tm/s2的加速度機動10 s,最后10 s恢復勻速直線運動。另外,假設目標所在電磁環(huán)境較差,設置量測噪聲標準差為100 m。

此時,HD-NPF在初始跟蹤階段判斷其可能為異常目標后,對式(24)調(diào)整,本文設置本場景|vmax|=1 000 m/s。此外,目標的高機動容易導致經(jīng)典算法發(fā)散,將CS的加速度幅值調(diào)整為|a±m(xù)ax|=80 m/s2,IMM算法CA模型的過程噪聲從σp=0.012m2調(diào)整為σp=1 m2。進行200次蒙特卡羅仿真實驗,得到仿真結(jié)果如圖5、圖6及表4所示。

(a)位置RMSE對比

(b)速度RMSE對比

(a)估計的軌跡

(b)估計軌跡局部放大

表4 場景2跟蹤精度對比

在場景2中,由于是訓練集之外的異常目標,IMM和CS的參數(shù)只是略微修改以盡量避免發(fā)散,并沒有足夠的先驗知識為其設置較為精確的模型參數(shù)。加上目標高機動、高速度的影響,IMM和CS的跟蹤效果誤差很大(見圖5和表4),估計軌跡在機動部分已經(jīng)偏離真實軌跡嚴重(見圖6)。本文提出的HD-NPF可以利用結(jié)構(gòu)上的特點,通過歸一化部分縮放的方式,盡可能適應異常情況。圖5和表3表明,HD-NPF仍然能夠保持場景1中的部分優(yōu)勢,較IMM和CS具有更加穩(wěn)定的RMSE和更高的跟蹤精度。在實際應用中,對異常目標關(guān)注度更高,比如防碰撞等,此時HD-NPF的優(yōu)勢更加明顯。

從圖5和表4可以看出,LSF的跟蹤表現(xiàn)較HD-NPF更好,從圖5可以觀察到兩者跟蹤精度差異主要體現(xiàn)在15～30 s和40～50 s期間的轉(zhuǎn)彎機動。這是由于目標的高速度使得轉(zhuǎn)彎半徑較大,導致HD-NPF易識別成為接近直線的運動,進而跟蹤精度降低。因此,實際中應該盡可能使得訓練集能夠覆蓋目標可能的運動模型和情景。

結(jié)合兩個場景的仿真結(jié)果可以看出,雖然模型驅(qū)動方式跟蹤精度較高,但是依賴精確的先驗知識,一旦先驗知識設置不準確,其跟蹤精度急速下降。數(shù)據(jù)驅(qū)動的方法依賴先驗知識少,且環(huán)境適應能力強,在各個場景均保持幾乎一致的跟蹤效果,但可解釋性差,難以辨別目標的模型變化。本文提出的HDF-NP結(jié)合了兩者特點,依賴先驗知識少,環(huán)境適應能力強,且具有一定的可解釋性,即對目標模型具有一定識別能力,且采用的是無監(jiān)督學習的方式,對數(shù)據(jù)集要求低,更加易于實際應用。

在實際場景中,電磁干擾和通信等因素會使得量測可能出現(xiàn)亂序、缺失等現(xiàn)象,LSF雖然在上述實驗中跟蹤表現(xiàn)一般,但是較經(jīng)典跟蹤算法,其在處理這類連續(xù)時間跟蹤時具有優(yōu)勢[26-27]。式(13)～(17)以及圖1的結(jié)果表明,HD-NPF可以接受無序的量測作為輸入,輸出任意連續(xù)時刻的狀態(tài)估計。因此,下一步工作將探索HD-NPF作為連續(xù)時間函數(shù)處理量測亂序、缺失等更加符合實際情況的目標跟蹤問題。

5 結(jié) 論

本文基于神經(jīng)過程框架提出了一種無監(jiān)督學習的混合驅(qū)動機動目標跟蹤算法。通過將目標運動的加速度模型和神經(jīng)網(wǎng)絡參數(shù)化的目標運動微分方程相結(jié)合,構(gòu)造出了混合驅(qū)動的動力學解碼模塊,替換了NP的解碼部分,使得HD-NPFP生成的軌跡更加平滑和具有動力學特征。通過仿真實驗可以得到以下結(jié)論。

(1)HD-NPF由于使用了混合驅(qū)動解碼模塊,估計的軌跡較NP在平滑性和動力學特征上明顯得到增強。HD-NPF同時具有了模型驅(qū)動和數(shù)據(jù)驅(qū)動算法的優(yōu)勢:環(huán)境自適應能力強,跟蹤穩(wěn)定,需要先驗知識少,且能對目標的運動模型具有一定識別能力。

(2) HD-NPF采用的是無監(jiān)督學習方法,對數(shù)據(jù)集要求低,在實際情況中更加易于部署。下一步工作將探索HD-NPF在亂序、缺失和不等時間間隔量測等復雜場景中的目標跟蹤問題。