李正東,楊 帆,王長(zhǎng)城,周穎玥

(1.西南科技大學(xué) 信息工程學(xué)院, 四川 綿陽(yáng) 621000; 2.中國(guó)兵器裝備集團(tuán)自動(dòng)化所有限公司, 四川 綿陽(yáng) 621000;3.西南科技大學(xué) 特殊環(huán)境機(jī)器人技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室, 四川 綿陽(yáng) 621000)

0 引言

現(xiàn)有的雷達(dá)目標(biāo)屬性識(shí)別技術(shù)主要是利用雷達(dá)回波中的頻譜信息、極化特征信息、高分辨距離像等實(shí)現(xiàn)對(duì)目標(biāo)屬性的識(shí)別,很少有利用雷達(dá)檢測(cè)到目標(biāo)的速度、加速度和方位等數(shù)據(jù)進(jìn)行目標(biāo)屬性識(shí)別。文獻(xiàn)[1]針對(duì)雷達(dá)點(diǎn)跡數(shù)據(jù),采用遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network,RNN)進(jìn)行目標(biāo)航跡特征識(shí)別。文獻(xiàn)[2]針對(duì)雷達(dá)點(diǎn)跡數(shù)據(jù),采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)進(jìn)行目標(biāo)航跡特征識(shí)別。在上述文獻(xiàn)中,基于深度學(xué)習(xí)的方法均取得了優(yōu)異的屬性識(shí)別結(jié)果,但以上文獻(xiàn)都是對(duì)航跡曲線特征進(jìn)行屬性識(shí)別,并未對(duì)航跡所對(duì)應(yīng)的目標(biāo)進(jìn)行屬性識(shí)別。傳統(tǒng)的軍事武器系統(tǒng)中通常通過獲得的雷達(dá)航跡數(shù)據(jù)對(duì)目標(biāo)屬性進(jìn)行識(shí)別,但是單一雷達(dá)傳感器目標(biāo)屬性識(shí)別性能往往會(huì)受到環(huán)境噪聲的干擾和自身傳感器因素的影響。文獻(xiàn)[3]鑒于傳統(tǒng)車輛避撞系統(tǒng)中,因采用單一傳感器進(jìn)行目標(biāo)識(shí)別,在感知范圍、識(shí)別準(zhǔn)確性等方面存在的固有缺陷問題,提出了一種基于雷達(dá)與機(jī)器視覺信息融合的目標(biāo)識(shí)別方法,實(shí)現(xiàn)了目標(biāo)的準(zhǔn)確識(shí)別與定位。文獻(xiàn)[4]針對(duì)復(fù)雜戰(zhàn)場(chǎng)環(huán)境下目標(biāo)信息不確定性造成目標(biāo)識(shí)別困難和誤判,導(dǎo)致目標(biāo)識(shí)別結(jié)果準(zhǔn)確率低的問題,提出了一種基于離散因子多傳感器目標(biāo)識(shí)別的數(shù)據(jù)融合方法,使目標(biāo)識(shí)別結(jié)果更加準(zhǔn)確,符合實(shí)際。以上文獻(xiàn)表明,通過多傳感器信息融合技術(shù),能夠解決單一傳感器識(shí)別能力低的問題,提高目標(biāo)識(shí)別結(jié)果的準(zhǔn)確性。

隨著技術(shù)的不斷發(fā)展,目前的雷達(dá)大多都配備著各種類型的光電傳感器輔助雷達(dá)進(jìn)行目標(biāo)識(shí)別,這些光電傳感器包括白晝型或者微光型電視跟蹤及監(jiān)視設(shè)備、前視紅外跟蹤及監(jiān)視設(shè)備、激光測(cè)距機(jī)等。利用這些設(shè)備能夠觀察目標(biāo)的特征及跟蹤情況。因此可以在傳統(tǒng)武器系統(tǒng)中使用光電圖像和雷達(dá)航跡進(jìn)行目標(biāo)屬性識(shí)別。

故本文中設(shè)計(jì)了一種使用D-S證據(jù)理論并基于決策級(jí)信息融合將雷達(dá)航跡信息與光電圖像進(jìn)行融合識(shí)別的方法。該方法在融合處理雷達(dá)航跡信息、光電圖像信息的基礎(chǔ)上,利用融合后的目標(biāo)信息完成對(duì)目標(biāo)的正確識(shí)別。通過實(shí)驗(yàn)分析,論證了該方法能夠提高雷達(dá)的目標(biāo)屬性識(shí)別能力。

1 研究方法

圖1為本文中使用的目標(biāo)屬性識(shí)別框架,通過對(duì)航跡信息進(jìn)行卡爾曼濾波后提取運(yùn)動(dòng)特征并使用XGBoost模型進(jìn)行分類最后通過Softmax函數(shù)輸出基本概率賦值。光電圖像采用34層的在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的ResNet網(wǎng)絡(luò)進(jìn)行分類,最后使用D-S證據(jù)理論對(duì)2個(gè)模型的識(shí)別結(jié)果進(jìn)行融合。

1.1 XGBoost網(wǎng)絡(luò)

XGBoos是陳天奇等[5]提出的一種基于梯度提升樹的集成學(xué)習(xí)算法,具備更加快速準(zhǔn)確解決許多數(shù)據(jù)科學(xué)問題的優(yōu)點(diǎn),其思想就是不斷地生成新的樹,每棵樹都是基于上一顆樹和目標(biāo)值的差值來進(jìn)行學(xué)習(xí),從而降低模型的偏差,最后將所有樹的結(jié)果加起來就是模型對(duì)一個(gè)樣本的預(yù)測(cè)值。而如何選擇生成一顆較優(yōu)的樹,則是通過目標(biāo)函數(shù)來定義。

XGBoost的目標(biāo)函數(shù)Obj如式(1)所示:

(1)

(2)

(3)

……

(4)

如果葉子的節(jié)點(diǎn)數(shù)太多,模型過擬合的風(fēng)險(xiǎn)就會(huì)增加,所以加入復(fù)雜度函數(shù)Ω(fs)來限制葉子節(jié)點(diǎn)個(gè)數(shù),即

(5)

式(5)中:γ、λ為超參數(shù),用來控制葉子節(jié)點(diǎn)數(shù)和權(quán)重。

1.2 ResNet網(wǎng)絡(luò)

本文中需要識(shí)別的光電圖像目標(biāo)種類較多,并且目標(biāo)大小也是模擬光電系統(tǒng)實(shí)際觀測(cè)大小,所以需要特征提取能力較強(qiáng)的網(wǎng)絡(luò),若采用較深的網(wǎng)絡(luò)結(jié)構(gòu),雖然可以提高網(wǎng)絡(luò)的特征提取能力,但是隨著網(wǎng)絡(luò)不斷的加深,不僅會(huì)使網(wǎng)絡(luò)的訓(xùn)練速度呈現(xiàn)下降的趨勢(shì),模型難以收斂,還會(huì)使模型出現(xiàn)梯度消失、梯度爆炸等復(fù)雜問題。因此,本文使用了He等[6]在2015年提出的ResNet網(wǎng)絡(luò),即殘差神經(jīng)網(wǎng)絡(luò)。首先使用ResNet網(wǎng)絡(luò)在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練權(quán)重,然后使用本文中構(gòu)建的光電圖像數(shù)據(jù)集對(duì)模型再訓(xùn)練。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 殘差塊結(jié)構(gòu)

該殘差塊輸出為

A(x)=F(x)+x

(6)

故網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)為

F(x)=A(x)-x

(7)

若此時(shí)卷積神經(jīng)網(wǎng)絡(luò)發(fā)生了梯度爆炸問題,無法繼續(xù)學(xué)習(xí),即F(x)=0,那么A(x)-x=0,即輸出等于輸入,故ResNet網(wǎng)絡(luò)能夠有效克服網(wǎng)絡(luò)訓(xùn)練收斂難、網(wǎng)絡(luò)退化和信息丟失等問題。

1.3 D-S證據(jù)理論

D-S證據(jù)理論是Dempster[7]提出,后經(jīng)Shafter[8]的進(jìn)一步發(fā)展而形成的一種不精確推理理論。其能夠針對(duì)所研究的不確定性問題的基本事件冪集空間,確定相應(yīng)的基本概率賦值,使用D-S組合規(guī)則進(jìn)行融合,從而得到不確定性問題的解。本文中使用D-S證據(jù)理論的融合流程如圖3所示。

圖3 D-S融合流程圖

如圖3所示,光電圖像分類模型提供的基本概率分配函數(shù)為模型預(yù)測(cè)各個(gè)類別的概率m1(Ai),雷達(dá)航跡分類模型提供的基本概率分配函數(shù)為模型預(yù)測(cè)各個(gè)類別的概率m2(Aj)。

則融合后目標(biāo)屬性類別的概率分布為

(8)

式(8)中:m1(Ai)和m2(Aj)分別代表光電圖像分類模型和雷達(dá)航跡分類模型預(yù)測(cè)目標(biāo)屬性為第i類和第j類的概率。K代表證據(jù)間的沖突程度,被稱為沖突因子。1/1-K是確保融合質(zhì)量一致性的歸一化因子。K的計(jì)算式為

(9)

2 相關(guān)工作

2.1 數(shù)據(jù)集的構(gòu)建

1) 光電圖像數(shù)據(jù)集的構(gòu)建。由于并沒有針對(duì)巡航導(dǎo)彈(CM)、制導(dǎo)炸彈(GB)、空地導(dǎo)彈(AG)、武裝直升機(jī)(AH)、無人機(jī)(UAV)、固定翼飛機(jī)(AC)6類目標(biāo)的光電圖像公開數(shù)據(jù)集,所以本文中通過多光譜軟件仿真生成每個(gè)目標(biāo)的光電圖像數(shù)據(jù),并對(duì)生成的圖像進(jìn)行隨機(jī)翻轉(zhuǎn)、隨機(jī)裁剪、隨機(jī)縮放、隨機(jī)旋轉(zhuǎn)等操作,以擴(kuò)充數(shù)據(jù)集。生成的圖像中不僅包含著戰(zhàn)場(chǎng)背景信息同時(shí)目標(biāo)在圖片中的大小也是根據(jù)光學(xué)成像原理縮放,以模擬真實(shí)光電系統(tǒng)成像。P代表模擬真實(shí)光電系統(tǒng)成像目標(biāo)的像素大小,計(jì)算公式為

(10)

式(10)中:H為目標(biāo)實(shí)際尺寸,D為目標(biāo)距光電傳感器的距離,f為鏡頭焦距,μ為像元尺寸。

2) 雷達(dá)航跡信息數(shù)據(jù)集的構(gòu)建。采用仿真的形式模擬部分了巡航導(dǎo)彈、制導(dǎo)炸彈、空地導(dǎo)彈、武裝直升機(jī)、無人機(jī)、固定翼飛機(jī)6種目標(biāo)航跡作為初始數(shù)據(jù)集,并對(duì)初始數(shù)據(jù)集內(nèi)的軌跡進(jìn)行旋轉(zhuǎn)、對(duì)稱和平移等操作,以擴(kuò)充數(shù)據(jù)集。通過數(shù)據(jù)擴(kuò)充,獲得各個(gè)種類1 000條航跡,共計(jì)6 000條航跡作為數(shù)據(jù)集。并為所有軌跡添加均值為0的高斯白噪聲以模擬觀測(cè)的隨機(jī)誤差。其中方位角和高低角白噪聲均方差為1密位,斜距離白噪聲均方差為8 m。然后將上述軌跡轉(zhuǎn)化到笛卡爾坐標(biāo)系下進(jìn)行卡爾曼濾波,去除缺失值后獲得真實(shí)數(shù)據(jù)集。數(shù)據(jù)集中的原始特征包括擾動(dòng)后的目標(biāo)軌跡觀測(cè)坐標(biāo)(Observe)、卡爾曼濾波后的目標(biāo)位置(filter_p)、目標(biāo)速度(filter_V)、目標(biāo)加速度(filter_a)。

2.2 雷達(dá)航跡信息特征提取

由于雷達(dá)航跡信息中存在著噪聲的影響,所以需要將獲得的航跡轉(zhuǎn)化到笛卡爾坐標(biāo)系下進(jìn)行卡爾曼濾波,去除缺失值后獲得真實(shí)數(shù)據(jù)集,而后通過特征工程進(jìn)一步提取運(yùn)動(dòng)特征。

1) 卡爾曼濾波。目標(biāo)運(yùn)動(dòng)學(xué)模型一般在笛卡爾坐標(biāo)系下進(jìn)行描述,其狀態(tài)方程如式(11)所示:

Xk+1=FkXk+Wk

(11)

式(11)中:Xk為k時(shí)刻的目標(biāo)狀態(tài);Fk為狀態(tài)轉(zhuǎn)移矩陣;Wk為均值為0,協(xié)方差矩陣為Qk的高斯白噪聲。以xk、yk、zk與vx,k、vy,k、vz,k分別表示三維笛卡爾坐標(biāo)系下的目標(biāo)位置、速度,以ax,k、ay,k、az,k表示目標(biāo)加速度,則目標(biāo)狀態(tài)向量Xk如式(12)所示:

Xk=[xkykzkvx,kvy,kvz,kax,kay,kaz,k]Τ

(12)

跟蹤系統(tǒng)測(cè)量方程如式(13)所示:

Zk+1=HXk+Vk

(13)

式(13)中:H為測(cè)量矩陣,Vk為均值為0,協(xié)方差為Rk的高斯白噪聲。

卡爾曼濾波是一種典型的線性最優(yōu)濾波算法,在濾波時(shí)根據(jù)當(dāng)前接收的觀測(cè)數(shù)據(jù)和上一時(shí)刻的估值,根據(jù)系統(tǒng)狀態(tài)方程,使用卡爾曼增益進(jìn)行修正,預(yù)報(bào)出新的狀態(tài)估計(jì)值?？柭鼮V波的主要計(jì)算過程如式所示:

(14)

2) 特征工程。主要的特征工程為濾波值特征上的統(tǒng)計(jì)特征值和常用的在濾波后速度和加速度上的航跡特征。基本特征為卡爾曼濾波后的目標(biāo)位置、目標(biāo)速度、目標(biāo)加速度。其他特征在基礎(chǔ)特征上衍生,首先對(duì)基礎(chǔ)特征坐標(biāo)變換,不妨以s表示某基礎(chǔ)特征向量,則坐標(biāo)變換如式(15)所示:

[sTx,sTy,sTz]T=Tet[sx,sy,sz]T

(15)

(16)

(17)

式(17)中:r矢量為坐標(biāo)變換的基礎(chǔ)矢量,βh為航向角,βl為俯沖角。

衍生特征在變換后的基礎(chǔ)特征上構(gòu)建,包括矢量平滑,平滑矢量的差分、模、相似度以及曲率依次如式(18)—式(22)所示:

(18)

(19)

(20)

(21)

(22)

3 實(shí)驗(yàn)設(shè)置

本文中所有的實(shí)驗(yàn)均在Linux系統(tǒng)下完成,電腦處理器為Intel i7-8700k,運(yùn)行內(nèi)存大小為32 GB,GPU 型號(hào)為 NVIDIA GeForce RTX2080,顯存大小為16 GB。

3.1 訓(xùn)練過程與參數(shù)設(shè)置

1) 針對(duì)ResNet網(wǎng)絡(luò)。由于原始的ResNet-34上的輸出層數(shù)為1 000,為符合本文中的分類目標(biāo)種類數(shù),故將其輸出層數(shù)改為6。訓(xùn)練采用超參數(shù)為:batchsize設(shè)置為16,訓(xùn)練輪數(shù)為100輪,學(xué)習(xí)率為0.001。

2) 針對(duì)XGBoost網(wǎng)絡(luò)。XGBoost的訓(xùn)練過程中采用基于貝葉斯優(yōu)化的Optuna[9]庫(kù)搜索最優(yōu)參數(shù),主要優(yōu)化參數(shù)范圍為:樹模型的深度在1～15,學(xué)習(xí)率在0.01～0.15,L1正則化系數(shù)在0.1～10,L2正則化系數(shù)在0.1～10,數(shù)據(jù)集采樣比率和特征采樣比率都在0.1～1。Optuna搜索出最優(yōu)參數(shù)后,訓(xùn)練最大迭代次數(shù)為3 000,模型的損失函數(shù)采用交叉熵?fù)p失函數(shù),當(dāng)模型在驗(yàn)證集上的得分持續(xù)1 000次迭代不再提升即停止訓(xùn)練。

3.2 評(píng)價(jià)指標(biāo)

網(wǎng)絡(luò)訓(xùn)練完成后,需要在測(cè)試集上測(cè)試網(wǎng)絡(luò)的效果,基于D-S融合的目標(biāo)屬性識(shí)別模型本質(zhì)上是多分類模型,評(píng)價(jià)多分類模型的效果時(shí)采用的指標(biāo)是由二分類問題的評(píng)價(jià)指標(biāo)發(fā)展而來。

在二分類問題中,常用的指標(biāo)包括分類準(zhǔn)確率(accuracy)、精確率(precision)、召回率(recall)和F1得分(F1)。這些指標(biāo)和TP(正類預(yù)測(cè)為正類的樣本數(shù))、FP(負(fù)類預(yù)測(cè)為正類的樣本數(shù))、TN(負(fù)類預(yù)測(cè)為負(fù)類的樣本數(shù))、FN(正類預(yù)測(cè)為負(fù)類的樣本數(shù))相關(guān)。在軍事武器系統(tǒng)中,希望目標(biāo)屬性被誤分類的概率最小化,故本文使用召回率作為模型的分類評(píng)價(jià)指標(biāo),召回率的定義如式(23)所示:

(23)

4 實(shí)驗(yàn)結(jié)果分析

1) D-S融合對(duì)各模型誤分類的影響。為驗(yàn)證D-S融合能否矯正因?yàn)閱我荒Ｐ头诸愬e(cuò)誤而導(dǎo)致最終識(shí)別結(jié)果錯(cuò)誤的問題,本文中分別對(duì)真實(shí)標(biāo)簽為AG的光電圖像與航跡信息進(jìn)行屬性識(shí)別,并將單個(gè)模型對(duì)每個(gè)類別的預(yù)測(cè)概率與最終融合后模型對(duì)每個(gè)類別的預(yù)測(cè)概率進(jìn)行對(duì)比。各模型對(duì)每個(gè)類別的預(yù)測(cè)概率分別如圖4—圖6所示。

圖4表明了圖像分類模型對(duì)真實(shí)標(biāo)簽為AG的光電圖像目標(biāo)屬性識(shí)別結(jié)果為CM,并且識(shí)別為CM的概率為54%,識(shí)別為AG的概率為43%;圖5表明了航跡分類模型對(duì)真實(shí)標(biāo)簽為AG的航跡特征目標(biāo)屬性識(shí)別結(jié)果為AG,并且識(shí)別為AG的概率為46%;圖6表明了融合后模型的目標(biāo)屬性識(shí)別結(jié)果為AG,并且識(shí)別為AG的概率為86%。

圖4 圖像分類模型對(duì)真實(shí)標(biāo)簽為AG的各類別預(yù)測(cè)概率

圖5 航跡分類模型對(duì)真實(shí)標(biāo)簽為AG的各類別預(yù)測(cè)概率

由上述結(jié)果可知,即使光電圖像分類模型給出了一個(gè)錯(cuò)誤的識(shí)別結(jié)果,但通過D-S融合后,最終的識(shí)別結(jié)果卻是正確的,并且最終預(yù)測(cè)為正確類別的概率也是高于融合前各模型預(yù)測(cè)為正確類別的概率。

2)D-S融合對(duì)單一模型識(shí)別能力的影響。為了驗(yàn)證本文中所提出的使用D-S融合的方法是否能提高目標(biāo)屬性識(shí)別能力,本文中分別模擬了目標(biāo)距光電傳感器的距離D為1～3 km和3～5 km的航跡分類模型識(shí)別結(jié)果和光電圖像分類模型識(shí)別結(jié)果與融合后的識(shí)別結(jié)果進(jìn)行對(duì)比。各模型召回率在2種距離D上的實(shí)驗(yàn)結(jié)果分別如圖7、圖8所示。

圖7 距離D為1～3 km的召回率

圖8 距離為3～5 km的召回率

圖7表明在目標(biāo)距光電傳感器距離D為1～3 km上,融合后模型各目標(biāo)的召回率都均高于融合前單一模型各目標(biāo)的召回率,并且融合后模型各目標(biāo)的召回率比光電圖像分類模型各目標(biāo)的召回率平均高3%左右,比雷達(dá)航跡分類模型各目標(biāo)的召回率平均高10%左右。圖8表明在目標(biāo)距光電傳感器距離D為3～5 km上,融合后模型各目標(biāo)的召回率也都均高于融合前模型各目標(biāo)的召回率,且比光電圖像分類模型各目標(biāo)的召回率平均高5%左右,比雷達(dá)航跡分類模型平均高15%左右。

由上述結(jié)果可知,無論是距離D為1～3 km或是3～5 km上的目標(biāo)屬性識(shí)別,融合后模型的識(shí)別能力均高于融合前模型的識(shí)別能力。

3) 本文中方法和其他算法性能比較。為驗(yàn)證所提方法的優(yōu)越性,選取了3個(gè)常用于雷達(dá)航跡分類識(shí)別的算法與所提方法對(duì)比,分別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、遞歸神經(jīng)網(wǎng)絡(luò)(recursive neural network,RNN)以及決策樹(decision tree,Dec Tree)。不同算法在識(shí)別性能召回率上實(shí)驗(yàn)結(jié)果如圖9所示。

圖9 各算法識(shí)別的召回率

圖9實(shí)驗(yàn)結(jié)果表明了CNN的識(shí)別效果一般, CNN雖然能自動(dòng)從數(shù)據(jù)中學(xué)習(xí)特征,但CNN在處理有時(shí)序特征的數(shù)據(jù)時(shí),其識(shí)別效果往往不理想;RNN和Dec Tree的識(shí)別效果較好,RNN在處理序列數(shù)據(jù)時(shí)往往會(huì)取得較好的結(jié)果,而一旦處理類似雷達(dá)航跡這種擁有長(zhǎng)時(shí)間序列特征的數(shù)據(jù)時(shí),其結(jié)果往往有待提升,決策樹通常是遞歸選擇最優(yōu)屬性,并根據(jù)該特征對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行分割,故而能得到較好的結(jié)果,但是決策樹沒有考慮航跡數(shù)據(jù)的時(shí)序性,所以結(jié)果也有待提升。以上算法對(duì)航跡識(shí)別性能均低于本文中所提的方法,從而驗(yàn)證了本文中所提方法在目標(biāo)航跡識(shí)別上的良好效果。

綜上可知,所提方法在雷達(dá)航跡識(shí)別性能上均高于其他的對(duì)比算法,提高了雷達(dá)航跡識(shí)別的召回率,同時(shí)無論是遠(yuǎn)距離目標(biāo)屬性識(shí)別或者近距離目標(biāo)屬性識(shí)別,融合后模型的識(shí)別能力也均高于融合前單一模型的識(shí)別能力,并且也能矯正因單一模型分類錯(cuò)誤而導(dǎo)致最終識(shí)別結(jié)果錯(cuò)誤的問題,從而表明本文中所提方法的有效性。

5 結(jié)論

本文中提出了一種基于光電圖像和雷達(dá)航跡信息融合的目標(biāo)屬性識(shí)別方法,通過使用D-S組合規(guī)則將ResNet網(wǎng)絡(luò)和XGBoost網(wǎng)絡(luò)得到的目標(biāo)類別概率進(jìn)行融合。經(jīng)實(shí)驗(yàn)表明:通過D-S融合能矯正因?yàn)閱我痪W(wǎng)絡(luò)識(shí)別錯(cuò)誤而導(dǎo)致最終結(jié)果識(shí)別錯(cuò)誤的問題;無論是在遠(yuǎn)或近距離目標(biāo)的屬性識(shí)別上,融合后模型的召回率都均高于單一模型的召回率,且融合后模型的平均召回率為95%。