李 環(huán),羅惠中,劉媛媛
(沈陽理工大學 信息科學與工程學院,沈陽 110159)
在空戰(zhàn)中,為在敵方戰(zhàn)斗機釋放干擾彈等進行人工干擾的情況下仍能夠?qū)?zhàn)斗機進行精確的識別和跟蹤,需要采用相關(guān)的技術(shù)。利用卷積神經(jīng)網(wǎng)絡(luò)[1]對圖像的特征進行建模,可使目標識別更加準確;利用粒子濾波器[2-3]可實現(xiàn)對目標的跟蹤,粒子濾波器以貝葉斯準則和重要性采樣為理論基礎(chǔ),其首先對粒子進行初始化,然后根據(jù)粒子上一時刻的位置和權(quán)重對粒子的位置進行更新以及重要性采樣。戰(zhàn)斗機在軍事活動中為了能夠更好地躲避追蹤,一般會采用比較貼近其飛行環(huán)境的顏色,如銀白色、灰色等,由于其顏色比較單一,為實現(xiàn)跟蹤提供了可能。
針對飛行過程中戰(zhàn)斗機識別和跟蹤的研究已有很多。許來祥等[4]結(jié)合紅外目標特性,調(diào)整ZFNet的卷積層和池化層數(shù)量,加入空間變換網(wǎng)絡(luò)以提高對數(shù)據(jù)變換的魯棒性,對Dropout 層的丟棄率變化進行可視化分析并確定選取原則,以提高紅外目標的識別率。劉剛等[5]利用模糊C均值聚類算法,將經(jīng)過降噪處理的紅外飛機圖像分割成背景、飛機機身和尾焰三部分,分別計算飛機目標的Hu矩和歸一化轉(zhuǎn)動慣量來構(gòu)成組合不變矩,同時結(jié)合分割圖像的面積比特征來實現(xiàn)飛機飛行姿態(tài)的識別,通過對飛機機頭、機軸、機翼或尾翼的提取并依照相應的比例關(guān)系,實現(xiàn)對飛機關(guān)鍵攻擊部位如駕駛艙的識別。劉聰聰?shù)萚6]提出改進的基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)Faster R-CNN的空中飛行物識別算法,使用消色差折射式望遠鏡ETX80和個人電腦構(gòu)建空中飛行物識別系統(tǒng)。吳雪剛[7]為解決運動中的遮擋問題,在粒子評價過程中引入“運動動量因子”來保持在高速運動下原來方向粒子的健壯性,提高了粒子跟蹤的準確度,為運動目標建立顏色模型,使跟蹤的效果優(yōu)于基本粒子濾波器。趙春梅等[8]提出了基于多域網(wǎng)絡(luò)的改進網(wǎng)絡(luò),即用于飛機跟蹤的快速深度學習的跟蹤網(wǎng)絡(luò),使用遷移學習彌補目標跟蹤的小樣本缺陷,基本滿足飛機實時跟蹤。
大多數(shù)目標識別與跟蹤的研究中不考慮人為干擾因素,尤其人為干擾條件下戰(zhàn)斗機識別與跟蹤方面的研究相對較少。本文利用卷積神經(jīng)網(wǎng)絡(luò)算法對戰(zhàn)斗機進行識別,利用粒子濾波算法通過顏色特征對戰(zhàn)斗機進行跟蹤。
將需要識別的圖像送入卷積神經(jīng)網(wǎng)絡(luò)[9]模型之前,對圖像庫中所有包含戰(zhàn)斗機的圖像標簽化分類[10]。然后使用切片函數(shù)將圖像與對應的標簽組成一個元組,將所有元組隨機打亂順序、復制多次后,按照4∶1的比例分配給訓練集和測試集,其目的是增加訓練的隨機性,提高訓練精度。根據(jù)仿真實驗的需求,構(gòu)建如圖1所示的網(wǎng)絡(luò)模型[11]。
圖1 網(wǎng)絡(luò)結(jié)構(gòu)
由圖1可見,第一層為輸入層。輸入層能夠接收輸入的圖像,并利用幾何變換將輸入圖像大小統(tǒng)一為256×256×3,并將幾何變換后的圖像傳送給第二層。
第二層為卷積層。設(shè)定卷積核的大小為3×3、步長為1,將其與進入到卷積層的圖像所對應的局部亮度值進行卷積,然后按照步長對卷積核進行上下左右平移,最終實現(xiàn)卷積核與整幅圖像的卷積,卷積后的結(jié)果按照順序排列,構(gòu)成一個新的矩陣,該矩陣也叫特征圖,被送至下一層。卷積公式為
(1)
式中:ai,j為特征值;i和j分別為每次卷積后得到的特征在新的特征圖中所對應的行坐標和列坐標;xi,j為輸入圖像對應點的亮度值;wm,n為卷積核的對應值;wb為偏置。
第三層仍為卷積層。經(jīng)過一次卷積后的特征圖仍較大,為減少計算量,防止過擬合,第三層也設(shè)置為卷積層。
第四層為池化層。池化層也叫降采樣層,其不僅具有平移不變性,保持特征不變,且以犧牲圖像分辨率為代價省去低層的、不鮮明的特征,凸顯更高層的特征。池化可分為最大值池化和均值池化,二者均需滿足梯度之和不變的原則,該層使用最大值池化的方法。當大小為3×3局部感受野與特征圖的對應點進行乘積運算后,保留9個數(shù)值中的最大值,去除其他8個值。
第五層至第七層的原理與第二層到第四層相似,區(qū)別在于第七層采用的是均值池化。用大小為3×3滑動窗口與特征圖局部的對應點進行乘積運算后,得到9個數(shù)值,取平均值后保存。
此外,在第一層到第七層中均引入一種非線性激活函數(shù)—ReLU函數(shù),其目的是增加卷積神經(jīng)網(wǎng)絡(luò)模型中的非線性因素,加快計算速度,避免梯度飽和,并降低過擬合問題的發(fā)生概率。
最后一層是全連接層。全連接層中仍設(shè)置激活函數(shù)。由于該仿真實驗的本質(zhì)是利用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)多分類問題,因此使用softmax做為全連接層的激活函數(shù)。softmax可將分類問題轉(zhuǎn)化為概率問題,最終選取概率值最大的節(jié)點作為輸出,將其確定為預測的結(jié)果。
圖像識別中顏色是應用最為廣泛的特征之一,主要原因是圖像中需要識別的物體與場景的關(guān)系十分密切,顏色特征魯棒性強,不受飛機的飛行姿態(tài)、拍攝視角以及尺寸等因素的影響[12]。對戰(zhàn)斗機的圖像進行跟蹤的過程中,本文利用顏色距離作為顏色特征,即以每兩個相鄰粒子所在位置的歐氏距離來衡量圖像中顏色的相似性,歐氏距離的計算公式為
(2)
式中:C1和C2分別表示兩個粒子;C1,R、C1,G、C1,B分別代表粒子C1的三個通道;C2,R、C2,G、C2,B分別代表粒子C2的三個通道。
自Bootstrap濾波器出現(xiàn),粒子濾波(Particle Filter,PF)[13]迅速成為一種重要的非線性遞歸貝葉斯濾波方法,因其不受系統(tǒng)方程和系統(tǒng)噪聲限制,應用廣泛,可擴展性強。
2.2.1 粒子濾波器的跟蹤原理
粒子在任意狀態(tài)下的空間模型為
xn+1=f(xn,wn)
(3)
yn=h(xn,vn)
(4)
式中:xn為n時刻的狀態(tài);yn為觀測值;wn為動態(tài)噪聲和過程噪聲;vn為觀測噪音;f為狀態(tài)轉(zhuǎn)移函數(shù);h為測量函數(shù)。
為后續(xù)計算方便,設(shè)
Xn=x0:n={x0,x1,…,xn}
(5)
Yn=y1:n={y1,y2,…,yn}
(6)
從貝葉斯的角度分析,跟蹤問題的本質(zhì)就是從Yn中推導出當前時刻狀態(tài)xn的可信度,即后驗概率密度P(xn|Yn)。
假設(shè)系統(tǒng)的狀態(tài)轉(zhuǎn)移服從一階馬爾科夫模型,并且在n-1時刻的概率密度函數(shù)為P(xn-1|Yn-1),則預測狀態(tài)xn出現(xiàn)的概率為
(7)
式中P(xn|xn-1)由系統(tǒng)決定,其概率分布情況與系統(tǒng)的過程噪聲wn分布一致。
利用預測的先驗概率密度P(xn|Yn-1)對后驗概率P(xn|Yn)進行更新,公式為
(8)
式中:P(yn|xn)為似然函數(shù),由觀測方程決定,只和觀測噪音vn有關(guān);P(yn|Yn-1)為歸一化常數(shù)。
(9)
對基于粒子濾波算法的跟蹤系統(tǒng)而言,求出后驗概率十分困難,故使用蒙特卡洛采樣法,后驗概率可表示為
(10)
(11)
(12)
(13)
2.2.2 基于粒子濾波器的顏色跟蹤
粒子濾波器的跟蹤流程[14-15]包括初始化階段、搜索階段、決策階段和重采樣[16]階段。
在初始化階段,設(shè)定提取戰(zhàn)斗機的顏色特征,設(shè)定顏色方差為25,且使6000個粒子均勻分布在第一幀圖像中;在搜索階段,根據(jù)初始化階段6000個粒子的位置,計算出每個粒子的顏色特征;在決策階段,對每個粒子的顏色特征進行加權(quán),求出每個粒子與目標顏色之間的相似性;在重采樣階段,依據(jù)決策階段求出的每個粒子與目標顏色之間的相似性,在新一幀圖像中,粒子相似性較高之處多放置粒子,在相似性較低之處少放置或不放置粒子,重新進行搜索階段和決策階段。
通過仿真實驗得到識別準確率、損失率與迭代次數(shù)之間的關(guān)系如圖2和圖3所示。
由圖2和圖3可以看出,隨著迭代次數(shù)的增加,利用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的目標識別準確率逐漸升高,最終接近于1。損失率隨著迭代次數(shù)的增加逐漸降低,最終接近0。
圖2 訓練集和測試集的識別準確率
圖3 訓練集和測試集的損失率
為便于對比,另外采用方向梯度直方圖(Histogram of Oriented Gradient,HOG)特征的支持向量機(Support Vector Machine,SVM)識別算法[17]和最近鄰(K-Nearest Neighbor,KNN)算法的圖像識別算法[18]進行戰(zhàn)斗機圖像識別仿真實驗,三種方法的識別準確率對比結(jié)果如表1所示。
表1 三種識別算法的識別準確率對比表
由表1可見,本文采用的卷積神經(jīng)網(wǎng)絡(luò)的圖像識別算法的識別準確率明顯高于其他兩種算法。
通過仿真實驗,選取其中第32幀、第305幀、第628幀及第779幀的圖像來查看跟蹤效果。跟蹤圖像如圖4所示。
由圖4可見,選取的四幀跟蹤圖像中,粒子基本實現(xiàn)了對戰(zhàn)斗機的跟蹤,即使干擾彈對戰(zhàn)斗機產(chǎn)生了部分遮擋,跟蹤效果也較好。
圖4 粒子跟蹤圖像
在戰(zhàn)斗機圖像識別中,采用基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法。仿真實驗結(jié)果表明,基于卷積神經(jīng)網(wǎng)絡(luò)的目標識別算法的準確率接近于1,識別效果較好。
根據(jù)顏色特征利用粒子濾波器實現(xiàn)對戰(zhàn)斗機的跟蹤。仿真實驗結(jié)果表明,敵軍戰(zhàn)斗機在釋放干擾彈的過程中,會對戰(zhàn)斗機產(chǎn)生部分遮擋,但未被遮擋部分的顏色特征依然存在,不會影響識別效果。使用粒子濾波器的過程中,設(shè)定的粒子越多,計算量越大,此為粒子濾波的不足之處,后續(xù)研究中需要采用更好的跟蹤技術(shù)。