吉書鵬 劉志廣 渠繼峰 許建錚 李同海
摘要:????? ?目標跟蹤是機載光電偵察瞄準系統(tǒng)的一個重要工作模式, 其性能的優(yōu)劣直接決定著載機系統(tǒng)完成任務使命的效能。 針對機載光電偵察瞄準系統(tǒng)目標跟蹤應用中存在的主要問題和技術難點, 本文基于系統(tǒng)多源傳感器構型及應用特點, 綜合組合慣導、 運動測量、 伺服控制、 地理坐標及圖像信息等多維度參數(shù), 提出了一種基于慣性測量與視頻圖像信息綜合的智能目標跟蹤策略, 通過仿真分析與飛行測試表明, 該策略有效提高了目標跟蹤抗遮擋性能, 實現(xiàn)了全動態(tài)復雜場景下穩(wěn)健持久跟蹤, 提升了載機系統(tǒng)偵察監(jiān)視、 目標定位、 瞄準引導的作戰(zhàn)能力。
關鍵詞:???? 光電偵察瞄準; 信息融合; 慣性測量; 視頻圖像; 深度學習; 目標跟蹤; 抗遮擋; 智能化
中圖分類號:??? ???TJ760? ? ? ? ? ? ? ? ??文章編號:??? ?1673-5048(2023)04-0001-09
文獻標識碼:??? A? ? ? ? ? ? ? ? ? ? ? ? ? ? ?DOI: 10.12132/ISSN.1673-5048.2022.0227
0引言
機載光電偵察瞄準系統(tǒng)采用陀螺穩(wěn)定平臺及慣性導航技術, 裝載可見、 紅外和激光等光電傳感器, 遂行偵察監(jiān)視、 識別定位、 跟蹤瞄準和武器引導等任務使命。 光電偵察瞄準系統(tǒng)不僅要實現(xiàn)高分辨率目標探測識別、 精準測量定位, 而且要實現(xiàn)精確瞄準和武器引導, 以上任務的完成都是建立在高性能目標跟蹤基礎之上, 目標跟蹤性能直接決定著載機系統(tǒng)完成任務使命的效能。
隨著計算機視覺、 圖像處理技術及應用需求的發(fā)展, 視頻圖像目標跟蹤(視覺跟蹤)技術取得了突破性進展, 新算法眾多。 根據目標模型構建方式的差異, 視覺跟蹤算法通常分為生成類和判別類。 由于生成類算法忽略背景影響, 抗干擾能力較弱, 當目標被遮擋時易導致失跟, 該類算法主要包括均值漂移(Mean Shift)、 粒子濾波(Particle Filtering)和光流法(Lucas Kanade)等。 判別類跟蹤算法考慮背景建模, 具有更好的目標跟蹤魯棒性, 目前已成為視覺跟蹤的主流算法, 該類算法主要包括相關濾波(Correlation Filter)和深度學習(Deep Learning)等。
基于最小化均方誤差(MOSSE)[1]濾波目標跟蹤算法將時域計算轉換到頻域計算, 顯著提升了目標跟蹤速度, 開創(chuàng)了視覺跟蹤的新時代。 為進一步提升性能, 在MOSSE基礎上出現(xiàn)了很多改進算法(CSK[2], KCF[3], BACF[4], SAMF[5]等), 成為目標跟蹤算法的研究熱點[6-7]。 CSK通過樣本循環(huán)移位增加樣本數(shù)量, 利用循環(huán)結構性質和傅里葉變換快速計算, 使得訓練出的濾波器更加穩(wěn)健。 文獻[8]在KCF算法框架下融合HOG特征和CN特征, 增強了對目標外觀表征, 提升目標跟蹤的精度和魯棒性。 文獻[9]提出依據多峰檢測與置信度(APCE)的目標模型更新策略, 一定程度上解決了目標被遮擋問題, 提高了目標跟蹤效果。 SAMF和DSST在KCF算法的基礎上引入尺度估計, 改進目標尺度變化對跟蹤的影響。 在SRDCF的基礎上, 文獻[10]提出CCOT算法, 將時域離散位置估計轉換為時域連續(xù)位置估計, 提升目標位置估計的精準性。 文獻[11]從訓練樣本、 濾波器系數(shù)和模板更新等方面對CCOT進行改進, 提出ECO算法, 顯著降低了計算復雜度。
近些年, 隨著神經網絡技術的發(fā)展, 深度學習算法憑借其優(yōu)秀的建模能力, 在目標跟蹤領域取得了巨大的進展, 涌現(xiàn)出大量算法, 提升了目標跟蹤的精準性和魯棒性。 基于深度學習的目標跟蹤算法主要分為兩類, 即以相關濾波作為跟蹤框架的目標跟蹤算法和完全基于神經網絡框架的目標跟蹤算法。 文獻[12]提出基于多層卷積特征的跟蹤算法(HCFT), 結合多層深度網絡特征與相關濾波算法, 取得很好的效果。 文獻[13]提出循環(huán)目標強化跟蹤算法(RTT), 使用RNN網絡提取目標顯著性特征, 將其加到相關濾波器系數(shù)上, 增強相關濾波器對于背景噪聲信息的抗干擾能力。 文獻[14]提出一種全卷積孿生網絡結構, 通過一對在大型數(shù)據集上離線訓練的通用孿生網絡框架提取目標模板與候選區(qū)域特征, 然后將目標模板與候選區(qū)域進行卷積操作, 得到目標響應圖, 響應最大候選區(qū)域位置即目標位置。 該方法模型構建簡單, 跟蹤速度可達到58幀/秒, 而且跟蹤精度高。 目前, 基于神經網絡的目標跟蹤算法普遍實時較差, 對硬件資源要求高, 而且需要大樣本量的訓練數(shù)據支撐, 限制了其在視頻跟蹤中的應用。
機載光電偵察瞄準系統(tǒng)目標跟蹤屬于動基平臺上的全動態(tài)場景目標持久跟蹤, 由于跟蹤過程中目標場景和環(huán)境的復雜多變性, 目標跟蹤過程中會出現(xiàn)以下情況: (1)長時間跟蹤誤差累計、 瞄準線漂移, 導致失跟; (2)相似目標或強背景物體出現(xiàn), 導致錯跟; (3)目標被煙、 云、 物等遮擋, 導致失跟; (4)目標特征劇烈變化、 瞄準線跳動, 導致失跟。 通過應用實踐證明, 僅采用視頻圖像跟蹤技術, 不能滿足機載光電偵察瞄準系統(tǒng)對運動目標長時間韌性跟蹤的要求, 不能有效解決運動目標跟蹤抗遮擋等問題[15-16]。
為了提高光電偵察瞄準系統(tǒng)目標跟蹤對復雜環(huán)境的適應能力, 本文通過對系統(tǒng)組合導航、 慣性測量和視頻圖像等多維度參數(shù)信息的綜合分析, 提出一種基于慣性測量與視頻圖像信息融合的智能目標跟蹤策略, 提高目標跟蹤的韌性和抗遮擋性能, 實現(xiàn)了全動態(tài)復雜場景高精度穩(wěn)健自主跟蹤。
1機載目標跟蹤策略原理分析
圖1為智能目標跟蹤策略的原理框圖, 其主要由慣性測量、 運動補償、 視頻圖像目標檢測跟蹤及伺服跟蹤控制等功能單元組成。 本文提出一種多算法協(xié)同目標跟蹤策略: 基于深度學習的智能目標檢測算法[17], 實現(xiàn)多目標快速檢測、 搜索區(qū)域目標自動捕獲及失跟目標的搜索和再捕獲; 基于改進型核相關濾波跟蹤算法, 實現(xiàn)全動態(tài)復雜場景目標穩(wěn)健跟蹤和狀態(tài)估計; 采用基于慣性測量的目標運動描述與瞄準線指向控制算法, 實現(xiàn)記憶跟蹤, 提升目標跟蹤抗干擾能力。
導航與慣性測量傳感器獲取載機大地坐標、 地理坐標系下的航姿角及速度參數(shù), 穩(wěn)定平臺速率傳感器獲取目標跟蹤過程中視軸指向姿態(tài)角和速度參數(shù), 激光傳感器獲取目標距離。 綜合以上信息解算目標在地理坐標系下的運動速度和方向, 對目標運動特性進行學習及軌跡描述, 解算載機與目標在視軸坐標系下的方位/俯仰方向的角速度信息, 輸入伺服跟蹤控制回路進行運動補償和視軸指向控制[18]。 系統(tǒng)進入目標跟蹤模式后, 智能目標檢測算法進入目標檢測和自動識別狀態(tài), 并自主捕獲視場搜索區(qū)域目標, 識別確認目標身份后實施自動捕獲跟蹤。 視頻圖像跟蹤算法實時解算目標圖像坐標參數(shù), 經處理形成的脫靶量參數(shù)輸入伺服跟蹤回路控制瞄準線隨目標移動。 當遇到遮擋等干擾情況, 視頻圖像跟蹤算法對跟蹤狀態(tài)進行評估并給出目標失跟提示, 自主進入記憶跟蹤狀態(tài)。 伺服跟蹤系統(tǒng)基于學習得到的目標運動特性, 控制瞄準線隨目標運動, 保證目標始終處于視場中心一定區(qū)域內。 同時, 視頻圖像跟蹤算法轉入目標搜索狀態(tài), 待再次檢測捕獲目標, 自主轉入視頻圖像跟蹤狀態(tài), 實現(xiàn)持久目標穩(wěn)定跟蹤。
1.1視頻圖像跟蹤
光電成像傳感器、 視頻跟蹤器及伺服控制器構成視頻圖像跟蹤功能單元。 光電成像傳感器采集目標區(qū)域圖像信息, 經圖像預處理及格式變換, 形成動態(tài)視頻圖像流輸入視頻圖像跟蹤器。 視頻圖像跟蹤器進行目標搜索檢測, 提取目標偏離視場中心像素坐標數(shù)據, 形成目標的脫靶量信息, 經圖像校正處理后輸出至伺服控制分系統(tǒng), 驅動穩(wěn)定平臺視軸轉動減小脫靶量, 以一定的跟蹤控制率將目標穩(wěn)定控制在視場中心, 實現(xiàn)目標的自主跟蹤。
視頻圖像跟蹤是基于初始幀圖像目標位置, 預測后續(xù)幀圖像中目標位置的過程。 主要由四個功能模塊組成: 特征提取、 模型構建、 搜索策略和模板更新。 特征提取是實現(xiàn)目標跟蹤的基礎, 提取的目標特征應具有旋轉、 尺度、 光照、 顏色、 亮度及對比度等變化的魯棒性; 模型構建是實現(xiàn)檢測跟蹤的關鍵、 學習能力的體現(xiàn), 模板更新機制(模型參數(shù)學習優(yōu)化)是提高抗干擾的核心。
本文提出的視頻圖像跟蹤算法是對相關濾波(KCF)跟蹤算法[19]進行改進設計: (1)基于深度學習獲取目標場景特征, 提高算法的魯棒性和場景適應能力; (2)采用置信度和平均峰值能量比準則進行參數(shù)學習和模型優(yōu)化, 提高目標跟蹤的抗干擾性能。
KCF算法將目標跟蹤轉化為目標檢測分類問題, 基于正則最小二乘分類器學習準則辨識目標, 基于循環(huán)移位采樣和快速傅里葉變換技術, 利用傅里葉空間中循環(huán)矩陣可對角化性質, 解決稠密采樣計算量問題, 顯著降低樣本訓練和目標檢測的運算復雜度。 通過核函數(shù)非線性映射, 將樣本向量映射到高維特征空間, 顯著提升分類器性能, 并且特征空間滿足線性回歸關系, 實現(xiàn)核空間的線性回歸。 算法具有計算量小、 實時性強、 跟蹤精度高, 以及復雜動態(tài)場景適應能力強等特點。
對于訓練樣本(xi, yi)和線性分類函數(shù)f(xi)=wTxi, 基于正則化風險最小分類器的損失函數(shù)為
式中:
采用梯度下降法求解, 可得模型參數(shù)w=(XTX+λE)-1XTy;? 矩陣X=[x1,? x2, …, xn], 每一列代表一個樣本特征向量; y為列向量, 每個元素代表一個樣本標簽。 基于正則化線性模型表示定理, 并通過核函數(shù)非線性映射變換, 將樣本向量映射到高維特征空間φ(x):
損失函數(shù)變換為
式中: 求偏導可得模型參數(shù)a=(K+λE)-1y;?? K=φ(X)φ(X)T, kij=φ(xi)Tφ(xj)為核函數(shù)矩陣; E表示單位矩陣; λ表示為正則化系數(shù)。
采用循環(huán)移位產生的目標區(qū)域圖像作為分類器的訓練樣本, 生成訓練樣本矩陣。 對于測試樣本Z=(z1, z2, …, zn), Kxz=φ(X)Tφ(Z)為循環(huán)矩陣, 降低計算復雜度, 利用其傅里葉變換可對角化的性質, 則有
算法迭代優(yōu)化得到模型參數(shù)后, 對于輸入幀圖像, 利用已有的模型參數(shù)進行目標跟蹤, 以上一幀圖像中目標的檢測位置為中心, 獲取待跟蹤圖像區(qū)域。 通過核函數(shù)計算出待跟蹤圖像區(qū)域的響應圖, 根據響應圖中最大值所在的位置得到目標位置(如圖2所示), 并更新模板參數(shù)。
當出現(xiàn)目標被遮擋等干擾場景時, 跟蹤算法的特征響應圖會出現(xiàn)多峰現(xiàn)象, 如圖3所示。
針對多峰響應情況, 算法基于置信度和平均峰值能量比準則, 進行參數(shù)學習和模型優(yōu)化, 提高目標跟蹤的抗干擾性能和失鎖估計精準度。 響應的最大值計算:
Fmax=maxF(s, l, w)(5)
式中: s, l, w表示目標圖像的尺度、 響應圖的長和寬。 平均峰值方差比計算:
式中: Fmax, Fmin, Fh, v分別表示響應圖F(s, l, w)中最大、 最小以及h行v列的的響應值;? Apvr值反映響應圖的波動情況和檢測目標的置信水平。 出現(xiàn)遮擋情況時, Apvr值會變小、 置信度下降。 采取的學習優(yōu)化: 如果Fmax和Apvr的計算值大于其前序計算均值的β1和β2倍, 則當前的跟蹤結果置信水平高, 模型參數(shù)以更新率η更新。 否則, 給出目標丟失標識Lott, 系統(tǒng)轉入記憶跟蹤通道, 視頻跟蹤進入目標搜索捕獲狀態(tài):
1.2慣性測量跟蹤
機載光電偵察瞄準系統(tǒng)目標跟蹤分為手動跟蹤和自動跟蹤工作模式。 手動跟蹤模式由操作人員控制系統(tǒng)視軸移動, 進行目標跟蹤或場景凝視觀測, 本文提出的智能目標跟蹤策略引入基于慣性測量的運動補償跟蹤控制策略, 實現(xiàn)視軸指向穩(wěn)定控制。
自動跟蹤模式采用基于深度學習的智能目標檢測算法對搜索區(qū)域目標進行檢測和自主捕獲, 基于深度神經網絡構建目標模型, 按照一定的搜索策略在當前幀中進行搜索評估, 確定目標初始位置; 基于導航與慣性測量傳感器獲取的目標位置與運動參數(shù)信息, 構建目標的運動模型, 融入目標搜索策略, 輔助視軸指向控制, 實現(xiàn)高效目標搜索。 視頻圖像跟蹤過程中, 出現(xiàn)目標被遮擋等干擾場景時, 跟蹤控制系統(tǒng)收到視頻跟蹤算法給出的失跟信息后, 自主轉入基于目標運動測量的記憶跟蹤狀態(tài), 控制瞄準線隨目標運動, 直至目標再次捕獲。
1.2.1基于載機運動補償?shù)囊曒S指向控制
載機飛行過程中, 光電偵察瞄準系統(tǒng)穩(wěn)定平臺隔離載機振動及姿態(tài)運動, 但載機飛行運動會引起視軸移動導致目標失跟, 同時視軸移動也會影響目標搜索與場景凝視偵測效能。 本文提出在跟蹤控制回路中增加視軸指向運動補償算法, 實現(xiàn)目標跟蹤視軸指向穩(wěn)定。 如圖4所示。
算法基于導航與慣性測量傳感器獲得的載機飛行速度和航姿角信息, 通過坐標變換解算視軸坐標系下的速度, 基于激光傳感器獲取的目標距離信息, 解算目標相對穩(wěn)定平臺視軸的方位/俯仰角速度, 對場景運動進行補償, 實現(xiàn)視軸指向穩(wěn)定。
式中: ωz為方位角速度; ωy為俯仰角速度。 以ωz和ωy分別作為穩(wěn)定平臺方位和俯仰控制回路的輸入, 實現(xiàn)載機的運動補償。
1.2.2基于目標運動測量的記憶跟蹤
基于組合慣導傳感器和穩(wěn)定平臺姿態(tài)測量參數(shù), 光電偵察瞄準系統(tǒng)不僅能實現(xiàn)目標定位和運動補償?shù)裙δ埽?還可以對目標運動跟蹤測量, 獲取目標速度、 運動方向和運動軌跡信息, 在跟蹤目標遇到被遮擋等干擾狀況, 導致目標跟蹤丟失時, 實施記憶跟蹤策略, 維持對目標的跟蹤。 其工作原理如圖5所示。
基于目標運動測量獲取的地理坐標系下目標運動速度, 解算出光軸坐標系下目標運動角速度。 以該角速度作為前饋輸入伺服跟蹤控制回路, 在視頻圖像跟蹤算法給出失跟信息后, 算法自主斷開視頻跟蹤通道, 進入記憶跟蹤通道, 控制視軸指向隨預測的目標運動軌跡轉動, 實現(xiàn)被跟蹤運動和靜止目標的記憶跟蹤, 如圖6所示。
激光測照器獲取目標距離D, 則目標相對平臺的角速度ω為
ω=ωzωy=Cωv·vot=01/D0001/Dvot (15)
式中: ωz為方位角速度估計; ωy為俯仰角速度估計。 在目標被遮擋時, 以此角速度估計值作為平臺穩(wěn)定回路的角速度輸入, 實現(xiàn)對目標的記憶跟蹤。
2仿真分析與飛行測試
由圖1可知, 本文提出的智能抗遮擋目標跟蹤策略主要由載機運動補償、 記憶跟蹤、 智能目標檢測與視頻跟蹤等多算法構成。 本節(jié)對記憶跟蹤及運動補償性能、 目標檢測與視頻跟蹤性能進行仿真分析, 并給出飛行試驗結果。
2.1記憶跟蹤及運動補償性能仿真分析
光電偵察瞄準系統(tǒng)對目標進行記憶跟蹤的基本原理
其中, 組合慣導傳感器安裝偏差角(ε、? ψ、? θ)作為系統(tǒng)誤差可通過標定進行校準補償。 由式(8), (10), (12)~(15)計算坐標變換與誤差傳遞模型:
根據誤差函數(shù)傳遞理論[20], 當上述直接測量參數(shù)相互獨立時, 視軸指向轉動角速率誤差可以表示為
如果抗遮擋時間為t, 則在遮擋時間內產生的角度誤差Δθ為
式(16)~(19)給出了記憶跟蹤誤差的理論模型。
記憶跟蹤補償角速度用到的參數(shù)及誤差分布如表1所示, 這些參數(shù)的誤差決定了記憶跟蹤和運動補償精度。 在視頻跟蹤狀態(tài)下, 伺服控制系統(tǒng)工作在載機運動補償模式。
采用蒙特卡羅法進行記憶跟蹤誤差仿真計算, 其原理是利用計算機產生同分布隨機數(shù)模擬表1中誤差量疊加到相應測量值中, 以概率統(tǒng)計來模擬系統(tǒng)中的不確定因素進行仿真計算。 設載機飛行高度為5 km, 飛行速度為200 km/h, 地面目標運動速度為100 km/h, 目標距離D≤10 km, 抗遮擋記憶跟蹤時間為5 s, 視軸方位角a在0°~360°內, 俯仰角b在-60°~60°(向下為0°)內, 目標和載機相對位置在上述角度范圍內隨機生成, 測量誤差根據表1用蒙特卡羅法生成隨機誤差序列后代入計算模型, 進行記憶跟蹤仿真, 得到方位、 俯仰跟蹤誤差如圖7所示。
由圖7可知, 記憶跟蹤誤差的分布在接近零中心區(qū)域概率越大, 邊緣區(qū)域概率越小, 服從正態(tài)分布, 誤差的期望E(Δθy), E(Δθz)和標準差σ(Δθy), σ(Δθz)統(tǒng)計結果如下:
設成像系統(tǒng)視場角為(α, β), 像素分辨率為(m, n), 跟蹤搜索區(qū)大小為(p, q), 則重捕獲時允許的最大記憶跟蹤誤差為Δθmax為
系統(tǒng)的可見光視場為1.1°×0.6°, 分辨率為1 920×1 080, 紅外視場為1.1°×0.88°, 分辨率為640×512, 跟蹤搜索區(qū)為288×228, 上述參數(shù)代入式(21)得到可見光重捕允許最大誤差為(0.17°, 0.13°), 紅外重捕允許最大誤差為(0.5°, 0.39°), 均大于記憶跟蹤誤差3σ(Δθy)和3σ(Δθz)值。 表明遮擋結束后, 目標仍保持在視頻跟蹤算法的搜索區(qū)域內, 能夠可靠重新捕獲目標。
2.2視頻圖像跟蹤性能仿真分析
光電成像傳感器、 視頻跟蹤器、 伺服控制及穩(wěn)定平臺結構構成光電偵察瞄準系統(tǒng)閉環(huán)跟蹤系統(tǒng)。 基于光電成像傳感器與視頻跟蹤器獲取的目標脫靶量, 驅動穩(wěn)定平臺以一定的角速度跟蹤系統(tǒng)瞄準線, 并達到所要求的穩(wěn)態(tài)和動態(tài)性能指標。 影響伺服系統(tǒng)性能的主要因素是跟蹤回路系統(tǒng)的帶寬和開環(huán)增益等。
伺服跟蹤控制系統(tǒng)采用雙環(huán)設計, 內環(huán)為角速率穩(wěn)定回路, 外環(huán)為角位置跟蹤回路。 采用誤差反饋+前饋速度補償控制算法[21]提高系統(tǒng)跟蹤精度, 如圖8所示。
由于圖像跟蹤器誤差信號輸出通常有至少一幀的延遲, 帶來開環(huán)放大系數(shù)下降, 開環(huán)截止頻率和系統(tǒng)帶寬變小, 導致跟蹤精度降低, 采用視頻延時自適應補償及前饋補償技術, 提升控制系統(tǒng)帶寬。 設載機飛行高度為5 km, 飛行速度為200 km/h, 建立數(shù)學仿真模型如圖9所示, 方位和俯仰跟蹤誤差仿真結果如圖10所示。
在該飛行條件下, 方位跟蹤誤差小于74 μrad, 俯仰跟蹤誤差小于84 μrad, 可以滿足目標測量定位和瞄準引導的應用需求。
2.3跟蹤抗干擾能力飛行測試
本文提出的智能目標跟蹤策略裝載于某型機載光電偵察瞄準系統(tǒng), 對跟蹤策略的環(huán)境適應性及抗干擾能力進行了飛行試驗測試。 載機飛行高度5 km, 飛行速度200 km/h, 對公路上行駛的車輛進行自動跟蹤能力測試, 車輛行駛速度為100 km/h。 選擇具有高架橋梁的公路區(qū)域, 并且在公路上相隔一定距離設置相似目標(同型車輛)、 煙霧釋放裝置等干擾場景, 如圖11所示。
載機飛行到達A點(距目標區(qū)域約10 km左右)前調節(jié)可見光或者紅外傳感器調整到合適的視場清晰成像, 并啟動智能目標檢測模式, 對公路上的車輛進行智能檢測并自主捕獲目標, 進入自動跟蹤模式。 跟蹤中的目標車輛分別在C, E, F點開始行駛穿過煙霧遮擋區(qū)域、 相似目標干擾區(qū)域和高架橋梁。
在車輛自動跟蹤中, 智能跟蹤模塊實時獲取目標距離參數(shù)、 載機位置、 航姿角及瞄準線指向參數(shù), 解算出車輛行駛速度和方向, 并對車輛運動特征進行學習記憶。 當車輛進入干擾區(qū)域(穿越煙霧、 車輛和高架橋遮擋)時, 視頻跟蹤算法自主給出失跟標識, 并轉入記憶跟蹤模式; 待車輛穿出干擾區(qū)域, 視頻跟蹤算法智能搜索檢測并自動捕獲跟蹤車輛。
試驗設置不同航線、 不同場景對可見光和紅外傳感器成像目標進行自動跟蹤及抗干擾能力測試。 經過多個飛行架次的試驗結果表明, 基于本文提出的智能目標跟蹤策略能夠有效對抗相似目標、 煙霧及橋梁遮擋等干擾, 實現(xiàn)全動態(tài)復雜環(huán)境條件下的目標穩(wěn)健持久跟蹤。 圖12給出了車輛穿行、 煙霧及橋梁遮擋干擾情況下目標跟蹤視頻截圖。
3結束語
“物競天擇、 適者生存”。 為了提高光電偵察瞄準系統(tǒng)在復雜環(huán)境下自主目標跟蹤能力, 提升光電偵察瞄準系統(tǒng)對武器體系貢獻率和作戰(zhàn)效能, 必須提升系統(tǒng)的智能化, 智能化發(fā)展是光電偵察瞄準系統(tǒng)的必然趨勢。
隨著任務需求發(fā)展、 技術進步及小型化設計能力提高, 光電偵察瞄準系統(tǒng)集成的傳感器種類和數(shù)量愈來愈多, 能夠獲取目標場景及系統(tǒng)狀態(tài)信息的數(shù)據愈來愈豐富。 如何對獲取的異構多源信息進行有效的綜合處理和分析歸納, 形成對目標場景變化規(guī)律及環(huán)境態(tài)勢的認知, 進而自主生成最佳目標跟蹤策略, 是提升系統(tǒng)智能化的關鍵。 本文提出的基于多源信息綜合、 多算法協(xié)同的智能目標跟蹤策略, 有效提升了系統(tǒng)在“全動態(tài)場景運動目標的快速檢測捕獲、 持久韌性跟蹤、 目標被干擾遮斷時視軸指向穩(wěn)定及目標出現(xiàn)后再捕獲”等方面的性能, 提升了系統(tǒng)使用效能。
圖12目標跟蹤抗干擾飛行試驗視頻截圖
Fig.12Antijamming flight test results of intelligent target tracking strategy
機器學習是指從有限的觀測數(shù)據中學習出具有一般性的規(guī)律, 并利用這些規(guī)律對未知數(shù)據進行預測的方法。 機器學習[22-23]已成為當前系統(tǒng)智能化技術研究的主要方向, 其成功的先決條件是“大數(shù)據、 好算法、 強算力”。 對于機載光電偵察瞄準系統(tǒng)應用領域,? 存在“用于訓練的樣本數(shù)據少、 算法實時性要求高、 系統(tǒng)尺寸重量小”等約束條件, 小樣本學習能力、 算法泛化遷移能力、 在線自主學習能力、 低復雜度高效算法、 超算力AI片上系統(tǒng)等已成為系統(tǒng)智能化發(fā)展的關鍵技術。
參考文獻:
[1] Bolme D S, Beveridge J R, Draper B A, et al. Visual Object Tracking Using Adaptive Correlation Filters[C]∥ Computer Society Conference on Computer Vision and Pattern Recognition, 2010: 2544-2550.
[2] Henriques J F, Caseiro R, Martins P, et al. Exploiting the Circulant Structure of TrackingbyDetection with Kernels[C]∥12th European Conference on Computer Vision, 2012: 702-715.
[3] Henriques J F, Caseiro R, Martins P, et al. HighSpeed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.
[4] Galoogahi H K, Fagg A, Lucey S. Learning BackgroundAware Correlation Filters for Visual Tracking[C]∥International Conference on Computer Vision, 2017: 1144-1152.
[5] Li Y, Zhu J K. A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration[C]∥European Conference on Computer Vision, 2014: 254-265.
[6] 張微, 康寶生. 相關濾波目標跟蹤進展綜述[J]. 中國圖象圖形學報, 2017, 22(8): 1017-1033.
Zhang Wei, Kang Baosheng. Recent Advances in Correlation FilterBased Object Tracking: A Review[J]. Journal of Image and Graphics, 2017, 22(8): 1017-1033.(in Chinese)
[7] 葛寶義, 左憲章, 胡永江. 視覺目標跟蹤方法研究綜述[J]. 中國圖象圖形學報, 2018, 23(8): 1091-1107.
Ge Baoyi, Zuo Xianzhang, Hu Yongjiang. Review of Visual Object Tracking Technology[J]. Journal of Image and Graphics, 2018, 23(8): 1091-1107.(in Chinese)
[8] 黃巍, 袁亮, 張建杰, 等. 抗遮擋與尺度自適應的長時間目標跟蹤算法[J]. 電光與控制, 2021, 28(10): 44-48.
Huang Wei, Yuan Liang, Zhang Jianjie, et al. An AntiOcclusion and ScaleAdaptive LongTime Target Tracking Algorithm[J]. Electronics Optics & Control, 2021, 28(10): 44-48.(in Chinese)
[9] Wang M M, Liu Y, Huang Z Y. Large Margin Object Tracking with Circulant Feature Maps[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4800-4808.
[10] Danelljan M, Robinson A, Shahbaz Khan F, et al. Beyond Correlation Filters: Learning Continuous Convolution Operators for Visual Tracking[C]∥European Conference on Computer Vision, 2016: 472-488.
[11] Danelljan M, Bhat G, Khan F S, et al. ECO: Efficient Convolution Operators for Tracking [C]∥ IEEE Conference on Computer Vision and Pattern Recognition, 2017: 6638-6646.
[12] Ma C, Huang J B, Yang X K, et al. Hierarchical Convolutional Features for Visual Tracking[C]∥International Conference on Computer Vision, 2015: 3074-3082.
[13] Cui Z, Xiao S T, Feng J S, et al. Recurrently TargetAttending Tracking[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, 2016: 1449-1458.
[14] Bertinetto L, Valmadre J, Henriques J F, et al. FullyConvolutional Siamese Networks for Object Tracking[C]∥European Conference on Computer Vision, 2016: 850-865.
[15] 孟琭, 楊旭. 目標跟蹤算法綜述[J]. 自動化學報, 2019, 45(7): 1244-1260.
Meng Lu, Yang Xu. A Survey of Object Tracking Algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260.(in Chinese)
[16] 陳旭, 孟朝暉. 基于深度學習的目標視頻跟蹤算法綜述[J]. 計算機系統(tǒng)應用, 2019, 28(1): 1-9.
Chen Xu, Meng Zhaohui. Survey on Video Object Tracking Algorithms Based on Deep Learning[J]. Computer Systems & Applications, 2019, 28(1): 1-9.(in Chinese)
[17] Ren S Q, He K M, Girshick R, et al. Object Detection Networks on Convolutional Feature Maps[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(7): 1476-1481.
[18] 羅勇. 基于信息融合的運動平臺光電跟蹤控制技術研究[D]. 成都: 中國科學院大學(中國科學院光電技術研究所), 2019.
Luo Yong. Information Fusion Based Research on OptoElectronical Tracking Control on Moving Platform[D]. Chengdu: Institute of Optics and Electronics, Chinese Academy of Sciences, 2019. (in Chinese)
[19] Yao R, Xia S X, Shen F M, et al. Exploiting Spatial Structure from Parts for Adaptive Kernelized Correlation Filter Tracker[J]. IEEE Signal Processing Letters, 2016, 23(5): 658-662.
[20] 袁峰, 李凱, 張曉琳. 誤差理論與數(shù)據處理[M]. 2版. 哈爾濱: 哈爾濱工業(yè)大學出版社, 2020: 77-85.
Yuan Feng, Li Kai, Zhang Xiaolin. Error Theory and Data Processing[M]. 2nd ed. Harbin: Harbin Institute of Technology Press, 2020: 77-85.(in Chinese)
[21] 呂明明, 侯潤民, 柯于峰, 等. 光電跟蹤平臺脫靶量滯后補償方法[J]. 西安交通大學學報, 2019, 53(11): 141-147.
Lü Mingming, Hou Runmin, Ke Yufeng, et al. Compensation Method for Miss Distance TimeDelay of ElectroOptical Tracking Platform[J]. Journal of Xian Jiaotong University, 2019, 53(11): 141-147.(in Chinese)
[22] 邱錫鵬. 神經網絡與深度學習[M]. 北京: 機械工業(yè)出版社, 2020: 171-175.
Qiu Xipeng. Neural Networks and Deep Learning[M]. Beijing: China Machine Press, 2020: 171-175.(in Chinese)
[23] 張學工, 汪小我. 模式識別: 模式識別與機器學習[M]. 北京: 清華大學出版社, 2021.
Zhang Xuegong, Wang Xiaowo. Pattern Recognition: Pattern Recognition & Machine Learning[M]. Beijing: Tsinghua University Press, 2021.(in Chinese)
Application Research on AntiOcclusion Target Tracking Strategy Based on IMU and Video Image Information Synthesis in Airborne ElectroOptical Reconnaissance and Aiming System
Ji Shupeng1,2, Liu Zhiguang2*, Qu Jifeng2, Xu Jianzheng2, Li Tonghai2
(1. China Airborne Missile Academy, Luoyang 471009, China;2. CAMA (Luoyang) Measurements & Controls Co. Ltd, Luoyang 471009, China)
Abstract: Target tracking is a core working mode of airborne photoelectric reconnaissance and aiming system, and its performance directly determines the mission efficiency of the airborne system. Aiming at the outstanding problems and technical difficulties in the application of target tracking, according to the multisensor configuration and application characteristics of the system, an intelligent target tracking strategy based on inertial measurement and video image information fusion is proposed, which integrates multidimensional information such as inertial navigation, motion measurement, servo control, geography and image coordinates. Simulation analysis and flight test show that the strategy can effectively improve the antijamming performance of target tracking, realize the robust and persistent target tracking in full dynamic complex scenes, and improve the combat ability of reconnaissance and surveillance, target positioning, weapon guidance of the airborne system.
Key words: photoelectric reconnaissance and aiming system;? information fusion; inertial measurement; video image; deep learning;? target tracking;? antiocclusion; intelligent