陳華杰 白浩然
(杭州電子科技大學通信信息傳輸與融合技術(shù)國防重點學科實驗室 杭州 310018)
隨著聲吶成像技術(shù)的日益成熟,利用圖像技術(shù)實現(xiàn)水下蛙人、深水潛艇等水下運動小目標的檢測與跟蹤對水域監(jiān)測等具有重要意義。由于聲吶成像技術(shù)的原理以及水下小目標原始像素點數(shù)量少等因素,圖像中呈現(xiàn)的運動目標尺寸小、信號強度弱;同時水下噪聲和海底混響等因素導致圖像中存在大量動、靜雜波混合的復雜類型雜波,運動目標的信雜比低[1];更甚者目標在數(shù)據(jù)中存在掉幀現(xiàn)象,難以直接追蹤目標。運動小目標的原始像素點數(shù)量少,難以利用目標面特征,因此利用運動的規(guī)律性是實現(xiàn)目標追蹤的有效手段。檢測前跟蹤(Tracking-Before- Detection, TBD)技術(shù)是目前常用的小目標跟蹤方法,通過累積目標連續(xù)運動的信號確定目標航跡[2]。常用TBD技術(shù)包括批處理實現(xiàn)的動態(tài)規(guī)劃(Dynamic Programming, DP)[3,4]和霍夫變換(Hough Transform, HT)[5,6],遞歸實現(xiàn)的粒子濾波(Particle Filter, PF)[7,8]。
PF技術(shù)通過尋找狀態(tài)空間傳播的隨機樣本近似獲取概率密度函數(shù),需要大量樣本以保證檢測和跟蹤的性能,巨大的計算量以及大量的有效樣本需求限制了PF技術(shù)在聲吶圖像中的應用[9]。HT技術(shù)利用圖像在空間域到參數(shù)空間的轉(zhuǎn)換關(guān)系,將檢測問題轉(zhuǎn)化為統(tǒng)計問題,圖像中任一邊緣點都需要一條對應的曲線表示[10],對計算機的內(nèi)存和算力需求較大。DP技術(shù)采用多階段決策,計算各階段最優(yōu)決策并根據(jù)各階段間的相關(guān)性獲得整體最優(yōu)決策[11],在復雜環(huán)境中應用DP技術(shù)存在下列問題:(1)目標在數(shù)據(jù)中存在掉幀現(xiàn)象,DP算法對此類數(shù)據(jù)的處理效果不佳;(2)數(shù)據(jù)中存在密集分布的動雜波且運動目標的信雜比極低[12],DP算法會產(chǎn)生錯誤決策;(3)巨大的計算量也是DP算法的弊端,大量動雜波會增加狀態(tài)變量數(shù)目,進一步提升決策所需計算量,同時批處理方式算法的實時性有待商榷[13];(4)對于聲吶、雷達等高精度傳感器,運動目標在數(shù)據(jù)中可能成為擴展目標[14],DP算法對此類目標的處理效果不佳[15]。
針對上述問題,本文提出基于子空間投影的TBD算法。首先根據(jù)運動目標的機動性,將目標運動圖像的3維時空序列切分為若干個時間片段[16],保證在單個時間片段內(nèi)目標的運動航跡不折疊;然后將3維短時運動航跡片段投影到2維子空間平面,根據(jù)目標運動航跡與一般雜波航跡的空間形態(tài)特征差異,篩選獲得局部候選航跡區(qū)域;再對候選區(qū)域進行航跡回溯,將目標航跡重映射到3維時空,根據(jù)目標運動的連續(xù)性、方向一致性等規(guī)律對目標運動航跡篩選并估計運動目標中心位置。
將航跡片段從3維時空投影到2維子空間平面再進行處理的優(yōu)勢:待處理的數(shù)據(jù)得以降維,處理速度大幅度提高;不足之處:投影過程僅保留了空間形態(tài)特征,丟失了數(shù)據(jù)的時序信息??紤]到在單個時間片段內(nèi)目標運動方向改變幅度不大,利用空間形態(tài)特征即可有效區(qū)分運動目標與大部分動雜波。在2維子空間平面,依據(jù)總體形態(tài)特征檢測目標航跡,可能存在的部分漏檢航跡點對檢測的總體影響較小;檢測算法對目標尺寸不敏感,對點目標和擴展目標均適用;各航跡片段單獨處理,避免了新目標起始航跡被誤判為雜波的問題[17]。
面向聲吶水下運動目標檢測場合,本文構(gòu)建了運動目標快速檢測系統(tǒng)。在圖1所示的系統(tǒng)方案中,主要的處理環(huán)節(jié)包括:對輸入的運動目標圖像序列進行前景檢測,初步獲取包含運動點跡和雜波的運動點集合;截取目標/雜波點序列片段,進行基于子空間投影的TBD處理,剔除部分雜波干擾點,獲取運動目標的短時航跡點集;將不同時刻的短時航跡點集合歸并為長時航跡點集合,利用航跡的數(shù)據(jù)特征進行聚類[18],將同一目標不同時刻的短時航跡連接成完整的長時航跡,并根據(jù)目標運動的時空特性進一步篩選雜波干擾點,剔除長時航跡點集合中的無效運動點跡。
前景檢測用于輸入圖像數(shù)據(jù)序列的運動點初檢測。綜合考慮檢測速度與檢測精度,采用幀差法進行前景檢測。計算當前幀與前一幀對應像素點的差值,若差的絕對值超過設(shè)定閾值則標記該像素點為前景,某幀數(shù)據(jù)及其前景檢測結(jié)果如圖2所示。
運動檢測是對探測數(shù)據(jù)按時間序列處理,濾除雜波干擾,獲取目標運動航跡的過程。TBD的常規(guī)做法是截取序列片段進行積累,序列片段的幀數(shù)選擇與累積時間、信號積累效果呈正相關(guān),但若僅追求信號積累效果則會相應地增加計算負擔。
子空間投影TBD流程如圖3所示:首先將截取的序列片段投影到子空間;在2維空間的短時投影圖上,利用目標航跡與一般雜波的形態(tài)差異進行濾波,獲取運動目標可能存在的區(qū)域;再以局部區(qū)域為模板回溯3維序列,并根據(jù)目標運動的連續(xù)性與方向一致性等特性濾除雜波干擾,獲取目標短時候選航跡。
圖1 基于子空間投影的快速TBD檢測系統(tǒng)方案
圖2 前景檢測數(shù)據(jù)及其結(jié)果
圖3 子空間投影TBD流程圖
2.3.1 子空間投影
待處理的數(shù)據(jù)序列片段表示為 f(x,y,t), t=t1,t2,···,tk,片段中存在k 幀數(shù)據(jù),其中( x,y)是2維空間平面坐標, t是采樣時刻。f (xn,yn,tn)對應3維時空的一個點,其坐標為 (xn,yn,tn),該點的取值范 圍 為 {0,1} 。若 位 置( xn,yn,tn)上 存 在 點 跡,則f(xn,yn,tn)=1 ;若該位置上沒有點跡,則f(xn,yn,tn)=0。
將該序列片段向2維子空間平面( x,y)投影,獲得短時投影圖p(x,y)
圖4 子空間投影示意圖
圖4給出了運動目標航跡的子空間投影示意圖,其中的目標運動航跡由3維時空曲線映射到投影面上的2維空間曲線。降維后目標航跡丟失了3維時序信息,但基本保留了完整的空間運行形態(tài)信息。
一般情況下目標在序列片段內(nèi)做單向運動,2維投影圖中航跡呈長條狀,寬度由目標的尺寸決定,長度由目標運動速度決定,形態(tài)由目標實際航跡決定。為了盡量保留目標航跡的空間形態(tài)特征,需要根據(jù)目標的運動速度選擇合理的數(shù)據(jù)序列長度。序列片段長度越大,目標運動航跡在投影結(jié)果中存在折疊的可能性越大;序列長度不足會削弱累積效應,降低雜波濾除的效果。
2.3.2 2維空間形態(tài)檢測
2維檢測是在投影圖上根據(jù)目標航跡投影與雜波投影的形態(tài)差異,盡量濾除干擾雜波,確定目標航跡所處的局部區(qū)域。如前所述,一般情況下目標航跡投影呈現(xiàn)長條狀,大概率與雜波干擾點投影呈現(xiàn)明顯差異:散亂雜波一般為散亂分布的點狀;一定范圍內(nèi)聚集的雜波點的投影聚集形成的區(qū)域,與規(guī)律的條狀也有明顯的區(qū)分。根據(jù)形態(tài)學閉操作對投影圖的預處理結(jié)果劃分聯(lián)通區(qū)域,由聯(lián)通區(qū)域間形態(tài)特征的差異確定候選投影區(qū)域。
(1) 形態(tài)學預處理。受噪聲、雜波等因素的影響,運動航跡可能出現(xiàn)間斷,投影圖上表現(xiàn)為航跡中存在狹窄的間斷。采用形態(tài)學閉運算可消除航跡中的輕微間斷,對鄰近干擾信息也有一定的濾波作用。圖5(a)為某一序列片段的子空間投影圖,圖5(b)為投影圖形態(tài)學預處理后的結(jié)果。
利用上述約束對圖5(b)中的聯(lián)通區(qū)域檢測,候選聯(lián)通區(qū)域在圖6(a)用紅色標注。
2.3.3 3維時空航跡回溯及檢測
在候選聯(lián)通區(qū)域范圍內(nèi),對目標每個時刻的空間位置估計;回溯當前序列片段得到的目標3維時空航跡,依次重構(gòu)運動點跡集合的時序關(guān)系;結(jié)合時序關(guān)系,對航跡的內(nèi)在規(guī)律進行更細致的刻畫,進一步濾除雜波。
(1) 航跡回溯。設(shè)2維檢測后存在 m個聯(lián)通區(qū)域:{ sa|a=1,2,···,m} , sa是其中的一個聯(lián)通區(qū)域,該聯(lián)通區(qū)域由 q個空間位置點構(gòu)成:sa={(xb,yb)|b=1,2,···,q}, ( xb,yb)是 其中的一個位置點。f(x,y,t)是該序列片段內(nèi)的某一數(shù)據(jù)幀,獲取該數(shù)據(jù)幀中運動目標在聯(lián)通區(qū)域sa內(nèi)的運動點集合
計算點跡的位置均值,作為運動目標在該數(shù)據(jù)幀上的位置估計
運動點集合{ (xc,yc)}包含目標航跡的位置坐標及可能存在的雜波點坐標,因此運動目標的位置估計可能會存在偏差。目標尺寸越大、雜波密度越低,運動點跡的有效占比越大,位置估計越準確。目標的尺寸對目標的位置估計的影響可忽略不計,因此該算法對點目標、擴展目標均適用。
(2) 3維短時航跡檢測。利用投影的2維空間形態(tài),結(jié)合重構(gòu)的3維時序關(guān)系,可以在3維時空提取到更細致的運行特性信息,進一步濾除雜波干擾,其中包括
圖5 子空間投影及形態(tài)學處理
圖6 聯(lián)通區(qū)域檢測及航跡3維坐標顯示
將各數(shù)據(jù)序列片段處理的短時航跡歸并為短時航跡集合,采用HAC對短時航跡集合進行聚類,再結(jié)合目標航跡特性進行檢測,判斷并刪除干擾航跡,生成目標的長時運動航跡。
2.4.1 航跡聚類
基于HAC的航跡聚類基本思路:將每個3維運動點作為初始集合開始迭代,每次迭代會將最相似的2個運動點集合合并,直到任意2個集合之間的距離超過截斷距離。聚類過程中集合間的距離測度采用單鏈形式,截斷距離取決于運動目標的速度與相鄰幀的間隔時間:
2.4.2 目標航跡檢測
對于HAC生成的各候選航跡,需要根據(jù)運動目標與雜波擾動的特征差異進一步篩選。與實際目標運行相比,雜波擾動在時間維度持續(xù)時間較短,在空間范圍內(nèi)移動距離較短。可根據(jù)下列條件,從候選航跡中檢測出目標的實際航跡。
(1) 航跡的時間長度。重構(gòu)時序后的3維航跡點跡集合,時間維度與圖像輸入序列的圖像幀數(shù)一一對應,考慮將時間維度作為約束條件,保證航跡連續(xù)存在時長,可以有效解決2維投影圖中的航跡疊加問題,也可以解決部分航跡交叉問題。
采用上述條件對上述圖6(b)進行檢測,得到目標的長時運動航跡(圖6中淺色標出),經(jīng)對比與實際航跡符合。
2.4.3 過時點刪除
隨著時間的推移,每次產(chǎn)生的新增候選點都被納入長時航跡候選點集合,新增候選點中存在與原有的候選點有著時空關(guān)聯(lián)的候選點,此類候選點可連接組成連續(xù)航跡。同時時間維度約束會導致部分原有候選點不可能與后續(xù)任何候選點產(chǎn)生關(guān)聯(lián),稱為過時點。及時刪除候選點集合中的過時點,有助于控制候選點集合的規(guī)模,提高算法的效率。
實驗使用計算機的處理器為Intel Core i5-9300H,主頻2.4 GHz,內(nèi)存8 GB。實驗數(shù)據(jù)為中國船舶重工集團公司第七二六研究所提供的某型聲吶在不同時間段的水下實測數(shù)據(jù),對數(shù)據(jù)進行人工篩選,選定存在目標的兩段數(shù)據(jù)。數(shù)據(jù)中的運動目標為深度18.5 m的重球,數(shù)據(jù)序列1中存在2個目標,數(shù)據(jù)序列2中存在1個目標。對原始數(shù)據(jù)進行分貝等級轉(zhuǎn)化、數(shù)值歸一化、壓縮等處理,得到尺寸為400×300的圖像聲吶數(shù)據(jù),各目標在數(shù)據(jù)中的實際運動軌跡如圖7(a)、圖7(b)所示。
采用基于DP-TBD的快速檢測系統(tǒng)對兩個數(shù)據(jù)序列進行處理,算法檢測的目標及其航跡如圖8(a)、圖8(b)所示。
圖7 目標原始軌跡
圖8 基于DP-TBD的快速檢測系統(tǒng)對數(shù)據(jù)序列的檢測結(jié)果
基于DP-TBD的快速檢測系統(tǒng)對2個數(shù)據(jù)序列中目標的檢測結(jié)果如表1所示。
對于數(shù)據(jù)序列1,DP-TBD算法完全沒有跟蹤到目標1,目標2的起始位置偏后且跟蹤一段距離后目標丟失。對于數(shù)據(jù)序列2,算法跟蹤目標的起始位置偏后,目標丟失后重新跟蹤到目標,檢測結(jié)果中存在一個虛警目標。
用本文構(gòu)建的基于子空間投影TBD的快速檢測系統(tǒng)對兩個數(shù)據(jù)序列進行處理,檢測系統(tǒng)的具體參數(shù)選擇如下:以連續(xù)的20幀數(shù)據(jù)長度作為序列片段截取長度;直徑5像素長度的圓模板進行形態(tài)學處理;5像素長度至40像素長度作為聯(lián)通區(qū)域尺寸范圍;0.5作為運動連續(xù)性閾值;0.3作為運動方向一致性閾值;連續(xù)的6幀數(shù)據(jù)長度作為聚類的時間閾值;10像素長度作為目標運動的長度閾值;20像素長度作為目標的實際位移閾值。算法檢測的目標及其航跡如圖9(a)、圖9(b)所示。
表1 基于DP-TBD的檢測結(jié)果
基于子空間投影TBD算法對兩個數(shù)據(jù)序列中目標的檢測結(jié)果如表2所示。
對于數(shù)據(jù)序列1,本文算法跟蹤了目標1的完整運動軌跡,目標2的起始位置和實際軌跡相同,檢測結(jié)果中目標航跡中斷了兩次,但可以及時重新跟蹤目標。對于數(shù)據(jù)序列2,目標航跡中斷1次并被重新跟蹤到目標。
上述實驗結(jié)果表明,本文算法相比于經(jīng)典的DP-TBD算法,無論對于單目標還是多目標,基本解決了目標航跡起始緩慢的問題。同時對于復雜環(huán)境下的運動目標,在目標跟蹤精度上也有了極大提升,并改善了虛警問題。但對于目標航跡中斷后的關(guān)聯(lián)問題,沒有很好的解決方案。
統(tǒng)計基于兩種算法構(gòu)建的檢測系統(tǒng)處理實測聲吶圖像的總用時,經(jīng)過多次實驗利用總用時的平均值計算單幀數(shù)據(jù)處理的平均用時,如表3所示。
圖9 基于子空間投影TBD的快速檢測系統(tǒng)對數(shù)據(jù)序列的檢測結(jié)果
表2 基于子空間投影TBD的檢測結(jié)果
表3 處理單幀數(shù)據(jù)的平均用時(幀/s)
由于數(shù)據(jù)序列2中干擾信息數(shù)量大于數(shù)據(jù)序列1,表3中兩種算法對于數(shù)據(jù)序列2處理的幀平均用時均大于數(shù)據(jù)序列1的幀平均用時。經(jīng)典DP-TBD算法相比本文算法對實驗數(shù)據(jù)的幀處理平均用時差距較大,主要原因在于DP算法需要對每幀數(shù)據(jù)處理,分階段得到候選位置信息并做出決策,干擾信息數(shù)量越多其決策時間越長,且會在多次的決策階段持續(xù)產(chǎn)生影響。本文算法通過對數(shù)據(jù)序列片段疊加,每個數(shù)據(jù)片段進行一次軌跡檢測,大幅降低了算法用時,提升算法實時性的同時降低了航跡中斷后重新跟蹤目標的難度。
本文針對復雜水下環(huán)境的弱小運動目標跟蹤,提出了基于子空間投影的TBD算法。該算法利用目標運動航跡從3維時空投影到2維平面,最后回溯到3維時空的整體過程,依據(jù)目標運動的一般特性,濾除大部分干擾信息,采用層次聚類獲取完整航跡。本方法充分利用了目標的數(shù)據(jù)幀內(nèi)位置信息、目標運動的幀間連續(xù)性信息、目標運動的有效數(shù)據(jù)幀占比和目標連續(xù)運動的有效位移。比之現(xiàn)有方法,提高了目標航跡起始能力,實現(xiàn)了更高的實時跟蹤精度,減少了算法所需計算量。同時該算法對運動目標的類型要求寬泛,可同時對尺寸、機動性差異較大的多目標實現(xiàn)高精度的實時檢測。