李志華，李秋巒

（1杭州師范大學(xué) 信息科學(xué)與工程學(xué)院，杭州 311100；2浙江大學(xué) 數(shù)字技術(shù)及儀器研究所，杭州 310027）

水下三維聲納目標在線運動監(jiān)測與識別

李志華1，2，李秋巒1

（1杭州師范大學(xué) 信息科學(xué)與工程學(xué)院，杭州 311100；2浙江大學(xué) 數(shù)字技術(shù)及儀器研究所，杭州 310027）

隨著聲學(xué)探測在海洋資源開發(fā)中的廣泛應(yīng)用，水聲成像技術(shù)已成為水下目標監(jiān)測的重要手段，文章提出了一種基于三維聲納技術(shù)的在線運動目標識別方法。通過對三維聲學(xué)圖像進行網(wǎng)格搜索和三角面片連接，進行單幀三維聲學(xué)圖像的多層實時重建，實現(xiàn)單幀圖像內(nèi)目標的重建、聚類與標示。結(jié)合GPS定位儀和姿態(tài)儀信息，修正位移和姿態(tài)變化引起的運動誤差，利用反向投影和最近點搜索方法查找相鄰圖像幀之間兩兩匹配的控制點對，進行相鄰圖像幀的快速配準。根據(jù)配準矩陣將相鄰圖像幀的的各個目標轉(zhuǎn)換到同一全局坐標系中，提取有效的聲學(xué)目標特征變化相對值，并評估特征權(quán)重，實現(xiàn)相鄰圖像幀之間運動目標的在線檢測與識別。通過室內(nèi)水池和湖試實驗，結(jié)果表明該方法能有效地實現(xiàn)三維聲學(xué)圖像在線運動目標實時識別。

三維聲納；運動監(jiān)測；運動識別

0 引 言

隨著海洋資源開發(fā)、海港建設(shè)與監(jiān)視在國家資源競爭、國防安全等領(lǐng)域變得越來越重要，水下目標探測、跟蹤與識別技術(shù)得到了廣泛的應(yīng)用。陳榮盛等[1]深入探討了水下目標光視覺信息獲取過程和圖像處理的常用算法，并通過試驗驗證了目標識別的有效性。由于水下能見度極低，因此水下目標光視覺信息獲得需要較好的光照條件，近年來三維水聲成像技術(shù)已成為大規(guī)模水下目標監(jiān)測的重要措施[2-6]。

張純等[2]利用水下運動小目標的速度、加速度、速度波動率、運動方向波動率、威脅因子等運動特征，對水下目標蛙人、小型機器人和快艇進行分類識別。田杰等[4]針對水聲圖像中人工目標探測問題，提出一種基于分形特征的檢測方法，根據(jù)分維分布圖進行直方圖分析，得到探測分割閾值，將水聲圖像標記為人造目標區(qū)域和非人造目標區(qū)域，實現(xiàn)水下目標的有效探測。晉朝勃等[5]采用艦船輻射噪聲調(diào)制線譜特征，將支持向量機應(yīng)用于水中目標識別，設(shè)計了一種水中目標分類器。

本文通過對三維聲學(xué)圖像進行網(wǎng)格搜索和三角面片連接，進行單幀三維聲學(xué)圖像的多層實時重建，實現(xiàn)單幀圖像內(nèi)目標的重建、聚類與標示。結(jié)合GPS定位儀和姿態(tài)儀信息，修正位移和姿態(tài)變化引起的運動誤差，進行相鄰圖像幀的快速配準，然后提取有效的聲學(xué)目標特征變化相對值，并評估特征權(quán)重，實現(xiàn)相鄰圖像幀之間運動目標的在線檢測與識別。

1 三維聲納目標在線運動識別框架

三維聲納目標在線運動識別主要包括三維聲學(xué)數(shù)據(jù)實時重建、目標聚類與標示、三維聲學(xué)數(shù)據(jù)實時配準、目標特征提取和運動目標識別四個模塊，系統(tǒng)總體結(jié)構(gòu)如圖1所示。

系統(tǒng)通過對三維聲學(xué)圖像索和三角面片連接，進行單幀三維聲學(xué)圖像的多層實時重建，利用數(shù)據(jù)點之間的表面連通性對目標進行聚類與標示，得到單幀圖像中的各個獨立目標。然后結(jié)合GPS定位儀和姿態(tài)儀信息，修正位移和姿態(tài)變化引起的運動誤差，利用反向投影和最近點搜索方法查找相鄰圖像幀之間兩兩匹配的控制點對，進行相鄰圖像幀的快速配準，根據(jù)配準矩陣將相鄰圖像幀的的各個目標轉(zhuǎn)換到同一全局坐標系中，提取有效的聲學(xué)目標特征，包括目標總點數(shù)、目標質(zhì)心、距離跨度和邊界信息等。最后通過評估三維聲學(xué)目標各個特征的相對權(quán)重，計算目標特征變化相對值，對相鄰兩幀中處于重疊區(qū)域的目標進行前后幀的特征匹配，實現(xiàn)相鄰圖像幀之間運動目標的有效檢測與識別，下面將對各個部分逐一詳述。

圖1 三維聲納目標在線運動識別系統(tǒng)結(jié)構(gòu)Fig.1 System structure of 3-D sonar motion recognition

2 聲學(xué)圖像單幀多層實時重建

圖2 三維聲學(xué)圖像單幀多層實時重建流程Fig.2 Single multi-layer reconstruction of 3-D sonar image

在三維聲納目標在線運動識別過程中，需要首先檢測出單幀三維聲學(xué)圖像中的各個目標。系統(tǒng)通過對三維聲學(xué)圖像進行網(wǎng)格搜索和三角面片連接，進行單幀三維聲學(xué)圖像的多層實時重建，利用數(shù)據(jù)點之間的表面連通性對目標進行聚類與標示，得到單幀圖像中的各個獨立目標。首先針對非空聲學(xué)數(shù)據(jù)點進行2×2網(wǎng)格塊搜索處理，然后對以空點為中心的3×3網(wǎng)格塊進行搜索處理。為了進一步填充聲學(xué)數(shù)據(jù)中的空洞，系統(tǒng)在3×3窗口內(nèi)分別對聲學(xué)陣列進行3×2水平網(wǎng)格塊和2×3垂直網(wǎng)格塊搜索處理，最后根據(jù)所獲得的聲學(xué)數(shù)據(jù)點連通性進行三角面片連接和重建，其流程如圖2所示。

該聲學(xué)系統(tǒng)采用48×48個聲學(xué)換能器陣列發(fā)射單脈沖聲波信號，接受陣內(nèi)每個單元接收到不同距離、不同方向上的回波疊加而成的混合信號。根據(jù)48×48個混合信號進行128×128個波束形成[7]，得到一個橫截面128×128個點的反射強度信息集合，如圖3所示。

在三維聲學(xué)圖像單幀多層實時重建過程中，首先對聲學(xué)點數(shù)據(jù)進行解析，確定三維聲學(xué)點所在的掃描波束、層數(shù)信息以及反射強度信息，其格式表示為（i，j，k，I），i代表聲學(xué)點所在的x方向上的聲束位置，j代表聲學(xué)點所在的y方向上的聲束位置，k代表聲學(xué)點所在的層數(shù)，I則是聲學(xué)點強度。連接三角網(wǎng)格首先需要判斷相鄰兩點的連接關(guān)系是否成立。在不同量程下，若采用相同的重建閾值，重建效果會受到影響。量程越大，相鄰兩束聲束之間相同層數(shù)上的點的距離越大。由于大量程的重建閾值對于小量程來說太大，容易造成小量程單幀重建的誤差，因此采用量程自適應(yīng)閾值的方法，根據(jù)量程的不同，選擇不同的重建閾值。在某個量程下，設(shè)該量程的最大層數(shù)為k層，則該量程下的重建閾值（余弦定理）為：

圖3 聲學(xué)接收陣128×128個數(shù)字波束Fig.3 128×128 digital beam of sonar receiver

其中θ為兩個聲束之間的夾角。判斷兩個結(jié)點能否連接的標準是兩個點之間的距離是否小于重建閾值。由于反復(fù)進行距離運算會降低系統(tǒng)性能，影響系統(tǒng)實時性，因此預(yù)先生成一張閾值表，通過表格查詢能快速地確定兩個點之間的距離是否小于重建閾值，提高三維重建的實時性。

3 三維聲學(xué)圖像實時配準

為了使相鄰幀圖像的目標特征值具有可比性，需要對相鄰圖像幀進行快速配準，利用配準矩陣將相鄰圖像幀的的各個目標轉(zhuǎn)換到同一全局坐標系中。為了實現(xiàn)相鄰聲學(xué)圖像幀之間的快速配準，系統(tǒng)結(jié)合GPS定位儀和姿態(tài)儀，得到每幀聲學(xué)數(shù)據(jù)采集時艦船所處的位移和姿態(tài)信息，對相鄰幀聲學(xué)數(shù)據(jù)進行初始配準，將每幀的聲學(xué)數(shù)據(jù)點轉(zhuǎn)換到預(yù)先設(shè)定的同一世界坐標系下，以修正位移和姿態(tài)信息引起的運動誤差。通過獲取相鄰兩幀聲學(xué)數(shù)據(jù)重疊區(qū)域內(nèi)的點集，利用反向投影將前幀投影到后幀，采用最近點搜索方法尋找相鄰兩幀中兩兩匹配的控制點對，根據(jù)配對的控制點計算得到相鄰幀之間的配準矩陣，并對前幀的點集進行坐標變換，實現(xiàn)圖像實時精確配準，下面詳述各個步驟。

3.1 GPS儀/姿態(tài)儀信息獲取與坐標變換

由于三維聲學(xué)圖像配準需要GPS定位儀和姿態(tài)儀獲取采集每幀聲學(xué)數(shù)據(jù)時艦船所處的位移和姿態(tài)信息，結(jié)合這些運動信息對相鄰幀聲學(xué)數(shù)據(jù)進行初始配準：

（1）GPS位移信息

采用差分GPS定位儀，主要用于獲取艦船東西方向位移和南北方向位移信息，格式是統(tǒng)一的NEMA-0183格式，通過串口解析GPGLL語句，獲得當前船體的經(jīng)度和緯度信息，并進行如下的艦船位移相關(guān)信息轉(zhuǎn)換：

緯度與南北方向位移轉(zhuǎn)換關(guān)系：

緯度1度=60海里=60*1 852米；

經(jīng)度與東西方向位移轉(zhuǎn)換關(guān)系：

經(jīng)度1度=60海里*cos（緯度）=60*1852米*cos（緯度）。

（2）姿態(tài)傳感器

系統(tǒng)采用OCTANS系列姿態(tài)儀（羅經(jīng)），感知船體的搖晃與轉(zhuǎn)向，以修正聲學(xué)圖像數(shù)據(jù)采集時由于船只晃動、轉(zhuǎn)向而引起的拍攝角度偏移。主要輸出信息有北偏東航向角、縱搖和橫搖，通過串口解析HEHDT和PHTRO開頭的字符串語句。聲學(xué)數(shù)據(jù)采集裝置安裝時應(yīng)和姿態(tài)儀保持在較近的地方，以保證姿態(tài)儀感應(yīng)船姿的三維變化數(shù)據(jù)—縱搖（pitching）、橫搖（rolling）和偏航（yawing）能正確地反映出聲學(xué)數(shù)據(jù)采集裝置的搖晃與轉(zhuǎn)向偏移。

通過將GPS位移信息轉(zhuǎn)化為平移信息，將姿態(tài)傳感器中的橫搖、縱搖、航向角等信息轉(zhuǎn)化為旋轉(zhuǎn)矩陣，聯(lián)合以下兩式可以獲得聲學(xué)點在全局坐標系中的坐標。

3.2 反向投影與配準矩陣生成

在獲取GPS定位儀和姿態(tài)儀信息對相鄰幀聲學(xué)數(shù)據(jù)進行初始配準之后，為了實現(xiàn)相鄰聲學(xué)圖像幀之間的快速精確配準，系統(tǒng)通過獲取相鄰兩幀聲學(xué)數(shù)據(jù)重疊區(qū)域內(nèi)的點集，利用反向投影將前幀投影到后幀，采用最近點搜索方法尋找相鄰兩幀中兩兩匹配的控制點對，根據(jù)配對的控制點計算得到相鄰幀之間的配準矩陣，并對前幀的點集進行坐標變換，實現(xiàn)圖像配準。

（1）反向投影

根據(jù)每幀聲學(xué)數(shù)據(jù)采集時艦船所處的位移和姿態(tài)信息，對相鄰幀聲學(xué)數(shù)據(jù)進行初始配準，將后幀聲學(xué)數(shù)據(jù)點轉(zhuǎn)換到前幀聲學(xué)數(shù)據(jù)坐標系下。根據(jù)新坐標系下后幀聲學(xué)數(shù)據(jù)點p坐標（x，y，z）計算出該點在前幀聲學(xué)坐標系下的球坐標（i，j，k）[8-10]：

在計算出該點在前幀聲學(xué)坐標系下的球坐標（i，j，k）之后，若前幀在該（i，j，k）位置上有非空點q，則q為p的對應(yīng)點；若前幀在該（i，j，k）位置上為空點，則在點p所處的（i，j，k）周圍尋找距離最近的點作為p點的對應(yīng)點，距離計算采用歐式距離。

（2）配準矩陣生成

通過前面的反向投影方法獲得相鄰兩幀的控制點對之后，需要通過迭代求出相鄰兩幀控制點對之間的最佳配準矩陣，使得相鄰兩幀控制點對之間的距離之和最小，最優(yōu)化問題為：

4 三維聲學(xué)運動目標識別

4.1 目標聚類與標示

目標聚類依賴于聲學(xué)數(shù)據(jù)單幀重建提供的三角面片連接信息，通過依次遍歷單幀的三角面片，并根據(jù)每個三角面片的三個頂點的連接信息進行目標標示，確保同一目標上的各點具有連通性，而不同目標上的各點不具有連通性。系統(tǒng)為了改善目標聚類效果，將相距較近的初始目標聚類再合并成一個目標，其流程如圖4所示。

4.2 特征提取與運動識別

首先提取相鄰兩幀的重疊區(qū)，對處于重疊區(qū)內(nèi)的目標進行運動目標檢測。通過對后幀的所有處于重疊區(qū)的目標組成的后幀目標集合在前幀目標集合中尋找特征相匹配的目標，實現(xiàn)運動目標的檢測。如果后幀目標集合中的某個目標能夠在前幀目標集合中尋找到相匹配的目標，則該目標將被標記為靜目標并將與之相匹配的前幀中的目標從前幀目標集合中移除。反之，如果該目標未能在前幀中尋找到特征相匹配的目標，則該目標被標記為動目標。提取特征的類別包括：

特征匹配的參數(shù)值如下：

① ΔS/S：前后兩幀中目標大小的絕對差值與后幀目標大小的比值；：前后兩幀中目標質(zhì)心坐標的距離；前后兩幀中目標X軸、Y軸、Z軸三個方向距離跨度的絕對差與后幀目標距離跨度的比值；前后兩幀中目標外接立方體中心坐標的距離；

通過對特征參數(shù)賦予歸一化權(quán)重值，將特征參數(shù)值與權(quán)重乘積的累加和與設(shè)定閾值進行比較，判定是否能夠匹配。

圖4 目標聚類與標示流程Fig.4 Object clustering and labelling flowart

5 實驗結(jié)果分析

本文研制的三維聲學(xué)原型系統(tǒng)主要包括三維聲學(xué)數(shù)據(jù)采集系統(tǒng)、三維聲學(xué)數(shù)據(jù)傳輸子板和PC客戶端三維聲學(xué)圖像處理系統(tǒng)三個部分，三維聲學(xué)數(shù)據(jù)采集系統(tǒng)通過換能器組成的相控接收基陣，基于FPGA的超大規(guī)模實時電子聚焦形成波束，進行高速聲學(xué)數(shù)據(jù)采集與上傳。三維聲學(xué)數(shù)據(jù)傳輸子板硬件采用嵌入式PowerPC處理器，軟件基于嵌入式Linux操作系統(tǒng)，主要實現(xiàn)三維聲學(xué)數(shù)據(jù)網(wǎng)絡(luò)轉(zhuǎn)發(fā)、命令控制、代碼更新等功能。PC客戶端三維聲學(xué)圖像處理系統(tǒng)主要實現(xiàn)三維聲學(xué)數(shù)據(jù)網(wǎng)絡(luò)接收、GPS/姿態(tài)儀串口信息獲取、三維聲學(xué)圖像運動目標識別等功能，圖5所示為設(shè)計完成的三維成像聲學(xué)系統(tǒng)試驗樣機。

原型樣機分別在富陽基地室內(nèi)水池和千島湖實驗基地進行了水下實驗，對軟件功能的準確性和性能的實時性進行了大量測試與驗證工作。圖6為PC客戶端運動目標識別系統(tǒng)軟件界面，圖中右下角白色長方體框展示了識別出的動態(tài)目標。系統(tǒng)在室內(nèi)水池和千島湖實驗基地進行了連續(xù)的動態(tài)目標檢測試驗，目標為人工操作的鐵棒，圖7為聲學(xué)系統(tǒng)與運動目標相距10m的識別結(jié)果，圖8為聲學(xué)系統(tǒng)與運動目標相距100 m的識別結(jié)果，系統(tǒng)檢測時間間隔保持為1 s（秒），軸向運動速度為0.1 m/s，旋轉(zhuǎn)角速度為2°/s，表1顯示了相距10 m和100 m兩種情況下軸向運動和旋轉(zhuǎn)運動的檢測次數(shù)。實驗結(jié)果表明聲學(xué)系統(tǒng)在移動掃描過程中能準確實時地識別出物體旋轉(zhuǎn)、軸向等常規(guī)運動，當聲學(xué)系統(tǒng)與目標較近時，軸向運動比旋轉(zhuǎn)運動檢測靈敏度高，更易識別；當聲學(xué)系統(tǒng)與目標較遠時，旋轉(zhuǎn)運動比軸向運動檢測靈敏度高，更易識別。

圖5 聲學(xué)系統(tǒng)試驗樣機示意圖Fig.5 Sonar system hardware prototype

圖6 PC客戶端運動目標識別軟件界面Fig.6 PC client software interface

圖7 聲學(xué)系統(tǒng)與運動目標相距10 m的識別結(jié)果 Fig.7 Motion recognition result of 10 m distance

圖8 聲學(xué)系統(tǒng)與運動目標相距100 m的識別結(jié)果Fig.8 Motion recognition result of 100 m distance

表1 相距10 m和100 m軸向和旋轉(zhuǎn)運動檢測結(jié)果Tab.1 Axis and rotation detection results of 10 m and 100 m distance

6 結(jié) 論

本文針對水下運動目標實時監(jiān)測需求，研究了三維聲納目標在線運動檢測與識別方法。系統(tǒng)利用單幀重建生成的聲學(xué)數(shù)據(jù)點之間的連通性信息進行目標聚類，避免了聚類過程中的大量連通性計算，算法更加高效，更能滿足系統(tǒng)實時性要求。結(jié)合GPS定位儀和姿態(tài)儀信息，修正位移和姿態(tài)變化引起的運動誤差，利用反向投影和最近點搜索方法進行相鄰圖像幀的快速配準，根據(jù)配準矩陣將相鄰圖像幀的的各個目標轉(zhuǎn)換到同一全局坐標系中，提取有效的聲學(xué)目標特征變化相對值，并評估特征權(quán)重，具有較高的適應(yīng)性和準確性。

[1]陳榮盛,袁小海,胡 震,劉培林,吳文偉.水下機器人光視覺信息獲取及處理算法[J].船舶力學(xué),1999,3(2):63-69.Chen Rongsheng,Yuan Xiaohai,Hu Zhen,Liu Peilin,Wu Wenwei.Underwater vehicle vision information capturing and Processing Algorithm[J].Journal of Ship Mechanics,1999,3(2):63-69.

[2]張 純,許 楓.基于運動特征的水下蛙人目標識別方法[J].聲學(xué)技術(shù),2011,30(3):174-176. Zhang Chun,Xu Feng.Diver target identification based on motion feature[J].Technical Acoustics,2011,30(3):174-176.

[3]孫長瑜,李啟虎,李偉昌,等.基于ADSP-21060 SHARC高速通用聲吶信號處理系統(tǒng)[J].聲學(xué)學(xué)報,2000,25(2):150-154. Sun Changyu,Li Qihu,Li Weichang,et al.The research and development of high speed general sonar signal processing system by ADSP-21060 SHARC[J].ACTA ACUSTICA,2000,25(2):150-154.

[4]田 杰,張春華.基于分形的水聲圖像目標探測[J].中國圖象圖形學(xué)報,2005,10(4):479-483. Tian Jie,Zhang Chunhua.Fractal-based detecton of objects in underwater images[J].Journal of Image and Graphics,2005, 10(4):479-483.

[5]晉朝勃,胡剛強,史廣智,等.一種采用支持向量機的水中目標識別方法[J].聲學(xué)技術(shù),2011,30(3):186-188. Jin Zhaobo,Hu Gangqiang,Shi Guangzhi,et al.An underwater target recognition method using the support vector machines[J].Technical Acoustics,2011,30(3):186-188.

[6]Yu S C,Kim T W,Marani G,et al.Real-Time 3D sonar Image recognition for underwater vehicles[C].In Proc.Symposium on Underwater Technology and Workshop on Scientific Use of Submarine Cables and Related Technologies,2007:142-146.

[7]Repetto S,Palmese M,Trucco A.High-resolution 3-D imaging by a sparse array:Array optimization and image simulation [C].In Proc.Oceans,2005:763-768.

[8]Murino V,Trucco A.Three-dimensional image generation and processing in underwater acoustic vision[J].Proceedings of IEEE,2000,88(12):1903-1948.

[9]Papaleo L,Puppo E.Online Data Fusion for building 3D models from acoustical range images[R].University of Genova, Genova,Italy,2004.

[10]Castellani U,Fusiello A,Murino V.Object reconstruction and 3D mosaicing[R].University of Genova,Genova,Italy,2004.

[11]Ikeuchi K,Wheeler M D.Iterative estimation of rotation and tranlslation using quaternion[R].Technical Report CMU-SC-95-215,1995.

On-line motion recognition for underwater 3-D sonar object

LI Zhi-hua1，2,LI Qiu-luan1
(1 College of Information Science and Engineering,Hangzhou Normal University,Hangzhou 311100,China; 2 Institute of Advanced Digital Technology and Instrument,Zhejiang University,Hangzhou 310027,China)

Aiming at the real-time detection requirement of underwater moving object,an on-line motion recognition method for underwater 3-D sonar object is proposed.Multi-layer reconstruction and object clustering of single sonar frame are fulfilled by grid searching and triangle connection.Motion error is corrected by GPS and POSE instrument due to the change of displacement and pose.3-D sonar imaging registration is achieved by reverse projection and the closest point searching.According to the registration matrix, all sonar frames are translated into a global coordinate system,and sonar object features are extracted.Effective moving object detection is achieved by estimating feature weight.Experimental results in the indoor pool and lake show that the system can efficiently achieve 3-D sonar data on-line moving object recognition.

3-D sonar;motion detection;motion recognition

TB566

A

10.3969/j.issn.1007-7294.2015.10.014

1007-7294（2015）10-1282-07

2015-03-21

國家自然科學(xué)基金（61001170）

李志華（1981-），男，博士后，講師，E-mail:zhihuali_e@163.com；李秋巒（1986-），男，碩士研究生。