張麗紅，周天，徐超，韓婷婷

基于聲吶圖像序列SIFT特征的多目標(biāo)跟蹤方法研究

張麗紅1,2,3，周天1,2,3，徐超1,2,3，韓婷婷1,2,3

(1. 哈爾濱工程大學(xué)水聲技術(shù)重點(diǎn)實(shí)驗(yàn)室，黑龍江哈爾濱 150001；2. 海洋信息獲取與安全工信部重點(diǎn)實(shí)驗(yàn)室(哈爾濱工程大學(xué))，工業(yè)和信息化部，黑龍江哈爾濱 150001；3. 哈爾濱工程大學(xué)水聲工程學(xué)院，黑龍江哈爾濱 150001)

針對(duì)高頻成像聲吶多目標(biāo)跟蹤中聲成像的不穩(wěn)定問(wèn)題，在基于檢測(cè)前跟蹤的聲吶圖像序列尺度不變特征變換(Scale Invariant Feature Transform, SIFT)的基礎(chǔ)上，提出了一種結(jié)合對(duì)數(shù)變換的聲吶圖像序列SIFT特征跟蹤方法。該方法利用對(duì)數(shù)變換進(jìn)行圖像預(yù)處理，進(jìn)而利用聲吶圖像序列SIFT特征進(jìn)行多目標(biāo)跟蹤。水池試驗(yàn)數(shù)據(jù)的處理結(jié)果表明：與中值濾波和動(dòng)態(tài)亮度分配的方法相比，結(jié)合對(duì)數(shù)變換的聲吶圖像序列SIFT特征跟蹤方法具有更好的多目標(biāo)跟蹤效果。

聲吶圖像序列；檢測(cè)前跟蹤；尺度不變特征變換；圖像預(yù)處理；對(duì)數(shù)變換；多目標(biāo)跟蹤

0 引言

近年來(lái)，隨著水下小目標(biāo)探測(cè)需求的迫切，利用中、高頻成像聲吶進(jìn)行水下目標(biāo)、特別是水下運(yùn)動(dòng)目標(biāo)的探測(cè)和跟蹤研究得到了廣泛關(guān)注。水下多目標(biāo)跟蹤問(wèn)題可歸結(jié)為由漏檢和雜波的量測(cè)來(lái)估計(jì)每一時(shí)刻的目標(biāo)數(shù)目和目標(biāo)狀態(tài)，并且每個(gè)目標(biāo)形成時(shí)間上連續(xù)的軌跡。常規(guī)的檢測(cè)后跟蹤方法要在每一幀圖像內(nèi)做出檢測(cè)，而由于單幅圖像信息局限，面臨分割閾值選擇的問(wèn)題，增加了目標(biāo)檢測(cè)和后續(xù)跟蹤的難度。檢測(cè)前跟蹤(Track Before Detect, TBD)[1-2]是對(duì)單幀圖像中有無(wú)目標(biāo)先不做出判決，而在圖像序列中對(duì)所有潛在的目標(biāo)進(jìn)行特征跟蹤，依據(jù)航跡的連續(xù)性篩選出真實(shí)目標(biāo)?；赥BD在多波束聲吶圖像序列中進(jìn)行特征跟蹤，是實(shí)現(xiàn)水下多目標(biāo)跟蹤的一種新技術(shù)。

2004年，LOWE[3]提出了尺度不變特征變換(Scale Invariant Feature Transform, SIFT)算法，SIFT特征對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性，對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性。相比常用特征[4-5]跟蹤方法更適用于表征成像質(zhì)量相對(duì)較差的聲吶圖像中的潛在目標(biāo)。

SIFT已經(jīng)在光學(xué)領(lǐng)域得到成功應(yīng)用[6-7]，但利用聲吶圖像序列SIFT特征進(jìn)行水下目標(biāo)跟蹤的應(yīng)用非常少。文獻(xiàn)[8]利用基于檢測(cè)前跟蹤的聲吶圖像序列SIFT特征跟蹤方法進(jìn)行單個(gè)動(dòng)態(tài)目標(biāo)的跟蹤以及靜態(tài)目標(biāo)與動(dòng)態(tài)目標(biāo)的區(qū)分。該方法的不足之處在于聲吶圖像的不穩(wěn)定性會(huì)影響目標(biāo)跟蹤效果。因此，本文針對(duì)上述問(wèn)題提出一種結(jié)合對(duì)數(shù)變換的SIFT多目標(biāo)跟蹤方法，利用對(duì)數(shù)變換壓縮高像素值，來(lái)提高聲吶圖像的穩(wěn)定性。高頻成像聲吶的水池試驗(yàn)結(jié)果表明，本文方法具有更好的目標(biāo)跟蹤效果。

1 結(jié)合對(duì)數(shù)變換的SIFT目標(biāo)跟蹤算法

1.1 聲吶圖像的生成和預(yù)處理

為利用聲吶圖像序列SIFT特征進(jìn)行水下多目標(biāo)跟蹤，首先要對(duì)聲吶所采集的數(shù)據(jù)進(jìn)行處理，生成聲吶圖像，并對(duì)圖像進(jìn)行必要的預(yù)處理。圖1(a)給出了聲吶圖像生成和預(yù)處理的流程圖。

在聲吶圖像生成處理中，考慮到多波束聲吶圖像普遍存在旁瓣干擾嚴(yán)重[9]的特點(diǎn)，因此需要對(duì)波束形成輸出進(jìn)行旁瓣抑制，繼而進(jìn)行聲吶圖像插值。插值原理示意圖如圖1(b)所示，可以看到，扇形的交叉點(diǎn)表示插值前的像素，這些像素是波束形成獲得的波束值，呈現(xiàn)等角分布，尤其在遠(yuǎn)距離時(shí)波束非常稀疏；矩形網(wǎng)格的交叉點(diǎn)表示插值后的像素，表現(xiàn)為直角坐標(biāo)系下的均勻分布，使圖像更為細(xì)膩并利于后續(xù)處理。

(a) 聲吶圖像生成和預(yù)處理流程圖

(b) 聲吶圖像插值示意圖

圖1 聲吶圖像的預(yù)處理

Fig.1 Sonar image preprocessing

接著進(jìn)行必要的圖像預(yù)處理。為驗(yàn)證本文所提預(yù)處理方法的有效性，用文獻(xiàn)[8]中的方法和本文方法分別處理，進(jìn)行對(duì)比。具體算法和理論依據(jù)如下。

本文所提預(yù)處理方法為對(duì)聲吶圖像進(jìn)行對(duì)數(shù)變換，再線性映射至灰度值[0, 255]。采用的對(duì)數(shù)變換公式為

值得注意的是，常規(guī)的對(duì)數(shù)變換形式為[10]

本文利用該變換來(lái)擴(kuò)展圖像中的暗像素值，同時(shí)壓縮高灰度級(jí)的像素值。暗像素的擴(kuò)展意味著放大背景噪聲的動(dòng)態(tài)范圍。類似地，高灰度級(jí)像素的壓縮意味著減小目標(biāo)像素灰度的動(dòng)態(tài)范圍。如此可提高目標(biāo)在聲吶圖像序列中的穩(wěn)定性，進(jìn)而改善SIFT特征的提取和跟蹤效果。從對(duì)數(shù)變換原理可見(jiàn)，雖然其用于圖像處理具有降低動(dòng)態(tài)范圍的優(yōu)點(diǎn)，但由于該運(yùn)算為非線性處理，對(duì)圖像信噪比有較高要求，不適合低信噪比應(yīng)用場(chǎng)景。

1.2 聲吶圖像生成SIFT特征向量

SIFT特征檢測(cè)是在高斯差分算子(Difference of Gaussian, DOG)尺度空間提取聲吶圖像中不隨尺度變化的“穩(wěn)定”特征點(diǎn)，也即“關(guān)鍵點(diǎn)”。主要包括以下3個(gè)基本步驟：

步驟1：尺度空間構(gòu)造

步驟2：關(guān)鍵點(diǎn)位置和方向確定

DOG尺度空間中的每個(gè)點(diǎn)需要跟同一尺度的周圍鄰域8個(gè)點(diǎn)和相鄰尺度對(duì)應(yīng)位置的周圍鄰域18個(gè)點(diǎn)進(jìn)行比較，如圖2所示。當(dāng)該點(diǎn)為局部極值時(shí)，判定為候選特征點(diǎn)。

圖2 尺度空間極值檢測(cè)[3]

候選特征點(diǎn)最終成為關(guān)鍵點(diǎn)須經(jīng)兩步判定：與鄰域像素的對(duì)比度足夠大，且不是邊緣特征點(diǎn)，具體如下：

步驟3：關(guān)鍵點(diǎn)特征向量描述

圖3 關(guān)鍵點(diǎn)特征向量描述

1.3 聲吶圖像序列中的SIFT特征跟蹤

通過(guò)對(duì)聲吶圖像序列連續(xù)地進(jìn)行SIFT特征的幀間匹配來(lái)實(shí)現(xiàn)多目標(biāo)跟蹤。以關(guān)鍵點(diǎn)特征向量的歐氏距離作為相似性度量，尋找待匹配關(guān)鍵點(diǎn)的最近鄰和次近鄰，如果最近鄰距離與次近鄰距離的比值小于某閾值，則判定最近鄰點(diǎn)與這個(gè)關(guān)鍵點(diǎn)為匹配對(duì)，否則視為匹配失敗?？紤]聲吶圖像易受環(huán)境干擾、分辨力低、噪聲強(qiáng)、穩(wěn)定性低等局限，僅當(dāng)某SIFT特征連續(xù)3幀匹配失敗時(shí)，終止對(duì)該特征的跟蹤，并判定為雜波，這可以在一定程度上提高算法的容錯(cuò)能力。SIFT特征跟蹤的算法流程如圖4所示。

圖4 SIFT多目標(biāo)跟蹤算法流程

2 水池實(shí)驗(yàn)數(shù)據(jù)處理

為驗(yàn)證結(jié)合對(duì)數(shù)變換的SIFT目標(biāo)跟蹤算法對(duì)聲吶圖像穩(wěn)定性的改善效果以及在水下多目標(biāo)跟蹤中的應(yīng)用效果，利用高頻成像聲吶在某消聲水池中進(jìn)行試驗(yàn)，并對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行處理。

高頻成像聲吶工作頻率為500 kHz，接收陣陣元間距為半波長(zhǎng)，陣元數(shù)目為32。聲吶位置固定，信號(hào)形式為單頻脈沖信號(hào)，脈沖寬度為0.1 ms，發(fā)射周期1/15 s，帶通采樣頻率為220 kHz。所跟蹤目標(biāo)為兩個(gè)直徑15 cm的塑料材質(zhì)球，兩個(gè)目標(biāo)在水中相向運(yùn)動(dòng)。多波束聲吶和實(shí)驗(yàn)水池如圖5所示。

2.1 聲吶圖像的生成和預(yù)處理

首先依次通過(guò)波束形成、旁瓣抑制[10]和圖像插值(插值網(wǎng)格區(qū)域?yàn)榉较騕-3,3]，方向[0,6]，單位m，網(wǎng)格節(jié)點(diǎn)間距為0.005 m)處理生成聲吶圖像。

繼而進(jìn)行聲吶圖像的預(yù)處理：為驗(yàn)證本文方法的有效性，采用文獻(xiàn)[8]的方法和本文方法分別處理，進(jìn)行對(duì)比。

以一幀聲吶圖像為例，其生成和預(yù)處理過(guò)程在圖6中顯示，其中圖6(a)為波束形成并抑制旁瓣后生成的圖像，圖6(b)為圖像插值后的結(jié)果，圖6(c)為文獻(xiàn)[8]方法的結(jié)果，圖6(d)是本文方法的結(jié)果。

圖5 多波束聲吶和實(shí)驗(yàn)水池

由圖6可以看出，本文方法較好地抑制了圖6(a)旁瓣影響。圖6(b)與圖6(a)相比只保留插值區(qū)域且提高圖像細(xì)膩程度。與圖6(b)相比，經(jīng)中值濾波和動(dòng)態(tài)亮度分配預(yù)處理的圖6(c)圖像對(duì)比度顯著提高，高灰度級(jí)像素區(qū)域擴(kuò)大。相較圖6(c)，采用對(duì)數(shù)變換預(yù)處理的圖6(d)圖像對(duì)比度大幅減小，圖像細(xì)節(jié)得以增強(qiáng)，目標(biāo)像素更加柔和，正是這一點(diǎn)使得圖像序列中的目標(biāo)特征更加穩(wěn)定。

(a) 抑制旁瓣后的聲吶圖像 (b) 插值后的聲吶圖像

(c) 中值濾波與動(dòng)態(tài)亮度分配 (d) 對(duì)數(shù)變換預(yù)處理

圖6 不同預(yù)處理生成的聲吶圖像

Fig.6 Sonar images from different preprocessing

2.2 聲吶圖像序列SIFT特征跟蹤

為驗(yàn)證本文方法在多目標(biāo)跟蹤中的應(yīng)用效果，利用文獻(xiàn)[8]方法和本文方法的處理結(jié)果進(jìn)行對(duì)比。在2.1節(jié)，經(jīng)過(guò)文獻(xiàn)[8]方法和本文方法分別預(yù)處理，各得到一組聲吶圖像序列。根據(jù)圖4的SIFT算法流程對(duì)這兩組圖像序列進(jìn)行SIFT特征跟蹤，采用文獻(xiàn)[8]方法的跟蹤結(jié)果如圖7所示，采用本文方法的跟蹤結(jié)果如圖8所示。

圖7中，圖7(a)表征了每幀圖像生成SIFT特征的數(shù)目；圖7(b)是第一幀圖像生成的SIFT特征作為特征集模板，跟蹤到第三幀圖像時(shí)會(huì)舍棄連續(xù)三幀匹配失敗的特征，特征數(shù)目開(kāi)始減少，之后跟蹤的每一幀都舍棄連續(xù)三幀匹配失敗的特征，特征數(shù)目遞減；圖7(c)是跟蹤結(jié)果，在跟蹤的最后一幀圖像上用青色點(diǎn)跡顯示跟蹤的目標(biāo)航跡。

圖8中，由圖8(a)可以看出：對(duì)于同一幀圖像，經(jīng)文獻(xiàn)[8]方法預(yù)處理之后和經(jīng)本文方法預(yù)處理之后，所得圖像生成的SIFT特征數(shù)目不同，但總體上兩組圖像序列的SIFT特征數(shù)目都在100～200的區(qū)間。

(a) 特征提取數(shù)目

(b) 特征跟蹤數(shù)目

(c) 跟蹤軌跡

(a) 特征提取數(shù)目

(b) 特征跟蹤數(shù)目

(c) 跟蹤軌跡

由圖8(b)可以看出：與文獻(xiàn)[8]方法預(yù)處理的圖像序列相比，本文方法預(yù)處理的圖像序列，起始幀圖像生成的特征數(shù)目更少，跟蹤過(guò)程中的特征數(shù)目也更少，計(jì)算量更小。

對(duì)比圖7(c)、8(c)可以看出：文獻(xiàn)[8]方法預(yù)處理的圖像序列經(jīng)SIFT特征跟蹤方法只實(shí)現(xiàn)了對(duì)其中一個(gè)目標(biāo)的跟蹤，并伴隨虛假的目標(biāo)。本文方法預(yù)處理的SIFT特征跟蹤方法獲得兩個(gè)目標(biāo)的運(yùn)動(dòng)軌跡，跟蹤效果顯著改善。

分析原因，文獻(xiàn)[8]方法進(jìn)行圖像預(yù)處理的目的是平滑噪聲并提高對(duì)比度，存在兩點(diǎn)缺陷：一是由于目標(biāo)材質(zhì)不完全相同以及兩個(gè)目標(biāo)與聲吶距離不同，兩目標(biāo)回波一強(qiáng)一弱，較弱目標(biāo)的強(qiáng)度被動(dòng)態(tài)亮度分配算法再次削弱；二是對(duì)比度增強(qiáng)使得亮區(qū)形狀不穩(wěn)定性更加顯著。而本文圖像預(yù)處理的方法可以減小高灰度級(jí)的像素的動(dòng)態(tài)范圍，從而大幅縮小目標(biāo)之間的灰度差，提高聲吶圖像序列目標(biāo)特征的穩(wěn)定性。所以，本文方法預(yù)處理的聲吶圖像序列更有利于后續(xù)的SIFT特征跟蹤。

3 結(jié)論

聲吶圖像序列的SIFT特征跟蹤是一種立足于檢測(cè)前跟蹤技術(shù)的多目標(biāo)跟蹤方法。本文提出一種利用對(duì)數(shù)變換進(jìn)行圖像預(yù)處理，進(jìn)而采用SIFT算法進(jìn)行聲吶圖像序列的多目標(biāo)跟蹤的方法。與文獻(xiàn)[8]方法相比，本文方法可以減小高灰度級(jí)的像素的動(dòng)態(tài)范圍，不僅可以提高聲吶圖像的穩(wěn)定性，而且在回波強(qiáng)弱不同的多目標(biāo)探測(cè)應(yīng)用中能夠改善對(duì)較弱目標(biāo)的探測(cè)能力。水池試驗(yàn)驗(yàn)證了該方法較現(xiàn)有方法能獲得更好的目標(biāo)跟蹤效果，基本消除了野點(diǎn)，目標(biāo)軌跡更完整，對(duì)高頻成像聲吶多目標(biāo)跟蹤的研究和工程應(yīng)用具有一定實(shí)用價(jià)值和推廣意義。

一直以來(lái)，水下多目標(biāo)跟蹤中的軌跡交叉問(wèn)題比較棘手，尤其是非線性非高斯的情況。以后的研究工作將考慮本文所提方法結(jié)合基于貝葉斯理論的粒子濾波或基于隨機(jī)有限集的概率假設(shè)密度濾波，以此來(lái)提高發(fā)生軌跡交叉時(shí)的多目標(biāo)跟蹤性能。

[1] DAVEY S J，RUTTEN M G，CHEUNG B．Using phase to improve track-before-detect[J]. IEEE transactions on aerospace and electronic systems, 2012, 48(1): 832-849.

[2] LIU S L, CHEN X L, ZENG T, et al．New analytical approach to detection threshold of a dynamic programming track-before-detect algorithm[J]. IET Radar, Sonar & Navigation, 2013, 7(7): 773-779.

[3] LOWE D G．Distinctive image features from scale-invariant key-points [J]. International journal of computer vision, 2004, 60(2): 91-110.

[4] NEGAHDARIPOUR S．On 3-D motion estimation from feature tracks in 2-D FS sonar video[J]. IEEE Transactions on Robotics, 2013, 29(4): 1016-1030.

[5] WANG S G, ZENG X Y. Robust underwater noise targets classification using auditory inspired time-frequency analysis[J]. Applied Acoustics, 2014, 78: 68-76.

[6] LIU Y, LIU S P, WANG Z F. Multi-focus image fusion with dense SIFT[J]. Information Fusion, 2015, 23: 139-155.

[7] LENC L, KRL P. Automatic face recognition system based on the SIFT features[J]. Computers & Electrical Engineering, 2015, 46: 256-272.

[8] 李海森, 高玨, 徐超, 等. 應(yīng)用TBD的多波束聲吶圖像序列SIFT特征追蹤[J]. 哈爾濱工程大學(xué)學(xué)報(bào), 2016, 37(8): 1009-1014.

LI Haisen, GAO Jue, XU Chao, et al．SIFT feature tracking in multi-beam sonar image sequences using the track-before-detect technique[J]. Journal of Harbin Engineering University, 2016, 37(8): 1009-1014.

[9] SCHETTINI R, CORCHS S. Underwater image processing: state of the art of restoration and image enhancement methods [J]. EURASIP Journal on Advances in Signal Processing, 2010: 746052.

[10] GONZALEZ R C, WOODS R E. 數(shù)字圖像處理[M]. 阮秋琦, 阮宇智, 等, 譯. 北京: 電子工業(yè)出版社, 2017: 64-71.

GONZALEZ R C, WOODS R E. Digital image processing [M]. RUAN Qiuqi, RUAN Yuzhi, et al., Trans. Beijing: Publishing House of Electronics Industry, 2017: 64-71.

[11] LI H S, GAO J, DU W D, et al. Object representation for multi-beam sonar image using local higher-order statistics[J]. Eurasip Journal on Advances in Signal Processing, 2017(1): 1-9.

[12] 趙海旭, 聶良春, 鄧紅超. 一種基于時(shí)域處理的圖像聲吶技術(shù)[C]//水聲對(duì)抗技術(shù)學(xué)術(shù)交流會(huì), 2014.

ZHAO Haixu, NIE Liangchun, DENG Hongchao. An image sonar technology based on time domain processing[C]//Academic Conference on Underwater Acoustic Warfare, 2014.

Research on multi-target tracking method withSIFT featuresof sonar image sequences

ZHANG Li-hong1,2,3, ZHOU Tian1,2,3, XU Chao1,2,3, HAN Ting-ting1,2,3

(1. Acoustic Science and Technology Laboratory, Harbin Engineering University, Harbin 150001, Heilongjiang, China; 2. Key Laboratory of Marine Information Acquisition and Security(Harbin Engineering University), Ministry of Industry and Information Technology, Harbin 150001, Heilongjiang, China; 3. College of Underwater Acoustic Engineering, Harbin Engineering University, Harbin 150001, Heilongjiang, China)

The instability of acoustic imaging is still a challenge in multi-target tracking of high-frequency imaging sonar. Based on the SIFT (scale-invariant feature transform) feature tracking method using TBD (track-before-detect) technique, a SIFT feature tracking method with logarithm transformation for sonar image sequences is proposed. This method uses logarithmic transformation to preprocess images, and then uses the SIFT features of sonar image sequence to perform multi-target tracking. Logarithmic transformation can compress high gray-scale pixel values to improve the detection ability of weak targets and the stability of sonar imaging. The results of pool experiment showthat the SIFT feature tracking method with logarithm transformation performs better in multi-target tracking of sonar image sequences,compared with the median filtering and dynamic brightness allocation method.

sonar image sequences; track-before-detect; scale-invariant feature transform; image preprocessing; logarithmic transformation; multi-target tracking

TN911.7

A

1000-3630(2019)-05-0514-06

10.16300/j.cnki.1000-3630.2019.05.006

2018-05-09;

2018-06-28

國(guó)家自然科學(xué)基金 (U1709203、41376103)資助項(xiàng)目。

張麗紅(1996－), 女, 河北武安人, 碩士研究生, 研究方向?yàn)樗曅盘?hào)處理。

周天,E-mail: zhoutian@hrbeu.edu.cn