董慧穎，趙 鵬

(沈陽理工大學(xué) 自動化與電氣工程學(xué)院，沈陽 110159)

水面無人艇動態(tài)障礙目標(biāo)視覺跟蹤方法

董慧穎，趙 鵬

(沈陽理工大學(xué) 自動化與電氣工程學(xué)院，沈陽 110159)

針對目前Camshift跟蹤算法計(jì)算量大，實(shí)時性差的缺點(diǎn)，提出一種基于Kalman與Camshift相結(jié)合的方法，能夠有效提高算法的實(shí)時性。通過目標(biāo)分割算法得到目標(biāo)物體的輪廓區(qū)域，計(jì)算出目標(biāo)的質(zhì)心，以目標(biāo)質(zhì)心坐標(biāo)和運(yùn)動速度作為Kalman濾波器輸入預(yù)測出目標(biāo)在下一幀中的位置，然后在預(yù)測位置附近用Camshift算法搜索和匹配，得到目標(biāo)的精確位置信息，以此時得到的精確位置信息為Kalman濾波器的測量輸入，參與到下一輪預(yù)測，依次循環(huán)進(jìn)行下去。經(jīng)過驗(yàn)證該方法在一定條件下有很好的準(zhǔn)確性和實(shí)時性。

目標(biāo)分割；Kalman濾波；Camshift；目標(biāo)跟蹤

作為全球貿(mào)易活動的重要渠道，海洋已經(jīng)逐漸成為人類賴以生存的戰(zhàn)略空間，圍繞海洋的競爭也日趨激烈。海洋裝備發(fā)展逐漸興盛起來，其中無人艇的發(fā)展受到了世界各國的大力支持，無人艇相關(guān)技術(shù)發(fā)展尤為迅速。相對于陸地或天空領(lǐng)域，水面無人艇研究面臨著獨(dú)特的挑戰(zhàn)。水面波光干擾、岸上背景變化巨大以及其不可預(yù)測性等問題都顯著加大了無人艇跟蹤技術(shù)的研究難度。

目標(biāo)檢測與跟蹤在計(jì)算機(jī)視覺領(lǐng)域仍然是極富挑戰(zhàn)性的研究方向之一。視覺跟蹤具有非常廣泛的應(yīng)用價值，很多國家都投入了大量的人力、物力和財(cái)力進(jìn)行該項(xiàng)研究。國內(nèi)外學(xué)者已提出了很多運(yùn)動目標(biāo)檢測與跟蹤的方法，并在不同的應(yīng)用領(lǐng)域取得了一定的效果。在交通上的應(yīng)用，主要有車輛的異常檢測、交通流量控制等，利用智能交通監(jiān)控系統(tǒng)提高交通管控系統(tǒng)效率。在無人機(jī)導(dǎo)航中，將基于視覺的目標(biāo)跟蹤結(jié)果的位置和速度信息代替GPS所獲得的速度和位置信息可有效地避免因GPS信號中斷造成的飛行事故。

運(yùn)動目標(biāo)跟蹤就是確定同一目標(biāo)在圖像序列不同幀中的位置，從而為得到目標(biāo)的軌跡提供支持，對運(yùn)動目標(biāo)的跟蹤已經(jīng)有了大量的研究，如Jang等[1]利用區(qū)域的形狀、紋理、色彩和邊緣特征信息建立活動模板，使匹配能量函數(shù)最小化完成目標(biāo)跟蹤。桂陽[2]提出了一種基于卡爾曼濾波和金字塔算法相結(jié)合的跟蹤方法，將跟蹤對象分為海天區(qū)域內(nèi)和海天區(qū)域外，在海天區(qū)域內(nèi)的目標(biāo)跟蹤采取先檢測后匹配的策略，而在海天區(qū)域外的目標(biāo)采取先預(yù)測后搜索的策略進(jìn)行跟蹤。劉松濤等[3]開展了艦船紅外成像目標(biāo)跟蹤研究，在對MAD跟蹤算法和形心跟蹤算法改進(jìn)的基礎(chǔ)上，提出了一種復(fù)合式跟蹤算法。裴繼紅等[4]提出了基于紅外成像的海面艦船識別與跟蹤技術(shù)研究，給出了位置、形狀輻射三類水面目標(biāo)設(shè)別和相對應(yīng)的六個模糊隸屬度函數(shù)表達(dá)式。

文中采用以Kalman和Camshift相結(jié)合的跟蹤方法，在水面雜波比較小的條件下能夠較好地實(shí)現(xiàn)動態(tài)障礙物目標(biāo)跟蹤。相較于Camshift跟蹤方法，此方法能夠把Kalman跟蹤和Camshift跟蹤的優(yōu)點(diǎn)很好地結(jié)合，很好地實(shí)現(xiàn)跟蹤的準(zhǔn)確性和實(shí)時性。

1 目標(biāo)分割及質(zhì)心計(jì)算

1.1 目標(biāo)分割

目標(biāo)檢測理論經(jīng)過多年發(fā)展，已經(jīng)衍生出多種檢測方法：背景差分法、幀差法、光流場法等[5-6]。這些方法是研究過程中最常見的方法，但是主要針對靜態(tài)背景下或背景細(xì)微變化時動態(tài)目標(biāo)檢測。它們在動態(tài)背景下目標(biāo)檢測時并不適用，針對攝像機(jī)移動引起背景變化的情況，本文采用全運(yùn)動估計(jì)和補(bǔ)償?shù)姆椒?，結(jié)合幀差法實(shí)現(xiàn)目標(biāo)檢測。

如果把運(yùn)動目標(biāo)物體產(chǎn)生的運(yùn)動定義為局部運(yùn)動，那么攝像機(jī)引起的運(yùn)動可以稱之為全局運(yùn)動。全局運(yùn)動與局部運(yùn)動的關(guān)系如圖1所示。

圖1 全局運(yùn)動示意圖

如圖1，攝像機(jī)以速度v1向右水平移動，同時運(yùn)動目標(biāo)以速度v2向下移動，現(xiàn)在變成了復(fù)雜的運(yùn)動目標(biāo)的移動，所以全局運(yùn)動估計(jì)和補(bǔ)償就是基于這種理論實(shí)現(xiàn)的。

全局運(yùn)動估計(jì)與補(bǔ)償首先是估計(jì)視頻序列中像素點(diǎn)運(yùn)動矢量，然后校正到下一圖像幀里。

f1(x,y,k)=H[f(x,y,k-1),V(x,y,k-1)](1)

式中：H表示校正算子；f(x,y,k-1)是指k-1第幀圖像像素；V(x,y,k-1)為同一時刻點(diǎn)(x,y)的運(yùn)動速度值；f1(x,y,k)表示校正后的數(shù)字圖像。運(yùn)動補(bǔ)償和幀差運(yùn)算后，通過閾值分割就能得到目標(biāo)區(qū)域。

一般情況下，對灰度圖像的區(qū)域分割就是先確定一個處于圖像灰度范圍的灰度閾值t，然后將圖像中各個像素的灰度值都跟這個閾值相比較，并根據(jù)比較結(jié)構(gòu)把像素分為兩類，即

(2)

式中：f(x,y)是原圖像灰度值；g(x,y)為分割后的二值化圖像。由此可見,閾值化分割算法主要有兩個步驟：

1)確定閾值。

2)將分割閾值與圖像像素值比較實(shí)現(xiàn)分割。

最大類間方差法由Otsu提出，是在最小二乘法的基礎(chǔ)上得到的[7-8]。這種方法簡單，適用范圍廣。設(shè)原始圖像灰度級為L，灰度為1的像素點(diǎn)數(shù)為ni，全部像素為N：

(1)計(jì)算輸入圖像歸一化直方圖，用

(3)用閾值將灰度級劃分兩類(A0,A1),A0和A1的發(fā)生概率ω0和ω1得

(3)

(4)

(5)

(6)

(5)計(jì)算類間方差

(7)

全閾值分割和最大類間方差方法分割,效果如圖2所示。

圖2 目標(biāo)分割

圖2中：圖a、b為原圖像幀；圖c、d為全閾值分割；圖e、f為最大類間方差法。

1.2 計(jì)算目標(biāo)質(zhì)心

由以上得到的輪廓很容易找到目標(biāo)的最小外接矩形，通過外接矩形可以計(jì)算出目標(biāo)區(qū)域外接矩形的形心，以此點(diǎn)粗略作為目標(biāo)的質(zhì)心，或直接求取質(zhì)心。

(8)

(9)

xc=M10/M00,yc=M01/M00

(10)

式中：M00為零階距；M10、M01為一階距；xc、yc為質(zhì)心坐標(biāo)，質(zhì)心獲取如圖3所示。

圖3 質(zhì)心提取和質(zhì)心坐標(biāo)

運(yùn)動目標(biāo)速度和坐標(biāo)如表1所示。

表1 運(yùn)動目標(biāo)速度和質(zhì)心 m/s

2 目標(biāo)跟蹤

卡爾曼濾波器有五個如下遞推公式：

1)一步預(yù)測均方誤差：

(11)

2)濾波增益矩陣：

(12)

3)濾波均方誤差陣：

(13)

4)狀態(tài)濾波：

(14)

5)狀態(tài)一步預(yù)測：

(15)

其中，卡爾曼的遞推分為兩個部分，如圖4所示。

圖4 卡爾曼遞推過程

圖像序列中相鄰幀時間間隔Ti很小，因此運(yùn)動目標(biāo)質(zhì)心的速度和位移具有連續(xù)性和穩(wěn)定性。根據(jù)運(yùn)動目標(biāo)物體相鄰幀之間連續(xù)性和穩(wěn)定的特點(diǎn)，來預(yù)測質(zhì)心在下一幀的位置。

X′(k)=Ak|k-1X(k-1)+W(k-1)

(16)

式中：X′(k)表示在第k幀中系統(tǒng)狀態(tài)；W(k-1)為系統(tǒng)控制量輸入；Ak|k-1表示狀態(tài)轉(zhuǎn)移矩陣。由于一個運(yùn)動目標(biāo)有很多的運(yùn)動特性，但無法一一對比確認(rèn)，因此選擇目標(biāo)物體的質(zhì)心位移和速度等特性作為狀態(tài)向量，X′(k)和W(k)表示如下：

(17)

式中：x(k)、y(k)為運(yùn)動目標(biāo)的質(zhì)心坐標(biāo)；x′(k)、y′(k)為運(yùn)動目標(biāo)質(zhì)心的運(yùn)動速度。Kalman濾波器參數(shù)初始化如下：由于采樣時間Ts很小，因此可得狀態(tài)轉(zhuǎn)移矩陣Ak|k-1

(18)

Wk為均值為0的高斯白噪聲，本文Wk的協(xié)方差矩陣Qk為

(19)

Vk也是均值為0的正態(tài)白噪聲，Vk的協(xié)方差矩陣Rk為

(20)

卡爾曼算法是基于一系列假設(shè)預(yù)測系統(tǒng)狀態(tài)，還需要觀測值不斷地糾正預(yù)測值：

Z(k)=HX′(k)+V(k)

(21)

式中：Z(k)表示觀測向量；H為觀測矩陣；V(k)為測量誤差，其中：

(22)

由于系統(tǒng)的觀測誤差是一個隨機(jī)白噪聲，不能唯一確定，因此文中將給出大致范圍的誤差。

通過狀態(tài)方程和運(yùn)動參數(shù)的結(jié)合，可以預(yù)測目標(biāo)物體在下一幀中的大致位置：

(23)

式中：xc(k)、yc(k)、xc(k-1)、yc(k-1)分別為物體在k、k-1幀中位置坐標(biāo)。同時得到目標(biāo)物體搜索范圍：

(24)

這樣可以有效減少Camshift算法的匹配范圍，提高搜索速度，同時還能提高精度。

Camshift利用目標(biāo)的顏色直方圖模型見圖5a，將圖像轉(zhuǎn)換為顏色概率分布圖[9]，見圖5c。它可分為三個部分：

1)色彩投影圖，見圖5b；

2)Meanshift算法運(yùn)用(在顏色概率分布圖中選取搜索窗口、計(jì)算零階矩和一階矩、計(jì)算搜索窗質(zhì)心、調(diào)整搜索窗大小、移動搜索窗的中心到質(zhì)心)；

3)Camshift迭代，將Meanshift算法擴(kuò)展到連續(xù)圖像序列，它將視頻的所有幀做Meanshift算法搜索運(yùn)算，并將上一幀的結(jié)果，即搜索窗口的大小和中心，作為下一幀Meanshift算法的搜索窗口初始值。

跟蹤算法流程見圖6。

預(yù)測結(jié)果和誤差見表2。

表2 Kalman預(yù)測位置和誤差

由于設(shè)計(jì)Kalman濾波器時使用的數(shù)學(xué)模型往往與真實(shí)情況不符，所以預(yù)測位置只是對模型狀態(tài)最優(yōu)估計(jì)，而不是對真實(shí)系統(tǒng)狀態(tài)的最優(yōu)估計(jì)，得到的也不是真實(shí)系統(tǒng)的最優(yōu)濾波誤差方差陣。因?yàn)镵alman濾波器輸入噪聲是高斯噪聲，所以誤差具有隨機(jī)性，這點(diǎn)可以從表2中看出。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)結(jié)果如下：跟蹤軌跡如圖7所示，圖7中a、b、c、h、i、j為Kalman和Camshift結(jié)合的方法，而d、e、f、k、l、m為Camshift跟蹤過程中的連續(xù)三幀，其中較大外界矩形為目標(biāo)真實(shí)位置，而較小外界矩形是卡爾曼預(yù)測的目標(biāo)位置或Camshift獲得的目標(biāo)位置。

圖7 目標(biāo)跟蹤效果圖

兩種算法時間對比見表3。

表3 運(yùn)行時間對比 s

由于引入了Kalman濾波預(yù)測，顯著減少了搜索面積和搜索時間，從實(shí)驗(yàn)數(shù)據(jù)可以看出，該算法明顯減少了處理時間，具有較好的實(shí)時性和魯棒性。

4 結(jié)束語

針對復(fù)雜背景下水面動態(tài)障礙物的跟蹤，采用運(yùn)動估計(jì)和補(bǔ)償與幀差法相結(jié)合的方法檢測到目標(biāo)物體，以目標(biāo)質(zhì)心坐標(biāo)為卡爾曼狀態(tài)輸入，對目標(biāo)物體軌跡進(jìn)行預(yù)測，采用Camshift算法進(jìn)行匹配精確定位。實(shí)驗(yàn)結(jié)果表明，該算法實(shí)時性更高。

[1]Jang D S,Choi H I.Active models for tracking moving objects[J].Pattern Recognition，2000，33(7)：1135-1146.

[2]桂陽.艦船目標(biāo)自動檢測與跟蹤測量系統(tǒng)研究[D].長沙：國防科學(xué)技術(shù)大學(xué),2008.

[3]劉松濤,沈同圣,周曉東,等.艦船紅外成像目標(biāo)智能跟蹤算法研究與實(shí)現(xiàn)[J].激光與紅外,2005，35(3):193-195.

[4]裴繼紅,謝維信,劉上乾.艦船紅外成象目標(biāo)實(shí)時識別跟蹤算法研究[J].光電工程,1995，22(5):21-31.

[5]屈晶晶,辛云宏.連續(xù)幀間差分與背景差分相融合的運(yùn)動目標(biāo)檢測方法[J].光子學(xué)報,2014，43(7):219-226.

[6]郝毫剛,陳家琪.基于五幀差分和背景差分的運(yùn)動目標(biāo)檢測算法[J].計(jì)算機(jī)工程,2012，38(4):146-148.

[7]李敏,羅洪艷,鄭小林,等.一種改進(jìn)的最大類間方差圖像分割法[J].南京理工大學(xué)學(xué)報,2012，36(2):332-337.

[8]齊麗娜,張博,王戰(zhàn)凱.最大類間方差法在圖像處理中的應(yīng)用[J].無線電工程,2006，36(7):25-26，44.

[9]楊艷,康戈文.基于光流法和顏色概率分布的特征點(diǎn)匹配[J].現(xiàn)代電子技術(shù),2009(16):129-131.

(責(zé)任編輯：馬金發(fā))

Method of Visual Tracking for Water USV Dynamic Object

DONG Huiying,ZHAO Peng

(Shenyang Ligong University,Shenyang 110159,China)

Current track Camshift algorithm has computationally intensive and poor real-time shortcoming,and a Kalman and Camshift based on a combination of methods is proposed,which can effectively improve algorithm real-time performance.Contour area of target object is gotten by object segmentation algorithm,and target centroid is estimated.Target coordinates centroid and speed is taken as Kalman filter input to predicte target position in the next frame.In searching and matching，rough and coarse position in the vicinity is adopted by using Camshift to give precise target location information,which obtaines accurate position information for Kalman filter measurement input and participates in the next round prediction,and follows by cycle to proceed.Simulation results show that the proposed method has good accuracy and timeliness under certain conditions.

object segmentation;Kalman filter;Camshift;target tracking

2015-11-23

董慧穎(1962—)，女，教授，研究方向：機(jī)器人。

1003-1251(2016)06-0077-05

TP391

A