趙德超， 彭 力

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院, 江蘇 無(wú)錫214122)

移動(dòng)機(jī)器人實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)*

趙德超， 彭 力

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無(wú)錫214122)

針對(duì)單目視覺(jué)移動(dòng)機(jī)器人目標(biāo)跟蹤的實(shí)時(shí)性和魯棒性要求，提出了基于Kalman濾波器的改進(jìn)Camshift算法檢測(cè)和定位目標(biāo)。將Kalman預(yù)測(cè)值作為目標(biāo)初始位置，補(bǔ)償攝像頭和目標(biāo)相對(duì)運(yùn)動(dòng)導(dǎo)致的目標(biāo)在圖像中的偏移。在系統(tǒng)“跟丟”后判斷目標(biāo)丟失的原因，根據(jù)原因自適應(yīng)拓展搜索窗口作為Camshift算法的下一幀初始搜索窗口。為了驗(yàn)證改進(jìn)算法的有效性，自主研制了一種應(yīng)用該算法的履帶式機(jī)器人實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)。實(shí)驗(yàn)結(jié)果表明：該系統(tǒng)具有很好的魯棒性和實(shí)時(shí)性。

目標(biāo)跟蹤； Camshift算法； Kalman濾波器； 搜索窗口

0 引 言

目前，基于視覺(jué)的目標(biāo)跟蹤機(jī)器人在災(zāi)區(qū)救援、火星探測(cè)、工業(yè)領(lǐng)域均具有很大應(yīng)用前景[1～3]。移動(dòng)目標(biāo)跟蹤算法有很多，然而目前很多算法是基于分離背景和目標(biāo)的方式，如背景減除法[4]，但是若背景不斷快速變化將導(dǎo)致目標(biāo)跟蹤丟失。Daniilidis K[5]提出了采用添加攝像頭運(yùn)動(dòng)補(bǔ)償?shù)墓饬鞣?，?shí)現(xiàn)對(duì)背景的過(guò)濾，但算法實(shí)現(xiàn)復(fù)雜，計(jì)算量較大且精度受硬件結(jié)構(gòu)的影響。因此，大多基于視覺(jué)的目標(biāo)跟蹤機(jī)器人利用基于顏色特征的目標(biāo)跟蹤算法[6，7]，如Bradski G R[8]提出了的 Camshift算法。但傳統(tǒng)Camshift算法容易受到相似顏色背景干擾，目標(biāo)快速移動(dòng)導(dǎo)致跟蹤丟失和目標(biāo)丟失后系統(tǒng)可能會(huì)無(wú)法復(fù)原。文獻(xiàn)[9，10]提出了多特征融合目標(biāo)跟蹤算法，抑制相似背景干擾。王鑫等人提出了基于粒子濾波的Camshift算法，能夠克服相似背景干擾的影響。

本文提出了基于Kalman濾波器預(yù)測(cè)值作為目標(biāo)搜索初始值，提高跟蹤的實(shí)時(shí)性和適應(yīng)快速移動(dòng)的目標(biāo)。針對(duì)目標(biāo)跟丟問(wèn)題，判斷目標(biāo)丟失原因，根據(jù)丟失原因自適應(yīng)擴(kuò)展搜索窗口，使目標(biāo)能夠再次被定位，提升系統(tǒng)的魯棒性。設(shè)計(jì)了一個(gè)能夠執(zhí)行目標(biāo)跟蹤任務(wù)的履帶式機(jī)器人實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)，并驗(yàn)證了算法的有效性。

1 系統(tǒng)結(jié)構(gòu)

自主研制的機(jī)器人實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)平臺(tái)，分成3層結(jié)構(gòu)模型，分別為應(yīng)用層、網(wǎng)絡(luò)層和感知控制層。

感知控制層由Raspberry 3B+模塊(內(nèi)置WiFi,Arduino模塊,ANC C230攝像頭和多個(gè)測(cè)距傳感器等組成,實(shí)現(xiàn)實(shí)時(shí)圖像信息的獲取和上傳、圖像處理結(jié)果的獲取、傳感器信息的采集和小車(chē)的運(yùn)動(dòng)控制。即將實(shí)時(shí)采集的視頻經(jīng)壓縮后上傳至本地視頻服務(wù)器，并接收上位機(jī)處理后的視頻信息。控制器結(jié)合超聲波采集的距離信息和應(yīng)用層反饋的目標(biāo)在圖像中位置信息,實(shí)施相應(yīng)的控制策略。

網(wǎng)絡(luò)層由WiFi,Internet和4G網(wǎng)絡(luò)等目前比較普遍的網(wǎng)絡(luò)通信構(gòu)成，可以實(shí)現(xiàn)在多種環(huán)境下的設(shè)備通信，在該網(wǎng)絡(luò)下應(yīng)用層和感知控制層可以實(shí)現(xiàn)高速穩(wěn)定的信息交換。

應(yīng)用層用來(lái)接收感知控制層發(fā)送的圖像信息，并將處理后結(jié)果通過(guò)網(wǎng)絡(luò)傳輸至感知控制層。系統(tǒng)圖像處理部分工作在Windows 7下Visual Studio+Opencv平臺(tái)，運(yùn)行跟蹤算法對(duì)圖像中的目標(biāo)進(jìn)行跟蹤，分析目標(biāo)在圖像中的位置信息，將處理結(jié)果通過(guò)網(wǎng)絡(luò)層送到感知控制層。其他終端設(shè)備如智能手機(jī),Pad等可以通過(guò)訪(fǎng)問(wèn)網(wǎng)頁(yè)的形式實(shí)時(shí)監(jiān)控感知控制層上傳的視頻信息。

在移動(dòng)跟蹤平臺(tái)搭載嵌入式設(shè)備，采用V4l2視頻開(kāi)發(fā)框架讀取攝像頭圖像，文中攝像頭的圖像格式Y(jié)UV420，將其壓縮成JPG格式的圖片，上傳至本地視頻服務(wù)器MJPG-Streamer。應(yīng)用層將從該服務(wù)器接口讀取視頻信息，并將圖像處理結(jié)果發(fā)回至該跟蹤平臺(tái)。平臺(tái)將融合圖像處理結(jié)果和測(cè)距傳感器獲取的距離信息，采用雙閉環(huán)PID控制器調(diào)制PWM輸出驅(qū)動(dòng)電機(jī)，調(diào)整跟蹤小車(chē)的位姿，實(shí)現(xiàn)目標(biāo)實(shí)時(shí)自動(dòng)跟蹤，并與目標(biāo)保持設(shè)定的位姿關(guān)系。

2 運(yùn)動(dòng)目標(biāo)圖像跟蹤算法

2.1 Camshift算法

Camshift算法是基于HSV顏色模型的顏色直方圖的核密度估計(jì)算法，其跟蹤流程如下：

1)首先手動(dòng)選擇圖像中的矩形目標(biāo)區(qū)域，均勻劃分目標(biāo)區(qū)域?yàn)閚個(gè)顏色區(qū)間構(gòu)成灰度直方圖，得到目標(biāo)模型的qu概率密度(u=1,2，…，n)，表示為

(1)

(2)

(3)

2)根據(jù)目標(biāo)模型的概率密度將下一幀圖像進(jìn)行反向投影，得到概率密度灰度圖。將第t-1幀目標(biāo)中心的位置yt-1和搜索區(qū)域作為第t幀搜索窗口的初始中心和區(qū)域，計(jì)算當(dāng)前幀的候選目標(biāo)區(qū)域直方圖。候選模型的概率密度pu(yt),u=1,2,…，n為

(4)

式中h為核函數(shù)窗口大小，決定權(quán)重分布，其他參數(shù)同式(1)～式(3)。

3)移動(dòng)窗口的中心到窗口的質(zhì)心，使窗口中心逐漸逼近目標(biāo)的中心位置，循環(huán)迭代直到最后一次移動(dòng)的距離小于閾值或者到最大迭代次數(shù)為止。設(shè)yt(x,y)為第t幀圖像的反向投影圖在(x,y)處的像素值，x和y變化的范圍為搜索窗口范圍，分別定義窗口的零階矩和一階矩如下

(5)

計(jì)算搜索窗口質(zhì)心

yt(xc,yc)=(M10/M00,M01/M00)

(6)

4)完成目標(biāo)搜索后，自適應(yīng)調(diào)整搜索窗口的長(zhǎng)軸w，短軸l和搜索窗口的旋轉(zhuǎn)角θ，將調(diào)整后的搜索窗口作為下一幀初始搜索窗口。

(7)

(8)

(9)

2.2 基于Kalman濾波的改進(jìn)Camshift目標(biāo)跟蹤

2.2.1 基于Kalman濾波器Camshift跟蹤算法

由于均值漂移算法的推導(dǎo)過(guò)程中假設(shè)了一個(gè)目標(biāo)點(diǎn)在連續(xù)兩幀中偏移量較小的前提，即偏移量不能超過(guò)核函數(shù)的帶寬[11]。系統(tǒng)的任務(wù)決定了目標(biāo)在圖像平面移動(dòng)快速，傳統(tǒng)Camshift跟蹤算法可能會(huì)跟蹤失敗。引入Kalman濾波能夠很好地解決該問(wèn)題。目標(biāo)在圖像平面內(nèi)運(yùn)動(dòng)狀態(tài)方程描述如下

(10)

(11)

本文基于Kalman濾波器的改進(jìn)的Camshift跟蹤算法，對(duì)每幀圖像得到的當(dāng)前搜索窗口的位置進(jìn)行修正，將Kalman濾波器預(yù)測(cè)值作為下一幀搜索窗口的初始值，有效地克服了在跟蹤過(guò)程中，目標(biāo)快速移動(dòng)部分遮擋和少量相似背景顏色的干擾等問(wèn)題，Kalman運(yùn)行例流程如圖1所示。

圖1 kalman濾波器流程

2.2.2 目標(biāo)丟失時(shí)自適應(yīng)調(diào)整目標(biāo)搜索窗口大小

當(dāng)搜索窗口面積Area

對(duì)于原因(2)，目標(biāo)從攝像頭視覺(jué)范圍內(nèi)消失的過(guò)程中目標(biāo)會(huì)漸漸地被壓扁并且目標(biāo)中心坐標(biāo)會(huì)逐漸趨近于圖像的邊緣。判斷條件如下

(12)

式中AreaT為目標(biāo)消失位置窗口面積閾值；cols和rows分別為圖像的分辨率；xc，yc分別為目標(biāo)中心坐標(biāo)。以上4個(gè)不等式分別表示目標(biāo)從圖像x軸和y軸方向消失。調(diào)整搜索窗口策略如下

yt+1(xc,yc)=yt(xc,yc)

(13)

式中yt+1和yt分別為下一幀和當(dāng)前幀初始搜索窗口中心；wt+1和wt分別為下一幀和當(dāng)前幀初始搜索窗口的寬度；ht+1和ht分別為下一幀和當(dāng)前幀初始搜索窗口的高度。

排除原因(2)即認(rèn)為原因(1)導(dǎo)致目標(biāo)丟失，根據(jù)當(dāng)前幀初始搜索窗口的直方圖概率模型、目標(biāo)模板的Bhattacharyya系數(shù)B0和前10幀搜索窗口與模板的Bhattacharyya系數(shù)的均值Ba，調(diào)整搜索窗口策略如式(14)。如果調(diào)整搜索窗口后，仍找不到目標(biāo)，將保持第一次丟失前搜索窗口位置和大小不變，等待目標(biāo)再次出現(xiàn)在視野中重新被定位。

(14)

綜上，改進(jìn)的Camshift算法流程如圖2所示。

圖2 改進(jìn)的Camshift算法流程

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)平臺(tái)為自主研制3層架構(gòu)模型的機(jī)器人實(shí)時(shí)目標(biāo)跟蹤系統(tǒng)，實(shí)物如圖3所示。

圖3 跟蹤平臺(tái)實(shí)物

如圖4所示，跟蹤帶有紅色標(biāo)記的移動(dòng)小車(chē)，用b標(biāo)識(shí)的橢圓框表示基于Kalman濾波最優(yōu)估計(jì)得到的目標(biāo)位置，用a標(biāo)識(shí)的橢圓框表示基于Camshift跟蹤得到的目標(biāo)位置。從結(jié)果中可以看出，利用本文提出的基于Kalman濾波最優(yōu)估計(jì)修正Camshift跟蹤位置，能夠獲得更完美的跟蹤狀態(tài)。

圖4 跟蹤結(jié)果

為了證說(shuō)明本文設(shè)計(jì)的Kalman濾波器對(duì)目標(biāo)運(yùn)動(dòng)基于速度不變的模型性相比于傳統(tǒng)Camshift算法基于位置不變的運(yùn)動(dòng)模型的精確性，本文設(shè)計(jì)了如下實(shí)驗(yàn)：目標(biāo)以100 mm/s的速度垂直于跟蹤小車(chē)的運(yùn)動(dòng)方向做勻速運(yùn)動(dòng)。分別計(jì)算Kalman濾波器對(duì)下一幀預(yù)測(cè)位置和當(dāng)前目標(biāo)的Camshift得到的位置與下一幀實(shí)際位置預(yù)測(cè)誤差，定義如下

(15)

式中x＇k，y＇k分別為第k幀的預(yù)測(cè)值位置；(xk，yk)為第k幀目標(biāo)的實(shí)際位置；(xc，yc)為圖像中心坐標(biāo)。如圖5，給出了Kalman預(yù)測(cè)位置誤差和傳統(tǒng)Camshift預(yù)測(cè)位置誤差。

圖5 目標(biāo)位置預(yù)測(cè)誤差

可知，Kalman預(yù)測(cè)位置誤差小于傳統(tǒng)Camshift算法。說(shuō)明基于Kalman濾波器目標(biāo)位置預(yù)測(cè)能夠更加逼近于實(shí)際目標(biāo)位置，減少迭代次數(shù)，從而提升Camshift運(yùn)算速度及跟蹤的實(shí)時(shí)性。表1給出了系統(tǒng)時(shí)間性能指標(biāo)。

表1 算法實(shí)時(shí)性能

為了驗(yàn)證改進(jìn)的算法對(duì)快速運(yùn)動(dòng)目標(biāo)的適應(yīng)性，比較傳統(tǒng)Camshift算法和本文提出算法對(duì)快速運(yùn)動(dòng)目標(biāo)的跟蹤效果，過(guò)程如圖6和圖7。從圖中可以看出，傳統(tǒng)Camshift算法在跟蹤快速移動(dòng)的目標(biāo)時(shí)，由于相鄰兩幀圖像目標(biāo)位移過(guò)大導(dǎo)致目標(biāo)跟丟。而改進(jìn)的算法對(duì)目標(biāo)下一幀窗口位置進(jìn)行Kalman預(yù)測(cè)，提高兩幀目標(biāo)的關(guān)聯(lián)性，從而能夠跟蹤快速移動(dòng)的目標(biāo)。

圖6 Camshift 算法目標(biāo)跟蹤結(jié)果

圖7 改進(jìn)算法目標(biāo)跟蹤結(jié)果

圖8所示，當(dāng)目標(biāo)快速移動(dòng)超出攝像頭拍攝圖像的視野，跟蹤機(jī)器人會(huì)根據(jù)丟失前對(duì)目標(biāo)運(yùn)動(dòng)的預(yù)測(cè)自適應(yīng)調(diào)整小車(chē)的位姿，使目標(biāo)能夠再次出現(xiàn)在攝像頭視野內(nèi)，并再次跟蹤目標(biāo)，提高了系統(tǒng)的魯棒性。

圖8 目標(biāo)丟失及重新跟蹤過(guò)程

為了進(jìn)一步說(shuō)明所設(shè)計(jì)的跟蹤平臺(tái)能夠有效地跟蹤目標(biāo)，圖9和圖10給出了目標(biāo)勻速直線(xiàn)運(yùn)動(dòng)和勻速圓周運(yùn)動(dòng)，140 s以后目標(biāo)停止運(yùn)動(dòng)三種狀態(tài)的目標(biāo)跟蹤過(guò)程中，跟蹤小車(chē)與目標(biāo)的實(shí)際距離和圖像中目標(biāo)中心位置偏離圖像中間的像素點(diǎn)值(xc-160)。其中xc=cols/z圖像的分辨率為rows×cols。跟蹤平臺(tái)的跟蹤距離設(shè)定值為70 cm，偏離中心位置設(shè)定值為0 像素。由圖可知，設(shè)計(jì)的跟蹤平臺(tái)在跟蹤不同運(yùn)動(dòng)狀態(tài)的目標(biāo)過(guò)程中，始終能夠平滑的調(diào)整位姿，實(shí)現(xiàn)快速跟蹤，且在目標(biāo)停止運(yùn)動(dòng)時(shí)，能夠快速收斂于設(shè)定位姿。

圖9 目標(biāo)直線(xiàn)運(yùn)動(dòng)過(guò)程中相對(duì)位姿

圖10 目標(biāo)圓周運(yùn)動(dòng)過(guò)程中相對(duì)位姿

4 結(jié) 論

本文基于自主研制的小車(chē)目標(biāo)跟蹤系統(tǒng)，采用提出的基于Kalman濾波的改進(jìn)的Camshift算法，能夠克服目標(biāo)快速移動(dòng)部分遮擋和少量相似背景顏色的干擾問(wèn)題，提出的自適應(yīng)調(diào)整搜索窗口方案能夠極大程度提升系統(tǒng)的穩(wěn)定性和魯棒性。經(jīng)實(shí)驗(yàn)表明：設(shè)計(jì)的目標(biāo)跟蹤系統(tǒng)，實(shí)時(shí)性好，穩(wěn)定性好，跟蹤精度高，能夠適應(yīng)快速移動(dòng)目標(biāo)的跟蹤。但是當(dāng)背景有相似顏色干擾時(shí)，系統(tǒng)不能很好的區(qū)別背景和目標(biāo)，導(dǎo)致跟蹤精度下降或者目標(biāo)丟失，這也是下一步工作需要解決的問(wèn)題。

[1] Anderson G T,Tunstel E W,Wilson E W.Robot systemto search for signs of life on Mars[J].IEEE Transactions on Aerospace and Electronic Systems,2007,22(12):23-30.

[2] Ksenia S,John K T.Visual search for an object in a 3D environment using a mobile robot[J].Image vision Comput,2010,114(5):537-547.

[3] 胡桂林,流波峰,何玉成.基于遺傳算法的Canny邊緣檢測(cè)算子在配藥機(jī)器人中的應(yīng)用[J].傳感器與微系統(tǒng),2013,32(7):141-143.

[4] Bouwmans T.Recent advanced statiscal back ground modeling for foreground detection a systematic survey[J].Recent Patents on Computer Science,2011,4(13):147-176.

[5] Daniilidis K,Krauss C,Hansen M,et al.Real-time tracking of moving objects with an active camera[J].Real-Time Imaging 1998,4(1):3-20.

[6] Kassir M M,Palhang M.A region-based Camshift tracking with a moving camera[C]∥2014 The Second RSI/ISM International Conference on In Robotics and Mechatronics(ICRoM),IEEE,2014:451-455.

[7] 耿盛濤,劉國(guó)棟.一種穩(wěn)健的移動(dòng)機(jī)器人目標(biāo)跟蹤算法[J].傳感器與微系統(tǒng),2011,30(6):112-116.

[8] Bradski G R.Real-time face and object tracking as acomponent of a perceptual user interface[C]∥Proceedingof IEEE Workshop on Applications of Computer Vision，Princeton,NJ,USA,1998, IEEE Computer Society,1998:214-219.

[9] 王 璐,崔益安,蘇 虹,等.移動(dòng)機(jī)器人的運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)與跟蹤[J].計(jì)算機(jī)工程與應(yīng)用，2015,15(33):30-33.

[10] 施 瀅,高建坡,崔 杰,等.分塊多特征自適應(yīng)融合的多目標(biāo)視覺(jué)跟蹤[J].傳感器與微系統(tǒng),2015,34(9):128-131.

[11] 虞 旦,韋 魏.基于單目視覺(jué)的移動(dòng)機(jī)器人跟隨[J].儀器儀表學(xué)報(bào),2010,31(3):659-664.

[12] 徐一鳴,陸 觀,顧菊平.基于N-LBP紋理與色度信息的Camshift跟蹤算法[J].計(jì)算機(jī)科學(xué),2015,42(6):313-317.

Designandimplementationofreal-timetargettrackingsystemforrobot*

ZHAO De-chao, PENG Li

(SchoolofIoTEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at real-time and robustness requirement of target tracking requirement of mobile robot using monocular camera,an improved target tracking Camshift algorithm based on Kalman filter.To compensate the offset of the object appearring in the image sequences caused by camera and object relatively moving,use the Kalman predicted value as target initial position.When the object is lost from the tracking system,analyze the reasons at once.And accordingly,the size of search window is expanded adaptively,which act as the initial search window of next frame of Camshift algorithm.An real-time target tracking system for robot is developed to verify the effectiveness of the proposed algorithm.Experimental results show that the target tracking system using the proposed algorithm is capable of good real-time characteristic,and robustness.

target tracking; Camshift algorithm; Kalman filter; search window

10.13873/J.1000—9787(2017)12—0087—04

TP 242

A

1000—9787(2017)12—0087—04

2016—09—30

國(guó)家自然科學(xué)基金資助項(xiàng)目(61203147,61374047,61403168)

趙德超(1992-)，男，碩士研究生，主要研究方向?yàn)橹悄芟到y(tǒng)與模式識(shí)別，E—mail:254266718@qq.com。彭 力(1967-)，男，通訊作者，博士研究生，教授，主要從事視覺(jué)傳感器網(wǎng)絡(luò)、人工智能及計(jì)算機(jī)仿真的研究工作，E—mail:pengli@jiangnan.edu.cn。