毛 琳，程 凡，許燁豪

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

在移動(dòng)機(jī)器人視覺(jué)行人跟蹤應(yīng)用中，復(fù)雜的街道景觀和各種公共交通設(shè)施會(huì)對(duì)行人運(yùn)動(dòng)跟蹤造成影響，干擾算法對(duì)目標(biāo)顏色、紋理等信息的捕獲，從而降低算法的有效性。近些年來(lái)在行人目標(biāo)跟蹤研究領(lǐng)域中，大多將目標(biāo)視為獨(dú)立整體，采用粒子類濾波器對(duì)其進(jìn)行跟蹤。文獻(xiàn)[1]中提出交互式粒子濾波方法，通過(guò)分析不同目標(biāo)間的遮擋關(guān)系，自適應(yīng)選擇不同外觀模型進(jìn)行相似度測(cè)量，更新粒子權(quán)重，實(shí)現(xiàn)遮擋條件下的準(zhǔn)確跟蹤。文獻(xiàn)[2]提出一種迭代粒子濾波算法，通過(guò)采樣粒子迭代收斂到更接近真實(shí)目標(biāo)狀態(tài)，提高計(jì)算精度。文獻(xiàn)[3]提出一個(gè)閉塞感知的粒子濾波框架，通過(guò)預(yù)測(cè)新出現(xiàn)的遮擋，更新目標(biāo)模板，擴(kuò)大遮擋目標(biāo)搜索區(qū)域，并在閉塞后給予目標(biāo)快速恢復(fù)，在復(fù)雜非遮擋場(chǎng)景中具有較好的魯棒性。文獻(xiàn)[4]根據(jù)測(cè)量對(duì)象的運(yùn)動(dòng)模式，擴(kuò)展了現(xiàn)有的跟蹤遮擋處理和漂移校正算法，預(yù)測(cè)目標(biāo)位置變化控制模型更新，實(shí)現(xiàn)遮擋目標(biāo)情況下的準(zhǔn)確跟蹤，其他算法如文獻(xiàn)[5-9]。

本文提出一種多部件行人粒子濾波器跟蹤(Multi-part Pedestrian particle filter Tracking，MPT)算法，以方向梯度直方圖(Histograms of Oriented Gradients，HOG)目標(biāo)檢測(cè)直立行人身體部件為獨(dú)立被跟蹤單元，應(yīng)用獨(dú)立的粒子濾波器進(jìn)行跟蹤，以此提高目標(biāo)整體跟蹤效果。在消除引入多部件跟蹤后，一旦某行人部件因街道景物遮擋而致使跟蹤失效，無(wú)法確定行人真實(shí)目標(biāo)位置的問(wèn)題，創(chuàng)新性地引入彈簧彈力模型模糊決策算法，對(duì)多個(gè)部件跟蹤進(jìn)行校準(zhǔn)和控制，實(shí)現(xiàn)復(fù)雜街道環(huán)境下的直立行人跟蹤。

1 多部件行人跟蹤算法

1.1 多部件粒子跟蹤

本文所提多部件粒子跟蹤算法可分為三個(gè)邏輯模塊(如圖1)：模塊A為多部件粒子濾波跟蹤模塊，在對(duì)行人目標(biāo)進(jìn)行部件檢測(cè)基礎(chǔ)上，引入多個(gè)相互獨(dú)立的基于顏色直方圖的粒子濾波器，對(duì)各部件進(jìn)行跟蹤；模塊B為模糊決策模塊，利用基于彈簧模型的模糊決策算法來(lái)減少部件跟蹤失效的風(fēng)險(xiǎn)，提高行人跟蹤效果；模塊C是跟蹤校準(zhǔn)模塊，獲取行人檢測(cè)結(jié)果來(lái)提高目標(biāo)跟蹤的正確性。

圖1 MPT算法邏輯圖

多部件的劃分采用可變形部件目標(biāo)檢測(cè)算法[10]，使用基于方向梯度直方圖的可變形部件模型，如圖2。此模型包含了一個(gè)覆蓋整個(gè)行人目標(biāo)的根濾波器和目標(biāo)部件濾波器。根濾波器描述整個(gè)行人目標(biāo)的形狀，而部件濾波器有效地描述行人目標(biāo)的局部結(jié)構(gòu)，比如行人的頭、軀干及四肢等。由于HOG特征的不同，各個(gè)部件濾波器得分對(duì)根濾波器綜合得分的貢獻(xiàn)值不同，所以涉及到部件重要程度排列問(wèn)題。圖2(a)、(b)以3個(gè)部件為例來(lái)說(shuō)明多部件重要程度關(guān)系，圖2(c)數(shù)字1表示重要程度高，數(shù)字3最低，MPT算法以該重要程度為后續(xù)多部件跟蹤的依據(jù)，計(jì)算行人直立中垂線位置。

(a) (b) (c) (d)(a)部件模型；(b)空間模型；(c)檢測(cè)結(jié)果；(d)多部件粒子濾波器示意圖2 行人目標(biāo)部件劃分與跟蹤濾波器區(qū)域示意圖

在MPT算法實(shí)際跟蹤過(guò)程中，采用視頻中的某一幀圖像作為輸入，可變形部件模型會(huì)給出直立行人的多個(gè)部件塊。根據(jù)任一部件塊的頂點(diǎn)坐標(biāo)來(lái)確定粒子目標(biāo)跟蹤器初始化橢圓區(qū)域，獲取行人各部件相應(yīng)的色彩紋理信息?；陬伾卣鞯牧Ｗ訛V波器針對(duì)橢圓區(qū)域中的顏色特征進(jìn)行統(tǒng)計(jì)計(jì)算，綜合多個(gè)橢圓區(qū)域的跟蹤結(jié)果來(lái)確定行人可能的邊界框。圖2(d)中每一個(gè)橢圓區(qū)域均為一個(gè)獨(dú)立粒子跟蹤器，長(zhǎng)方形外接矩形為行人目標(biāo)輸出框。

1.2 彈簧彈力模型模糊決策

無(wú)論將行人劃分為多少個(gè)不同的部件區(qū)塊，都應(yīng)保證行人目標(biāo)的整體完整性。當(dāng)某一部件因?yàn)檎趽醵霈F(xiàn)跟蹤失效時(shí)，行人目標(biāo)框的計(jì)算也會(huì)隨之發(fā)生錯(cuò)誤，最后導(dǎo)致無(wú)法判定行人的真實(shí)位置而致使跟蹤失敗，如圖3。

(a)第50幀，行人腿部未被遮擋

(b)第100幀，行人腿部被部分遮擋

針對(duì)此情況引入彈簧彈力模型模糊決策機(jī)制，設(shè)行人目標(biāo)中垂線為彈簧固定點(diǎn)，中垂線由HOG檢測(cè)器給出行人目標(biāo)框計(jì)算所得。濾波器為彈簧負(fù)載，粒子濾波顏色統(tǒng)計(jì)作用的橢圓區(qū)域中心點(diǎn)為彈簧部件中心連接點(diǎn)，粒子濾波器作用于橢圓區(qū)域的彈簧連接如圖4。

圖4 基于彈簧的模型示意圖

應(yīng)用標(biāo)準(zhǔn)Mamdani模型的模糊邏輯系統(tǒng)的鐘型隸屬函數(shù)來(lái)進(jìn)行決策，解決部件偏離應(yīng)有位置的失效問(wèn)題，其模糊邏輯形式為

IFx1isA1andx2isA2and…xnisAn

THENyisB。

(1)

式中：Ai(i=1,2,...,n)是模糊輸入變量；B是模數(shù)輸出變量。算法采用鐘型隸屬函數(shù)

(2)

式中：x為指定變量的論域范圍；[abc]用以指定鐘型函數(shù)形式，輸入輸出均以像素為單位。

給定模糊控制器的輸入變量是任一行人部件的當(dāng)前位置偏離程度C和位置的變化率R，控制器的輸出是當(dāng)前位置的校正值P。為了精確控制模糊模型，使用負(fù)大(NB)，負(fù)中(NM)，零和接近零(ZE)，正中間(PM)和正大(PB)來(lái)調(diào)整輸入和輸出模糊語(yǔ)言變量集。具有上述輸入和輸出集合的相應(yīng)模糊規(guī)則見(jiàn)表1。隸屬度函數(shù)輸入與輸出關(guān)系曲線如圖5，輸入/輸出特性曲面圖如圖6(單位：像素)。

表1 校正值P模糊規(guī)則表

圖5 隸屬度函數(shù)輸入與輸出關(guān)系曲線

圖6 決策系統(tǒng)輸入/輸出特性曲面圖

1.3 跟蹤校準(zhǔn)

使用跟蹤校準(zhǔn)模塊的目的是對(duì)行人跟蹤結(jié)果進(jìn)行必要修正，從而提高其準(zhǔn)確性。跟蹤過(guò)程需要借助于多部件檢測(cè)算法來(lái)獲取必要的部件參數(shù)，一旦檢測(cè)結(jié)果建立，在一定幀數(shù)內(nèi)可由跟蹤邏輯完全對(duì)行人進(jìn)行相應(yīng)處理操作，在需要時(shí)重啟檢測(cè)。這里，兩次啟動(dòng)檢測(cè)算法模塊的間隔由移動(dòng)機(jī)器人行進(jìn)與行人相對(duì)運(yùn)動(dòng)的最大運(yùn)動(dòng)速度來(lái)決定。這樣做可以降低移動(dòng)機(jī)器人應(yīng)用的計(jì)算復(fù)雜度，為今后的可實(shí)用化發(fā)展提供參考。

2 仿真分析

仿真實(shí)驗(yàn)在Matlab R2014a和Windows 10操作系統(tǒng)進(jìn)行測(cè)試，移動(dòng)機(jī)器人攝像機(jī)為視頻采集設(shè)備，分辨率1280×720，幀率30幀每秒。

2.1 多部件與單部件跟蹤對(duì)比

在室外復(fù)雜場(chǎng)景跟蹤中，單一部件跟蹤方式是將行人視作統(tǒng)一的整體，多部件以多個(gè)部件覆蓋區(qū)域聯(lián)合確定行人目標(biāo)框。在同一場(chǎng)景下對(duì)單部件算法和多部件算法進(jìn)行跟蹤性能對(duì)比，如圖7。單部件跟蹤由于街道環(huán)境的前景和背景復(fù)雜，僅依靠一個(gè)跟蹤器可能會(huì)造成跟蹤不準(zhǔn)確的現(xiàn)象，在顏色紋理等特征不變的情況下，增加部件濾波器進(jìn)行跟蹤能夠抵御更多錯(cuò)誤風(fēng)險(xiǎn)。改變特征檢測(cè)機(jī)制，如采用HOG+顏色紋理等條件，能夠讓單一跟蹤濾波器獲得更好的跟蹤效果。

(a)初始行進(jìn)幀

(b)單部件跟蹤情況

(c)多部件跟蹤情況

2.2 遮擋條件模糊決策仿真

遮擋情況中，以單一行人目標(biāo)跟蹤為仿真主體，采集戶外人行道和公園小路兩個(gè)場(chǎng)景，場(chǎng)景1以垃圾桶為前景，目標(biāo)在前進(jìn)時(shí)受到垃圾桶的遮擋；場(chǎng)景2以街邊廣告牌為前景，目標(biāo)在前進(jìn)時(shí)受到廣告牌遮擋。以多部件檢測(cè)重要程度為依據(jù)，設(shè)定圖8以行人胸部部件為主要參考，圖9以腿部部件為參考。假定兩個(gè)場(chǎng)景中行人為近似勻速運(yùn)動(dòng)，對(duì)比因遮擋失效與使用MPT算法的仿真結(jié)果，如圖8、圖9。仿真結(jié)果表明，本文所提算法在行人部分遮擋后，仍可以能夠有效地提供行人跟蹤輸出框，確保機(jī)器人視覺(jué)檢測(cè)與跟蹤的行人目標(biāo)計(jì)算準(zhǔn)確度，以便于后續(xù)行人辨識(shí)、軌跡規(guī)劃等應(yīng)用。

(a)初始行進(jìn)幀

(b)部分遮擋失效情況

(c)引入模糊決策算法

(a)初始行進(jìn)幀

(b)部分遮擋失效情況

(c)引入模糊決策算法

3 結(jié) 語(yǔ)

本文針對(duì)街道復(fù)雜背景可能對(duì)行人目標(biāo)產(chǎn)生遮擋的問(wèn)題，在現(xiàn)有粒子濾波器的行人跟蹤算法基礎(chǔ)之上，加入多個(gè)粒子濾波器分別跟蹤不同的行人身體部件，形成一種新的視覺(jué)行人跟蹤算法。該算法能夠有效解決將行人目標(biāo)視為單一目標(biāo)進(jìn)行跟蹤時(shí)所出現(xiàn)的遮擋失效問(wèn)題。同時(shí)，針對(duì)行人目標(biāo)多部件協(xié)調(diào)問(wèn)題，引入物理學(xué)彈簧彈力模糊算法，控制決策任一部件跟蹤失敗的情況，實(shí)現(xiàn)對(duì)行人目標(biāo)的實(shí)時(shí)跟蹤，提高行人目標(biāo)跟蹤準(zhǔn)確度。該算法為移動(dòng)機(jī)器人后續(xù)行人目標(biāo)辨識(shí)、測(cè)距、主動(dòng)避障和軌跡規(guī)劃等任務(wù)的實(shí)現(xiàn)提供了可能。

[1] YANG B, YANG R. Interactive particle filter with occlusion handling for multi-target tracking[C]// International Conference on Fuzzy Systems and Knowledge Discovery. Zhangjiajie, IEEE, 2015:1945-1949.

[2] FAN Z, JI H, ZHANG Y. Iterative particle filter for visual tracking[J]. Signal Processing Image Communication, 2015, 36(C):140-153.

[3] MESHGI K, MAEDA S I, OBA S, et al. An occlusion-aware particle filter tracker to handle complex and persistent occlusions[J]// Computer Vision & Image Understanding. USA, Elsevier, 2016, 150:81-94.

[4] VAN G J , ZWEMER M , WIJNHOVEN R G , et al. Occlusion-robust pedestrian tracking in crowded scenes[C]// International Conference on Intelligent Transportation Systems. Las Palmas,IEEE, 2015:919-924.

[5] DIEDERICHS F, SCHüTTKE T, SPATH D. Driver intention algorithm for pedestrian protection and automated emergency braking systems[C]// International Conference on Intelligent Transportation Systems. Las Palmas, IEEE, 2015:1049-1054.

[6] JIANG Z, XU B. Tracking multiple pedestrians through detection failures in videos[C]// International Conference on Control, Automation and Information Sciences. Changshu, IEEE, 2015:420-425.

[7] VAN G J , ZWEMER M H, WIJNHOVEN R G , et al. Occlusion-Robust Pedestrian Tracking in Crowded Scenes[C]// International Conference on Intelligent Transportation Systems. Las Palmas, IEEE, 2015:919-924.

[8] MUKHTAR A, XIA L. Target tracking using color based particle filter[C]// International Conference on Intelligent and Advanced Systems. Kuala Lumpur, IEEE, 2014:1-6.

[9] TANG B, CHIEN S, HUANG Z, et al. Pedestrian protection using the integration of V2V and the Pedestrian Automatic Emergency Braking System[C]// International Conference on Intelligent Transportation Systems. Rio de Janeiro, IEEE, 2016:2213-2218.

[10] FELZENSZWALB P F, GIRSHICK R B, MCALLESTER D, et al. Object Detection with Discriminatively Trained Part-Based Models[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2010, 32(9):1627-45.