李興瑋,陳慧敏,呂林玨,關(guān)少杰

(國(guó)防科技大學(xué) 智能科學(xué)學(xué)院， 湖南 長(zhǎng)沙 410073)

基于檢測(cè)的在線多目標(biāo)跟蹤策略是利用檢測(cè)器處理當(dāng)前采集的視頻幀，根據(jù)反饋的檢測(cè)響應(yīng)進(jìn)一步提取感興趣區(qū)域的視覺(jué)信息并與過(guò)去幀中的軌跡找尋最優(yōu)匹配，整個(gè)過(guò)程相互迭代、更新[1]。目標(biāo)跟蹤往往被分為基于批量處理和基于當(dāng)前幀處理(即離線模型和在線模型)[1-2]。離線模型[3]利用先驗(yàn)信息和未來(lái)視覺(jué)信息建立軌跡全局最優(yōu)解，存在較大的計(jì)算量和復(fù)雜性，因此選擇符合實(shí)際場(chǎng)合實(shí)時(shí)性要求的在線模型。一直以來(lái)，行人跟蹤在目標(biāo)跟蹤領(lǐng)域是一項(xiàng)亟須解決的技術(shù)，同時(shí)行人也是機(jī)器人輔助自動(dòng)駕駛、導(dǎo)航系統(tǒng)中最受關(guān)注的目標(biāo)。因此，本文重點(diǎn)研究并改進(jìn)一種基于檢測(cè)的在線多行人跟蹤器?；趩文恳苿?dòng)相機(jī)拍攝的視頻序列的行人跟蹤技術(shù)中，運(yùn)動(dòng)模型是區(qū)分多個(gè)相似外觀行人的重要線索。Kim和Bae等[4-5]分別提出了一階、二階運(yùn)動(dòng)模型對(duì)目標(biāo)進(jìn)行位置預(yù)測(cè)，之后提出了勻變速模型[6]和非勻變速模型[7]。關(guān)于目標(biāo)間的運(yùn)動(dòng)模型大部分都是相互獨(dú)立的，這種情況會(huì)隨著攝像機(jī)的運(yùn)動(dòng)造成不可挽回的累積誤差，最終導(dǎo)致跟蹤失敗。因此，研究人員開(kāi)始嘗試在不同的目標(biāo)之間建立聯(lián)系。Leal-Taixé等[8]考慮了行人之間的速度約束、避讓斥力和群組拉力。王江峰等[9]使用雙向時(shí)空連續(xù)性迭代關(guān)聯(lián)。Yoon等[10]首次提出相對(duì)運(yùn)動(dòng)網(wǎng)絡(luò)模型的概念，實(shí)驗(yàn)結(jié)果可以看出該模型在攝像機(jī)輕微抖動(dòng)和運(yùn)動(dòng)下較好地保持了目標(biāo)原本的軌跡。上述各類基于目標(biāo)間相對(duì)運(yùn)動(dòng)信息的跟蹤器在一定程度上緩解了攝像機(jī)移動(dòng)和相似外觀造成的跟蹤模糊。主要考慮高級(jí)駕駛輔助系統(tǒng)和機(jī)器人導(dǎo)航等在線采集圖像系統(tǒng)中的目標(biāo)跟蹤問(wèn)題，重點(diǎn)研究基于多目標(biāo)的空間結(jié)構(gòu)信息[7]來(lái)描述目標(biāo)之間相對(duì)運(yùn)動(dòng)關(guān)系，融合最新提出的基點(diǎn)匹配事件策略[11]，重新定義相對(duì)運(yùn)動(dòng)網(wǎng)絡(luò)中的損失函數(shù)，并改進(jìn)門(mén)限算法應(yīng)用過(guò)程中的相似性度量。為了緩解檢測(cè)器的誤檢問(wèn)題，利用結(jié)構(gòu)約束對(duì)漏跟蹤目標(biāo)進(jìn)行軌跡恢復(fù)，使得整個(gè)算法魯棒性更強(qiáng)。

1 模型描述

將視頻多目標(biāo)跟蹤問(wèn)題轉(zhuǎn)換為分層數(shù)據(jù)關(guān)聯(lián)的搜索問(wèn)題。整個(gè)算法步驟為：輸入檢測(cè)響應(yīng)，提取目標(biāo)區(qū)域的特征并初始化目標(biāo)之間的相對(duì)運(yùn)動(dòng)模型，類似相對(duì)運(yùn)動(dòng)網(wǎng)絡(luò)[10]；關(guān)聯(lián)成功的軌跡和新的檢測(cè)響應(yīng)，利用事件匹配算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)；利用相對(duì)運(yùn)動(dòng)恢復(fù)漏跟蹤目標(biāo)的軌跡；更新目標(biāo)狀態(tài)和相對(duì)運(yùn)動(dòng)模型。下面介紹算法中所用的模型。在下面公式中忽略時(shí)間參數(shù)，S表示視頻序列所有目標(biāo)狀態(tài)集,D表示檢測(cè)響應(yīng)集，A表示目標(biāo)軌跡和檢測(cè)響應(yīng)的分配事件集。 其中，目標(biāo)軌跡標(biāo)簽集i∈N，檢測(cè)響應(yīng)標(biāo)簽集k∈M，當(dāng)前幀目標(biāo)之間的相對(duì)運(yùn)動(dòng)集R。

1.1 相對(duì)運(yùn)動(dòng)模型

(1)

1.2 分配事件模型

把檢測(cè)響應(yīng)和目標(biāo)軌跡之間的匹配方案定義為ai,k∈A，即{ai,k=1}表示檢測(cè)響應(yīng)k被分配給目標(biāo)軌跡i，反之亦然。檢測(cè)響應(yīng)集D{dk∈D}的標(biāo)簽集k∈M，要求每一個(gè)檢測(cè)響應(yīng)僅分配一條軌跡或生成新軌跡；每一條軌跡僅接受一個(gè)檢測(cè)響應(yīng)或結(jié)束跟蹤。可以通過(guò)損失成本函數(shù)計(jì)算目標(biāo)軌跡與檢測(cè)響應(yīng)之間的相似程度函數(shù)，然后通過(guò)最小化總匹配損失成本來(lái)估計(jì)最佳匹配方案。

A=argminC(S,R,D)

(2)

式中，ai,0為一個(gè)誤檢目標(biāo)的匹配作業(yè)。因此，當(dāng)視頻序列中所有的目標(biāo)i沒(méi)有被檢測(cè)器檢測(cè)出來(lái)的時(shí)候，此時(shí)ai,0個(gè)數(shù)總和等于目標(biāo)的個(gè)數(shù)|N|。

1.3 損失成本模型

目標(biāo)的軌跡是以目標(biāo)在視頻序列中按照時(shí)間變化上的位置、速度和大小的狀態(tài)向量表示。在線多目標(biāo)跟蹤的目的是將當(dāng)前幀的檢測(cè)響應(yīng)同當(dāng)前的軌跡進(jìn)行匹配，或終止軌跡或生成新的軌跡，即尋求最優(yōu)匹配策略。 在當(dāng)前匹配事件ai,k下，結(jié)構(gòu)約束損失函數(shù)為：

C(S,A,R,D)|ai,k

(3)

Ωi,k=Fs(si,dk)+Fa(si,dk)

(4)

(5)

通過(guò)計(jì)算目標(biāo)和檢測(cè)響應(yīng)的巴氏距離來(lái)估計(jì)尺寸損失成本Fs(s,d)。采用顏色直方圖的多色觀測(cè)模型估計(jì)外觀損失成本Fa(s,d)。通過(guò)連接檢測(cè)邊界框和目標(biāo)跟蹤邊界框的重疊率來(lái)估計(jì)位置損失成本Fc(si,r〈j,i〉,dk,dq)。

2 數(shù)據(jù)關(guān)聯(lián)算法

2.1 結(jié)構(gòu)約束事件匹配算法

為了更好進(jìn)行下一步的匹配作業(yè)，設(shè)置一個(gè)基準(zhǔn)匹配，基于結(jié)構(gòu)約束對(duì)剩下的目標(biāo)和檢測(cè)結(jié)果進(jìn)行匹配作業(yè)，匹配過(guò)程詳見(jiàn)文獻(xiàn)[11]。由于可以根據(jù)相應(yīng)基準(zhǔn)匹配的數(shù)量多次測(cè)量每個(gè)分配作業(yè)的成本，這個(gè)過(guò)程可以顯著減少由于目標(biāo)附近的誤報(bào)、錯(cuò)誤檢測(cè)和約束錯(cuò)誤導(dǎo)致的歧義。

2.2 漏跟蹤目標(biāo)恢復(fù)算法

3 多目標(biāo)跟蹤框架

充分利用目標(biāo)之間的相對(duì)運(yùn)動(dòng)信息改進(jìn)數(shù)據(jù)關(guān)聯(lián)框架。當(dāng)目標(biāo)匹配成功且出現(xiàn)新的檢測(cè)響應(yīng)時(shí)，采用結(jié)構(gòu)約束事件匹配算法，否則采用原貝葉斯框架[10]進(jìn)行數(shù)據(jù)關(guān)聯(lián)。在算法1中描述了在線多目標(biāo)跟蹤的整個(gè)過(guò)程。

算法1 在線多目標(biāo)跟蹤框架

由于攝像機(jī)的移動(dòng)，目標(biāo)間相對(duì)運(yùn)動(dòng)模型的方向和速度是動(dòng)態(tài)的，采用分段線性恒速模型對(duì)時(shí)變運(yùn)動(dòng)進(jìn)行建模。其中，干擾假定為高斯白噪聲。兩個(gè)檢測(cè)響應(yīng)的位置差定義為觀測(cè)量并使用卡爾曼濾波器[12]更新相對(duì)運(yùn)動(dòng)集R。漏跟蹤目標(biāo)使用勻速運(yùn)動(dòng)模型進(jìn)行簡(jiǎn)單預(yù)測(cè)。

目標(biāo)的新建和終止與Breitenstein等[13]提出的目標(biāo)初始化方法類似，即使用兩次檢測(cè)響應(yīng)之間的重疊距離閾值判斷方法進(jìn)行新目標(biāo)軌跡以及對(duì)應(yīng)的相對(duì)運(yùn)動(dòng)模型的初始化和終止。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)平臺(tái)

該實(shí)驗(yàn)在配置為Inter(R)Core TM i5-3230M CPU @ 2.60GHz處理器、4 GB內(nèi)存、64位Windows操作系統(tǒng)的筆記本電腦上運(yùn)行。下載MOT2015競(jìng)賽[14]中的公開(kāi)視頻序列和Xiang等[15]提供的檢測(cè)響應(yīng)進(jìn)行測(cè)試，采用的數(shù)據(jù)集的圖像屬性與相機(jī)配置等如表1所示。表中的密度表示序列中行人的稠密程度，值越大代表行人稠度程度越大。

表1 MOT2015應(yīng)用的序列介紹

4.2 評(píng)價(jià)方法

采用了Bernardin等[16]設(shè)計(jì)的針對(duì)多目標(biāo)跟蹤技術(shù)的CLEAR MOT評(píng)價(jià)體系，是將實(shí)驗(yàn)結(jié)果與原圖像的實(shí)際軌跡按照指標(biāo)求解算法得到最終結(jié)果。參考的指標(biāo)內(nèi)容如表2所示。表2列舉了文獻(xiàn)[16]中的幾個(gè)主要性能指標(biāo)，文中性能對(duì)比采用的指標(biāo)根據(jù)實(shí)際情況進(jìn)行必要的刪減和添加。多目標(biāo)跟蹤準(zhǔn)確度(Multiple Object Tracking Accuracy, MOTA)和多目標(biāo)跟蹤精確度(Multiple Object Tracking Precision, MOTP)是本文最為關(guān)注的兩項(xiàng)指標(biāo)。

MOTA代表了多目標(biāo)跟蹤性能的總體指標(biāo)。

式中，F(xiàn)Nt、FPt和IDswt分別代表了軌跡在第t幀的錯(cuò)誤匹配次數(shù)、錯(cuò)誤檢測(cè)次數(shù)和身份轉(zhuǎn)化次數(shù)，GTt是地表實(shí)值中真實(shí)目標(biāo)軌跡的總數(shù)。

MOTP描述了跟蹤結(jié)果與地表實(shí)值之間的重疊比例。

表2 CLEAR MOT主要評(píng)價(jià)指標(biāo)

4.3 實(shí)驗(yàn)一

選取移動(dòng)攝像機(jī)從不同視角拍攝的ETH-Bahnhof、ETH-Pedcross2和KITTI-13視頻序列[17]，為了驗(yàn)證算法的普適性，同樣選擇了兩組由靜止攝像機(jī)拍攝的TUD-Campus和Venice-2視頻序列。為了直觀顯示出改進(jìn)算法框架較原來(lái)算法在總體性能上提高的效果，對(duì)MOTA、MOTP和IDsw三大性能指標(biāo)進(jìn)行分析，如圖1所示。從圖1中可以看出，改進(jìn)算法可以在保持高跟蹤精度的前提下，提高跟蹤準(zhǔn)確度，比如TUD-Campus序列MOTA指標(biāo)從77.4%提高至78.6%；ETH-Bahnhof序列的MOTA指標(biāo)從55.8%提高至57.6%；特別是鏡頭移動(dòng)幅度大、遮擋嚴(yán)重的KITTI-13序列的MOTA指標(biāo)提高了26%。這也間接說(shuō)明算法在靜止攝像機(jī)拍攝的視頻中具有優(yōu)良性能。身份轉(zhuǎn)換次數(shù)是衡量目標(biāo)跟蹤過(guò)程中保持目標(biāo)身份完整性的指標(biāo)。從圖1(c)可以看出，改進(jìn)算法大幅度地減少了IDsw，特別是在序列ETH-Pedcross2和ETH-Bahnhof中，IDsw值降低超過(guò)了35%，有利于提高跟蹤識(shí)別的準(zhǔn)確性。同時(shí)也可以看出，KITTI-13中IDsw值是增加的。

(a) 不同序列的跟蹤準(zhǔn)確度(a) MOTA for different sequences

(b) 不同序列的跟蹤精確度(b) MOTP for different sequences

(c) 不同序列的身份轉(zhuǎn)換次數(shù)(c) IDsw for different sequences圖1 改進(jìn)算法和原算法的對(duì)比Fig.1 Comparison between improved algorithm and original algorithm

為了進(jìn)一步考察算法的實(shí)時(shí)性效率，以算法執(zhí)行總時(shí)長(zhǎng)(單位為s)和幀率(單位為幀/s)來(lái)進(jìn)行效率對(duì)比?；谝恢碌捻憫?yīng)集，多次測(cè)量取平均估計(jì)值，最終結(jié)果如表3所示。

表3 算法的運(yùn)行效率分析

從表3的數(shù)據(jù)可以看出，算法在五段序列下的總運(yùn)行時(shí)間達(dá)到50 s左右，平均幀率約為25幀/s。序列時(shí)長(zhǎng)較短和硬件平臺(tái)內(nèi)存運(yùn)行不穩(wěn)定等因素導(dǎo)致個(gè)別序列與總體估計(jì)值存在較大誤差。本節(jié)展示了各個(gè)序列的平均行人密度，可以大致認(rèn)為密度越大的序列下，算法運(yùn)行的速度越快。增大視頻集的數(shù)據(jù)量，穩(wěn)定算法的最終幀率，也是下一步工作重點(diǎn)。

4.4 實(shí)驗(yàn)二

針對(duì)應(yīng)用最廣的TUD-Campus視頻序列，算法的最終序列跟蹤結(jié)果如圖2所示，對(duì)比實(shí)驗(yàn)的量化指標(biāo)參考表4。為了更加直觀地展示實(shí)驗(yàn)結(jié)果，一共選擇5種離線算法和3種在線算法的最終結(jié)果進(jìn)行對(duì)比。

針對(duì)序列TUD-Campus，表4中的加粗部分是該指標(biāo)下最好的結(jié)果?？梢钥闯觯何墨I(xiàn)[21]的離線算法的MOTA指標(biāo)最優(yōu)，利用未來(lái)幀信息的離線算法在數(shù)據(jù)關(guān)聯(lián)中比在線方案更容易得到全局最優(yōu)解。本文在線算法的MOTP指標(biāo)最優(yōu)。本文算法的其他指標(biāo)與其他算法接近，緩解了序列中軌跡碎片的問(wèn)題，較好地保持了目標(biāo)的完整軌跡。圖2顯示了序列上的跟蹤情況。目標(biāo)1在整個(gè)序列中保持了完整的軌跡和唯一的標(biāo)記。在目標(biāo)4橫穿目標(biāo)3、 5和6的過(guò)程中，目標(biāo)3、 4、 5和6都很好地保持了原本的身份標(biāo)記。特別是在第19幀，正確跟蹤到了相互遮擋嚴(yán)重的目標(biāo)1、 4和5。對(duì)于一開(kāi)始遮擋嚴(yán)重的行人，跟蹤算法存在一定的問(wèn)題，比如目標(biāo)7開(kāi)始時(shí)并沒(méi)有被跟蹤上，只有在第28幀的時(shí)候才開(kāi)始跟蹤。目標(biāo)8在第55幀才開(kāi)始跟蹤。這一方面說(shuō)明了算法對(duì)起始遮擋就很嚴(yán)重的目標(biāo)不敏感，另一方面也說(shuō)明了算法在后期處理遮擋、漏跟蹤有很大的作用。

圖2 在序列TUD-Campus的跟蹤效果Fig.2 Result of TUD-Campus sequence

表4 在TUD-Campus序列的不同跟蹤結(jié)果

5 結(jié)論

視頻中多目標(biāo)間的運(yùn)動(dòng)模型受到攝像機(jī)的運(yùn)動(dòng)影響變得難以預(yù)測(cè)。一個(gè)魯棒的多行人跟蹤器除了需要估計(jì)未知數(shù)量的視頻中感興趣的目標(biāo)及其各自獨(dú)有的軌跡，還應(yīng)在漏跟蹤和誤檢的時(shí)候能夠恢復(fù)，減少檢測(cè)失敗造成的跟蹤失敗。本文重點(diǎn)研究了由目標(biāo)間的位置和速度搭建的相對(duì)運(yùn)動(dòng)網(wǎng)絡(luò)，利用相對(duì)運(yùn)動(dòng)對(duì)漏跟蹤目標(biāo)進(jìn)行恢復(fù)，采用分層數(shù)據(jù)關(guān)聯(lián)的方法對(duì)分配事件進(jìn)行管理。利用恢復(fù)漏跟蹤目標(biāo)算法對(duì)算法進(jìn)行優(yōu)化，提出改進(jìn)的數(shù)據(jù)關(guān)聯(lián)解決方案，以更詳盡的方式估計(jì)目標(biāo)與檢測(cè)之間的分配。為了驗(yàn)證所提數(shù)據(jù)關(guān)聯(lián)算法的有效性，利用了接受度最廣、使用率最高的公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)驗(yàn)證并取得了較好的實(shí)驗(yàn)結(jié)果。該框架的跟蹤性能較原始框架有了很大的提高并且可以和先進(jìn)的離線跟蹤算法媲美。

分析實(shí)驗(yàn)效果可知，本算法針對(duì)攝像機(jī)視野中的大目標(biāo)具有良好的普適性，相對(duì)運(yùn)動(dòng)模型可以很好地解決部分遮擋和交叉問(wèn)題。然而，也正由于該模型的存在，當(dāng)出現(xiàn)誤檢目標(biāo)時(shí)，如果沒(méi)有即時(shí)消除該目標(biāo)的相對(duì)運(yùn)動(dòng)模型會(huì)造成下一幀的其他目標(biāo)跟蹤失敗。該算法容易丟失序列中尺度差距較大的目標(biāo)。因此下一步的主要工作是修正相對(duì)運(yùn)動(dòng)模型，考慮過(guò)去幀的信息對(duì)跟蹤模糊的目標(biāo)進(jìn)行更新，并繼續(xù)完善損失函數(shù)中的相似度度量，使得算法可以魯棒地跟蹤尺度差距明顯的目標(biāo)和小目標(biāo)。

本文對(duì)算法的跟蹤準(zhǔn)確度和精確度做重點(diǎn)研究。受硬件平臺(tái)影響未對(duì)實(shí)時(shí)性做重點(diǎn)評(píng)估。往往高精度需要降低運(yùn)行效率作為代價(jià)?；谟邢薜钠脚_(tái)下，根據(jù)實(shí)際需求評(píng)估算法的準(zhǔn)確度和實(shí)時(shí)要求的平衡問(wèn)題也是不容忽視的。因此實(shí)時(shí)性重要考察指標(biāo)也將是下一步工作的重點(diǎn)。