楊 晨,路 紅,*,費樹岷,胡云層,湯 皓

(1.南京工程學院自動化學院,南京 211167;2.東南大學自動化學院,南京 210096)

目標跟蹤是利用一定的方法估計視頻或者圖像序列中目標的運動軌跡,該過程須使用檢測器或手動給出初始目標的位置和形狀等觀測信息.然而,一些高性能跟蹤器主要致力于算法魯棒性的提高,初始化階段多手動給出目標信息.Wang等[1]提出的局部稀疏表示在線判別單目標跟蹤算法中采用手動初始化方法.王秩等[2]提出的基于DST-PCR5的多目標跟蹤(multi-target tracking,MTT)算法同樣是手動給出目標初始信息.目前,已有的一些MTT算法[3-6]通過引入檢測環(huán)節(jié)實現(xiàn)自動跟蹤初始化,但是由于采用的檢測和跟蹤算法具有強關(guān)聯(lián)性,故初始化部分不具普適性.結(jié)構(gòu)數(shù)組能將不同類型不同維數(shù)的數(shù)組組合到一起,為管理和維護大數(shù)據(jù)提供了方便.本文擬基于struct函數(shù)構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組實現(xiàn)2個完全獨立的目標檢測與跟蹤模塊的連接且減小工作量,以解決跟蹤系統(tǒng)自動初始化問題,進而實現(xiàn)更多數(shù)據(jù)集的多個目標分類、定位和跟蹤.

1 基于動態(tài)結(jié)構(gòu)數(shù)組的多目標檢測和跟蹤模塊接口參數(shù)選擇

現(xiàn)以文獻[7]多目標檢測算法和文獻[8]多目標跟蹤算法為例,對本文方法進行原理性說明,如圖1所示.圖1中,x,y分別為目標矩形區(qū)域中心點坐標;w,h分別為目標矩形區(qū)域的寬度和高度;Ndetect,Ntrack分別為檢測器和跟蹤器對應的圖像序列幀數(shù),Ntotal為序列圖像的總幀數(shù).將文獻[7-8]分別作為本文方法中的檢測算法和跟蹤算法模塊,兩者的目標特征不完全相同,檢測算法以HOG邊緣、尺度和位置等作為特征,而跟蹤算法則采用了色彩、尺度和速度特征.2種算法互相獨立.

利用檢測算法獲得與跟蹤算法相匹配的目標初始狀態(tài)信息,生成結(jié)構(gòu)體數(shù)組,并自動保存為標準形式的文件.若是視頻首幀,該過程可實現(xiàn)被跟蹤多目標軌跡的全局初始化,并觸發(fā)目標跟蹤算法實現(xiàn)視頻序列全自動MTT;若是非首幀中新出現(xiàn)的目標,則該過程可實現(xiàn)對新目標的動態(tài)初始化.由于本文方法主要是針對MTT初始化的研究,因此這里對具體的檢測與跟蹤算法未詳細展開闡述.

圖1 整體結(jié)構(gòu)流程示意圖Fig.1 Overall structure flow chart

計算目標l的矩形區(qū)域中心點坐標(xl,yl):

(1)

計算目標l的寬度wl和高度hl:

(2)

2 構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組實現(xiàn)跟蹤系統(tǒng)初始化

3) 建立結(jié)構(gòu)體數(shù)組.利用Matlab中的struct函數(shù)定義動態(tài)結(jié)構(gòu)體數(shù)組.x,y,w,h代表struct函數(shù)的4個字段.循環(huán)整個序列的檢測過程,將最終生成的元胞數(shù)組賦值至檢測信息存儲單元D,

(3)

并保存為.mat文件到跟蹤算法程序包指定的文件路徑下.

3 實驗結(jié)果與分析

為了評估本文方法的有效性,筆者在CAVIAR走廊國際標準視頻序列(Dataset1)、自己拍攝的校園視頻(Dataset2)和國際標準數(shù)據(jù)集TUD_Crossing(Dataset3)等3個數(shù)據(jù)集上分別進行實驗,結(jié)果如圖2～4所示.所有實驗均在Matlab R2014b,3.5 GHz CPU PC,Windows 7操作系統(tǒng)下進行.

3.1 實驗方案設計

為了驗證本文方法針對不同跟蹤器全局初始化的自適應性能,現(xiàn)利用CoP檢測方法[7]構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組并分別初始化3個跟蹤算法,設計如下3組初始化實驗:

實驗1: 基于數(shù)據(jù)關(guān)聯(lián)和跟蹤管理(data association and track management,DA-TM)跟蹤算法[8]的多目標初始化.

實驗2: 基于軌跡片段置信度和核相關(guān)濾波器在線跟蹤算法的多目標初始化.該跟蹤方法在實驗1的DA-TM跟蹤框架基礎(chǔ)上,將文獻[9]中Henriques等人提出的核相關(guān)濾波器(kernelized correlation filters,KCF)與文獻[10]中峰旁瓣比相結(jié)合計算被跟蹤目標的外觀得分,以提升計算速度.

實驗3: 基于局部稀疏表示在線判別目標跟蹤算法[1]的多目標初始化.區(qū)別于實驗1～2,本實驗未添加新目標穩(wěn)定出現(xiàn)的判定條件,而是依據(jù)結(jié)構(gòu)數(shù)組中的檢測數(shù)據(jù)在目標出現(xiàn)的圖像首幀初始化跟蹤算法,通過與前兩組實驗對比,證明本文所提判穩(wěn)條件的有效性.該跟蹤算法是針對單目標跟蹤,但本實驗中主要利用檢測數(shù)據(jù)初始化場景中每個有效目標的過完備字典實現(xiàn)多目標跟蹤.

3.2 實驗結(jié)果對比

圖2給出了Dataset1檢測結(jié)果及實驗1～3中Dataset1的跟蹤結(jié)果,由左至右依次為第265幀、第320幀和第360幀圖像.由圖2可見：1) 第265幀圖像中,實驗1和實驗3中正確初始化了目標身份標記ID=1.依據(jù)新出現(xiàn)目標的判穩(wěn)條件,實驗2在初始化目標1的過程中,檢測數(shù)據(jù)沒有滿足5幀內(nèi)穩(wěn)定出現(xiàn)的條件,故該目標未能作為有效目標賦予身份標記;2) 第320幀圖像中,實驗1～3中2個新出現(xiàn)目標均被確定為有效目標,并賦予身份標記ID=2,3.然而實驗3中,由于未設置初始化目標的判穩(wěn)條件,出現(xiàn)了2處誤初始化;3) 第360幀圖像中,實驗1中標記為ID=4的目標被穩(wěn)定跟蹤;實驗2中,標記為ID=2,4的目標由于KCF算法定位的目標圖像塊大小固定,而檢測數(shù)據(jù)隨目標的運動狀態(tài)和尺度的變化而變化,造成兩者匹配相似度偏低,目標不穩(wěn)定,重新初始化后分別自動標記為ID=5,6;實驗3中,由于不受判穩(wěn)條件的限制,當出現(xiàn)新目標時直接將其標記為ID=5.

表1 第6幀目標跟蹤置信度計算結(jié)果Tab.1 Tracking confidence result of frame 6

圖3給出了Dataset2檢測結(jié)果及實驗1～3中Dataset2的跟蹤結(jié)果,由左至右依次是第1幀、第38幀和第89幀圖像.同時,為了定量分析本文初始化方法的有效性,表1給出了實驗1～2在第6幀圖像中5個目標各自置信度計算結(jié)果和分布規(guī)律.實驗1的第1幀中,被標記為ID=1,3,4,5的目標在第6幀跟蹤置信度均大于0.5,滿足判定新目標穩(wěn)定性條件中規(guī)定的目標須連續(xù)出現(xiàn)5幀的初始化要求,因此這4個目標被成功初始化.實驗2中,表1顯示唯有標記ID=2的置信度大于0.5,因此被初始化并賦予身份標記.實驗3的初始化過程并未設置判定目標穩(wěn)定的條件,所有目標均被標記出來.實驗2的第38幀中,由于KCF算法對目標尺度變化不具自適應性,致使在跟蹤過程中多數(shù)目標被誤判為新目標而重新初始化為新的標號.實驗1的第89幀中,原ID=7的目標出現(xiàn)跟蹤框漂移,導致跟蹤算法預估的目標區(qū)域框信息無法與檢測數(shù)據(jù)關(guān)聯(lián),故發(fā)生2次重新初始化并標記為ID=15,16;實驗2中受KCF算法的影響,大部分目標多次被視為新目標,重新初始化為新的標號;實驗3中未出現(xiàn)跟蹤異常的情況.

圖3 Dataset2實驗結(jié)果Fig.3 Experimental results of Dataset2

圖4 Dataset3實驗結(jié)果Fig.4 Experimental results of Dataset3

圖4給出了Dataset3檢測結(jié)果及實驗1～3中Dataset3的跟蹤結(jié)果,由左至右依次是第6幀、第24幀和第149幀.實驗1～2的第6幀中標號為ID=2,3的目標在連續(xù)5幀中的識別結(jié)果不滿足初始化過程中新出現(xiàn)的目標穩(wěn)定出現(xiàn)的判斷條件,因此沒有被成功初始化.實驗1的第24幀中標號為ID=5的目標因歷史幀中跟蹤誤差累積,導致當前幀跟蹤區(qū)域信息與檢測區(qū)域信息不匹配,以至于被重新初始化為ID=7.實驗2中出現(xiàn)類似情況,原ID=2的目標被多次誤判為新出現(xiàn)目標初始化,先后被賦予標號ID=8,10.第149幀,實驗1中標號為ID=17的目標與實驗2中標號為ID=56的目標實際為同一目標,但是由于兩者重新初始化的次數(shù)不同,所以被賦予不同的標號.實驗3中,標號為ID=12的目標在第145幀首次出現(xiàn)并初始化跟蹤.

對比上述實驗結(jié)果,由于實驗1～2增加了對動態(tài)數(shù)組中各新出現(xiàn)目標是否穩(wěn)定存在的判斷條件,從而增加了目標的標號數(shù)目.然而,從MTT的可靠性角度考慮,這種條件的限制可以減少誤初始化,提高跟蹤精度.實驗3中由于沒有判穩(wěn)條件的限制,瞬間出現(xiàn)的干擾目標會被視為有效目標,跟蹤效率下降.

4 結(jié)論

本文提出了一種全自動初始化多目標跟蹤方法.根據(jù)檢測算法獲得的目標觀測信息構(gòu)建動態(tài)結(jié)構(gòu)數(shù)組,為跟蹤算法提供全局初始化數(shù)據(jù)以及跟蹤過程中新出現(xiàn)目標的動態(tài)初始化數(shù)據(jù),實現(xiàn)了全自動多目標跟蹤;通過設計新出現(xiàn)目標判斷方法和有效目標判穩(wěn)條件,提高了真實目標的判斷準確性及系統(tǒng)初始化可靠性.本文方法因不需要檢測算法和跟蹤算法具備完全相同的目標特征,且任何一個能夠輸出目標區(qū)域信息的多目標檢測算法都能替代本文選擇的檢測器,故具有一定的靈活性和推廣意義.