路 紅，李宏勝，費(fèi)樹岷，程 勇

（1.南京工程學(xué)院自動(dòng)化學(xué)院，南京江蘇211167；2.東南大學(xué)自動(dòng)化學(xué)院，南京江蘇210096）

融合塊顯著質(zhì)心描述和多級(jí)關(guān)聯(lián)的多目標(biāo)跟蹤

路 紅1，李宏勝1，費(fèi)樹岷2，程 勇1

（1.南京工程學(xué)院自動(dòng)化學(xué)院，南京江蘇211167；2.東南大學(xué)自動(dòng)化學(xué)院，南京江蘇210096）

提出一種融合目標(biāo)分塊、顯著質(zhì)心建模和多級(jí)關(guān)聯(lián)的多目標(biāo)跟蹤（multi-target tracking，MTT）方法，用于提高互遮擋、相似目標(biāo)干擾場(chǎng)景中的跟蹤魯棒、準(zhǔn)確性。利用自適應(yīng)閾值背景差分檢測(cè)運(yùn)動(dòng)區(qū)域；將目標(biāo)區(qū)域分塊，根據(jù)塊中運(yùn)動(dòng)像素處背景差分值計(jì)算色彩顯著度，建立運(yùn)動(dòng)、色彩顯著質(zhì)心模型；建立目標(biāo)間、目標(biāo)與運(yùn)動(dòng)檢測(cè)間全局、塊級(jí)數(shù)據(jù)關(guān)聯(lián)，判別互遮擋目標(biāo)及塊，并據(jù)塊遮擋矩陣更新目標(biāo)模板；利用有效色彩和運(yùn)動(dòng)信息計(jì)算塊質(zhì)心轉(zhuǎn)移向量及融合權(quán)值，獲得目標(biāo)全局質(zhì)心轉(zhuǎn)移向量以定位目標(biāo)。實(shí)驗(yàn)結(jié)果表明該方法對(duì)互遮擋、相似目標(biāo)干擾及外觀變化的多目標(biāo)均具有穩(wěn)定跟蹤性能。

多目標(biāo)跟蹤；顯著質(zhì)心；多級(jí)關(guān)聯(lián)；塊質(zhì)心轉(zhuǎn)移

0 引 言

基于視覺的多目標(biāo)跟蹤（multi-target tracking，MTT）是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向，也是國際計(jì)算機(jī)智能視頻監(jiān)控領(lǐng)域研究的熱點(diǎn)，在地面交通管制、工業(yè)機(jī)器人手眼系統(tǒng)和港口監(jiān)視等多方面都具有廣泛應(yīng)用。但由于復(fù)雜場(chǎng)景中遮擋、相似特征目標(biāo)（或背景）干擾、目標(biāo)外觀變化等影響，MTT的魯棒性、準(zhǔn)確性和實(shí)時(shí)性問題仍未得到完善解決［1］。

早期MTT側(cè)重于目標(biāo)運(yùn)動(dòng)分析法［2-3］，近年來，針對(duì)測(cè)量-跟蹤間分配問題，基于外觀模型的MTT研究逐漸成為熱點(diǎn)。由于色彩直方圖（color histogram，CH）［3］等能較好刻畫目標(biāo)外觀特征，準(zhǔn)確定位動(dòng)態(tài)遮擋引起的運(yùn)動(dòng)檢測(cè)合并區(qū)域中的單個(gè)目標(biāo)，基于運(yùn)動(dòng)特征和CH的多特征融合MTT方法［3-5］得到一定應(yīng)用。同時(shí)，針對(duì)CH光照敏感問題，考慮光照容忍的目標(biāo)描述研究也開始涌現(xiàn)，如邊緣方向直方圖［6］、局部二值模式［7］等。上述經(jīng)典直方圖特征由于忽視空間信息，在相似特征目標(biāo)或背景干擾、目標(biāo)外觀變化（由旋轉(zhuǎn)或部分遮擋等引起）時(shí)鑒別力下降。因此針對(duì)如何建立魯棒的目標(biāo)外觀模型以提高目標(biāo)描述力成為研究熱點(diǎn)。其研究成果目前主要集中在單目標(biāo)跟蹤上，并在旋轉(zhuǎn)和縮放預(yù)測(cè)、擁擠和部分遮擋場(chǎng)景中取得良好跟蹤結(jié)果，如共生色彩對(duì)相關(guān)圖描述［8］、基于水平集背景消除的面積加權(quán)質(zhì)心描述［9］、非對(duì)稱核函數(shù)加權(quán)模型［10］等，這些研究考慮了特征空間分布信息，相比經(jīng)典全局特征方法，能夠提高目標(biāo)描述力，對(duì)提高M(jìn)TT魯棒性具有重要意義。文獻(xiàn)［11］針對(duì)單目標(biāo)和MTT，在Log-euclidean塊分割外觀模型中融入全局和局部外觀空間信息建立目標(biāo)模型，具有抗部分遮擋和光照魯棒性，但是遮擋判別依賴塊自身特征協(xié)方差，沒有發(fā)揮多目標(biāo)間相互作用。

對(duì)于固定場(chǎng)景中的多運(yùn)動(dòng)目標(biāo)檢測(cè)，背景差法是最佳的，其中背景重構(gòu)等問題得到了廣泛研究，如背景數(shù)學(xué)建模［4］和像素灰度選擇［1213］方法的應(yīng)用等。基于運(yùn)動(dòng)檢測(cè)的MTT能自動(dòng)起始跟蹤，快速關(guān)聯(lián)獨(dú)立運(yùn)動(dòng)目標(biāo)，若輔以魯棒的目標(biāo)外觀模型匹配跟蹤，則有利于實(shí)現(xiàn)互遮擋目標(biāo)合并區(qū)域中測(cè)量－跟蹤間準(zhǔn)確分配。與多特征融合相對(duì)應(yīng)，多種檢測(cè)和跟蹤算法融合也成為關(guān)注的焦點(diǎn)，如背景差法與均值漂移（mean shift，MS）融合［4］、背景差法與粒子濾波（particle filter，PF）融合［3］、MS與卡爾曼濾波（Kalman filter，KF）融合［6］等。文獻(xiàn)［4］利用目標(biāo)運(yùn)動(dòng)檢測(cè)框間重疊與否判斷遮擋，采用前景檢測(cè)消除背景對(duì)目標(biāo)特征模型的影響，并將互遮擋目標(biāo)作為一個(gè)整體進(jìn)行核掩膜MS跟蹤；由于遮擋目標(biāo)全局模板在整個(gè)遮擋過程中不更新，因此在長(zhǎng)期部分遮擋并發(fā)生目標(biāo)外觀漸變時(shí)，難以持續(xù)準(zhǔn)確跟蹤；若互遮擋目標(biāo)外觀相似，則將會(huì)因缺乏合并過程中目標(biāo)個(gè)體的確切位置信息，引起目標(biāo)分離時(shí)單個(gè)目標(biāo)定位錯(cuò)亂。還有一些與特征模型相對(duì)應(yīng)的目標(biāo)檢測(cè)新方法，如基于PF貝葉斯?fàn)顟B(tài)推理的目標(biāo)檢測(cè)和跟蹤方法［11］、一步質(zhì)心轉(zhuǎn)移法［9］等。文獻(xiàn)［9］針對(duì)單目標(biāo)跟蹤提出一步質(zhì)心定位概念，利用目標(biāo)區(qū)域中各色彩覆蓋面積計(jì)算該色彩質(zhì)心在目標(biāo)定位中的權(quán)值。由于色彩質(zhì)心對(duì)像素?cái)?shù)目變化不敏感，因此具有目標(biāo)定位穩(wěn)定性。但當(dāng)目標(biāo)與所處背景色彩大面積相似或受鄰近相似特征目標(biāo)干擾時(shí)，將產(chǎn)生跟蹤漂移。一步質(zhì)心定位克服了經(jīng)典迭代搜索和大量樣本訓(xùn)練方法的計(jì)算量問題，但目前僅局限于單目標(biāo)跟蹤，若合理拓展到MTT框架中，將有利于提高跟蹤效率。

經(jīng)典數(shù)據(jù)關(guān)聯(lián)方法主要針對(duì)空中目標(biāo)或點(diǎn)目標(biāo)跟蹤，聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)［1415］等理論得到了廣泛應(yīng)用。這些方法主要集中在利用概率分析推理測(cè)量－跟蹤間分配問題，方法復(fù)雜、計(jì)算耗費(fèi)大。針對(duì)地面小目標(biāo)跟蹤，文獻(xiàn)［16］采用兩級(jí)目標(biāo)檢測(cè)和跟蹤算法，在低級(jí)階段利用目標(biāo)位置和形狀信息進(jìn)行聚類以獲得測(cè)量信息，在高級(jí)階段進(jìn)行聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)跟蹤。最近的MTT研究集中在基于外觀模型的方法上，針對(duì)單一數(shù)據(jù)關(guān)聯(lián)方法難以應(yīng)對(duì)復(fù)雜場(chǎng)景中目標(biāo)行為、外觀變化多樣性，多種關(guān)聯(lián)融合方法得到廣泛研究，在遮擋推理、部分可觀測(cè)區(qū)域關(guān)聯(lián)及歧義目標(biāo)跟蹤方面取得一系列成果。如針對(duì)動(dòng)態(tài)遮擋MTT的基于PF估計(jì)和區(qū)域關(guān)聯(lián)算法［3］，基于中心最近鄰、尺度最近鄰和MS融合算法［4］，針對(duì)擁擠場(chǎng)景MTT的基于運(yùn)動(dòng)估計(jì)、Hungarian算法和場(chǎng)景推理的三級(jí)關(guān)聯(lián)算法［17］，以及針對(duì)攝像機(jī)抖動(dòng)場(chǎng)景中MTT的目標(biāo)組數(shù)據(jù)關(guān)聯(lián)和單個(gè)目標(biāo)獨(dú)立匹配兩級(jí)關(guān)聯(lián)算法［5］等。從數(shù)據(jù)關(guān)聯(lián)機(jī)制上看，若對(duì)目標(biāo)區(qū)域分塊，建立不同（互遮擋）目標(biāo)間基于塊的數(shù)據(jù)關(guān)聯(lián)，則可將遮擋判斷精確到塊級(jí)，同時(shí)可利用局部可觀測(cè)塊提高測(cè)量－跟蹤間分配以及模板更新效率。

本文針對(duì)多目標(biāo)互遮擋、相似特征目標(biāo)干擾問題，設(shè)計(jì)了一種有效增強(qiáng)目標(biāo)描述力、提高測(cè)量－跟蹤間分配魯棒、穩(wěn)定性的多目標(biāo)全自動(dòng)跟蹤方法。將自適應(yīng)運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)和色彩顯著質(zhì)心模型描述、基于兩級(jí)關(guān)聯(lián)的遮擋塊定位、塊質(zhì)心轉(zhuǎn)移向量融合及模板更新融入MTT框架。實(shí)驗(yàn)結(jié)果表明：本文算法與面積加權(quán)質(zhì)心轉(zhuǎn)移算法、掩膜MS跟蹤算法相比，具有遮擋跟蹤穩(wěn)定、抗相似特征目標(biāo)干擾能力強(qiáng)等特點(diǎn)，在目標(biāo)持續(xù)合并和遮擋、合并和分離交替以及外觀變化過程中均具有魯棒定位性能。

1 運(yùn)動(dòng)檢測(cè)和目標(biāo)描述算法

1.1 運(yùn)動(dòng)檢測(cè)

運(yùn)動(dòng)檢測(cè)方法中，背景差分法因其能獲得相對(duì)當(dāng)完整的運(yùn)動(dòng)區(qū)域、計(jì)算量小等優(yōu)點(diǎn)得到廣泛應(yīng)用。為了使檢測(cè)算法對(duì)場(chǎng)景及光照漸變具有自適應(yīng)性，這里采用閾值迭代算法獲取當(dāng)前幀It與背景Bt色彩分量絕對(duì)差分圖像｛｜ΔIr，t｜，｜ΔIg，t｜，｜ΔIb，t｜｝各自的自適應(yīng)分割閾值｛τr，t，τg，t，τb，t｝，如式（1）所示。

式中，｜ΔIr，t｜＝｜Ir，t－Br，t｜。

通過融合分量分割結(jié)果獲得當(dāng)前幀中二值運(yùn)動(dòng)檢測(cè)區(qū)域Ot（x），如式（2）所示。

1.2 運(yùn)動(dòng)像素色彩顯著度

人眼跟蹤目標(biāo)時(shí)，依據(jù)的不僅僅是目標(biāo)主色彩（覆蓋面積大）對(duì)視覺的刺激，那些相對(duì)背景對(duì)比度大的運(yùn)動(dòng)像素和顯著色彩，即使覆蓋面較小，在主色彩和背景色彩相近、目標(biāo)被部分遮擋時(shí)，卻往往能成為目標(biāo)定位的重要依據(jù)。由于｜ΔIr，t｜能直觀反映前景與背景間色彩差異，因此這里用其來計(jì)算運(yùn)動(dòng)像素xi處色彩u＝［｜ΔIr，t（xi）｜，｜ΔIg，t（xi）｜，｜ΔIb，t（xi）｜］的顯著度wt（u，xi）。將u視為3位（M+1）進(jìn)制數(shù)，以其十進(jìn)制表示的歸一化值作為xi處顯著度，如式（3）和圖1所示。

式中，M為灰度級(jí)。圖1（a）為原圖的16×16×16色彩空間降維圖像（M＝15），藍(lán)色外接矩形框包圍的為目標(biāo)區(qū)域；圖1（b）為目標(biāo)二值運(yùn)動(dòng)區(qū)域；圖1（c）中色彩代表wt（u，xi）值：目標(biāo)頭部和褲子相對(duì)背景的區(qū)分度較大，對(duì)應(yīng)顯著度值較大，而覆蓋面積較大的上衣由于與背景色彩相似，呈現(xiàn)出較低顯著度值。

圖1 運(yùn)動(dòng)像素色彩顯著度圖

1.3 分塊顯著質(zhì)心描述

將目標(biāo)區(qū)域沿水平和垂直方向均分為互不重疊的L1×L2塊，獲得各塊中心坐標(biāo)、尺度、面積和運(yùn)動(dòng)像素占空比；以第n個(gè)塊中運(yùn)動(dòng)像素色彩顯著度（u，xi）加權(quán)各色彩u的坐標(biāo)xi，獲得該塊色彩質(zhì)心以及質(zhì)心顯著度，建立塊級(jí)運(yùn)動(dòng)像素色彩顯著度加權(quán)質(zhì)心模型，如式（4）和式（5）所示。

式中，Rn為塊n中二值區(qū)域“1”的個(gè)數(shù)；δ為狄拉克函數(shù)。

2 塊質(zhì)心轉(zhuǎn)移融合和多級(jí)關(guān)聯(lián)MTT

2.1 算法總體流程

設(shè)第t－1幀跟蹤目標(biāo)為s1（s1＝1，2，…，N1），第t幀運(yùn)動(dòng)檢測(cè)目標(biāo)（二值聯(lián)通域）為k（k＝1，2，…，N2）。定義：、和分別為第s1個(gè)目標(biāo)跟蹤矩形框中心坐標(biāo)和尺度；和分別為第k個(gè)運(yùn)動(dòng)檢測(cè)區(qū)域外接矩形框中心坐標(biāo)和尺度；、和分別為目標(biāo)映射矩形框中心坐標(biāo)、第n1個(gè)塊中心坐標(biāo)和尺度為］確定的檢測(cè)區(qū)域；為［］確定的映射區(qū)域；（+Δ）為由［，+Δ］確定的目標(biāo)映射擴(kuò)展矩形，Δ為擴(kuò)展的像素?cái)?shù)目。如圖2所示，紅色實(shí)線框?yàn)榈趖－1幀目標(biāo)跟蹤框，綠色虛線框、紅色點(diǎn)線框和黃色點(diǎn)劃線框分別為第t幀目標(biāo)檢測(cè)矩形、映射矩形和映射擴(kuò)展矩形。

圖2 目標(biāo)跟蹤、檢測(cè)、映射和擴(kuò)展矩形框

圖3為本文算法總體流程框圖。首先建立上一幀跟蹤與當(dāng)前第t幀運(yùn)動(dòng)檢測(cè)間一級(jí)全局關(guān)聯(lián)，初步判斷目標(biāo)運(yùn)動(dòng)狀態(tài)，如遮擋、斷裂（包括分離）及新出現(xiàn)等。然后根據(jù)二級(jí)全局關(guān)聯(lián)和塊間關(guān)聯(lián)確定哪些目標(biāo)間發(fā)生了互遮擋，并定位發(fā)生遮擋的局部塊區(qū)域；針對(duì)不同目標(biāo)運(yùn)動(dòng)狀態(tài)，切換跟蹤方案：如對(duì)斷裂目標(biāo)基于塊質(zhì)心轉(zhuǎn)移向量融合以定位目標(biāo)；對(duì)于遮擋目標(biāo)，將塊遮擋標(biāo)志融入塊質(zhì)心轉(zhuǎn)移向量融合過程以定位目標(biāo)；采用遮擋自適應(yīng)的塊級(jí)模板更新方法，即使目標(biāo)處于在遮擋中，其局部可觀測(cè)區(qū)域仍可得到魯棒更新。最后根據(jù)目標(biāo)相鄰塊間有效色彩質(zhì)心距離更新尺度。

2.2 多級(jí)數(shù)據(jù)關(guān)聯(lián)和遮擋定位

處于互遮擋中的多目標(biāo)經(jīng)常是部分可觀測(cè)的，若能準(zhǔn)確判斷遮擋發(fā)生的位置和區(qū)域，則可利用即使是片段的部分可觀測(cè)信息，實(shí)現(xiàn)目標(biāo)定位和模板更新。為了提高關(guān)聯(lián)效率，采用以下數(shù)據(jù)關(guān)聯(lián)步驟，其中，λ，α1，α2，β為比例因子。

步驟1 基于中心和尺度關(guān)聯(lián)，建立s1與k間一級(jí)全局關(guān)聯(lián)，如式（6）所示。將滿足一對(duì)一關(guān)聯(lián)（對(duì)任意s1，只有唯一k與之對(duì)應(yīng)，反之亦然）目標(biāo)的檢測(cè)區(qū)域與上一幀跟蹤區(qū)域加權(quán)作為跟蹤結(jié)果，即；對(duì)新出現(xiàn)目標(biāo)（不存在與k對(duì)應(yīng)的s1且為空集）利用運(yùn)動(dòng)檢測(cè)對(duì)其初始化，并從目標(biāo)出現(xiàn)的第2幀開始跟蹤；對(duì)消失目標(biāo)（不存在與s1對(duì)應(yīng)的k且映射區(qū)域中無運(yùn)動(dòng)像素）暫存模板，若后續(xù)連續(xù)10～15幀中均未檢測(cè)到運(yùn)動(dòng)像素存在，則退出跟蹤；對(duì)斷裂目標(biāo)（多個(gè)k滿足∩≠Φ，k≥1），只計(jì)算目標(biāo)s1的映射區(qū)域。

步驟2 對(duì)互遮擋目標(biāo)（多個(gè)s1對(duì)應(yīng)同一個(gè)k），利用式（7）建立上一幀跟蹤目標(biāo)在當(dāng)前幀映射矩形區(qū)域間二級(jí)全局關(guān)聯(lián)。若式（7）成立，則判定目標(biāo)s1和s2發(fā)生互遮擋。

步驟3 對(duì)滿足式（7）的目標(biāo)對(duì)（以s1，s2為例）利用式（8）在塊n1（n1＝1，2，…，L1×L2）（s1的塊）和n2（n2＝1， 2，…，L1×L2）（s2的塊）間進(jìn)行二級(jí)塊關(guān)聯(lián)。若式（8）成立，則判定塊n1和n2發(fā)生互遮擋。

圖3 MTT算法總體流程框圖

2.3 塊級(jí)模板更新

常用的全局模板更新方法，如參考模型與最佳候選模型的線性加權(quán)更新，在目標(biāo)被部分遮擋時(shí)，容易在模板中引入遮擋物信息，在后續(xù)跟蹤中產(chǎn)生累積誤差。若根據(jù)二級(jí)塊級(jí)關(guān)聯(lián)建立塊遮擋標(biāo)志矩陣，并據(jù)此指導(dǎo)目標(biāo)模板塊級(jí)更新，則可使更新過程具有遮擋和外觀自適應(yīng)性。圖4（a）為兩個(gè)互遮擋目標(biāo)s1和s2，圖4（b）為映射框（實(shí)線框）和塊（虛線框）間相對(duì)關(guān)系圖。根據(jù)式（9）將滿足式（8）塊級(jí)關(guān)聯(lián)條件的塊區(qū)域標(biāo)志置為“1”，否則置“0”，得到圖4（c）和圖4（d）所示遮擋標(biāo)志矩陣。

圖4 塊遮擋標(biāo)志矩陣

當(dāng)目標(biāo)滿足一對(duì)一全局關(guān)聯(lián)、為新出現(xiàn)或斷裂時(shí)，塊遮擋標(biāo)志為“0”，因此該更新算法具有普遍適用性。

2.4 塊質(zhì)心轉(zhuǎn)移向量及融合

運(yùn)動(dòng)像素占空比較低的塊（如邊緣輪廓塊）往往包含重要質(zhì)心轉(zhuǎn)移信息，而占空比較大的塊卻可能包含無效質(zhì)心轉(zhuǎn)移信息，若能根據(jù)塊包含的有效信息量合理融合各塊，則可提高目標(biāo)全局質(zhì)心轉(zhuǎn)移向量可靠性和目標(biāo)定位精度。據(jù)此，塊質(zhì)心轉(zhuǎn)移向量計(jì)算及融合步驟如下：

步驟1 對(duì)目標(biāo)映射擴(kuò)展矩形+Δ）分塊，根據(jù)式（12）選擇各塊區(qū)域與模板對(duì)應(yīng)塊間共有色彩質(zhì)心顯著度，以去除無效信息。Δ取2～8個(gè)像素。當(dāng)塊n1未發(fā)生遮擋時(shí)（＝0），根據(jù)式（13）用加權(quán)塊n 1中色彩u的質(zhì)心轉(zhuǎn)移向量），獲得該塊平均質(zhì)心轉(zhuǎn)移向量；當(dāng)塊n1發(fā)生遮擋時(shí)（＝1），由于遮擋過程中塊模板未更新，需減去上一幀中對(duì)應(yīng)塊跟蹤結(jié)果相對(duì)模板的質(zhì)心轉(zhuǎn)移向量以獲得。

步驟3 根據(jù)式（15）融合各塊獲得目標(biāo)s1的全局質(zhì)心轉(zhuǎn)移向量；并利用式（16）獲得目標(biāo)最優(yōu)中心位置。2.5 目標(biāo)尺度更新

目標(biāo)外觀色彩質(zhì)心間距離變化與目標(biāo)尺度變化密切相關(guān)。目標(biāo)尺度變大時(shí)，色彩質(zhì)心間距離變大，反之亦然。由于遮擋時(shí)部分色彩質(zhì)心發(fā)生位置偏移，不能提供可靠尺度變化信息，因此利用未發(fā)生遮擋塊間質(zhì)心距離獲得水平和垂直方目標(biāo)尺度縮放參數(shù)。首先對(duì)?xst1為中心的目標(biāo)映射擴(kuò)展區(qū)域［+Δ］分塊，計(jì)算各塊質(zhì)心模型和，并根據(jù)式（12）獲得塊有效色彩顯著度。然后根據(jù)式（17）沿水平（或垂直）方向按n1→n1+1順序計(jì)算相鄰且未發(fā)生遮擋的第n1和n1+1個(gè)塊間有效色彩質(zhì)心距離；并以有效質(zhì)心顯著度乘積的歸一化值作為質(zhì)心距離權(quán)值，以使顯著度較大的質(zhì)心具有較高的距離表決權(quán)，經(jīng)各鄰塊質(zhì)心距離加權(quán)得到平均質(zhì)心距離；其中當(dāng)即相鄰塊同時(shí)未發(fā)生遮擋時(shí)，該鄰塊間色彩質(zhì)心才參與距離計(jì)算；最后根據(jù)式（18）計(jì)算目標(biāo)在鄰幀間的質(zhì)心距離比值得到水平（或垂直）方向目標(biāo)尺度縮放參數(shù)，以自適應(yīng)更新目標(biāo)尺度；當(dāng)未被遮擋塊的數(shù)目＜2時(shí)，置＝1，不更新尺度。其中，γ為遺忘因子。

3 實(shí)驗(yàn)及結(jié)果分析

采用3組實(shí)驗(yàn)驗(yàn)證本文算法的有效性，實(shí)驗(yàn)視頻中的多目標(biāo)運(yùn)動(dòng)狀態(tài)包括互遮擋、合并－分離混合和交替、斷裂、外觀變化、新出現(xiàn)和消失等。實(shí)驗(yàn)環(huán)境采用Matlab R2010b，2.1 GHz CPU PC；場(chǎng)景背景通過像素灰度歸類法［13］離線重構(gòu)獲得。試驗(yàn)結(jié)果分別與面積加權(quán)質(zhì)心算法［9］、核掩膜MS跟蹤算法［4］進(jìn)行對(duì)比。為了檢測(cè)和對(duì)比本文方法在遮擋、相似特征場(chǎng)景干擾情況下目標(biāo)個(gè)體定位性能，將面積加權(quán)質(zhì)心轉(zhuǎn)移算法、核掩膜MS算法納入本文MTT框架，利用本文背景差分方法代替文獻(xiàn)［4］和文獻(xiàn)［9］的前景檢測(cè)方法，以去除周圍背景對(duì)目標(biāo)初始模板的影響，僅在目標(biāo)滿足一對(duì)一全局關(guān)聯(lián)、新出現(xiàn)、消失時(shí)采用本文跟蹤策略，以不增加額外誤差?？紤]到目標(biāo)數(shù)量和跟蹤效率，取L1＝2，L2＝3。圖5～圖7中：實(shí)線框?yàn)槟繕?biāo)跟蹤結(jié)果；虛線框?yàn)檫\(yùn)動(dòng)檢測(cè)連通域外接矩形，點(diǎn)線框?yàn)樯弦粠櫮繕?biāo)在當(dāng)前幀中的映射區(qū)域。相關(guān)參數(shù)設(shè)置為λ∈［0.6，0.9］，α1＝0.5，α2∈［0.2，0.4］，β＝0.8，γ∈［0.1，0.4］。

3.1 運(yùn)動(dòng)檢測(cè)和跟蹤實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)1 證明初始分離→合并和分離混合→持續(xù)遮擋（部分遮擋）并伴隨相似特征干擾場(chǎng)景中，本文算法的跟蹤魯棒、穩(wěn)定性。選取一段CAVIAR商店走廊視頻序列，分別采用本文算法、面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS跟蹤算法對(duì)第225幀中處于分離狀態(tài)的3個(gè)目標(biāo)基于本文運(yùn)動(dòng)檢測(cè)算法自動(dòng)起始跟蹤，結(jié)果如圖5所示。

圖5中第1～2行分別為本文方法運(yùn)動(dòng)檢測(cè)和跟蹤結(jié)果，第3～4行分別為面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法跟蹤結(jié)果。紅色框跟蹤的目標(biāo)1進(jìn)入視場(chǎng)后逐漸把綠色框跟蹤的目標(biāo)2遮擋，藍(lán)色框跟蹤的目標(biāo)3上衣色彩與背景相似；目標(biāo)2頭部色彩與目標(biāo)3褲子色彩相似且像素鄰近?？梢钥闯?，持續(xù)遮擋（第246幀中3個(gè)目標(biāo)持續(xù)合并）、遮擋和分離混合（第267和291幀中：目標(biāo)2和3持續(xù)遮擋，并與目標(biāo)1分離）、斷裂（第267幀中目標(biāo)3頭部和身體檢測(cè)為兩個(gè)運(yùn)動(dòng)區(qū)域，其中身體部分與目標(biāo)2合并為紅色虛線框包圍的運(yùn)動(dòng)區(qū)域）并伴隨相似特征干擾場(chǎng)景中，本文方法具有更準(zhǔn)確的定位性能。面積加權(quán)質(zhì)心算法在目標(biāo)定位時(shí)，全局質(zhì)心轉(zhuǎn)移向量計(jì)算受相鄰目標(biāo)相似色彩影響，引起目標(biāo)2跟蹤框右偏、目標(biāo)3跟蹤框下偏；核掩膜MS算法受到的影響較大，引起目標(biāo)2跟蹤框嚴(yán)重偏移。

實(shí)驗(yàn)2 證明初始合并→持續(xù)遮擋（包括嚴(yán)重遮擋）→分離和合并交替并伴隨相似特征干擾場(chǎng)景中，本文算法的跟蹤魯棒、穩(wěn)定性。選取一段拍攝的校園行人視頻序列，分別采用本文算法、面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法，對(duì)第18幀中本文運(yùn)動(dòng)檢測(cè)自動(dòng)起始的2個(gè)目標(biāo)進(jìn)行跟蹤，其中目標(biāo)2是兩個(gè)行人的合并，跟蹤結(jié)果如圖6所示。

圖5 抗遮擋和相似特征干擾測(cè)試1

圖6 抗遮擋和相似特征干擾測(cè)試2

圖6中第1～2行和第5～6行為本文方法運(yùn)動(dòng)檢測(cè)和跟蹤結(jié)果，第3行和第7行為面積加權(quán)質(zhì)心轉(zhuǎn)移跟蹤結(jié)果，第4行和第8行為核掩膜MS跟蹤結(jié)果。從第50幀開始，目標(biāo)1和目標(biāo)2發(fā)生合并；第52幀中目標(biāo)2內(nèi)白色和藍(lán)色上衣行人分離，同時(shí)與目標(biāo)1合并、發(fā)生部分遮擋，目標(biāo)2（斷裂）中藍(lán)色上衣行人單獨(dú)檢測(cè)為一個(gè)目標(biāo)；第54幀中目標(biāo)1與目標(biāo)2再次合并，并將目標(biāo)2中白色上衣行人幾乎全部遮擋；第56幀和第58幀中目標(biāo)1分別與目標(biāo)2中藍(lán)色上衣行人發(fā)生部分和嚴(yán)重遮擋；第60幀中目標(biāo)2（斷裂）分離為兩個(gè)目標(biāo)，本文方法根據(jù)塊質(zhì)心轉(zhuǎn)移融合和尺度更新定位藍(lán)色上衣行人并保持標(biāo)號(hào)2，白色上衣行人作為新出現(xiàn)目標(biāo)賦予標(biāo)號(hào)3；第62幀中藍(lán)色和白色上衣行人重新合并，但由于二者在前一次分離時(shí)已經(jīng)具備了各自的顯著質(zhì)心外觀模型，因此在之后的合并過程中，根據(jù)本文的塊質(zhì)心轉(zhuǎn)移向量融合算法保持獨(dú)立跟蹤，有效提高了目標(biāo)定位準(zhǔn)確性。由于遮擋過程中目標(biāo)1和目標(biāo)2對(duì)向運(yùn)動(dòng)，黑色頭發(fā)、褲子和背包，以及手臂和腿部皮膚色彩對(duì)彼此的全局面積加權(quán)質(zhì)心及核掩膜直方圖模型干擾較大，以至面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法在跟蹤過程中發(fā)生誤跟蹤和誤起始。

實(shí)驗(yàn)3 證明目標(biāo)外觀漸變、合并、新出現(xiàn)和消失場(chǎng)景中，本文算法的跟蹤魯棒、穩(wěn)定性。選取一段拍攝的交通視頻序列，分別采用本文算法、面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法進(jìn)行跟蹤，結(jié)果如圖7所示。第1行和第2行分別為本文算法運(yùn)動(dòng)檢測(cè)和跟蹤結(jié)果，第3行和第4行分別為面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法跟蹤結(jié)果。在第450幀中根據(jù)運(yùn)動(dòng)檢測(cè)自動(dòng)起始跟蹤6個(gè)目標(biāo)，對(duì)滿足一級(jí)一對(duì)一全局關(guān)聯(lián)的目標(biāo)，直接融合當(dāng)前檢測(cè)和上一幀跟蹤以定位目標(biāo)和更新尺度。第482幀桔紅色框跟蹤的目標(biāo)7，起始跟蹤后在連續(xù)幀中運(yùn)動(dòng)檢測(cè)面積為零，引起映射點(diǎn)線框滯后累積，導(dǎo)致核掩膜MS丟失跟蹤，該目標(biāo)再次出現(xiàn)時(shí)被作為新目標(biāo)9重新跟蹤；而本文方法和面積加權(quán)質(zhì)心轉(zhuǎn)移算法憑借映射擴(kuò)展區(qū)域與新檢測(cè)區(qū)域間交集，獲得了質(zhì)心轉(zhuǎn)移向量，從而能保持跟蹤。目標(biāo)5連續(xù)檢測(cè)失敗超過限定幀數(shù)，視為消失，取消跟蹤。隨駛離攝像頭漸遠(yuǎn)，目標(biāo)變小、模糊，一些鄰近目標(biāo)檢測(cè)為合并（未遮擋），如第538幀和第554幀中目標(biāo)3和目標(biāo)4。由于未更新模板，面積加權(quán)質(zhì)心和核掩膜MS算法發(fā)生誤跟蹤和丟失跟蹤。本文算法則可根據(jù)最近的模板定位目標(biāo)，有效提高了跟蹤性能。

圖7 目標(biāo)外觀漸變、合并、新出現(xiàn)和消失測(cè)試3

3.2 跟蹤結(jié)果統(tǒng)計(jì)及分析

為了對(duì)所采用算法的目標(biāo)跟蹤準(zhǔn)確度進(jìn)行定量分析，表1分別給出了本文算法、面積加權(quán)質(zhì)心轉(zhuǎn)移及核掩膜MS算法在跟蹤3個(gè)視頻序列時(shí)的“丟失跟蹤”“誤跟蹤”和“準(zhǔn)確跟蹤”統(tǒng)計(jì)。丟失跟蹤指一個(gè)跟蹤框沒跟蹤到對(duì)應(yīng)的目標(biāo)；誤跟蹤指對(duì)一個(gè)目標(biāo)的跟蹤精度≤50%；準(zhǔn)確跟蹤指對(duì)一個(gè)目標(biāo)的跟蹤精度≥80%。定義“跟蹤精度”為跟蹤框與對(duì)應(yīng)目標(biāo)實(shí)際外接矩形框的交叉面積占目標(biāo)實(shí)際外接矩形框面積的百分比；表1中數(shù)據(jù)為丟失跟蹤率、誤跟蹤率和準(zhǔn)確跟蹤率，即：丟失跟蹤、誤跟蹤和準(zhǔn)確跟蹤目標(biāo)數(shù)目分別與跟蹤過程中目標(biāo)總數(shù)目的比值。從實(shí)驗(yàn)數(shù)據(jù)比較可以看出，對(duì)于遮擋、相似目標(biāo)干擾場(chǎng)景中的MTT，所提出的算法具有丟失跟蹤和誤跟蹤率低，準(zhǔn)確跟蹤率高的特點(diǎn)，較面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法具有更高的跟蹤魯棒、穩(wěn)定性能。這是由于面積加權(quán)質(zhì)心轉(zhuǎn)移算法在候選目標(biāo)區(qū)域計(jì)算全局質(zhì)心時(shí)，與之發(fā)生遮擋的目標(biāo)外觀相似色彩對(duì)該目標(biāo)的質(zhì)心坐標(biāo)計(jì)算產(chǎn)生了較大影響，從而降低了質(zhì)心轉(zhuǎn)移向量的精度，引起誤跟蹤率上升，準(zhǔn)確跟蹤率下降；核掩膜MS算法雖然在初始模板中去除了背景影響，但直方圖固有的統(tǒng)計(jì)特性丟失了特征空間位置信息，而MS易陷入局部最優(yōu)的特點(diǎn)使得該算法在多目標(biāo)合并區(qū)域中依靠迭代定位目標(biāo)個(gè)體的準(zhǔn)確性下降、誤跟蹤率增加。交通視頻場(chǎng)景中，面積加權(quán)質(zhì)心轉(zhuǎn)移和核掩膜MS算法具有較高的誤跟蹤率，主要是由于目標(biāo)尺度和外觀變化過程中模板沒有更新以及個(gè)別目標(biāo)運(yùn)動(dòng)區(qū)域檢測(cè)不完整，從而引起跟蹤滯后甚至丟失。

表1 跟蹤誤差分析

進(jìn)一步優(yōu)化算法，實(shí)現(xiàn)MTT實(shí)時(shí)跟蹤是下一步工作。與核掩膜MS算法相比，本文算法雖然在目標(biāo)分塊和遮擋定位方面有一定耗時(shí)，但是一步質(zhì)心轉(zhuǎn)移定位目標(biāo)不需要迭代，有利于提高系統(tǒng)實(shí)時(shí)性。與面積加權(quán)質(zhì)心轉(zhuǎn)移方法（針對(duì)單目標(biāo)跟蹤，跟蹤速度可達(dá)0.001 4秒／幀）相比，本文算法針對(duì)一對(duì)一關(guān)聯(lián)目標(biāo)，采用基于檢測(cè)和跟蹤融合的簡(jiǎn)單算法；針對(duì)多目標(biāo)遮擋和合并，根據(jù)目標(biāo)相互間關(guān)聯(lián)關(guān)系判斷和定位遮擋，而不是單目標(biāo)個(gè)體的獨(dú)立判斷，有利于進(jìn)一步提高多目標(biāo)的平均跟蹤速度。

4 結(jié) 論

針對(duì)制約MTT性能的互遮擋、相似特征目標(biāo)干擾問題，提出一種基于分塊顯著質(zhì)心描述和多級(jí)關(guān)聯(lián)的多目標(biāo)全自動(dòng)跟蹤方法。采用自適應(yīng)閾值分割背景差分圖像以檢測(cè)運(yùn)動(dòng)區(qū)域和初始化新目標(biāo)，提高了運(yùn)動(dòng)檢測(cè)算法的場(chǎng)景及光照變化自適應(yīng)能力；目標(biāo)區(qū)域分塊、塊運(yùn)動(dòng)像素色彩顯著質(zhì)心建模、基于信息量占空比加權(quán)的塊質(zhì)心轉(zhuǎn)移向量融合算法，計(jì)算效率高、抗遮擋和相似特征目標(biāo)干擾能力強(qiáng)；利用多級(jí)數(shù)據(jù)關(guān)聯(lián)和塊質(zhì)心轉(zhuǎn)移向量融合解決多目標(biāo)測(cè)量－跟蹤間分配問題，能準(zhǔn)確判別互遮擋目標(biāo)及發(fā)生遮擋的塊區(qū)域，并指導(dǎo)塊模板自適應(yīng)更新，提高目標(biāo)跟蹤效率。實(shí)驗(yàn)結(jié)果表明，本文算法比面積加權(quán)質(zhì)心轉(zhuǎn)移算法、核掩膜MS算法具有更強(qiáng)跟蹤魯棒、穩(wěn)定性。

［1］Yang H X，Shao L，Zheng F，et al.Recent advances and trends in visual tracking：a review［J］.Neurocomputing，2011，74（18）：3823-3831.

［2］Xu M，Ellis T.Tracking occluded objects using partial observation［J］.Acta Automatica Sinica，2003，29（3）：370-380.

［3］Choeychuen K，Kumhom P，Chamnongthai K.Robust ambiguous target handling for visual object tracking［J］.International Journal Electronics and Communications，2010，64（10）：960-970.

［4］Beyan C，Temizel A.Adaptive mean-shift for automated multiobject tracking［J］.IET Computer Vision，2012，6（1）：1-12.

［5］Cao X B，Shi Z R，Yan P K，et al.Tracking vehicles as groups in airborne videos［J］.Neurocomputing，2013，99（1）：38-45.

［6］Liu W J，Zhang Y J.Edge-color-histogram and Kalman flterbased real-time object tracking［J］.Journal of Tsinghua University（Sci&Tech），2008，48（7）：1104-1107.（劉惟錦，章毓晉.基于Kalman濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，48（7）：1104-1107.）

［7］Zhao Z X，Yu S Q，Wu X Y，et al.A multi-target tracking algorithm using texture for real-time surveillance［C］∥Proc.of the International Conference on Robotics and Biomimetics，2009：2150-2155.

［8］Zhao Q，Tao H.A motion observable representation using color correlogram and its applications to tracking［J］.Computer Vision and Image Understanding，2009，113（2）：273-290.

［9］Lee S H，Kang M G.Motion tracking based on area and level set weighted centroid shifting［J］.IET Computer Vision，2010，4（2）：73-84.

［10］Liu Q，Tang L B，Zhao B J，et al.Improved mean shift target tracking algorithm［J］.Systems Engieering and Electro-nics，2013，35（6）：1318-1323.（劉晴，唐林波，趙保軍，等.改進(jìn)的mean shift目標(biāo)跟蹤算法［J］.系統(tǒng)工程與電子技術(shù)，2013，35（6）：1318-1323.）

［11］Hu W M，Li X，Luo W H，et al.Single and multiple object tracking using Log-Euclidean Riemannian subspace and blockdivision appearance model［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2012，34（12）：2420-2440.

［12］Hou Z Q，Han C Z.A background reconstruction algorithm based on pixel intensity classification［J］.Journal of Software，2005，16（9），1568-1575.（侯志強(qiáng)，韓崇昭.基于像素灰度歸類的背景重構(gòu)算法［J］.軟件學(xué)報(bào)，2005，16（9）：1568-1575.）

［13］Lu H，F(xiàn)ei S M，Zheng J Y，et al.Moving object segmentation based on background reconstruction and shadow elimination［J］.Journal of Image and Graphics，2009，14（10）：2023-2028.（路紅，費(fèi)樹岷，鄭建勇，等.基于背景重構(gòu)和陰影消除的運(yùn)動(dòng)目標(biāo)分割［J］.中國圖象圖形學(xué)報(bào)，2009，14（10）：2023 -2028.）

［14］Quan W，Chen J X，Yu N Y.Adaptive collaborative tracking for multiple targets［J］.Measurement Science and Technology，2012，23（12）：5407-5417.

［15］Kang J，Li Y B，Lin Y，et al.Joint probability data association algorithm based on evidence theory［J］.Systems and Engineering and Electronics，2013，35（8）：1620-1626.（康健，李一兵，林云，等.基于證據(jù)理論的聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)算法［J］.系統(tǒng)工程與電子技術(shù)，2013，35（8）：1620-1626.）

［16］Laet T De，Bruyninckx H，Schutter J D.Shape-based online multitarget tracking and detection for targets causing multiple measurements：variational bayesian clustering and lossless data association［J］.IEEE Trans.on Pattern Analysis and Machine Intelligence，2011，33（12）：2477-2491.

［17］Huang C，Wu B，Nevatia R.Robust object tracking by hierarchical association of detection responses［C］∥Proc.of the 10th European Conference on Computer Vision，2008：788-801.

Block-level saliency centroid representation and multi-level association based multi-target tracking

LU Hong1，LI Hong-sheng1，F(xiàn)EI Shu-min2，CHENG Yong1
（1.School of Automation，Nanjing Institute of Technology，Nanjing 211167，China；2.School of Automation，Southeast University，Nanjing 210096，China）

A novel frame-work of multi-target tracking（MTT）based on block-division，saliency centroid modeling and multi-level association is presented to enhance the robustness and accuracy of tracker under occlusion among targets and disturbance caused by similar target.Self-adaptive threshold value based background difference is employed to detect motion regions.Based on block-division of target region，the block-level color saliency computed from background difference at each moving pixel，is utilized to model the centroid being with motion and color saliency.To discriminate the targets and blocks being in occlusion，the global and bolck associations are established among tracked targets and motion regions，and the block occlusion matrix is built to update the target model.The valid color and motion pixels are utilized to calculate the shifting vetor and fusion weight of each block centroid，then the global centroid shifting vetor is gained and used to locate the target.Experiments demonstrate that the proposed method is robust enough for tracking the multi-target in scenarios of occlusion，similar target disturbance and appearance change.

multi-target tracking（MTT）；saliency centroid；multi-level association；block centroid shifting

TP 391 文獻(xiàn)標(biāo)志碼：A DOI：10.3969／j.issn.1001-506X.2015.09.34

路 紅（1973-），女，副教授，博士，主要研究方向?yàn)橛?jì)算機(jī)視覺、運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤。

E-mail：zdhxlh＠njit.edu.cn

李宏勝（1966-），男，教授，博士，主要研究方向?yàn)槿斯ぶ悄?、機(jī)器人控制技術(shù)、模式識(shí)別。

E-mail：zdhxlhs＠njit.edu.cn

費(fèi)樹岷（1961-），男，教授，博士，主要研究方向?yàn)橛?jì)算機(jī)視覺、機(jī)器人控制技術(shù)、非線性控制系統(tǒng)分析與綜合。

E-mail：smfei＠seu.edu.cn

程 勇（1975-），男，副教授，博士，主要研究方向?yàn)橛?jì)算機(jī)視覺、運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤。

E-mail：chengy＠njit.edu.cn

1001-506X（2015）09-2182-09

2014-10-23；

2015-03-03；網(wǎng)絡(luò)優(yōu)先出版日期：2015-05-04。

網(wǎng)絡(luò)優(yōu)先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150504.0941.002.html

國家自然科學(xué)基金（61305011）；江蘇省自然科學(xué)基金（BK20131342）；南京工程學(xué)院創(chuàng)新基金（CKJA201203，QKJB2011009）資助課題