李政達(dá)，胡智焱

(1.東北石油大學(xué)機(jī)械科學(xué)與工程學(xué)院,黑龍江大慶 163318 2.遼寧省盤錦市教育局,遼寧盤錦 124000)

運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤技術(shù)研究應(yīng)用現(xiàn)狀與展望

李政達(dá)1，胡智焱2

(1.東北石油大學(xué)機(jī)械科學(xué)與工程學(xué)院,黑龍江大慶1633182.遼寧省盤錦市教育局,遼寧盤錦124000)

針對(duì)目標(biāo)檢測(cè)與跟蹤技術(shù)中單目標(biāo)或多目標(biāo)跟蹤已有的多種計(jì)算方法，分析現(xiàn)有各種方法的特點(diǎn)及發(fā)展?fàn)顩r，并對(duì)目標(biāo)跟蹤技術(shù)的應(yīng)用情況進(jìn)行介紹。

安全 目標(biāo)檢測(cè) 目標(biāo)跟蹤 行為分析 粒子濾波

近年來，由于計(jì)算機(jī)性能的大幅度提高，越來越多的學(xué)者開始著手研究基于機(jī)器視覺技術(shù)的相關(guān)課題，利用計(jì)算機(jī)模擬人的視覺以實(shí)現(xiàn)智能化的安全管理。其中，基于機(jī)器視覺技術(shù)的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤則是計(jì)算機(jī)視覺技術(shù)應(yīng)用的一個(gè)重要方面[1-5]。

目標(biāo)檢測(cè)與目標(biāo)跟蹤主要是為了準(zhǔn)確探測(cè)出視頻中的運(yùn)動(dòng)目標(biāo)，合理提取目標(biāo)特征并精確跟蹤目標(biāo)，從而得到目標(biāo)的位置、大小、旋轉(zhuǎn)角度、姿態(tài)和運(yùn)動(dòng)軌跡等信息，并對(duì)其進(jìn)行分類和識(shí)別，同時(shí)要考慮算法的實(shí)時(shí)可操作性，提供一種現(xiàn)代化的安全解決方案。目標(biāo)跟蹤作為視頻監(jiān)控系統(tǒng)的關(guān)鍵環(huán)節(jié)，是模式識(shí)別、行為分析等各種高級(jí)處理的基礎(chǔ)。本文針對(duì)此問題綜合介紹目標(biāo)檢測(cè)與跟蹤技術(shù)的應(yīng)用情況和研究現(xiàn)狀，并對(duì)這一技術(shù)的發(fā)展進(jìn)行展望。

1 目標(biāo)檢測(cè)與跟蹤技術(shù)的應(yīng)用

目標(biāo)跟蹤技術(shù)在許多領(lǐng)域都得到了廣泛應(yīng)用，如智能視頻監(jiān)控、智能人機(jī)交互、機(jī)器人視覺導(dǎo)航、精確制導(dǎo)系統(tǒng)[6-9]等。

在目標(biāo)跟蹤領(lǐng)域中，智能人機(jī)交互是創(chuàng)新的熱點(diǎn)方向。隨著社會(huì)的發(fā)展和人們精神生活水平的提高，越來越多的人已不滿足于傳統(tǒng)的人機(jī)交互方式，而是期待更自由、更自然和更人性化的方式與計(jì)算機(jī)進(jìn)行交互。目前，在智能人機(jī)交互方面已經(jīng)有了很多的成果。英國的一家科技團(tuán)隊(duì)正在研究的“便攜式手語翻譯”；微軟推出的“幻影桌面”以及呼叫中心的IVR系統(tǒng)；智能手機(jī)終端中的語音撥號(hào)和車載語音導(dǎo)航系統(tǒng)等。在跟蹤領(lǐng)域，主要通過跟蹤人的頭部或者手部，并對(duì)其行為進(jìn)行分析，計(jì)算機(jī)可智能執(zhí)行人們想要執(zhí)行的動(dòng)作。

智能視頻監(jiān)控系統(tǒng)是采用圖形處理、模式識(shí)別、計(jì)算機(jī)視覺技術(shù)，通過在普通視頻監(jiān)控系統(tǒng)中添加智能視頻分析模塊，利用計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理能力自動(dòng)忽略無關(guān)信息、識(shí)別不同目標(biāo)，獲取視頻中的關(guān)鍵有用信息，快速準(zhǔn)確地定位事故，判斷監(jiān)控中的異常行為，發(fā)出警報(bào)或者觸發(fā)其他動(dòng)作，從而有效地進(jìn)行事前預(yù)警、事中處理、事后取證的智能視頻系統(tǒng)。

在智能視頻監(jiān)控系統(tǒng)中無需人力干涉，系統(tǒng)能自動(dòng)對(duì)視頻進(jìn)行處理，進(jìn)行包括運(yùn)動(dòng)檢測(cè)與跟蹤以及異常行為檢測(cè)與手勢(shì)識(shí)別等活動(dòng)。長時(shí)間依靠人力進(jìn)行視頻監(jiān)控是高成本、高投入且不切實(shí)際的。智能視頻監(jiān)控系統(tǒng)的自動(dòng)運(yùn)動(dòng)檢測(cè)效果目前已遠(yuǎn)優(yōu)于人類的注意力所及。智能視頻監(jiān)控系統(tǒng)功能的實(shí)現(xiàn)主要由以下三部分組成：目標(biāo)檢測(cè)，目標(biāo)跟蹤，行為分析。目標(biāo)檢測(cè)就是將運(yùn)動(dòng)目標(biāo)從靜態(tài)背景中分離出來，它是進(jìn)行視頻分析的第一步也是最基礎(chǔ)的一步。目標(biāo)跟蹤方法在目標(biāo)出現(xiàn)的第一幀就需要進(jìn)行目標(biāo)檢測(cè)或者是在視頻的每一幀都需要目標(biāo)檢測(cè)。行為分析的前提也是系統(tǒng)能夠準(zhǔn)確地檢測(cè)到運(yùn)動(dòng)目標(biāo)。所以目標(biāo)檢測(cè)效果的好壞直接關(guān)系到后續(xù)的跟蹤與行為分析的效果，在整個(gè)智能監(jiān)控系統(tǒng)中起著至關(guān)重要的作用。

2 目標(biāo)檢測(cè)與跟蹤技術(shù)的研究方法及現(xiàn)狀

目標(biāo)跟蹤[10-14]主要分為兩大方面：單目標(biāo)跟蹤和多目標(biāo)跟蹤。在單目標(biāo)跟蹤中，主要對(duì)感興趣的目標(biāo)進(jìn)行跟蹤、定位，并對(duì)其行為進(jìn)行分析。目前，許多學(xué)者都致力于單目標(biāo)跟蹤的研究，其中粒子濾波能夠解決非線性非高斯問題，對(duì)噪聲沒有限制，是應(yīng)用非常廣泛的算法。但粒子濾波也有很多缺點(diǎn)，如實(shí)時(shí)性問題、粒子退化問題等，因此粒子濾波的研究也是當(dāng)前研究的一個(gè)熱點(diǎn)。在多目標(biāo)跟蹤中，數(shù)據(jù)關(guān)聯(lián)算法是非常重要的一個(gè)部分，如何將檢測(cè)目標(biāo)與跟蹤目標(biāo)相關(guān)聯(lián)，以及關(guān)聯(lián)的正確率都對(duì)跟蹤的結(jié)果有著很大的影響。在數(shù)據(jù)關(guān)聯(lián)算法中，聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)通過計(jì)算可行事件的概率，可得到跟蹤目標(biāo)與各個(gè)檢測(cè)目標(biāo)互聯(lián)的概率，是目前公認(rèn)較好的數(shù)據(jù)關(guān)聯(lián)算法。除此之外，多目標(biāo)跟蹤中目標(biāo)的互相遮擋、被背景遮擋以及目標(biāo)的頻繁出現(xiàn)與消失等都是多目標(biāo)跟蹤中研究的熱點(diǎn)和難點(diǎn)。

最早的卡爾曼濾波[15-20]是一種應(yīng)用十分廣泛的濾波方法，具有無偏、最優(yōu)的特點(diǎn)，然而卡爾曼濾波需要假定噪聲呈線性、高斯分布，對(duì)于非線性、非高斯系統(tǒng)，估計(jì)性能較差。針對(duì)系統(tǒng)的非線性問題，相繼涌現(xiàn)出了很多優(yōu)秀的濾波算法如擴(kuò)展卡爾曼濾波、無跡卡爾曼濾波等，但是擴(kuò)展卡爾曼濾波只能解決弱非線性問題，無跡卡爾曼濾波在無跡變換的過程中會(huì)出現(xiàn)矩陣非正定的問題。

Gordon[21]等提出的粒子濾波方法成功應(yīng)用于非線性、非高斯系統(tǒng)中，是目前應(yīng)用較為廣泛的算法之一。傳統(tǒng)的粒子濾波算法利用單信息對(duì)目標(biāo)進(jìn)行跟蹤，在跟蹤的過程中會(huì)出現(xiàn)特征描述不夠準(zhǔn)確，從而導(dǎo)致目標(biāo)跟丟的現(xiàn)象。目前，許多算法采用了信息融合的方法來提高跟蹤的準(zhǔn)確性[22-25]，但大多數(shù)方法仍然對(duì)各個(gè)特征采用了固定權(quán)值的方法。

2003年，Spengler[26]等提出了對(duì)多個(gè)信息進(jìn)行自適應(yīng)融合的跟蹤方法；2007年，張波[27]等提出通過民主融合策略對(duì)多重信息進(jìn)行自適應(yīng)融合, 取得了較好的效果；這些方法在很大程度上改進(jìn)了基于單信息的目標(biāo)跟蹤。除此之外，粒子在不斷迭代更新的過程中，會(huì)出現(xiàn)粒子退化現(xiàn)象，導(dǎo)致粒子的多樣性降低，目前常用的解決粒子退化現(xiàn)象的方法為重采樣技術(shù)。

數(shù)據(jù)關(guān)聯(lián)是多目標(biāo)跟蹤方法中一個(gè)重要的環(huán)節(jié)。目標(biāo)跟蹤中常用的數(shù)據(jù)關(guān)聯(lián)方法有很多，其中最簡單的是最近鄰NN數(shù)據(jù)關(guān)聯(lián)方法，此算法將跟蹤目標(biāo)與相鄰最近的檢測(cè)目標(biāo)相關(guān)聯(lián)，只適用于比較簡單且目標(biāo)數(shù)目較少的場景。概率數(shù)據(jù)關(guān)聯(lián)PDA方法只考慮落入跟蹤目標(biāo)波門內(nèi)的回波，其它回波都是雜波或者噪聲，因此該算法對(duì)于運(yùn)動(dòng)目標(biāo)較密集的監(jiān)控場景，關(guān)聯(lián)正確率較低。聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)JPDA方法是對(duì)概率數(shù)據(jù)關(guān)聯(lián)算法的推廣，可計(jì)算出每個(gè)跟蹤的目標(biāo)源于所有檢測(cè)目標(biāo)概率的大小。MHT算法綜合了最近鄰數(shù)據(jù)關(guān)聯(lián)和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)的優(yōu)點(diǎn)，在運(yùn)動(dòng)目標(biāo)密度比較高的情況下仍能有較高的關(guān)聯(lián)準(zhǔn)確率，但是其較大的計(jì)算復(fù)雜度限制了其應(yīng)用。

在目標(biāo)跟蹤過程中，常常會(huì)出現(xiàn)遮擋情況，此時(shí)需要對(duì)目標(biāo)的運(yùn)動(dòng)狀態(tài)進(jìn)行預(yù)測(cè)以便對(duì)目標(biāo)繼續(xù)跟蹤。目前常用的預(yù)測(cè)跟蹤算法有Kalman最優(yōu)估計(jì)濾波、擴(kuò)展Kalman算法[28]、無跡Kalman濾波[29]、Mean Shift跟蹤算法等。這些算法根據(jù)目標(biāo)當(dāng)前的運(yùn)動(dòng)狀態(tài)，通過一定的運(yùn)動(dòng)狀態(tài)方程得到目標(biāo)的預(yù)測(cè)狀態(tài)，然后根據(jù)系統(tǒng)觀測(cè)對(duì)目標(biāo)的預(yù)測(cè)位置進(jìn)行更新，從而得到目標(biāo)的最終狀態(tài)。

3 展望

目標(biāo)跟蹤的全過程從本質(zhì)上來說就是一個(gè)求解在視頻序列中目標(biāo)的位置、長寬、速度以及旋轉(zhuǎn)角度等狀態(tài)的問題。在長達(dá)數(shù)十年的科學(xué)研究中，在理論上科學(xué)家們實(shí)現(xiàn)了很多技術(shù)難點(diǎn)的突破，由于實(shí)際應(yīng)用場景的突發(fā)狀況復(fù)雜且頻繁，使得技術(shù)在現(xiàn)實(shí)應(yīng)用中出現(xiàn)了各種各樣的突發(fā)狀況，存在著很多影響跟蹤性能的因素。在目標(biāo)跟蹤方面，仍有如下難題需要人們不斷研究和解決。

a)在目標(biāo)檢測(cè)方面，采用混合高斯背景建模方法只能檢測(cè)出運(yùn)動(dòng)目標(biāo)，但是對(duì)于靜止的感興趣目標(biāo)無法檢測(cè)出，而且混合高斯背景建模提取運(yùn)動(dòng)目標(biāo)運(yùn)算量較大，當(dāng)需要進(jìn)行后續(xù)處理時(shí)，往往達(dá)不到實(shí)時(shí)性要求。研究實(shí)時(shí)性好而且魯棒性強(qiáng)的目標(biāo)檢測(cè)算法是視頻監(jiān)控領(lǐng)域一個(gè)重要的研究方向。

b)在單目標(biāo)跟蹤方面，對(duì)于更復(fù)雜的場景，如目標(biāo)各方面特征都很相似時(shí)，尋找更好的觀測(cè)特征是目標(biāo)匹配算法中一個(gè)重要的方向。

c)在多目標(biāo)跟蹤中，由于卡爾曼濾波對(duì)系統(tǒng)噪聲有很嚴(yán)格的限制，需要假定噪聲是線性高斯的，因此研究對(duì)噪聲沒有限制的濾波算法，并將其應(yīng)用于聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)中，是需要繼續(xù)研究和努力的方向。

正是由于以上難點(diǎn)，找到一個(gè)理想的跟蹤算法仍然需要國內(nèi)外學(xué)者不斷地對(duì)其進(jìn)行研究和改進(jìn)。視頻監(jiān)控在公共安全領(lǐng)域發(fā)揮了巨大的作用，在工業(yè)生產(chǎn)領(lǐng)域也在發(fā)揮良好的作用，特別是在監(jiān)控人的不安全行為和物的不安全狀態(tài)中發(fā)揮作用。

[1] Kim S, Lee B, Jeong J, et al. Multi-object tracking coprocessor for multi-channel embedded DVR systems[J]. Consumer Electronics, IEEE Transactions on, 2012, 58(4): 1366-1374.

[2] Szpak Z L, Tapamo J R. Maritime surveillance: Tracking ships inside a dynamic background using a fast level-set[J]. Expert Systems with Applications, 2011, 38(6): 6669-6680.

[3] Matsuyama T, Ukita N. Real-time multitarget tracking by a cooperative distributed vision system[J]. Proceedings of the IEEE, 2002, 90(7): 1136-1150.

[4] Prisacariu V A, Reid I. 3D hand tracking for human computer interaction[J]. Image and Vision Computing, 2012, 30(3): 236-250.

[5] Ma Y, Mao Z H, Jia W, et al. Magnetic hand tracking for human-computer interface[J]. Magnetics, IEEE Transactions on, 2011, 47(5): 970-973.

[6] Haritaoglu I, Harwood D and Davis L S. W4:Real-time surveillance of people and their activities[J].IEEE Transactions onPattern Analysis and Machine Intelligence, 2000, 22(8):809-830.

[7] Ribeiro P C, Santos-Victor J. Human activity recognition from video:Modeling, feature selection and classification architecture[C]. International Workshop on Human Activity Recognition and Modeling, Oxford,England, 2005: 61-78.

[8] Lipton A J, Fujiyoshi H and Patil R S. Moving target classification and tracking from real-time video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000, 22(8):809-830.

[9] Fortmann T, Bar-Shalom Y, Scheffe M. Sonar tracking of multiple targets using joint probabilistic data association[J].IEEE Journal of Oceanic Engineering, 1983,8(3): 173-184.

[10] Feng Z, Yang B, Li Y, et al. Real-time oriented behavior-driven 3D freehand tracking for direct interaction[J]. Pattern Recognition, 2012.

[11] Lee D, Kim G, Kim D, et al. Vision-based object detection and tracking for autonomous navigation of underwater robots[J]. Ocean Engineering, 2012, 48: 59-68.

[12] Roberts R, Ta D N, Straub J, et al. Saliency detection and model-based tracking: a two part vision system for small robot navigation in forested environment[C]//Proc. of SPIE Vol. 2012, 8387: 83870S-1.

[13] Das Sharma K, Chatterjee A, Rakshit A. A PSO-Lyapunov Hybrid Stable Adaptive Fuzzy Tracking Control Approach for Vision-Based Robot Navigation[J]. Instrumentation and Measurement, IEEE Transactions on, 2012, 61(7): 1908-1914.

[14] Clemons T M, Chang K C. Sensor calibration using in-situ celestial observations to estimate bias in space-based missile tracking[J]. Aerospace and Electronic Systems, IEEE Transactions on, 2012, 48(2): 1403-1427.

[15] Huang Kaiqi, Wang Shiquan,Tan Tieniu,et al.Human Behavior Analysis Based on a New Motion Descriptor[J]. Circuits and Systems for Video Technology, 2009, 19(12): 1830-1840.

[16] Nam T P, Leman K, Wong M,et al.Combining JPDA and particle filter for visual tracking[C]. International Conference onMultimedia and Expo (ICME), 2010: 1044-1049.

[17] Blanc C, Trassoudaine L andGalliceJ.EKF and particle filter track-to-track fusion a quantitative comparison from rada/lidar obstacle tracks[C].International Conference on Information Fusion, 2005: 1303-1310.

[18] Qu Xiaomei. Robust Kalman track fusion in target tracking with uncertainties[C]. International Conference on Computational Problem-Solving (ICCP),2011: 1-4.

[19] Ronald P. A survey on vision-based human action recognition[J]. Image and Vision Computing, 2010, 28:976-990.

[20] Hong L. Two-level JPDA-NN and NN-JPDA tracking algorithms[C].American Control Conference,1994, 1:1057-1061.

[21] Gordon N,Salmond,Smith A.Novel approach to nonlinear/non-Gaussian Bayesian state estimation[J].IEE Proceedings-F,Communication,Radar and Signal Processing,1993,140(2):107-113.

[22] Doucet A,Godsill S,Andrieu C.On sequential Monte Carlo sampling methods for Bayesian filtering[J].Statistics and Computing,2000,10(1):197-208.

[23] Kong A,Liu J S,Wong W.Sequential imputaion and Bayesian missing data problrms[J].Journal of the American Statistical Association，1994,89(5)：278-288.

[24] Arulampalam M,Maskell S,Gordon N,et al.A tutorial on particle filters for nonlinear/non-Gaussian Bayesian tracking[J]. IEEE Transactions on Signal Processing,2002,50(2):174-188.

[25] Doucet A,Gordon N.Sequential Monte Carlo methods in practice[M]. New York: Springer Verlag, 2001.

[26] M. Spengler and B. Schiele, “Towards Robust MultiCue Integration for Visual Tracking[J],” Machine Vision and Applications,2003,14.

[27] 張波.基于粒子濾波的圖像跟蹤算法研究[D].上海:上海交通大學(xué),2007.

[28] R.S.Bucy,K.D.Renne.Digital synthesis of nonlinearfilter [J].Automatic,1971,7(3):281-289.

[29] S.J.Julier,J.K.Uhlman.A new extension of the Kalman Filter to Nonlinear Systems [C].The Proc．Of aerosense．11th Int symposium aerospace/defense sensing，simulation and controls，Orlando，USA,1997：54-65.

ResearchandApplicationofMovingTargetDetectionandTrackingTechnology

Li Zhengda1，Hu Zhiyan2

(1.Northeast Petroleum University Mechanical Science and Engineering College，Heilongjiang, Daqing 163318 2. Education Bureau of Panjin City, Liaoning Province, Liaoning, Panjin,124000)

Aiming at one or more target tracking has already had many kinds of algorithm methods; this paper briefly outlines the characters and development situations of different methods and gives a brief introduction to the situation of application of target tracking technology.

safety; target detection；target tracking; analysis of behavior; particle filter

2016-06-27

李政達(dá)，東北石油大學(xué)安全科學(xué)與工程專業(yè)碩士研究生，主要研究方向?yàn)轱L(fēng)險(xiǎn)評(píng)價(jià)及事故防控技術(shù)研究。