蔣建國， 李 明， 齊美彬

（合肥工業(yè)大學(xué)計算機與信息學(xué)院，安徽合肥 230009）

近年來，運動目標(biāo)的檢測與跟蹤已成為視頻監(jiān)控領(lǐng)域中一個重要的研究方向。它主要研究從包含運動目標(biāo)的序列圖像中檢測、識別和跟蹤運動目標(biāo)，能夠成功有效地跟蹤到目標(biāo)的前提就是對運動目標(biāo)的檢測，運動目標(biāo)檢測算法主要有背景差法、幀間差分法、光流法［1－3］等。而實際中許多監(jiān)控應(yīng)用由于搭載在云臺上的攝像機姿態(tài)和位置的變化，會形成視頻序列中的背景和目標(biāo)同時產(chǎn)生運動的動態(tài)場景，傳統(tǒng)的背景減除法、幀差法很難對其進行準(zhǔn)確的檢測。

本文設(shè)計并提出了一種基于TMS320DM6437嵌入式網(wǎng)絡(luò)攝像機平臺運動目標(biāo)檢測與跟蹤的算法［4］。由于攝像機視野范圍有限，要對運動目標(biāo)實現(xiàn)有效跟蹤，需控制云臺實現(xiàn)攝像機轉(zhuǎn)動，這就造成背景在不斷變化，給運動目標(biāo)的檢測帶來一定難度，因此本文提出了背景更新與幀差法相結(jié)合的算法，并引入Canny邊緣檢測的連通算法將檢測出的運動目標(biāo)輪廓連通性加強［5］，從而獲得一種具有魯棒性的運動檢測方法。采用分片NMI特征建立匹配模板，利用卡爾曼預(yù)測［6－7］解決在多目標(biāo)情況下，發(fā)生靜態(tài)遮擋與彼此遮擋情況下的目標(biāo)跟蹤問題，并在實驗中實時有效地對運動背景中運動目標(biāo)進行了檢測與跟蹤。

1 算法實現(xiàn)的硬件平臺

本文算法是基于TI公司生產(chǎn)DM6437為核心處理器的圖像處理平臺，通過串口控制云臺轉(zhuǎn)動，帶動網(wǎng)絡(luò)攝像機旋轉(zhuǎn)跟蹤運動目標(biāo)，硬件平臺主要由DSP、FLASH、SDRAM、以太網(wǎng)接口、串口電路、視頻A／D、CCD傳感器和云臺組成，視頻A／D把CCD圖像傳感器采集的復(fù)合電視信號轉(zhuǎn)換成數(shù)字視頻信號，DSP對數(shù)字視頻信號進行處理和運算，處理后的結(jié)果通過串口輸出控制命令，可以上下左右調(diào)整云臺實現(xiàn)跟蹤目的，其中，DSP通過H.264進行圖像壓縮，并且通過以太網(wǎng)傳送給PC機；SDRAM存儲程序代碼、圖像數(shù)據(jù)和運算臨時變量；FLASH在系統(tǒng)掉電時保存程序代碼；云臺使用RS485協(xié)議和DSP通信。

2 算法設(shè)計及實現(xiàn)過程

2.1 基于塊匹配的背景更新原理

在攝像機運動與目標(biāo)運動的情況下，背景是不斷變化的，在適當(dāng)?shù)倪\動速度之內(nèi)，序列圖像的幀與幀之間圖像的背景變化不大，可以近似認(rèn)為是背景的平移。為此，本文提出了一種背景重建結(jié)合幀間差分算法以解決在攝像機運動、目標(biāo)運動情況下的運動目標(biāo)檢測?；趯崟r性的考慮，本文采用特征塊匹配的方法。

假設(shè)采集的視頻圖像序列為：I1（x，y），I2（x，y），…，Ik－1（x，y），Ik（x，y），Ik＋1（x，y），…。相鄰幀中對應(yīng)于無運動目標(biāo)區(qū)域（即公共背景區(qū)域）的灰度值近似相同，因此選取相鄰3幀Ik－1（x，y）、Ik（x，y）、Ik＋1（x，y）為一個處理組合。其中，Ik（x，y）為當(dāng)前幀并作為基準(zhǔn)，將它分成M×N大小的子塊其中i、j為當(dāng)前子塊中心點在當(dāng)前幀Ik（x，y）圖像中的坐標(biāo)。

匹配塊的選擇采用以下評價函數(shù)，即

當(dāng)f＞η（η為閾值）時，將此塊標(biāo)記為特征塊，否則為非特征塊。塊匹配的估計算法中常用的匹配準(zhǔn)則有3種［8］，即最小絕對差（MAD）、最小均方誤差（MSE）和歸一化互相關(guān)函數(shù)（NCCF），本文匹配準(zhǔn)則采用最小絕對差準(zhǔn)則（SAD）：SAD＝對每一匹配塊幀以（x，y）為中心，大小為K×L范圍內(nèi)進行塊匹配，尋找與塊尺寸相同的最佳匹配塊的中心位移運動矢量r。在匹配過程中，需要計算特征塊與各可能匹配塊的SAD（r）值，即

其中，Δx為特征塊相對于各匹配塊的中心位移矢量。將各可能匹配塊和特征塊的SAD（r）值進行比較，求出SAD（r）取值最小時所對應(yīng)的匹配塊，則為當(dāng)前特征塊的最佳匹配塊。匹配完畢后，對每一匹配塊的位移進行處理，找到其峰值點，該峰值點對應(yīng)的位移即為背景的位移量rk－1。按同樣方式對Ik＋1幀進行處理，求出rk。

在匹配過程中，本文基于減少時間開銷采用4鄰域交叉搜索法取代以往的8鄰域搜索法，如圖1所示。

圖1 4領(lǐng)域搜索示意圖

如果在每次搜索過程中均計算周圍8點像素能量的話，實際將會產(chǎn)生大量的重復(fù)計算，因此定義一個全局變量sign，當(dāng)sign＝1時，按圖1a所示搜索，當(dāng)sign＝－1時，按圖1b所示搜索，因此每次搜索計算的工作量減1／2（其中Q為控制點）。每次搜索開始時，令sign＝－sign，通過輪流使用2種搜索方式，即可達到搜索整個空間的效果。實驗證明，采用4鄰域交替搜索方法不僅達到相同的效果，而且減少30%的時間開銷。

2.2 運動目標(biāo)檢測算法

本文所研究的運動目標(biāo)檢測算法實現(xiàn)步驟如下：

（1）根據(jù)前面和背景匹配結(jié)果，進行幀間差分，從而將背景的運動補償?shù)?，其差分結(jié)果為：

分別取Dk－1（x，y）、Dk＋1（x，y）差分圖像的平均值為閾值，對其進行二值化處理：

其結(jié)果為：

（2）Canny連通思想的引用。雖然幀差法比較適合于動態(tài)背景的場合，但其缺點是不能對運動物體實現(xiàn)完整的檢測，中間有空洞且邊緣不連續(xù)，發(fā)生斷裂現(xiàn)象如圖2a所示，這對后期的運動目標(biāo)提取帶來很大困難。本文引入Canny算法的連通思想使檢測邊緣連續(xù)性大大增強，為目標(biāo)的提取提供了有效保障。Canny算法提出后一直被認(rèn)為是一種較好的邊緣檢測方法，它具有定位精度高、單一邊緣和檢測效果好的優(yōu)點。

Canny算法具有以下過程：在定位和檢測前先濾除噪聲；利用梯度搜尋邊；計算方向角；方向角規(guī)范化；非最大化抑制；雙閾值分割。

本文將雙閾值分割過程引入到運動檢測二值化中，2個閾值的比值為3∶2，高閾值為大津閾值算法確定的閾值HT，獲得最大類間方差的分割結(jié)果［9－10］?？紤]到背景存在噪聲干擾、光照不均等情況，本文采用對光照不均有較好適應(yīng)性的局部閾值法，該算法計算簡單、定位閾值準(zhǔn)確。首先將圖像像素點數(shù)為零的灰度級從候選閾值中排除，然后采用大津法搜索閾值以最大組間方差和最小組內(nèi)方差為最佳閾值標(biāo)準(zhǔn)來確定閾值點。通過計算得到低閾值LT，利用低閾值放寬要求在確定為目標(biāo)的點8連通區(qū)域?qū)ふ铱赡転槟繕?biāo)的點，采用鄰域端點搜索法，首先搜索圖2中的斷裂邊界點，搜索以斷裂邊界點為中心的8連通區(qū)域，利用低閾值找到對應(yīng)新的邊界端點，并填充必要的邊界像素，即將新的邊界點加入創(chuàng)建的鏈表中，并再以新的邊界點為中心搜索其8連通區(qū)域，從而將邊界連接起來，得到閉合邊界，連續(xù)定位精度高的運動目標(biāo)輪廓如圖2b所示。

圖2 Canny連通前、后效果對比

由圖2可以看出，Canny連通算法的加入使目標(biāo)輪廓的連通性得到了明顯改善，尤其是連通后4個目標(biāo)均被檢測成功，而連通前只成功檢測出3個目標(biāo)。

2.3 運動目標(biāo)的跟蹤

本文運用卡爾曼濾波方法預(yù)測運動目標(biāo)下一幀可能出現(xiàn)的位置，對灰度圖像運用分片NMI特征匹配，結(jié)合攝像機標(biāo)定原理對運動目標(biāo)進行實時跟蹤。

（1）基于當(dāng)前運動信息的Kalman預(yù)測。在多目標(biāo)運動的情況下，有可能發(fā)生遮擋的問題，存在對目標(biāo)跟蹤丟失的現(xiàn)象。本文根據(jù)目標(biāo)當(dāng)前的運動信息（如位置、速度、加速度）結(jié)合Kalman濾波對其預(yù)測跟蹤［11］。Kalman預(yù)測估計就是在前一幀系統(tǒng)狀態(tài)的基礎(chǔ)上預(yù)估下一幀系統(tǒng)狀態(tài)。其系統(tǒng)的狀態(tài)方程和觀測方程為：

其中，Xk、Xk－1為k時刻和k－1時刻的狀態(tài)變量；Zk為k時刻的觀測變量；W和V分別為狀態(tài)和觀測所對應(yīng)的噪聲。

在目標(biāo)跟蹤過程中，為每個進入攝像機視野范圍內(nèi)的目標(biāo)建立一個Kalman濾波器。在未發(fā)生遮擋時，對運動目標(biāo)進行模板匹配，并不斷更新模板。當(dāng)出現(xiàn)遮擋時，取遮擋前一幀的模板為臨時參照模板并結(jié)合目標(biāo)的運動信息利用臨時參照模板進行匹配。如果能匹配上則認(rèn)為是當(dāng)前運動目標(biāo)，使用Kalman對其位置進行預(yù)測。

（2）分片NMI特征模板的建立。以目標(biāo)不變特征為識別基礎(chǔ)的NMI匹配，是以計算圖像歸一化轉(zhuǎn)動慣量為不變特征進行目標(biāo)識別的方法，NMI有很好的縮放、旋轉(zhuǎn)、平移不變性，是一種較為實用的、運算速度快的目標(biāo)匹配方法。

由圖像的質(zhì)心和轉(zhuǎn)動慣量的定義，給出灰度圖像質(zhì)心（cx，cy）的歸一化轉(zhuǎn)動慣量，即

目標(biāo)與背景之間也可能互相遮擋。人眼在跟蹤被部分遮擋的目標(biāo)時，仍能根據(jù)未被遮擋部分的特征來跟蹤該目標(biāo)。為了較好地解決遮擋情況下的匹配問題，必須建立良好的匹配模板，受meanshift算法中“核函數(shù)”方法與分片局部區(qū)域直方圖等方法以及文獻［12］啟發(fā)，本文提出一種基于動態(tài)遮擋因子的區(qū)域NMI特征搜索匹配方法?；舅枷胧菍⒛繕?biāo)模板按行、列等間隔分成M個等面積的小區(qū)域采用類似“核函數(shù)”的方法得到各小區(qū)域的NMI特征值作為局部模板，一般取16片較為理想，每一片分別進行直方圖特征匹配，模板如圖3所示。

圖3 分片模板示意圖

對于每一片的匹配結(jié)果計算匹配度Tm，考慮到可靠性與容錯性的要求，Tm取值一般大于0.7，則保留匹配結(jié)果，定義目標(biāo)遮擋因子Ts＝未匹配的片數(shù)／總片數(shù)，實驗結(jié)果表明遮擋因子Ts一般低于0.4，則判定目標(biāo)仍然存在，繼續(xù)跟蹤，否則判定目標(biāo)消失，停止跟蹤，并在以后各幀中利用預(yù)先保留的未遮擋的目標(biāo)模板進行全搜索，直至目標(biāo)重新出現(xiàn)。

（3）攝像機云臺控制。單攝像機視野有限，要對運動目標(biāo)實現(xiàn)有效跟蹤，需控制云臺實現(xiàn)攝像機轉(zhuǎn)動，云臺可以根據(jù)DSP串口指令按一定角速度轉(zhuǎn)動。攝像機成像模型如下：OO1為攝像機焦距，M為運動目標(biāo)，P為目標(biāo)在圖像上的成像點，如圖4所示。一旦運動目標(biāo)偏離圖像中心一定像素（本文實驗取10個像素），即可控制云臺轉(zhuǎn)動，對目標(biāo)進行跟蹤。

圖4 攝像機結(jié)構(gòu)圖

3 實驗結(jié)果與分析

本文算法首先在上位機進行模擬實驗，取得良好效果后加載到SDRM大小為64 MB、主頻為600 MHz的DSP上測試通過。通過攝像機采取視頻信號，經(jīng)過A／D轉(zhuǎn)換，在DSP上對于大小為352×288的視頻幀進行實時處理，其判別正確率的判別算法中充分考慮了DSP的性能，利用運動目標(biāo)的NMI特征來進行判別。實驗表明，該算法能夠很好地適應(yīng)各種光亮的變化，對各種噪聲具有較強的處理能力，對特定的運動目標(biāo)具有較好的判別能力，實驗結(jié)果如圖5所示。

圖5 實驗結(jié)果

4 結(jié)束語

為了能從運動的背景中檢測其中的運動目標(biāo)，本文提出了一種基于TMS320DM6437圖像處理平臺上的運動目標(biāo)檢測與跟蹤的方法，成功地引入大津閾值，實現(xiàn)了自適應(yīng)閾值的選取，使二值化過程取得良好效果。與此同時，引入Canny算法連通思想，成功地解決了目標(biāo)輪廓不連續(xù)的的問題。運用卡爾曼濾波方法預(yù)測運動目標(biāo)下一幀可能出現(xiàn)的位置，再對灰度圖像運用分片NMI特征匹配，結(jié)合攝像機標(biāo)定原理對運動目標(biāo)進行實時跟蹤。理論分析和實驗結(jié)果表明，此算法的可行性高，具有廣泛的實用價值。

［1］ Stauffer C，Grimson W.Adaptive background mixture models for real－time tracking［C］／／Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，1999：246－252.

［2］ Lipton A，F(xiàn)ujiyosei H，Patil R.Moving target classification and tracking from real－time video［C］／／Proceedings of IEEE Workshop on Applications of Computer Vision，1998：8－14.

［3］ Horn B K P，Schunck B G.Determining optical flow［J］.Artificial Intelligence，1981，17（1／2／3）：185－203.

［4］ TMS320DM6437 video／imaging fixed－point digital signal processor（Rev）［R］.Texas Instruments Incorporated，2004.

［5］ Canny J.A computational approach to edge detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1986，8（6）：679－698.

［6］ 成 光，劉衛(wèi)東，魏尚俊，等.基于卡爾曼濾波的目標(biāo)估計和預(yù)測方法研究［J］.計算機仿真，2006，23（1）：8－10.

［7］ Wang Chao，Ohsumi A，Djurovic I.Model predictive control of noisy plants using Kalman predictor and filter［C］／／Proceedings of the IEEE Region 10 Conference on Computers，Communications，Control ＆Power Engineering，Vol 3.Beijing：IEEE，2002：1404－1407.

［8］ Kong Gang.Research on the tracking technology of extended object under complex background［D］.Chinese Academy of Sciences，2005.

［9］ 齊美彬，鮮 柯，蔣建國.基于對比度失真參數(shù)的車流量統(tǒng)計算法［J］.合肥工業(yè)大學(xué)學(xué)報：自然科學(xué)版，2010，33（12）：1815－1818，1823.

［10］ 許向陽，宋恩民，金良海.Otsu準(zhǔn)則的閾值性質(zhì)分析［J］.電子學(xué)報，2009，37（12）：2716－2719.

［11］ 金 芳，李君波，楊 勇.基于模板匹配與運動預(yù)測的跟蹤算法研究［J］.微計算機信息，2007，23（7）：313－315.

［12］ Adam A，Rivlin E，Shimshoni I.Robust fragments－based tracking using the integral histogram［C］／／Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR）.Washington，USA：IEEE Computer Society，2006：798－805.