王 強(qiáng)，趙書斌

(江蘇自動化研究所，江蘇 連云港 222006)

基于視頻的運動目標(biāo)檢測是指將視頻圖像中的變化區(qū)域從背景中分割出來，其目的是從視頻圖像中檢測并提取運動目標(biāo)。視頻中的運動目標(biāo)也稱為前景，其余區(qū)域稱為背景。有效地分割視頻圖像中的運動目標(biāo)是計算機(jī)視覺信息提取的一個關(guān)鍵步驟，也是目標(biāo)跟蹤、目標(biāo)分類和行為理解等更高層次視頻圖像分析的重要基礎(chǔ)。從視頻圖像序列中快速準(zhǔn)確地提取運動目標(biāo)，已經(jīng)成為目前計算機(jī)視覺和圖像理解研究的熱點和難點之一。

目前，運動目標(biāo)檢測的主要方法有:幀差法、背景差分法和光流法［1］。在理想條件下，檢測運動目標(biāo)并不存在很大的困難。但在實際應(yīng)用中，由于光照條件變化、背景物體的擾動、陰影和目標(biāo)遮擋等因素的影響，如何有效地從視頻圖像中提取完整運動目標(biāo)還是需要深入研究的問題。針對這些問題，目前主要有兩種不同的研究趨勢。第一種趨勢是對經(jīng)典算法的改進(jìn)，如文獻(xiàn)［2］利用相鄰三幀圖像先差分再求和的改進(jìn)算法，能得到比較好的運動目標(biāo)輪廓并減少了光照變化帶來的影響;文獻(xiàn)［3］采用多個高斯分布加權(quán)建模，能夠描述像素值分布的雙峰或多峰狀態(tài)，對場景比較復(fù)雜、光照緩慢變化和存在小幅度周期性擾動的背景能夠準(zhǔn)確建模;文獻(xiàn)［4］提出了一種非參數(shù)技術(shù)，用核密度估計的方法計算每個像素是背景的概率，有效地抑制了擾動對背景模型的影響;文獻(xiàn)［5］中提出的碼本模型方法將亮度和色度分開計算，算法簡單而又有效地解決了局部或全局光線變化對背景產(chǎn)生的影響，具有較好的適應(yīng)性;文獻(xiàn)［6］提出了一種改進(jìn)的光流計算方法，通過減少光流計算量提高檢測的實時性。第二種趨勢是根據(jù)各種算法的優(yōu)缺點，采用混合的方法對運動目標(biāo)進(jìn)行檢測，文獻(xiàn)［1］提出了一種自適應(yīng)背景差分與三幀差分相結(jié)合的混合算法，能夠快速有效地從背景中檢測出運動目標(biāo);文獻(xiàn)［7］采用了幀差法和光流法相結(jié)合的算法，使得計算出的光流場更為可靠，同時也減少了計算量。本文主要對幀差法和背景差分法進(jìn)行研究，并對典型算法進(jìn)行了全面地比較與分析。

1 幀差法

幀差法［8］是利用相鄰兩幀或多幀圖像的差異來檢測運動目標(biāo)。在視頻圖像序列中，如果場景中沒有運動目標(biāo)，則連續(xù)兩幀或多幀圖像之間的變化會很小;反之，則會有明顯變化。

兩幀差分法的計算復(fù)雜度較低，檢測速度快，對光線變化具有較強(qiáng)的適應(yīng)性。但該方法檢測出的運動目標(biāo)不能準(zhǔn)確反映目標(biāo)的真實形狀，且容易在目標(biāo)內(nèi)部產(chǎn)生空洞現(xiàn)象，同時，目標(biāo)的運動速度對該方法也有很大影響。

針對兩幀差分法的不足，許多學(xué)者對其進(jìn)行了改進(jìn)，其中利用相鄰五幀視頻圖像進(jìn)行差分的方法［9］取得了較好的效果。該方法能夠得到較準(zhǔn)確的目標(biāo)輪廓，同時也能較好地適應(yīng)目標(biāo)運動速度的變化。但當(dāng)速度過快或者過慢時，該方法依然會產(chǎn)生一些空洞現(xiàn)象。

2 背景差分法

背景差分法利用輸入視頻幀和背景圖像的差異來進(jìn)行運動目標(biāo)檢測，是目前運動目標(biāo)檢測中最常用的一類方法。如果相同位置的像素特征、像素區(qū)域特征或其他特征存在顯著差別，則該視頻圖像中這些位置的像素點或像素區(qū)域就構(gòu)成了運動目標(biāo)區(qū)域。基于背景差分的運動目標(biāo)檢測流程如圖1所示，主要包含預(yù)處理、背景建模、前景檢測和后處理4個步驟［10］。

圖1 背景差分法流程圖

背景差分法的關(guān)鍵不在于差分運算，而是背景圖像的構(gòu)建和更新方法，即背景建模。本文在對算法進(jìn)行比較與分析時，選取了目前較常用且具有代表性的幾種背景建模方法，包括:均值濾波［11］、中值濾波［12］、自適應(yīng)背景模型［13］、混合高斯模型［3］、自適應(yīng)混合高斯模型［14］、貝葉斯模型［15］、碼本模型［5］和 ViBe 算法［16-17］。

3 實驗結(jié)果及比較分析

為了對本文介紹的幾種運動目標(biāo)檢測算法進(jìn)行定性和定量的比較分析，本文在Vssn061、CMU2和Wallflower3視頻庫中選取了七段視頻進(jìn)行測試。選取的視頻可分為以下三種不同的背景情況:背景較純凈、背景存在較大擾動和光照變化，視頻的分類和具體描述如表1所示。為了定量比較各種算法的性能差異，使用Recall、Precision和F-metric［18］來衡量算法的檢測性能。

表1 實驗中視頻的分類和描述

容易看出，Recall、Precision和 F-metric均為［0，1］間的浮點數(shù)。Recall值越高，表明檢測算法正確檢測運動物體的敏感度越高，漏檢率越小，完整性越好;Precision值越高，則表明檢測算法產(chǎn)生的噪聲越小，即誤檢率越小，抗噪性越好;Recall和Precision是一對互相制約的量，為此，本文使用F-metric作為檢測算法的綜合評價，F(xiàn)-metric值越高，則表明該算法的綜合性能越好。

圖2為本試驗結(jié)果的部分截圖

背景較純凈、背景存在較大擾動和光照變化情況下的定量分析結(jié)果分別如表2、表3和表4所示。

從效果上看，兩幀差分法檢測到的目標(biāo)輪廓不真實，且有較大的空洞，同時在目標(biāo)快速運動時，容易產(chǎn)生鬼影現(xiàn)象;五幀差分可以檢測出真實的目標(biāo)輪廓，但仍會產(chǎn)生空洞;均值濾波在目標(biāo)進(jìn)行緩慢移動時容易將目標(biāo)融入背景，產(chǎn)生空洞，并容易產(chǎn)生拖尾現(xiàn)象。從圖2和表2可以看出，在背景較純凈的情況下，混合高斯模型、碼本模型、自適應(yīng)混合高斯模型以及ViBe算法檢測結(jié)果相當(dāng)，它們的抗噪性和目標(biāo)完整性最好，且F-metric值也高于其他算法，即它們的綜合性能最好;自適應(yīng)背景模型和貝葉斯模型均利用了幀間信息對背景進(jìn)行建模，在此情況下其綜合性能較為接近;由于ViBe算法對Railway視頻中攝像機(jī)的微小抖動較為敏感，所以它的 Precision值較低，使其綜合性能有所降低。

圖2 每個算法在不同背景條件下的實驗結(jié)果

表2 背景較純凈情況下的定量分析結(jié)果

表3 背景存在較大擾動情況下的定量分析結(jié)果

從表3可以看出，在背景存在較大擾動的情況下，每個算法的F-metric均明顯低于背景純凈情況下的值。從Precision值可以看出，背景擾動對檢測結(jié)果的影響很大，每個算法都不同程度地將擾動的背景檢測為前景，造成每個算法的誤檢率變大。ViBe算法的Precision值最高，即抗干擾性最好，但是它的漏檢率較高，檢測結(jié)果的完整性較差;由于混合高斯模型采用多個高斯分布加權(quán)建模，能夠較好地描述像素值分布的雙峰或多峰狀態(tài)，所以在背景存在較大擾動時，混合高斯模型的綜合性能較好。碼本模型檢測出的運動目標(biāo)的完整性略差于混合高斯模型，但它的抗干擾能力比較強(qiáng)，因此其綜合性能也較好。

表4 光照變化情況下的定量分析結(jié)果

從圖2和表4中視頻Video8的結(jié)果可以看出，在發(fā)生局部光照突變時，除了兩幀差分法和五幀差分法，其他方法都在一定程度上受到了光照突變的影響，后五種方法檢測出的目標(biāo)完整性比較相近，混合高斯模型和碼本模型檢測結(jié)果的完整性最好，但是由于光照突變對它們的影響較大，使其綜合性能也比較差。ViBe算法在建模時既考慮了時間信息，也考慮了像素間的空間鄰域相關(guān)性，因此，對于發(fā)生局部光照突變的情況能夠較快地進(jìn)行背景更新，其抗噪性和完整性均較好，綜合性能最佳。

由視頻Light switch的結(jié)果可以看出，在發(fā)生全局光照突變時，由于無法快速地對背景模型進(jìn)行更新，后五種算法均出現(xiàn)大面積誤檢，從效果和定量分析結(jié)果上看，這種大面積誤檢使得算法無法正確檢測出運動目標(biāo)，也使其F-metric值均在0.3以下，綜合性能很差，而且需要經(jīng)過一段時間的背景更新后，這些算法才能正確地檢測出運動目標(biāo)。前五種算法能較快適應(yīng)全局光照突變，但是檢測的完整性較差，均出現(xiàn)不同程度的空洞。

由視頻Time of day的結(jié)果可以看出，在發(fā)生全局光照緩慢變化時，后五種算法沒有發(fā)生大面積的誤檢，但是本段視頻在光照緩慢變亮?xí)r，整體光照還是偏暗的，使得這些算法只能檢測出目標(biāo)的頭部，造成檢測結(jié)果的完整性不好，導(dǎo)致綜合性能較差。從這三種不同的光照變化情況綜合來看，中值濾波和自適應(yīng)背景建模的完整性和抗噪性均較好，具有較好的效果和綜合性能，對光照變化適應(yīng)能力比較強(qiáng)。

4 結(jié)束語

本文選取了幾種目前比較常用的基于視頻的運動目標(biāo)檢測方法，然后通過實驗對每種方法進(jìn)行了比較與分析。大量實驗表明，ViBe算法、碼本模型、混合高斯模型、自適應(yīng)混合高斯模型、中值濾波和自適應(yīng)背景建模具有較好的檢測效果，但任何一種方法都有其局限性。根據(jù)實驗結(jié)果可知，在背景存在較大擾動時，利用碼本模型和混合高斯模型相結(jié)合的方法，在碼本模型中引入混合高斯模型的特性，可以使算法具有很好的抗擾動性和自適應(yīng)性;在光照變化的情況下，利用幀差法和混合高斯模型相結(jié)合的方法，對光照變化引起的誤檢區(qū)域設(shè)置較大的更新率，可以解決此情況下大面積誤檢的問題。目前，一些研究者采用混合方法解決了一些如攝像機(jī)抖動、背景擾動、光照變化、遮擋和陰影等相關(guān)問題，但這些問題的解決大多是以其他方面的犧牲為代價的。

［1］Collins R，Lipton A J，Kanade T，et al.A System for Video Surveillance and Monitoring:Final Report［R］.Technical Report:CMU-RI-TR-00-12，Carnegie Melon University，Pittsburgh，Peen，America，2000.

［2］Dubuisson M P，Lakshmanana S，Jain A K.Vehicle Segmentation and Classification Using Deformable Templates［J］.IEEE Transactions Pattern Analysis and Machine Intelligence，1996，18(3):293-308.

［3］Stauffer C，Crimson W E L.Adaptive Background Mixture Models for Real-Time tracking［C］.Proceeding of the IEEE International Conference on Computer Vision and Pattern Recognition，1999(2):246-252.

［4］Ahmed Elgammal，Ramani Duraiswami，David Harwo-od，et al.Background and Foreground Modeling Using Nonparametric Kernel Density for Visual Surveillance［C］.Proceedings of the IEEE，2002:1151-1163.

［5］Kim K Chalidabhongse T H，Harwood D.Real-time Foreground—Background Segmentation Using Codebook Model［J］.Real-Time Imaging，2005，11(3):172-185.

［6］Alexei A Efros，Alexander C Berg，Greg Mori，et al.Recognizing Action at a Distance［C］.International Conference on Computer Vision，2003(2):726-733.

［7］You-shan Qu，Wei-Jian Tian，et al.Detecting Small Moving Target in Image Sequences Using Optical Flow Based on the Discontinuous Frame Difference［J］.Proceedings of the SPIE-The International Society for Optical Engineering，2003:915-918.

［8］Lipton A，F(xiàn)ujiyoshi H，Patil R.Moving Target Classification and Tracking from Real Time Video［R］.In Proc:Workshop on Applications of Computer Vision，1998.

［9］何衛(wèi)華，李平，文玉梅.復(fù)雜背景下基于圖像融合的運動目標(biāo)輪廓提取方法［J］.計算機(jī)應(yīng)用.2006，26(1):123-126.

［10］Donovan H.Parks，Sidney S.Fels.Evaluation of Background Subtraction Algorithm with Post-Processing［C］.In IEEE Fifth International Conference on Advanced Video＆ Signal Based Surveillance，2008:192-199.

［11］Cutler R，Davis L.View-based Detection［C］.Proceeding of International Conference on Pattern Recognition，1998:495-500.

［12］Cucchiara R，Piccardi M，Prati A.Detecting Moving Objects，Ghosts，and Shadows in Video Streams［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(10):1337-1342.

［13］王正勤，劉富強(qiáng).自適應(yīng)背景提取算法的比較［J］.計算機(jī)工程，2008，34:220-223.

［14］Z.Zivkovic，F(xiàn).van der Heijden.Efficient Adaptive Density Estimapion per Image Pixel for the Task of Background Subtraction［J］. Pattern Recognition Letters，2006，27(7):773-780.

［15］Liyuan Li，Weimin Huang，Irene Y.H.Gu，et al.Statistical Modeling of Complex Backgrounds for Foreground Object Detection［J］.IEEE Trans.on Image Processing.(S1057-7149)，2004，13(11):1459-1472.

［16］O.Barnich，M.Van Droogenbroeck.ViBe:a Powerful Random Technique to Estimate the Background in Video Sequences［C］.In International Conference on Acoustics，Speech，and Signal Processing.April.2009:945-948.

［17］O.Barnich，M.Van Droogenbroeck.ViBe:A Universal Background Subtraction Algorithm for Video Sequences［J］.In IEEE Transactions on Image Processing，2011，20(6):1109-1124.

［18］Lucia Maddalena，Alfredo Petrosino.A self-Organizing Approach to Background Subtraction for Visual Surveillance Applications［J］.IEEE Transactions on Image Processing，2008，17(7):1168-1177.