，，

(1．武漢船舶職業(yè)技術(shù)學(xué)院,湖北武漢 430050; 2.海軍工程大學(xué)電氣與信息工程學(xué)院，湖北武漢 430033)

一種綜合時(shí)空域背景分離的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

呂金華1，江漢紅2，姜春良2

(1．武漢船舶職業(yè)技術(shù)學(xué)院,湖北武漢 430050; 2.海軍工程大學(xué)電氣與信息工程學(xué)院，湖北武漢 430033)

針對(duì)單時(shí)域高斯模型在目標(biāo)檢測(cè)中易受光照、噪聲等因素的影響，單一時(shí)域或空域識(shí)別方法又各有其局限性，本文提出一種背景分離的運(yùn)動(dòng)目標(biāo)時(shí)空域檢測(cè)方法；該方法充分利用運(yùn)動(dòng)目標(biāo)在時(shí)域和空域中與背景的區(qū)別，利用相關(guān)系數(shù)的差異，通過最小內(nèi)差法確定閾值門限。通過實(shí)驗(yàn)驗(yàn)證，該方法能夠在光照突變等復(fù)雜背景下，能有效消除光照、噪聲等因素影響，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)。

運(yùn)動(dòng)目標(biāo)檢測(cè)；時(shí)空域

1 研究背景

運(yùn)動(dòng)目標(biāo)檢測(cè)是目標(biāo)運(yùn)動(dòng)分析、行為理解等智能活動(dòng)的基礎(chǔ)，目的是從序列圖像中將變化區(qū)域從背景圖像中提取出。運(yùn)動(dòng)目標(biāo)檢測(cè)在安全監(jiān)控、車牌識(shí)別、目標(biāo)探測(cè)與跟蹤中有廣泛的應(yīng)用[1～3]。目前視頻中運(yùn)動(dòng)目標(biāo)檢測(cè)的主要方法有三種：幀間差分法[4]、光流法[5]和背景減除[6]。這些算法有著各自的優(yōu)缺點(diǎn)，如幀間差分法，算法簡單，運(yùn)行速度快，但很難獲取運(yùn)動(dòng)物體的完整形狀，只能保留輪廓，形成“空洞現(xiàn)象”。光流法是利用圖像序列中的像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來確定各自像素位置的“運(yùn)動(dòng)”，光流法主要缺點(diǎn)是計(jì)算耗時(shí)，實(shí)時(shí)性和實(shí)用性都較差；背景減除法利用背景的參數(shù)模型來近似背景圖像的像素值，將當(dāng)前幀與背景圖像進(jìn)行差分比較實(shí)現(xiàn)對(duì)運(yùn)動(dòng)區(qū)域的檢測(cè)，背景減除法的主要缺點(diǎn)是背景的擾動(dòng)(樹枝、水波、光照)對(duì)背景的獲取影響很大。這三種算法中應(yīng)用最為廣泛的是背景減除法。背景減除法的關(guān)鍵是如何適應(yīng)背景變化對(duì)背景進(jìn)行動(dòng)態(tài)更新。在這種思路下，后續(xù)發(fā)展了均值濾波法、中值濾波法、碼書模型、隱馬兒科夫模型、單高斯模型、混合高斯模型、內(nèi)核密度估計(jì)和均值替換法等多種背景更新算法[7，8]。本文采用聯(lián)合時(shí)域和空域的背景檢測(cè)方法，利用目標(biāo)和背景的時(shí)空信號(hào)相關(guān)性差異，實(shí)現(xiàn)對(duì)目標(biāo)和背景的分離。

2 高斯背景模型

高斯背景模型最初是由單高斯模型發(fā)展起來的，單高斯背景模型是基于假設(shè)每個(gè)背景像素的亮度在時(shí)間域上的一個(gè)高斯分布，即背景圖像B中任意一點(diǎn)(x,y)的灰度分布服從高斯分布：I(x,y)～N(μ,σ2)，因此圖像B中任意一點(diǎn)(x,y)的統(tǒng)計(jì)屬性可以由平均值μ和方差σ2來描述，平均值μ由該像素對(duì)應(yīng)空間點(diǎn)的光反射強(qiáng)度決定，σ2由攝像頭CCD的采集噪聲水平以及該像素對(duì)應(yīng)空間點(diǎn)反射強(qiáng)度的隨機(jī)特性決定。將圖像I與背景圖像相比較，設(shè)置比較的閾值T。如果滿足

(1)

則該點(diǎn)(x,y)是背景點(diǎn)，反之則是前景點(diǎn)。

采用單高斯背景模型在圖像采集裝置固定和背景靜止時(shí)能夠取得比較好的效果。但由于在更多的情況下，背景場(chǎng)景通常在不斷改變，顏色和光照發(fā)生變化，單高斯背景模型不能及時(shí)反映背景變化，容易產(chǎn)生錯(cuò)誤的檢測(cè)結(jié)果?；谏鲜隹紤]，有學(xué)者提出基于混合高斯的背景模型?；旌细咚鼓Ｐ褪菍⒚總€(gè)像素按照多個(gè)高斯模型進(jìn)行建模，在單高斯的基礎(chǔ)上增加高斯模型的個(gè)數(shù)，由多個(gè)高斯模型線性組合成一個(gè)混合高斯模型，每個(gè)高斯模型有均值、方差和權(quán)值三個(gè)參數(shù)。假設(shè)每個(gè)背景像素點(diǎn)B(x,y)的值用K個(gè)高斯分布來描述，則像素B(x,y)值的概率函數(shù)可用式(2)表示：

(2)

其中ωi,xy為點(diǎn)(x,y)上第i個(gè)高斯分布的權(quán)值，表示在點(diǎn)(x,y)上第i高斯分布在K個(gè)高斯分布的重要程度，μi,xy為點(diǎn)(x,y)上第i個(gè)高斯分布的均值，σi,xy為點(diǎn)(x,y)上第i個(gè)高斯個(gè)的歷史分布的標(biāo)準(zhǔn)差。各個(gè)高斯分布按照出現(xiàn)的頻率進(jìn)行排序，每個(gè)像素點(diǎn)上歷史數(shù)據(jù)符合某個(gè)高斯模型的頻率越多，這個(gè)高斯分布越可能屬于背景。通常選取優(yōu)先級(jí)較大的幾個(gè)高斯分布組合成背景模型：

(3)

γ為閾值，當(dāng)點(diǎn)(x,y)上某一時(shí)刻值滿足該點(diǎn)背景模型中的任何一個(gè)高斯背景，即可認(rèn)定該點(diǎn)為背景?；旌细咚鼓Ｐ偷腒的值通常取3-5個(gè)，當(dāng)背景相對(duì)穩(wěn)定時(shí)，K取值1-2個(gè)模型即可，當(dāng)背景變化較為頻繁時(shí)，K取值3-5個(gè)或者更多。

混合高斯模型首先利用視頻的第一幅圖，以該圖的值作為均值，賦予一定的方差和權(quán)值，建立第一個(gè)高斯分布。此后下一幀圖像用同樣的方法建立第二、第三個(gè)高斯模型，當(dāng)模型數(shù)量達(dá)到K個(gè)以后，新圖像創(chuàng)建一個(gè)新的高斯分布，替代原來優(yōu)先級(jí)低的那個(gè)高斯分布，均值、方差、權(quán)限均進(jìn)行更新。

混合高斯模型能夠模擬復(fù)雜的背景，能夠有效地抑制動(dòng)態(tài)背景對(duì)目標(biāo)檢測(cè)的影響，缺點(diǎn)是收斂速度慢，容易產(chǎn)生虛警點(diǎn)，對(duì)亮度的突然變化比較敏感，每個(gè)像素需要建立多個(gè)高斯分布，存儲(chǔ)量相對(duì)較大，降低了實(shí)施性，對(duì)速度相對(duì)較慢的運(yùn)動(dòng)目標(biāo)檢測(cè)效果較差，容易識(shí)別為背景。

3 時(shí)空域背景檢測(cè)

針對(duì)混合高斯模型檢測(cè)背景的缺點(diǎn)，可以通過基于像素的時(shí)域信息和空域信息的檢測(cè)法進(jìn)行背景判斷。對(duì)于判斷圖像中一個(gè)像素點(diǎn)是否為背景，在時(shí)域和空域上基于背景變化平緩假設(shè)，即背景中任意一點(diǎn)在時(shí)域上不會(huì)存在大的跳變，或者在空域上沒有大的跳變， 前后圖像灰度上存在一定的相關(guān)性。因此利用前后幀圖像信號(hào)之間的相關(guān)性可以將目標(biāo)和背景區(qū)別開。當(dāng)沒有目標(biāo)運(yùn)動(dòng)時(shí)，前后幀相同像素區(qū)域信號(hào)之間存在很強(qiáng)的相關(guān)性，當(dāng)有目標(biāo)在像素點(diǎn)周圍運(yùn)動(dòng)時(shí)，由于前后幀灰度之間發(fā)生了變化，信號(hào)之間的相關(guān)性相比之前，大大降低，如果設(shè)定一個(gè)閾值，當(dāng)相關(guān)性大于該閾值，則認(rèn)定為背景，反之為目標(biāo)。

假設(shè)點(diǎn)(i,j)的時(shí)域信號(hào)為fr(i,j,k)，其8鄰域像素點(diǎn)時(shí)域信號(hào)為fr(i+m,j+n,k),(m,n，k=-1,0,1)，令fr(i,j,k)=ak，fr(i+m,j+n,k)=bk,兩像素點(diǎn)間時(shí)域信號(hào)的相關(guān)系數(shù)為：

根據(jù)上述描述，可以將算法步驟歸納如下：

(1)在當(dāng)前幀取大小為3×3的滑動(dòng)窗口，以點(diǎn)(i,j)作為中心取出窗口圖像。

(2)按圖1所示沿著8個(gè)相鄰像素的方向，分別進(jìn)行窗口滑動(dòng)，并進(jìn)行時(shí)域信號(hào)相關(guān)檢測(cè)。

圖1 時(shí)空域目標(biāo)檢測(cè)搜索示意圖

(3)依據(jù)OSTU確定相關(guān)性門限。

(4)依據(jù)相關(guān)性確定點(diǎn)(i,j)為目標(biāo)以及目標(biāo)的運(yùn)動(dòng)軌跡。

(5)將將時(shí)域窗口移動(dòng)至K+1幀，釋放上一時(shí)間窗口的首幀，循環(huán)以上步驟完成目標(biāo)檢測(cè)。

4 實(shí)驗(yàn)與分析

為了驗(yàn)證目標(biāo)檢測(cè)效果，本文對(duì)江面監(jiān)測(cè)圖像序列進(jìn)行目標(biāo)檢測(cè)，檢測(cè)的背景為江面(圖2.a)，檢測(cè)目標(biāo)為江面行駛的船只(圖2.b)。分別采用單高斯模型、混合高斯模型、時(shí)空域目標(biāo)檢測(cè)算法進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)驗(yàn)證。圖3.a、圖3.b、圖3.c分別為上述三種算法進(jìn)行目標(biāo)檢測(cè)的結(jié)果。

(a) 背景圖像 (b) 船只航行圖像圖2 背景及目標(biāo)運(yùn)動(dòng)圖像

(a) 單高斯模型 (b) 混合高斯模型 (c) 時(shí)空域目標(biāo)檢測(cè)圖3 三種目標(biāo)檢測(cè)算法對(duì)比

從檢測(cè)結(jié)果中不難看出，由于江面起伏的隨機(jī)性，導(dǎo)致監(jiān)控畫面中江面的圖像灰度起伏不定，背景變化較大，采用單高斯模型目標(biāo)檢測(cè)的結(jié)果較差，江面的噪聲點(diǎn)較多，對(duì)船只的檢測(cè)效果一般，存在很多空洞。相比較單高斯模型，多高斯模型在江面檢測(cè)上有了較大的進(jìn)步，噪聲點(diǎn)明顯變少，船艏部分檢測(cè)效果較好，但船艉部分也存在較多空洞。檢測(cè)效果最好的為時(shí)空域目標(biāo)檢測(cè)算法，江面噪聲點(diǎn)幾乎沒有，船只的檢測(cè)連續(xù)，基本消除了空洞。

5 結(jié) 論

在混合高斯模型的基礎(chǔ)上提出了一種基于空間信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。利用了像素及其周圍區(qū)域，以及前后幀局部圖像的相關(guān)性，對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)。通過實(shí)驗(yàn)，時(shí)空域目標(biāo)檢測(cè)算法能夠有效的降低復(fù)雜噪聲對(duì)目標(biāo)檢測(cè)帶來的影響。

1 Kanade Takeo，Collins R T，Lipton Alan J，et al．A system for video surveillance and monitoring CMU VSAM final report[R]．Carnegie Mellon University，2000．

2 Kim J B，Kim H J．Efficient region-based motion segmentation for video monitoring systerm[J]．Pattern Recognition Letters，2003，24：113-128．

3 Collins R T，Lipton A J．Introduction to the special section on video surveillance[J]．IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(8)：745-746．

4 Strings E，Regazzoni C S．Real-time video-shot detection for scene applications[J]．IEEE Transactions on Image Processing，2000，9(1)：6 979-6 982．

5 David A S．Optical flow analysis and kalman filter tracking in video surveillance algorithms[D]．Monterey：Duke University，2006．

6 Li L，Huang W M，Gu Y H，et al．Foreground Object Detection from Videos Containing Complex Background[J]．ACM Multimedia conf，Berkeley，USA，2003：358-362．

7 鄭江濱，張艷寧，馮大金，等.視頻監(jiān)視中運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤算法[J].系統(tǒng)工程與電子技術(shù)，2002，10(24)：35-38.

8 楊威，張?zhí)镂?復(fù)雜景物環(huán)境下運(yùn)動(dòng)目標(biāo)檢測(cè)的新方法[J].計(jì)算機(jī)研究與發(fā)展，1998，35(8)：724-728.

9 萬磊,白洪亮,戴軍. 擴(kuò)展的Otsu最優(yōu)閾值圖像分割的實(shí)現(xiàn)方法[J].哈爾濱工程大學(xué)學(xué)報(bào),2003, 24(3)：326-329.

(責(zé)任編輯：譚銀元)

AMovingObjectDetectionMethodBringingTogetherSpatio-temporalDomainBackgroundSeparation

LVJin-hua1，JIANGHan-hong2,JIANGChun-liang2

(1. Wuhan Institute of Shipbuilding Technology, Wuhan, 430050, 2.College of Electrical Engineering Naval University of Engineering, Wuhan, 430033,China)

Amoving object detection method bringing together spatio-temporal domain background separation is proposedto solve the problem that single time domain Gauss model tends to be influenced by illumination and noise in object detection as the single identification methodonly withtime or spacedomain has its limitation respectively.In this method, the difference between the moving object in space domain and time domain is analyzed, some related coefficient difference is used to determine the threshold through the minimum internal difference method. The experiment proves that this method, under complex background such as illumination mutation, can effectively eliminate the influence of illumination,noiseand other factors, and achievequick detection of a moving object.

moving object detection; spatio-temporal domain

2017-01-26

呂金華，男，副教授，主要從事自動(dòng)控制理論方面的教學(xué)和科研工作。

TP39

A

1671-8100(2017)02-0031-03