崔智高 王華 李艾華 王濤 李輝

1)(火箭軍工程大學(xué),西安710025)2)(清華大學(xué)自動(dòng)化系,北京100084)

動(dòng)態(tài)背景下基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)算法?

崔智高1)2)?王華1)李艾華1)王濤1)李輝1)

1)(火箭軍工程大學(xué),西安710025)2)(清華大學(xué)自動(dòng)化系,北京100084)

(2016年10月21日收到;2017年1月24日收到修改稿)

針對(duì)現(xiàn)有動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)算法的不足,提出一種基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)算法.首先根據(jù)前背景在光流梯度幅值和光流矢量方向上的差異確定目標(biāo)的大致邊界,然后通過(guò)點(diǎn)在多邊形內(nèi)部原理獲得邊界內(nèi)部的稀疏像素點(diǎn),最后以超像素為節(jié)點(diǎn),利用混合高斯模型擬合的表觀信息和超像素的時(shí)空鄰域關(guān)系構(gòu)建馬爾可夫隨機(jī)場(chǎng)模型的能量函數(shù),并通過(guò)使目標(biāo)函數(shù)能量最小化得到最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果.該算法不需要任何先驗(yàn)假設(shè),能夠同時(shí)處理動(dòng)態(tài)背景和靜態(tài)背景兩種情況.多組實(shí)驗(yàn)結(jié)果表明,本文算法在檢測(cè)的準(zhǔn)確性和處理速度上均優(yōu)于現(xiàn)有算法.

動(dòng)態(tài)背景,運(yùn)動(dòng)目標(biāo)檢測(cè),光流場(chǎng)分析,馬爾可夫隨機(jī)場(chǎng)模型

1 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)是指從視頻序列中提取出感興趣的運(yùn)動(dòng)物體或區(qū)域,是后期實(shí)現(xiàn)目標(biāo)跟蹤、行為分析的基礎(chǔ)[1?3].在實(shí)際應(yīng)用中,根據(jù)攝像機(jī)運(yùn)動(dòng)與否,可分為靜態(tài)背景下和動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)兩類:應(yīng)用于靜態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要有幀差法和背景差分法[4,5];而動(dòng)態(tài)背景下由于攝像機(jī)的不規(guī)則運(yùn)動(dòng)會(huì)造成背景和前景目標(biāo)的相對(duì)運(yùn)動(dòng),給目標(biāo)的檢測(cè)帶來(lái)了非常嚴(yán)峻的挑戰(zhàn).因而致力于研究攝像機(jī)運(yùn)動(dòng)下的目標(biāo)檢測(cè)方法具有非常重要的意義[6].

動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法主要分為基于背景補(bǔ)償?shù)姆椒?、基于初始背景模型?gòu)造的方法和基于運(yùn)動(dòng)線索的方法三類[7],其中第三種是當(dāng)前的主流方法和研究難點(diǎn),此類方法一般以視頻序列獲得的像素點(diǎn)運(yùn)動(dòng)軌跡作為運(yùn)動(dòng)線索的基本載體.例如:Lee等[8]首先根據(jù)像素點(diǎn)運(yùn)動(dòng)軌跡確定類似目標(biāo)的候選關(guān)鍵區(qū)域,然后計(jì)算候選關(guān)鍵區(qū)域的二值化分割,從而獲得具有穩(wěn)定外觀和持續(xù)運(yùn)動(dòng)的假設(shè)組,最后使用已被排序的假設(shè)組得到所有幀像素級(jí)的目標(biāo)檢測(cè)結(jié)果,該算法的不足之處在于其準(zhǔn)確率對(duì)物體的外觀假設(shè)和位置先驗(yàn)依賴較大;Li等[9]通過(guò)條件隨機(jī)場(chǎng)模型將利用像素點(diǎn)運(yùn)動(dòng)軌跡獲得的目標(biāo)內(nèi)部稀疏像素點(diǎn)進(jìn)行有效集成,算法不需要通過(guò)任何訓(xùn)練數(shù)據(jù)來(lái)獲取先驗(yàn)知識(shí)和條件假設(shè),能夠魯棒處理前景目標(biāo)形狀和姿態(tài)的任意變化,但是該方法在運(yùn)動(dòng)軌跡稀疏區(qū)域會(huì)出現(xiàn)大塊的誤檢測(cè);Zhang等[10]首先根據(jù)運(yùn)動(dòng)目標(biāo)的空間連續(xù)性和運(yùn)動(dòng)軌跡的局部平滑性建立目標(biāo)樣本集,然后利用所有的目標(biāo)樣本集建立層狀有向無(wú)環(huán)圖,圖中最長(zhǎng)的路徑滿足運(yùn)動(dòng)評(píng)分函數(shù)最大且代表了可能性最大的目標(biāo)樣本,最后這些目標(biāo)樣本被用于建立目標(biāo)和背景的混合高斯模型,并利用最優(yōu)化圖割方法求解模型獲取準(zhǔn)確的像素級(jí)分割結(jié)果,該算法要求每一環(huán)節(jié)中的參數(shù)設(shè)置都必須準(zhǔn)確合理,一般在實(shí)際場(chǎng)景檢測(cè)中較難實(shí)現(xiàn);Elqursh和ElgamMal[11]提出了一種基于軌跡聚類分析和顏色模型迭代學(xué)習(xí)的運(yùn)動(dòng)檢測(cè)方法,其中作者在使用運(yùn)動(dòng)軌跡時(shí)未用到未來(lái)信息,即軌跡是在線延長(zhǎng)的,因此在視頻序列的初始階段,由于運(yùn)動(dòng)軌跡缺乏足夠的運(yùn)動(dòng)信息,容易造成聚類錯(cuò)誤并影響后續(xù)的顏色模型學(xué)習(xí)和前景背景分割;高文等[12]將目標(biāo)檢測(cè)問(wèn)題視為一種更普遍的二分類問(wèn)題,并利用1 bit BP特征通過(guò)三個(gè)級(jí)聯(lián)分類器實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè),該算法對(duì)攝像機(jī)微小晃動(dòng)、背景模糊等復(fù)雜情況具有良好的檢測(cè)效果,但在背景劇烈變化時(shí)檢測(cè)精度較低;崔智高等[13]首先利用多組單應(yīng)約束對(duì)背景運(yùn)動(dòng)進(jìn)行建模,然后通過(guò)累積確認(rèn)策略實(shí)現(xiàn)前背景軌跡的準(zhǔn)確分離,最后將軌跡分離信息和超像素的時(shí)空鄰域關(guān)系統(tǒng)一建模在以超像素為節(jié)點(diǎn)的馬爾可夫隨機(jī)場(chǎng)模型中,求解模型得到最終的前背景標(biāo)記結(jié)果,該算法的計(jì)算復(fù)雜度較高,并且在前背景的邊緣區(qū)域會(huì)出現(xiàn)較大的誤檢率.

眾所周知,像素點(diǎn)運(yùn)動(dòng)軌跡的提取基于幀間獲取的光流場(chǎng)[14,15],即首先求得幀間光流場(chǎng),然后利用匹配方法[16?18]獲得像素點(diǎn)之間的匹配對(duì)應(yīng),因此若直接以幀間光流場(chǎng)作為運(yùn)動(dòng)線索的基本載體,則可以有效避免匹配過(guò)程中的誤差累積和時(shí)間消耗.基于上述思想,本文提出一種基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)方法.算法首先利用光流的梯度幅值和矢量方向確定前景目標(biāo)的大致邊界,然后根據(jù)點(diǎn)在多邊形內(nèi)部原理獲得邊界內(nèi)部的稀疏像素點(diǎn),最后以超像素為節(jié)點(diǎn)構(gòu)建馬爾可夫隨機(jī)場(chǎng)模型的目標(biāo)能量函數(shù),利用混合高斯模型構(gòu)建數(shù)據(jù)項(xiàng),利用超像素時(shí)空鄰域關(guān)系構(gòu)建平滑項(xiàng),并通過(guò)使目標(biāo)函數(shù)能量最小化得到最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果.本文所提算法不需要物體運(yùn)動(dòng)和場(chǎng)景估計(jì)的先驗(yàn)假設(shè),并且在靜態(tài)場(chǎng)景和動(dòng)態(tài)場(chǎng)景下均能實(shí)現(xiàn)準(zhǔn)確、魯棒的運(yùn)動(dòng)目標(biāo)檢測(cè).

2 基于光流梯度幅值和光流矢量方向的目標(biāo)邊界檢測(cè)

對(duì)于攝像機(jī)運(yùn)動(dòng)的場(chǎng)景,背景所對(duì)應(yīng)的光流場(chǎng)是由背景運(yùn)動(dòng)產(chǎn)生的,而目標(biāo)所對(duì)應(yīng)的光流場(chǎng)則是上述運(yùn)動(dòng)與場(chǎng)景中目標(biāo)運(yùn)動(dòng)疊加產(chǎn)生的,二者的光流矢量存在著較大差異,因而可通過(guò)對(duì)光流矢量的分析確定背景與目標(biāo)的大致邊界.

基于上述思想,本文提出了一種基于光流梯度幅值和光流矢量方向的目標(biāo)邊界檢測(cè)方法.首先利用文獻(xiàn)[19]提出的算法計(jì)算視頻序列的光流場(chǎng),若視頻序列包括N幀圖像,則第t幀圖像坐標(biāo)(u,v)處的光流場(chǎng)矢量可表示為ft(u,v),其中1 6 t 6 N?1.本文把獲得的光流場(chǎng)分為兩類:由攝像機(jī)運(yùn)動(dòng)產(chǎn)生的背景光流場(chǎng)和由運(yùn)動(dòng)物體產(chǎn)生的目標(biāo)光流場(chǎng).本節(jié)將通過(guò)對(duì)光流梯度幅值和光流矢量方向的分析,獲得背景光流場(chǎng)和目標(biāo)光流場(chǎng)的大致邊界.

2.1 光流梯度幅值確定邊界

盡管目標(biāo)運(yùn)動(dòng)和背景運(yùn)動(dòng)具有較大差異性,但目標(biāo)內(nèi)部像素點(diǎn)的運(yùn)動(dòng)或者是背景內(nèi)部像素點(diǎn)的運(yùn)動(dòng)則具有高度一致性,具體表現(xiàn)在目標(biāo)與背景邊緣區(qū)域光流矢量梯度的幅值是較大的,其余區(qū)域則接近0.因而可通過(guò)設(shè)置合適的閾值,將梯度幅值超過(guò)閾值的像素點(diǎn)確定為邊界點(diǎn).基于上述分析,本文引入目標(biāo)邊界強(qiáng)度系數(shù)(u,v)∈[0,1],

其中,∥?ft(u,v)∥表示像素點(diǎn)ft(u,v)的光流梯度幅值,ηm表示將(u,v)控制在[0,1]范圍內(nèi)的參數(shù).

2.2 光流矢量方向確定邊界

背景內(nèi)部像素點(diǎn)或目標(biāo)內(nèi)部像素點(diǎn)的光流矢量方向基本趨于一致,而在背景與目標(biāo)的邊界區(qū)域,光流矢量方向的差異則較為明顯.因此,可將當(dāng)前像素點(diǎn)的光流矢量方向與其8鄰域像素點(diǎn)的光流矢量方向做比較,獲取最大的夾角值,并將夾角超過(guò)閾值的像素點(diǎn)確定為邊界點(diǎn).基于上述分析,本文引入另一個(gè)目標(biāo)邊界強(qiáng)度系數(shù)(u,v)∈[0,1],

其中,maxθ(ft(u,v),Φt(u,v))表示像素點(diǎn)ft(u,v)與其8鄰域像素點(diǎn)集合Φt(u,v)的最大夾角,ηa表示將(u,v)控制在[0,1]范圍內(nèi)的參數(shù).

一般情況下,利用上述的其中一種強(qiáng)度系數(shù)即可實(shí)現(xiàn)目標(biāo)邊界的檢測(cè),但在實(shí)際場(chǎng)景中往往存在各種噪聲的干擾.為了提高魯棒性,本文將光流梯度幅值確定的邊界和光流矢量方向確定的邊界進(jìn)行融合處理,并通過(guò)閾值判斷得到目標(biāo)邊界的二值圖,如下式所示:

其中1代表邊界點(diǎn),0代表非邊界點(diǎn),閾值η取值范圍為[0,1].

3 基于點(diǎn)在多邊形內(nèi)部原理的目標(biāo)像素點(diǎn)判斷

在理想情況下,通過(guò)上述步驟獲得的目標(biāo)邊界應(yīng)與目標(biāo)實(shí)際輪廓相重合,但由于圖像噪聲、光流估計(jì)誤差、閾值判斷等多種因素的影響,二者的邊界曲線往往存在較大誤差,并且經(jīng)過(guò)上述步驟獲得的目標(biāo)邊界通常不是閉合的.圖1給出了一個(gè)具體的例子,其中圖1(a)為People2視頻序列[20]中的第3幀圖像,圖1(b)為其對(duì)應(yīng)的目標(biāo)實(shí)際輪廓,圖1(c)為利用上節(jié)提出的基于光流梯度幅值和光流矢量方向的目標(biāo)邊界檢測(cè)方法得到的目標(biāo)邊界.

為了解決上述問(wèn)題,本文利用點(diǎn)在多邊形內(nèi)部原理確定目標(biāo)內(nèi)部的像素點(diǎn).其核心思想是從一點(diǎn)出發(fā)沿水平或垂直方向引出一條射線,若該射線與多邊形邊的交點(diǎn)數(shù)目為奇數(shù),則判斷該點(diǎn)在多邊形內(nèi)部,否則判斷該點(diǎn)在多邊形外部.基于上述點(diǎn)在多邊形內(nèi)部原理,本文將每個(gè)像素點(diǎn)間隔45?,分別從8個(gè)方向引出射線,若8個(gè)方向引出射線與目標(biāo)邊界交點(diǎn)為奇數(shù)的方向超過(guò)5個(gè),則認(rèn)為該點(diǎn)在目標(biāo)邊界內(nèi)部,從而得到目標(biāo)內(nèi)部稀疏的像素點(diǎn).上述方法通過(guò)多個(gè)方向的綜合判斷得到像素點(diǎn)的位置,可以有效避免部分邊界不連續(xù)或者圖像噪聲造成的誤判斷,增強(qiáng)算法的準(zhǔn)確性和魯棒性.圖2為圖1所示圖像對(duì)應(yīng)的目標(biāo)內(nèi)部像素點(diǎn),其中目標(biāo)內(nèi)部像素點(diǎn)以白色星形顯示.

圖1 目標(biāo)邊界檢測(cè)結(jié)果示例Fig.1.An exaMp le of the ob ject boundary detection.

圖2 目標(biāo)內(nèi)部像素點(diǎn)檢測(cè)的實(shí)驗(yàn)結(jié)果Fig.2.ExperiMental result of internal points detection.

4 基于時(shí)空馬爾可夫隨機(jī)場(chǎng)模型的前背景像素標(biāo)記

通過(guò)上述步驟只能獲得稀疏的目標(biāo)像素點(diǎn).為了進(jìn)一步對(duì)每個(gè)像素信息進(jìn)行前背景標(biāo)記,本文首先利用SLIC算法[21,22]對(duì)視頻序列進(jìn)行過(guò)分割得到超像素集合,然后以超像素為節(jié)點(diǎn)構(gòu)建時(shí)空馬爾可夫隨機(jī)場(chǎng)模型的能量函數(shù),最后通過(guò)使能量函數(shù)最小化得到最終的前背景像素標(biāo)記結(jié)果.

4.1 時(shí)空馬爾可夫隨機(jī)場(chǎng)模型能量函數(shù)設(shè)計(jì)

設(shè)第t幀圖像對(duì)應(yīng)的超像素集合為?t,則?t中的每個(gè)索引為i的超像素對(duì)應(yīng)一個(gè)分類標(biāo)簽∈{0,1},0表示背景,1表示前景目標(biāo).此時(shí),以超像素為節(jié)點(diǎn)可構(gòu)建時(shí)空馬爾可夫隨機(jī)場(chǎng)模型的能量函數(shù),如下式所示:

4.2 數(shù)據(jù)項(xiàng)勢(shì)能函數(shù)設(shè)計(jì)

數(shù)據(jù)項(xiàng)勢(shì)能函數(shù)反映了超像素標(biāo)記結(jié)果與第3節(jié)獲得的目標(biāo)內(nèi)部像素點(diǎn)的符合程度.基于此,本文首先計(jì)算每幀圖像超像素包含已獲得的目標(biāo)內(nèi)部像素點(diǎn)的比例系數(shù),并將該比例與兩個(gè)設(shè)定閾值進(jìn)行比較,從而將超像素初步分類為前景超像素和背景超像素,如下式所示:

然后本文利用包含超像素均值顏色和質(zhì)心坐標(biāo)的5維向量代表每個(gè)前景超像素,并通過(guò)所有前景超像素為每幀圖像構(gòu)建前景混合高斯表觀模型考慮到比例系數(shù)越大,其屬于前景超像素的概率越高,在混合高斯模型中的貢獻(xiàn)也應(yīng)更大,為此本文在構(gòu)建前景混合高斯表觀模型時(shí),為每個(gè)前景超像素引入權(quán)重系數(shù),

在每幀圖像估計(jì)出前景和背景混合高斯表觀模型后,即可計(jì)算出該幀圖像中每個(gè)超像素對(duì)應(yīng)的數(shù)據(jù)項(xiàng)勢(shì)能函數(shù)(),

其中,δ(·)為K ronecker delta函數(shù).(8)式表明,如果某個(gè)超像素被賦予更加符合其表觀模型的標(biāo)簽,那么它的數(shù)據(jù)項(xiàng)勢(shì)能函數(shù)將更小,從而使得整體能量函數(shù)最小.

4.3 平滑項(xiàng)勢(shì)能函數(shù)設(shè)計(jì)

平滑項(xiàng)勢(shì)能函數(shù)用于編碼相鄰超像素之間的標(biāo)記連續(xù)性,又可分為空域平滑勢(shì)能函數(shù)和時(shí)域平滑勢(shì)能函數(shù)兩類.在空域平滑方面,考慮到同幀圖像中各區(qū)域顏色是平滑漸變的,因此相鄰超像素應(yīng)具有相同的分類標(biāo)簽.若設(shè)超像素和其空域近鄰超像素的質(zhì)心坐標(biāo)分別為和,均值顏色分別為和,那么空域平滑勢(shì)能函數(shù)可定義為

在時(shí)域平滑方面,考慮到視頻序列的連續(xù)性,時(shí)域近鄰的超像素也應(yīng)具有相同的分類標(biāo)簽.若設(shè)超像素經(jīng)過(guò)幀間光流補(bǔ)償在后一幀圖像的映射區(qū)域[23,24]與時(shí)域近鄰超像素的重合面積為,超像素的均值顏色為那么時(shí)域平滑勢(shì)能函數(shù)可定義為

對(duì)每個(gè)超像素建立勢(shì)能函數(shù)后,本文利用圖割算法[25,26]求解(11)式能量函數(shù)最小化問(wèn)題,得到每個(gè)超像素的最優(yōu)分類結(jié)果.

將上文所述的時(shí)空馬爾可夫隨機(jī)場(chǎng)模型應(yīng)用到圖2所示圖像中,可以得到圖3所示結(jié)果.圖中超像素之間的邊界用黃色線段表示,背景區(qū)域用暗紅色表示,運(yùn)動(dòng)目標(biāo)區(qū)域則保持原有顏色.

圖3 運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果示例Fig.3.ExperiMental result of the finalMoving ob ject detection.

綜上所述,本文提出的基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)算法具體步驟如下.

算法1動(dòng)態(tài)背景下基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)輸入:視頻序列,圖像幀數(shù)目N

目標(biāo)邊界檢測(cè)

1)計(jì)算每幀圖像的光流場(chǎng)ft(u,v),(1 6 t 6 N?1)

2)for t=1:N?1 do

利用(3)式確定得到目標(biāo)邊界的二值圖st(u,v);

end for

目標(biāo)內(nèi)部像素點(diǎn)判斷

3)for t=1:N?1 do

利用點(diǎn)在多邊形內(nèi)部原理確定目標(biāo)內(nèi)部像素點(diǎn)

end for

前背景像素標(biāo)記

5)for t=1:N?1 do;

end for

6)利用圖割算法求解(11)式所示能量函數(shù)最小化問(wèn)題

輸出:視頻序列每幀圖像的前背景二值標(biāo)記

5 實(shí)驗(yàn)結(jié)果與分析

本文選擇多個(gè)公開(kāi)發(fā)布的視頻序列進(jìn)行實(shí)驗(yàn)測(cè)試.實(shí)驗(yàn)數(shù)據(jù)分別來(lái)自標(biāo)準(zhǔn)視頻庫(kù)中的Cat和Dog序列,Hopkins 155數(shù)據(jù)集[27]的Cars1-Cars4序列,Sand和Teller[28]提供的VPerson和Vcar序列,以及Changedetection.net數(shù)據(jù)集中[29]的Highway和Lab序列,選取視頻包含多種復(fù)雜場(chǎng)景中的剛體和非剛體運(yùn)動(dòng),具有較好的代表性.另外,選取視頻中Highway序列和Lab序列為靜止相機(jī)拍攝的視頻序列,其余則為手持式相機(jī)拍攝的視頻序列,可驗(yàn)證本文方法在靜態(tài)和動(dòng)態(tài)兩種背景下的有效性.

采用廣泛使用的查準(zhǔn)率PR、查全率RE和綜合評(píng)價(jià)FM[30]對(duì)所提算法進(jìn)行評(píng)價(jià),并與主模塊算法(KS)[8]、視覺(jué)和運(yùn)動(dòng)顯著算法(VMS)[9]和單應(yīng)模型約束算法(HC)[13]進(jìn)行定性和定量對(duì)比,結(jié)果如圖4和表1所示.實(shí)驗(yàn)中,取ηm=0.7,ηa=0.4,η=0.1,超像素初步分類參數(shù)T1和T2分別為0.2和0.001.

如圖4所示,不同場(chǎng)景下各種算法都可以大致檢測(cè)出感興趣的目標(biāo)區(qū)域,但在檢測(cè)的準(zhǔn)確度上有所差異.對(duì)比可以發(fā)現(xiàn),主模塊算法KS雖然檢測(cè)得到了前景目標(biāo)的主體內(nèi)容,但在目標(biāo)的完整性上誤檢區(qū)域較為明顯,比如Cars1場(chǎng)景中前輪胎區(qū)域和迎面駛來(lái)的小汽車的漏檢,以及在靜態(tài)場(chǎng)景Highway中未檢測(cè)出第二輛行駛的小汽車;視覺(jué)和運(yùn)動(dòng)顯著性算法VMS檢測(cè)出的目標(biāo)輪廓相對(duì)清晰,但當(dāng)運(yùn)動(dòng)目標(biāo)旁邊存在顏色相似的物體或者場(chǎng)景中含有視覺(jué)上較為突出的目標(biāo)時(shí),也會(huì)出現(xiàn)明顯的誤檢,表現(xiàn)為在Cat場(chǎng)景中誤檢了場(chǎng)景中的兩只碗,同時(shí)貓的腿部白色區(qū)域出現(xiàn)了局部漏檢,在其他場(chǎng)景中也部分出現(xiàn)了上述問(wèn)題;單應(yīng)性算法HC的檢測(cè)結(jié)果相對(duì)完整,但目標(biāo)的過(guò)檢測(cè)導(dǎo)致邊界不清楚,比如Cars1和Highway場(chǎng)景中將車身與陰影融為了一體,除此之外,該算法在操作過(guò)程中需要計(jì)算大量運(yùn)動(dòng)軌跡,計(jì)算復(fù)雜度較高;相比前三種算法,本文方法在綜合性能上更為優(yōu)越,算法采用光流梯度幅值和光流矢量方向兩種方法來(lái)確定目標(biāo)的邊界,在不同場(chǎng)景下得到的目標(biāo)輪廓都較為清晰準(zhǔn)確,并且可以消除部分運(yùn)動(dòng)陰影的影響,另外算法對(duì)前背景的表觀信息建立混合高斯模型,并結(jié)合超像素點(diǎn)的時(shí)空鄰域連續(xù)性,使檢測(cè)的結(jié)果更加完整準(zhǔn)確.

從表1數(shù)據(jù)可以看出,不同場(chǎng)景下本文算法的查全率PR和查準(zhǔn)率RE多數(shù)高于其他算法,表明所提算法對(duì)前景目標(biāo)的檢測(cè)準(zhǔn)確性明顯提升,綜合評(píng)價(jià)指標(biāo)值FM也穩(wěn)居最高,且基本達(dá)到了90%左右,更充分說(shuō)明了本文算法具有非常好的魯棒性,能夠廣泛適用于不同場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè).

為進(jìn)一步說(shuō)明本文算法在處理速度上的優(yōu)勢(shì),同樣在上述10組視頻序列上進(jìn)行對(duì)比實(shí)驗(yàn),得到4種算法在所有視頻幀上的平均處理時(shí)間,結(jié)果如表2所示.值得注意的是,動(dòng)態(tài)背景下目標(biāo)檢測(cè)的輸入通常是像素點(diǎn)運(yùn)動(dòng)軌跡或幀間光流場(chǎng),目前二者的計(jì)算度非常高,尚不能滿足實(shí)時(shí)要求,這也是限制動(dòng)態(tài)背景下目標(biāo)檢測(cè)運(yùn)算速度的主要因素,若想要提高處理速度,可采用GPU加速的光流場(chǎng)或像素點(diǎn)運(yùn)動(dòng)軌跡[31].

表1 四種算法的定量評(píng)估Table 1.The quantitative resu lt of four algorithMs.

圖4 (網(wǎng)刊彩色)四種算法在不同場(chǎng)景下的前景檢測(cè)結(jié)果(a)Cat(dynaMic scene);(b)Cars1(dynaMic scene);(c)VPerson(dynaMic scene);(d)Highway(static scene)Fig.4.(color on line)The experiMental resu lts of fou r algorithMs in d iff erent scenes:(a)Cat(dynaMic scene);(b)Cars1(dynaMic scene);(c)VPerson(dynaMic scene);(d)H ighway(static scene).

表2 四種算法的處理速度對(duì)比Tab le 2.CoMparison of p rocessing tiMe about fou r algorithMs.

6 結(jié)論

本文提出一種基于光流場(chǎng)分析的運(yùn)動(dòng)目標(biāo)檢測(cè)算法.算法以相鄰視頻幀的光流矢量為基礎(chǔ),首先通過(guò)光流梯度幅值和光流矢量方向共同確定目標(biāo)的邊界,得到相對(duì)清晰準(zhǔn)確的前景輪廓;然后利用點(diǎn)在多邊形內(nèi)部原理對(duì)像素點(diǎn)進(jìn)行多方向判斷,獲得前景目標(biāo)內(nèi)部較準(zhǔn)確的稀疏像素點(diǎn);最后以超像素為節(jié)點(diǎn),將利用混合高斯模型構(gòu)建的數(shù)據(jù)項(xiàng)和利用超像素時(shí)空鄰域關(guān)系構(gòu)建的平滑項(xiàng)統(tǒng)一納入到馬爾可夫隨機(jī)場(chǎng)模型中,并通過(guò)圖割最優(yōu)理論求解模型得到最終的前背景區(qū)域分割結(jié)果.本文算法具有非常廣泛的適用性,在靜態(tài)背景和攝像機(jī)任意運(yùn)動(dòng)產(chǎn)生的動(dòng)態(tài)背景均能實(shí)現(xiàn)準(zhǔn)確、魯棒的運(yùn)動(dòng)目標(biāo)檢測(cè).

[1]Radke R,And ra S,Kofahi A,RoysaMB 2005 IEEE Trans.IMage Process.14 294

[2]Ren Y,Chua C,Ho Y 2003 Mach.Vision Appl.13 332

[3]Sheikh Y,Javed O,Kanade T 2009 Conference.on CoMpu ter V ision and Pattern Recognition(CVPR)MiaMi,USA,June 20–25,2009 p1219

[4]Chen L,Zhu S,Li X 2015 International SyMposiuMon CoMputers&InforMatics Beijing,China,January 17–18,2015 p742

[5]Bi G L,Xu Z J,Chen T,W ang J L,Zhang Y S 2015 Acta Phys.Sin.64 150701(in Chinese)[畢國(guó)玲,續(xù)志軍,陳濤,王建立,張延坤2015物理學(xué)報(bào)64 150701]

[6]Sun SW,W ang Y F,Huang F,Liao H Y 2013 J.Visual.ComMun.IMage Represen t 24 232

[7]Li A H,CuiZG 2016Moving Object Detection in Videos(Beijing:Science Press)p15(in Chinese)[李艾華,崔智高2016視頻序列運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)(北京:科學(xué)出版社)第15頁(yè)]

[8]Lee Y,K iMJ,G rauMan K 2011 In ternational Conference on CoMputer Vision(ICCV)Barcelona,Spain,NoveMber 6–13,2011 p1995

[9]LiW T,Chang H S,Lien K C,Chang H T,W ang Y C 2011 IEEE Trans.IMage Proc.22 2600

[10]Zhang D,Javed O,Shah M2013 Conference on Computer Vision and Pattern Recognition(CVPR)O regon,Portland,June 25–27,2013 p682

[11]E lqursh A,E lgamMal A 2012 European Conference on CoMpu ter Vision(ECCV)F lorence,Italy,O ctober 7–13,2012 p228

[12]Gao W,Tang Y,Zhu M2014 Acta Phys Sin.63 094204(in Chinese)[高文,湯洋,朱明2014物理學(xué)報(bào)63 094204]

[13]Cui Z G,Li A H,Feng G Y 2015 Journal of CoMputer-Aided Design&CoMputer Graphics 27 621(in Chinese)[崔智高,李艾華,馮國(guó)彥2015計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)27 621]

[14]W ang J,Adelson E 1994 IEEE Trans.IMage Process.3 625

[15]C reMers D,Soatto S 2004 In t.J.CoMput Vison 62 249

[16]Yoon S,Park S,K ang S 2005 Pattern Recogn it.Lett.26 2221

[17]Adhyapak S,K ehtarnavaz N,Nad in M2007 J.E lectron.IMaging 16 13012

[18]D i S,Mattoccia S,ToMbari F 2005 In ternationalWorkshop on CoMputer Architecture for Machine Perception PalerMo,Italy,Ju ly 4–6,2005 p193

[19]Bouguet J 2001 In tel Corporation 5 10

[20]B rox T,Malik J 2010 European Conference on Computer Vision(ECCV)Crete,G reece,September 5–11,2010 p282

[21]Achanta R,Sha ji A,SMith K 2012 IEEE Trans.Pattern Anal.Mach.In tell.34 2274

[22]Achanta R,Shaji A 2010 EPFL Technical Report 1 149

[23]Vazquez A,Avidan S,P fi ster H 2010 European Conference on CoMpu ter Vision(ECCV)C rete,G reece,September 5–11,2010 p268

[24]Fu lkerson B,Vedald i A,Soatto S 2009 In ternational Conference on CoMputer V ision(ICCV)Kyoto,Japan,Sep teMber 27–October 4,2009 p670

[25]Boykov Y,Veksler O,Zabih R 2001 IEEE Trans.Pattern Anal.Mach.In tell.23 1222

[26]Boykov Y,Funka L 2006 In t.J.CoMput.V ison.70 109

[27]Tron R,V idal R 2007 Conference on CoMputer Vision and Pattern Recognition(CVPR)Minneapolis,USA,June 18–23 2007 p1

[28]Sand P,Teller S 2008 In t.J.CoMpu t.Vison.80 72

[29]Goyette N,Jodoin P,Porikil F 2012 Conference on CoMputer Vision and Pattern Recognition Workshops(CVPRW)Providence,Rhode Island,June 16–21,2012 p1

[30]Cui X,Huang J,Zhang S,Metaxas D 2012 European Conference on CoMputer Vision(ECCV)Florence,Italy,O ctober 7–13,2012 p612

[31]SundaraMN,B rox T,Keutzer K 2010 European Conference on CoMpu ter Vision(ECCV)C rete,G reece,Sep teMber 5–11,2010 p438

(Received 21 October 2016;revised Manuscrip t received 24 January 2017)

PACS:42.30.Tz,07.05.Pj,02.50.–rDOI:10.7498/aps.66.084203

*Pro ject supported by the National Natural Science Foundation of China(G rant No.61501470).

?Corresponding author.E-Mail:cuizg10@tsinghua.edu.cn

Moving ob ject detection based on op tical fl ow fi eld analysis in dynaMic scenes?

Cui Zhi-Gao1)2)?Wang Hua1)Li Ai-Hua1)Wang Tao1)Li Hui1)

1)(The Rocket Force of Engineering University,X i’an 710025,China)2)(DepartMent of Au toMation,Tsinghua University,Beijing 100084,China)

To overcoMe the liMitation of existing algorithMs for detecting Moving ob jects froMthe dynaMic scenes,a foreground detection algorithMbased on optical flow field analysis is p roposed.Firstly,the ob ject boundary information is deterMined by detecting the diff erences in optical fl ow gradient Magnitude and optical fl ow vector direction between foreground and background.Then,the pixels inside the ob jects are obtained based on the point-in-polygon probleMfroMcoMputational geometry.Finally,the superpixels per frame are acquired by over-segmenting method.And taking the superpixels as nodes,the Markov RandoMfield Model is built,in which the appearance in forMation fi tted by Gaussian Mixture Model is combined w ith spatioteMporal constraints of each superpixel.The final foreground detection result is obtained by finding the MinimuMvalue of the energy function.The proposed algorithMdoes not need any priori assuMptions,and can eff ectively realize theMoving ob ject detection in dynaMic and stationary background.The experimental results show that the proposed algorithMis superior to the existing state-of-the-art algorithMs in the detection accuracy,robustness and tiMe consuMing.

dynaMic scene,moving ob ject detection,optical flow field analysis,Markov randoMfield model

10.7498/aps.66.084203

?國(guó)家自然科學(xué)基金(批準(zhǔn)號(hào):61501470)資助的課題.

?通信作者.E-Mail:cuizg10@tsinghua.edu.cn

?2017中國(guó)物理學(xué)會(huì)C h inese P hysica l Society

http://w u lixb.iphy.ac.cn