郎宇博 孫 鵬 于德水 曹 陽(yáng) 李愈鵬 陳彥伶

（中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽(yáng) 110035）

監(jiān)控場(chǎng)景中遺留物檢測(cè)與報(bào)警系統(tǒng)開發(fā)

郎宇博 孫 鵬 于德水 曹 陽(yáng) 李愈鵬 陳彥伶

（中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系 遼寧 沈陽(yáng) 110035）

作為智能監(jiān)控系統(tǒng)的一部分，遺留物檢測(cè)系統(tǒng)的主要作用是檢測(cè)監(jiān)控場(chǎng)景中有意或者無(wú)意遺留下來(lái)的行李、包裹、車輛等目標(biāo)，并在檢測(cè)出可疑遺留目標(biāo)后發(fā)出警報(bào)，同時(shí)在視頻中對(duì)遺留物進(jìn)行標(biāo)注。利用雙背景建模方法檢測(cè)遺留物掩膜，結(jié)合Camshift算法對(duì)疑似遺留物進(jìn)行跟蹤。在跟蹤過(guò)程中，引入與搜索窗匹配的延遲因子方法避免遺留物的遮擋問題，成功實(shí)現(xiàn)并驗(yàn)證了該方法對(duì)于遺留物檢測(cè)及報(bào)警的有效性。在此基礎(chǔ)上，利用EmguCV開源計(jì)算機(jī)視覺庫(kù)及Visual Studio2015和.NET框架，基于C#開發(fā)語(yǔ)言成功完成了視頻中遺留物檢測(cè)與報(bào)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

遺留物檢測(cè) 雙背景建模 Camshift跟蹤

1 研究背景

自從“9·11”恐怖襲擊事件發(fā)生以來(lái)，全球的反恐怖主義形勢(shì)越發(fā)嚴(yán)峻，加強(qiáng)對(duì)恐怖襲擊事件的防范，大力打擊恐怖活動(dòng)組織成為世界各國(guó)反恐工作的重點(diǎn)。我國(guó)面臨的恐怖勢(shì)力主要是新疆、西藏等邊境地區(qū)的民族獨(dú)立分子與極端宗教主義分子。在人流密集區(qū)域及政治敏感區(qū)域煽動(dòng)暴亂及制造爆炸等是這些暴徒的主要攻擊手段。來(lái)自恐怖主義的威脅使得對(duì)于人流密集場(chǎng)所和安全級(jí)別較高的場(chǎng)所等重點(diǎn)區(qū)域的安防工作壓力陡增，因此，對(duì)于機(jī)場(chǎng)、車站等人群密集、人流量大、人員組成復(fù)雜的場(chǎng)所的監(jiān)控系統(tǒng)的智能化需求也越來(lái)越高。

正是在這種需求下，智能視頻監(jiān)控系統(tǒng)作為安全防范體系的重要組成部分得到了很大的發(fā)展。智能監(jiān)控系統(tǒng)是指在不需要人為干預(yù)的情況下，通過(guò)對(duì)視頻圖像序列的自動(dòng)提取和分析，實(shí)現(xiàn)畫面內(nèi)目標(biāo)的定位、識(shí)別和跟蹤，在此基礎(chǔ)上完成目標(biāo)行為的判斷，一旦發(fā)現(xiàn)異常，主動(dòng)向用戶發(fā)出警報(bào)，真正實(shí)現(xiàn)了“監(jiān)”、“控”結(jié)合打擊犯罪、反恐預(yù)警的目的[1]。

作為智能監(jiān)控系統(tǒng)的一部分，遺留物檢測(cè)系統(tǒng)的主要作用是檢測(cè)監(jiān)控場(chǎng)景中被有意或者無(wú)意遺留下來(lái)的行李、包裹、爆炸物、車輛等目標(biāo)，并在檢測(cè)出可疑遺留目標(biāo)后發(fā)出警報(bào)，同時(shí)在視頻中對(duì)遺留物進(jìn)行標(biāo)注。2005年的倫敦地鐵爆炸案、2008年的昆明公交車爆炸案和2013年的波士頓馬拉松爆炸案都是兇手通過(guò)引爆放置在現(xiàn)場(chǎng)的爆炸物造成的。遺留物檢測(cè)與報(bào)警系統(tǒng)一經(jīng)發(fā)揮作用，可以有效地避免上述案件的再次發(fā)生，極大地減輕公安一線視頻偵查員的工作負(fù)擔(dān)，因此，視頻中遺留物檢測(cè)成為了反恐與安防領(lǐng)域內(nèi)的重要研究?jī)?nèi)容。

本系統(tǒng)在雙背景建模法檢測(cè)遺留物的基礎(chǔ)上，利用Camshift算法對(duì)疑似遺留物進(jìn)行跟蹤。跟蹤過(guò)程中，考慮到遺留物出現(xiàn)的被遮擋、移動(dòng)等情況，引入了基于搜索窗匹配的延遲因子，成功實(shí)現(xiàn)并驗(yàn)證了該方法對(duì)于遺留物檢測(cè)及報(bào)警的有效性。在此基礎(chǔ)上，利用EmguCV開源計(jì)算機(jī)視覺庫(kù)及Visual Studio2015和.NET框架，基于C#開發(fā)語(yǔ)言成功完成了視頻中遺留物檢測(cè)與報(bào)警系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。

2 理論依據(jù)

2.1 基于雙背景建模的遺留物檢測(cè)

基于背景模型的目標(biāo)物檢測(cè)是利用視頻內(nèi)容建立視頻的背景模型，通過(guò)視頻幀與背景模型做差即可得到視頻畫面中的前景目標(biāo)。而雙背景建模方法是建立兩個(gè)背景模型，其中一個(gè)是實(shí)時(shí)更新的背景模型，另一個(gè)是延遲更新的背景模型。當(dāng)視頻中存在遺留物時(shí)，由于遺留物品會(huì)在畫面中的固定位置存在一定時(shí)間，因此會(huì)在實(shí)時(shí)更新的背景模型上存在殘影，而延遲更新的背景模型則沒有變化，因此，可以利用這兩個(gè)模型做差找到其中存在的遺留物，從而實(shí)現(xiàn)遺留物的檢測(cè)[2]。

本文中把實(shí)時(shí)更新的背景圖像叫做“實(shí)時(shí)背景”，把延遲更新的背景圖像叫做“慢背景”?！皩?shí)時(shí)背景”的更新方式非常簡(jiǎn)單，當(dāng)視頻中的一幀圖像輸入系統(tǒng)時(shí)，首先判斷該幀是否為視頻的第一幀或者最后一幀，如果是第一幀，則將該幀的灰度圖像初始化為當(dāng)前的“實(shí)時(shí)背景”，如果是最后一幀，則結(jié)束該循環(huán)。當(dāng)?shù)诙瑘D像輸入系統(tǒng)時(shí)，首先將其灰度化，并將其每一點(diǎn)像素值和“實(shí)時(shí)背景”的對(duì)應(yīng)像素值做比較，如果該像素值大于“實(shí)時(shí)背景”像素值，則“實(shí)時(shí)背景”相應(yīng)的像素值加上一個(gè)常數(shù)，反之，則“實(shí)時(shí)背景”相應(yīng)的像素值減去一個(gè)常數(shù)?！奥尘啊钡母路绞礁鼮楹?jiǎn)單，首先將視頻第n幀時(shí)的“實(shí)時(shí)背景”作為初值初始化為“慢背景”，此后每過(guò)n幀即將當(dāng)時(shí)的“實(shí)時(shí)背景”作為當(dāng)前的“慢背景”[3]。

在檢測(cè)遺留物時(shí)，我們只需要用當(dāng)前“實(shí)時(shí)背景”減去當(dāng)前“慢背景”即可得到遺留物的前景圖像。此時(shí)可以通過(guò)去噪、平滑、形態(tài)學(xué)處理等手段獲取更為精確的遺留物前景圖像，二值化后得到其掩膜，便于后續(xù)處理。

雙背景建模法的具體流程如圖1所示。

圖1 雙背景建模法流程圖

為了驗(yàn)證算法有效性，選取AVSS 2007 i-LIDS遺留物檢測(cè)視頻庫(kù)中的一段視頻進(jìn)行測(cè)試，圖2為算法運(yùn)行結(jié)果。

圖2 雙背景建模算法運(yùn)行結(jié)果

2.2 Camshift跟蹤算法

Camshift算法的全稱為“Continuously Adaptive Mean-SHIFT”，即連續(xù)自適應(yīng)Mean-SHIFT算法。該算法的流程是對(duì)視頻的每一幀圖像進(jìn)行Mean-SHIFT搜索運(yùn)算，并將視頻第k幀的Mean-SHIFT運(yùn)算結(jié)果，即搜索窗的大小和中心點(diǎn)作為第k+1幀搜索窗口的初始值，如此迭代直至視頻最后一幀。由于采用了迭代的思想，因此該算法能夠隨著目標(biāo)的大小變化及比較緩慢的亮度變化進(jìn)行調(diào)整，并且自適應(yīng)地變換跟蹤窗口的大小進(jìn)行跟蹤。

該算法的流程分為以下幾個(gè)步驟：

（1）初始化算法搜索窗的大小和位置（本系統(tǒng)中，該值可以設(shè)為2.1節(jié)中檢測(cè)到的遺留物掩膜的最小外接矩形）；

（2）計(jì)算搜索窗內(nèi)圖像的色彩概率密度圖，并根據(jù)該色彩概率密度計(jì)算整幅圖像的反向投影圖；

（3）根據(jù)Mean-SHIFT算法，利用（1）（2）中的搜索窗初始位置及反向投影圖計(jì)算下一幀的搜索窗大小及位置；

（4）將（3）中計(jì)算得到的新搜索窗作為（2）的輸入，重復(fù)（2）、（3）中的步驟直至視頻結(jié)束。

該算法流程圖如圖3所示。

圖3 Camshift算法流程圖

2.3 基于搜索窗匹配的延遲因子

為了避免視頻中行人、車輛等對(duì)遺留物遮擋導(dǎo)致的跟蹤失敗，同時(shí)也為了能夠在遺留物被遺留超過(guò)規(guī)定時(shí)間后系統(tǒng)自動(dòng)報(bào)警，本文設(shè)計(jì)了一組基于搜索窗匹配的延遲因子。

搜索窗矩形匹配的主要作用就是判斷兩幀中Camshift得到的搜索窗結(jié)果是否一致，如果搜索窗結(jié)果一致，則表明兩幀中跟蹤的疑似遺留物被成功跟蹤并且沒有被遮擋或移動(dòng)；反之如果搜索窗結(jié)果不匹配，則證明跟蹤的目標(biāo)并不是遺留物或者遺留物出現(xiàn)遮擋、移動(dòng)等現(xiàn)象，這時(shí)需要判斷延遲因子是否滿足閾值條件，如滿足，則繼續(xù)跟蹤，否則放棄跟蹤該目標(biāo)。搜索窗匹配的判定條件如下所示：

該延遲因子分為兩部分，第一部分是遺留物被檢測(cè)到的幀數(shù)，即“檢測(cè)數(shù)”，每當(dāng)兩幀的搜索窗匹配成功的話，“檢測(cè)數(shù)”加一，當(dāng)“檢測(cè)數(shù)”達(dá)到閾值時(shí)，即判定該物體為遺留物。第二部分是“漏檢數(shù)”，當(dāng)兩幀搜索窗匹配不成功時(shí)，系統(tǒng)并不會(huì)馬上判定該物品為非遺留物，因?yàn)槁z可能是由于遮擋、光線變化等問題導(dǎo)致的，為了避免這種情況，采用“漏檢數(shù)”來(lái)判斷物品此時(shí)的狀態(tài)。每當(dāng)匹配不成功時(shí)，“漏檢數(shù)”加一，當(dāng)“漏檢數(shù)”到達(dá)一固定閾值時(shí)，則判定物品非遺留物。圖4為該方法流程圖。

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.1 UI界面的設(shè)計(jì)與實(shí)現(xiàn)

UI界面的主要作用就是與系統(tǒng)用戶進(jìn)行交互的平臺(tái)，對(duì)于本系統(tǒng)來(lái)說(shuō)，UI界面的主要功能有以下幾點(diǎn)：

（1）播放視頻，并且同時(shí)具備在視頻中標(biāo)注遺留物的功能；

（2）為用戶提供修改或選擇參數(shù)的接口，方便用戶針對(duì)現(xiàn)場(chǎng)視頻的不同，采取不同的參數(shù)來(lái)應(yīng)對(duì)，使系統(tǒng)的效率和準(zhǔn)確率更高；

（3）因?yàn)楸鞠到y(tǒng)暫時(shí)未設(shè)計(jì)網(wǎng)絡(luò)視頻播放的功能，試驗(yàn)階段擬通過(guò)本地視頻播放模擬網(wǎng)絡(luò)視頻，因此需要提供打開視頻的按鈕；

（4）視頻文件基本信息的顯示；

（5）系統(tǒng)窗口的最小化及關(guān)閉功能。

圖4 基于搜索窗匹配的延遲因子方法流程圖

基于上述功能，在Visual studio 2015開發(fā)工具及.NET平臺(tái)的支持下，設(shè)計(jì)并開發(fā)了如圖5的系統(tǒng)UI界面。

圖5 系統(tǒng)主界面

主界面主要由標(biāo)題欄、視頻播放及報(bào)警區(qū)域、參數(shù)設(shè)置區(qū)域、視頻信息顯示區(qū)域及按鈕區(qū)域組成，各區(qū)域分布如圖6所示。

圖6 系統(tǒng)主界面功能區(qū)說(shuō)明

視頻播放及報(bào)警區(qū)域主要功能是用來(lái)播放視頻畫面，并且當(dāng)視頻畫面中遺留物體超過(guò)一定時(shí)間后會(huì)標(biāo)注并報(bào)警。參數(shù)設(shè)置區(qū)域給用戶提供了兩組參數(shù)，第一組是遺留物大小和遺留時(shí)間的設(shè)置，遺留物大小就是設(shè)置畫面中可能出現(xiàn)遺留物的大小，而遺留時(shí)間則是當(dāng)系統(tǒng)檢測(cè)出疑似遺留物后，至少經(jīng)過(guò)多久才發(fā)出報(bào)警，用戶可以根據(jù)不同的需求及視頻環(huán)境進(jìn)行設(shè)置，使得系統(tǒng)有更好的針對(duì)性。而第二組參數(shù)涉及背景建模方式、慢背景更新率及形態(tài)學(xué)處理階數(shù)，一般用戶不需要調(diào)整該組參數(shù)，高級(jí)用戶可以根據(jù)需求自行設(shè)定。

3.2 系統(tǒng)邏輯功能模塊的設(shè)計(jì)

根據(jù)設(shè)計(jì)方案，按照數(shù)據(jù)采集處理流程的視頻中遺留物檢測(cè)與報(bào)警系統(tǒng)總結(jié)構(gòu)如圖7所示。

圖7 系統(tǒng)結(jié)構(gòu)總圖

視頻數(shù)據(jù)讀入到系統(tǒng)之后，首先通過(guò)EmguCV中Capture類的QueryFrame方法將視頻文件分解成一幀幀圖像，然后利用幀圖像作為雙背景建模模塊的輸入去計(jì)算遺留物掩膜，接下來(lái)將掩膜的最小外接矩形作為初始搜索窗，使用Camshift算法迭代，最后利用搜索窗匹配判定該物品是否為遺留物，如為遺留物，則標(biāo)注并報(bào)警。

為了驗(yàn)證本系統(tǒng)的有效性，使用AVSS 2007 i-LIDS遺留物檢測(cè)視頻庫(kù)中的一段視頻對(duì)系統(tǒng)進(jìn)行測(cè)試。

首先，打開主界面，根據(jù)視頻質(zhì)量及攝像頭位置、遺留物尺寸等條件調(diào)整界面參數(shù)設(shè)置欄中的參數(shù)。對(duì)于測(cè)試視頻，使用系統(tǒng)默認(rèn)參數(shù)即可。然后點(diǎn)擊界面右下角的“打開視頻”按鈕，在“打開文件對(duì)話框”中選擇目標(biāo)視頻，點(diǎn)擊“確定”。此時(shí)，視頻開始播放，主界面顯示如圖8。

圖8 播放視頻界面

視頻播放到1724幀時(shí)，遺留物出現(xiàn)在畫面中，如圖9所示。

圖9 遺留物出現(xiàn)

由于遺留物之前處于運(yùn)動(dòng)狀態(tài)，因此系統(tǒng)此時(shí)并沒有檢測(cè)到該物品的存在。在視頻第2039幀時(shí)，系統(tǒng)檢測(cè)出疑似遺留物，并對(duì)其進(jìn)行標(biāo)記。此時(shí)，由于遺留時(shí)間并未達(dá)到系統(tǒng)設(shè)置時(shí)間，因此沒有發(fā)出警報(bào)，效果見圖10。

此時(shí)可以看到視頻中不光標(biāo)記出了遺留物品，還標(biāo)記出了另外兩塊空白區(qū)域，這是因?yàn)榈罔F車廂的運(yùn)行對(duì)系統(tǒng)造成的干擾，地鐵車廂駛離該區(qū)域后，該區(qū)域搜索窗迅速擴(kuò)散，由于搜索窗匹配系統(tǒng)的存在，很快就會(huì)排除該干擾，并不會(huì)造成誤報(bào)警。

圖 10 檢測(cè)出遺留物

直到視頻第2604幀時(shí)，遺留物到達(dá)遺留時(shí)間，系統(tǒng)開始標(biāo)記并報(bào)警，如圖11所示。

圖11 遺留物達(dá)到遺留時(shí)間，系統(tǒng)報(bào)警

視頻播放至第4007幀時(shí)，由于行人的走動(dòng)，對(duì)該遺留物產(chǎn)生了遮擋，如圖12所示。

圖12 遺留物被行人遮擋

圖13 遮擋后系統(tǒng)繼續(xù)跟蹤

在遮擋后，雖然系統(tǒng)內(nèi)該遺留物“漏檢數(shù)”在增加，但是仍在閾值范圍內(nèi)，所以在遮擋消失之后系統(tǒng)可以繼續(xù)跟蹤該物品，如圖13所示。

4 結(jié)論

本系統(tǒng)利用了在遺留物檢測(cè)領(lǐng)域內(nèi)較為成熟的雙背景模型方法，結(jié)合Camshift對(duì)遺留物進(jìn)行跟蹤，在此基礎(chǔ)上加入了基于搜索窗匹配的延遲因子避免遺留物出現(xiàn)的移動(dòng)和遮擋等情況。在此理論基礎(chǔ)上，利用C#語(yǔ)言及.NET框架，在Visual studio 2015開發(fā)工具和EmguCV開源計(jì)算機(jī)視覺庫(kù)的支持下，設(shè)計(jì)并能開發(fā)出在Windows操作系統(tǒng)下運(yùn)行的視頻中遺留物檢測(cè)與報(bào)警系統(tǒng)。實(shí)驗(yàn)證明該系統(tǒng)能夠有效監(jiān)測(cè)視頻中遺留物并發(fā)出警報(bào)。

[1]齊明明.視頻監(jiān)控智能分析中移走檢測(cè)算法的研究[D].北京:北京郵電大學(xué),2008:1-6.

[2]范俊君,戰(zhàn)偉.一種基于雙背景模型的遺留物檢測(cè)方法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2012(8):201-205.

[3]Singh A, Sawan S, Hanmandlu M, et al. An Abandoned Object Detection System Based on Dual Background Segmentation[C]// Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance:2009. Italy: IEEE Computer Society, 2009:352-357.

（責(zé)任編輯：于 萍）

Abandoned Objects Detection and Alarm System Development in Surveillance Scene

LANG Yu-bo SUN Peng YU De-shui CAO Yang LI Yu-peng CHEN Yan-ling
(Audio-Visual and Image Technology Departmentof Criminal Investigation Police University of China Liaoning Shenyang 110035)

Abandoned objects detection system is a part of intelligent surveillance systems. The main function of the abandoned objects detection system is to detect items (e.g. luggage, parcels, etc.) and vehicles that are left over intentionally or unintentionally in the monitoring scene. When any suspicious abandoned object is detected, the system will alarm and marked them on the frame. Dual background model was used to detect the abandoned objects mask, and Camshift algorithm was used to track the position. During the tracking, a delay factor based on search window matching is proposed to avoid the occlusion of the abandoned objects, and the validity of the proposed method for the detection and alarm of the abandoned objects is successfully realized. Based on C# development language, the abandoned objects detection and alarm system are completed by using EmguCV, Visual Studio2015 and .NET framework.

Abandoned objects detection Dual background model Camshift

TP391.4

A

2095-7939(2017)02-0123-06

10.14060/j.issn.2095-7939.2017.02.025

2016-11-01

國(guó)家自然科學(xué)基金（編號(hào)：61307016）；遼寧省自然科學(xué)基金（編號(hào)：2014020193）；遼寧省高等學(xué)校優(yōu)秀人才支持計(jì)劃（編號(hào)：14021B171210Z）。

郎宇博（1989-），男，遼寧沈陽(yáng)人，中國(guó)刑事警察學(xué)院聲像資料檢驗(yàn)技術(shù)系助教，主要從事視頻檢索與數(shù)字圖像真?zhèn)螜z驗(yàn)研究。