董海青，林寶軍，劉迎春

（1.中國(guó)科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.中國(guó)科學(xué)院微小衛(wèi)星創(chuàng)新研究院上海200120；3.上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院，上海200120；4.中國(guó)科學(xué)院大學(xué)北京101407）

當(dāng)今人工智能技術(shù)風(fēng)靡全球，計(jì)算機(jī)視覺（Computer Vision，CV）已經(jīng)成為該領(lǐng)域最重要的研究方向之一。作為計(jì)算機(jī)視覺技術(shù)應(yīng)用領(lǐng)域之一的智能交通視頻監(jiān)控系統(tǒng)在交通監(jiān)控領(lǐng)域得到了研究者們的廣泛地關(guān)注[1]。

目前，基于計(jì)算機(jī)視覺技術(shù)的動(dòng)態(tài)目標(biāo)檢測(cè)技術(shù)大多需要海量的視頻圖像作為訓(xùn)練模型的數(shù)據(jù)源，比如最近在動(dòng)態(tài)目標(biāo)檢測(cè)領(lǐng)域比較受歡迎的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[2]，它需要大量的圖像集進(jìn)行訓(xùn)練，其計(jì)算過程非常耗時(shí)，如果將其移植到嵌入式設(shè)備，很難滿足實(shí)時(shí)性的要求。在智能交通監(jiān)控領(lǐng)域的某些應(yīng)用場(chǎng)景下，我們不需要很高的識(shí)別精度，比如在統(tǒng)計(jì)車流量、人流量的過程，我們只需要一個(gè)估計(jì)量即可，本論文正是在這種應(yīng)用背景下，嘗試著利用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)的實(shí)時(shí)檢測(cè)與統(tǒng)計(jì)。目前，基于視頻圖像的動(dòng)態(tài)目標(biāo)監(jiān)測(cè)技術(shù)已經(jīng)有幾十年的發(fā)展歷史，目前主流目標(biāo)檢測(cè)算法有背景差分法[3-5]、幀差法[6-8]、運(yùn)動(dòng)場(chǎng)估計(jì)法[9-10]等。

文中主要研究的是基于混合高斯模型統(tǒng)計(jì)車流量的工程實(shí)現(xiàn)方法，未來(lái)的目標(biāo)是將其移植到嵌入式設(shè)備上，并且能夠?qū)崟r(shí)地較為準(zhǔn)確地估計(jì)車流量等信息?？紤]到嵌入式平臺(tái)有限的硬件資源以及工程的實(shí)際需要情況，我們沒有采用較為耗時(shí)的特征點(diǎn)提取與匹配，而是根據(jù)混合高斯模型進(jìn)行背景建模[11-14]直接提取動(dòng)態(tài)目標(biāo)。為了盡可能地提高統(tǒng)計(jì)結(jié)果的準(zhǔn)確率，在得到動(dòng)態(tài)目標(biāo)前期對(duì)存在的噪聲進(jìn)行相應(yīng)的預(yù)處理；由于相機(jī)抖動(dòng)、動(dòng)態(tài)背景（比如樹葉搖動(dòng)）等噪聲的干擾，得到的動(dòng)態(tài)目標(biāo)內(nèi)部和外部存在大量的“洞”，內(nèi)部“空洞”主要通過非極大值抑制算法[15-20]剔除，外部“空洞”主要通過本文提出的鄰近幾何中心值抑制的算法剔除。

1 基于混合高斯模型的動(dòng)態(tài)目標(biāo)檢測(cè)

物體分類與場(chǎng)景分類在過程上的相似性，決定了用物體分類數(shù)據(jù)集訓(xùn)練的DCNN可以作為一種遙感圖像場(chǎng)景特征提取方式。不同結(jié)構(gòu)的DCNN提取的遙感場(chǎng)景特征具有互補(bǔ)性。因此，融合不同結(jié)構(gòu)的DCNN特征可以提高場(chǎng)景分類效果。

1.1 基于混合高斯模型的動(dòng)態(tài)目標(biāo)檢測(cè)存在的問題以及軟件架構(gòu)

本項(xiàng)目的主要目標(biāo)是實(shí)現(xiàn)交通監(jiān)控視頻中車（行人）流量的估計(jì)，核心思想是基于混合高斯模型的前景提取技術(shù)。在工程實(shí)現(xiàn)過程當(dāng)中我們發(fā)現(xiàn)，主要存在的動(dòng)態(tài)干擾如圖1所示。

圖1 動(dòng)態(tài)目標(biāo)檢測(cè)過程中的干擾

針對(duì)圖1（a）所示的干擾，采用非極大值抑制算法進(jìn)行抑制；針對(duì)圖1（b）所示的干擾，采用本文提出的鄰近幾何中心值抑制算法進(jìn)行抑制；本小節(jié)將整個(gè)項(xiàng)目的實(shí)現(xiàn)流程以軟件架構(gòu)圖的形式呈現(xiàn)，如圖2所示。

圖2 動(dòng)態(tài)目標(biāo)檢測(cè)軟件架構(gòu)圖

1.2 混合高斯模型實(shí)現(xiàn)原理簡(jiǎn)述

混合高斯模型（Gaussian Mixture Model，GMM）最早在文獻(xiàn)[12]中提出，該方法是為每個(gè)像素建立多個(gè)高斯模型，并通過基于回歸濾波在線EM近似方法對(duì)模型參數(shù)進(jìn)行更新，它能克服光照變化、樹枝搖動(dòng)等造成的影響，在復(fù)雜的應(yīng)用場(chǎng)景下具有較高的魯棒性。

現(xiàn)對(duì)混合高斯模型作簡(jiǎn)要的說明：假設(shè)每個(gè)像素點(diǎn)Xj由M個(gè)單高斯模型生成，具體它屬于哪個(gè)單高斯模型以及每個(gè)單高斯模型在混合模型中占的比例αj未知，將所有來(lái)自不同分布的數(shù)據(jù)點(diǎn)混在一起，就構(gòu)成了混合高斯分布模型。

從數(shù)學(xué)角度講，我們可以用加權(quán)函數(shù)來(lái)表示這些像素點(diǎn)的概率分布密度：

其中，

表示第j個(gè)單高斯模型。

令?j=(αj,μj,Cj)，GMM共有M個(gè)單高斯模型?，F(xiàn)在我們需要通過采集樣本數(shù)據(jù)X來(lái)估計(jì)GMM的所有參數(shù)：Φ=(?1,?2,...,?M)T，則樣本X的概率公式為：

通常用EM（Expectation Maximum）算法對(duì)GMM參數(shù)進(jìn)行估計(jì)。

2 臨近幾何中心值抑制算法

由于動(dòng)態(tài)目標(biāo)中廣泛存在圖1（b）所示的干擾，利用非極大值抑制算法無(wú)法加以排除，因此，本文提出了一種能有效抑制圖1（b）所示干擾的算法。

2.1 算法描述

臨近幾何中心值抑制算法主要應(yīng)用在每幀提取到的動(dòng)態(tài)目標(biāo)上，它的基本步驟用自然語(yǔ)言描述如下：

Step 1：在當(dāng)前幀中進(jìn)行第一層大循環(huán)，利用c++提供的容器裝入經(jīng)過非極大值抑制算法處理后所有檢測(cè)到的動(dòng)態(tài)目標(biāo)，從容器boxorig中取出第一個(gè)動(dòng)態(tài)目標(biāo)，計(jì)算其長(zhǎng)度、寬度、面積以及幾何中心的坐標(biāo)，對(duì)應(yīng)地，同時(shí)定義并初始化相關(guān)幾何變 量currwidth，currheight，currarea，currcenter以及標(biāo)識(shí)boxorig中第一個(gè)動(dòng)態(tài)目標(biāo)的常量constinti=0，定義并初始化下一個(gè)動(dòng)態(tài)目標(biāo)的面積nextarea=0；

Step 2：進(jìn)入第二層循環(huán)，定義初始化變量從j=1開始；

Step 2.1：從容器中取出第j個(gè)動(dòng)態(tài)目標(biāo)，計(jì)算其長(zhǎng)度、寬度、面積以及幾何中心的坐標(biāo)，對(duì)應(yīng)地，同時(shí)定義并初始化相關(guān)地變量nextwidth，nextheight，nextcenter以及兩個(gè)動(dòng)態(tài)目標(biāo)的歐式距離eucdistance，即第i與第j個(gè)動(dòng)態(tài)目標(biāo)關(guān)于幾何中心的歐式距離；

Step 2.2：將eucdistance與預(yù)先設(shè)定的閾值THRESH進(jìn)行比較；

Step 2.2.1：如果其小于預(yù)先設(shè)定的閾值，計(jì)算并將第j個(gè)動(dòng)態(tài)目標(biāo)的幾何面積賦值給nextarea，同時(shí)判斷currarea與nextarea面積的大小，如果小于nextarea的面積，則利用第j個(gè)動(dòng)態(tài)目標(biāo)的幾何信息（坐標(biāo)(xj,yj)、寬度、高度、面積以及幾何中心坐標(biāo)）來(lái)更新第j個(gè)動(dòng)態(tài)目標(biāo)的幾何信息；

Step 2.2.2：否則，將j個(gè)動(dòng)態(tài)目標(biāo)投入預(yù)定義的boxtemp容器中；

Step 2.3：判斷j是否達(dá)到boxorig容器的尾部，如果是，則將第i個(gè)動(dòng)態(tài)目標(biāo)投入到最終的容器中boxfinal；否則，跳轉(zhuǎn)到 Step 2；

Step 3：對(duì)容器boxorig進(jìn)行清零，同時(shí)將boxtemp容器中的內(nèi)容賦值給boxorig，跳轉(zhuǎn)到Step 1，經(jīng)過此次循環(huán)，容器boxorig中總的動(dòng)態(tài)目標(biāo)的數(shù)目會(huì)減少一個(gè)。

2.2 算法執(zhí)行流程

為了對(duì)2.1中所描述的算法有一個(gè)清晰直觀的了解，將算法的執(zhí)行過程以流程圖的形式描述，如圖3所示。

圖3 臨近幾何中心值抑制算法執(zhí)行流程圖

在實(shí)際工程中，提取到的動(dòng)態(tài)目標(biāo)大致輪廓是可以得到的，由于云煙雨霧、樹葉搖動(dòng)、相機(jī)抖動(dòng)等復(fù)雜因素的干擾，在主輪廓的內(nèi)部或者周圍有大量的干擾（“空洞”）存在。通常情況下，這些動(dòng)態(tài)干擾的幾何面積小于主輪廓的面積，因此，本算法的核心思想正是利用這一特點(diǎn)，根據(jù)噪聲輪廓與主輪廓中心的歐式距離有選擇性地抑制主輪廓周圍的“空洞”。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證基于混合高斯模型動(dòng)態(tài)目標(biāo)檢測(cè)程序的合理性以及我們提出算法的有效性，我們搭建了相應(yīng)的實(shí)驗(yàn)平臺(tái)：Windows 10操作系統(tǒng)（處理器：Intel（R）Core（TM）i5-2430M CPU2.4GHz內(nèi)存：2GB）+opencv2.4.13+vs2013+Matlab2016a以及其他的一些依賴庫(kù)，采用的數(shù)據(jù)集是一段長(zhǎng)達(dá)17秒鐘的交通監(jiān)控視頻。實(shí)驗(yàn)過程中，我們從視頻流中隨機(jī)地抽取若干幀進(jìn)行整個(gè)程序以及本文算法有效性的驗(yàn)證。

在進(jìn)行實(shí)驗(yàn)之前，首先要對(duì)程序中需要用到的幾個(gè)參數(shù)進(jìn)行預(yù)先的設(shè)置，其中比較重要的一個(gè)參數(shù)是閾值THRESH，設(shè)置如下：THRESH=26.05；THRESH的值就是本文提到過的主輪廓與周圍噪聲幾何中心距離的閾值，通過這個(gè)閾值對(duì)每幀當(dāng)中所有存在與動(dòng)態(tài)目標(biāo)周圍的噪聲進(jìn)行有選擇性的抑制；THRESH是通過不斷地調(diào)試得來(lái)的，是一個(gè)工程經(jīng)驗(yàn)值。

3.2 實(shí)驗(yàn)的結(jié)果與分析

本文隨機(jī)抽取了視頻流中的第105、119幀圖像，對(duì)比結(jié)果分別為經(jīng)過混合高斯模型提取到的動(dòng)態(tài)目標(biāo)原始圖像、經(jīng)過NMS抑制后的圖像以及經(jīng)過NMS和臨近幾何中心值抑制共同作用后的圖像，如圖4所示。理想情況下我們得到的結(jié)果應(yīng)該是一個(gè)完整的動(dòng)態(tài)目標(biāo)，但從圖4（a）中可以看出，由于噪聲的干擾，提取到的動(dòng)態(tài)目標(biāo)中會(huì)存在諸多我們不感興趣的區(qū)域，如何剔除眾多不感興趣的區(qū)域是一個(gè)亟待解決的問題。因此，我們分析了圖4（a）提取到的動(dòng)態(tài)目標(biāo)特點(diǎn)，它們大概有兩大類特征：

1）主目標(biāo)的輪廓面積普遍大于噪聲輪廓的面積；2）噪聲大多分布在主目標(biāo)輪廓的內(nèi)部或者外部（周圍）。

結(jié)合特征1）2）對(duì)存在于主目標(biāo)輪廓內(nèi)部的噪聲，采用NMS算法抑制；存在于主目標(biāo)輪廓周圍的噪聲則采用本文提出的算法進(jìn)行抑制。圖4（a）所示為未進(jìn)行噪聲處理前提取到的動(dòng)態(tài)目標(biāo)；圖4（b）所示，只采用NMS算法抑制后的結(jié)果，可以看到，雖然NMS抑制了主目標(biāo)輪廓內(nèi)的干擾，但是對(duì)周圍干擾抑制的效果并不明顯；圖4（c）顯示了NMS和本文算法相結(jié)合共同抑制噪聲的結(jié)果，可以看到，本文算法在抑制主目標(biāo)輪廓周圍噪聲上的效果顯著。

圖4 效果對(duì)比圖

我們從視頻流中共提取到了516幀圖像，對(duì)每一幀圖像中的動(dòng)態(tài)目標(biāo)進(jìn)行了粗略估計(jì)，然后將3種情況下的估計(jì)結(jié)果進(jìn)行了如圖5所示的比較，從圖5（結(jié)合圖4）中可以看出，估計(jì)結(jié)果比較準(zhǔn)確的幀的范圍大概在30幀～350幀這一區(qū)間，350幀以后視頻流中幾乎沒有動(dòng)態(tài)目標(biāo)，這是因?yàn)榛贕MM動(dòng)態(tài)目標(biāo)檢測(cè)會(huì)將運(yùn)動(dòng)緩慢或者靜止的目標(biāo)逐漸更新為背景，這也是GMM的不足之處；綜述，本文算法能顯著地抑制大部分噪聲，但是在精確統(tǒng)計(jì)動(dòng)態(tài)目標(biāo)的數(shù)量上還有待提高。

圖5 基于混合高斯模型統(tǒng)計(jì)動(dòng)態(tài)目標(biāo)結(jié)果圖

4 結(jié)束語(yǔ)

基于混合高斯模型建立背景，然后利用背景差分法實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)檢測(cè)，由于沒有較為復(fù)雜的特征提取與匹配，基本能夠達(dá)到實(shí)時(shí)檢測(cè)的目的；但是，因?yàn)槠鋺?yīng)用場(chǎng)景的復(fù)雜性，提取到的動(dòng)態(tài)目標(biāo)中往往存在諸多的干擾（如“空洞”、“重影”），如果不加以剔除，會(huì)直接干擾我們估計(jì)動(dòng)態(tài)目標(biāo)的統(tǒng)計(jì)結(jié)果。我們根據(jù)每幀動(dòng)態(tài)干擾分布的幾何特征，提出了一種全新的算法來(lái)抑制動(dòng)態(tài)目標(biāo)周圍的干擾。實(shí)驗(yàn)結(jié)果表明，文中提出的算法能有效的抑制動(dòng)態(tài)目標(biāo)周圍的動(dòng)態(tài)干擾。

但是，文中提出的算法還有很多需要進(jìn)一步改進(jìn)的地方:其一，幾何中心閾值是一個(gè)調(diào)試出來(lái)的參考值，這個(gè)閾值設(shè)置的好壞將直接影響到我們后期估計(jì)的結(jié)果，這主要是因?yàn)楫?dāng)多個(gè)動(dòng)態(tài)相互靠近的時(shí)候，文中算法很容易將幾何面積較小的動(dòng)態(tài)目標(biāo)剔除，這也降低了估計(jì)結(jié)果的準(zhǔn)確率；其二，從圖4中也可以看出，當(dāng)多輛車幾乎以同樣的速度運(yùn)行時(shí)，基于混合高斯算法建立的背景模型很難將它們區(qū)分為多個(gè)獨(dú)立的動(dòng)態(tài)目標(biāo)。由于我們未來(lái)應(yīng)用的是嵌入式硬件平臺(tái)，在保證實(shí)時(shí)性與準(zhǔn)確性的同時(shí)，如何提高統(tǒng)計(jì)動(dòng)態(tài)目標(biāo)的準(zhǔn)確率是我們將要深入研究的一個(gè)方向。