王燕妮 雒津津 王殿偉

（1.西安建筑科技大學(xué)信息與控制工程學(xué)院 西安 710055）（2.西安郵電大學(xué)通信與信息控制工程學(xué)院 西安 710199）

1 引言

隨著社會的不斷發(fā)展，治安問題日趨復(fù)雜多樣，給公共安全帶來了極大傷害，造成社會動蕩不安，因此，智能監(jiān)控系統(tǒng)逐漸成為人們關(guān)注的焦點(diǎn)。由于傳統(tǒng)的監(jiān)控系統(tǒng)“只記錄不分析”，主要依靠值班人員人工實(shí)時觀看監(jiān)控視頻，對多路視頻觀看存在著注意力有限、視覺疲勞以及責(zé)任心等問題，經(jīng)常發(fā)生漏檢而不能在案發(fā)第一時間提供預(yù)警，因此，對監(jiān)控視頻中異常行為［1～4］的自動化智能檢測顯得極為重要。

目前異常行為檢測常見的方法分為以下三類:1）采用簡單的幾何模型對人體進(jìn)行描述的方法，如Zheng［5］提出的6個極點(diǎn)和質(zhì)點(diǎn)所構(gòu)成人體機(jī)構(gòu)模型，Ben-Arie［6］采用橢圓模型，用 10 個二維橢圓對人體運(yùn)動過程中產(chǎn)生的橢圓位置信息進(jìn)行描述，Chen［7］等人提出了二維人體骨架模型，采用14個關(guān)節(jié)點(diǎn)和17條線段對人體結(jié)構(gòu)進(jìn)行描述等。這類方法通過預(yù)先對人體跟蹤獲得人體各部位的運(yùn)行，最終完成人體建模，區(qū)分行為。2）基于時變數(shù)據(jù)匹配的狀態(tài)空間法，該類方法將不同的靜態(tài)行為定義為狀態(tài)，將運(yùn)動序列看做是不同狀態(tài)之間的一次遍歷過程，并在遍歷過程中計(jì)算聯(lián)合概率的大小，將最大值作為分類的標(biāo)準(zhǔn)。此類方法中最典型的就是隱馬爾科夫模型［8］和貝葉斯方法［9］。3）提取人體運(yùn)動特征的方法［10～11］，如運(yùn)動方向、速度、軌跡、角度、位置等，以此來區(qū)分不同的行為。現(xiàn)有的這三類方法是對特定行為進(jìn)行建模、訓(xùn)練，均要預(yù)先學(xué)習(xí)，存在局限性較大、檢測精度不高等問題。為此，本文在現(xiàn)有人體特征提取的方法上通過分析人體運(yùn)動特征和關(guān)鍵幀之間的關(guān)系，提出了一種關(guān)鍵幀結(jié)合幅值直方圖熵的檢測方法，通過提取運(yùn)動目標(biāo)的幅值加權(quán)方向角并以自適應(yīng)的無監(jiān)督聚類方法得到關(guān)鍵幀，利用幅值加權(quán)方向角的熵值判斷運(yùn)動目標(biāo)的不同狀態(tài)，此方法降低了誤檢率，提高了檢測效率。

2 運(yùn)動目標(biāo)的提取

2.1 VIBE算法

傳統(tǒng)的目標(biāo)提取算法中，幀差法是對相鄰視頻幀做時間差分運(yùn)算，并對運(yùn)算結(jié)果進(jìn)行閾值分割以獲得運(yùn)動區(qū)域，當(dāng)運(yùn)動目標(biāo)運(yùn)動速度較為緩慢時，很難精確地檢測出目標(biāo)，且檢測出的目標(biāo)會出現(xiàn)空洞現(xiàn)象，導(dǎo)致檢測、跟蹤失敗。為了解決這些問題，Barnich［12～13］等提出了一種像素級的背景提取算法（Visual Background Extractor，VIBE），它采用了隨機(jī)更新策略，首先為每一個像素建立一個N個元素的集合，這些集合構(gòu)成運(yùn)動檢測的背景模型。用待測像素與集合中的元素做絕對值差，當(dāng)M個元素小于設(shè)定的閾值時，則該點(diǎn)是背景點(diǎn)。確定該點(diǎn)為背景點(diǎn)時，更新該點(diǎn)所在的背景集合，并隨機(jī)在該點(diǎn)所在區(qū)域內(nèi)選擇一個像素，更新相應(yīng)的集合元素。這種方法提取運(yùn)動目標(biāo)具有背景減除速度快、運(yùn)動目標(biāo)檢測精度高、抗干擾、計(jì)算量小、耗時短等優(yōu)點(diǎn)，因此本文利用VIBE對視頻序列進(jìn)行處理來獲取運(yùn)動目標(biāo)。

圖1是采用VIBE算法和幀間差分法對圖像序列進(jìn)行的背景提取效果圖，由圖可知，即使是不太清晰的灰度圖，VIBE算法的背景去除效果仍然很好，而幀差法并不能完整地提取運(yùn)動目標(biāo)。

圖1 前景提取算法比較圖

2.2 運(yùn)動區(qū)域標(biāo)記

提取出運(yùn)動目標(biāo)后，經(jīng)過膨脹、腐蝕、開閉運(yùn)算的形態(tài)學(xué)處理，可以得到較為完整的運(yùn)動目標(biāo)，如圖2（b）。緊接著去除面積較小的區(qū)域，采用最近鄰法進(jìn)行標(biāo)記。

式中:p=1，2，…，M，q=1，2，…，Z。將第 i幀第M個區(qū)域與上一陣中Mahalanobis距離最短的區(qū)域相關(guān)聯(lián)，實(shí)現(xiàn)區(qū)域標(biāo)記，如圖2（c）。區(qū)域標(biāo)記為分析不同的運(yùn)動區(qū)域提供了便利。

圖2 運(yùn)動區(qū)域標(biāo)記

3 關(guān)鍵幀提取

關(guān)鍵幀［14］是以少量的視頻幀數(shù)反應(yīng)圖像序列內(nèi)容發(fā)生明顯變化的幀。海量的視頻中包含大量復(fù)雜的信息，為了節(jié)省時間，方便快捷地提取我們需要的信息對視頻理解、分析，關(guān)鍵幀的獲取顯得尤為重要。本文主要以跟隨、奔跑和打架這三種特定的人體行為做研究對象，通過提取關(guān)鍵幀的方法實(shí)現(xiàn)對異常行為的自動檢測。針對現(xiàn)有的關(guān)鍵幀算法存在計(jì)算量大，閾值選擇困難的問題，本文提出一種基于改進(jìn)的無監(jiān)督聚類并結(jié)合幅值加權(quán)方向角特征的關(guān)鍵幀提取方法，首先，采用vibe算法建立背景模型，提取出運(yùn)動目標(biāo)并標(biāo)記出運(yùn)動區(qū)域，然后選取一種計(jì)算稀疏光流的算法（Lucas-Kanade，LK）［15］求解運(yùn)動目標(biāo)的運(yùn)動方向角特征，最后，以加權(quán)運(yùn)動幅值角為主要特征，采用自適應(yīng)的無監(jiān)督聚類算法對其進(jìn)行聚類處理，提取出關(guān)鍵幀。

3.1 運(yùn)動目標(biāo)特征提取

光流計(jì)算是對視頻中每一幀圖像的整幅圖像提取光流場，運(yùn)算量極為龐大。為了減少計(jì)算量，本文僅對運(yùn)動目標(biāo)區(qū)域計(jì)算光流，選取LK光流算法，并將運(yùn)動的方向通過公式（2）換算成角度，轉(zhuǎn)換后的結(jié)果如下:

式中u(i,j)、v(i,j)分別表示垂直和水平方向的光流分量，θ(i,j)表示運(yùn)動角度。衡量運(yùn)動劇烈程度的另一個重要指標(biāo)為運(yùn)動速度幅值，像素點(diǎn)運(yùn)動速度幅值較大，則動作幅度也較大，因此，幅值可作為方向角的一個加權(quán)系數(shù)。本文選擇幅值加權(quán)的方向角作為關(guān)鍵幀提取的主要特征量，運(yùn)動方向的范圍為360。，一般將其分為n個區(qū)間，用來統(tǒng)計(jì)n個區(qū)間內(nèi)個運(yùn)動區(qū)域各個點(diǎn)的運(yùn)動角度范圍。為了減少運(yùn)算量，在滿足運(yùn)動計(jì)算精度要求的基礎(chǔ)上，本文將運(yùn)動方向分為12個區(qū)間，每個區(qū)間為30°。

3.2 改進(jìn)的自適應(yīng)無監(jiān)督聚類算法步驟

自適應(yīng)無監(jiān)督聚類算法可以根據(jù)視頻的復(fù)雜程度提取不同的關(guān)鍵幀，克服了傳統(tǒng)K-均值聚類只能提取固定數(shù)目的關(guān)鍵幀，而且還必須人工預(yù)先設(shè)定聚類中心和聚類數(shù)目的不足。所以本文采用改進(jìn)的自適應(yīng)無監(jiān)督聚類算法，解決了一般無監(jiān)督聚類必須做大量實(shí)驗(yàn)才能預(yù)先設(shè)定一個閾值的不足。

1）自動選取閾值

閾值T的選取公式為

式中N為視頻的總幀數(shù)；c為常數(shù)，這里取0.1。自動選取的閾值能有效地克服在對運(yùn)動量比較少的視頻鏡頭進(jìn)行關(guān)鍵幀提取時出現(xiàn)的冗余問題。

2）初始化。獲取第一幀 f1并把它劃分到簇ω1中，f1作為簇ω1的聚類中心，簇個數(shù)Nc=1。

3）獲取下一幀 fi，直到最后一幀為止。

4）根據(jù)計(jì)算幀 fi和所有的簇ω1(k=1,2,…,Nc)的聚類中心之間的相似距離dist(fi,ωck)，其中ωck為簇ωk的聚類中心。

6）Nc=Nc+1，形成一個新的簇，把幀 fi劃分到新簇ωNc中。重新計(jì)算聚類中心:新的聚類中心為該簇中所有幀之和除以該簇中幀的數(shù)目，轉(zhuǎn)到步驟3）。

聚類結(jié)束時，可選取關(guān)鍵幀，從每一個聚類中提取距離聚類中心最近的幀作為該聚類的代表幀，上述所有代表幀即為視頻鏡頭的關(guān)鍵幀。

3.3 關(guān)鍵幀提取結(jié)果

采用改進(jìn)的自適應(yīng)無監(jiān)督聚類算法來獲取視頻的關(guān)鍵幀，其中CASIA行為數(shù)據(jù)庫中的3種人體行為的關(guān)鍵幀數(shù)目如下表1所示。

表1 人體行為關(guān)鍵幀數(shù)量

4 改進(jìn)的無監(jiān)督聚類及幅值方向直方圖熵的異常行為檢測分析

本文以幅值方向直方圖熵值作為人體不同行為的總特征，實(shí)現(xiàn)異常行為檢測。將聚類獲取的關(guān)鍵幀圖像中運(yùn)動目標(biāo)的方向角作為幅值直方圖上的輸入，因?yàn)榉较蛑狈綀D在空間上忽略了幅值強(qiáng)度的影響，因此，引入了幅值強(qiáng)度這個衡量標(biāo)準(zhǔn)，設(shè)區(qū)域R的方向直方圖模型為

m為直方圖區(qū)間個數(shù)，其中，t表示第t幀。本文取m=12，區(qū)間大小為30。

改進(jìn)的直方圖加入了幅值對方向角的影響，對噪聲產(chǎn)生的小范圍方向角混亂得到了有效的抑制，更好地反映運(yùn)動目標(biāo)的特征，定義直方圖的熵為

EHt越大表明區(qū)域內(nèi)光流特征方向雜亂且有多個主運(yùn)動趨勢，從而得出該區(qū)域內(nèi)運(yùn)動混亂。取分別代表上下半身運(yùn)動的熵值，由于上半身行為較為有序，下半身行為在發(fā)生異常的時候較為無序，因此計(jì)算兩個熵值。經(jīng)驗(yàn)證，狀態(tài)和數(shù)目不同的目標(biāo)，其熵值所呈現(xiàn)的狀態(tài)不一致，因此可以區(qū)分不同的行為。

5 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在W indows7環(huán)境下驗(yàn)證所提出的異常行為檢測算法，采用CASIA行為數(shù)據(jù)庫驗(yàn)證，該行為數(shù)據(jù)庫是在室外環(huán)境下分布于三個不同視角（平時、斜視和俯視）未標(biāo)定的攝像機(jī)采集而成，多人交互行為中，每類行為有24位受測者，每位出現(xiàn)4次，該數(shù)據(jù)庫共計(jì)1446個AVI視頻，每個文件持續(xù)時間因行為類別而不同，從5s到30s不等，文中對跟隨、奔跑、打架這3種特定的異常行為數(shù)據(jù)，采用本文提出的檢測算法做了檢測。

1）為了直觀清晰地反映3種不同行為的加權(quán)方向角熵值的區(qū)別，圖4、5、6分別繪制了3種行為的特征直方圖。2）為了更加清楚地反映運(yùn)動目標(biāo)的熵值變化，本節(jié)繪制了一段視頻中熵值的變化曲線圖，如圖7所示。3）為比較本文算法與其他兩種算法，在數(shù)據(jù)庫中選取測試視頻做了對比試驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)如表2。

圖3 跟隨行為中單雙目標(biāo)間的幅值加權(quán)直方圖

圖4 奔跑的幅值加權(quán)直方圖

圖5 相遇、打架間的幅值加權(quán)直方圖

圖3 、4、5分別為同一場景中3種不同的行為，圖3（c）、圖4（c）、圖5（c）分別為對應(yīng)場景中提取的特征直方圖，圖3（a）為第60幀單目標(biāo)行走的提取效果圖，（b）為雙目標(biāo)行走的提取效果圖，（c）為兩幀不同運(yùn)動目標(biāo)的幅值加權(quán)方向角對比圖，圖中反映出兩種狀態(tài)具有明顯的運(yùn)動主方向，且雙目標(biāo)比單目標(biāo)值高出2倍，與視頻完全吻合。圖4（c）反映了不同幀的方向角對比直方圖，其運(yùn)動主方向出奇一致，這一現(xiàn)象也符合視頻中步態(tài)運(yùn)動的開合狀態(tài)。圖5（c）為相遇和打架的加權(quán)方向角直方圖對比，圖中可看出110幀具有明顯的主方向，與視頻圖像完全吻合，第220幀運(yùn)動方向雜亂無章，沒有明確的運(yùn)動主方向，且兩個打架目標(biāo)的各肢體運(yùn)動方向不一致。通過以上實(shí)驗(yàn)數(shù)據(jù)對比，驗(yàn)證了加權(quán)方向角對不同行為的區(qū)分度。

圖6 打架熵的變化曲線

圖6 為一段視頻的熵值變化圖，該視頻共540幀。第0～180幀，單目標(biāo)進(jìn)入視頻區(qū)域，熵值維持在0.15附近且小于0.2。第181～420幀，隨著第二個運(yùn)動目標(biāo)進(jìn)入視頻區(qū)域，熵值逐步增加，并且維持在0.2～0.25之間。第421～500幀，熵值出現(xiàn)明顯的增大且增幅較快，近似0.3。500幀以后，運(yùn)動目標(biāo)離開視頻監(jiān)控區(qū)域，熵值也隨之降低，恢復(fù)到運(yùn)動目標(biāo)進(jìn)入監(jiān)控區(qū)域前的狀態(tài)。該運(yùn)動熵值變化曲線與視頻監(jiān)控內(nèi)容完全吻合，因此能夠很好的反映運(yùn)動目標(biāo)的狀態(tài)。

表2為三種算法對異常行為所做的檢測結(jié)果，N表示實(shí)驗(yàn)視頻數(shù)，n表示行人的正常幀數(shù)，m表示行人異常幀數(shù)，P表示將正常行為誤檢為異常的概率（%），e表示異常行為的識別概率（%），實(shí)驗(yàn)結(jié)果表明本文算法具有較高的識別率和較低的誤檢率。

表2 三種算法實(shí)驗(yàn)對比結(jié)果

6 結(jié)語

本文提出關(guān)鍵幀結(jié)合幅值直方圖熵的異常行為檢測算法，加入提取關(guān)鍵幀的步驟，提高了有用信息的獲取效率，并且通過計(jì)算監(jiān)控區(qū)域內(nèi)運(yùn)動目標(biāo)的幅值加權(quán)方向角熵值來描述行為的激烈和混亂程度。通過多次實(shí)驗(yàn)，能夠有效地對不同的異常行為做出判斷且具有較高的識別率。