逯 鵬,梁 玉,陳樹偉

(鄭州大學電氣工程學院,河南鄭州450001)

基于角點動能的視頻群體異常行為檢測

逯 鵬,梁 玉,陳樹偉

(鄭州大學電氣工程學院,河南鄭州450001)

為了提高實時性和精確度，提出一種利用角氛動能檢測群體異常行為的方法.首先，利用金字塔Lucas-Kanade光流法計算FAST(Features from Accelerated Segment Test)角氛光流，篩選出運動的角氛;然后，利用k均值方法聚類圖像中的角氛，自適應地調整正常行為角氛動能，定義每一類的局部異常程度為角氛平均動能與正常時的比值，整體運動異常程度為局部異常程度之和;最后，如果整體異常程度大于異常閾值為異常行為，否則為正常行為.實驗結果表明:該方法能夠檢測出多種群體異常行為且實時性強于Harris、SIFT(Scale-Invariant Feature Transform)和SURF(Speed Up Robust Features)角氛，精確度高于光流法、社會力法和圖分析法.

群體異常行為;k均值;角氛動能;異常程度;自適應

0 引言

群體出現(xiàn)異常行為,如驚慌逃跑、緊急逃散等,會對群體成員的人身安全造成威脅,因此,檢測群體異常行為、實現(xiàn)在線預警成為計算機視覺領域重要的前沿課題［1-3］.

群體異常行為檢測的實質是對感興趣目標的運動特征進行分類,判斷當前狀態(tài)［4］.與個體異常行為相比,群體行為面臨群體間嚴重遮擋、密度隨機變化以及高密度群體中個體分辨率低等難題,造成目標提取困難.

傳統(tǒng)的基于目標行為分析方法,通過分析個體目標的運動軌跡等建立行為模型,這種方法隨著場景中個體的增加,其計算復雜度增加,僅適合目標數(shù)量較少的場景［5］.如何對整個場景的行為特征進行分析成為難題.因此,不提取個體目標的整體分析方法成為解決問題的關鍵切人點.從這一思路出發(fā),Mahadevan等［6］用混合動態(tài)紋理描述群體動態(tài)變化,根據(jù)動態(tài)紋理在空間和時間上的不同分布來檢測異常行為.然而,這種方法對場景變化引起的噪聲敏感,抗干擾性不強.Mehran等［7］的思路則是通過在圖像中建立粒子,根據(jù)粒子光流的動態(tài)變化建立社會力模型(Social Force Model,SFM),利用粒子與周圍空間的相互作用力描述群體運動劇烈程度,根據(jù)力的強度檢測出異常行為,其局限性在于粒子位置固定,不能隨機選擇粒子.段晶晶等［8］進一步采用Harris角點運動光流方法表示群體中個體的運動信息,用角點的能量特征衡量運動劇烈程度,建立隱馬爾科夫模型,識別出3種類型(突聚、突散、奔跑)的異常.然而,由于異常的突發(fā)性,這種方法沒有考慮視覺的病態(tài)現(xiàn)象.此外,提取Harris角點的計算復雜性高,對于高幀速視頻的識別實時性低.

針對上述問題,筆者采用FAST［9］角點表示群體中的個體,再利用角點的光流特征描述群體中個體的運動信息.首先,利用金字塔Lucas-Kanade光流法計算FAST角點光流;再利用k均值方法對每一幀圖像中的角點進行聚類,自適應地調整正常時的角點動能,計算每一類角點的平均動能和正常行為時動能的比值作為每一類的異常程度,求和作為整體運動異常程度;最后,根據(jù)整體異常程度的不同來區(qū)分正常行為和異常行為.算法處理流程如圖1所示,分為動態(tài)特征提取和異常行為檢測兩個模塊.

圖1 角點動能法處理流程Fig.1 Processing flow of corner kinetic method

1 動態(tài)特征提取

動態(tài)特征提取解決的主要問題:用動態(tài)角點表示運動目標,用角點的動態(tài)變化描述群體行為.其基本思路是首先提取目標角點,然后計算角點的光流,最后去噪完成特征提取.

角點是圖像中具有穩(wěn)定特征的像素點,在當前幀和下一幀都能提取出來,適合追蹤.如Harris角點,位于圖像二階導數(shù)的自相關矩陣有兩個最大特征值的地方,因需要耗時的計算圖像導數(shù),所以難以滿足高幀率視頻處理實時性的要求;而FAST角點利用機器學習實現(xiàn)角點的快速檢測,提高了計算效率,滿足實時性要求.

FAST角點提取方法.首先,基于特征點周圍圖像強度定義角點,通過檢查中心像素與周圍的像素的大小關系來判定一個角點.以像素p為中心,半徑為3的圓周上共有16個像素點,每個點x對應一個狀態(tài)Sp→x,如式(1):

設置3個狀態(tài)(較暗、近似、較亮).式中,Ip表示p點的像素值;Ip→x代表圓周上點x的像素值;t是閾值參數(shù).如果圓周上超過連續(xù)12個點的像素狀態(tài)為較暗或較亮,則點p為候選角點.

其次,經過非極大值抑制,確定真正的角點,利用評分函數(shù)V對每個候選角點進行評分,比較相鄰的兩個角點,去除分數(shù)較低的候選角點,使角點分布更加均勻.

在獲得目標的角點后,采用金字塔模型Lucas-Kanade光流法對圖像進行金字塔采樣,從金字塔的最高層到最底層進行迭代計算光流.這種方法既可以估計小范圍內微小變化的光流,也可以估計角點運動較大時的光流.具體方法:首先,在當前幀提取出FAST角點,然后用金字塔Lucas-Kanade光流法在下一幀固定窗口范圍搜尋滿足一定誤差的角點,如果找到則返回一個為真的狀態(tài)標志位.假設共找到m對特征點{(pi(x, y),qi(x′,y′))｜i=1,2,…,m}.其中pi(x,y)為前一幀角點的位置,qi(x′,y′)為當前幀角點的位置.則角點光流為

用運動的角點的動態(tài)信息描述目標動態(tài)行為,需要篩選出運動的特征角點并去除背景噪聲角點.背景中角點沒有移動,角點光流速度接近于零,保留角點光流較大的角點,v＞ε則保留,ε是一個較小正數(shù),篩選后共得到n個角點的光流v={vi｜i=1,2,…,n},n≤m.

去噪前后的特征點分布如圖2所示.圖2(a)為去噪前的FAST角點,圖2(b)為去噪后的FAST角點.從圖2中可以看出,篩選后去除了背景中靜止的角點,且角點均勻地分布在運動目標的周圍,并跟隨運動目標移動.角點的光流反映了運動目標的動態(tài)變化,另外,通過角點的分布也可以定位出群體成員的大致位置.

圖2 FAST角點檢測結果Fig.2 Detection result of FAST corners

隨著運動目標的變化,遮擋等現(xiàn)象會造成特征點減少.設定最少特征點數(shù)nk,若n＞nk,把當前幀當作前一幀,繼續(xù)追蹤,計算角點光流,否則提取新的角點.

2 群體異常檢測

群體異常行為發(fā)生時,如群體恐慌逃跑、緊急疏散、群體沖突等會導致群體劇烈運動.相應地,群體周圍的角點變化劇烈,角點光流會增大,每一幀圖像中的角點的動能也增大.由于視覺問題的病態(tài)現(xiàn)象,物體的二維外觀會隨著視點的變化發(fā)生很大變化.通過對角點位置進行聚類,根據(jù)空間位置的不同,自適應地調整正常行為的平均動能,分析每一類角點的運動異常程度,再根據(jù)每一類的異常情況進行整體分析.這種整體到局部再到整體的模式能充分反映群體行為動態(tài).

構建三維坐標(xi,yi,zi),zi為角點p(xi,yi)相對應的光流.正常行為和異常行為時的角點位置和光流如圖3所示.角點的位置反映了個體目標在場景中的位置.圖3中,正常行為時角點的光流較小,分布集中,角點動能變化穩(wěn)定;行為異常時角點光流整體增大,且分布范圍擴大.

圖3 角點位置和光流Fig.3 Optical flow and location of corners

k均值是一種最常用的聚類方法.k均值方法即根據(jù)角點集P={p(xi,yi)｜i=1,2,…,n}在圖像中的位置聚成k類,其中,p(xi,yi)為動態(tài)特征提取階段去噪后的n個角點;1＜k＜10,k值過大會造成有些類的角點數(shù)量過少,只能覆蓋個體目標的局部.每一類的角點平均動能為

式中:m為角點質量,實驗中都取1;nj為每一類的角點數(shù)量,j=1,2,…,k.

假設正常行為時的角點動能為E0,隨著場景中運動目標與攝像頭的距離增大,運動目標圖像尺度變小,連續(xù)兩幀之間的角點移動速度變緩,即角點光流速度變小,與實際運動速度偏差增大.為了克服這個問題,采用自適應的正常行為角點動能進行矯正,把E0根據(jù)距離攝像頭的遠近分為兩部分,則E0為

式中:h為運動目標到攝像頭的距離,實驗中取為圖像的高度;n01、n02分別為上下兩部分圖像區(qū)域所對應的角點數(shù)量;yi為角點的縱坐標.每一類根據(jù)聚類中心所在的空間位置選取相應的E0.即

式中:ymj為聚類中心的縱坐標.每一類的異常程度為

整體異常程度為

群體正常行為時,λ接近k;異常行為發(fā)生時,λ迅速增大,λ越大,運動越劇烈,發(fā)生異常行為的可能性就越大.設定異常閾值λ0,如果λ＞λ0則判斷為異常;否則為正常.

3 實驗結果分析

為了驗證算法的有效性,選擇兩種經典公共群體異常行為數(shù)據(jù)集UMN和PETS2009,分別如圖4、圖5所示.群體行為正常時,人群中不同個體在聊天、散步或正常行走等,異常行為包括群體驚慌逃跑、緊急疏散等.UMN數(shù)據(jù)集共7 739幀,共11個群體異常行為,每個異常行為持續(xù)100幀左右.PETS2009數(shù)據(jù)集包含同一場景不同視角下的群體行為,以視角1為例進行試驗,包含3個異常行為,共601幀,3個異常行為分別持續(xù)70幀、59幀、43幀.實驗分為兩部分,首先比較不同角點對實時性的影響,然后根據(jù)ROC(Receiver Operating Characteristic)曲線衡量檢測精度.統(tǒng)一調整視頻幀圖像尺寸大小為320×240,根據(jù)數(shù)據(jù)集圖像尺寸大小,選擇參數(shù):ε=0.2,nk=60,k=4.

圖4 UMN數(shù)據(jù)集Fig.4 UMN dataset

圖5 PETS2009數(shù)據(jù)集Fig.5 PETS2009 dataset

3.1 實時性分析

以UMN數(shù)據(jù)集場景1中的一段視頻為對象,比較不同角點對實時性的影響.系統(tǒng)配置: CPU2.2 GHz,內存2GB.編譯環(huán)境為VS2010加載OpenCV2.4.6函數(shù)庫.主要對比典型角點特征方法包括:Harris、SIFT［10］、SURF［11］角點.連續(xù)200幀平均處理時間如表1所示.

表1 不同角點的實時性Tab.1 Real-time performance of different corners

從表1可以看出,FAST角點的處理速度是Harris角點的兩倍左右,且高于SIFT和SURF,說明FAST角點的實時性更好.

3.2 精確度分析

根據(jù)ROC曲線比較本文方法和當前主要群體異常行為檢測方法(純光流法、社會力模型法［5］、圖分析法［4］).圖6為UMN數(shù)據(jù)集上的精確度,為3個場景的平均值.圖7為PETS2009數(shù)據(jù)集上的精確度.圖6和圖7中,ROC曲線橫坐標是虛警率,表示實際的正常幀數(shù)中誤判為異常的比率;縱坐標是檢測率,表示實際的異常幀中正確判斷為異常的比率.通過調節(jié)異常閾值λ0可以得到不同的虛警率和檢測率得到ROC曲線.

從圖6和圖7可以看出,本文方法在虛警率相同的情況下檢測率高于其他方法.純光流法對光照條件等噪聲敏感;社會力模型法容易把人體局部快速運動如關節(jié)處的運動檢測為異常,檢測率相對較低;而圖分析方法考慮了人群密度、人群流量等信息,檢測精度相對較高.而本文方法直接利用群體行為的動態(tài)特征結合局部異常程度和整體異常程度兩個方面進行了分析,同時對因運動目標與攝像頭的距離所造成的角點光流速度偏差進行了矯正,增加了正常行為和異常行為的區(qū)分度,精確度更高.

圖6 UMN數(shù)據(jù)集ROCFig.6 UMN dataset ROC

圖7 PETS2009數(shù)據(jù)集ROCFig.7 PETS2009 dataset ROC

4 結束語

筆者提出一種群體異常行為的檢測方法,用FAST角點的動態(tài)信息描述群體行為的運動特性,直接分析群體行為的運動特征,實時性更強.該方法通過對角點聚類,并結合角點動能定義異常程度,同時考慮運動目標的空間變化,自適應地調整正常行為角點動能,綜合分析了局部和整體的異常程度,提高了精確度.實驗結果表明,該方法夠檢測出多種群體異常行為,而且精確度高于光流法、社會力和圖分析法.

［1］ MANUEL A,AHDREA T,ALVARO SM,et al.Abnormal behavior detection using dominant sets［J］. Machine Vision and Applications,2014,25(5):1351 -1368.

［2］ JUNIOR S J.Crowd analysis using computer vision techniques［J］.IEEE Signal Processing Magazine, 2010,27(5):66-77.

［3］ CRISTANIM,RAGHAVENDRA R,ALESSIO D B, et al.Human behavior analysis in video surveillance: A social signal processing perspective［J］.Neurocomputing,2013,100(2):86-97.

［4］ 朱海龍,劉鵬,劉家鋒,等.人群異常狀態(tài)的圖分析方法［J］.自動化學報,2012,38(5):742-750.

［5］ 張震,李丹丹.自適應雙閾值的運動目標檢測算法［J］.鄭州大學學報:工學版,2013,34(6):15 -19.

［6］ MAHADEVAN V,LIWei-xin,VASCONCELOSN,et al.Anomaly detection and localization in crowded scenes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(1):18-32.

［7］ MEHRAN R,OYAMA A,SHAH M.Abnormal crowd behavior detection using social force model［C］// Computer Vision and Pattern Recognition,2009.Miami,Florida:IEEE Press,2009:935-942.

［8］ 段晶晶,高琳,范勇,等.基于KOD能量特征的群體異常行為識別［J］.計算機應用研究,2013,30 (12):3836-3839.

［9］ ROSTEN E,DRUMMOND T.Computer vision-ECCV 2006［M］.Berlin:Springer,2006:430-443.

［10］LOWE D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision,2004,60(2):91-110.

［11］BAYA H,ESSA A,TUYTELAARSB T,et al.Speeded-up robust features(SURF)［J］.Computer Vision and Image Understanding,2008,110(3):346-359.

Abnormal Crowd Behavior Detection Based on Corner Kinetic in Video

LU Peng,LIANG Yu,CHEN Shu-wei
(School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China)

In order to improve the performance of real-time and detection accuracy,this paper presents a method to detect abnormal crowd behavior using corner kinetic.First,the optical flow of FAST corners is calculated using Pyram id Lucas-Kanade optical flow method and the moving corners are selected.Then,the corners are clustered using k-meansmethod and the normal corner kinetic adaptively.The local abnormal degree is defined as the ratio of the average kinetic energy of the corner in each class with the normal.The global abnormal degree is the sum of the local abnormal degrees.Finally,it is believed as abnormal behavior if the global abnormal degree is greater than the threshold;otherwise,it is considered as normal behavior.Experimental results show that themethod can detect different abnormal behavior with higher real-time performance than Harris corners,SIFT and SURF and higher detection accuracy than optical flow method,social force model and graph analysismethod.

abnormal crowd behavior;k-means;corner kinetic;abnormal degree;adaptive

TP391.41

A

10.3969/j.issn.1671-6833.2015.03.005

1671-6833(2015)03-0020-05

2015-02-06;

2015-03-28

國家自然科學基金資助項目(61172152)

途鵬(1974-),男,河南滑縣人,鄭州大學副教授,博士,主要研究方向為智能系統(tǒng)、模式識別技術,E-mail:lupeng@zzu.edu.cn.