鐘 帥, 蔡堅勇,2,3, 廖曉東,2,3, 黃 澎, 張煒雋

1(福建師范大學 光電與信息工程學院, 福州 350007)

2(福建師范大學 醫(yī)學光電科學與技術教育部重點實驗室, 福州 350007)

3(福建師范大學 福建省先進光電傳感與智能信息應用工程技術研究中心, 福州 350007)

基于運動矢量交點密集度的人群恐慌行為檢測①

鐘 帥1, 蔡堅勇1,2,3, 廖曉東1,2,3, 黃 澎1, 張煒雋1

1(福建師范大學 光電與信息工程學院, 福州 350007)

2(福建師范大學 醫(yī)學光電科學與技術教育部重點實驗室, 福州 350007)

3(福建師范大學 福建省先進光電傳感與智能信息應用工程技術研究中心, 福州 350007)

為了更準確有效的識別人群恐慌行為, 本文提出了一種利用視頻中人群運動矢量的交點密集度來判斷人群恐慌異常的新算法. 該算法以LK光流法為基礎來提取運動人群的運動矢量信息, 接著通過獲得的信息求取運動矢量間的兩兩交叉點, 然后運用分塊法求得區(qū)域交叉點密集度, 并以此來識別人群異常. 對多個視頻進行測試, 測試結果表明: 該算法能夠以較高正確率識別視頻中人群的恐慌行為.

人群恐慌; 行人檢測; 點密集度; 智能視頻監(jiān)控

引言

近年來, 隨著城市人口密集度的提高, 當人群過于集中時所導致的人群公共安全問題越來越突出.

2014年12月31日晚23時35分許, 上海外灘陳毅廣場發(fā)生群眾擁擠踩踏事故, 致35人死亡, 至少48人受傷.2014年10月10日, 巴基斯坦發(fā)生踩踏事故, 造成40余人傷亡. 2015年9月24日麥加朝覲踩踏事故至少1300人死亡. 除了上面列舉的人群踩踏事件外還有各種暴力恐慌事件時有發(fā)生. 這些異常事件給人民群眾的安全帶來了極大的威脅, 同時嚴重的破壞了社會秩序, 并造成了重大的經濟損失.

為了能夠在人群發(fā)生異常時及時發(fā)現(xiàn)并有效的處理, 學者們提出了許多在智能視頻監(jiān)控中識別人群異常的有效可行的方法. 光流能量法[1-3]是其中最常用的一中方法, 光流能量法先利用像素強度數(shù)據(jù)的時域變化和相關性來確定運動場, 然后利用運動場計算出人群運動的速度和能量, 并通過觀察每幀視頻的能量變化來判斷人群異常. 然而在實際運用中光流能量法的錯誤率太高, 其ROC面積[4,5](ROC為“receiver operating characteristic”的縮寫, ROC曲線下面積可從量上表征統(tǒng)計事件發(fā)生的準確率)大約為0.8. 為了提高視頻中人群異常判斷的正確率, 本文提出了基于運動矢量交點密集度的人群恐慌行為檢測算法, 并通過實驗驗證了該算法的正確性. 本文算法的主要工作有:通過LK光流法提取運動矢量信息、檢測人群矢量交點和人群平均動能、計算交點密集度、判斷識別人群恐慌并通過ROC曲線檢測算法性能.

1 算法原理

本文算法思想來源于人群逃離行為檢測[6]的思想并加以改進. 該算法先確定光流場, 然后檢測光流矢量交叉點, 繼而計算出每幀視頻的交叉點密集度, 通過觀察每幀視頻交叉點密集度的變化判斷人群異常. 基本算法流程如圖1所示.

圖1 人群恐慌檢測算法流程圖

1.1 光流場及運動特征的確定

本文通過LK光流算法[7]來確定光流場, LK光流法是一種兩幀差分的光流估計法, 該算法由Bruce D.Lucas和Takeo Kanade提出. LK光流法具有效率高,易于實現(xiàn)等特點, 是現(xiàn)階段求解稀疏光流的重要方法.LK光流法基于三種假設: 一是物體點的亮度是恒定的;二是時間是連續(xù)的; 三是局部區(qū)域的像素點有相似的運動. 針對本文所提算法, 以上三種假設是成立的. 首先每幀所檢測的矢量交點是基于上下兩幀視頻中人群的變化得到的, 而幀間時間間隔很短且已知短時間內物體點的亮度可以看做是恒定的. 其次因為算法檢測的是視頻中的異常人群, 而每一個人運動時, 此人身上的局部區(qū)域的像素點有相似的運動. 最后由于視頻人群監(jiān)控系統(tǒng)中的一個時間段內時間是連續(xù)的, 固針對本算法以上三種假設是成立的. 假設I(x, y, t)是圖像上坐標點(x, y)處的灰度值, u, y為該點光流X和Y方向上的分量. 其中, 根據(jù)短時間灰度保持不變原則, 有約束方程:

將上述公式用泰勒級數(shù)展開且使 有:

由于方程(3)有兩個未知量, 所以對于單個像素不能得到此點的二維運動的定解. 這時可以利用光流的最后一個假設. 若局部區(qū)域的像素運動是一致的, 則可以建立領域像素系統(tǒng)方程來求解中心像素的運動. 然后利用最小二乘法估計光流. 通過LK光流法可以獲取圖像特征點的運動特征. 假設圖像上的像素點的速度為V, 方向為F, 則有:

其中, u, v為該點光流X, Y方向上的分量.

1.2 運動矢量交點個數(shù)檢測

為了檢測每幀視頻中所有光流矢量兩兩相交的交點個數(shù). 本文引入檢測發(fā)散中心的思想來檢測交點個數(shù). 假設同一個像素特征點在上下相鄰兩幀的位置投影到同一個平面為A1和A2, 如圖2所示. 其中A1的坐標為(b1, a1)A2的坐標(b2, a2), 向量A1A2即像素.

圖2 光流矢量坐標示意圖

點A的光流矢量. 向量的長度即特征點A的速度大小, 箭頭方向為光流方向, 則:

其直線方程為:

將每一個光流矢量都用與其對應的直線方程表示后, 通過解二元一次方程可求得直線兩兩相交后的交點. 設每幀視頻圖像求得交點個數(shù)為Ni, 則有第i幀交點個數(shù)為Ni, 因此有交點集Ni=(N1, N2……Ni).

在公共視頻庫UMN數(shù)據(jù)集上分別檢測人群正常和人群異常時的交點分布圖如圖3、圖4所示.

圖3 人群正常時交點分布圖

圖4 人群異常時交點分布圖

圖中紅色小點即為所求交點, 從圖中可以看到人群正常時交點分散, 當人群異常時其交點集中.

1.3 人群恐慌行為檢測

本文通過計算每幀圖像中運動矢量交點密集度的大小進而判斷視頻中人群的異常行為. 因此對交點密集度的計算尤為重要, 設第i幀交點密集度為Pi, 第i幀交點區(qū)域所占圖像上面積為Si, 根據(jù)散點密集度的物理意義有:

其中, Pi表示第i幀圖像的交點密集度, Ni表示第i幀交點個數(shù), Si表示第i幀交點區(qū)域面積.

從圖3和圖4可以看出對于同一幀視頻圖像, 不同區(qū)域的交點密集度是不一樣的, 若用整個圖像的交點密集度來表示本幀視頻的交點密集度將不能反映真實情況, 因此為了更好的反映交點的集中程度, 本文通過分塊法[8]來計算區(qū)域交點密集度. 分塊法具有效率高,降低計算量、計算更精確等特點. 對每幀圖像進行分塊, 在本文中分成相同大小的3*3塊區(qū)域. 分別計算這9塊區(qū)域內交點個數(shù), 然后計算Pi(n), n的取值從1到9分別代表9個不同區(qū)域.

最后求出Max(Pi(n)), 即為這幀圖像的交點密集度,其分塊示意圖如圖5所示.

圖5 交點分塊示意圖

由于每一個分塊的尺寸是相同的, 因此每一塊的面積也認為是相同的. 這時只需要求出其中一個分塊的面積Si即可. 然后對比9個分塊, 交點密集度最高的分塊的密集度就是這幀圖像的交點密集度.

對比每幀圖像的交點密集度發(fā)現(xiàn)人群異常和人群正常時交點密集度存在較大差別, 人群恐慌逃逸時其交點密集度要遠遠大于人群正常時交點密集度. 因此可通過比較每幀視頻圖像的Pi大小來判斷人群是否發(fā)生異常.

2 實驗結果分析

為了使本文提出的算法具有代表性, 實驗選取的視頻數(shù)據(jù)集來自標準的公共數(shù)據(jù)集UMN數(shù)據(jù)集[9].UMN數(shù)據(jù)是明尼蘇達大學人工智能、機器人和視覺實驗室創(chuàng)建的. UMN視頻分拍攝于3個不同的場景, 共7740幀, 里面共包含11次異常事件.

在本實驗中, 先求出每幀視頻的交叉點密集度, 并將視頻的前3000幀作為訓練集, 然后根據(jù)訓練集結果定出閾值, 并用此閾值檢測后4740幀的人群異常, 最后求出本文方法的ROC曲線下方的面積. 為了比較本文方法的性能, 將使用光流法、社會力法作為比較.

如圖6為前3000幀交叉點個數(shù)散點圖, 圖中縱坐標為交叉點個數(shù)、橫坐標為幀數(shù).

圖6 前3000幀交點個數(shù)散點圖

從圖6中可以看到視頻在0-3000幀共發(fā)生4次人群恐慌, 分別在4個波峰發(fā)生. 對比圖7(光流能量法能量散點圖)發(fā)現(xiàn)本文方法波峰更加凸顯、對人群恐慌的判斷更加容易, 且由于本文方法的散點圖毛刺較少使得判斷人群恐慌異常更加容易及準確.

為了顯示本文方法與其他方法的定量比較, 本文選取實驗視頻中3個不同場景的前一部分幀為訓練集剩下的為測試集, 并采用支持向量機(SVM)[10]作為分類器, 然后分別畫出3個場景下的異常幀ROC面積, 如表1所示.

結果表明我們提出的方法能夠更好的檢測人群恐慌異常, 具有更強的魯棒性.

圖7 光流能量法能量散點圖

表1 ROC曲線下面積大小比較表格

3 結語

當人群發(fā)生恐慌異常時, 人群會出現(xiàn)四散而逃的現(xiàn)象, 此時人群運動矢量間的交叉點密集度升高. 因此本文提出基于人群運動矢量交點密集度來的人群異常檢測算法. 該算法通過研究人群異常與人群運動矢量交點密集度之間的關系來判斷識別人群異常. 通過在UMN視頻集上的大量實驗表明:該算法能夠有效的檢測出人群恐異常, 并且與其他算法相比具有漏檢率低、高準確率、且受外部影響較小等優(yōu)點.

1Horn BKP, Schunck BG. Determining optical flow. Artificial Intelligence, 1981, 17(1-3): 185–203. [doi: 10.1016/0004-3702(81)90024-2]

2Wang Q, Ma Q, Luo CH, et al. Hybrid histogram of oriented optical flow for abnormal behavior detection in crowd scenes. International Journal of Pattern Recognition and Artificial Intelligence, 2016, 30(2): 1655007. [doi: 10.1142/S0218001416550077]

3Rao AS, Gubbi J, Marusic S, et al. Crowd event detection on optical flow manifolds. IEEE Trans. Cybernetics, 2016,46(7): 1524–1537. [doi: 10.1109/TCYB.2015.2451136]

4毛世彪. 復雜環(huán)境下人群異常狀態(tài)檢測方法研究[碩士學位論文]. 重慶: 重慶大學, 2014.

5閆志揚. 視頻監(jiān)控中人群狀態(tài)分析及異常事件檢測方法研究[碩士學位論文]. 天津: 天津大學, 2014.

6陳春雨, 邵宇, 趙春暉. 視頻監(jiān)控中的人群逃離行為檢測與定位. 黑龍江大學工程學報, 2015, 6(2): 68–73.

7Lucas BD, Kanade T. An iterative image registration technique with an application to stereo vision. Proc. 7th International Joint Conference on Artificial Intelligence.Vancouver, BC, Canada. 1969. 674–679.

8林沁. 視頻中的大規(guī)模人群密度與異常行為分析[碩士學位論文]. 廈門: 廈門大學, 2014.

9Loy CC, Gong SG, Xiang T. From semi-supervised to transfer counting of crowds. Proc. 2013 IEEE International Conference on Computer Vision (ICCV). Sydney, VIC,Australia. 2013. 2256–2263.

10Chang CC, Lin CJ. LIBSVM: A library for support vector machines. ACM Transactions on Intelligent Systems and Technology (TIST), 2011, 2(3): Article No. 27.

11Helbing D, Molnár P. Social force model for pedestrian dynamics. Physical Review E, 1995, 51(5): 4282–4286. [doi:10.1103/PhysRevE.51.4282]

12Cong Y, Yuan JS, Liu J. Sparse reconstruction cost for abnormal event detection. Proc. 2011 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Providence, RI, USA. 2011. 3449–3456.

13Helbing D, Farkas I, Vicsek T. Simulating dynamical features of escape panic. Nature, 2000, 407(6803): 487–490.[doi: 10.1038/35035023]

Panic Crowd Behavior Detection Based on Intersection Density of Motion Vector

ZHONG Shuai1, CAI Jian-Yong1,2,3, LIAO Xiao-Dong1,2,3, HUANG Peng1, ZHANG Wei-Jun1

1(College of Photonic and Electronic Engineering, Fujian Normal University, Fuzhou 350007, China)
2(Key Laboratory of Optoelectronic Science and Technology for Medicine of Ministry of Education, Fujian Normal University, Fuzhou 350007, China)
3(Fujian Provincial Engineering Research Center for Optoelectronic Sensors and Intelligent Information, Fuzhou 350007, China)

In order to identify the panic crowd behavior with a more accurate and effective method, a new scheme is proposed which can utilize the intersection density of motion vector in the video to judge the abnormal panic crowd behavior. This algorithm is based on LK optical flow to extract information of motion vector from moving people, and to obtain the intersection between two motion vectors, then uses divided image blocks to get the intersection density which is the key to identify abnormal crowd. Experiments on several datasets show that this algorithm can identify the panic crowd behavior with high accuracy.

panic crowd; pedestrian detection; intersection density; intelligent video surveillance

蔡堅勇, E-mail: cjy@fjnu.edu.cn

鐘帥,蔡堅勇,廖曉東,黃澎,張煒雋.基于運動矢量交點密集度的人群恐慌行為檢測.計算機系統(tǒng)應用,2017,26(7):210–214. http://www.cs-a.org.cn/1003-3254/5871.html

省科技廳區(qū)域科技重大項目(2015H4007)

2016-10-31; 收到修改稿時間: 2017-01-04