陳穎熙,廖曉東,2,3,鐘 帥

1(福建師范大學(xué) 光電與信息工程學(xué)院,福州 350007)

2(福建師范大學(xué) 醫(yī)學(xué)光電科學(xué)與技術(shù)教育部重點實驗室,福州 350007)

3(福建師范大學(xué) 福建省先進光電傳感與智能信息應(yīng)用工程技術(shù)研究中心,福州 350007)

1 引言

近年來,隨著我國社會經(jīng)濟的發(fā)展,大型公共場所也越來越多,由此引發(fā)的公共安全問題也越發(fā)突出,如暴力恐慌、人群踩踏等[1-4].暴力恐慌事件的頻發(fā)使人們陷入沉思,當(dāng)暴力襲擊事件突然發(fā)生時,該如何來降低暴力事件導(dǎo)致的人員傷亡和財產(chǎn)損失.研究者們發(fā)現(xiàn),建立一種高效的智能視頻監(jiān)控系統(tǒng)來監(jiān)測和管理公共場所是解決該問題的有效途徑.

為了能夠在人群發(fā)生異常時及時發(fā)現(xiàn)并有效的處理,學(xué)者們提出了許多在智能視頻監(jiān)控中識別人群異常的有效的方法.金字塔LK光流法[5-8]是其中最經(jīng)典的一種方法,金字塔LK光流法解決了普通光流法無法檢測幅度較大、速度較快的運動的缺點.然而,金字塔LK光流法同時也增加了算法復(fù)雜度,使得算法計算量變大,很難做到實時監(jiān)控.因此,為了使視頻人群監(jiān)控系統(tǒng)具有更好的實時性,本文提出一種基于動態(tài)幀間間隔更新的人群異常行為檢測算法,并通過實驗驗證了該算法的正確性.本文算法的主要工作有:通過動態(tài)更新幀間間隔來改進金字塔LK光流法,并以此算法來提取運動信息、通過獲取的人群矢量交點密集度及能量信息來識別人群異常、在UMN[9]視頻集上進行實驗.

2 算法原理

由于金字塔LK光流法在檢測人群運行信息時需要對每一個視頻幀計算光流,因此增加了算法復(fù)雜度,很難做到實時監(jiān)控.

然而在實際人群異常監(jiān)控中,絕大部分時間內(nèi)人群是處于正常情況的,此時并不需要對每一幀視頻計算光流.因此,考慮在大部分人群正常的時間內(nèi)進行幀間間隔計算光流,而當(dāng)人群發(fā)生異常時計算每一個視頻幀光流.這樣不僅可以有效檢測出人群異常,且加快了算法運行速度,可以做到實時監(jiān)控.

經(jīng)過對大量的人群恐慌等異常行為視頻的統(tǒng)計發(fā)現(xiàn):從人群發(fā)生恐慌逃逸到人群恢復(fù)正常的時間大約為30-70幀,監(jiān)控視頻播放的速率大約為20-30幀/秒,因此,幀間間隔的大小要適當(dāng),若間隔過大則人群發(fā)生異常時監(jiān)控系統(tǒng)無法及時發(fā)現(xiàn),若間隔太小則系統(tǒng)運行速度無法達(dá)到20-30幀/秒,影響實時性.因此針對上述實際情況,本文算法流程圖如圖1所示.

2.1 金字塔LK光流法簡介

本文算法是基于金字塔LK光流算法[8]來確定光流場的,該算法由Jean-Yves等提出.由于LK光流法的三種假設(shè):時間聯(lián)系、亮度恒定、空間一致性都具有較強的約束條件,然而在實際場景中很難以滿足這三種假設(shè),這就使得LK光流法的局限性較強.因此,Jean-Yves等提出了一種金字塔LK稀疏光流法,該算法很好的解決了這個問題.金字塔LK光流法通過對圖像金字塔自上而下逐層求解,不斷精確,不斷修正初始運動來降低不滿足運動假設(shè)的可能性,從而實現(xiàn)對大幅度、快速的運動的跟蹤.金字塔LK光流法算法步驟如下:

圖1 算法基本流程圖

(1)建立圖像金字塔,即利用高斯核函數(shù)對第i層圖像進行卷積得到i+1層圖像,卷積后i+1層圖像面積僅為第i層圖像面積的一半.

(2)逐層計算光流,即從建立的高斯圖像金字塔最高層開始計算光流,然后用得到的運動估計結(jié)果作為下一層金字塔的起始點.

(3)重復(fù)(2)過程直到到達(dá)金字塔最低層.

金字塔LK光流法逐層計算的光流方法與LK光流法一致即:假設(shè)I(x,y,t)是圖像上坐標(biāo)點(x,y)處的灰度值,u,v為該點光流X和Y方向上的分量.其中?x=u?t,?y=v?t,根據(jù)短時間灰度保持不變原則,有約束方程:

將上述公式用泰勒級數(shù)展開且使?t→ 0有:

其中,

由于式(3)有兩個未知量,所以對于單個像素不能得到此點的二維運動的定解.這時可以利用光流的最后一個假設(shè).若局部區(qū)域的像素運動是一致的,則可以建立領(lǐng)域像素系統(tǒng)方程來求解中心像素的運動.然后利用最小二乘法估計光流.

2.2 基于動態(tài)幀間間隔更新的運動信息檢測

針對金字塔LK光流法算法復(fù)雜度較高、無法做到實時監(jiān)控的缺點,本文提出了基于動態(tài)幀間間隔更新的運動信息檢測方法,該方法通過獲取視頻中人群的幀平均加速度信息來動態(tài)更新幀間間隔,其算法流程圖如圖2所示.

圖2 動態(tài)更新幀間間隔人群運行信息檢測流程圖

算法具體步驟如下:

(1)初始化數(shù)據(jù):n=1,k=1,a=0,并獲取第n和第n+k幀視頻圖像.

(2)利用金字塔LK光流法計算第n+k幀圖像光流.

(3)計算當(dāng)前幀的運動信息,和幀平均加速度a.若當(dāng)前幀為第二幀,即無法計算加速度,則a=0.且n=n+k

(4)判斷a是否大于0.01(此為經(jīng)驗值,可根據(jù)實際情況調(diào)整),若a>0.01且k>0則k-1,若a<0.01,且k

(5)重復(fù)(2)直到最后一幀視頻圖像.對于第n幀到第n+k幀之間未計算光流的,用第n幀和n+k幀的光流信息線性估計.

對金字塔LK光流法和本文算法分別進行實驗,且均以UMN公共視頻集的前1000幀作為實驗材料,實驗中用兩種算法分別檢測出這1000幀視頻圖像的運動信息,并利用所獲取的運動信息計算每幀能量值E[10,11],然后通過能量值來粗略估計人群異常.統(tǒng)計兩種算法處理1000幀視頻圖像所需時間,并對比結(jié)果.

假設(shè)圖像上的像素點的速度為V,能量為E,則有:

設(shè)每幀共取得n個光流,則每幀總能量為:

其中,u,v為該點光流X,Y方向上的分量.

3 實驗驗證及結(jié)果分析

3.1 運動信息檢測實驗及結(jié)果分析

本文實驗程序采用VS2010及OPENCV進行編寫,運行的硬件環(huán)境為Intel(R)Core(TM)i5-4460 CPU 3.20 GHz處理器、4 G內(nèi)存、Windows 7操作系統(tǒng).實驗所用視頻為UMN公共視頻集,該視頻是是明尼蘇達(dá)大學(xué)人工智能、機器人和視覺實驗室創(chuàng)建的.UMN視頻分拍攝于3個不同的場景,共7740幀,里面共包含11次異常事件.

分別用金字塔LK光流法和本文算法計算UMN公共視頻集前1000幀的每幀能量值,取kmax=3時檢測結(jié)果如圖3、圖4所示.

圖3 金字塔LK光流法能量檢測結(jié)果圖

從圖3和圖4中可以看出視頻幀中運動人群的能量值均在500幀左右突然急劇升高,接著在590幀下降,因此可以判斷在500-600幀為人群異常幀.若定能量閾值為1000來判斷人群是否異常,則兩種算法均可以準(zhǔn)確的從前1000幀視頻中識別出人群異常,因此本文算法并不會因為幀間間隔檢測而導(dǎo)致識別錯誤或延遲.

對兩種算法的耗時進行對比,其對比結(jié)果如表1所示,從表中可以看出,在kmax=3時,本文運動信息檢測算的法檢測速度是金字塔LK光流法的2.3倍左右.對比結(jié)果表明動態(tài)幀間間隔更新的檢測方法不僅可以有效檢測出人群的異常行為,且可以極大的提高算法運行效率.

圖4 本文算法能量檢測結(jié)果圖

表1 兩種算法用時對比

3.2 人群異常行為檢測實驗及結(jié)果分析

在人群異常行為的識別上,本文結(jié)合課題組鐘帥所提的基于運動矢量交點密集度的人群異常行為檢測法[12]與能量法來共同識別人群異常.

基于1.2中獲取的人群運動信息,求取每幀每一個光流矢量之間的兩兩交點,其交點表示式如下所示:

其中,式(6)為某一光流向量的方程式,式(7)中X,Y為兩向量交點的橫、縱坐標(biāo).

對UMN視頻中的正常和異常的兩幀求矢量交點,其檢測結(jié)果如圖5和圖6所示.

用散點圖畫出UMN視頻集前1500幀的交點檢測結(jié)果圖和能量檢測結(jié)果圖,結(jié)果如圖7和圖8所示.

圖6 人群異常時交點檢測結(jié)果圖

圖7中縱軸表示交點密集度,橫軸表示播放的視頻幀進度,圖8中縱坐標(biāo)表示能量,橫坐標(biāo)表示播放的視頻幀進度.本文結(jié)合以上兩種方法通過閾值判定法進行視頻人群異常行為的檢測,本文將視頻的前一部分作為訓(xùn)練幀,獲取閾值的大小,并用于檢測余下視頻幀的人群異常行為.

圖7 交點密集度散點圖

圖8 能量檢測結(jié)果圖

在檢測結(jié)果中對UMN視頻中的異常人群幀用紅色的“abnormal”字體標(biāo)識;對正常人群視頻幀用綠色“normal”字體標(biāo)識,其檢測結(jié)果如圖9和圖10所示.

圖9 人群正常幀

圖10 人群異常幀

4 結(jié)語

為了更好的監(jiān)控、管理公共場所,并減少公共安全事故的發(fā)生,眾多研究人員致力于研究一種智能人群監(jiān)控系統(tǒng)來監(jiān)測、管理人群動態(tài).然而現(xiàn)階段,智能人群監(jiān)控系統(tǒng)仍然沒有普及應(yīng)用于實際,主要就是因為系統(tǒng)很難做到實時性.因此本文提出一種更加高效的基于動態(tài)幀間間隔更新的人群運動信息檢測方法.經(jīng)試驗驗證可知,本文所提方法不僅可以準(zhǔn)確檢測出公共場所視頻中人群的異常行為,且極大的降低了算法復(fù)雜度,提高了算法檢測速度,可以做到監(jiān)控系統(tǒng)實時性.

1Zhang X,Ding M,Fan GL.Video-based human walking estimation using joint gait and pose manifolds.IEEE Transactions on Circuits and Systems for Video Technology,2017,27(7):1540-1554.[doi:10.1109/TCSVT.2016.2527218]

2Yu TS,Wang RS.Enhancing scene parsing by transferring structures via efficient low-rank graph matching.Proceedings of the 24th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems.Burlingame,CA,USA.2016.22.

3候楠,郭立君,張榮.基于集群運動局部有序性測度的異常行為檢測.數(shù)據(jù)通信,2016,(1):39-44.

4蔡瑞初,謝偉浩,郝志峰,等.基于多尺度時間遞歸神經(jīng)網(wǎng)絡(luò)的人群異常檢測.軟件學(xué)報,2015,26(11):2884-2896.[doi:10.13328/j.cnki.jos.004893]

5Lucas BD,Kanade T.An iterative image registration technique with an application to stereo vision.Proceedings of the 7th International Joint Conference on Artificial Intelligence.Vancouver,BC,Canada.1981.674-679.

6蔣菱,程賡.基于LK光流跟蹤法的有效目標(biāo)點增強跟蹤.微型機與應(yīng)用,2015,34(6):45-49.

7Ahn B,Han Y,Kweon IS.Real-time facial landmarks tracking using active shape model and LK optical flow.Proceedings of the 9th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI).Daejeon,Korea.2012.541-543.

8蘭紅,周偉,齊彥麗.動態(tài)背景下的稀疏光流目標(biāo)提取與跟蹤.中國圖象圖形學(xué)報,2016,21(6):771-780.[doi:10.11834/jig.20160610]

9Loy CC,Gong SG,Xiang T.From semi-supervised to transfer counting of crowds.Proceedings of 2013 IEEE International Conference on Computer Vision.Sydney,Australia.2013.2256-2263.

10Wang Q,Ma Q,Luo CH,et al.Hybrid histogram of oriented optical flow for abnormal behavior detection in crowd scenes.International Journal of Pattern Recognition and Artificial Intelligence,2016,30(2):1655007.[doi:10.1142/S0218001416550077]

11Rao AS,Gubbi J,Marusic S,et al.Crowd event detection on optical flow manifolds.IEEE Transactions on Cybernetics,2016,46(7):1524-1537.[doi:10.1109/TCYB.2015.2451136]

12鐘帥,蔡堅勇,廖曉東,等.基于運動矢量交點密集度的人群恐慌行為檢測.計算機系統(tǒng)應(yīng)用,2017,26(7):210-214.[doi:10.15888/j.cnki.csa.005871]