陸云飛，陳臨強

(杭州電子科技大學(xué)計算機學(xué)院，浙江 杭州 310018)

摘要：實現(xiàn)了一種實時視頻監(jiān)控中行人的異常軌跡檢測方法。提取出行人軌跡的位置、速度及加速度等特征，利用自組織神經(jīng)網(wǎng)絡(luò)對正常軌跡進行訓(xùn)練學(xué)習(xí)，得到正常軌跡點的一般特征并用優(yōu)勝神經(jīng)元表示。通過比較正常軌跡點與待檢測軌跡點的響應(yīng)函數(shù)值來判斷異常。實驗結(jié)果表明該方法能較好地反映軌跡特征，具有較高的異常軌跡識別率，可以實時監(jiān)測行為異常。

關(guān)鍵詞：異常軌跡；視頻監(jiān)控；自組織網(wǎng)絡(luò)；訓(xùn)練學(xué)習(xí)

DOI: 10.13954/j.cnki.hdu.2015.02.012

基于SOM的行人異常軌跡檢測

陸云飛，陳臨強

(杭州電子科技大學(xué)計算機學(xué)院，浙江 杭州 310018)

摘要：實現(xiàn)了一種實時視頻監(jiān)控中行人的異常軌跡檢測方法。提取出行人軌跡的位置、速度及加速度等特征，利用自組織神經(jīng)網(wǎng)絡(luò)對正常軌跡進行訓(xùn)練學(xué)習(xí)，得到正常軌跡點的一般特征并用優(yōu)勝神經(jīng)元表示。通過比較正常軌跡點與待檢測軌跡點的響應(yīng)函數(shù)值來判斷異常。實驗結(jié)果表明該方法能較好地反映軌跡特征，具有較高的異常軌跡識別率，可以實時監(jiān)測行為異常。

關(guān)鍵詞：異常軌跡；視頻監(jiān)控；自組織網(wǎng)絡(luò)；訓(xùn)練學(xué)習(xí)

DOI:10.13954/j.cnki.hdu.2015.02.012

收稿日期：2014-07-28

通信作者：

作者簡介：陸云飛(1990-)，男，安徽合肥人，在讀研究生，圖形圖像處理.陳臨強教授，E-mail: clq@hdu.edu.cn．

中圖分類號：TP391.41

文獻標(biāo)識碼：A

文章編號：1001-9146(2015)02-0045-05

Abstract:This paper implements a real-time video monitoring method to detect abnormal trajectory of pedestrians. Some characteristics like position， velocity， and acceleration of trajectories were extracted， then we use self-organizing neural network to train on the normal trajectory of pedestrians. Finally， we get the general characteristics of the normal trajectory points and expressed by the winning neuron which generated in the self-learning process of self-organizing neural network. Determine abnormalities by comparing the response function values of the normal track points and the track points to be detected. The experimental results show that this method can reflect the characteristics of the trajectory better， with a high rate of abnormal trajectory recognition， and can monitor abnormal behavior in real-time．

0引言

隨著視頻監(jiān)控技術(shù)的發(fā)展，監(jiān)控視頻數(shù)據(jù)變得日益龐大，這就使得人為分析視頻需耗費大量資源且越來越不可行，智能化的自動視頻分析方法顯得尤為重要。同時，攝像設(shè)備提供了大量的運動對象的軌跡信息，軌跡信息較好地描述了運動物體的各項特征，優(yōu)秀的運動目標(biāo)檢測及跟蹤方法的提出使得軌跡信息的提取更為可靠。近年來，通過軌跡信息來判斷異常行為的研究逐漸被重視起來。文獻[1]提出了一種軌跡的稀疏重構(gòu)分析(sparse reconstruction analysis， SRA)方法，文中用三次B樣條曲線擬合來表示軌跡，用正常軌跡的控制點特征構(gòu)建字典集，對于測試軌跡，根據(jù)SRA方法計算其特征向量與字典集之間的系數(shù)矩陣，以此來判斷其是否為異常軌跡。文獻[2]同樣對軌跡進行樣條曲線擬合表示，采用半監(jiān)督的方法對正常軌跡進行學(xué)習(xí)，并用混合高斯模型對軌跡建模，利用Gumbel分布判斷軌跡是否異常，若正常更新模型，否則不更新。文獻[3]利用自組織網(wǎng)絡(luò)對正常軌跡進行學(xué)習(xí)，學(xué)習(xí)結(jié)果用于軌跡的分類。大部分基于軌跡的異常檢測方法都對整條軌跡進行學(xué)習(xí)提取特征，且往往計算復(fù)雜，不能到達實時監(jiān)測異常的目標(biāo)。本文在文獻[3]的基礎(chǔ)上提出了將速度、行走長度異常增長等信息帶入自組織網(wǎng)絡(luò)學(xué)習(xí)的方法，可以更好地反映物體的運動特征，同時采用帶權(quán)重的距離函數(shù)強調(diào)加速度和行走長度異常增長變化。

1方法概述

基于視頻的異常軌跡監(jiān)測首先要完成軌跡的提取。首先利用混合高斯背景模型完成前景提取，然后對前景目標(biāo)進行跟蹤提取出運動目標(biāo)的軌跡。本文利用文獻[4]提出的多目標(biāo)跟蹤方法進行行人跟蹤。得出軌跡的時間序列后，很多異常檢測的方法都是提取出完整軌跡后對整體軌跡進行學(xué)習(xí)來判斷新的軌跡是否異常，但是這樣往往不能夠?qū)崟r的監(jiān)測異常，且需要對長短不一的軌跡時間序列做一系列復(fù)雜處理使其能夠進行訓(xùn)練等過程。本文在需要實時監(jiān)測這一思想的指引下，避開以上問題，提取軌跡中單個軌跡點的瞬時特征加以利用。主要包括速度和行走軌跡異常增長長度等特征，可以很好的反映行人是否出現(xiàn)突然加速，S形路線，來回踱步等異常事件。隨后，提取出每個軌跡點的特征組成固定長度的特征向量，再將特征向量運用自組織映射(Self Organizing Map， SOM)神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練學(xué)習(xí)，得出正常軌跡點的一般特征。最終，通過將待檢測軌跡點與正常軌跡點特征比較來判斷異常，進而確定異常軌跡。系統(tǒng)工作流程如圖1所示。

圖1　基于視頻異常軌跡監(jiān)測流程圖

2特征量提取

運動軌跡通常被看成是一組時間序列，其表示方法很多。文獻[5]提出的SAX方法將時間序列表示成由一個字符集中的字符組成的字符序列，通過對字符序列的操作代表時間序列的相關(guān)運算。還有一種做法通過把軌跡曲線進行B樣條擬合，通過控制點來表示軌跡。這些方法都要事先得到完整軌跡。實時監(jiān)測中不能等到完整軌跡產(chǎn)生后再判斷異常，在軌跡的生成過程中就要對軌跡進行檢查，本文通過提取出每個軌跡點的位置、即時速度等信息組成固定長度的特征向量，為訓(xùn)練過程提供數(shù)據(jù)。特征向量包含目標(biāo)的位置信息(x，y)，用差分(dx，dy)表示目標(biāo)的即時速度信息。為了檢測出行人的突然加速異常行為，引入二次差分(|d2x|，|d2y|)來表示速度變化特征。

dx=xt-xt-1

(1)

d2x=xt-2xt-1+xt-2

(2)

若運動目標(biāo)有異常軌跡，例如徘徊、來回踱步等，其軌跡總長度必定會出現(xiàn)異常。行人的行走方向在同一場景中一般是固定的，也就是說視頻圖像中檢測到的軌跡點，其x軸坐標(biāo)和y軸坐標(biāo)的變化一般是單調(diào)的。如若行人軌跡點的x坐標(biāo)或y坐標(biāo)時而增大時而減小，則往往這部分軌跡會是異常的。以x軸坐標(biāo)為例，當(dāng)多數(shù)的軌跡點坐標(biāo)是增加的，即dx≥0，就認(rèn)為少數(shù)的dx<0的軌跡點是可能存在異常的，將這部分異常的dx累加起來表示軌跡在x軸方向的異常增長部分，反之亦然。本文用(sumabndx，sumabndy)表示軌跡的異常增長部分，其計算公式為：

(3)

組成特征向量：

F=[x，y，dx，dy，sumabndx，sumabndy，|d2x|，|d2y|]

(4)

3SOM訓(xùn)練與異常檢測

3.1　SOM訓(xùn)練

在眾多神經(jīng)網(wǎng)絡(luò)構(gòu)造方法中，利用SOM的神經(jīng)網(wǎng)絡(luò)因為其自組織、自學(xué)習(xí)等特性受到廣泛關(guān)注。SOM網(wǎng)絡(luò)通過無導(dǎo)師學(xué)習(xí)使神經(jīng)元依照樣本的分布特征收斂，最終得到訓(xùn)練目標(biāo)的分布特征，其基本思想是網(wǎng)絡(luò)競爭層中各個神經(jīng)元競爭對輸入向量的響應(yīng)機會，將優(yōu)勝者及相關(guān)神經(jīng)元的權(quán)值調(diào)整到優(yōu)勢位置，使其在下次競爭中更容易獲勝，訓(xùn)練完成后，獲勝神經(jīng)元的最終狀態(tài)就代表目標(biāo)的分布特征。SOM神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意如圖2所示。

圖2　SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

輸出層中每個神經(jīng)元有一個權(quán)值向量，輸入向量進入時，各個神經(jīng)元競爭響應(yīng)機會。實際過程中通過選擇距離輸入向量最近的神經(jīng)元為優(yōu)勝，更新優(yōu)勝神經(jīng)元及其鄰域內(nèi)神經(jīng)元的權(quán)值向量。本文采用一個二維隨機的SOM拓?fù)浣Y(jié)構(gòu)。為了防止更新過程中局部收斂的情況，一開始設(shè)置更新范圍較大，隨著時間的推移逐漸縮小。其距離函數(shù)是一個隨時間變化的函數(shù)Nc(t)。同時，隨著訓(xùn)練過程的推進神經(jīng)元權(quán)值向量的更新率αt(t)也隨時間變化而減小。假設(shè)輸入樣本向量為x=[x1，x2，…，xn]T，各神經(jīng)元的權(quán)值向量為mi=[mi1，mi2，…，min]T，距離x最近的優(yōu)勝神經(jīng)元為mc，則權(quán)值向量更新公式如下：

(5)

算法流程如下：

1)初始化各神經(jīng)元的權(quán)值向量mi=[mi1，mi2，…，min]T，i=1，2，…，M，M為神經(jīng)元個數(shù)，采用隨機賦值為(-1，1)之間的策略，設(shè)定權(quán)值向量更新率取值范圍[αmin，αmax]，初始化權(quán)值向量更新率αt(0)=αmax，確定鄰域半徑初始值rmax；

3)更新優(yōu)勝神經(jīng)元及其鄰域內(nèi)神經(jīng)元的權(quán)值向量，計算公式如式(5)；

5)判斷是否學(xué)習(xí)完，是轉(zhuǎn)步驟2，否結(jié)束。

3.2　異常判斷

監(jiān)控過程中，對于行進過程中的每個軌跡點，提取其特征向量帶入SOM中計算得到對其響應(yīng)最強烈的優(yōu)勝神經(jīng)元。計算待檢測的特征點與優(yōu)勝特征點的歐式距離。若距離超過指定閾值則認(rèn)為此軌跡點為異常的，閾值的設(shè)定采用自適應(yīng)的方式。在訓(xùn)練結(jié)束時可以得到與每個優(yōu)勝神經(jīng)元間距離最大的樣本向量及對應(yīng)的歐式距離，將這個距離設(shè)定為閾值。為了提高對徘徊、來回踱步等異常行為的靈敏度。檢測異常時，采用帶權(quán)重的距離計算，強調(diào)(sumabndx，sumabndy，|d2x|，|d2y|)的變化，假設(shè)權(quán)重向量為w=[w1，w2，…，wn]，輸入向量為xj，計算距離d=|w(xj-mc)|。

對每個軌跡點帶入計算，若超出閾值則認(rèn)為是異常軌跡點，若同一條軌跡中異常軌跡點個數(shù)超過5個就認(rèn)為該軌跡為異常。

4實驗結(jié)果與分析

為了驗證本文方法的有效性，對一露天停車道路上拍攝的視頻進行測試，視頻圖像大小為320×240(每像素24位)。訓(xùn)練數(shù)據(jù)采用300個正常軌跡。測試數(shù)據(jù)采用30條正常軌跡和20條異常軌跡。SOM中輸出層神經(jīng)元過少不能很好的表示一般軌跡點特征，過多又會顯著增加訓(xùn)練和檢測異常的時間，同時也要考慮視頻圖像的縱橫比。本文通過對比實驗，最終設(shè)定輸出層包含12×16的輸出單元，初始值αmin=0.05，αmax=0.2，rmax=10，w=[1，1，1，1，1.1，1.1，1.1，1.1]，測試效果如圖3所示?！帘硎井惓＼壽E點。

圖3　測試效果圖

由圖3可以看出，由于跟蹤過程中噪聲的影響軌跡點會有跳變現(xiàn)象，但是不影響異常軌跡點的檢測。由圖3(a)和圖3(b)可以看出對正常軌跡有很好的通過率。同時對于異常軌跡具有較高的識別率。圖3(c)和圖3(d)中行人的異常徘徊必定會造成不必要的行走距離，本文充分利用了這一性質(zhì)。測試結(jié)果表明算法檢測異常的準(zhǔn)確率能達到85%以上。該方法有效檢測出場景中的異常軌跡。即使是充分訓(xùn)練的區(qū)域仍能夠?qū)Ξ惓｜c保持較高的檢測率。同時，由于訓(xùn)練出特征分布后，對軌跡點的異常檢測只需要和這若干個特征點進行比較計算，所用時間幾乎可以忽略，完全可以達到實時要求。

5結(jié)束語

本文從軌跡中提取出軌跡點的特征表示，并通過SOM訓(xùn)練得到場景中正常軌跡的特征點的拓?fù)浣Y(jié)構(gòu)和分布特征，進而檢測異常軌跡。綜合考慮了異常軌跡的速度和長度等特征。通過實驗可以看出，本文方法對異常軌跡檢測有較高的準(zhǔn)確率。同時，基于訓(xùn)練的方法可以適用于不同場景，具有一定的魯棒性。

參考文獻

[1]Li C， Han Z， Ye Q， et al. Visual abnormal behavior detection based on trajectory sparse reconstruction analysis[J]. Neuro computing，2013，119:94-100．

[2]Sillito R R， Fisher R B. Semi-supervised Learning for Anomalous Trajectory Detection[C]//BMVC. 2008: 1 035-1 044．

[3]Owens J， Hunter A. Application of the self-organising map to trajectory classification[C]//Visual Surveillance， 2000. Proceedings. Third IEEE International Workshop on. IEEE， 2000: 77-83．

[4]Yang T， Pan Q， Li J， et al. Real-time multiple objects tracking with occlusion handling in dynamic scenes[C]//Computer Vision and Pattern Recognition， 2005. CVPR 2005. IEEE Computer Society Conference on. IEEE，2005:20-26.

[5]Lin J， Keogh E， Lonardi S， et al. A symbolic representation of time series， with implications for streaming algorithms[C]//Proceedings of the 8th ACM SIGMOD workshop on Research issues in data mining and knowledge discovery. ACM，2003:2-11．

Abnormal Trajectory Detection of Pedestrian Based on SOM

Lu Yunfei， Chen Linqiang

(SchoolofComputer，HangzhouDianziUniversity，HangzhouZhejiang310018，China)

Key words: abnormal trajectory; video surveillance; self organizing map; training and learning