鐵富珍
(1.中國(guó)人民公安大學(xué),北京 100038;2.青海警官職業(yè)學(xué)院,青海西寧 810000)
隨著公共安全和智能化的發(fā)展,視頻監(jiān)控系統(tǒng)在各個(gè)領(lǐng)域的應(yīng)用越來越廣泛[1],例如智慧城市、機(jī)場(chǎng)、銀行等。在這些場(chǎng)景中,人群異常行為檢測(cè)成為一個(gè)重要的研究課題[2]。因?yàn)橐坏┏霈F(xiàn)異常行為,如擁擠、跌倒、爭(zhēng)執(zhí)等,可能會(huì)引發(fā)嚴(yán)重的安全問題[3]。因此,對(duì)視頻監(jiān)控中的異常行為進(jìn)行自動(dòng)檢測(cè),對(duì)于保障公共安全具有重要意義[4]。例如,文獻(xiàn)[5]通過輕量級(jí)網(wǎng)絡(luò)取代原始特征提取網(wǎng)絡(luò),在監(jiān)控視頻內(nèi)提取人群特征。利用可變形卷積模塊提升特征提取效果,并依據(jù)提取的特征輸出人群異常行為檢測(cè)結(jié)果。該算法具有較好的人群異常行為檢測(cè)效果。文獻(xiàn)[6]在雙支路共享網(wǎng)絡(luò)內(nèi)輸入原始幀和背景模型,輸出人群異常行為檢測(cè)結(jié)果。該算法可有效檢測(cè)人群異常行為,且異常行為檢測(cè)的適用性較強(qiáng)。但上述方法易受光照與噪聲影響,降低了人群異常行為的檢測(cè)效果。而改進(jìn)光流法[7]通過計(jì)算圖像中像素點(diǎn)的運(yùn)動(dòng)矢量,實(shí)現(xiàn)對(duì)人群運(yùn)動(dòng)的估計(jì),對(duì)光照和噪聲不敏感,具備較高的異常行為檢測(cè)準(zhǔn)確性和魯棒性。為此,本文研究基于改進(jìn)光流法的視頻監(jiān)控中人群異常行為檢測(cè)算法,為保障公共安全提供參考。
利用改進(jìn)單高斯模型在視頻監(jiān)控的人群視頻幀內(nèi)提取角點(diǎn),將其作為特征點(diǎn)。
將視頻監(jiān)控中各幀圖像分割成N×N個(gè)大小的塊,并展開背景建模[8]。令t時(shí)刻、第i塊圖像的像素集合是,像素?cái)?shù)量是|,i的均值是kti,計(jì)算公式如下:
式中:Ijt是第j個(gè)像素的強(qiáng)度;z′ti-1、k′ti-1是經(jīng)過映射的生命值、均值;zti是生命值。
i的方差是σti,計(jì)算公式如下:
式中σ′ti-1是經(jīng)過映射后的方差。
針對(duì)視頻監(jiān)控中各幀圖像均通過兩個(gè)單高斯模型進(jìn)行建模[9],得到當(dāng)下與備選背景模型C、O,并依據(jù)參數(shù)更新頻率得到各幀圖像最終的真實(shí)背景模型。
t時(shí)刻,i在C、O內(nèi)的參數(shù)是;相應(yīng)的觀測(cè)均值是U it,若符合條件,那么更新C的參數(shù),其中θ是常數(shù)。若符合條件,那么更新O的參數(shù)。 若,那么以O(shè)為新的C,同時(shí)再次初始化O。參數(shù)更新后,便可得到真實(shí)背景模型C?,通過求解各像素點(diǎn)屬于?的概率,便可得到前景圖像,以前景圖像為掩模,提取視頻監(jiān)控中各幀圖像內(nèi)的角點(diǎn)[10]。令閾值為ε,利用角點(diǎn)響應(yīng)函數(shù)確定某像素點(diǎn)是否為角點(diǎn),公式如下:
式中:o是候選角點(diǎn);V(o)、V(j)是o與j的灰度值。如果η>ε,那么確定該像素點(diǎn)為角點(diǎn),即特征點(diǎn)。
利用改進(jìn)光流法[11],依據(jù)1.1 節(jié)提取的特征點(diǎn),在視頻監(jiān)控的視頻幀內(nèi)提取人群運(yùn)動(dòng)目標(biāo)。
令j的兩個(gè)光流速度矢量是、,光流場(chǎng)的基本方程如下:
式中:Fj,t是第j個(gè)特征點(diǎn)的灰度函數(shù);是Fj,t有關(guān)x軸、y軸、t軸方向的偏導(dǎo)數(shù)。
令h為迭代次數(shù),式(4)的約束方程如下:
式中α是拉格朗日乘子[12]。
對(duì)于視頻監(jiān)控中復(fù)雜場(chǎng)景內(nèi)的人群運(yùn)動(dòng)目標(biāo)來說,因?yàn)槿巳哼\(yùn)動(dòng)目標(biāo)和背景的灰階差距較小,所以人群運(yùn)動(dòng)目標(biāo)輪廓位置較為模糊,影響人群運(yùn)動(dòng)目標(biāo)輪廓處光流計(jì)算精度。為此,在式(5)的基礎(chǔ)上引入權(quán)函數(shù)wj(x,y)改進(jìn)光流約束方程,公式如下:
wj(x,y)的計(jì)算公式如下:
式中T是閾值。
利用增加慣性項(xiàng),求解式(6)得到h+1 次迭代時(shí)的光流速度矢量、,公式如下:
式中ρ(h)是迭代慣性因子。
依據(jù)與可獲取各光流點(diǎn)(特征點(diǎn))的運(yùn)動(dòng)速度ν(x,y)與方向λ(x,y),公式如下:
令光流點(diǎn)選擇閾值是νε,當(dāng)ν( )x,y>νε時(shí),保留該光流點(diǎn),反之,剔除該光流點(diǎn),可有效抑制噪聲對(duì)光流點(diǎn)的干擾,依據(jù)保留的有效光流點(diǎn)完成人群運(yùn)動(dòng)目標(biāo)提取。
以光流直方圖的形式代表提取人群運(yùn)動(dòng)目標(biāo)內(nèi)光流點(diǎn)的運(yùn)動(dòng)方向,利用直方圖的熵[13]代表光流點(diǎn)運(yùn)動(dòng)方向的混亂程度G,G與視頻監(jiān)控中當(dāng)下幀內(nèi)光流點(diǎn)運(yùn)行方向混亂程度具有正相關(guān)關(guān)系。
令j的方向變化次數(shù)是dj,j的幅值是rj,人群運(yùn)動(dòng)目標(biāo)圖像內(nèi)光流點(diǎn)的方向與幅值概率Q(dj)、Q(rj)如下:
式中:ψdj、ψrj是直方圖方向次數(shù)、幅值總和。
方向熵與幅值熵為:
式中m是人群運(yùn)動(dòng)目標(biāo)內(nèi)有效光流點(diǎn)數(shù)量。
光流速度均值為:
運(yùn)動(dòng)混亂度的計(jì)算公式如下:
當(dāng)某人的連續(xù)3 幀圖像的G超過設(shè)置閾值時(shí),則判定該人存在異常行為。
以某商場(chǎng)視頻監(jiān)控為實(shí)驗(yàn)對(duì)象,該商場(chǎng)的視頻監(jiān)控設(shè)備尺寸是1 2.5 英寸,有效像素在200 萬~400 萬之間,攝像頭的動(dòng)態(tài)范圍在60 dB 左右,具備防抖功能,視頻監(jiān)控圖像的分辨率是1 920×1 080,幀率是25 f/s。
在該商場(chǎng)視頻監(jiān)控內(nèi),隨機(jī)選擇2 幀存在異常行為的圖像,利用所研究算法在這2 幀圖像內(nèi)提取特征點(diǎn),特征點(diǎn)提取結(jié)果如圖1 所示。
圖1 特征點(diǎn)提取結(jié)果
從圖1a)和圖1b)中可以看出,該算法在視頻監(jiān)控圖像中成功地提取了特征點(diǎn)。雖然原始視頻幀中包含許多噪聲和其他因素,但是該算法仍然能夠準(zhǔn)確地識(shí)別和提取特征點(diǎn)。這些特征點(diǎn)可以作為人群運(yùn)動(dòng)目標(biāo)提取的可靠輸入,從而證明了其在視頻監(jiān)控圖像中提取特征點(diǎn)的有效性。
利用本文算法在原始視頻幀內(nèi)提取人群運(yùn)動(dòng)目標(biāo),如圖2 所示。
圖2 人群運(yùn)動(dòng)目標(biāo)提取結(jié)果
從圖2a)可以看出,本文算法可有效提取人群運(yùn)動(dòng)目標(biāo),共包含5 個(gè)運(yùn)動(dòng)目標(biāo)。從圖2b)可以看出,本文算法也可有效提取人群運(yùn)動(dòng)目標(biāo),共包含8 個(gè)運(yùn)動(dòng)目標(biāo)。綜合圖2a)和圖2b)可以看出,本文算法成功地提取了人群運(yùn)動(dòng)目標(biāo)。在兩個(gè)不同的視頻幀中,本文算法準(zhǔn)確地提取了運(yùn)動(dòng)目標(biāo),從而證明了其在人群運(yùn)動(dòng)目標(biāo)提取中的有效性和可靠性。這表明本文算法具有較高的準(zhǔn)確性,可以處理實(shí)際場(chǎng)景中的視頻監(jiān)控?cái)?shù)據(jù)。
利用本文算法計(jì)算上述兩幀圖像的運(yùn)動(dòng)混亂度,進(jìn)行人群異常行為檢測(cè),檢測(cè)結(jié)果如圖3 所示。
圖3 人群異常行為檢測(cè)結(jié)果
從圖3 中可以看出,本文算法成功地計(jì)算了各視頻幀的運(yùn)動(dòng)混亂度,并且準(zhǔn)確地檢測(cè)出了異常行為。在實(shí)驗(yàn)的前13 幀視頻中,運(yùn)動(dòng)混亂度均低于閾值,表明人群行為正常,沒有出現(xiàn)異常情況。這13 幀視頻中的人群處于平靜、有序的狀態(tài),沒有出現(xiàn)突然的聚集、爭(zhēng)執(zhí)等異常行為。然而,在第14 幀視頻中,運(yùn)動(dòng)混亂度突然明顯高于閾值,且高于閾值的連續(xù)視頻幀數(shù)量為7 幀,表明人群中出現(xiàn)了異常行為,在這7 幀視頻中,人群出現(xiàn)了聚集、爭(zhēng)執(zhí)等異常行為,導(dǎo)致運(yùn)動(dòng)混亂度明顯上升。實(shí)驗(yàn)證明:本文算法精準(zhǔn)檢測(cè)出了異常行為,可用于實(shí)時(shí)監(jiān)控視頻,對(duì)異常行為進(jìn)行自動(dòng)檢測(cè)和預(yù)警,為公共安全提供了強(qiáng)有力的技術(shù)支持。
本文提出了一種新的視頻監(jiān)控中人群異常行為檢測(cè)算法。利用改進(jìn)單高斯模型提取視頻監(jiān)控在人群圖像的特征點(diǎn),基于改進(jìn)光流法提取人群運(yùn)動(dòng)目標(biāo),通過對(duì)比分析運(yùn)動(dòng)混亂度與設(shè)置閾值,完成人群異常行為檢測(cè)。實(shí)驗(yàn)結(jié)果表明,本文算法的準(zhǔn)確性較高,該研究成果對(duì)于提高視頻監(jiān)控中異常行為檢測(cè)的準(zhǔn)確性和魯棒性具有重要意義,為實(shí)際應(yīng)用提供了新的方法和思路。未來的研究方向可增強(qiáng)算法的自適應(yīng)性,并研究多視角和多模態(tài)信息融合方法,提高異常行為檢測(cè)的全面性。