趙 鑫，陳 平

(中北大學(xué) 信息探測(cè)與處理山西省重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051)

0 引 言

人員異常行為檢測(cè)在機(jī)器人視覺(jué)、 智能監(jiān)控、 公共安全等領(lǐng)域的運(yùn)用日趨普遍[1]. 異常行為是指相對(duì)于歷史軌跡發(fā)生偏離的運(yùn)動(dòng)目標(biāo). 如何在復(fù)雜的視頻中自動(dòng)檢測(cè)識(shí)別異常行為是近年來(lái)智能視頻處理的研究熱點(diǎn).

目前，國(guó)內(nèi)外學(xué)者主要根據(jù)不同場(chǎng)景中不同的異常行為識(shí)別任務(wù)，提出了多種不同的檢測(cè)方法. 已有的異常行為分析方法大致可以分為以下4類(lèi): ① 基于時(shí)空特征的模式分析方法，針對(duì)視頻序列在時(shí)空維度提取特征判斷行為類(lèi)別[2]，該類(lèi)方法依賴(lài)于圖片信息提取的視覺(jué)運(yùn)動(dòng)特征[3]，存在輸入信息冗余、 模型自適應(yīng)能力差等缺點(diǎn)，并且對(duì)人類(lèi)行為的刻畫(huà)能力有限，局限于若干種簡(jiǎn)單的單人行為，不易擴(kuò)展到多人間的復(fù)雜行為. ② 基于運(yùn)動(dòng)軌跡的方法，通過(guò)位置匹配和目標(biāo)關(guān)聯(lián)來(lái)提取運(yùn)動(dòng)軌跡，構(gòu)建網(wǎng)絡(luò)對(duì)目標(biāo)軌跡的速度、 加速度、 軌跡長(zhǎng)度等信息進(jìn)行訓(xùn)練[4]. 該類(lèi)方法主要對(duì)軌跡數(shù)據(jù)建模，然而，由于圖片中的目標(biāo)之間存在重疊、 遮擋等問(wèn)題，難以精確跟蹤目標(biāo)軌跡. ③ 基于行為預(yù)測(cè)分析方法，通過(guò)構(gòu)建預(yù)測(cè)未來(lái)時(shí)間段內(nèi)人類(lèi)行為的網(wǎng)絡(luò)模型，對(duì)人員在運(yùn)動(dòng)時(shí)可能觸發(fā)危險(xiǎn)的行為發(fā)出及時(shí)警告[5-9]. 目前，人類(lèi)行為視頻預(yù)測(cè)方法是在像素空間中遞歸生成未來(lái)幀來(lái)進(jìn)行行為判斷[10]，但預(yù)測(cè)模型缺乏視覺(jué)特征與真實(shí)運(yùn)動(dòng)事件語(yǔ)義的可解釋性，且預(yù)測(cè)效果容易受預(yù)測(cè)容量和環(huán)境因素影響. ④ 基于人體骨架姿態(tài)預(yù)測(cè)的方法，采用目標(biāo)檢測(cè)和人體模型提取圖片中人體骨架，利用骨架隨時(shí)間的變化來(lái)描述行為[11-12]. 基于骨架預(yù)測(cè)的方法強(qiáng)調(diào)異常行為的可預(yù)測(cè)性，采用預(yù)測(cè)人體骨架運(yùn)動(dòng)軌跡的方式，但骨架關(guān)鍵點(diǎn)提取不準(zhǔn)確時(shí)，會(huì)直接影響異常預(yù)測(cè)結(jié)果.

人員異常行為識(shí)別是集成目標(biāo)檢測(cè)、 目標(biāo)跟蹤、 行為預(yù)測(cè)等多個(gè)模塊的智能識(shí)別系統(tǒng)，單個(gè)神經(jīng)網(wǎng)絡(luò)不能直接用于異常的識(shí)別和判斷，而單獨(dú)運(yùn)用較深的網(wǎng)絡(luò)會(huì)使計(jì)算處理速度較慢，研究人員提出了使用多網(wǎng)絡(luò)級(jí)聯(lián)的思想，應(yīng)用于異常行為識(shí)別[13-15]. 通過(guò)級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模塊逐級(jí)細(xì)化人員特征，構(gòu)建行為規(guī)則模型對(duì)視頻中人員異常進(jìn)行判斷. 但是基于多網(wǎng)絡(luò)級(jí)聯(lián)的檢測(cè)識(shí)別效果，仍取決于各個(gè)模塊的檢測(cè)效果與精度. 在場(chǎng)景復(fù)雜、 多目標(biāo)遮擋的人員異常行為分析中，現(xiàn)有的多網(wǎng)絡(luò)級(jí)聯(lián)的識(shí)別方法在識(shí)別精度和魯棒性上存在局限性.

因此，針對(duì)該問(wèn)題，基于多網(wǎng)絡(luò)級(jí)聯(lián)思想，重點(diǎn)圍繞復(fù)雜場(chǎng)景下多目標(biāo)跟蹤與行為識(shí)別，分析改進(jìn)級(jí)聯(lián)網(wǎng)絡(luò)中各個(gè)網(wǎng)絡(luò)模塊的實(shí)現(xiàn)途徑. 主要采用實(shí)例分割模型檢測(cè)人體位置，提取人體骨架關(guān)鍵點(diǎn)作為行為語(yǔ)義特征，輔助理解人類(lèi)行為信息，并通過(guò)運(yùn)動(dòng)分解獲得運(yùn)動(dòng)特征. 在預(yù)測(cè)過(guò)程中，以目標(biāo)檢測(cè)框和關(guān)鍵點(diǎn)坐標(biāo)信息作為中間特征，同時(shí)利用全局和局部預(yù)測(cè)網(wǎng)絡(luò)來(lái)捕捉不同分量的人體運(yùn)動(dòng)信息，從而實(shí)現(xiàn)多目標(biāo)下高質(zhì)量的行為預(yù)測(cè)和識(shí)別.

1 骨架關(guān)鍵點(diǎn)提取與跟蹤

1.1 基于Mask RCNN的骨架關(guān)鍵點(diǎn)提取模型

異常行為識(shí)別主要研究視頻人員的行為，使用人體骨架關(guān)鍵點(diǎn)作為行為特征，利用骨架關(guān)鍵點(diǎn)坐標(biāo)表示人體整個(gè)結(jié)構(gòu)以及肢體結(jié)構(gòu)間的關(guān)系，可精確反映人體運(yùn)動(dòng)變化并表示對(duì)應(yīng)的行為狀態(tài). 本文基于上海交通大學(xué)盧策吾團(tuán)隊(duì)提出的自頂向下的骨架關(guān)鍵點(diǎn)檢測(cè)算法Alpha Pose[16]，使用通用實(shí)例分割架構(gòu)Mask RCNN[17]用作人體檢測(cè)，其不僅能輸出目標(biāo)的具體類(lèi)別和目標(biāo)框，也可以在保證檢測(cè)速度的情況下，對(duì)場(chǎng)景復(fù)雜、 多目標(biāo)遮擋下的人體進(jìn)行精確分割，網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示.

圖1 骨架關(guān)鍵點(diǎn)提取網(wǎng)絡(luò)結(jié)構(gòu)

骨架關(guān)鍵點(diǎn)檢測(cè)的基本步驟： ① 采取Mask RCNN作為人體檢測(cè)網(wǎng)絡(luò)，提取圖像中的候選框和可視化掩膜. ② 使用空間變換網(wǎng)絡(luò)(Spatial Transformer Networks,STN)對(duì)人體檢測(cè)候選框進(jìn)行空間變換，提取出高質(zhì)量的單人區(qū)域. 然后使用單人姿態(tài)檢測(cè)(Singal Person Pose Estimation, SPPE)對(duì)得到的單人區(qū)域進(jìn)行骨架關(guān)鍵點(diǎn)檢測(cè)，并將檢測(cè)結(jié)果映射到原圖中. ③ 利用參數(shù)化姿態(tài)非最大抑制(Parametric Pose Non-Maximum Suppression,Pose NMS)來(lái)消除檢測(cè)器產(chǎn)生的冗余骨架. 另外，空間反變換網(wǎng)絡(luò)(Spatial De-Transformer Network, SDTN)為STN的逆變換，用于反向修正骨架關(guān)鍵點(diǎn)，姿態(tài)引導(dǎo)區(qū)域框生成器(Pose-Guided Proposals Generator, PGPG)的作用是來(lái)增強(qiáng)訓(xùn)練樣本，作用于目標(biāo)檢測(cè)和SPPE的訓(xùn)練，提高訓(xùn)練的精度. 如圖2 所示，將人體結(jié)構(gòu)簡(jiǎn)化為17個(gè)人體骨架關(guān)鍵點(diǎn)坐標(biāo)的模型. 人體骨架關(guān)鍵點(diǎn)標(biāo)注信息以COCO數(shù)據(jù)集形式存儲(chǔ).

圖2 人體關(guān)鍵點(diǎn)模型Fig.2 Human body key point model

1.2 基于稀疏光流的骨架關(guān)鍵點(diǎn)跟蹤網(wǎng)絡(luò)

在固定相機(jī)監(jiān)控場(chǎng)景下，行人的移動(dòng)速度也較為緩慢，在高幀率相機(jī)的采樣下，人體運(yùn)動(dòng)時(shí)位置坐標(biāo)信息連續(xù)性強(qiáng)，不易出現(xiàn)人體動(dòng)作行為的瞬態(tài)變化. 為了跟蹤人體的運(yùn)動(dòng)情況，本文采用融合稀疏光流的骨架關(guān)鍵點(diǎn)跟蹤方法. 稀疏光流是對(duì)指定關(guān)鍵點(diǎn)進(jìn)行跟蹤，基于亮度恒定假設(shè)、 相鄰幀關(guān)鍵點(diǎn)小范圍運(yùn)動(dòng)假設(shè)、 空間一致假設(shè)，計(jì)算運(yùn)動(dòng)物體在像素平面上的瞬時(shí)速度，跟蹤運(yùn)動(dòng)目標(biāo)在連續(xù)圖片中的位置.

根據(jù)1.1中骨架提取模型，依次輸出人員骨架關(guān)鍵點(diǎn)坐標(biāo)和目標(biāo)矩形框坐標(biāo)信息，以人員中心為原點(diǎn)將人體檢測(cè)的感興趣區(qū)域(region of interest, ROI)擴(kuò)大20%，確保放大的邊界框?yàn)殛P(guān)鍵點(diǎn)在下一幀的可能區(qū)域.

使用Lucas-Kanade算法計(jì)算關(guān)鍵點(diǎn)坐標(biāo)的光流，當(dāng)dt足夠短時(shí)，依據(jù)光流恒定原則，關(guān)鍵點(diǎn)的變化保持不變，即

G(x+dx,y+dy,t+dt)=G(x,y,t)，

(1)

式中：G(·)表示不同時(shí)刻的骨架關(guān)鍵點(diǎn)；x,y分別表示骨架關(guān)鍵點(diǎn)的坐標(biāo)；t表示時(shí)刻； dt表示運(yùn)動(dòng)時(shí)間； dx,dy分別表示dt足夠短時(shí)的坐標(biāo)變化量.

由于相鄰幀時(shí)間足夠短，使得物體運(yùn)動(dòng)較小，則

(2)

建立光流方程，使用最小二乘法，可得光流的近似解

(3)

通過(guò)光流可生成關(guān)鍵點(diǎn)從起始位置到當(dāng)前位置時(shí)的坐標(biāo)

(4)

比較稀疏光流生成的骨架關(guān)鍵點(diǎn)是否會(huì)落入可能區(qū)域內(nèi)，對(duì)于檢測(cè)和跟蹤一致的每個(gè)關(guān)鍵點(diǎn)，標(biāo)定為1分，否則標(biāo)定出0.

(5)

式中：ROIexpand表示擴(kuò)大的感興趣區(qū)域；m表示匹配分?jǐn)?shù).

將前后幀的骨架坐標(biāo)以及骨架匹配分?jǐn)?shù)聯(lián)立成為效益矩陣，利用匈牙利算法[18]對(duì)前后幀的關(guān)鍵點(diǎn)進(jìn)行指派，按照空間一致性和姿勢(shì)一致性約束條件進(jìn)行篩選，得到匹配成功的目標(biāo)關(guān)鍵點(diǎn). 逐幀更新骨架關(guān)鍵點(diǎn)，完成對(duì)視頻流中的人體骨架姿態(tài)跟蹤.

2 異常行為識(shí)別方法

2.1 人體運(yùn)動(dòng)分解

在監(jiān)控視頻中，人體骨架運(yùn)動(dòng)變化取決于位置和姿態(tài)的變化. 人體與監(jiān)控?cái)z像頭的距離會(huì)導(dǎo)致個(gè)體運(yùn)動(dòng)狀態(tài)的差異，對(duì)于近場(chǎng)的人體，運(yùn)動(dòng)主要受局部姿態(tài)因素的影響. 在遠(yuǎn)場(chǎng)情況下，運(yùn)動(dòng)由全局運(yùn)動(dòng)支配. 現(xiàn)有的分解方法僅利用了人體關(guān)鍵點(diǎn)所表征的全局運(yùn)動(dòng)模式信息，而忽略了它背后所蘊(yùn)含的人體局部區(qū)域的細(xì)節(jié)外觀信息，而局部信息的缺失導(dǎo)致預(yù)測(cè)和重建人員在行為細(xì)節(jié)上存在一定的困難.

在1.2節(jié)中跟蹤骨架關(guān)鍵點(diǎn)坐標(biāo)的基礎(chǔ)上，將人體的骨架運(yùn)動(dòng)分解為“全局”分量和“局部”分量?jī)刹糠? 全局分量為目標(biāo)人體的絕對(duì)位置，包括有關(guān)人體邊界框的坐標(biāo)，剛性運(yùn)動(dòng)的信息等； 局部分量為骨架關(guān)節(jié)點(diǎn)相對(duì)于邊界框的位置，用于描述骨架的內(nèi)部形變. 上述分解過(guò)程由公式(6)來(lái)描述.

(6)

圖3 人體運(yùn)動(dòng)分解模型Fig.3 Human body motion decomposition model

xl,i=xi-xg;yl,i=yi-yg,

(7)

式中：xg,yg表示人體邊界框左下角的坐標(biāo)；xi,yi代表第i個(gè)關(guān)鍵點(diǎn)在相應(yīng)分量的坐標(biāo).

2.2 基于GRU單元的骨架關(guān)鍵點(diǎn)重建和預(yù)測(cè)

本文使用門(mén)控循環(huán)單元(GRU)組成雙循環(huán)遞歸編解碼器模型，解決循環(huán)神經(jīng)網(wǎng)絡(luò)中參數(shù)隨時(shí)間反向傳播時(shí)發(fā)生梯度消失的問(wèn)題，并且該模型結(jié)構(gòu)簡(jiǎn)單、 計(jì)算量較少，可應(yīng)用于提取視頻運(yùn)動(dòng)信息和時(shí)間特征.

雙循環(huán)遞歸編解碼器模型由編碼器、 重建解碼器和預(yù)測(cè)解碼器組成，其中，全局分量和局部分量的軌跡信息輸入到兩個(gè)交互的分支，其中一個(gè)分支用于學(xué)習(xí)目標(biāo)全局分量下軌跡特征的時(shí)間關(guān)聯(lián)性，另一個(gè)分支用于學(xué)習(xí)目標(biāo)局部分量下軌跡特征的時(shí)間關(guān)聯(lián)性，網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示.

圖4 雙向遞歸編解碼網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Two-way recursive encoding and decodingnetwork structure

使用滑動(dòng)窗口策略從人體骨架軌跡中提取片段，編碼器過(guò)程中設(shè)置GRU的隱狀態(tài)為空，通過(guò)跨分支信息傳遞機(jī)制傳遞各分量下的參數(shù)信息，學(xué)習(xí)各分量單獨(dú)組件下的動(dòng)態(tài)坐標(biāo)信息. 解碼過(guò)程時(shí)設(shè)置GRU的隱狀態(tài)與編碼器輸出相同，使用重建解碼器對(duì)學(xué)習(xí)的人體骨架坐標(biāo)進(jìn)行重建，預(yù)測(cè)解碼器預(yù)測(cè)其未來(lái)幀的動(dòng)態(tài)骨架信息. 編碼器輸入長(zhǎng)度為6幀，重建解碼器和預(yù)測(cè)解碼器的長(zhǎng)度為6幀. 輸出真實(shí)骨架關(guān)鍵點(diǎn)坐標(biāo)距離與預(yù)測(cè)骨架信息的損失誤差為

(8)

收集骨架異常得分： 經(jīng)過(guò)訓(xùn)練的模型預(yù)測(cè)人體在未來(lái)時(shí)間尺度上的姿勢(shì)軌跡. 使用表決機(jī)制計(jì)算預(yù)測(cè)誤差

(9)

式中：St表示從重建和預(yù)測(cè)中包含的已解碼段的集合. 對(duì)于每段姿態(tài)軌跡，在測(cè)試期間將與閾值進(jìn)行比較. 如果超過(guò)閾值，則將時(shí)刻t標(biāo)記為異常.

3 技術(shù)路線圖

本文采用如圖5 所示的多網(wǎng)絡(luò)級(jí)聯(lián)預(yù)測(cè)的異常行為識(shí)別網(wǎng)絡(luò)，采用Mask-RCNN模型提取人體位置，利用提取骨架與稀疏光流相結(jié)合，完成視頻中人體骨架的跟蹤，通過(guò)運(yùn)動(dòng)分解，精確描述人體全局運(yùn)動(dòng)信息和局部區(qū)域細(xì)節(jié)信息，在預(yù)測(cè)過(guò)程中以目標(biāo)檢測(cè)框和關(guān)鍵點(diǎn)坐標(biāo)信息作為中間特征，同時(shí)利用全局和局部預(yù)測(cè)網(wǎng)絡(luò)來(lái)捕捉不同分量的人體運(yùn)動(dòng)信息，從而實(shí)現(xiàn)多目標(biāo)下高質(zhì)量的行為預(yù)測(cè)和識(shí)別.

圖5 網(wǎng)絡(luò)結(jié)構(gòu)圖

4 實(shí)驗(yàn)分析與評(píng)價(jià)

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

本文的實(shí)驗(yàn)環(huán)境為: windows 10； 處理器為Intel(R)Core(TM) i7-6700 CPU @ 3.4 GHz； 內(nèi)存32 G； 顯卡為GTX1080； 編程環(huán)境為python3.7； 開(kāi)發(fā)工具為PyCharm 2018； 使用TensorFlow框架進(jìn)行網(wǎng)絡(luò)搭建、 訓(xùn)練和測(cè)試.

為了驗(yàn)證所提算法的可靠性及泛化能力，本文分別在實(shí)驗(yàn)室自建模擬場(chǎng)景數(shù)據(jù)集以及ShanghaiTech Campus公開(kāi)數(shù)據(jù)集[19]進(jìn)行訓(xùn)練和測(cè)試. 公開(kāi)數(shù)據(jù)集結(jié)合了上海科技大學(xué)校園13個(gè)不同場(chǎng)景的視頻信息，包含330個(gè)訓(xùn)練視頻和107個(gè)測(cè)試視頻，視頻分辨率為856×480，包括摔倒、 推打、 追逐、 騎行、 翻越欄桿等多種行為. 數(shù)據(jù)實(shí)例如圖6 的所示.

圖6 ShanghaiTech Campus數(shù)據(jù)集

自建樣本數(shù)據(jù)使用布置于室內(nèi)的DS-IPC-B12H槍式攝像機(jī)采集，相機(jī)焦距為8 mm，具備720P/1080高清廣角畫(huà)面功能，多臺(tái)攝像機(jī)分布式安裝于實(shí)驗(yàn)樓內(nèi)側(cè)走廊，走廊長(zhǎng)約25 m，監(jiān)控?cái)z像機(jī)與人員平均距離約7 m. 攝像機(jī)及安裝位置如圖7 所示.

圖7 攝像機(jī)及安裝位置

自建樣本數(shù)據(jù)為模擬行人異常可疑行為，主要有摔倒、 聚集、 劇烈運(yùn)動(dòng)、 奔跑等行為，每段序列中各動(dòng)作按一定順序多次出現(xiàn). 圖8為自建數(shù)據(jù)集實(shí)例，共計(jì)200組動(dòng)作序列，其中訓(xùn)練集150組，測(cè)試集50組.

圖8 自建樣本數(shù)據(jù)

4.2 公開(kāi)數(shù)據(jù)集

使用本文方法對(duì)公開(kāi)數(shù)據(jù)集中測(cè)試視頻進(jìn)行實(shí)驗(yàn)，在異常行為可視化的同時(shí)，屏蔽與人員無(wú)關(guān)的背景，采用熱圖的方式呈現(xiàn)圖片，異常分?jǐn)?shù)較高使用深色表示異常人員，異常分?jǐn)?shù)較低時(shí)采用淺色表示. 引入?yún)?shù)AUC和AP作為評(píng)價(jià)標(biāo)準(zhǔn)，AUC定義為接收者操作特征曲線(Receiver Operating Characteristic ,ROC)下與坐標(biāo)軸圍成的面積，其值小于等于1，AUC值越大說(shuō)明檢測(cè)越好. AP定義為精確召回曲線(Precision-Recall,PR)下與坐標(biāo)軸圍成的面積，是召回率與精確度的一種統(tǒng)一化平均，AP值越接近1，表示檢測(cè)效果越好.

針對(duì)ShanghaiTech Campus數(shù)據(jù)集，去除與人類(lèi)行為無(wú)關(guān)的異常行為，為了直觀地顯示異常行為檢測(cè)效果，對(duì)比本文方法與其他算法在異常情況發(fā)生時(shí)和非異常情況的效果，實(shí)驗(yàn)結(jié)果如圖9 和圖10 所示.

圖9 不同算法非異常情況比較Fig.9 Comparison of non-abnormal situations ofdifferent algorithms

圖10 不同算法異常情況識(shí)別結(jié)果Fig.10 Recognition results of abnormal conditions ofdifferent algorithms

圖9 中(a)～(c)為使用Morais R方法測(cè)試，正常人員在場(chǎng)景中被人員遮擋時(shí)，提取骨架具有與正常下半身“相似”的移動(dòng)模式，預(yù)測(cè)網(wǎng)絡(luò)補(bǔ)充上半身肢體坐標(biāo)點(diǎn)，導(dǎo)致局部分量下坐標(biāo)信息發(fā)生異常，從而對(duì)于正常行為誤報(bào)警； 圖9 中(e)～(f)為本文方法，消除非異常標(biāo)注.

圖10 為公開(kāi)數(shù)據(jù)集中異常情況標(biāo)注結(jié)果，通過(guò)融合實(shí)例分割的方法，提取人體關(guān)鍵點(diǎn)，并調(diào)整編碼器輸入圖片為6張，使用滑動(dòng)窗口算法，從連續(xù)圖片中提取人體骨架軌跡信息，輸入網(wǎng)絡(luò)進(jìn)行判斷. 圖10 中(a)～(c)為使用Morais R方法測(cè)試； 圖10 中(e)～(f)為本文方法，消除非異常標(biāo)注，可以更有效地預(yù)測(cè)動(dòng)態(tài)骨架信息且保留細(xì)節(jié)信息，提供了更好的視覺(jué)性能.

表 1 為本文方法在ShanghaiTech Campus數(shù)據(jù)集與現(xiàn)有技術(shù)的性能比較. Liu和Conv-AE等基于圖像的方法所構(gòu)建的模型會(huì)因?yàn)殛P(guān)注圖像的背景、 光線等信息，造成輸入信息的過(guò)分冗余，具有較大的局限性. Rodrigues使用提取人體姿態(tài)信息表征人體的整體運(yùn)動(dòng)模型，使提取的特征更加精細(xì)，使得指標(biāo)有所提升. 本文算法獲得了更為優(yōu)越的識(shí)別效果，AUC達(dá)到了0.774 2，AP達(dá)到0.702 7，由于精確提取人體關(guān)鍵點(diǎn)，并作為行為語(yǔ)義特征，避免了場(chǎng)景中圖像的背景、 光線等不相關(guān)噪聲信息的干擾. 并將運(yùn)動(dòng)動(dòng)態(tài)信息分解，能夠精確描述人體關(guān)節(jié)點(diǎn)內(nèi)部的異常行為，可對(duì)更加復(fù)雜的行為進(jìn)行識(shí)別.

表 1 公開(kāi)數(shù)據(jù)集下現(xiàn)有技術(shù)的性能比較Tab.1 Performance comparison of existing technologiesunder public datasets

4.3 自建樣本數(shù)據(jù)

使用ShanghaiTech Campus數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)模型，將模型遷移學(xué)習(xí)到自建數(shù)據(jù)集上并調(diào)整網(wǎng)絡(luò). 異常行為檢測(cè)結(jié)果如圖11 所示，圖11(a)表示輸入圖片中人員揮舞手掌、 異常行進(jìn)、 劇烈運(yùn)動(dòng)、 摔倒?fàn)顟B(tài)； 圖11(b)為重建骨架圖，可以看出人員在異常行為發(fā)生時(shí)的真實(shí)骨架狀態(tài)； 圖11(c) 為人員預(yù)測(cè)骨架和重建骨架的圖示，收集骨架異常分?jǐn)?shù)進(jìn)行判斷異常； 圖11(d)為異常行為可視化標(biāo)注.

圖11 自建數(shù)據(jù)集異常行為檢測(cè)結(jié)果

將自建測(cè)試集中50組視頻分解為圖像幀，共計(jì)樣本6 727幀，選擇其中異常事件的3 851幀圖像測(cè)試，異常跳躍樣本數(shù)為478，摔倒樣本數(shù)為1 531，劇烈運(yùn)動(dòng)樣本數(shù)為596，原地異常樣本數(shù)為457，加速奔跑樣本數(shù)為789. 異常檢測(cè)結(jié)果如表 2 所示.

表 2 自建數(shù)據(jù)異常行為檢測(cè)結(jié)果Tab.2 Self-built data abnormal behavior detection results

5 結(jié)束語(yǔ)

本文針對(duì)人員在正常運(yùn)動(dòng)具有規(guī)律性且異常事件和違規(guī)操作具有連續(xù)性的問(wèn)題，提出了多網(wǎng)絡(luò)級(jí)聯(lián)異常行為預(yù)測(cè)分析方法，不同于傳統(tǒng)端到端異常行為檢測(cè)的方法，使用實(shí)例分割模型提取目標(biāo)位置，提取骨架關(guān)鍵點(diǎn)作為行為特征，利用提取骨架與稀疏光流相結(jié)合，完成視頻中骨骼的跟蹤，通過(guò)雙向遞歸編解碼網(wǎng)絡(luò)預(yù)測(cè)動(dòng)態(tài)骨架信息，將骨架異常分?jǐn)?shù)與閾值對(duì)比判斷行為異常. 在ShanghaiTech Campus公開(kāi)數(shù)據(jù)集和自建數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文模型在不同場(chǎng)景、 不同異常行為下都有較高的檢測(cè)精度.