文 峰，劉 飛，黃海新

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院，沈陽 110159)

傳統(tǒng)人體異常行為檢測方法通常直接對圖像進(jìn)行特征點(diǎn)提取，受限于圖像的外觀、視角、遮擋等問題，無法充分利用圖像信息，當(dāng)人體姿態(tài)變化較大時(shí)，不能精確表達(dá)形變，難以提取人體異常行為特征[1-2]。

Sun M等[3]通過提取光流特征估計(jì)人群密度，將異常檢測看成一個(gè)多標(biāo)簽分類問題，存在無法獲取充足訓(xùn)練樣本的問題。魏文華[4]提出基于模糊理論的檢測方法，通過人體輪廓進(jìn)行分類，其分類器使用的規(guī)則少，只能識(shí)別跌倒這一異常行為。周義[5]提出基于人體運(yùn)動(dòng)軌跡的方法，誤判率較高。傳統(tǒng)檢測方法由于結(jié)構(gòu)單一，無法應(yīng)用在復(fù)雜場景中。

崔利軍[6]提出利用外接矩陣標(biāo)識(shí)被檢測對象，通過兩種特征算子的變化判斷是否發(fā)生異常，但僅僅能檢測下蹲、跌倒異常行為，無法對人體存在遮擋、復(fù)雜動(dòng)作進(jìn)行檢測。鄭浩等[7]提出一種基于連續(xù)自適應(yīng)均值漂移算法，采用稀疏表達(dá)的檢測方式，該方法雖對存在遮擋情況可以檢測目標(biāo)對象，但對復(fù)雜場景檢測準(zhǔn)確率較低。Sultani W等[8]提出構(gòu)造行為數(shù)據(jù)庫，通過計(jì)算異常分?jǐn)?shù)預(yù)測是否發(fā)現(xiàn)異常，無法保證數(shù)據(jù)庫的準(zhǔn)確性，影響網(wǎng)絡(luò)性能。管文華等[9]通過人體關(guān)節(jié)點(diǎn)構(gòu)造頭部與手之間的關(guān)系，僅僅能檢測低頭這一行為特征，無法滿足人體行為的多樣化。

本文提出一種基于人體關(guān)節(jié)點(diǎn)檢測人體異常行為的方法。首先使用基于層疊沙漏網(wǎng)絡(luò)的多人姿態(tài)估計(jì)算法[10]獲取關(guān)節(jié)點(diǎn)數(shù)據(jù)信息，一段視頻由多幀圖像構(gòu)成，將每個(gè)人體在相應(yīng)幀圖像中的關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)組成人體行為序列，根據(jù)行為序列之間的相關(guān)性，設(shè)計(jì)一種構(gòu)造人體行為的數(shù)據(jù)分布方法。其次，使用聚類算法K-means[11]標(biāo)記存在異常行為的個(gè)體，檢測時(shí)使用滑動(dòng)窗口，對一定大小的人體行為序列進(jìn)行檢測。基于關(guān)節(jié)點(diǎn)坐標(biāo)生成人體角度、距離特征數(shù)據(jù)構(gòu)造異常行為數(shù)據(jù)集，解決訓(xùn)練數(shù)據(jù)采集困難、適應(yīng)性不足等問題。最后，使用支持向量機(jī)(Support Vector Machines，SVM)模型[12]識(shí)別人體異常行為種類，經(jīng)過反饋得到最終檢測結(jié)果。

1 方法設(shè)計(jì)

1.1 獲取人體關(guān)節(jié)點(diǎn)

為獲取可靠性較高的人體關(guān)節(jié)點(diǎn)數(shù)據(jù)信息，本文使用多人姿態(tài)估計(jì)AlphaPose算法[10]獲取人體關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)。對于每張人體姿態(tài)估計(jì)圖，標(biāo)定17個(gè)二維關(guān)節(jié)點(diǎn)位置，根據(jù)人體關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)構(gòu)建人體行為特征。具體關(guān)節(jié)點(diǎn)如圖1所示，圖中0到16分別為鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左腳、右腳。

圖1 人體全身關(guān)節(jié)圖

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

采用人體關(guān)節(jié)點(diǎn)描述人體姿態(tài)、預(yù)測人體行為的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 預(yù)測人體行為網(wǎng)絡(luò)結(jié)構(gòu)圖

預(yù)測工作原理為：將視頻序列轉(zhuǎn)化為圖像序列，對圖像中的人體進(jìn)行多人姿態(tài)估計(jì)，尋找置信度最高的關(guān)節(jié)點(diǎn)位置作為最終的關(guān)節(jié)點(diǎn)，將其連線成骨架；基于關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行特征轉(zhuǎn)換，經(jīng)過混合高斯模型，通過行為數(shù)據(jù)分布特征表達(dá)人體行為；使用聚類算法標(biāo)記具有異常行為的人體，而具有正常行為的人體停止檢測；通過行為分類器將標(biāo)記具有異常行為的人體進(jìn)行行為識(shí)別，得到最終結(jié)果。

1.2.1 特征轉(zhuǎn)換

檢測人體異常行為的關(guān)鍵在于構(gòu)造表達(dá)人體的行為特征，由于關(guān)節(jié)點(diǎn)坐標(biāo)存在特征分散、單一等問題，使用關(guān)節(jié)點(diǎn)坐標(biāo)無法準(zhǔn)確表達(dá)人體行為變化。因此，本文設(shè)計(jì)了基于人體關(guān)節(jié)點(diǎn)坐標(biāo)的一種特征轉(zhuǎn)換方法，首先設(shè)置人體中心點(diǎn)，根據(jù)人體關(guān)節(jié)點(diǎn)與中心點(diǎn)的位置關(guān)系，構(gòu)造表達(dá)人體行為的角度特征和距離特征，提高了特征相關(guān)性。以每個(gè)人體左肩、右肩取連線中點(diǎn)與左臀、右臀取連線中點(diǎn)，連線得到垂直方向上的中線，再以左肩、左臀取其連線中點(diǎn)與右肩、右臀取其連線中點(diǎn)得到水平方向上的中線，兩條中線的交點(diǎn)即為設(shè)置的中心點(diǎn)。具體特征如圖3所示。

圖3 人體特征圖

圖3a中，C為人體中心點(diǎn)，記為(x0，y0)；A1、A2、A3為角度特征；l1、l2、l3、l4為距離特征。圖3b為左臂局部特征，C1為左肩與左肘連線中點(diǎn)，記為(x1，y1)；C2為左肘與左腕連線中點(diǎn)，記為(x2，y2)。

當(dāng)人體左臂行為變化時(shí)，通過A1和l1、l2相結(jié)合表示人體手臂行為特征。為體現(xiàn)手臂與軀干之間的特征變化關(guān)系，根據(jù)手臂關(guān)節(jié)點(diǎn)橫坐標(biāo)與縱坐標(biāo)數(shù)值計(jì)算歐氏距離，得到上臂、下臂與人體中心的距離，其計(jì)算公式為

(1)

(2)

為體現(xiàn)角度的變化，計(jì)算相應(yīng)角度A1的余弦值代表角度特征，記為Z，其計(jì)算公式為

(3)

根據(jù)計(jì)算將分散的關(guān)節(jié)點(diǎn)特征轉(zhuǎn)換成緊湊的距離特征和角度特征，表達(dá)人體手臂的變化幅度。有效解決了使用關(guān)節(jié)點(diǎn)坐標(biāo)表達(dá)人體行為特征的局限性。

通過多人姿態(tài)估計(jì)網(wǎng)絡(luò)預(yù)測得到人體關(guān)節(jié)點(diǎn)，經(jīng)上述方法構(gòu)建人體行為特征，數(shù)據(jù)量較大，每秒達(dá)到2000個(gè)，不利于異常行為的檢測、識(shí)別。為進(jìn)一步提取行為特征，將人體行為序列中的角度和距離數(shù)據(jù)分布特征作為行為特征進(jìn)行異常行為的檢測，利用混合高斯模型和期望最大化(Expection Maximuzation，EM)算法[13]對該分布進(jìn)行參數(shù)估計(jì)，從而獲得人體行為特征。

具體過程如下。

(1)首先根據(jù)每個(gè)人體的角度特征和距離特征組成數(shù)據(jù)，輸入到混合高斯模型中，一個(gè)混合高斯模型含有K個(gè)單個(gè)高斯模型，設(shè)輸入人體行為特征數(shù)據(jù)樣本集為Y=(y1，y2…yt)，數(shù)據(jù)分布符合高斯分布，若采用t表示數(shù)據(jù)編號(hào)，T代表數(shù)據(jù)最大編號(hào)，采用k表示單個(gè)高斯模型編號(hào)，共有K個(gè)高斯模型，將上述樣本集數(shù)據(jù)展開成完全數(shù)據(jù)為

(4)

式中：yt樣本數(shù)據(jù)代表來源于第k個(gè)單高斯模型；γt，k代表隱變量。

(2)設(shè)置初始混合高斯的二維均值、協(xié)方差和權(quán)重。權(quán)重代表單個(gè)高斯模型在混合高斯中的比重，經(jīng)過EM算法迭代計(jì)算，輸出最終的人體特征參數(shù)，具體迭代公式為

(5)

k=1，2，…，K

(6)

(7)

通過上述方法將行為數(shù)據(jù)分布特征表示人體在一段時(shí)間內(nèi)的行為變化，從而減少了人體角度特征和距離特征的數(shù)量，提升檢測精度。

1.2.2 標(biāo)記異常行為

在此只區(qū)分具有正常行為的人體和具有異常行為的人體，采用聚類算法K-means僅設(shè)兩個(gè)聚類中心，分別代表具有正常行為人群和具有異常行為人群。

根據(jù)每個(gè)人體所得到的均值和方差合成多組數(shù)據(jù)，隨機(jī)選取人體作為K-means算法的聚類中心，計(jì)算各個(gè)數(shù)據(jù)與聚類中心的歐氏距離，當(dāng)達(dá)到最大迭代次數(shù)，輸出人體編號(hào)表達(dá)聚類結(jié)果。在聚類結(jié)果中，將兩個(gè)聚類中心含有人體數(shù)量進(jìn)行對比，少數(shù)即為具有異常行為的人群。具體流程如圖4所示。

圖4 標(biāo)記異常行為流程圖

在完整的視頻檢測中，通常人體行為序列較長，本文提出滑動(dòng)窗口分段檢測思想，將視頻拆分成幀數(shù)相同的段落，按時(shí)間序列依次檢測，滑動(dòng)窗口處理流程如圖5所示。

圖5 滑動(dòng)窗口處理流程圖

設(shè)置滑動(dòng)窗口大小，平均劃分待檢測視頻。對于初始視頻序列，每次提取其窗口相應(yīng)時(shí)間長度的人體行為序列進(jìn)行特征轉(zhuǎn)換、標(biāo)記異常行為，對得到的檢測結(jié)果存儲(chǔ)記錄，重復(fù)上述步驟直至視頻序列完成，獲取帶標(biāo)記的數(shù)據(jù)。

1.2.3 人體異常行為檢測

基于已獲取的異常行為數(shù)據(jù)，通過設(shè)計(jì)基于有監(jiān)督學(xué)習(xí)的動(dòng)作識(shí)別方法，可對異常行為進(jìn)行分類檢測。由于使用神經(jīng)網(wǎng)絡(luò)檢測存在過擬合、自適應(yīng)性差等問題，本文采用SVM識(shí)別人體異常行為，識(shí)別流程見圖6所示。

圖6 行為識(shí)別流程圖

選取數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)作為訓(xùn)練集，將標(biāo)記的待測異常行為數(shù)據(jù)輸入到SVM行為分類模型中，通過迭代計(jì)算，對比待測行為數(shù)據(jù)與已有行為標(biāo)簽數(shù)據(jù)的差異，輸出一個(gè)概率最大的人體行為類別，得到人體異常行為檢測結(jié)果。

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

實(shí)驗(yàn)采用 Ubuntu16.04 操作系統(tǒng)，圖形處理器為 NVIDIA Tesla V100，內(nèi)存為 16 GB，深度學(xué)習(xí)框架為 Pytorch 0.4.1。

用于訓(xùn)練行為分類器的數(shù)據(jù)集分為兩部分：一部分為利用手機(jī)拍攝的1080p視頻，主要為室內(nèi)場景下13個(gè)人完成4類動(dòng)作(扔，揮手，趴桌子，打架)；另一部分使用人體行為數(shù)據(jù)集KTH，包括4個(gè)場景下25個(gè)人完成6類動(dòng)作(行走，揮手，慢跑，鼓掌，跳，打架)。共計(jì)2761個(gè)視頻樣本，包含了尺度變化、衣著變化和光照變化，以評估算法性能。

2.2 實(shí)驗(yàn)參數(shù)設(shè)置

為減少EM算法迭代過程中的計(jì)算量，協(xié)方差矩陣都為對角矩陣，隱變量初始值設(shè)置概率均為1/3。經(jīng)實(shí)驗(yàn)證明，每次處理60幀的人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，測試的準(zhǔn)確率最高，因此，設(shè)置滑動(dòng)窗口大小為60幀。

2.3 實(shí)驗(yàn)結(jié)果

通過姿態(tài)估計(jì)獲取人體關(guān)節(jié)點(diǎn)數(shù)據(jù)，兩種數(shù)據(jù)集圖例如圖7所示。

圖7 人體姿態(tài)估計(jì)圖

本文以某會(huì)議室人體行為檢測為例。通過多人姿態(tài)估計(jì)得到人體關(guān)節(jié)點(diǎn)數(shù)據(jù)如圖8所示。

圖8 多人姿態(tài)估計(jì)圖

圖8中矩形框?yàn)楦櫲梭w框，并附有每個(gè)人體編號(hào)ID標(biāo)識(shí)。通過對人體行為數(shù)據(jù)分布特征聚類，將圖8中人群分成具有正常行為和具有異常行為兩類，聚類結(jié)果如表1所示。

表1 聚類結(jié)果

表1中1、2為聚類中心，分別代表兩個(gè)簇，從上文可知，本文定義最小簇中的人群標(biāo)記為異常行為的人群，因此對人體ID為1和5的人體進(jìn)行異常標(biāo)記。將對應(yīng)的異常行為數(shù)據(jù)輸入到SVM分類模型中，得到異常動(dòng)作分類結(jié)果如圖9所示。

圖9 最終檢測結(jié)果圖

圖9中實(shí)線矩形框代表無異常行為人群；虛線矩形框?yàn)楫惓Ｐ袨槿巳?；Sg代表滑動(dòng)窗口滑動(dòng)次數(shù)；F代表打架這一行為標(biāo)簽。用本文的方法檢測出ID為1和5的人體具有打架行為。

在識(shí)別行為分類上，使用人體姿態(tài)特征數(shù)據(jù)集優(yōu)于使用人體關(guān)節(jié)點(diǎn)數(shù)據(jù)集，其行為分類準(zhǔn)確率對比如表2所示。

表2 不同數(shù)據(jù)集的行為分類準(zhǔn)確率對比

由表2可見，本文提出的訓(xùn)練集在行為分類的準(zhǔn)確率上有小幅度的提升。

為驗(yàn)證本文所提出的人體行為異常檢測方法的合理性，選取多種不同場景下的室內(nèi)視頻進(jìn)行檢測，由于存在環(huán)境物體遮擋人體的情況，在多次實(shí)驗(yàn)后得出相關(guān)的指標(biāo)如表3所示。

表3 有無遮擋效果對比

由表3可知，待測視頻中若不發(fā)生遮擋人體的情況，檢測算法準(zhǔn)確率達(dá)到89.65%，具有一定的通用性。

3 結(jié)束語

提出一種基于姿態(tài)特征的異常行為檢測方法，設(shè)計(jì)一種利于表達(dá)人體行為的特征數(shù)據(jù)分布方法，充分體現(xiàn)了人體行為變化，通過聚類標(biāo)記異常行為，減少人體行為特征數(shù)據(jù)量，使基于SVM模型完成異常行為分類的準(zhǔn)確率較高，解決了傳統(tǒng)人體異常行為檢測方法準(zhǔn)確率不高的問題。對于存在遮擋的異常行為，準(zhǔn)確率還需進(jìn)一步提升。