姬曉飛　左鑫孟

摘要：針對雙人交互行為識別算法中普遍存在的算法計(jì)算復(fù)雜度高、識別準(zhǔn)確性低的問題，提出一種新的基于關(guān)鍵幀特征庫統(tǒng)計(jì)特征的雙人交互行為識別方法。首先，對預(yù)處理后的交互視頻分別提取全局GIST和分區(qū)域方向梯度直方圖（HOG）特征。然后，采用k-means聚類算法對每類動(dòng)作訓(xùn)練視頻的所有幀的特征表示進(jìn)行聚類，得到若干個(gè)近似描述同類動(dòng)作視頻的關(guān)鍵幀特征，構(gòu)造出訓(xùn)練動(dòng)作類別對應(yīng)的關(guān)鍵幀特征庫；同時(shí)，根據(jù)相似性度量統(tǒng)計(jì)出特征庫中各個(gè)關(guān)鍵幀在交互視頻中出現(xiàn)的頻率，得到一個(gè)動(dòng)作視頻的統(tǒng)計(jì)直方圖特征表示。最后，利用訓(xùn)練后的直方圖相交核支持向量機(jī)（SVM），對待識別視頻采用決策級加權(quán)融合的方法得到交互行為的識別結(jié)果。在標(biāo)準(zhǔn)數(shù)據(jù)庫測試的結(jié)果表明，該方法簡單有效，對交互行為的正確識別率達(dá)到了85%。

關(guān)鍵詞：GIST特征；方向梯度直方圖；關(guān)鍵幀特征庫；直方圖相交核；UT-interaction數(shù)據(jù)庫

中圖分類號：TP18； TP391.413

文獻(xiàn)標(biāo)志碼：A

0引言

在大數(shù)據(jù)時(shí)代的背景下，計(jì)算機(jī)視覺領(lǐng)域備受關(guān)注，其中人體交互行為識別算法研究已成為熱點(diǎn)問題。它使用視頻分析的方法從存在交互行為的視頻中檢測、識別人體及動(dòng)作對象，并對其交互行為識別與理解。交互行為的識別算法研究具有較高的實(shí)用價(jià)值和現(xiàn)實(shí)意義，其研究成果在智能監(jiān)控系統(tǒng)、視頻檢索、智能家居以及虛擬現(xiàn)實(shí)中有著廣泛的應(yīng)用前景[1]。

目前，對于交互動(dòng)作識別的研究有許多的技術(shù)和方法。一些學(xué)者提出了基于共生原子動(dòng)作的識別方法：文獻(xiàn)[2]提出了一種基于共生視覺詞典的方法，該方法通過統(tǒng)計(jì)動(dòng)作執(zhí)行人間共生視覺詞的發(fā)生頻率對雙人交互行為進(jìn)行表示和識別；文獻(xiàn)[3]將視頻表示成一系列具有一致空間結(jié)構(gòu)和一致運(yùn)動(dòng)的組件，通過對比成對組件的時(shí)空關(guān)系對交互視頻進(jìn)行識別。該類方法特征表示簡單，但識別的準(zhǔn)確率十分低。

有一些研究者提出了構(gòu)造時(shí)空匹配核函數(shù)的方法進(jìn)行交互行為的識別：文獻(xiàn)[4]中提出時(shí)空上下文對局部時(shí)空特征及其相互關(guān)系進(jìn)行描述，通過構(gòu)造時(shí)空上下文核函數(shù)（Spatio-Temporal Context Kernel， STCK）進(jìn)行復(fù)雜交互視頻的識別；文獻(xiàn)[5]采用基于語義基元的詞典（Bag Of Semantic Texton， BOST）對視頻的局部時(shí)空體進(jìn)行描述，并利用金字塔時(shí)空關(guān)系匹配（Pyramidal Spatiotemporal Relationship Matching， PSRM）核對交互動(dòng)作進(jìn)行識別。以上兩種方法的問題在于時(shí)空匹配核函數(shù)較為復(fù)雜，且準(zhǔn)確度不高。

為此，一些研究者提出采用相對復(fù)雜的時(shí)空特征的方法對交互行為進(jìn)行描述，以期提高準(zhǔn)確度：文獻(xiàn)[6]結(jié)合運(yùn)動(dòng)上下文的全局特征和局部時(shí)空興趣點(diǎn)的時(shí)空特征相關(guān)性對交互行為進(jìn)行描述，以提高識別的準(zhǔn)確性；文獻(xiàn)[7]組合了密集軌跡（Dense Trajectory Shape， DTS）、方向梯度直方圖（Histogram of Oriented Gradient， HOG）、光流直方圖（Histogram of Optic Flow， HOF）和運(yùn)動(dòng)輪廓直方圖（Motion Boundary Histogram， MBH）等四種特征對多尺度密集軌線進(jìn)行特征提取，并采用矢量量化（Vector Quantization， VQ）、局部軟分配Locality Soft-Assignment， LSA）、稀疏編碼（Sparse Coding， SC）和局部約束線性編碼（Locality-constrained Linear Coding， LLC）等四種先進(jìn)的特征編碼對交互動(dòng)作描述，進(jìn)行識別與理解。然而，無論是構(gòu)造時(shí)空匹配核的方法，還是復(fù)雜時(shí)空特征的方法，計(jì)算復(fù)雜度都很高，大大地限制了算法的實(shí)用性。

而在一些單人動(dòng)作識別研究中，曾提出使用提取關(guān)鍵幀的方法能夠降低動(dòng)作識別的復(fù)雜度：文獻(xiàn)[8]提出使用關(guān)鍵幀提取和縮略視頻的提取技術(shù)來解決人體動(dòng)作識別算法的時(shí)間復(fù)雜度的問題；文獻(xiàn)[9]提出利用弧長的方向函數(shù)對關(guān)鍵幀中的人體輪廓進(jìn)行描述。以上兩種基于關(guān)鍵幀的方法優(yōu)點(diǎn)在于效率高，空間信息描述較為充分。

根據(jù)以上分析，考慮到詞袋（Bag Of Words， BOW）框架[2，7]是一種較好的描述特征簡易模型，因此本文采用BOW框架來解決交互行為識別技術(shù)計(jì)算復(fù)雜度高、準(zhǔn)確性較低的問題，提出一種新的基于關(guān)鍵幀特征庫統(tǒng)計(jì)的雙人交互行為描述及識別方法。在訓(xùn)練過程中，該方法對訓(xùn)練視頻中的所有幀圖像提取簡單的全局GIST和HOG特征，采用改進(jìn)的k-means聚類方法建立關(guān)鍵幀特征庫；再根據(jù)相似度量函數(shù)，對于每個(gè)訓(xùn)練視頻統(tǒng)計(jì)視頻幀特征在特征庫中出現(xiàn)的頻率，生成該訓(xùn)練視頻的直方圖統(tǒng)計(jì)描述；然后利用訓(xùn)練視頻得到的直方圖特征描述訓(xùn)練直方圖相交核支持向量機(jī)（Support Vector Machine， SVM）[10]分類器。在識別過程中，對輸入測試視頻幀特征進(jìn)行直方圖統(tǒng)計(jì)描述，再將其輸入到SVM分類器中，融合兩種特征分別得到的識別結(jié)果，給出測試視頻的最終識別的結(jié)果。該算法的優(yōu)勢在于特征簡單，無需進(jìn)行建模，識別效果較好，基本可以實(shí)現(xiàn)實(shí)時(shí)處理。

1視頻預(yù)處理

為了提高識別的準(zhǔn)確性和有效性，在特征提取及描述之前對視頻預(yù)處理必不可少。采用幀差法以及判斷兩個(gè)個(gè)體的體心距離的方法，分別得到2-D空間的感興趣區(qū)域（Region of Interest， ROI）和1-D時(shí)間上的感興趣片段。算法的具體步驟如下：

步驟12-D空間預(yù)處理。對視頻采用幀間差法來獲得感興趣的前景區(qū)域邊界輪廓，然后找到包含前景區(qū)域的最小矩形，進(jìn)行前景定位。這樣能夠減少視頻中的冗余信息，效果如圖1所示。

步驟21-D時(shí)間預(yù)處理?？紤]到一些交互行為在交互前階段和交互后階段可能會(huì)有很大的相似性，比如：“推人”和“踢打”的動(dòng)作，這導(dǎo)致二者的特征描述可區(qū)分性較差，因此，本文提出判斷兩個(gè)個(gè)體的體心距離T（綜合考慮不同交互行為發(fā)生時(shí)個(gè)體之間的距離得到的體心距離）的大小來得到主要交互的視頻片段。具體算法如下：

2特征提取及描述

2.1算法簡介

傳統(tǒng)的BOW描述框架往往與局部特征（如興趣點(diǎn)）進(jìn)行結(jié)合，但是該描述依賴于局部特征的準(zhǔn)確提取，存在空間信息和語義信息不足的問題。本文提出的方法則以整幀的特征作為形成詞袋的備選單詞，并在初始聚類時(shí)進(jìn)行等時(shí)間段特征采樣，最終完成視頻的特征描述。該算法在一定程度上體現(xiàn)了空間信息的整體性以及時(shí)間信息的完備性。

算法的基本思想是先對視頻中的幀圖像提取兩種簡單的特征（GIST特征[11]、HOG特征[12]），并采用k-means聚類方法（初始時(shí)采用等時(shí)間段特征采樣）建立關(guān)鍵幀特征庫，再根據(jù)相似度量函數(shù)統(tǒng)計(jì)視頻幀特征在特征庫中出現(xiàn)的頻率，最后得到交互動(dòng)作視頻的統(tǒng)計(jì)直方圖表示。具體算法如圖2所示。

2.2GIST特征

目前常用于動(dòng)作識別的全局特征主要包括人體輪廓、全局光流等。全局GIST特征一般應(yīng)用在圖像的分類檢索[13]，它通過對動(dòng)作圖像的多方向和多尺度濾波，可以捕捉動(dòng)作的整體結(jié)構(gòu)信息，尤其對于真實(shí)場景的圖像序列，GIST特征比同為全局特征的輪廓特征更穩(wěn)定可靠，而且其計(jì)算復(fù)雜度低于全局光流特征。

近幾年，一些學(xué)者已將它應(yīng)用在了人體動(dòng)作識別[11，14]中，并且取得了較好的結(jié)果，因此本文選擇對交互行為的視頻提取全局GIST特征。其基本思想是：利用Gabor濾波器多尺度多方向的特點(diǎn)對幀圖像進(jìn)行處理，得到多幅特征圖；然后將特征圖采取分塊處理，每塊像素點(diǎn)的平均值作為幀圖像的一個(gè)特征。這樣將特征聯(lián)接在一起，得到了一個(gè)1×nGIST

2.3HOG特征

HOG特征采用分區(qū)域的方法對像素點(diǎn)求取梯度的幅值和方向[12]，能夠更好地描述細(xì)節(jié)和分布特征。該特征在單人的動(dòng)作識別研究中已經(jīng)取得了較好的效果，因此將GIST特征與HOG特征結(jié)合很有意義。算法的具體描述如下：

2.4關(guān)鍵幀特征庫統(tǒng)計(jì)特征描述

在同類動(dòng)作的視頻中，存在一些出現(xiàn)頻率較高的關(guān)鍵幀，而BOW模型是一種統(tǒng)計(jì)關(guān)鍵詞頻的簡易模型，在動(dòng)作識別領(lǐng)域取得了不錯(cuò)的效果。為此，本文在BOW框架下提出了基于關(guān)鍵幀特征庫的描述方法?；舅枷胧菍⒁曨l中整幀圖像的特征進(jìn)行聚類，得到的一系列類心作為關(guān)鍵幀的特征，形成關(guān)鍵幀特征庫，再采用統(tǒng)計(jì)直方圖對整個(gè)交互視頻進(jìn)行特征描述，使得視頻的信息表示更加完整和準(zhǔn)確。其算法的具體步驟如下。

步驟1提取圖像序列每一幀的特征向量，組合起來表征整個(gè)視頻的特征向量組。

步驟2采用初始化等間距采點(diǎn)的k-means聚類方法，得到mk-means個(gè)類心；然后對ptrain個(gè)訓(xùn)練視頻聚類得到的共mk-means×ptrain個(gè)類心，再次聚類，最終得到關(guān)鍵幀特征庫。其中特征庫的特征向量個(gè)數(shù)為qword。

步驟3根據(jù)相似度量函數(shù)對視頻集視頻幀特征在關(guān)鍵幀特征庫中出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì)，得到一組qword維視頻統(tǒng)計(jì)直方圖表示。

3交互行為識別

在交互行為識別過程中，通常會(huì)根據(jù)特征描述的數(shù)據(jù)特點(diǎn)進(jìn)行識別方法的判斷與選擇。在本文中，由于每個(gè)視頻（測試、訓(xùn)練）經(jīng)過關(guān)鍵幀特征庫的描述，都會(huì)得到一個(gè)qword維的視頻統(tǒng)計(jì)直方圖描述，即測試集和訓(xùn)練集中的數(shù)據(jù)維數(shù)是相同的。考慮到實(shí)驗(yàn)中視頻樣本的數(shù)量是很有限的，而支持向量機(jī)在解決小樣本、高維及非線性的模式識別問題中表現(xiàn)出一些特有的優(yōu)勢[15]；同時(shí)直方圖相交核[16]能夠較好地描述兩個(gè)直方圖的相似性，有效地解決圖像分類以及模式識別問題[17]。所以，本文選擇了直方圖相交核函數(shù)支持向量機(jī)進(jìn)行交互行為的識別。其中，直方圖相交核函數(shù)的定義如下：

實(shí)驗(yàn)過程中采用留一交叉驗(yàn)證法對數(shù)據(jù)庫進(jìn)行實(shí)驗(yàn)。所有實(shí)驗(yàn)在主頻為2.40GHz，內(nèi)存2GB，32位Windows 7操作系統(tǒng)下的Matlab 2014a軟件平臺上完成。

4.1不同特征識別結(jié)果

本文先通過Gabor濾波器（尺度個(gè)數(shù)為1，方向個(gè)數(shù)為8）獲得8幅特征圖，并選用8×8的網(wǎng)格分塊提取GIST特征，獲得了特征維數(shù)為512維的向量。在提取HOG特征時(shí)，采用6×6的網(wǎng)格進(jìn)行分塊，并選取12個(gè)方向區(qū)域進(jìn)行直方圖統(tǒng)計(jì)，其特征維數(shù)為432維。在生成關(guān)鍵幀特征庫時(shí)，實(shí)驗(yàn)參數(shù)mk-means取值為10，qword為30。在進(jìn)行決策級融合之前，分別測試了GIST特征描述和HOG特征描述下的交互行為識別結(jié)果，為確定決策級融合時(shí)加權(quán)數(shù)值的分配提供參考。

由表1的實(shí)驗(yàn)結(jié)果可以看出，除了“踢打”和“推人”的動(dòng)作外，GIST特征的識別效果在其他四類動(dòng)作中表現(xiàn)得較好，而在“踢打”的動(dòng)作中，HOG的識別效果占優(yōu)，在“拳擊”的動(dòng)作中，GIST的識別效果更好一些。總的來說，HOG以80%的識別率略高于GIST的76.67%的識別率。這也說明了本文對GIST特征和HOG特征進(jìn)行決策級融合的意義所在。

4.2決策級特征融合識別結(jié)果

為了兼顧GIST特征和HOG特征各自的優(yōu)勢和特點(diǎn)，本文對這兩種特征的支持向量機(jī)進(jìn)行決策級特征融合，根據(jù)4.1節(jié)所得到的結(jié)果，這里選擇決策級融合的系數(shù)比為0.6∶0.4，HOG融合系數(shù)較高一些。這里，采用歸一化后的混淆矩陣來表示最終的識別結(jié)果，如圖6所示。

從混淆矩陣中可以看出，經(jīng)過決策級特征融合后的識別結(jié)果為85.00%，優(yōu)于單一特征的識別結(jié)果。在“拳擊”和“推人”的兩類動(dòng)作中，仍然存在較高的識別誤差（“拳擊”這一行表示為在實(shí)驗(yàn)過程中，有30%的“拳擊”動(dòng)作視頻被識別成“推人”的交互動(dòng)作；而在“推人”這一行中，則有20%的“推人”動(dòng)作視頻被識別成“拳擊”交互動(dòng)作），原因在于這兩組動(dòng)作存在較高的相似性。在計(jì)算時(shí)間復(fù)雜度方面，單幀圖像平均識別所用的時(shí)間為0.193s，基本上可以實(shí)現(xiàn)實(shí)時(shí)處理。

4.3實(shí)驗(yàn)結(jié)果與其他文獻(xiàn)的比較

為了保持算法測試數(shù)據(jù)的一致性，本文將同樣在UT-interaction數(shù)據(jù)庫上進(jìn)行算法測試的文獻(xiàn)所得到的識別結(jié)果與本文方法進(jìn)行比較和分析，如表2所示。

從表2可以看出，本文提出的新框架特征表示得到了較好的結(jié)果。與文獻(xiàn)[2-5]相比，本文的方法識別準(zhǔn)確性有了較大幅度的提升，且無需進(jìn)行建模和構(gòu)造復(fù)雜時(shí)空匹配核。盡管文獻(xiàn)[6]（結(jié)合全局特征和時(shí)空特征相關(guān)性）和文獻(xiàn)[7]（組合了4種特征）得到的識別結(jié)果很高，但是其算法較為復(fù)雜，例如文獻(xiàn)[6]中的遺傳算法（Genetic Algorithm， GA）部分，需要大量時(shí)間進(jìn)行訓(xùn)練，而文獻(xiàn)[7]中本身已經(jīng)組合了四種特征，且其中的HOF的計(jì)算量很大，更加增大了計(jì)算的復(fù)雜度。而本文方法的優(yōu)點(diǎn)在于無需建模以及構(gòu)造匹配核函數(shù)，且特征簡單、復(fù)雜度較低，基本可以實(shí)現(xiàn)實(shí)時(shí)操作。

5結(jié)語

本文提出一種新的基于關(guān)鍵幀特征庫統(tǒng)計(jì)的人體交互行為識別方法，來解決交互行為識別技術(shù)復(fù)雜、準(zhǔn)確性較低的問題。該方法在較為成熟的BOW框架下，充分利用全局特征GIST簡單有效的優(yōu)勢以及HOG特征注重細(xì)節(jié)描述和特征分布情況的優(yōu)點(diǎn)，進(jìn)行合理的結(jié)合，獲得了較理想的識別結(jié)果。實(shí)驗(yàn)結(jié)果表明本文方法簡單、實(shí)時(shí)性好。不足之處在于識別的準(zhǔn)確性還有待進(jìn)一步的提高，后續(xù)工作中考慮在此方法的基礎(chǔ)上，進(jìn)一步并完善運(yùn)動(dòng)特征的選取及關(guān)鍵幀特征庫的構(gòu)建，以期進(jìn)一步提高識別的準(zhǔn)確率及算法的魯棒性。

參考文獻(xiàn)：

[1]RAPTIS M， SIGAL L. Poselet key-framing： a model for human activity recognition [C]// CVPR 2013： Proceedings of the 26th IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 2650-2657.

[2]SLIMANI K， BENEZETH Y， SOUAMI F. Human interaction recognition based on the co-occurrence of visual words [C]// CVPRW 2014： Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Washington， DC： IEEE Computer Society， 2014： 461-466.

[3]YUAN F， PRINET V， YUAN J. Middle-level representation for human activities recognition： the role of spatio-temporal relationships [C]// ECCV 2010： Proceedings of the 11st European Conference Computer Vision. Berlin： Springer， 2010： 168-180.

[4]YUAN F， SAHBI H， PRINET V. Spatio-temporal context kernel for activity recognition [C]// ACPR 2011： Proceedings of the 1st Asian Conference Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 436-440.

[5]YU T， KIM T， CIPOLLA R. Real-time action recognition by spatiotemporal semantic and structural forests [C]// BMVC 2010： Proceedings of the 21st British Machine Vision Conference. Durham， UK： BMVA Press， 2010： 1-12.

[6]LI N， CHENG X， GUO H， et al. A hybrid method for human interaction recognition using spatio-temporal interest points [C]// ICPR 2014： Proceedings of the 22nd International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2014： 2513-2518.

[7]PENG X， PENG Q， QIAO Y. Exploring dense trajectory feature and encoding methods for human interaction recognition [C]// ICIMCS 2013： Proceedings of the 5th International Conference on Internet Multimedia Computing and Service. Piscataway， NJ： IEEE， 2013： 23-27.

[8]NEDA A， ZOHREH A. A new approach to speed up in action recognition based on key-frame extraction [C]// MVIP 2013： Proceedings of the 2013 8th Iranian Conference on Machine Vision and Image Processing. Washington， DC： IEEE Computer Society， 2013： 2166-6776.

[9]成勛，常飛，吳志杰.基于關(guān)鍵幀的人體行為識別方法[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（18）：134-137.（CHENG X， CHANG F， WU Z J. Human behavior recognition based on key frame [J]. Computer Engineering and Applications， 2013， 49（18）： 134-137.）

[10]余思泉，曹江濤，李平，等.基于空間金字塔特征包的手勢識別算法[J].智能系統(tǒng)學(xué)報(bào)，2015，10（3）：429-435.（YU S Q， CAO J T， LI P， et al. Hand gesture recognition based on the spatial pyramid bag of features [J]. CAAI Transactions on Intelligent Systems， 2015， 10（3）： 429-435.）

[11]WANG Y， LI Y， JI X. Recognizing human actions based on GIST descriptor and word phrase [C]// MEC 2013： Proceedings of the 2013 International Conference on Mechatronic Sciences， Electric Engineering and Computer. Piscataway， NJ： IEEE， 2013： 1104-1107.

[12]WEIZMAN L， GOLDBERGER J. Urban-area segmentation using visual words [J]. IEEE Geoscience and Remote Sensing Letters， 2009， 6（3）： 388-392.

[13]HAN Y， LIU G. A hierarchical GIST model embedding multiple biological feasibilities for scene classification [C]// ICPR 2010： Proceedings of the 2010 20th International Conference on Pattern Recognition. Piscataway， NJ： IEEE， 2010： 3109-3112.

[14]JI X， ZUO X， WANG C， et al. A simple human interaction recognition based on global GIST feature model [C]// ICIRA 2015： Proceedings of the 8th International Conference Intelligent Robotics and Applications. Berlin： Springer， 2015： 487-498.

[15]衣治安，呂曼.基于多分類支持向量機(jī)的入侵檢測方法[J].計(jì)算機(jī)工程，2007，33（5）：167-169.（YI Z A， LYU M. Intrusion detection method based on multi-class support vector machines [J]. Computer Engineering， 2007， 33（5）： 167-169.）

[16]GAO X， MIAO Z. Generalized histogram intersection kernel for image classification [C]// ICSP 2014： Proceedings of the 12th International Conference Signal Processing. Piscataway， NJ： IEEE， 2015： 866-870.

[17]SHARMA G， JURIE F. A novel approach for efficient SVM classification with histogram intersection kernel [C]// BMVC 2013： Proceedings of the 24th British Machine Vision Conference. Durham， UK： BMVA Press， 2013： 1-10.

[18]RYOO M， AGGARWAL J. Spatio-temporal relationship match： Video structure comparison for recognition of complex human activities [C]// ICCV 2009： Proceedings of the 12th International Conference on Computer Vision. Piscataway， NJ： IEEE， 2009： 1593-1600.