王世剛，魯奉軍，趙文婷，趙曉琳，盧　洋

(吉林大學(xué) 通信工程學(xué)院，吉林 長春 130012)

?

應(yīng)用在線隨機(jī)森林投票的動作識別

王世剛，魯奉軍*，趙文婷，趙曉琳，盧洋

(吉林大學(xué) 通信工程學(xué)院，吉林 長春 130012)

提出了基于在線隨機(jī)森林投票識別人物動作類別的方法。建立了在線隨機(jī)森林投票模型。通過在線訓(xùn)練和在線檢測兩部分進(jìn)行了算法研究, 提高了檢測人物動作類別的準(zhǔn)確率?；谌宋飫幼髟跁r(shí)間和空間上有重要信息，該方法首先通過提取圖像立體塊的lab色彩空間值、一階差分、二階差分以及大位移光流特征值在線訓(xùn)練隨機(jī)森林；訓(xùn)練結(jié)束后，形成強(qiáng)分類器，利用分類器對檢測圖像進(jìn)行投票，生成動作空間圖；最后，在動作空間圖中尋求最大值，判斷檢測圖像的動作類別。驗(yàn)證結(jié)果表明在低分辨的視頻圖像中，本方法能夠確定人物的動作類別，對Weizmann數(shù)據(jù)庫和KTH數(shù)據(jù)庫的識別率分別為97.3%和89.5%，對UCF sports數(shù)據(jù)庫的識別率為79.2%，動作識別準(zhǔn)確率有所提高。該方法增加了光流能量場特征表述，將原始投票理論拓展至三維空間，并且采用向下采樣的方式更新結(jié)點(diǎn)信息，能夠判斷人物動作類別，為智能視頻技術(shù)提供了有效的補(bǔ)充信息。

動作識別；隨機(jī)森林投票；大位移光流；動作空間圖；智能視頻

*Correspondingauthor,E-mail:lufengjun2012@sina.com

1　引　言

人物的動作識別是計(jì)算機(jī)視覺的重要組成部分，通過分析視頻圖像中的人物特征判斷動作類別，建立起特征數(shù)據(jù)與高層語義行為之間的關(guān)系人物動作通常利用攝像機(jī)拍攝獲得。動作識別系統(tǒng)在智能視頻、人機(jī)交互技術(shù)，體育競技場景分析等方面有著廣泛的應(yīng)用。

動作識別系統(tǒng)將人物動作視為帶有標(biāo)記的特定視頻圖像序列，其主要包括視頻圖像預(yù)處理、人物特征提取、動作類別建模和分類器訓(xùn)練等多方面技術(shù)。其主要可分為時(shí)空特征方法和視頻序列方法。早期的人物動作識別方法主要是針對單一靜態(tài)背景視頻序列的方法[1]，其主要將視頻圖像作為連續(xù)的觀察序列，計(jì)算人物產(chǎn)生某種動作的特征似然度，并判斷檢測序列的后驗(yàn)概率，從而確定人物動作行為。

最近時(shí)空特征方法已成為主流研究方法[2]，其主要將興趣點(diǎn)檢測器和BOW(bag-of-words)的方法相結(jié)合，以增強(qiáng)人物動作的時(shí)空信息整合。視頻圖像在時(shí)間和空間方向上變化劇烈的特征點(diǎn)通常稱為時(shí)空興趣點(diǎn)，然后，通過聚類方法將特征向量形成時(shí)空單詞集合，其經(jīng)過訓(xùn)練得到時(shí)空單詞模型，檢測序列通過模型判斷人物動作類別[3-5]。但是對于低分辨率、運(yùn)動模糊和鏡頭移動的視頻序列，這些方法識別人物動作比較困難。而且，系統(tǒng)還需要克服低分辨率視頻圖像的影響，適應(yīng)人物動作的突變性和復(fù)雜性，提高抗干擾能力的特點(diǎn)。

隨機(jī)森林分類器由于在訓(xùn)練和檢測階段中分類效率比較高，處理速度快，在行為識別領(lǐng)域受到了高度關(guān)注[6]。其分類方式主要在特征空間進(jìn)行劃分，在特定條件下對每個(gè)節(jié)點(diǎn)進(jìn)行特征劃分，這種方法的分類準(zhǔn)確率取決于葉結(jié)點(diǎn)中數(shù)據(jù)類別的純凈度。

傳統(tǒng)方法大多是基于人物的形態(tài)輪廓進(jìn)行識別[7]，對于復(fù)雜人體運(yùn)動的分析描述并不準(zhǔn)確。針對這問題，本文提出一種新穎的在線隨機(jī)森林投票方法來確定人物的動作類別。本文引入了大位移光流能量場[8]特征信息，從而可以明顯地區(qū)分人物動作的外在客觀條件及內(nèi)在姿態(tài)復(fù)雜性。

光流算法是通過計(jì)算區(qū)域像素的變化來捕獲物體運(yùn)動信息的[9]，故可降低高層行為理解的復(fù)雜度，單像素的光流值計(jì)算較為困難，本文通過選取區(qū)域光流能量場作為特征提取的有用信息，以降低計(jì)算量。本文特征量值的優(yōu)點(diǎn)如下：特征提取算法難度不高，可利用像素的底層信息作為特征的直接表述，與傳統(tǒng)的基于輪廓外形特征的方法有明顯區(qū)別，克服了傳統(tǒng)特征表述信息表述不全面的缺點(diǎn)。隨機(jī)森林能處理大量的高維數(shù)據(jù)，而且不會帶來過度擬合問題，目前已經(jīng)被廣泛地應(yīng)用到圖像領(lǐng)域中[10-11]。其在目標(biāo)檢測中[12-13]已經(jīng)成為一種重要的方法[14]，但是在人物動作識別中的應(yīng)用較少，這主要因?yàn)槠潆y以提取能夠表述人物運(yùn)動的特征信息。在目標(biāo)檢測領(lǐng)域，隨機(jī)森林將目標(biāo)色彩信息、區(qū)域像素點(diǎn)一階差分及二階差分和目標(biāo)方向梯度直方圖作為訓(xùn)練特征信息。本文通過增加了光流能量場特征表述，將原始投票理論拓展至三維空間，并且采用向下采樣的方式更新結(jié)點(diǎn)信息。最后，通過實(shí)驗(yàn)驗(yàn)證了算法性能。

2　算法結(jié)構(gòu)

動作識別過程主要分為在線訓(xùn)練部分和在線檢測部分。在線訓(xùn)練部分主要通過提取圖像立體塊的lab色彩空間信息、差分以及大位移光流特征值訓(xùn)練隨機(jī)森林，訓(xùn)練結(jié)束后，形成強(qiáng)分類器；在線檢測部分首先遍歷測試樣本圖立體塊，再利用隨機(jī)森林分類器對測試樣本圖立體塊進(jìn)行分類，葉子結(jié)點(diǎn)為所在立體塊進(jìn)行投票，在動作空間圖中尋找最大值，判斷人物動作類別。算法流程圖如圖1所示。

圖1　基于隨機(jī)森林投票的動作識別算法流程圖Fig.1　Flowchart of action recognition based on random forest voting algorithm

2.1在線訓(xùn)練過程

2.1.1圖像處理

訓(xùn)練樣本可分為正樣本和負(fù)樣本，正樣本為已經(jīng)標(biāo)記邊界框的人物的動作類別，如圖2所示，圖2(a)被標(biāo)記為滑板動作，圖2(b)被標(biāo)記為跳水動作；負(fù)樣本為無目標(biāo)圖像，如圖3所示，圖3(a)和圖3(b)分別表示街道1和街道2。

(a)滑板動作　　　　　　　(b)跳水動作　(a)Skateboard　　　　　　　　(b)Diving　　圖2　正樣本Fig.2　Positive samples

(a)街道1　　　　　　　　(b)街道2(a)Street 1　　　　　　　(b)Street 2圖3　負(fù)樣本Fig.3　Negative samples

圖4　立體塊特征信息Fig.4　Feature information of cuboids

人物動作在時(shí)間和空間中均含有信息，將圖像中的連續(xù)動作采用時(shí)空立體塊表示，立體塊的大小為16×16×5，它們分別表示立體塊長和寬的像素長度以及圖像幀數(shù)。如圖4所示。

2.1.2目標(biāo)區(qū)域大位移光流特征值

光流法能夠描述運(yùn)動物體的特征信息，以圖像像素點(diǎn)的變化表述物體的運(yùn)動信息，在目標(biāo)運(yùn)動圖像表達(dá)中有著重要的作用[15]。大位移光流[8]是由Thomas Brox等首先提出的，其主要用于描述圖像像素點(diǎn)實(shí)時(shí)變化。文中提出了基于亮度、空間梯度和平滑區(qū)域能量變化最小的光流模型，而且又增加了平移不變的特征變換(Scale Invariant Feature Transform,SIFT)和顏色描述子匹配的內(nèi)容，其能量模型公式如下：

E=Ecolor+γEgradient+αEsmooth+βEmatch+Edesc.

(1)

模型的最終目標(biāo)是尋找式(1)中兩幀圖像最小能量值變化值，其中，Ecolor表示相鄰兩幀圖像亮度變化值，受光照影響，Ecolor表達(dá)的信息有限，因此，增加了空間梯度能量最小值Egradient。然而，Ecolor和Egradient較少表達(dá)描述性特征，單一估算這兩部分的能量值并不能完善地表述光流場的特性，故又增加了平滑區(qū)域能量值Esmooth來避免光流場誤算的問題。為了增加描述子特征的信息，將SIFT和色彩描述子作為匹配對象，能量的表達(dá)形式為Ematch和Edesc，可變參數(shù)α,β和γ用以適應(yīng)不同幀圖像的運(yùn)動劇烈程度。圖5表示光流場強(qiáng)度，5(a)和5(b)為兩幀相鄰圖像，由圖可知，兩幀圖像的人物運(yùn)動變化較大，5(c)和5(d)分別表示在x、y方向的光流場強(qiáng)度值，由圖5可知大位移光流特征值對于運(yùn)動物體的信息表述更為準(zhǔn)確。

2.1.3訓(xùn)練

(a) 當(dāng)前圖像　　　　　　　(b) 相鄰幀圖像(a) 　　　Current image　　(b) 　　　Adjacent frame of (a)

(c) x方向上的光流　　　(d) y方向上的光流(c) 　　　Optical flow in x direction　(d) 　　　Optical flow in y direction圖5　光流場強(qiáng)度Fig.5　Magnitude of optical flow field

其次，對提取的特征值進(jìn)行分類，本文主要通過二值測試實(shí)現(xiàn)，具體過程如下：比較位置p∈R3和q∈R3中通道f上特征值的大小。在結(jié)點(diǎn)B的二值測試定義如下：

(2)

If(p)表示在特征通道f中位置p的特征值；tB,f,p,q,τ(Γ)表示在立體塊中位置p和q特征值的比較值，τ為設(shè)定閾值。在同一特征通道f下，比較不同位置處的特征值將立體塊分為兩大類，每一類繼續(xù)通過二值測試進(jìn)行二分類，構(gòu)成了二值測試集合{tk}，其中k表示集合的數(shù)量。

對二值測試集合中的立體塊需要進(jìn)行最佳分類，通過隨機(jī)森林分類器進(jìn)行分類，隨機(jī)森林F由決策樹{T1,T2,…,TN}構(gòu)成，N表示決策樹的數(shù)目，每一棵決策樹的函數(shù)形式為f(x;Θ):X→Y,Θ表示在樹的分裂結(jié)點(diǎn)中定義參數(shù)，x∈X?Rd表示特征值。

在訓(xùn)練過程中，訓(xùn)練樣本集合表示為{xi,yi}∈{X,Y}，其中yk∈{1,2,…,K}，K表示動作類別的數(shù)目。隨機(jī)森林的構(gòu)建是一個(gè)遞歸過程，對于樹中的每個(gè)結(jié)點(diǎn)，通過計(jì)算信息增益ΔH或者立體塊中心偏移值ΔD尋求最佳分裂函數(shù)ζ(·)，其中ΔH表示為：

(3)

立體塊中心偏移值用ΔD表示，其數(shù)學(xué)表達(dá)式為：

(4)

圖6　向下取樣流程圖Fig.6　Flowchart of subsamples

2.2在線檢測過程

2.2.1隨機(jī)森林投票理論

在目標(biāo)檢測方面，隨機(jī)森林投票方法應(yīng)用較為廣泛，其主要思想是，通過有監(jiān)督學(xué)習(xí)方法，將二維圖像塊特征信息和隨機(jī)森林投票建立映射聯(lián)系，利用葉子結(jié)點(diǎn)判斷目標(biāo)類別。本文通過對其進(jìn)行擴(kuò)展，將隨機(jī)森林的投票表決方法與三維圖像立體塊信息相結(jié)合進(jìn)行描述。

以位置x∈R3為中心的立體塊表示為p(x)=(I(x),c(x),d(c(x),x))。其中：I(x)表示立體塊特征，c(x)表示立體塊的未知?jiǎng)幼黝悇e，d(c(x),x)表示立體塊中心到未知?jiǎng)幼髦行氖噶?。Qc(y)表示圖像中任意一點(diǎn)y∈R3處具有動作類別c的事件。根據(jù)貝葉斯公式推導(dǎo)出的條件概率p(Qc(y)|I(x))表示如下：

c,I(x))p(c(x)=c|I(x))=p(d(c,x)|c(x)=c,I(x))p(c(x)=c|I(x)).

(5)

p(Qc(y)|I(x),T)=

(6)

其中G(·)表示三維高斯窗函數(shù)。

對整個(gè)隨機(jī)森林T投票平均處理，得到(7)式：

(7)

2.2.2動作空間圖

圖7　動作空間圖Fig.7　Spatial graph of different actions

圖7(彩圖見期刊電子版)表示UCF sports數(shù)據(jù)庫的動作空間圖，紅色虛線表示鞍馬運(yùn)動連續(xù)幀圖像的檢測結(jié)果，紅色小矩形框表示隨機(jī)森林對鞍馬運(yùn)動其中一幀投票的結(jié)果。動作空間圖能夠準(zhǔn)確判斷此動作為鞍馬運(yùn)動。

3　實(shí)驗(yàn)結(jié)果及分析

本文實(shí)驗(yàn)的硬件運(yùn)行環(huán)境為Intel Pentium(R) Dual-Core CPU、物理內(nèi)存2G的PC機(jī)；軟件的運(yùn)行環(huán)境為Ubuntu系統(tǒng)，借助Opencv2.0開源計(jì)算機(jī)視覺庫訓(xùn)練隨機(jī)森林分類器。

實(shí)驗(yàn)中從國際標(biāo)準(zhǔn)人物動作數(shù)據(jù)庫中選用3組測試樣本，其中包括單人靜態(tài)背景下的Weizmann數(shù)據(jù)庫和KTH數(shù)據(jù)庫，以及單人動態(tài)背景下UCF sports數(shù)據(jù)庫。

3.1Weizmann數(shù)據(jù)庫、KTH數(shù)據(jù)庫和UCF sports數(shù)據(jù)庫

Weizmann數(shù)據(jù)庫[17]中含有10種不同的動作類別，其中每組動作由9個(gè)不同的表演者分別實(shí)現(xiàn)。本實(shí)驗(yàn)將每組動作中的8個(gè)視頻序列作為訓(xùn)練序列，第9個(gè)視頻序列作為檢測序列，每次實(shí)驗(yàn)重復(fù)9次，保證每個(gè)表演者都被檢測，最后將檢測結(jié)果取平均值作為最終判斷結(jié)果。Weizmann數(shù)據(jù)庫的檢測結(jié)果如圖8所示。

圖8　Weizmann數(shù)據(jù)庫混淆矩陣Fig.8　Confusion matrices for Weizmann dataset

KTH數(shù)據(jù)庫[18]中含有6個(gè)不同的動作類別，這6個(gè)動作由25個(gè)表演者在4個(gè)不同的場景下拍攝所得。本文將同一人在4個(gè)不同場景下的同類動作視為動作完整圖像序列，并將20個(gè)表演者的完整圖像序列作為訓(xùn)練序列，剩下的5個(gè)用于檢測，以每5組一輪換的方式進(jìn)行訓(xùn)練和檢測，最后將檢測結(jié)果取平均值作為最終判斷結(jié)果。KTH數(shù)據(jù)庫的檢測結(jié)果如圖9所示。

圖9　KTH數(shù)據(jù)庫混淆矩陣Fig.9　Confusion matrices for KTH dataset

UCF sports數(shù)據(jù)庫[19]含有10組不同的動作類別，每組動作由15個(gè)不同的視頻序列組成。本文在每類動作中依次選取5大組，大組輪換次數(shù)為15；每大組中又包括5個(gè)小組，其中4個(gè)小組作為訓(xùn)練序列，剩下1組作為檢測序列，小組輪換次數(shù)為5，最后計(jì)算檢測結(jié)果的平均值。UCF sports數(shù)據(jù)庫的檢測結(jié)果如圖10所示。

圖10　UCF sports數(shù)據(jù)庫混淆矩陣Fig.10　Confusion matrices for UCF sports dataset

3.2動作分類比較結(jié)果

BOW算法把已提取的人體局部輪廓作為特征信息，通過K均值聚類算法將特征分為K類；則在視頻中的每幀圖像形成長度為K的特征向量。本文主要與隨機(jī)森林在詞袋模型BOW中應(yīng)用的方法進(jìn)行對比。詞袋中的特征向量通過隨機(jī)森林(Random Forest，RF)和支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行分類識別，文中將這兩種方法分別稱為BOW+RF和BOW+SVM。根據(jù)詞袋外數(shù)據(jù)誤差進(jìn)行分析，又可形成RF-1方法[7]。考慮到提取輪廓特征信息的維數(shù)比較大，RF-1算法應(yīng)用PCA(Principal Component Analysis)算法對特征信息進(jìn)行降維，其在隨機(jī)森林中使用決策樹的數(shù)目為500。另外，還選用文獻(xiàn)[5]基于時(shí)空興趣點(diǎn)的人體動作識別方法進(jìn)行對比。

表1　各方法在Weizmann、KTH和UCF sports 數(shù)據(jù)庫的比較結(jié)果

本文不需要對特征維數(shù)進(jìn)行降維，構(gòu)造的決策樹數(shù)目為15棵，將本文算法與其他算法的實(shí)驗(yàn)結(jié)果進(jìn)行比較，如表1所示。由表1可知，本文方法在Weizmann數(shù)據(jù)庫的識別率達(dá)97.3%，KTH數(shù)據(jù)庫識別率達(dá)89.5%，較為復(fù)雜的UCF sports數(shù)據(jù)庫識別率達(dá)72%。結(jié)果表明，本文算法識別效果高于其他算法。

4　結(jié)　論

針對人物動作識別的問題，本文提出了一種應(yīng)用在線隨機(jī)森林的動作識別方法，重點(diǎn)介紹了大位移光流特征的提取方法，并構(gòu)建了隨機(jī)森林和在線檢測方法。實(shí)驗(yàn)結(jié)果表明：在低分辨率的視頻圖像中，本文方法對簡單動作數(shù)據(jù)庫Weizmann和KTH的識別率分別為97.3%和89.5%，對復(fù)雜動作數(shù)據(jù)庫UCF sports的識別率為79.2%。該方法能夠判斷人物動作類別，將為智能視頻技術(shù)提供了有效的補(bǔ)充信息。

[1]SCHULDT C, APTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C].IEEE,Proceedingsofthe17thInternationalConferenceonPatternRecognition,Cambridge,theUnitedKingdom,2004:32-36.

[2]DOLLAR P, ABAUD V R, COTTRELL G,etal.. Behavior recognition via sparse spatio-temporal features [C].VisualSurveillanceandPerformanceEvaluationofTrackingandSurveillance,Beijing,P.R.China. 2005:65-72.

[3]付朝霞，王黎明. 基于時(shí)空興趣點(diǎn)的人體行為識別[J]. 微電子學(xué)與計(jì)算機(jī), 2013，30(8): 28-35.

FU ZH X, WANG L M. Human action recognition based on space-time interest point [J].Microelectronics&Computer, 2013,30(8):28-35. (in Chinese)

[4]王博，李燕. 視頻序列中的時(shí)空興趣點(diǎn)檢測及其自適應(yīng)分析[J]. 計(jì)算機(jī)技術(shù)與發(fā)展, 2014，24(4): 49-56.

WANG B, LI Y. Space-time interest points detection in video sequence and its adaptive analysis [J].ComputerTechnologyandDevelopment, 2014, 24(4):49-56. (in Chinese)

[5]王世剛，孫愛朦，趙文婷，等. 基于時(shí)空興趣點(diǎn)的單人行為及交互行為識別[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版),2015，45(1): 304-308.

WANG SH G, SUN A M, ZHAO W T,etal.. Single and interactive human behavior recognition algorithm based on spatio-temporal interest point [J].JournalofJilinUniversity(EngineeringandTechnologyEdition), 2015, 45(1): 304-308. (in Chinese)

[6]鮑一丹，陳納，何勇，等. 近紅外高光譜成像技術(shù)快速鑒別國產(chǎn)咖啡豆品種[J].光學(xué) 精密工程, 2015, 23(2): 349-355.

BO Y D, CHEN N, HE Y,etal.. Rapid identification of coffee bean variety by near infrared hyperspectral imaging technology [J].Opt.PrecisionEng., 2015, 23(2): 349-355. (in Chinese)

[7]蔡加欣，馮國燦，湯 鑫，等. 基于局部輪廓和隨機(jī)森林的人體行為識別[J]. 光學(xué)學(xué)報(bào), 2014, 34(10): 1015006(1-10).

CAI J X, TANG G C, TANG X,etal.. Human action recognition based on local image contour and random forest[J].ActaOptocaSinica, 2014, 34(10): 1015006(1-10).(in Chinese)

[8]BROX T,MALIK J. Large displacement optical flow: descriptor matching in variational motion estimation [J].IEEE,TransactonsonPatternAnalysisandMachineIntelligence, 2011, 33(3): 500-513.

[9]徐富元, 顧國華, 陳錢, 等. 轉(zhuǎn)動紅外探測器下地面遠(yuǎn)距離運(yùn)動目標(biāo)檢測方法[J]. 紅外與激光工程, 2014, 43(4): 1080-1086.

XU F Y, GU G H, CHEN Q,etal.. Ground target detection method on rotating infrared detector[J].InfraredandLaserEngineering, 2014, 43(4): 1080-1086. (in Chinese)

[10]向濤, 李濤，李旭東，等. 基于隨機(jī)森林的層次行人檢測算法[J]. 計(jì)算機(jī)應(yīng)用研究，2015，32(7): 2196-2199.

XIANG T, LI T, LI X D,etal.. Random forests for hierarchical pedestrian detection [J].ApplicationResearchofComputers, 2015, 32(7): 2196-2199. (in Chinese)

[11]屠大維，江濟(jì)良. 改進(jìn)的光流運(yùn)動圖像分析方法及其應(yīng)用 [J].光學(xué) 精密工程, 2011，19(5):1159-1164.

TU D W, JIANG J L. Improved algorithm for motion image analysis based on optical flow and its application [J].Opt.PrecisionEng, 2011,19(5):1159-1164. (in Chinese)

[12]劉翔, 楊鑫, 王蕾. 改進(jìn)的基于碼本模型目標(biāo)檢測算法[J]. 液晶與顯示, 2014，29(6): 999-1002.

LI X, YANG X, WANG L. Object detection algorithm based on improved codebook model [J].ChineseJournalofLiquidCrystalsandDisplays, 2014，29(6): 999-1002. (in Chinese)

[13]林培杰, 鄭柏春, 陳志聰, 等. 面向多區(qū)域視頻監(jiān)控的運(yùn)動目標(biāo)檢測系統(tǒng)[J]. 液晶與顯示, 2015，30(3): 484-491.

LI P J, ZHENG B CH, CHEN ZH C,etal.. System of multi-regions moving object detection in video surveillance [J].ChineseJournalofLiquidCrystalsandDisplays, 2015，30(3): 484-491. (in Chinese)

[14]胡夢婕，魏振忠，張廣軍. 基于對象性測度估計(jì)和霍夫森林的目標(biāo)檢測方法[J]. 紅外與激光工程, 2015, 44(6): 1936-1941.

HU M J, WEI ZH ZH, ZHANG G J. Object detection method based on objectness estimation and Hough forest[J].InfraredandLaserEngineering, 2015, 44(6): 1936-1941. (in Chinese)

[15]趙海，陳星池，王家亮，等. 基于四軸飛行器的單目視覺避障算法[J].光學(xué) 精密工程, 2014，22(8): 2232-2241.

ZHAO H, CHEN X CH, WANG J L,etal.. Obstacle avoidance algorithm based on monocular vision for quad-rotor helicopter [J].Opt.PrecisionEng., 2014 22(8): 2232-2241 . (in Chinese)

[16]JUERGEN G, VICTOR L. Class-specific Hough forests for object detection [C].IEEETransactionsonComputerVisionandPatternRecognition,Miami,theUnitedStates2009:1022-1029.

[17]BLANK M, GORELICK L, SHECHTMAN E,etal.. Actions as space-time shapes[C].IEEEInternationalConferenceonComputerVision,Beijing,China, 2005.

[18]SCHULDT C, LAPTEV I, CAPUTO B. Recognizing human actions: a local SVM approach[C].Proceedingsofthe17thInternationalConferenceonPatternRecognition,Cambridge,UK, 2004.

[19]RODRIGUEZ M, AHMED J, SHAH M. Action mach-a spatio-temporal maximum average correlation height filter for action recognition[C]. 2008IEEEConferenceonComputerVisionandPatternRecognition,Anchorage,AK, 2008.

魯奉軍(1991-)，男，吉林德惠人，碩士研究生，2013年于吉林大學(xué)獲得學(xué)士學(xué)位，主要從事數(shù)字圖像處理、機(jī)器學(xué)習(xí)等方面的研究。E-mail: lufengjun2012@sina.com

(版權(quán)所有未經(jīng)許可不得轉(zhuǎn)載)

Action recognition based on on-line random forest voting

WANG Shi-gang, LU Feng-jun*, ZHAO Wen-ting, ZHAO Xiao-lin, LU Yang

(CollegeofCommunicationEngineering,JilinUniversity,Changchun130012,China)

An action recognition method for people is proposed based on on-line random forest voting to judge the action classification. The on-line random forest voting model is established and its algorithms are researched through the two parts consisting of on-line training and on-line detection to improve the precision of the action classfication. As people action shows important information in both space and time, the method firstly trains the random forests in line by extracting 3D image features containing a lab color space , the first order difference, the second order difference and displacement optical flow. After training, a strong classier is formed. Then, the classifier is used to vote for detection images to produce an action space map. Finally, by seeking the maximum in the map, the category of action in the detection images is complemented. Experimental results indicate that the method determines the category of people action in the low resolution video images. The accurate rates of the Weizmann data, the KTH data and the UCF sport data are 97.3%,89.5%,and 79.2%,respectively. These results show that the accuracy of action recognition is improved. Moreover, the model proposed adds the feature representation of light flow energy field, expands the traditional forest voting theory to a 3D space, and uses to update information. It improves the stability and the reliability and will be of potential application in the intelligent video surveillances.

action recognition; random forest voting; large displacement optical flow; action map; intelligent video

2015-11-09；

2015-12-14.

教育部博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(No.20120061110091);吉林省科技發(fā)展計(jì)劃資助項(xiàng)目(No.20150204006GX);長春市科技局資助項(xiàng)目( No.14KG007)

1004-924X(2016)08-2010-08

TP391.4

A

10.3788/OPE.20162408.2010

王世剛(1962-)，男，吉林長春人，教授，博士生導(dǎo)師，1983年于東北大學(xué)獲得學(xué)士學(xué)位，1997年于吉林工業(yè)大學(xué)獲得碩士學(xué)位，2001年于吉林大學(xué)獲得博士學(xué)位，研究方向?yàn)閿?shù)字圖象處理技術(shù)及應(yīng)用。E-mail: wangshigang@vip.sina.com