李云紅，鄭婷婷，王震亞，王延年，惠史科

(西安工程大學(xué)電子信息學(xué)院，陜西 西安 710048)

基于層次聚類多任務(wù)學(xué)習(xí)的人類行為識(shí)別

李云紅，鄭婷婷，王震亞，王延年，惠史科

(西安工程大學(xué)電子信息學(xué)院，陜西 西安710048)

為了實(shí)現(xiàn)對(duì)人類行為的有效識(shí)別，提出了一種基于層次聚類多任務(wù)學(xué)習(xí)(HC-MTL)的人類行為識(shí)別方法。采用正則化最小二乘法制定目標(biāo)函數(shù)，并對(duì)模型參數(shù)和分組信息這2個(gè)潛在的變量進(jìn)行聯(lián)合優(yōu)化。使用聚類范數(shù)正則化方式進(jìn)行多任務(wù)學(xué)習(xí)，并求解任務(wù)相關(guān)性，進(jìn)而對(duì)人類行為進(jìn)行有效識(shí)別。該方法打破了所有行為是獨(dú)立的個(gè)人學(xué)習(xí)的假設(shè)，通過(guò)任務(wù)聚類的方式建立起多任務(wù)之間的關(guān)系，共享同類任務(wù)之間的相關(guān)信息，提高了人類行為識(shí)別的準(zhǔn)確度。試驗(yàn)結(jié)果表明，與聚類多任務(wù)學(xué)習(xí)方法(CMTL)和魯棒多任務(wù)學(xué)習(xí)方法(RMTL)相比，HC-MTL方法可以發(fā)現(xiàn)任務(wù)的潛在相關(guān)性，有助于誘導(dǎo)群體多任務(wù)學(xué)習(xí)。通過(guò)同一類任務(wù)之間的共享信息，減少了誤差，并提高了行為識(shí)別的精確度。

行為識(shí)別； 多任務(wù)學(xué)習(xí)； 任務(wù)相關(guān)性； 層次聚類； 任務(wù)分組

0 引言

人類行為識(shí)別[1-4]是視頻監(jiān)控、多媒體內(nèi)容分析和數(shù)字娛樂(lè)等多種應(yīng)用的基本構(gòu)件。作為計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)中最活躍的研究領(lǐng)域之一，已經(jīng)有多種方法用于行為識(shí)別。

傳統(tǒng)的行為識(shí)別方法[5]是在單任務(wù)學(xué)習(xí)(single-tasklearning，STL)模式下工作，忽略動(dòng)作之間存在的相關(guān)性，不能區(qū)分具有類似運(yùn)動(dòng)模式的行為(如步行、跑步和慢跑)。近期的研究采用多任務(wù)學(xué)習(xí)[6](multi-tasklearning，MTL)進(jìn)行人類行為的識(shí)別，大大提高了人類行為識(shí)別的準(zhǔn)確度。然而，在實(shí)際應(yīng)用中，多個(gè)學(xué)習(xí)任務(wù)之間的關(guān)系是非常復(fù)雜的，不同的學(xué)習(xí)任務(wù)往往會(huì)由多個(gè)相關(guān)的任務(wù)聚類組成。在處理這種多任務(wù)的情況時(shí)，所有的任務(wù)共同學(xué)習(xí)可能對(duì)行為的分組產(chǎn)生負(fù)面影響，因而不適用于許多復(fù)雜的應(yīng)用。

針對(duì)以上問(wèn)題，提出了一種用于聯(lián)合動(dòng)作相關(guān)性發(fā)現(xiàn)的層次聚類多任務(wù)學(xué)習(xí)(hierarchyclusteringmulti-tasklearning，HC-MTL)方法。該方法采用2個(gè)潛在變量，即模型參數(shù)和分組信息，來(lái)制定目標(biāo)函數(shù)，用于聯(lián)合優(yōu)化，并將其分解為2個(gè)子任務(wù)。①多任務(wù)學(xué)習(xí)：用最小二乘法對(duì)模型進(jìn)行學(xué)習(xí)并制定目標(biāo)函數(shù)，通過(guò)“跡范數(shù)”和“組稀疏”的形式發(fā)現(xiàn)任務(wù)的相關(guān)性。 ②任務(wù)相關(guān)性發(fā)現(xiàn)：通過(guò)模型參數(shù)，利用稀疏表示任務(wù)相關(guān)性度量，然后將獲得的行為分組信息反饋給較早的子任務(wù)，以進(jìn)一步誘導(dǎo)分組多任務(wù)學(xué)習(xí)。本文方法可以在各個(gè)迭代中實(shí)現(xiàn)模型分組和識(shí)別(相關(guān)集和無(wú)關(guān)集)，通過(guò)迭代交替求得最優(yōu)解，實(shí)現(xiàn)對(duì)人類行為的識(shí)別。

1 層次聚類多任務(wù)學(xué)習(xí)方法

目前，關(guān)于人類行為的識(shí)別，國(guó)內(nèi)外的研究人員已經(jīng)取得了一些成果。針對(duì)單任務(wù)目標(biāo)域的學(xué)習(xí)，利用局部特征，可以捕獲動(dòng)作的顯著特點(diǎn)，識(shí)別人類的行為。STL、MTL、HC-MTL的系統(tǒng)框圖對(duì)比如圖1所示。

圖1 系統(tǒng)框圖對(duì)比示意圖

多任務(wù)學(xué)習(xí)利用類別之間的共享信息，在不同動(dòng)作類別之間傳遞共同知識(shí)，并建立行為分類器，進(jìn)而對(duì)人類的行為進(jìn)行識(shí)別。

Kang等[7]利用聚類多任務(wù)學(xué)習(xí)(clustering multi-task learning,CMTL)進(jìn)行行為識(shí)別，假設(shè)任務(wù)的相關(guān)性僅存在于聚類模型中，引入1個(gè)聚類變量，利用聚類正則化的方式建立任務(wù)之間的關(guān)系，以區(qū)分不同的行為。Zhou等[8]提出了魯棒多任務(wù)學(xué)習(xí)(robust multi-task learning,RMTL)，即假設(shè)大部分任務(wù)都是相關(guān)的，探索模型的共性(無(wú)論是結(jié)構(gòu)共享還是參數(shù)共享)，得出結(jié)論：多任務(wù)學(xué)習(xí)可通過(guò)任務(wù)之間的相互學(xué)習(xí)來(lái)提升整個(gè)學(xué)習(xí)任務(wù)的泛化性能。

然而，上述模型均存在假設(shè)，在實(shí)際應(yīng)用中往往并不成立。根據(jù)任務(wù)之間的潛在相關(guān)性，得出行為分組信息，以誘導(dǎo)相關(guān)行為的建模，同時(shí)避免不相關(guān)任務(wù)的負(fù)面影響。為了保持單個(gè)動(dòng)作(如步行和拳擊之間的不同運(yùn)動(dòng)區(qū)域)的特征以及多個(gè)動(dòng)作的共享信息(例如，步行和跑步之間的類似運(yùn)動(dòng)模式)，通過(guò)低秩矩陣和組稀疏設(shè)置正則化[9]目標(biāo)函數(shù)，挖掘相關(guān)任務(wù)之間的共享信息，提升對(duì)行為識(shí)別的準(zhǔn)確性。

2 層次聚類多任務(wù)學(xué)習(xí)算法及實(shí)現(xiàn)

2.1求解目標(biāo)函數(shù)

在工作中，有2個(gè)緊密相關(guān)的子任務(wù)要完成。

②任務(wù)相關(guān)性發(fā)現(xiàn)。wi表示第i個(gè)任務(wù)，其目標(biāo)參數(shù)矩陣可以表示為W=[w1,w2,…,wm]∈Rd×m。其目的是發(fā)現(xiàn)分組信息T包含的潛在任務(wù)的相關(guān)性信息。例如，所提出的方法是學(xué)習(xí)相關(guān)動(dòng)作(如握手、拍手、拳擊可被視為考慮顯著肢體的相關(guān)動(dòng)作和手動(dòng)作)，同時(shí)識(shí)別那些非相關(guān)動(dòng)作(如慢跑、步行、跑步可視被為前述肢體動(dòng)作的非相關(guān)動(dòng)作)。因此，目標(biāo)函數(shù)可以表示為：

W,T，i∈Nm}+ρ‖L‖*+β‖S‖1,2

(1)

①主要任務(wù)。

(2)

②正則化ρ‖L‖*+β‖S‖。

第一項(xiàng)中，矩陣L表示低秩矩陣正則化的模型。第二項(xiàng)中，S表示列方向的組稀疏矩陣。ρ和β是平衡這兩項(xiàng)的權(quán)重。設(shè)計(jì)關(guān)于模型參數(shù)集W和分組信息T的正則化項(xiàng)，用于行為的建模和分組(相關(guān)組和不相關(guān)組)。對(duì)于人類動(dòng)作識(shí)別，潛在的動(dòng)作模型可以位于具有低秩結(jié)構(gòu)的假設(shè)空間中，其中可以使用一組共享因子來(lái)耦合多個(gè)動(dòng)作。例如，拳擊、揮手和拍手可以共享一些基本動(dòng)作單元，諸如手臂伸展、手臂拉回和手臂水平移動(dòng)。這些類似的動(dòng)作單元將誘發(fā)低秩結(jié)構(gòu)的共享特征子空間。然而，不同的行為也可能具有顯著的差異。例如，放下和拾取具有類似的動(dòng)作單元(保持手臂、手垂直移動(dòng)的動(dòng)作)，但是動(dòng)作單元之間的不同過(guò)渡可以引起不同的運(yùn)動(dòng)特性。采用稀疏矩陣正則化，即可以通過(guò)低秩結(jié)構(gòu)來(lái)耦合相關(guān)任務(wù)。具體來(lái)說(shuō)，將W分解為2個(gè)分量，低秩矩陣L=[l1,…,lm]∈Rd×m; 列方向的組稀疏矩陣S=[s1,…,sm]∈Rd×m。該模型第i個(gè)任務(wù)的參數(shù)可以表示為:

wi=li+sili∈Rd,si∈Rd,i∈Nm

(3)

式中：li和si分別來(lái)自上述低秩結(jié)構(gòu)和組稀疏結(jié)構(gòu)。

如果第i個(gè)任務(wù)來(lái)自相關(guān)組，則期望si是零向量，因此wi保留由指定的低秩結(jié)構(gòu)約束其任務(wù)相關(guān)性。如果第i個(gè)任務(wù)來(lái)自不相關(guān)組，則期望si為非零，并且期望li是非零wi和非零si的和，被分類到不相關(guān)組中。

因此，所有組的正則化可以表示為:

(4)

目標(biāo)函數(shù)可以表示為：

ρ‖LTt‖*+β‖STt‖1,2]

(5)

式(5)中的目標(biāo)函數(shù)表示所提出的HC-MTL將實(shí)現(xiàn)組群模型，潛在分組信息T由實(shí)際組數(shù)而不是任務(wù)數(shù)直接決定。

假設(shè)任務(wù)分組信息T是已知的，可以實(shí)現(xiàn)聯(lián)合學(xué)習(xí)模型中各個(gè)任務(wù)組的多任務(wù)學(xué)習(xí)。如果所有任務(wù)的模型均是已知的，即可利用參數(shù)進(jìn)行任務(wù)分組。因此，為了處理這個(gè)具有挑戰(zhàn)性的問(wèn)題，建議將這個(gè)聯(lián)合任務(wù)分解為多任務(wù)學(xué)習(xí)和任務(wù)相關(guān)性發(fā)現(xiàn)這2個(gè)單獨(dú)的步驟。通過(guò)迭代交替，可以得到最優(yōu)解。

2.2多任務(wù)學(xué)習(xí)及任務(wù)的相關(guān)性分析

(6)

總而言之，在每個(gè)級(jí)別中，利用多任務(wù)學(xué)習(xí)來(lái)進(jìn)行模型學(xué)習(xí)，然后將實(shí)現(xiàn)的參數(shù)模型反饋到任務(wù)相關(guān)性的模塊中進(jìn)行任務(wù)分組；保留相關(guān)的任務(wù)集模型，并在下一級(jí)處理其他優(yōu)化，這將反饋到模型更新的多任務(wù)學(xué)習(xí)模塊。因此，下一次迭代的Th的任務(wù)數(shù)量將減少，直到停止。算法流程如圖2所示。

圖2 算法流程圖

3 樣本選擇與試驗(yàn)結(jié)果

為了證明所提出的方法的有效性，對(duì)數(shù)據(jù)集的選擇及評(píng)估如下所示。

3.1行為數(shù)據(jù)集

采用的數(shù)據(jù)集為SARCOS數(shù)據(jù)集[8]。該數(shù)據(jù)集是由7個(gè)自由度的仿生機(jī)器人生成的回歸預(yù)測(cè)數(shù)據(jù)集，共包含7個(gè)力矩，有48933個(gè)數(shù)據(jù)任務(wù)。每個(gè)數(shù)據(jù)任務(wù)由21維的向量組成，分別表示7個(gè)關(guān)節(jié)位置信息、7個(gè)關(guān)節(jié)速度信息和7個(gè)關(guān)節(jié)加速度信息。

3.2試驗(yàn)結(jié)果及分析

在該試驗(yàn)中，對(duì)數(shù)據(jù)集進(jìn)行評(píng)估，因?yàn)檫@些現(xiàn)實(shí)數(shù)據(jù)集中的行動(dòng)類別太復(fù)雜，因此，所提出的方法通過(guò)預(yù)期發(fā)現(xiàn)任務(wù)相關(guān)性來(lái)提高性能。

從任務(wù)中隨機(jī)選擇50、100和150的樣本作為訓(xùn)練集，并將其余樣本作為測(cè)試集。對(duì)HC-MTL、CMTL和RMTL進(jìn)行比較，使用歸一化的均方誤差(normalizedmeansquarederror,nMSE)和平均均方誤差(averagedmeanssquarederror,aMSE)作為評(píng)價(jià)標(biāo)準(zhǔn)。3種方法的性能對(duì)比如表1所示。

表1 性能對(duì)比

表1表明，通過(guò)不同多任務(wù)學(xué)習(xí)方法的比較，使用nMSE和aMSE作為誤差指標(biāo)。當(dāng)訓(xùn)練樣本為50時(shí)，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0074%和0.0068%，aMSE減小了0.0311% 和0.0137%。當(dāng)訓(xùn)練樣本為100時(shí)，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0186%和0.0074%，aMSE減小了0.0247%和0.0132%。當(dāng)訓(xùn)練樣本為150時(shí)，HC-MTL方法比CMTL和RMTL方法的nMSE分別減小0.0125%和0.0069%，aMSE減小了0.0194%和0.0113%。HC-MTL多任務(wù)學(xué)習(xí)方法得到了更低的錯(cuò)誤率和更小的方差，在nMSE和aMSE方面均明顯優(yōu)于其他方法，更加有益于挖掘任務(wù)之間的相關(guān)性，進(jìn)而對(duì)人類行為進(jìn)行識(shí)別。

4 結(jié)束語(yǔ)

本文提出了一種聯(lián)合人類行為識(shí)別的層次聚類多任務(wù)學(xué)習(xí)方法。與大多數(shù)的多任務(wù)學(xué)習(xí)方法不同，使用低秩結(jié)構(gòu)和組稀疏正則化的約束方式，使目標(biāo)任務(wù)避免了因非相關(guān)任務(wù)帶來(lái)的負(fù)面影響。該方法對(duì)人類行為進(jìn)行聚類分析，挖掘任務(wù)之間的潛在相關(guān)性，使同一類任務(wù)共享相關(guān)信息，可以實(shí)現(xiàn)最佳行為模型的分組，并識(shí)別相似行為。試驗(yàn)結(jié)果表明，層次聚類多任務(wù)學(xué)習(xí)方法在人類行為識(shí)別中的錯(cuò)誤率和方差均小于其他方法。該方法提高了行為識(shí)別的精確度。

[1] 谷學(xué)靜,高貝貝,朱朝月.基于人工情感的Q-學(xué)習(xí)算法在機(jī)器人行為決策中的應(yīng)用[J].自動(dòng)化與儀表,2015,30(7):13-16.

[2] 張愛(ài)輝,孫克輝.PCRM的改進(jìn)及其在人體行為識(shí)別中的應(yīng)用[J].計(jì)算機(jī)工程與設(shè)計(jì),2016,37(9):2515-2519.

[3] 瞿濤,鄧德祥,劉慧,等.多層獨(dú)立子空間分析時(shí)空特征的人體行為識(shí)別方法[J].武漢大學(xué)學(xué)報(bào)(信息科學(xué)版),2016,41(4):468-474.

[4] 王紅梅,任曉芳.基于深度圖序列和時(shí)空占用模式的人類行為識(shí)別研究[J].科學(xué)技術(shù)與工程,2014,14(24):102-107.

[5] 陸濤濤，姚明海,瞿心昱,等.基于視覺(jué)的人體運(yùn)動(dòng)分析綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010，20(2):245-253.

[6] 朱響斌,邱慧玲.基于智能手機(jī)傳感器數(shù)據(jù)的人類行為識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(23):1-5.

[7] 浦劍.多任務(wù)學(xué)習(xí)算法研究[D].上海：復(fù)旦大學(xué),2013.

[8] 胡正平,高紅霄,趙淑歡.基于低秩分解的聯(lián)合動(dòng)態(tài)稀疏表示多觀測(cè)樣本分類算法[J].電子學(xué)報(bào),2015,43(3):440-446.

[9] 劉建偉,崔立鵬,劉澤宇,等.正則化稀疏模型[J].計(jì)算機(jī)學(xué)報(bào),2015,38(7):1307-1325.

HumanBehaviorRecognitionBasedonHierarchicalClusteringMulti-TaskLearning

LI Yunhong，ZHENG Tingting，WANG Zhenya，WANG Yannian，HUI Shike

(School of Electronic Information,Xi’an Polytechnic University,Xi’an710048,China)

In order to realize the effective recognition of human behavior,the method based on hierarchical clustering multi-task learning(HC-MTL) is proposed.Using the regularized least square method,the objective function is formulated,and the two potential variables of model parameter and grouping information are jointly optimized.The multi-task learning is conducted and the task relevance is solved with the clustering norm regularization approach,then the human behavior is effectively recognized.The method breaks the hypothesis,i.e.,all the behaviors are independent individual learning,and through the way of task clustering,the relationship between multi-task and the relevant information among similar sharing tasks are established,thus the accuracy of human behavior recognition is enhanced.The test results show that compared with clustered multi-task learning method(CMTL) and robust multitasking learning method(RMTL),the HC-MTL method can discover the potential relevance of the tasks and help to induce the group multi-task learning,through sharing information among the same types of tasks,the error is reduced and the accuracy of behavior recognition is improved.

Behavior recognition； Multi-task learning(MTL)； Task correlation； Hierarchical clustering； Task grouping

TH701；TP391

10.16086/j.cnki.issn1000-0380.201710019

修改稿收到日期:2017-05-17

陜西省科技工業(yè)攻關(guān)基金資助項(xiàng)目(2016GY-047)、陜西省科技廳自然科學(xué)基礎(chǔ)研究重點(diǎn)基金資助項(xiàng)目(2016JZ026)、大學(xué)生創(chuàng)新創(chuàng)業(yè)計(jì)劃基金資助項(xiàng)目(2016052)

李云紅(1974—)，女，博士，教授，主要從事紅外熱像技術(shù)、數(shù)字圖像處理、信號(hào)與信息處理等方向的研究。

E-mail：hitliyunhong@163.com。

鄭婷婷(通信作者)，女，在讀碩士研究生，主要從事機(jī)器學(xué)習(xí)方向的研究。E-mail2550249497@qq.com。