盧　忱，王　晶

（1.中興通訊股份有限公司，陜西 西安 710114；2.西安郵電大學 計算機學院，陜西 西安 710121）

一種基于自動標簽機制的行為識別模型遷移方法

盧忱1，王晶2

（1.中興通訊股份有限公司，陜西 西安 710114；2.西安郵電大學 計算機學院，陜西 西安 710121）

隨著智能手機用戶數(shù)量的逐年增長，很多情景感知相關的研究也逐步開展?；谥悄苁謾C的人體行為識別已成為用戶自適應感知服務中的重要研究課題。盡管有很多研究者已經(jīng)嘗試使用移動設備進行用戶行為識別，但依舊難于從不確定的、不完整的以及不充足的移動設備傳感器數(shù)據(jù)中推測出用戶的行為。文中提出一種基于自動標簽機制的人體行為識別模型遷移方法，利用集成學習分治思想以及深度學習網(wǎng)絡（MLP）構建自動標簽系統(tǒng)對新用戶數(shù)據(jù)進行打標簽，將打完標簽的數(shù)據(jù)劃歸到通用模型的訓練集中進行重新訓練，以此完成模型遷移。實驗結果表明，遷移學習后的行為識別模型能有效提高行為識別準確率。

行為識別；集成學習；深度網(wǎng)絡；自動標簽系統(tǒng)；模型遷移

0　引言

隨著智能手機的普及以及各種手機應用逐漸走進人們的生活，基于智能手機的人體行為識別研究近年來成為國內(nèi)外學者研究的熱點。但是大多數(shù)的研究工作都是在已有的數(shù)據(jù)集上構建通用模型[1,2]，當這些通用模型用于數(shù)據(jù)集以外的新用戶時，由于用戶自身行為習慣、手機放置的方位以及手機內(nèi)嵌傳感器性能的差異，導致了新用戶的數(shù)據(jù)分布與已有數(shù)據(jù)集差異較大，從而造成通用模型的識別準確率下降[3]。已經(jīng)有學者開始研究通用模型遷移學習的問題，文獻[4]事先構建通用模型，在將通用模型應用到新用戶時，讓用戶自主對識別的結果進行評判，若模型識別正確，則用戶返回正反饋，否則返回負反饋，這就需要用戶在使用該識別系統(tǒng)之前要參與到該系統(tǒng)的遷移學習過程中，既給用戶帶來了使用負擔，也加長了模型修改的時耗。文獻[5]提出一種基于人工標簽數(shù)據(jù)的模型遷移方法，在通用模型遷移之前對新用戶進行一次小量的數(shù)據(jù)采集，由于這些數(shù)據(jù)在采集的時候就帶有標簽，所以直接將其放到通用模型的訓練集中，利用文中提出的KSAM遷移算法對通用模型進行模型遷移。該方法雖然得到了較好的識別準確率，但是在實際應用時還是會給用戶帶來了諸多不便。文獻[6]提出一種帶權值樣本篩選的遷移方法，該方法將訓練集進行分割并賦予樣本權重，根據(jù)訓練樣本在極速學習機（ELM）上的分類結果對樣本權重進行修改，經(jīng)過多次迭代后得到與目標域數(shù)據(jù)最相近的訓練集，再次構建識別模型。該方法最終實現(xiàn)了通用模型的遷移學習，但是整個遷移過程中樣本篩選步驟繁雜，迭代次數(shù)也依賴于訓練集和目標域數(shù)據(jù)的規(guī)模，具有不確定性。文獻[7]中提出了一種基于有標簽和無標簽數(shù)據(jù)的協(xié)同訓練多專家系統(tǒng)行為識別方法，在包含有標簽和無標簽數(shù)據(jù)的集合上首先利用K-Means對數(shù)據(jù)進行聚類，再針對各類構建神經(jīng)網(wǎng)絡模型，將這些模型重新帶回原始數(shù)據(jù)集合進行測試，得到每個模型的綜合決策權重輸出網(wǎng)絡—Gating Network（門網(wǎng)絡），所有的這些神經(jīng)網(wǎng)絡組合起來構成一個多專家分類識別系統(tǒng)。但是該方法過程比較復雜，而且需要大量的有標簽和無標簽數(shù)據(jù)，整個算法耗時長，而且協(xié)同訓練后的多專家分類識別系統(tǒng)的識別準確率也不是很理想。

本文針對上述研究的不足，提出一種基于自動標簽機制的行為識別模型遷移方法，該方法在通用模型應用于新用戶時，主動采集新用戶行為數(shù)據(jù)，利用由集成學習分治思想[8,9]和深度學習網(wǎng)絡（MLP）[10,11]共同構建的自動標簽系統(tǒng)對這些新數(shù)據(jù)自動打標簽，在模型遷移學習之前將這些打上標簽的數(shù)據(jù)劃歸到原始訓練集中，重新構建適用于該新用戶的行為識別模型。

1　算法描述

算法主要思想：對原始有標簽數(shù)據(jù)進行分類處理，對于每一個類單獨提出來，運用MLP算法訓練得到一個此類的標簽機(Tagging Machine)，然后對新用戶的數(shù)據(jù)，使用訓練好的標簽機對其進行打標簽，當打標簽結束后，將這些帶有標簽的數(shù)據(jù)按照打上的標簽將其歸屬到原始訓練總集里的各個類中去。對于訓練集總集使用決策樹算法訓練得到一個通用模型，在新數(shù)據(jù)打完標簽后，利用重構的訓練集數(shù)據(jù)重新訓練一個決策樹模型，即為個性化識別模型。此算法分兩大階段：

第一階段，打標簽階段。如圖1為打標簽階段標簽機訓練過程。

圖1　打標簽階段標簽機訓練過程

將原始數(shù)據(jù)按類別劃分為走路、靜止、跑步、上樓、下樓這五個數(shù)據(jù)區(qū)，針對每一個數(shù)據(jù)區(qū)，對原始數(shù)據(jù)進行預處理、提取特征等操作，形成標簽機訓練集，即得到各個行為的特征空間，將這些特征空間中的特征向量送入預先設定好結構的MLP模型，訓練得到五個基于MLP的神經(jīng)網(wǎng)絡模型，這五個模型就是各自所代表行為的標簽機。對標簽機進行可信度測試，因為最終要將這五個標簽機面向新用戶數(shù)據(jù)使用，所以必須取得每個標簽機的可信度，也就是其在綜合決策時的決策權重。如圖2為標簽機的加權投票器的訓練過程。

圖2　加權投票器訓練過程

在這個過程中，首先需要把原始訓練集隨機等分為五個子集，然后隨機將這五個子集分配給五個標簽機進行測試，將測試結果與數(shù)據(jù)真值進行對比，分析之后得到五個標簽機的測試正確率ɑ1，ɑ2，ɑ3，ɑ4，ɑ5。經(jīng)過計算得到各自的決策權重值β1，β2，β3，β4，β5，最后經(jīng)過歸一化處理，得到實際應用的決策權重θ1，θ2，θ3，θ4，θ5。具體運算過程如下：

最終得到一個具有五個標簽機的自動打標簽系統(tǒng)，其模型如圖3所示。

圖3　集成學習自動標簽法模型

其中，fw(x)表示W(wǎng)標簽機對新用戶數(shù)據(jù)打上的標簽，為一個1×5的向量，同理，fs(x) 、fr(x)、fd(x)、fu(x)分別是S標簽機、R標簽機、D標簽機、U標簽機給用戶數(shù)據(jù)打上的標簽。θi為各個標簽機對應的系統(tǒng)決策權重值，其中i可取w、s、r、d、u。

第二階段，模型遷移學習階段，此階段使用上一階段得到的標簽數(shù)據(jù)，將其加入到原始訓練集中，對新建成的訓練集進行模型重新訓練，調(diào)用KSAM算法進行模型遷移。

算法描述如下：

（1）新數(shù)據(jù)打標簽階段

步驟1：劃分訓練集數(shù)據(jù)，將原始數(shù)據(jù)集按照各自類別劃分為W,S,R,U,D五個子集，進行預處理，提取特征，得到五個特征集F1，F(xiàn)2，F(xiàn)3，F(xiàn)4，F(xiàn)5；

步驟2：對步驟1中的特征集分別使用MLP算法進行訓練，得到五個MLP模型，即為標簽機，分別記為M1，M2，M3，M4，M5；

步驟3：將步驟1種的五個特征集F1~F5合并起來，然后隨機均等分成5個子集，記為R1，R2，R3，R4，R5；

步驟4：隨機分配步驟3中的R1~R5中的集合，給步驟2中的M1~M5,用于測試M1~M5的準確率，并計算得到M1~M5在最終決策中的決策權重。

（2）模型遷移階段

步驟1：對原始訓練集F={F1∪F2∪F3∪F4∪F5}，調(diào)用CART決策樹算法進行模型訓練，得到初始化模型；

步驟2：將第(1)階段得到的綜合決策網(wǎng)絡及其決策權重，用于新用戶數(shù)據(jù)的打標簽，得到新用戶數(shù)據(jù)標簽；

步驟3：將新用戶標簽數(shù)據(jù)加入到原始訓練集中，重新訓練。

2　實驗結果與分析

2.1實驗環(huán)境及工具

在實驗數(shù)據(jù)采集階段，所使用的設備為具有Android操作平臺的智能手機。該手機內(nèi)置有三軸加速度傳感器。利用該傳感器可以實時便捷的獲取用戶多種日常行為的加速度數(shù)據(jù)。實驗平臺為MATLAB軟件。MATLAB是一種非常強大的科學計算的工具，由開發(fā)環(huán)境、函數(shù)庫、MATLAB語言、圖形以及接口這五部分組成。其在處理各種大量數(shù)據(jù)時表現(xiàn)出了高效率的優(yōu)秀特性，語言具有很好的可擴充性和交互性、良好的可移植性和開放性、語句簡單內(nèi)涵豐富，并且數(shù)據(jù)分析結果可以用各種圖形形象表示，使得其在科學研究中被廣泛使用。

2.2實驗數(shù)據(jù)的獲取及預處理

本文在研究人體行為識別時所用的手機加速度數(shù)據(jù)是由基于Android平臺自主開發(fā)的采樣程序獲取，采集智能手機三軸加速度計的加速度數(shù)據(jù)，包含靜止、走路、上樓、下樓、跑步等五種日常行為的加速度數(shù)據(jù)，采樣頻率為50Hz，單次采樣時長為5s。所得數(shù)據(jù)以(ax, ay, az)元組（其中ax代表手機坐標系下X軸的加速度值，ay代表手機坐標系下Y軸的加速度值，az代表手機坐標系下Z軸的加速度值）的形式保存于文本文件中。訓練集數(shù)據(jù)采集所用設備：HUAWEI U8950D智能手機，手機操作系統(tǒng)：Android OS；測試集數(shù)據(jù)采集所用設備：HUAWEI、ZTE、MX、Samsung、小米、HTC等智能手機，手機操作系統(tǒng)：Android OS。采集時手機所處位置：包里、褲兜、手里，手機放置方位任意。采集人數(shù)共12人，采樣人群年齡分布區(qū)間：22~55周歲，采樣量：10 次/(人· 位置· 行為)。接下來就是數(shù)據(jù)預處理（預處理方法：信號截取、濾波、歸一化等等）、特征提取，由于要針對每種行為構建標簽機，故對每種行為數(shù)據(jù)提取的特征集是不同的，具體特征集如表1所示。

表1　各個行為對應的特征集

2.3實驗設計與結果分析

實驗總共分為三組。

第一組：不打標簽實驗組，通用模型直接對新用戶進行識別；

第二組：人工標簽實驗組，利用人工標簽數(shù)據(jù)進行模型遷移；

第三組：自動打標簽實驗組，分治法MLP打標簽進行模型遷移。

在第一組實驗中，將所有訓練集數(shù)據(jù)集合到一起，統(tǒng)一進行預處理、特征提取，然后直接調(diào)用CART決策樹算法，訓練模型，得到通用模型（General Model）。

在第二組實驗中，將已有的帶標簽的新用戶數(shù)據(jù)加入到第一組實驗中的訓練集中，進行重新訓練，即人工標簽數(shù)據(jù)參與的模型遷移學習，得到人工標簽遷移模型（Artificial Tagging Transfer Model）。

在第三組實驗中，將原始數(shù)據(jù)集劃分為五個子集，一次調(diào)用MLP算法訓練各自的標簽機，再將原始數(shù)據(jù)集隨機均分為五部分，分配給五個標簽機，依次進行測試，獲取決策權重值。接著，把新用戶的數(shù)據(jù)，直接用各個標簽機進行打標簽，之后根據(jù)每個標簽機的決策權重值，綜合決策給出數(shù)據(jù)所屬分類，并將其加入到訓練集中，進行重新訓練，從而進行模型遷移。

上述所有分組實驗，其訓練集均為5個人的數(shù)據(jù)組成，其余7人（P1～P7）數(shù)據(jù)進行遷移學習。實驗數(shù)據(jù)如表2、表3所示。

表2　訓練集原始數(shù)據(jù)

利用上述五個標簽機以及相應遷移學習方法進行模型遷移實驗，實驗結果如表4～表6所示：

表3　單個目標域原始數(shù)據(jù)

表4　加入人工標簽數(shù)據(jù)進行重新訓練前后準確率對比

表5　自動標簽法模型遷移（重新訓練）前后準確率對比

表6　自動標簽法模型遷移（KSAM）前后準確率對比

通過表4～表6可以看出，對于所構建的通用行為模型，在面對新用戶時，行為識別正確率較低，平均值為67.23%，說明了對新用戶進行行為識別時，通用模型的不適應性以及遷移學習的必要性。表4和表5說明通過人工標簽數(shù)據(jù)加入后進行模型遷移后的識別準確率提高較大，用文中提出的自動標簽法進行模型遷移后的準確率有提高，但提高水平相對較低，僅為15.35%。這是因為人工標簽數(shù)據(jù)是用戶直接進行行為數(shù)據(jù)打標簽的，其打標簽準確率是100%，所以使用同樣的遷移學習方法后其提高水平是相當可觀的。另外，表5和表6進行對比，可以看出在自動標簽法使用后，調(diào)用KSAM進行模型遷移的提高水平比直接重新訓練后的要高。所以，本文提出的自動標簽法模型遷移方法能夠提高模型的識別準確率。

3　結束語

利用目標域數(shù)據(jù)與源域數(shù)據(jù)之間的分布差異，對新用戶數(shù)據(jù)自動打標簽，然后將打上標簽的數(shù)據(jù)歸并到原始訓練集中，調(diào)用決策樹算法進行模型重新訓練，得到的模型對新用戶行為的識別準確率相對于通用模型較高。實驗結果表明，該方法能夠?qū)π掠脩魯?shù)據(jù)自動有效地打標簽，進而對通用模型進行遷移學習，提高了新用戶行為識別的準確率。

（責任編輯 呂春紅）

[1] INCELOD, KOSEM, ERSOYC.A Review and Taxonomy of Activity Recognition on Mobile Phones[J]. BioNanoSci，2013(3):145-171.

[2] 衡霞,王忠民.基于手機加速度傳感器的人體行為識別[J].西安郵電大學學報,2014,19(6):76-79.

[3] PAN SJ, YANGQ. A survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10):1345-1359.

[4] JUSSIP,JAYAPRASADB, JUSSI C, et al. Adaptive Activity and Environment Recognition for Mobile Phones [J].Sensors, 2014(14):20753-20778.

[5] 王忠民,王晶,張榮.一種基于人工標簽數(shù)據(jù)的行為識別模型遷移方法[J].西安郵電大學學報,2016,21(2):92-97.

[6] 王忠民,屈肅.一種極速學習機人體行為識別模型遷移方法[J].西安郵電大學學報,2015,20(1):49-54.

[7] Young-Seol Lee, Sung-Bae Cho. Activity recognition with android phone using mixture-of-experts co-trained with labeled and unlabeled data[J].Neurocomputing,2014 (126):106-115.

[8] 周志華,通過集成學習進行知識獲取[J].重慶郵電大學學報,2008,20(3):361-362.

[9] 李凱,崔麗娟.集成學習算法的差異性及性能比較[J].計算機工程,2008,34(6):35-37.

[10] 孫志軍,薛磊,許陽明,王正.深度學習研究綜述[J].計算機應用研究,2012,29(8):2806-2810.

[11] 尹寶才,王文通,王立春.深度學習研究綜述[J].北京工業(yè)大學學報,2015,41(1):41-59.

A Kind of Migration Method of the Behavior Recognition Model Based on Automatic Labeling System

LU Chen，et al
(ZTE Corporation, Xi’an 710114, China)

With the number of smart phone users increasing, a lot of context aware research is gradually carried out. Human behavior recognition based on smart phone has become an important research topic in user adaptive sensing service. Although there are a lot of researchers have tried to use mobile devices for user behavior recognition, But it is still difficult to recognize the user's behavior from the uncertainty, incomplete and inadequate sensor data of the mobile device. In this paper, a method of human behavior recognition model migration based on automatic tagging mechanism is proposed, Using the ensemble learning partition thought and deep learning network (MLP) construction of automatic labeling system on the new user data playing tag, The finished tag data transferred to the general model of training for retraining, in order to complete the model migration. The experimental results show that the model can effectively improve the accuracy of behavior recognition.

behavior recognition; ensemble learning; depth network; automatic label system; model transfer

TP391

A

1008–2093(2016)04–0015–04

2016-06-01

國家自然科學基金資助項目（61373116）；陜西省科技統(tǒng)籌創(chuàng)新工程計劃項目（2016KTZDGY04-01）

盧忱（1965―），男，遼寧丹東人，副教授，博士，主要從事無線通信安全研究。