吳 淵，史殿習，楊若松，李 寒，陳 茜，周 榮

(國防科技大學 計算機學院 并行與分布處理國防科技重點實驗室,湖南 長沙 410073)

手機位置和朝向無關(guān)的活動識別技術(shù)研究

吳 淵，史殿習，楊若松，李 寒，陳 茜，周 榮

(國防科技大學 計算機學院 并行與分布處理國防科技重點實驗室,湖南 長沙 410073)

文中針對基于智能手機的活動識別中如何消除手機位置和朝向的影響問題展開研究。首先，針對手機放置位置問題，提出了先識別手機位置再進行活動識別的方法，其特點是能夠基于特定的手機位置選取最佳的活動識別模型，進而消除手機位置對活動識別的影響；其次，針對手機朝向影響問題，對傳感器數(shù)據(jù)使用絕對值和簡單移動平均線處理的方法，消除手機朝向?qū)κ謾C位置識別和活動識別的影響；最后，基于Android平臺開發(fā)了一個傳感器數(shù)據(jù)收集工具對傳感器數(shù)據(jù)進行收集，設(shè)計了兩組實驗對上面提出的方法進行實驗驗證。結(jié)果表明，文中提出的方法能夠很好地消除手機放置位置和朝向?qū)顒幼R別的影響，活動識別的準確率能達到87.89%。

手機位置；手機朝向；活動識別；智能手機

1 概 述

目前，以Android、iOS為代表的智能手機內(nèi)嵌了加速度、陀螺儀、光線、距離等一系列可以感知周圍環(huán)境和上下文信息的傳感器。這些傳感器可以收集人們豐富的日?；顒有畔?，通過分析處理這些信息可以推理人們的活動情況[1]及行為習慣[2]等，進而為人們提供各種各樣的個性化服務(wù)。如CenceMe[1]利用手機采集的多種傳感器(加速度傳感器、GPS等)數(shù)據(jù)推斷用戶的活動情況、情緒和行為習慣；HealthAware系統(tǒng)[3]利用加速度傳感器監(jiān)測用戶的日?；顒?，實時提醒用戶保持健康所需要的活動量等等。

目前，活動識別領(lǐng)域取得了一系列的研究成果，但是絕大多數(shù)活動識別工作都是在固定手機位置和朝向的方式下進行的[4-5]。固定手機位置和朝向的活動識別方式與日常生活中用戶使用手機的習慣相悖。手機位置影響是指用戶運動時不同肢體部位的運動幅度不同，導致同一用戶運動狀態(tài)下，放置在用戶不同身體部位的手機收集到的傳感器數(shù)據(jù)不一樣，從而影響活動識別結(jié)果。手機的朝向?qū)顒幼R別的影響來自兩個方面：一是手機傳感器數(shù)據(jù)是基于手機內(nèi)置坐標系收集的，手機不同朝向(正反面等)放入口袋時收集到的數(shù)據(jù)不一樣；二是用戶運動時不固定的手機可以自由的在口袋內(nèi)晃動，從而影響收集的傳感器數(shù)據(jù)。因此，如何在基于智能手機的活動識別當中消除手機放置位置和朝向帶來的影響問題成為目前該領(lǐng)域研究的熱點和難點[6-9]。

文中針對基于智能手機的活動識別中如何消除手機位置和朝向的影響問題展開研究。對手機放置位置問題，提出了先識別手機位置再進行活動識別的方法，其特點是能夠基于特定的手機位置生成最佳的活動識別模型；其次，針對手機朝向影響問題，對傳感器數(shù)據(jù)使用絕對值和簡單移動平均線處理的方法，消除手機朝向?qū)κ謾C位置識別和活動識別的影響；最后，基于Android平臺開發(fā)了一個傳感器數(shù)據(jù)收集工具對傳感器數(shù)據(jù)進行收集，采集手機不同放置位置和朝向下的加速度、陀螺儀、光線、距離等傳感器數(shù)據(jù)，在此基礎(chǔ)上設(shè)計了兩組實驗對上面提出的方法進行實驗驗證。結(jié)果表明，文中所提出的方法能夠很好地消除手機放置位置和朝向?qū)顒幼R別的影響，活動識別的準確率能達到87.89%。

2 相關(guān)工作

文獻[4]對現(xiàn)有的基于智能手機的活動識別進行了詳細的分析、總結(jié)和歸納。就目前基于智能手機的活動研究來說，將其分為三類：固定手機位置和朝向的活動識別研究、手機朝向無關(guān)的活動識別研究以及手機位置無關(guān)的活動識別研究。絕大多數(shù)活動識別研究都是在手機位置和朝向固定的條件下進行的，其工作研究的重點偏向于傳感器取樣頻率、特征和分類算法在活動識別中識別準確率和能耗等方面[2-3]。但在實際應(yīng)用中，手機的放置位置和朝向的影響不可忽略，下面就這兩方面進行分析總結(jié)。

針對手機朝向?qū)顒幼R別影響的問題，研究者主要采取兩種處理方法:一是使用與手機朝向無關(guān)的特征(如三軸合成加速度)來訓練分類模型[1,7]；二是將基于手機坐標系的傳感器數(shù)據(jù)轉(zhuǎn)換為基于地球坐標的數(shù)據(jù)[8]。

針對手機放置位置對活動識別的影響研究可以分為如下三類：一是利用手機放置在不同位置獲取的傳感器數(shù)據(jù)來抵消手機位置的影響[10-12]，即將不同手機位置收集的傳感器數(shù)據(jù)綜合在一起提取特征，再進行分類；二是在數(shù)據(jù)收集階段將用戶的活動類型(如走路、跑步等等)與手機放置的位置組合進行標注，在此基礎(chǔ)上進行訓練和分類[13]；三是在識別手機位置的基礎(chǔ)上，利用在手機各個位置生成的活動識別模型來識別用戶活動[14-16]。

其中，第一類方法使用最多，其使用多個手機位置的傳感器數(shù)據(jù)抵消手機位置帶來的影響，本質(zhì)上還是與手機位置相關(guān)的。第二類方法本質(zhì)上還是利用手機在多處位置收集的數(shù)據(jù)來抵消手機位置的影響，其不同之處在于把用戶運動與手機放置位置組合成標簽，分類上更精細。第三類方法只有文獻[14]用到，其缺陷在于實驗數(shù)據(jù)是在跑步機上收集的，難以代表真實的用戶活動數(shù)據(jù)。此外，其忽視了手機朝向?qū)κ謾C位置識別和活動識別的影響。

3 手機位置和朝向變化的處理方法

從上面的分析中可以看到，手機放置位置和手機朝向是影響基于智能手機的活動識別結(jié)果的兩個重要因素。為此，文中提出了一個手機放置位置無關(guān)的活動識別框架，如圖1所示。其核心思想是先利用光傳感器、距離傳感器和手機位置識別模型對手機的位置進行識別，再針對特定的手機放置位置，使用多種機器學習方法生成多個活動識別模型，并選出最佳的活動識別模型。

圖1 活動識別的系統(tǒng)框架圖

3.1 手機位置識別方法

與大部分處理手機放置位置問題的活動識別研究類似，文中主要對手機在四處位置(用戶手中、大腿、腰部和胸前的口袋)進行識別。手機放置位置實驗分為兩個步驟進行：第一步利用光傳感器和距離傳感器來識別手機是在口袋中還是手中(手機大概位置)；第二步利用傳感器數(shù)據(jù)生成的手機放置位置識別模型進一步確認手機的具體位置。進行光傳感器和距離傳感器實驗得到兩個結(jié)論：一是手機在口袋內(nèi)和手中所采集到的光強度值和距離數(shù)據(jù)值大小明顯不一致；二是每一次手機位置改變(如從手中放入口袋)都會引起光強度值和距離值劇烈的抖動。

利用結(jié)論一可知光傳感器和距離傳感器結(jié)合并設(shè)定閾值可以用來識別手機在手中或口袋內(nèi)(兩種傳感器結(jié)合可以消除環(huán)境變化因素帶來的影響，如白天晚上光線的變化)。利用結(jié)論二，只有當手機放置發(fā)生位置改變時，才使用手機位置識別模型進行手機位置識別，從而節(jié)省利用識別模型識別手機位置帶來的資源消耗和延時。

在利用光傳感器和距離傳感器確認手機大概放置位置后，再采用多種機器學習分類算法對手機放置在常見的三種口袋處(胸前、大腿和腰部等位置處的口袋)進行識別。手機放置位置識別實驗中，利用決策樹、樸素貝葉斯和支持向量機對三種傳感器(重力加速度傳感器、線性加速度傳感器和陀螺儀傳感器)數(shù)據(jù)進行訓練生成手機放置位置識別模型，并分析了不同傳感器數(shù)據(jù)和分類算法在手機放置位置識別中的準確率。

3.2 手機朝向不固定引起的變化及處理方法

手機朝向不固定主要引起兩類變化：

一是手機內(nèi)置的傳感器三軸坐標系隨手機的朝向發(fā)生翻轉(zhuǎn)，其傳感器數(shù)據(jù)變化如圖2(a)所示，傳感器在x軸與y軸的數(shù)據(jù)發(fā)生了翻轉(zhuǎn)。針對這類變化，利用傳感器數(shù)據(jù)求絕對值的方法。圖2(b)是經(jīng)過絕對值處理后的數(shù)據(jù)波形圖。從圖2(b)中可以看出不同手機朝向下用戶同一運動時采集的傳感器數(shù)據(jù)，在經(jīng)過絕對值處理后數(shù)據(jù)表現(xiàn)趨向一致。

圖2 傳感器數(shù)據(jù)波形圖

二是手機不同朝向放置時導致原始傳感器數(shù)據(jù)在每一個波形周期內(nèi)產(chǎn)生許多隨機抖動，影響活動識別提取的時域特征，如波峰、頻率等等。針對這類變化，使用簡單移動平均線(SimpleMovingAverage，SMA)[17]消除手機不固定引起的抖動。

圖2中，(a)和(b)為不同手機朝向下，傳感器數(shù)據(jù)在x軸與y軸的變化，(c)和(d)為經(jīng)過絕對值處理后的傳感器數(shù)據(jù)波形。

4 實 驗

4.1 數(shù)據(jù)收集方式

圖3(a)是基于Android平臺下編寫的數(shù)據(jù)收集工具，主要收集加速度(線性加速度、重力分量加速度)、陀螺儀、光線、距離等傳感器數(shù)據(jù)。實驗收集了10名志愿者(4名女性和6名男性)在如圖3(b)、(c)所示的四種手機位置下走路、跑步、上樓梯、下樓梯、騎自行車時的傳感器數(shù)據(jù)及活動、手機朝向和位置標簽。實驗對傳感器數(shù)據(jù)進行分割后產(chǎn)生了11 723組數(shù)據(jù)樣例，采用隨機劃分的方法，其中70%為訓練數(shù)據(jù)，30%為測試數(shù)據(jù)。

圖3 數(shù)據(jù)收集APP及手機四種放置位置

4.2 特征提取

實驗采用50%重疊的4 s滑動窗口對重力傳感器、線性加速度傳感器和陀螺儀傳感器數(shù)據(jù)進行分割，然后對分割后的數(shù)據(jù)窗口提取特征，提取了最大值、最小值、均值、標準差、波峰個數(shù)，波峰的均值、波谷的均值、波峰的最小值、波谷的最大值共計9個特征。重力加速度、線性加速度、陀螺儀等傳感器都是三軸傳感器，因此每個傳感器能夠提取到27特征。在實驗中，把直接從傳感器數(shù)據(jù)上提取的特征稱作特征一，對傳感器數(shù)據(jù)進行絕對值和SMA處理后提取的特征稱作特征二。

4.3 實驗及結(jié)果分析

兩組實驗：第一組實驗在固定手機朝向下，檢驗手機放置位置是否對活動識別有影響，并與相關(guān)研究工作對比在消除手機位置影響上文中提出的活動識別模型的效果。第二組實驗在不固定手機朝向下，驗證經(jīng)過絕對值處理和SMA處理后的傳感器數(shù)據(jù)在手機位置識別和活動識別中的效果。

第一組實驗包括以下3個實驗。

實驗1:在同一手機朝向下，使用手機在L2(見圖3)口袋處收集到的傳感器數(shù)據(jù)生成分類模型來識別手機在L3(見圖3)口袋處的活動。結(jié)果顯示用手機放置在L2處的傳感器數(shù)據(jù)生成的分類模型對L3位置處的活動進行識別，其最高準確率僅為43.61%，表明手機放置位置對活動識別有很大影響。

實驗2：在同一手機朝向下，使用手機在所有放置位置處的傳感器數(shù)據(jù)生成分類模型，檢驗其是否能減少手機位置對活動識別的影響(大多研究采用的方法)。結(jié)果顯示，決策樹、SVM和樸素貝葉斯在不同傳感器組合下得到的最高識別率分別為：86.62%、93.71%、92.34%。這說明利用所有手機位置處的傳感器數(shù)據(jù)生成的模型在很大程度上能減少手機放置位置對活動識別的影響。

(a)手機放置位置識別準確率

(b)手機放置位置后的活動識別準確率

實驗3：在同一手機朝向下，先識別手機放置位置，再調(diào)用特定手機位置活動識別模型進行識別。圖4(a)是手機位置識別結(jié)果，結(jié)果表明決策數(shù)和SVM比樸素貝葉斯的識別效果要好，使用SVM對三種傳感器數(shù)據(jù)訓練生成的模型識別效果最好，準確率能達到96.97%。識別手機放置位置后，分別在L1、L2、L3(見圖3)口袋處進行活動識別，其結(jié)果如圖4(b)所示。在L1、L2、L3三個口袋處活動識別的最高準確率分別為97.74%、98.42%、98.58%，即在三處手機位置的平均識別率為98.20%。

此外還研究了用戶手機拿在手中走路和跑步時兩種活動的識別率，其準確率能達到99%左右。在不包括用戶手機放置手中運動的情況下，先識別手機放置位置，再在各個位置識別用戶活動，活動識別準確率能達到95.22%(96.97%*98.20%)。將實驗3與實驗2進行對比，表明文中使用的方法比大多數(shù)處理手機位置的活動識別研究中使用的方法的識別率要好。

從圖4(a)和(b)中還可以得知，使用單個傳感器時，手機位置識別時使用重力傳感器的效果要好，活動識別中使用線性加速度傳感器的識別效果要好，多個傳感器組合在手機位置識別和活動識別時的效果一般要好于單個傳感器。

基于第一組實驗中使用三種傳感器數(shù)據(jù)組合的識別效果最好的結(jié)果，在第二組實驗中使用三種傳感器數(shù)據(jù)進行驗證。首先，實驗在不限制手機朝向的情況下收集了用戶活動時的傳感器數(shù)據(jù)，利用上述描述的特征一和特征二進行了兩個實驗。實驗1利用特征一和特征二生成的分類模型來識別手機的放置位置，結(jié)果表明特征二在手機位置識別中的表現(xiàn)要好于特征一，其準確率最高為92.66%。這說明經(jīng)過絕對值和SMA處理后的傳感器數(shù)據(jù)在識別手機位置時在一定程度上消除了手機朝向變化帶來的影響。實驗2中有兩組變量：特征和傳感器數(shù)據(jù)。特征包括特征一和特征二；傳感器數(shù)據(jù)包括單個手機朝向下收集的傳感器數(shù)據(jù)和所有手機朝向下收集的傳感器數(shù)據(jù)。實驗中使用這些特征和數(shù)據(jù)組合生成的模型來識別不限定手機朝向的活動。其結(jié)果如圖5所示。在單個手機朝向下的數(shù)據(jù)提取的特征二比特征一的表現(xiàn)要好；使用所有手機朝向下收集的數(shù)據(jù)和特征二生成模型在消除手機朝向的影響上表現(xiàn)最好。這就表明，經(jīng)過絕對值和SMA處理后的傳感器數(shù)據(jù)在識別用戶活動時在一定程度上消除了手機朝向變化帶來的影響。

通過第一組實驗可知先識別手機放置位置，后識別活動的模型能夠有效地消除手機位置對活動識別的影響；通過第二組實驗可知在不限定手機朝向和位置的情況下，經(jīng)過絕對值和SMA處理后的傳感器數(shù)據(jù)在識別手機放置位置和活動識別時的準確率最好，最高識別準確率分別能達到92.66%和94.85%，即在不限制手機朝向和位置的情況下，基于所提出的框架和數(shù)據(jù)處理方法，活動識別的準確率能達到87.89%(92.66%*94.85%)。

圖5 活動識別中使用不同特征和

5 結(jié)束語

文中在解決手機放置位置對活動識別影響的問題時，分兩個步驟：先利用光和距離傳感器識別手機在手中或口袋內(nèi)，再使用分類模型對手機放置在不同口袋處進行識別。在識別手機放置位置的基礎(chǔ)上，調(diào)用在具體的手機位置生成的活動識別模型進行活動識別。在處理手機朝向問題的影響時，使用絕對值和SMA對傳感器數(shù)據(jù)進行處理，以消除手機朝向的影響。基于上述處理方法，實驗結(jié)果表明，在不限制手機朝向和位置下活動識別結(jié)果表現(xiàn)很好。下一步工作，將基于智能手機平臺完成一個實用的活動識別系統(tǒng)。

[1] Miluzzo E,Lane N D,Fodor K,et al.Sensing meets mobile social networks:the design,implementation and evaluation of the cenceme application[C]//Proceedings of the 6th ACM conference on embedded network sensor systems.Raleigh,NC:ACM,2008:337-350.

[2] Yuan B,Herbert J,Emamian Y.Smartphone-based activity recognition using hybrid classifier[C]//Proceeding of the 4th international conference on pervasive and embedded computing and communication systems.[s.l.]:[s.n.],2014.

[3] Gao C, Kong F, Tan J. Healthaware: tackling obesity with health aware smart phone systems[C]//Proc of IEEE international conference on robotics and biomimetics.Guilin:IEEE,2009:1549-1554.

[4] Shoaib M,Bosch S,Incel O D,et al.A survey of online activity recognition using mobile phones[J].Sensors,2015,15(1):2059-2085.

[5] Kwapisz J R,Weiss G M,Moore S A.Activity recognition using cell phone accelerometers[J].ACM SIGKDD Explorations Newsletter,2011,12(2):74-82.

[6] Siirtola P,Roning J.Ready-to-use activity recognition for smartphones[C]//Proceedings of the 2013 IEEE symposium on computational intelligence and data mining.Singapore:IEEE,2013:59-64.

[7] Siirtola P,R?ning J.Recognizing human activities user-independently on smartphones based on accelerometer data[J].International Journal of Interactive Multimedia and Artificial Intelligence,2012,1(5):38-45.

[8] Lu H,Yang J,Liu Z,et al.The jigsaw continuous sensing engine for mobile phone applications[C]//Proceedings of the 8th ACM conference on embedded networked sensor systems.Zurich,Switzerland:ACM,2010:71-84.

[9] Reddy S,Mun M,Burke J,et al.Using mobile phones to determine transportation modes[J].ACM Transactions on Sensor Networks,2010,6(2):13-16.

[10] Anjum A,Ilyas M U.Activity recognition using smartphone sensors[C]//Proc of consumer communications and networking conference.[s.l.]:IEEE,2013:914-919.

[11] Wang Y,Lin J,Annavaram M,et al.A framework of energy efficient mobile sensing for automatic user state recognition[C]//Proceedings of the 7th international conference on mobile systems,applications,and services.[s.l.]:ACM,2009:179-192.

[12] Thiemjarus S,Henpraserttae A,Marukatat S.A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone[C]//Proceedings of IEEE international conference on body sensor networks.[s.l.]:IEEE,2013:1-6.

[13] Khan A M,Tufail A,Khattak A M,et al.Activity recognition on smartphones via sensor-fusion and kda-based SVMs[J].International Journal of Distributed Sensor Networks,2014,6(10):18-21.

[14] Martín H,Bernardos A M,Iglesias J,et al.Activity logging using lightweight classification techniques in mobile devices[J].Personal and Ubiquitous Computing,2013,17(4):675-695.

[15] Miluzzo E,Papandrea M,Lane N D,et al.Pocket,bag,hand,etc.-automatically detecting phone context through discovery[J].Proc. Phone Sense,2010,8(5):21-25.

[16] Wiese J,Saponas T S,Brush A J.Phoneprioception:enabling mobile phones to infer where they are kept[C]//Proceedings of the SIGCHI conference on human factors in computing systems.[s.l.]:ACM,2013:2157-2166.

[17] Milette G,Stroud A.Android傳感器高級編程[M].裴佳迪,譯.北京：清華大學出版社，2013.

Research on Activity Recognition Technique of Smart Phone Position and Orientation Independent

WU Yuan,SHI Dian-xi,YANG Ruo-song,LI Han,CHEN Xi,ZHOU Rong

(National Key Laboratory for Parallel and Distributed Processing,College of Computer, National University of Defense Technology,Changsha 410073,China)

The research aims at how to eliminate the influence of smart phone’s position and orientation variation at human activity recognition.Firstly,a method is put forward which recognizes the phone position and human activity followed based on the specific position.The feature is to select the best activity recognition model based on specific position for elimination of influence of mobile position on activity recognition.Secondly,in order to decrease the impact of mobile phones on the phone toward the sensor data,the absolute value and a simple moving average method is applied to process the sensor data.Finally,to prove the theory,a sensor data collecting tool has been developed in the Android platform,which is used to collect sensor data in different position and orientation of mobile phone,and two experiments have been conducted based on the theory and data collected by the tool.The results show that the presented method can effectively eliminate the influence of the smart phone’s position and orientation on the activity recognition,and the activity recognition accuracy can reach 87.89%.

position of phone;orientation of phone；activity recognition；smart phone

2015-07-15

2015-10-21

時間：2016-03-22

國家自然科學基金資助項目(61202117)

吳 淵(1990-)，男，碩士研究生，研究方向為分布式計算技術(shù)；史殿習，碩士生導師，研究方向為分布式計算技術(shù)。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1521.074.html

TP31

A

1673-629X(2016)04-0001-05

10.3969/j.issn.1673-629X.2016.04.001