陳雅茜，歐長坤

(西南民族大學計算機科學與技術學院，四川 成都 610041)

基于觸摸行為和運動傳感器特征的智能手機握持姿勢識別與用戶認證系統(tǒng)

陳雅茜，歐長坤

(西南民族大學計算機科學與技術學院，四川 成都 610041)

主要研究智能手機上的用戶握持手姿與用戶認證系統(tǒng)的關鍵技術，將觸摸補償特征(TO特征)和運動傳感器特征相結合，通過對采集到的真實用戶數據集進行分析，從多種特征中找出了最佳特征組合.實驗結果證明，TO特征和傳感器特征的引入能顯著改善手姿識別和用戶認證的精度，為自適應用戶界面的設計及手機安全認證機制等方向的研究提供了有益啟示.

觸摸行為；運動傳感器；手姿識別；用戶認證

智能手機屏幕尺寸的不斷增大為單手持握方式下的用戶單手交互帶來了困難.自適應用戶界面(User Interface，UI)應根據用戶使用習慣及設備尺寸等信息對UI進行自動調整[1-3]從而方便用戶使用.除了手姿外，用戶的點擊位置、設備狀態(tài)等用戶行為特征也有助于系統(tǒng)判斷當前用戶是否合法，從而增強移動設備的安全性.

人類在觸摸屏上的觸摸行為已經被研究了多年. N.Henze等人[4]首次提出了對點擊對象的觸摸誤差這種觸摸補償特征(Touch Offset Feature，TO特征)用于改善點擊目標的精度.TO特征以點擊對象為研究目標，與屏幕尺寸無關.可設對象內部任意一點為參考原點，一般設置為點擊對象的矩形覆蓋的左上角點.D.Weir等人[5]將TO特征用于用戶和手姿識別，D Buschek等[6]將這種特性擴展到整個屏幕上使用向量場描述了整個屏幕上單獨的觸摸行為(傳統(tǒng)鍵盤上的擊鍵特征已經被廣泛研究[7])，提供了一套通用框架[8].并與文獻[9]共同指出TO特征可以作為觸摸屏上的用戶識別認證的生物特征模板[10].但其參數只能通過人工調整才能將認證分類誤差降低到20% ～30%，作為安全認證其結果并不理想.

另一方面，一些工作單獨將運動傳感器作為改善交互的手段.M.Goel等[11]研究了用戶在一次觸摸行為下陀螺儀自身的變化特點，指出可使用陀螺儀狀態(tài)信息對用戶單雙手的握持姿勢進行分類.但該研究僅對單次結果進行人工標注，沒有嚴格的評估.文獻[12]中Hinckley K.等只考察了對觸摸時的設備陀螺儀的動作信息，文獻[13-14]則換用了加速度傳感器.

本文將TO特征和運動傳感器特征相結合，通過對實際用戶數據的分析找到最佳特征組合，以期有效提高智能手機的手姿識別和用戶認證的精度.

1 實驗設計

本文首先通過一個智能手機上的PIN碼輸入界面收集多位用戶的多種行為特征(包括TO特征)以及多種運動傳感器特征.

實驗步驟:本文的測試環(huán)境為標準的室內環(huán)境，每位參與者采用坐姿、按手機屏幕上的提示完成6組PIN碼輸入任務(總時長約30分鐘，軟件對CoreMotion框架[15]所提供的數據進行采集，見圖1)，完成全部操作后填寫一份智能手機使用問卷.

用戶任務:用戶使用4種不同的手姿(左手拇指、食指；右手拇指、食指)、在iPhone6 Plus和iPhone5(屏幕尺寸分別為5.5和4.0寸)上分別輸入PIN碼.每位參與者須輸入6組長度為6的預設PIN碼，每組重復次10次.為消除用戶跨設備、跨手姿間的學習效應，使用拉丁方陣隨機調整設備順序和手姿的順序.

圖1 PIN碼輸入界面Fig.1 PIN Code Entry Interface

2 實驗數據收集與評估

2.1 實驗數據集內容

本文記錄了用戶每次輸入的瞬時觸摸數據集，包括觸摸位置(XY特征)、TO特征以及每個運動傳感器特征的三個分量(詳見表1):設備角度(ATTI特征)、加速計(ACCE特征)和陀螺儀(GYRO特征).此外，對用戶每次點擊輸入時候的觸摸而言，還對每次點擊詳細記錄了指尖點擊屏幕的開始、無意識的輕微滑動和指尖離開屏幕這三種狀態(tài)的對應值.

2.2 評估模型

本文使用四種不同模型進行手姿分類和用戶認證.

2.2.1 手姿分類模型

手姿識別模型:對用戶u使用設備d進行典型的交叉驗證，即使用一部分數據訓練模型m，其他部分數據用于測試模型.

跨設備模型:對用戶u使用設備iPhone6Plus上的數據訓練模型m6，再使用設備iPhone5上的數據測試模型m6；使用設備iPhone5上的數據訓練模型m5，再使用設備iPhone6Plus上的數據測試模型m5.

跨用戶模型:使用用戶u的數據訓練出模型m，再使用其他用戶的數據依次攻擊(測試)模型m.

設置跨設備、跨用戶模型是為了考察手姿識別模型的特點，以及不同用戶、不同設備之間是否存在差異.

2.2.2 用戶認證模型

用戶認證模型不能只簡單實現用戶分類，而需將用戶和其他用戶區(qū)分.因此需對全體數據集進行重新標注:

用戶認證模型:對于每個用戶u的所有手姿數據全部標注為1，除用戶u之外的用戶數據全部標注為0，再實施交叉驗證.

2.2.3 模型條件

本文全面分析了如表1所示的17類特征組合，作為對比研究，對XY特征和TO特征兩組特征進行了對比，并且設置第0組作為參考基準.

表1 特征組合索引(fcID)表Table 1 Feature Combination Index(fcID)Table

對分類而言，本文對每個用戶的數據集按表2所示的條件進行分割，共研究了索引值1至4等四種不同的分類情況.另外考慮到用戶認證問題要對數據進行重新標注，針對用戶認證模型另使用了索引值為5 至8的認證情況，用于分析在已知手姿情況下用戶認證成功率.

表2 數據分割索引(dsID)表Table 2 Data Split Index(fcID)Table

2.2.4 參數和數據預處理

分類算法采用線性支持向量機[16]，使用Scikit-Learn[17]進行實驗，主要參數為:kernel＝｀l(xiāng)inear'，max_ iteration＝500000，test_size＝0.3，random_state＝42.訓練前對所有數據進行歸一化預處理，傳感器數據以及TO特征均使用最大值進行歸一，XY特征按設備屏幕的邏輯像素值進行歸一.

2.3 參與者數據規(guī)模

本文實驗數據來自16位參與者(10位男性，6位女性)，年齡范圍為19-34歲.全部參與者均有智能手機使用經驗，其中6位沒有使用過PIN碼.每位參與者執(zhí)行6個不同的PIN碼，每個PIN碼重復10次、每個PIN碼長度為6、更換4個不同的手姿、在2臺設備上進行操作.即數據集中每個參與者分別產生2880次操作，每位用戶平均產生上萬條記錄.

2.4 分類結果

每位參與者在每個評估模型下都有272個不同的分類誤差結果.限于篇幅所限，本文僅分析XY特征與TO特征相關分類錯誤率的均值，如圖2所示:引入運動傳感器特征的結果整體優(yōu)于參考基準第0組. 當dsID為3時，在當前手姿未知時(無論是使用拇指還是食指)，引入運動傳感器特征后，依然能夠對左右手的握持狀態(tài)進行有效判斷，而只使用XY或TO特征的分類效果極差.

2.5 結果分析

2.5.1 最佳特征組合

下取置信水平α＝0.05，實施t檢驗分析:

(a)TO特征對XY特征的優(yōu)化

手姿識別模型中，85.2%的基于TO特征的分類誤差結果和69.1%的基于XY特征的分類錯誤差結果低于40.0%.其中94.1%的使用TO特征的分類誤差結果要優(yōu)于使用XY特征的結果.容易驗證使用運動傳感器時，TO特征能顯著分類誤差.

于是考察在同時使用運動傳感器時，換用TO特征時相比使用XY特征的分類正確率提升度，作零假設H0:TO特征對XY特征準確度的提升程度沒有顯著超過預設閾值T(在0至1中按0.005的間隔窮舉而得到)，得到在手姿識別模型中，當T＝12%，p＝0.007＜α，當T＝7.5%，p＝0.021＜α均拒絕零假設；在用戶認證模型中，當 T＝23.0%，p＝0.006 ＜α，當T＝27.0%，p＝0.030＜α均拒絕零假設.綜上即有結論:在使用運動傳感器特征時，將XY特征替換為TO特征能使得手姿識別模型和用戶認證模型的分類誤差分別顯著降低7.5%～12.0%及23.0% ～27.0%.

圖2 四種模型分類誤差結果注:圖中縱軸表示不同特征組合(fcID)，橫軸表示使用不同的數據分割索引(dsID)，顏色代表對應分類結果的錯誤率，紅色越深表明分類錯誤率越大，藍色越深則相反.Fig.2 All Classification Error Rate ResultsNote:The vertical axis expresses the fcID and the horizontal axis express the index of using different dsID.The red and blue color shows the results of classification，Red color more deeper indicates that the classification error rate more larger and vice versa.

(b)運動傳感器特征對基準的優(yōu)化

作零假設H0:是否使用運動傳感器對分類誤差結果沒有顯著影響.在手姿識別模型和用戶認證模型中，16種使用運動傳感器組合的分類誤差結果均值的顯著性水平均為p＝0.000＜α，均拒絕零假設.即得到結論:使用運動傳感器特征顯著降低了分類誤差.

(c)最佳特征組合的選取

在手姿識別模型中，手姿分類最佳特征組合有:

上述五種特征組合的分類誤差的均值為5.52%，考慮零假設H0:最佳特征組合的分類誤差與其他特征組合的分類誤差沒有明顯差異.非最佳特征組合(不含基準)的均值為23.20%，p＝0.000＜α，拒絕零假設，即得到結論:最佳特征組合的分類結果顯著好于其他特征組合.

在用戶認證模型中，設置閾值為19.5%，使在所有特征組合中只有一組特征組合滿足四種不同數據分割索引的認證.從而確定最佳特征組合為:

其認證結果顯著優(yōu)于其他特征組合(p＝0.000 ＜α).

2.5.2 模型的獨立性

在跨設備模型和跨用戶模型中的分類誤差均顯著大于36%(p＝0.007＜α，p＝0.002＜α).即手姿識別模型在不同設備、不同用戶之間差異性(36%)顯著，表明其具有用戶特定(user-specific)、設備特定(device-specific)的特點.

2.5.3 特殊情況

1)表3顯示已知手勢下的用戶認證模型結果，其認證誤差會近似收斂到一個常數，即已知手勢下引入運動傳感器特征能顯著降低分類誤差，但效果不如其他特征明顯(＜0.5%)；

2)用戶認證模型中全部參與者的錯誤率方差為0.0351，顯著大于手姿分類(0.0026)，即用戶認證模型的錯誤率結果的穩(wěn)定性低于手姿模型.

表3 已知輸入手勢時用戶認證模型的誤差結果Table 3 Authentication Model error rate results when posture is given.

圖3 參與者5和參與者10的ROC曲線對比注:其中dsID為1，藍色曲線的fcID為16，紅色曲線的fcID為0Fig.3 ROC curve of participant 5 and 10Note:all confiscations'dsID are 1，blue curves'fcID are 16，red curves'fcID are 0.

3)對于參與者5和10的單例結果，圖3比顯示了用戶操作特性曲線(ROC)來衡量認證模型在這兩個參與者中表現的分類性能，圖中紅色曲線為文獻[4-6，8，10]的結果，藍色曲線為本文結果，分類性能提升明顯.iPhone5結果更優(yōu)的原因在于參與者5和10使用的是大屏手機，對小屏幕設備沒有單手持握困難，即設備單手握持難易度會影響用戶認證模型的結果.設備相同時，參與者5比10結果更優(yōu)的原因在于其更能熟練使用PIN碼，PIN碼使用經驗會影響用戶認證模型的結果.

3 結論

1)引入運動傳感器特征能夠顯著改善手姿識別和用戶認證的精度，即便使用了不同特定手姿依然能對左右手的握持狀態(tài)進行有效的判斷，不使用時則不能.

2)使用TO特征結合運動傳感器特征能顯著降低手姿識別和用戶認證的分類誤差.對于手姿識別問題，能顯著降低7.5%至12.0%的分類誤差；對于用戶認證問題，則能顯著降低23.0%至27.0%的分類誤差.

3)在眾多作為TO特征的擴展特征的運動傳感器特征中，手姿識別的最佳擴展特征為設備角度；用戶認證的最佳擴展特征為陀螺儀z軸特征.

4)當已知輸入手姿時，用戶認證將不再與運動傳感器特征強相關，其降低分類誤差的效果不明顯.

5)用戶認證還效果與用戶的PIN碼使用經驗以及設備的單手握持難易度相關.

4 結束語

本文將觸摸補償特征(TO特征)和運動傳感器特征相結合，通過分析實驗數據從多種特征中找出了最佳特征組合.實驗結果證明該特征組合能顯著改善手姿識別和用戶認證的精度，從而能為自適應用戶界面的設計及手機安全認證機制等方向的研究提供有益啟示.未來的改進工作主要如下:

1)在本文的離線分析中每個用戶在單一場景中只參與一次實驗.但實際應用中用戶使用PIN碼并不分場景和時段，因此有必要對用戶進行長期追蹤.

2)實驗結果已顯示用戶對 PIN碼的使用經驗以及設備持握難易度等因素會影響用戶認證模型的結果.以后可以考慮引入相關權重來進一步改善結果.

3)本文只使用了用戶點擊屏幕時各傳感器的瞬時數據.圖4為分別使用左、右手輸入PIN碼過程中陀螺儀的變化曲線，易觀察到左右手輸入存在差異.可將輸入時段內的傳感器數據作為一種新的認證用戶特征.

圖4 用戶分別使用左右手進行PIN碼輸入過程中陀螺儀的變化曲線Fig.4 Gyroscope curve cooperation when using different hand to input PIN Code.

致謝:本文作者感謝慕尼黑大學的導師Andreas Butz、Heinrich Hussmann、博士生助教 Daniel Buschek以及全部參與者.

(文中所涉及的軟件、數據集、實驗代碼等資源可以 在 https：//github.com/changkun/AugmentedTouch中下載.)

[1]董士海.人機交互的進展及面臨的挑戰(zhàn)[J].計算機輔助設計與圖形學學報，2004，16(1):1-13.

[2]李曉.自適應人機交互界面研究[D].成都:西南師范大學，2004.

[3]樊銀亭，滕東興，楊海燕，等.基于經驗感知的自適應用戶界面模型[J].計算機學報，2011，34(11):2211-2223.

[4]HENZE N，RUKZIO E，BOLL S.100，000，000 taps:analysis and improvement of touch performance in the large.[J].Mobile HCI，2011: 133-142.

[5]WEIR D，BUSCHEK D，ROGERS S.Sparse selection of training data for touch correction systems[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:404-407.

[6]BUSCHEK D，ROGERS S，MURRAY-SMITH R.User-Specific Touch Models in a Cross-Device Context[C]//New York:Proceedings of the 15th international conference on Human-computer interaction with mobile devices and services，2013:382-391.

[7]李晨.基于擊鍵特征的身份認證與識別研究[D].南京:南京理工大學，2014.

[8]BUSCHEK D，DE LUCA A，ALT F.Improving Accuracy，Applicability and Usability of Keystroke Biometrics on Mobile Touchscreen Devices [C].New York:CHI'15 Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems，2015:1393-1402.

[9]PHILIPP MOCK，JOERG EDELMANN，ANDREAS SCHILLING，AND WOLFGANG ROSENSTEIN.User identification using raw sensor data from typing on interactive displays[C]//New York:Intelligent User Interfaces，2014:67-42.

[10]BUSCHEK D，ALT F.TouchML:A Machine Learning Toolkit for Model ling Spatial Touch Targeting Be-haviour[C]//IUI’15:Proceedings of the 20th International Conference on Intelligent User Interfaces，2015.

[11]GOEL M，WOBBROCK J O，PATEL S N.GripSense:Using built-in sensors to detect hand posture and pressure on commodity mobile phones[C]//Proceedings of the 25th annual ACM symposium on User interface software and technology，2012:545-554.

[12]HINCKLEY K，SONG H.Sensor Synaesthesia:Touch in Motion，and Motion in Touch[J].Human Factors.2011:801-810.

[13]苗敏敏，周治平，王杰鋒.基于加速度傳感器的手機用戶認證方法[J].計算機工程與科學，2015，37(3):508-513.

[14]MCGRATH W，LI Y.Detecting tapping motion on the side of mobile devices by probabilistically combining hand postures[C]//New York:the 27th annual ACM symposium，2014:215-219.

[15]APPLE INC.iOS Developer Library:Core Motion Framework Reference，2015.

[16]CHRISTOPHER M BISHOP.Pattern recognition and machine learning[M].Springer，2006.

[17]PEDREGOSA F，VAROQUAUX G，GRAMFORT A，et al.Scikitlearn:Machine learning in Python[J].The Journal of Machine Learning Research，2011，12:2825-2830.

(責任編輯：張陽，付強，李建忠，羅敏；英文編輯：周序林)

Combining touch biometrics and motion sensors for hand posture recognition and user authentication

CHEN Ya-xi，OU Chang-kun

(School of Computer Science and Technology，Southwest University for Nationalities，Chengdu 610041，P.R.C.)

This paper explored the key technology of posture recognition and user authentication for smart phones.The touch offset features(TO features)are combined with motion sensor features.Through an in-depth analysis of collected user data，the paper found the most effective feature combination.The experiment results also confirmed that the introduction of TO and motion sensor features remarkably improved the correctness of hand posture classification and user authentication.The outcomes of this paper may bring implications for research on self-adaptive user interface and security authentication.

touch behavior；motion sensor；posture recognition；user authentication

TP309；TP311.52

A

2095-4271(2016)04-0429-07

10.11920/xnmdzk.2016.04.011

2016-05-18

陳雅茜(1981-)，女，副教授，博士，研究方向:人機交互、信息可視化，E-mail:yaxichen＠swun.cn；歐長坤(1993-)，男，碩士研究生，研究方向:人機交互，E-mail:hi＠changkun.us

西南民族大學中央高?；究蒲袠I(yè)務費專項資金(青年教師)(13NZYQN19)