薛 佳，栗 覓，馬理旺，呂勝富，鐘 寧,4

(1.北京工業(yè)大學 電子信息與控制工程學院 國際WIC研究院，北京 100124； 2.腦信息智慧服務(wù)北京市國際合作基地，北京 100124； 3.磁共振成像腦信息學北京市重點實驗室，北京 100053； 4.日本前橋工科大學 生命信息系，日本 前橋 371-0816)

基于視覺行為的網(wǎng)上用戶識別

薛 佳1,2,3，栗 覓1,2,3，馬理旺1,2,3，呂勝富1,2,3，鐘 寧1,2,3,4

(1.北京工業(yè)大學 電子信息與控制工程學院 國際WIC研究院，北京 100124； 2.腦信息智慧服務(wù)北京市國際合作基地，北京 100124； 3.磁共振成像腦信息學北京市重點實驗室，北京 100053； 4.日本前橋工科大學 生命信息系，日本 前橋 371-0816)

為了解決網(wǎng)上用戶的識別問題，研究了基于眼動的隱馬爾可夫模型(HMM)的用戶識別方法。使用眼動裝置獲取用戶網(wǎng)上行為的眼動數(shù)據(jù)，并提取顯著性眼動特征。使用隱馬爾可夫模型分別對不同類型用戶建立用戶模型，并將用戶數(shù)據(jù)輸入模型。利用最大概率原則輸出用戶類型，并使用優(yōu)化算法-遺傳算法(GA)對HMM進行參數(shù)優(yōu)化，提高了識別準確率。實驗結(jié)果表明，通過該方法識別網(wǎng)上用戶類型是可行的。該研究進一步表明，根據(jù)用戶的網(wǎng)上行為特點，優(yōu)化網(wǎng)頁結(jié)構(gòu)，能夠滿足不同用戶的個性化需求，還可以對用戶的個體行為進行獨立挖掘，提高人機交互水平。

眼動數(shù)據(jù)；用戶識別；隱馬爾可夫模型；遺傳算法；人機交互

0 引 言

目前計算機只能通過鍵盤、鼠標、觸摸屏等被動接收用戶的信息請求，而用戶卻能夠快速從計算機界面和音頻等得到大量的信息，由此就會造成一種人機交互帶寬不平衡的問題。為了解決該問題，需要計算機能夠模擬人類通過感官主動接收外界信息，識別和了解周圍環(huán)境的感知能力，這就需要模式識別技術(shù)的支持。模式識別技術(shù)應(yīng)用廣泛，例如面孔識別[1-2]、指紋識別[3]、語音識別[4-5]、動作識別[6-7]等。

網(wǎng)頁是重要的人機交互界面，視覺是用戶獲取網(wǎng)頁信息的主要方式，眼動追蹤技術(shù)能夠直接從人的內(nèi)部認知加工角度更加直觀、細致地記錄和觀察用戶的視覺行為，這就為網(wǎng)頁研究提供了一種新方法。近年來，利用眼動追蹤技術(shù)在網(wǎng)頁上的研究也有很多[8-10]，但是這些研究主要集中在同一用戶對網(wǎng)頁上不同類型信息的研究，而以網(wǎng)頁為界面對同一類型信息不同用戶識別的相關(guān)研究則很少。文中提出以網(wǎng)頁為界面基于眼動追蹤技術(shù)的不同網(wǎng)上用戶的識別方法。

網(wǎng)絡(luò)的普及使網(wǎng)絡(luò)用戶大幅增加，網(wǎng)絡(luò)用戶不是對個人身份的界定，而是由其行為方式組成的客觀人群。目前對網(wǎng)絡(luò)用戶沒有統(tǒng)一的劃分原則，用戶分類都是從一個維度或者兩個維度對用戶進行劃分。比如從使用頻率和在線時間這兩個維度，把用戶分為初級用戶、普通用戶和高級用戶，所使用的數(shù)據(jù)是網(wǎng)站評論的語言學特征數(shù)據(jù)、用戶Web日志信息，數(shù)據(jù)量大，數(shù)據(jù)采集復雜。文中使用眼動技術(shù)記錄用戶網(wǎng)絡(luò)行為，眼動數(shù)據(jù)獲取方便，易于處理和分析，獲得的眼動特征是多個維度的，有助于提高識別率。文中對網(wǎng)絡(luò)用戶的劃分原則是年齡，不同年齡層網(wǎng)上用戶瀏覽網(wǎng)頁時的眼動模式存在差異[11]。將網(wǎng)上用戶類型分為老年用戶和青年用戶，使用眼動追蹤技術(shù)分別獲得兩種用戶類型瀏覽行為的眼動信息，分析老年用戶和青年用戶的視覺差異，提取具有顯著性的眼動特征，使用隱馬爾可夫模型分別對不同用戶建立用戶模型。

隱馬爾可夫模型是一種統(tǒng)計模型，易于建立，不需要大規(guī)模樣本集，適應(yīng)性好，目前已經(jīng)成為語音識別、手寫體識別、文本信息抽取、步態(tài)識別等領(lǐng)域內(nèi)的重要工具。韓玉昌通過研究被試觀察不同形狀和顏色圖形時研究運動的順序性問題，證明眼睛運動具有時間序列和空間序列的特性[12]，而隱馬爾可夫模型能夠描述這種時間性和空間性，隱馬爾可夫模型已經(jīng)應(yīng)用到眼動研究中[13-15]，這些研究表明隱馬爾可夫模型可以描述眼動觀察序列。

對網(wǎng)絡(luò)用戶進行分類是對用戶網(wǎng)絡(luò)行為信息進行數(shù)據(jù)挖掘，有助于研究網(wǎng)絡(luò)用戶行為的特征。網(wǎng)絡(luò)用戶具有不同的興趣愛好和行為習慣，因此其相應(yīng)的網(wǎng)絡(luò)行為也必然帶有各自的特征，對這些特征進行處理和分析，可以實現(xiàn)用戶模式分析、用戶識別的需要，并且能夠有效幫助網(wǎng)站設(shè)計者改進網(wǎng)站結(jié)構(gòu)，降低復雜度，優(yōu)化網(wǎng)頁設(shè)計，提高人機交互水平。

1 方 法

1.1 被 試

能夠熟練使用電腦上網(wǎng)的老年人26名(51～79歲，年齡56.0±8.0)，青年人26名(19～28歲，年齡23.0±1.8)，右利手，矯正視力正常，沒有參加過類似實驗。實驗所用網(wǎng)頁的信息及信息布局均按照真實網(wǎng)頁進行設(shè)計，共10個實驗網(wǎng)頁。實驗使用設(shè)備是Tobii T120眼動儀，眼動信號的采樣頻率為120 Hz，在17 in分辨率為1 024×768的彩色液晶顯示器上全屏幕顯示。被試與顯示屏幕的距離約為60 cm。實驗過程中只需被試在規(guī)定時間內(nèi)按照自己的興趣、習慣去瀏覽網(wǎng)頁。眼動儀將全程記錄被試瀏覽網(wǎng)頁時眼動的注視位置及其他眼動信息。

1.2 數(shù)據(jù)收集與分析

對青年人和老年人的眼動數(shù)據(jù)進行收集和分析，并進行不同類型用戶的眼動模式分析。總共獲得老年人瀏覽軌跡260條，青年人瀏覽軌跡260條。瀏覽軌跡中包含眼動信息，包括注視時間、注視次數(shù)、瞳孔直徑、眼跳距離。由于每種特征的分布不同，會導致數(shù)據(jù)范圍較大的特征主導分類結(jié)果，影響分類結(jié)果，因此采用數(shù)據(jù)歸一化，將各個數(shù)據(jù)特征轉(zhuǎn)化到一個共同的值域范圍。文中主要使用Z-score歸一化函數(shù)，可以避免較小的樣本被大數(shù)值的樣本淹沒，消除個體差異，有效提高分類正確率。

2 眼動數(shù)據(jù)的分類

2.1 特征提取和選擇

由實驗采集的眼動數(shù)據(jù)可以獲得多種眼動特征，常用的有注視時間、注視次數(shù)、瞳孔直徑、眼跳距離等。注視時間能夠反映用戶從注視目標上提取可用信息花費的時間，同時也能反映用戶對注視目標的感興趣程度以及提取有效信息的難易程度。注視次數(shù)能夠反映人眼睛注視某一區(qū)域的頻次，在一定程度上體現(xiàn)用戶的注視目標和感興趣區(qū)域，通過分析用戶對某一區(qū)域的注視次數(shù)，可以得到用戶的注視目標和感興趣區(qū)域，有助于進行用戶意圖方面的研究。注視頻率為用戶單位時間內(nèi)注視的次數(shù)。瞳孔直徑的變化能夠客觀地反映人的心理活動，與人們進行信息加工時的心理努力程度有著密切關(guān)系。不同用戶的網(wǎng)上視覺行為獲取與加工信息時付出的心理努力不同，瞳孔直徑大小也就不同。眼跳距離能夠反映不同用戶獲得信息量的多少。不同用戶網(wǎng)上視覺行為的眼跳距離能夠反映用戶獲得信息量的多少。

對以上眼動特征進行統(tǒng)計分析，比較其差異性。圖1給出了統(tǒng)計分析結(jié)果。

注視頻率瞳孔直徑眼跳距離青年人356．03±170．190．75±0．740．03±0．92老年人376．92±98．79-0．87±0．52-0．08±0．8方差F(1，518)=2．93F(1，518)=827．80F(1，518)=2．384分析P=0．088P<0．000P=0．123

表1 不同用戶眼動特征的統(tǒng)計分析結(jié)果

2.2 分類結(jié)果

隱馬爾可夫模型對眼動特征進行分類，識別老年用戶和青年用戶?；诟鱾€特征的分類結(jié)果比較如圖2所示。

圖2 基于不同分類方法的用戶分類正確率

比較兩種分類方法，HMM比SVM的分類效果較好，組合特征的分類相比單個特征的分類更具優(yōu)勢。對特征進行組合分類，由圖2(b)可以看出，HMM組合特征的分類正確率高于單個特征的分類正確率，且比SVM的分類效果好,達到96.88%。

2.3 參數(shù)優(yōu)化后隱馬爾可夫模型的特征分類

隱馬爾可夫模型易受初始參數(shù)的影響,因此使用優(yōu)化算法-遺傳算法(GA)對HMM的初始參數(shù)進行優(yōu)化，使初始參數(shù)能夠達到全局最優(yōu)。由于隱馬爾可夫模型的訓練算法Baum-Welch的初始參數(shù)是隨機得到的，當初始參數(shù)隨機選擇較好時，輸出概率值就能達到最大，最終得到的模型參數(shù)也比較接近全局最優(yōu)，但是參數(shù)隨機性太強，不能確定最優(yōu)參數(shù)。隨機選擇五組參數(shù)，然后使用前向后向算法計算它們的輸出概率值P(O|λ)，結(jié)果見表1。

表1 隨機訓練HMM參數(shù)

由表1可以看出，前三組隨機參數(shù)與后兩組參數(shù)獲得的平均P(O|λ)相差較大，這就說明隨機參數(shù)存在很大的隨機性，不利于模型的訓練。遺傳算法是一種模擬自然進化過程搜索最優(yōu)解的方法，Kwong等將遺傳算法成功應(yīng)用到基于HMM的說話人識別系統(tǒng)中，得到了優(yōu)于傳統(tǒng)Baum-Welch算法的訓練模型參數(shù)[16]，因此使用遺傳算法對隱馬爾可夫模型參數(shù)進行優(yōu)化，優(yōu)化結(jié)果如表2所示。

表2 訓練HMM的GA參數(shù)

從表2可以看出，隨著種群的增大，種群中最好個體的P(O|λ)也在增大，說明了當M值較大時，遺傳算法搜索范圍增大，求得最優(yōu)個體的機會也隨之增加。尤其當種群M增加到200，交叉率pc=0.8，變異率pm=0.1時，P(O|λ)達到1.893 6，種群平均P(O|λ)達到1.249 946，說明了GA的大范圍尋優(yōu)特性。

基于HMM和GA-HMM的分類結(jié)果比較如表3所示。

表3 基于HMM和GA-HMM的分類結(jié)果比較 %

由表3可以看出，使用遺傳算法優(yōu)化的HMM對青年人和老年人的識別率都有所提高，對青年人的識別率由92.65%提高到98.75%，對老年人的識別率由94.65%提高到97.5%。遺傳算法對HMM有很好的優(yōu)化效果，提高了識別率。

3 結(jié)束語

文中研究結(jié)果表明，老年用戶和青年用戶在瀏覽網(wǎng)頁時具有不同的視覺模式，老年用戶瀏覽網(wǎng)頁時需要付出更多努力，瞳孔直徑明顯比青年用戶大?；谝曈X模式的差異，計算機能夠通過眼動信號識別用戶類型，提供更加智能化的人機交互應(yīng)用。采用眼動技術(shù)以網(wǎng)頁為界面對網(wǎng)上用戶進行研究，所采集的眼動數(shù)據(jù)能夠用于用戶分類，且分類效果較理想，另外也可以進一步挖掘用戶網(wǎng)頁興趣、瀏覽習慣等信息。文中對網(wǎng)上用戶的識別現(xiàn)在處在初級階段，只是對用戶大致年齡層的一個劃分，下一步工作需要縮小年齡層區(qū)間，對用戶類型達到更加精確的識別。

[1] 劉小軍,王東峰,張麗飛,等.一種基于奇異值分解和隱馬爾可夫模型的人臉識別方法[J].計算機學報,2003,26(3):340-344.

[2] 李耀東,崔 霞,肖柏華,等.自動人臉識別技術(shù)綜述[J].計算機科學,2002,29(12):1-11.

[3] 田 捷,陳新建,張陽陽,等.指紋識別技術(shù)的新進展[J].自然科學進展,2006,16(4):400-408.

[4] 田 斌,田紅心,劉丹亭,等.用于語音識別拒識的隱馬爾可夫模型狀態(tài)及狀態(tài)駐留相關(guān)的聲學置信量度[J].計算機研究與發(fā)展,1999,36(11):1398-1401.

[5] 戰(zhàn)普明,王作英,陸大金.語音識別隱馬爾可夫模型的改進[J].電子學報,1994,22(1):9-15.

[6] 胡 瓊,秦 磊,黃慶明.基于視覺的人體動作識別綜述[J].計算機學報,2013,36(12):2512-2524.

[7] 李瑞峰,王亮亮,王 珂.人體動作行為識別研究綜述[J].模式識別與人工智能，2014,27(1):35-48.

[8]SilvaJDV.Improvementofamethodologyforwebsitekeyobjectidentificationthroughtheapplicationofeye-trackingtechnologies[C]//Proceedingsofthe2012IEEE/WIC/ACMinternationaljointconferencesonwebintelligenceandintelligentagenttechnology-volume03.[s.l.]:IEEEComputerSociety,2012:59-63.

[9]Al-WabilA,ZaphirisP,WilsonS.Examiningvisualattentionofdyslexicsonwebnavigationstructureswitheyetracking[C]//Internationalconferenceoninnovationsininformationtechnology.[s.l.]:IEEE,2008:717-721.

[10]LiQ,SunL,DuanJ.Webpageviewingbehaviorofusers:aneye-trackingstudy[C]//Internationalconferenceonservicessystemsandservicesmanagement.[s.l.]:IEEE,2005:244-249.

[11]SuXY,LiM,LuSF,etal.Aneyetrackingstudyonvisualsearchandbrowsestrategiesofelderlypeopleonwebpages[J].AppliedMechanicsandMaterials,2014,556:6154-6158.

[12] 韓玉昌.觀察不同形狀和顏色時眼運動的順序性[J].心理科學,1997(1):40-43.

[13]ElhelwM,NicolaouM,ChungA,etal.Agaze-basedstudyforinvestigatingtheperceptionofvisualrealisminsimulatedscenes[J].ACMTransactionsonAppliedPerception,2008,5(1):421-434.

[14]SalvucciDD,AndersonJR.Automatedeye-movementprotocolanalysis[J].Human-ComputerInteraction,2001,16(1):39-86.

[15]AzizF,ArofH,MokhtarN,etal.HMMbasedautomatedwheelchairnavigationusingEOGtracesinEEG[J].JournalofNeuralEngineering,2014,11(5):056018.

[17]KwongS,ChauCW,ManKF,etal.OptimisationofHMMtopologyanditsmodelparametersbygeneticalgorithms[J].PatternRecognition,2001,34(2):509-522.

Online User Identification Based on Visual Behaviors

XUE Jia1,2,3，LI Mi1,2,3，MA Li-wang1,2,3，LYU Sheng-fu1,2,3，ZHONG Ning1,2,3,4

(1.International WIC Institute,College of Electronic Information and Control Engineering, Beijing University of Technology,Beijing 100124,China; 2.Beijing International Collaboration Base on Brain Informatics and Wisdom Services,Beijing 100124,China; 3.Beijing Key Laboratory of MRI and Brain Informatics,Beijing 100053,China; 4.Department of Life Science and Informatics,Maebashi Institute of Technology, Maebashi 371-0816,Japan)

To solve the problem of Web user identification,the method using Hidden Markov Model (HMM) is explored dealing with the data of eye movement.The eye movement data of users’ online behavior are acquired and the significant features of eye movement are extracted.Then The models of different types of users are established using HMM,inputting the data of users into model.The maximum probability principle is applied to output the user type and the Genetic Algorithm (GA) is used to optimize the parameter of HMM,improving the accuracy of identification.The experimental results indicate that the Web users can be recognized effectively by the HMM method.In addition,according to the accurate user identification based on characteristics of user’s online behavior,the structure of web pages can be optimized to meet the need of different users.It also can make the user’s individual behavior independently and improve the level of human-computer interaction.

eye movement data;user identification;HMM;GA;human-computer interaction

2015-10-14

2016-03-16

時間：2017-01-10

國家“973”重點基礎(chǔ)研究發(fā)展計劃項目(2014CB744600)；國家自然科學基金青年科學基金項目(61602017)；北京市自然科學基金青年項目(4164080)；北京市優(yōu)秀人才培養(yǎng)資助(2014000020124G039)；科技部國際科技合作與交流專項(2013DFA32180)

薛 佳(1990-)，女，碩士研究生，研究方向為人工智能、模式識別等；栗 覓，講師，博士后，通訊作者，研究方向為人工智能、模式識別、腦與認知等；呂勝富，教授，研究生導師，研究方向為智能科學、認知神經(jīng)科學、模式識別等；鐘 寧，教授，研究生導師，研究方向為網(wǎng)絡(luò)智能與腦信息學等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.032.html

TP391.9

A

1673-629X(2017)02-0011-04

10.3969/j.issn.1673-629X.2017.02.003