王歡歡，呂紫藤，李現(xiàn)昆

基于表情識(shí)別技術(shù)的用戶研究方法

王歡歡1,2，呂紫藤1,2，李現(xiàn)昆1,2

（1.天津科技大學(xué)，天津 300222；2.天津市輕工與食品工程機(jī)械裝備集成設(shè)計(jì)與在線監(jiān)控重點(diǎn)實(shí)驗(yàn)室，天津 300222）

為了以更加客觀的方式評(píng)估用戶體驗(yàn)，拓展用戶研究的途徑，引入表情識(shí)別技術(shù)對(duì)已有用戶研究方法進(jìn)行優(yōu)化與探索。以閱讀APP為研究載體，以表情識(shí)別與卷積神經(jīng)網(wǎng)絡(luò)算法為技術(shù)手段，通過(guò)設(shè)計(jì)人機(jī)交互實(shí)驗(yàn)將其應(yīng)用于用戶研究過(guò)程中，建立用戶面部表情與用戶主觀滿意度的映射關(guān)系。針對(duì)閱讀APP“X”，開(kāi)展了基于表情識(shí)別技術(shù)和傳統(tǒng)問(wèn)卷訪談的雙向設(shè)計(jì)研究，并采用對(duì)比驗(yàn)證的方法得出了基于表情識(shí)別技術(shù)的用戶滿意度客觀度量方法的有效性和可行性，進(jìn)而挖掘了基于表情識(shí)別方法的用戶研究?jī)?yōu)勢(shì)?；诒砬樽R(shí)別技術(shù)的用戶研究方法在產(chǎn)品交互設(shè)計(jì)中具有一定的通用性。通過(guò)識(shí)別分析用戶與產(chǎn)品進(jìn)行人機(jī)交互時(shí)的面部表情動(dòng)態(tài)變化，可以使用戶體驗(yàn)評(píng)估更加客觀并容易解讀，準(zhǔn)確定位產(chǎn)品交互體驗(yàn)問(wèn)題，為設(shè)計(jì)領(lǐng)域中的用戶研究和認(rèn)識(shí)提供了新思路，同時(shí)也為表情識(shí)別技術(shù)與產(chǎn)品設(shè)計(jì)的交叉融合提供了理論和實(shí)踐意義的參考。

用戶研究；表情識(shí)別；交互設(shè)計(jì)；KANO模型

隨著社會(huì)經(jīng)濟(jì)的迅速發(fā)展和人們生活水平的不斷提高，產(chǎn)品設(shè)計(jì)逐漸向用戶體驗(yàn)驅(qū)動(dòng)型轉(zhuǎn)變，這加速了設(shè)計(jì)本源的回歸，即基于對(duì)人類(lèi)行為、意識(shí)與動(dòng)作反應(yīng)的細(xì)致研究，致力于優(yōu)化一切為人所用的物與環(huán)境的設(shè)計(jì)，在使用操作界面上清除那些讓使用者感到困惑、困難的“障礙”，為使用者提供最大可能的方便。HCI（Human-computer Interaction）領(lǐng)域的研究重點(diǎn)也從之前的可用性測(cè)試轉(zhuǎn)移到體驗(yàn)式啟發(fā)，在理解和定義用戶體驗(yàn)方面設(shè)計(jì)了一系列研究活動(dòng)[1]。西班牙蒙德拉貢大學(xué)學(xué)者LASA G、JUSTEL D和RETEGI A提出了眼動(dòng)追蹤方法，通過(guò)統(tǒng)計(jì)積極和消極的情緒比例研究用戶體驗(yàn)[2]。位于中國(guó)臺(tái)灣的臺(tái)灣義守大學(xué)的CHOU J R提出了基于模糊測(cè)度方法的心理測(cè)量用戶體驗(yàn)?zāi)Ｐ蚚3]。韓國(guó)BANG G，KO I等學(xué)者建立了一種模擬人類(lèi)活動(dòng)的用戶體驗(yàn)環(huán)境模型，該模型是一個(gè)收集用戶體驗(yàn)信息的空間，由空間模型、用戶活動(dòng)模型和對(duì)象模型組成，通過(guò)用戶與對(duì)象交互獲得體驗(yàn)信息[4]。STICKEL C等學(xué)者利用人對(duì)不同感覺(jué)、運(yùn)動(dòng)或認(rèn)知活動(dòng)產(chǎn)生不同腦電的原理，通過(guò)分析人類(lèi)腦電信號(hào)讀取認(rèn)知思維[5]。盡管其研究結(jié)果發(fā)現(xiàn)，腦電監(jiān)測(cè)可能是認(rèn)知工作量和情緒狀態(tài)的常見(jiàn)指標(biāo)，但如何在用戶與產(chǎn)品互動(dòng)時(shí)識(shí)別情緒效價(jià)仍尚未解決。針對(duì)體驗(yàn)評(píng)估的用戶研究存在測(cè)量手段與心理認(rèn)知映射關(guān)聯(lián)不強(qiáng)、數(shù)據(jù)反饋不夠直觀等問(wèn)題，本研究借鑒國(guó)內(nèi)外生理和心理學(xué)研究中主觀評(píng)價(jià)與生理測(cè)量相結(jié)合的手段，通過(guò)記錄被試者在完成特定任務(wù)過(guò)程中的面部表情變化[6-7]，對(duì)測(cè)試任務(wù)的交互滿意度進(jìn)行量化評(píng)價(jià)[8]。幫助設(shè)計(jì)師更加客觀、理性地了解用戶的真實(shí)感受，分析用戶行為，從而開(kāi)展更加符合用戶心理預(yù)期的設(shè)計(jì)[9]。

1 基于表情識(shí)別技術(shù)的用戶研究

用戶研究是理解用戶、獲取用戶相關(guān)數(shù)據(jù)和信息的重要手段，是一系列方法的統(tǒng)稱(chēng)。凡是能夠協(xié)助設(shè)計(jì)師理解用戶并通過(guò)研究得到的結(jié)論，以及能夠指導(dǎo)設(shè)計(jì)師設(shè)計(jì)產(chǎn)品和優(yōu)化產(chǎn)品的方法或工具都可以算作用戶研究的范疇。將表情識(shí)別技術(shù)應(yīng)用到用戶研究的目的是使設(shè)計(jì)的產(chǎn)品更加符合用戶心理模型，實(shí)現(xiàn)人機(jī)之間更為自然的交互，大大提升交互體驗(yàn)和用戶體驗(yàn)[10]。美國(guó)軟件世界的先驅(qū)COOPER A從不同角色出發(fā)提出了實(shí)現(xiàn)模型、心理模型與呈現(xiàn)模型3個(gè)概念[11]。其中的實(shí)現(xiàn)模型對(duì)應(yīng)的是工程師角色，他們必須按照既定的方式開(kāi)發(fā)軟件，因而軟件如何運(yùn)作的模型被稱(chēng)為“實(shí)現(xiàn)模型”；用戶認(rèn)為需要用什么方式完成工作，以及應(yīng)用程序如何幫助用戶完成工作的方式被稱(chēng)為用戶與產(chǎn)品交互的“心理模型”，這種模型是基于用戶自己對(duì)產(chǎn)品的理解。而設(shè)計(jì)師將軟件運(yùn)行機(jī)制呈現(xiàn)給用戶的方式被稱(chēng)為“呈現(xiàn)模型”。不同于其他2個(gè)模型，設(shè)計(jì)師對(duì)呈現(xiàn)模型有更大的控制權(quán)。因此，設(shè)計(jì)師的一個(gè)重要目標(biāo)就是努力讓呈現(xiàn)模型盡可能匹配用戶心理模型，呈現(xiàn)模型越趨近于用戶的心理模型，用戶就會(huì)感覺(jué)產(chǎn)品越容易被使用和理解，學(xué)習(xí)成本也就越低，隨之用戶體驗(yàn)自然也會(huì)提升。

2 表情識(shí)別的關(guān)鍵技術(shù)及實(shí)現(xiàn)

表情識(shí)別作為一個(gè)跨學(xué)科的交叉領(lǐng)域，涉及機(jī)器視覺(jué)、心理學(xué)、神經(jīng)學(xué)及計(jì)算機(jī)科學(xué)等多門(mén)學(xué)科[12]。隨著深度學(xué)習(xí)的發(fā)展，表情識(shí)別逐漸由基于傳統(tǒng)機(jī)器學(xué)習(xí)的算法轉(zhuǎn)變?yōu)榛谏疃葘W(xué)習(xí)的算法[13]。將深度學(xué)習(xí)引入表情識(shí)別，可以把特征提取和表情識(shí)別2個(gè)步驟合并共同學(xué)習(xí)，通過(guò)自動(dòng)學(xué)習(xí)選擇與人臉表情相關(guān)的特征來(lái)完成表情識(shí)別任務(wù)，亦可以使計(jì)算機(jī)深度理解人臉表情圖像的表達(dá)意義[14]。本次研究主要將深度學(xué)習(xí)應(yīng)用到特征提取與選擇中，然后再連接表情分類(lèi)器，以此實(shí)現(xiàn)對(duì)表情的識(shí)別及分類(lèi)。

本研究采用的是基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的表情識(shí)別。卷積神經(jīng)網(wǎng)絡(luò)作為目前深度學(xué)習(xí)技術(shù)領(lǐng)域中具有代表性的神經(jīng)網(wǎng)絡(luò)之一，在圖像分析和處理領(lǐng)域取得了眾多突破性的進(jìn)展，尤其是在表情識(shí)別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)的圖像處理算法具有易實(shí)現(xiàn)且識(shí)別度高的優(yōu)勢(shì)[15]。其具有自動(dòng)學(xué)習(xí)特征的能力，可以直接輸入原始圖像進(jìn)行一系列工作，避免了人工參與的圖像前期預(yù)處理過(guò)程，因此將其作為本研究中表情識(shí)別的神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的框架主要包含卷積層、激活函數(shù)、池化層、全連接層4個(gè)方面[16]。

1）卷積層。卷積層主要負(fù)責(zé)提取特征，由于卷積核參數(shù)是隨機(jī)初始化的，所以很有可能提取出不同的特征；由低層的卷積層提取簡(jiǎn)單特征，然后逐層堆疊卷積層，將簡(jiǎn)單特征逐漸抽象為更高層次的語(yǔ)義概念。

2）激活函數(shù)。激活函數(shù)可以避免把大的數(shù)值在高層次處理中進(jìn)行累加。它可以帶來(lái)非線性的結(jié)果，進(jìn)而更好地?cái)M合各種函數(shù)。同時(shí)，激活函數(shù)對(duì)壓縮來(lái)自神經(jīng)元的無(wú)界線性加權(quán)和也很重要。

3）池化層。池化是一個(gè)降采樣、減少輸入維度的過(guò)程，通過(guò)減少參數(shù)的數(shù)量降低了計(jì)算的復(fù)雜度，并為內(nèi)部提供一個(gè)基本的不變性轉(zhuǎn)換。

4）全連接層。全連接指先前的層里面的所有的神經(jīng)元都與后一個(gè)層里面所有的神經(jīng)元相連。全連接層是一種傳統(tǒng)的多層感知機(jī)，在輸出層，全連接后是輸出的結(jié)果。

3 實(shí)例研究

3.1 確定研究對(duì)象

為集中反映同一類(lèi)目標(biāo)用戶對(duì)某個(gè)產(chǎn)品的評(píng)價(jià)與訴求，保證被試者的背景相似，通過(guò)控制變量減少實(shí)驗(yàn)誤差。招募的被試者均為年齡在20～30歲的青年人，并且有使用閱讀APP的習(xí)慣，共計(jì)40人，其中男性20人，女性20人。

在選擇實(shí)驗(yàn)所需的閱讀APP時(shí)，通過(guò)分析調(diào)查市面上各類(lèi)APP特點(diǎn)，最終選擇“X”閱讀APP作為研究載體。主要原因有3個(gè)：首先是功能單一，所有功能都是以閱讀這一功能為核心的，避免被試者因其他功能的操作而影響實(shí)驗(yàn)的有效性；其次是其用戶量較小，實(shí)驗(yàn)過(guò)程中被試者均未接觸過(guò)此APP，在一定程度上保證了被試者的受試經(jīng)歷相同；最后是其信息架構(gòu)簡(jiǎn)單易懂，被試者上手操作較為迅速，從而減少了實(shí)驗(yàn)過(guò)程中被試者的學(xué)習(xí)成本。實(shí)驗(yàn)過(guò)程中需要被試者按照要求完成以下幾個(gè)交互任務(wù)：打開(kāi)APP—選擇文章—閱讀文章—收藏—評(píng)論—退出文章—搜索文章—閱讀文章—退出APP。

3.2 實(shí)驗(yàn)平臺(tái)設(shè)備

本研究應(yīng)用的表情識(shí)別程序是基于深度學(xué)習(xí)理論和計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)自編完成的，實(shí)驗(yàn)選擇CK and CK+作為表情識(shí)別程序訓(xùn)練、測(cè)試數(shù)據(jù)集，采用Python3.7作為編譯程序語(yǔ)言，Tensor Flow作為程序框架，最終可達(dá)到93%的準(zhǔn)確率，符合實(shí)驗(yàn)要求。該程序可以將實(shí)驗(yàn)對(duì)象的表情分為憤怒、恐懼、高興、平靜、悲傷、驚訝和厭惡7種表情標(biāo)簽。表情識(shí)別結(jié)果見(jiàn)圖1。

實(shí)驗(yàn)設(shè)備用的是1080p CMOS工業(yè)級(jí)相機(jī)，用于表情識(shí)別的圖像采集軟件是相機(jī)自帶的MV viewer，該軟件可以將采集的圖像按照?qǐng)D像序列進(jìn)行存儲(chǔ)。通過(guò)對(duì)軟件的調(diào)節(jié)可以控制采集過(guò)程中的光線補(bǔ)償、自動(dòng)白平衡等效果，從而提高后期表情識(shí)別效率，保證識(shí)別結(jié)果的準(zhǔn)確性。除此之外，通過(guò)設(shè)置圖像采集的幀速率（30幀/秒）及圖片格式，可以合理設(shè)置采集圖像文件的大小。

圖1 表情識(shí)別結(jié)果

實(shí)驗(yàn)過(guò)程中需要采集被試者在使用閱讀APP過(guò)程中的交互視頻。為保證被試對(duì)象和測(cè)試圖像同步采集，在不影響被試者操作過(guò)程的前提下，實(shí)驗(yàn)采用便攜錄屏設(shè)備自帶的錄屏軟件。

3.3 實(shí)驗(yàn)過(guò)程

為保證被試者心理狀態(tài)平穩(wěn)，實(shí)驗(yàn)前兩天聯(lián)系被試者預(yù)約實(shí)驗(yàn)。實(shí)驗(yàn)選擇在光照充足的時(shí)間段進(jìn)行，盡量減少外部環(huán)境對(duì)被試者心理的影響。為方便后期實(shí)驗(yàn)分析，提高實(shí)驗(yàn)精確度，在正式實(shí)驗(yàn)開(kāi)始前，利用已標(biāo)定圖片對(duì)每位被試者進(jìn)行測(cè)試，確定被試者的情緒處于穩(wěn)定狀態(tài)。正式實(shí)驗(yàn)主要分為實(shí)驗(yàn)準(zhǔn)備、圖像采集、用戶訪談和問(wèn)卷調(diào)查3個(gè)階段。正式實(shí)驗(yàn)流程見(jiàn)圖2，正式實(shí)驗(yàn)場(chǎng)景見(jiàn)圖3。

4 實(shí)驗(yàn)數(shù)據(jù)處理

表情識(shí)別作為情感理解的基礎(chǔ)是計(jì)算機(jī)理解人們情感的前提。本研究通過(guò)建立面部表情狀態(tài)與交互流程視頻的對(duì)應(yīng)關(guān)系，具體分析被試者在完成交互實(shí)驗(yàn)過(guò)程中的情感動(dòng)態(tài)變化，以期為用戶研究提供有效途徑與方法。

圖2 正式實(shí)驗(yàn)流程

圖3 正式實(shí)驗(yàn)場(chǎng)景

4.1 表情識(shí)別結(jié)果的處理

利用MV viewer采集圖像的時(shí)間間隔與便攜錄屏設(shè)備的幀率之間的關(guān)系，推導(dǎo)出交互視頻與被試者面部圖像之間的對(duì)應(yīng)關(guān)系：

其中，P為第張圖片，為采集的圖片總數(shù)量，t為第張圖片對(duì)應(yīng)的交互時(shí)間點(diǎn)，為交互總時(shí)間。表情變化趨勢(shì)見(jiàn)圖4，利用視頻處理軟件并結(jié)合式(1)可以將采集到的面部表情圖像與交互流程對(duì)應(yīng)起來(lái)。

通過(guò)表情識(shí)別的結(jié)果圖可以發(fā)現(xiàn)，不僅有識(shí)別出來(lái)的表情標(biāo)簽，還有其概率分布，利用概率分布數(shù)據(jù)可以繪制出被試者的情感變化曲線，更直觀地反映被試者在交互實(shí)驗(yàn)過(guò)程中的心理變化。

4.2 用戶訪談?dòng)涗浀奶幚?/h3>

實(shí)驗(yàn)之后通過(guò)問(wèn)卷和訪談的方式收集45名被試者的主觀感受，完成主觀評(píng)價(jià)表格，最終收回有效問(wèn)卷40份。對(duì)多種主觀評(píng)價(jià)方法進(jìn)行比較分析，選取等級(jí)評(píng)分法作為本實(shí)驗(yàn)的主觀評(píng)價(jià)方法，該方法不僅能達(dá)到本次主觀評(píng)價(jià)實(shí)驗(yàn)的實(shí)驗(yàn)?zāi)康模⑶覍?duì)評(píng)價(jià)者沒(méi)有專(zhuān)業(yè)要求，評(píng)價(jià)時(shí)間也在評(píng)價(jià)者可接受范圍內(nèi)[17]。將所有被試者的數(shù)據(jù)量化歸一，量化標(biāo)準(zhǔn)按很差、比較差、一般、挺好和很好5個(gè)等級(jí)，并分別賦值為1、2、3、4、5，量化后匯總主觀評(píng)價(jià)，見(jiàn)表1。

圖4 表情變化趨勢(shì)

表1 被試者主觀評(píng)價(jià)參數(shù)

注：量化標(biāo)準(zhǔn)（很差：1；比較差：2；一般：3；挺好：4；很好：5）

5 實(shí)驗(yàn)結(jié)果的分析與驗(yàn)證

5.1 實(shí)驗(yàn)結(jié)果分析

首先，對(duì)問(wèn)卷調(diào)查及用戶訪談結(jié)果進(jìn)行分析。為凸顯被試者的心理情感變化趨勢(shì)，將被試者問(wèn)卷調(diào)查的結(jié)果整合為曲線圖，圖中最高點(diǎn)為體驗(yàn)最好點(diǎn)，最低點(diǎn)則對(duì)應(yīng)體驗(yàn)最差點(diǎn)，見(jiàn)圖5。

從圖5中可以看出，被試者在“搜索文章”環(huán)節(jié)體驗(yàn)最差，“收藏文章”環(huán)節(jié)體驗(yàn)最好。為更好理解被試者心理變化原因，科學(xué)分析情感變化，將用戶訪談結(jié)果與數(shù)據(jù)曲線結(jié)合繪制用戶情感分析曲線，見(jiàn)圖6。

圖5 主觀評(píng)價(jià)總體變化曲線

圖6 情感曲線

通過(guò)兩種方法結(jié)合分析可以得出結(jié)論。首先，被試者對(duì)APP“搜索”功能評(píng)價(jià)較低，這是由于搜索的過(guò)程不符合被試者使用習(xí)慣，操作流程不順暢，從而導(dǎo)致被試者在使用過(guò)程中無(wú)法快速完成交互任務(wù)。其次，“收藏”功能與大部分的閱讀APP交互方式相似，被試者可以快速完成指定的交互任務(wù)。最后，對(duì)沒(méi)有表現(xiàn)出突出情緒變化的其他任務(wù)，通過(guò)訪談被試者認(rèn)為這些交互操作與常見(jiàn)閱讀APP并無(wú)明顯差異，不需要太多學(xué)習(xí)成本，基本符合被試者的心理預(yù)期。

分析表情識(shí)別結(jié)果。在處理了有效的被試者實(shí)驗(yàn)數(shù)據(jù)后發(fā)現(xiàn)，雖然被試者在完成整個(gè)交互流程中表情會(huì)有變化，但是并沒(méi)有出現(xiàn)較為極端的表情（厭惡和驚訝），因此在處理、分析表情識(shí)別結(jié)果時(shí)，不再考慮這兩種表情。為實(shí)現(xiàn)對(duì)所有有效被試者的數(shù)據(jù)的整合分析并將結(jié)果進(jìn)行可視化，在分析階段將5個(gè)情緒標(biāo)簽參照問(wèn)卷調(diào)查的數(shù)據(jù)結(jié)果進(jìn)行賦值，通過(guò)此方法可將獨(dú)立的被試者數(shù)據(jù)整合為一個(gè)整體變化曲線。

將“高興”標(biāo)簽對(duì)應(yīng)問(wèn)卷調(diào)查合計(jì)中最高數(shù)值160，“憤怒”標(biāo)簽對(duì)應(yīng)最低數(shù)值108，其他按等差數(shù)列依次賦值，即高興、中立、悲傷、恐懼、憤怒5個(gè)表情標(biāo)簽對(duì)應(yīng)的合計(jì)賦值分別為160、147、134、121、108。此方法可以將被試者的每一個(gè)交互流程進(jìn)行求和、求均值，將均值按照數(shù)值大小繪制為表情變化曲線，并將問(wèn)卷調(diào)查及用戶訪談得到的用戶情緒變化繪為曲線，最后將兩個(gè)結(jié)果比較，見(jiàn)圖7。

通過(guò)兩種方法對(duì)比分析可得，除“閱讀文章”這一交互任務(wù)外，表情識(shí)別與問(wèn)卷調(diào)查及用戶訪談得到的用戶情緒變化趨勢(shì)大致相同，因此可得出表情識(shí)別方法可以實(shí)現(xiàn)典型用戶研究方法的效果。然而在“閱讀文章”這一交互任務(wù)的用戶體驗(yàn)中，表情識(shí)別方法與問(wèn)卷調(diào)查及用戶訪談方法得到的結(jié)果產(chǎn)生了較大差異。為探究其原因，實(shí)驗(yàn)后針對(duì)“閱讀文章”這一交互任務(wù)，隨機(jī)抽取了6位被試者再次完成正式實(shí)驗(yàn)中的交互操作，并進(jìn)行深度訪談。

圖7 表情總體變化曲線

根據(jù)訪談結(jié)果的分析得出，被試者在“閱讀文章”過(guò)程的后期會(huì)潛意識(shí)尋找當(dāng)前閱讀進(jìn)度，但實(shí)驗(yàn)應(yīng)用的APP中并沒(méi)有此功能，致使被試者產(chǎn)生了很多“恐懼”的表情，“恐懼”不僅包含了擔(dān)心、恐懼心理，也包含了疑惑、煩躁不耐的心理。然而由于這些情緒出現(xiàn)的時(shí)間極短，所以絕大多數(shù)被試者在后期的問(wèn)卷調(diào)查及用戶訪談中忽略了這一細(xì)節(jié)。為了驗(yàn)證分析結(jié)果的正誤，通過(guò)KANO模型進(jìn)行了進(jìn)一步的調(diào)查分析。

5.2 KANO模型驗(yàn)證

通過(guò)二次深度訪談了解到“進(jìn)度條指示功能”的設(shè)計(jì)是導(dǎo)致差異的主要原因，為驗(yàn)證這一結(jié)論，利用KANO模型研究“進(jìn)度條”在設(shè)計(jì)中的具體功能屬性，通過(guò)確定功能屬性判斷其是否為兩種方法產(chǎn)生差異的主要原因，同時(shí)驗(yàn)證表情識(shí)別方法的科學(xué)有效性[18-19]。KANO模型的問(wèn)卷見(jiàn)表2，其次根據(jù)被試者的回答情況統(tǒng)計(jì)出答案占比，見(jiàn)表3。根據(jù)KANO模型的圖表可知，調(diào)查統(tǒng)計(jì)可疑結(jié)果為0，即表示調(diào)查結(jié)果均有效。

之后根據(jù)KANO模型問(wèn)卷得到的結(jié)果計(jì)算Better系數(shù)B與Worse系數(shù)W：

(2)

(3)

其中：—魅力屬性；—期望屬性；—必備屬性；—無(wú)差異屬性；—反向?qū)傩?；—可疑結(jié)果。

表2 KANO模型的問(wèn)卷

表3 KANO模型問(wèn)卷的結(jié)果

經(jīng)計(jì)算得到值為0.65，值為–0.25，即該閱讀APP的Better系數(shù)大于0.5，Worse系數(shù)小于0.5，表示半數(shù)以上的受訪者喜歡閱讀APP具有進(jìn)度條指示功能，可以將其歸為魅力因素。據(jù)KANO模型分析方法的定義，可以將該閱讀APP中進(jìn)度條功能對(duì)用戶的影響闡述為如果不提供進(jìn)度條指示功能，用戶的滿意度不會(huì)明顯降低，但是如果提供此功能，用戶的滿意度會(huì)出現(xiàn)較大提升。

6 結(jié)語(yǔ)

本文采用對(duì)比驗(yàn)證的方法研究了表情識(shí)別技術(shù)在用戶研究中的可行性與科學(xué)性，發(fā)現(xiàn)了用戶主觀滿意度與表情波動(dòng)的關(guān)系。以客觀生理指標(biāo)衡量用戶滿意度，去除了用戶主觀態(tài)度的偏差，并且能方便得到用戶滿意度動(dòng)態(tài)變化圖，有效滿足了一些不便任務(wù)拆分或交互操作類(lèi)產(chǎn)品的用戶研究需求。此外，將表情識(shí)別技術(shù)應(yīng)用于交互設(shè)計(jì)中的用戶研究可以挖掘出傳統(tǒng)研究方法易于忽略的潛在用戶需求，為之后的用戶畫(huà)像、用戶行為分析、設(shè)計(jì)產(chǎn)品框架等工作奠定基礎(chǔ)。因此，可以將本文研究的方法作為傳統(tǒng)用戶研究方法的一種補(bǔ)充或輔助工具并用，以得到更為科學(xué)的用戶研究結(jié)果。

[1] LALLEMAND C, GRONIER G, KOENIG V. User Experience: A Concept without Consensus? Exploring Practitioners’ Perspectives through an International Survey[J]. Computers in Human Behavior, 2015, 43(43): 35-48.

[2] LASA G, JUSTEL D, RETEGI A. Eyeface: a New Multimethod Tool to Evaluate the Perception of Conceptual User Experiences[J]. Computers in Human Behavior, 2015, 52(8): 359-363.

[3] CHOU J R. A Psychometric User Experience Model Based on Fuzzy Measure Approaches[J]. Advanced Engineering Informatics, 2018, 38(10): 794-810.

[4] BANG G, KO I. A User Empirical Context Model for a Smart Home Simulator[J]. Lecture Notes in Electrical Engineering, 2016. 48(9): 555-560.

[5] STICKEL C, FINK J, HOLZINGER A. Enhancing Universal Access: EEG Based Learnability Assessment[C]. Verlag: International Conference on Universal Access in Human-computer Interaction, 2007.

[6] LI Jing, MI Yang, LI Gong-fa, et al. CNN-Based Facial Expression Recognition from Annotated RGB-D Images for Human-Robot Interaction[J]. International Journal of Humanoid Robotics, 2019, 16(4): 504-505.

[7] TAKALKAR, MADHUMITA, XU, et al. A Survey: Facial Micro-expression Recognition[J]. Multimedia Tools & Applications, 2018, 48(7): 158-162.

[8] CHAPMAN C N, LOVE E, ALFORD J L. Quantitative Early-Phase User Research Methods: Hard Data for Initial Product Design[C]. Waikoloa: 41st Hawaii International International Conference on Systems Science (HICSS-41 2008), 2008.

[9] 徐峰, 張軍平. 人臉微表情識(shí)別綜述[J]. 自動(dòng)化學(xué)報(bào), 2017, 43(3): 333-348.

XU Feng, ZHANG Jun-ping. Facial Microexpression Recognition: a Survey[J]. Zidonghua Xuebao/acta Automatica Sinica, 2017, 43(3): 333-348.

[10] 曾棟, 劉鵬, 于信濤, 等. 用戶心理模型的構(gòu)建方法及滅火器設(shè)計(jì)應(yīng)用[J]. 包裝工程, 2019, 40(16): 140- 144.

ZENG Dong, LIU Peng, YU Xin-tao, et al. A Building Method of User Mental Model and Its Application in Fire Extinguisher Design[J]. Packaging Engineering, 2019, 40(16): 140-144.

[11] COOPER A. About Face 3: The Essentials of Interaction Design[M]. London: John Wiley & Sons, Inc, 2007.

[12] PANTIC M. Facial Expression Recognition[M]. New York: Encyclopedia of Biometrics, 2014.

[13] 王劍云, 李小霞. 一種基于深度學(xué)習(xí)的表情識(shí)別方法[J]. 計(jì)算機(jī)與現(xiàn)代化, 2015, 46(1): 84-87.

WANG Jian-yun, LI Xiao-Xia. A Facial Expression Recognition Method Based on Deep Learning[J]. Computer and Modernization, 2015, 46(1): 84-87.

[14] ZHU Yong-pei, FAN Hong-wei, YUAN Ke-hong. Facial Expression Recognition Research Based on Deep Learning[J]. Design Studies, 2019, 48(5): 159-164.

[15] CHEN Xiao-guang, YANG Xuan, WANG Mao-sen, et al. Convolution Neural Network for Automatic Facial Expression Recognition[C]. Sydney: International Conference on Applied System Innovation. IEEE, 2017.

[16] LIU Kuang, ZHANG Ming-min, PAN Zhi-geng. Facial Expression Recognition with CNN Ensemble[C]. Tokyo: International Conference on Cyberworlds. IEEE Computer Society, 2016.

[17] 趙穎, 譚浩, 朱敏, 等. 智能音箱主動(dòng)交互行為的用戶滿意度研究[J]. 包裝工程, 2021, 42(14): 224-229.

ZHAO Ying, TAN Hao, ZHU Min, et al. User Satisfaction of Proactive Interaction Behavior of Intelligent Speakers[J]. Packaging Engineering, 2021, 42(14): 224-229.

[18] CHEN Chun-chih, CHUANG Ming-chuen. Integrating the Kano Model into a Robust Design Approach to Enhance Customer Satisfaction with Product Design[J]. International Journal of Production Economics, 2008, 114(2): 667-681.

[19] 陸明琦, 周波, 譚敏. 基于Kano模型的城市標(biāo)識(shí)系統(tǒng)使用需求研究[J]. 包裝工程, 2021, 42(12): 312-319.

LU Ming-qi, ZHOU Bo, TAN Min. The Use Demand of Urban Signage System Based on the Kano Model[J]. Packaging Engineering, 2021, 42(12): 312-319.

User Research Method Based on Expression Recognition Technology

WANG Huan-huan1,2, LYU Zi-teng1,2, LI Xian-kun1,2

(1.Tianjin University of Science & Technology, Tianjin 300222, China; 2.Tianjin Key Laboratory of Integrated Design and On-line Monitoring for Light Industry & Food Machinery and Equipment, Tianjin 300222, China)

In order to evaluate the user experience more objectively and expand the way of user research, the expression recognition technology is introduced to optimize and explore the existing user research methods. Taking reading app as research carrier, expression recognition and convolution neural network algorithm as technical means, through the design of human-computer interaction experiment, it is applied in the process of user research, and the mapping relationship between user's facial expression and user's subjective satisfaction is established.Aiming at reading app "X", this paper carries out a two-way design research based on facial expression recognition technology and traditional questionnaire interview, and obtains the effectiveness and feasibility of objective measurement method of user satisfaction based on expression recognition technology by using comparative verification method, and then explores the advantages of expression recognition method in user research. The user research method based on expression recognition technology has certain universality in product interaction design. By identifying and analyzing the dynamic changes of facial expressions when users interact with the product, the user experience evaluation can be more objective and easier to interpret, and the product interaction experience problems can be accurately located. In addition, it provides new ideas for user research and understanding in the field of design, and provides theoretical and practical reference for the cross integration of expression recognition technology and product design.

user research; facial expression recognition; interaction design; KANO model

TB472

A

1001-3563(2022)02-0116-06

10.19554/j.cnki.1001-3563.2022.02.015

2021-11-12

國(guó)家自然科學(xué)基金（51505333）

王歡歡（1982—），女，天津人，博士，天津科技大學(xué)副教授，主要研究方向?yàn)楣I(yè)設(shè)計(jì)、視覺(jué)交互與設(shè)計(jì)、體驗(yàn)設(shè)計(jì)和創(chuàng)新設(shè)計(jì)方法。