劉革平　高楠

摘要：手勢(shì)交互作為一種理想的虛擬現(xiàn)實(shí)交互技術(shù)，其在虛擬實(shí)驗(yàn)中的應(yīng)用能夠很好地滿足學(xué)習(xí)者多樣化的交互需求并提升交互體驗(yàn)。然而，當(dāng)前關(guān)于手勢(shì)交互虛擬實(shí)驗(yàn)的研究大多聚焦于提高手勢(shì)識(shí)別的準(zhǔn)確率、設(shè)計(jì)開(kāi)發(fā)不同領(lǐng)域的虛擬實(shí)驗(yàn)應(yīng)用等方面，而對(duì)學(xué)習(xí)者在虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)并未進(jìn)行深入地研究。為了探索手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響機(jī)制，利用設(shè)計(jì)開(kāi)發(fā)的基于Leap Motion的“計(jì)算機(jī)組成原理”虛擬實(shí)驗(yàn)，采用混合研究范式對(duì)學(xué)習(xí)者的沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度分別進(jìn)行了測(cè)量與分析。結(jié)果表明：在手勢(shì)交互虛擬實(shí)驗(yàn)中，學(xué)習(xí)動(dòng)機(jī)作為中間因素會(huì)影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn);身臨其境的感覺(jué)和自然豐富的交互體驗(yàn)?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的物理沉浸，進(jìn)而提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，改善學(xué)習(xí)者的情感體驗(yàn)并增強(qiáng)其使用意愿，由此來(lái)促進(jìn)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的提升。從改進(jìn)實(shí)踐的層面來(lái)看，未來(lái)應(yīng)合理設(shè)計(jì)交互手勢(shì)，創(chuàng)設(shè)高度沉浸的實(shí)驗(yàn)環(huán)境，優(yōu)化虛擬實(shí)驗(yàn)任務(wù)設(shè)計(jì)，注重對(duì)學(xué)習(xí)反思的引導(dǎo)，以不斷提升學(xué)習(xí)者在心理沉浸和學(xué)習(xí)效果方面的表現(xiàn)。

關(guān)鍵詞：手勢(shì)交互技術(shù);虛擬實(shí)驗(yàn);學(xué)習(xí)體驗(yàn);影響機(jī)制;學(xué)習(xí)動(dòng)機(jī);沉浸感

中圖分類號(hào)：G434? ?文獻(xiàn)標(biāo)識(shí)碼：A? ? 文章編號(hào)：1009-5195（2021）02-0022-12? doi10.3969/j.issn.1009-5195.2021.02.003

作者簡(jiǎn)介：劉革平，博士，教授，博士生導(dǎo)師，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）;高楠，博士研究生，西南大學(xué)西南民族教育與心理研究中心（重慶 400715）。

一、研究背景

虛擬實(shí)驗(yàn)作為智慧學(xué)習(xí)環(huán)境的重要組成部分，在提高實(shí)驗(yàn)教學(xué)質(zhì)量和培養(yǎng)創(chuàng)新人才方面發(fā)揮著重要作用。虛擬實(shí)驗(yàn)所具有的諸多優(yōu)點(diǎn)如高仿真性、開(kāi)放共享性、可擴(kuò)展性、重復(fù)使用性以及高安全性等（楊雪等，2008），可以補(bǔ)充和延伸課堂教學(xué)（王濟(jì)軍等，2011），支持混合學(xué)習(xí)（王阿習(xí)等，2013）以及彌補(bǔ)遠(yuǎn)程教育中“實(shí)驗(yàn)”的缺失（趙同剛等，2015）。一直以來(lái)，虛擬實(shí)驗(yàn)在教育教學(xué)中的應(yīng)用都受到國(guó)家的高度重視。中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)的《加快推進(jìn)教育現(xiàn)代化實(shí)施方案（2018-2022年）》提出“加快推進(jìn)智慧教育創(chuàng)新發(fā)展，設(shè)立‘智慧教育示范區(qū)，開(kāi)展國(guó)家虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目等建設(shè)”?！督逃畔⒒?.0行動(dòng)計(jì)劃》中也明確提出“加強(qiáng)職業(yè)院校、高等學(xué)校虛擬仿真實(shí)訓(xùn)教學(xué)環(huán)境建設(shè)，服務(wù)信息化教學(xué)需要”。我國(guó)教育部于2019年11月發(fā)布的《教育部關(guān)于加強(qiáng)和改進(jìn)中小學(xué)實(shí)驗(yàn)教學(xué)的意見(jiàn)》提出“對(duì)于因受時(shí)空限制而在現(xiàn)實(shí)世界中無(wú)法觀察和控制的事物和現(xiàn)象……可用增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)等技術(shù)手段呈現(xiàn)”。由此可見(jiàn)，加快推進(jìn)虛擬實(shí)驗(yàn)在各級(jí)各類教育中的應(yīng)用是當(dāng)前教育教學(xué)改革的重要任務(wù)。

目前應(yīng)用最為廣泛的虛擬實(shí)驗(yàn)多為基于桌面式的“非沉浸式”虛擬實(shí)驗(yàn)，這類虛擬實(shí)驗(yàn)大多采用基于WIMP（Windows、Icon、Menu、PointClick）的交互范式。這種范式存在的主要問(wèn)題是交互過(guò)程中輸入的帶寬太窄，僅支持精確的鼠標(biāo)點(diǎn)選和離散的按鍵輸入，“二維性”難以操控三維虛擬對(duì)象和完成三維交互任務(wù)（張鳳軍等，2016）。因此，采用鼠標(biāo)鍵盤(pán)交互的虛擬實(shí)驗(yàn)中學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)不佳，無(wú)法發(fā)揮出虛擬現(xiàn)實(shí)系統(tǒng)的沉浸性、交互性和構(gòu)想性等優(yōu)勢(shì)。手勢(shì)交互作為一種重要的自然交互方式，它的出現(xiàn)在一定程度上打破了WIMP交互范式的限制，在形式上和空間上極大改善了交互體驗(yàn)（廖宏建等，2013），不僅能提升交互的沉浸感和效率，而且也能增加交互的真實(shí)感。然而，當(dāng)前關(guān)于手勢(shì)交互虛擬實(shí)驗(yàn)的諸多研究大多聚焦于提高手勢(shì)識(shí)別的準(zhǔn)確率（王賦攀等，2018;楊賢等，2019;Raees et al.，2019）、設(shè)計(jì)開(kāi)發(fā)不同領(lǐng)域的虛擬實(shí)驗(yàn)應(yīng)用（吳福理等，2016;Wu & Wang et al.，2019;蔣夢(mèng)菲等，2020），而對(duì)學(xué)習(xí)者在虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)僅籠統(tǒng)地描述為“增強(qiáng)用戶體驗(yàn)”（袁偉等，2018），“提高學(xué)習(xí)興趣”（楊魯義，2019），“激發(fā)學(xué)習(xí)動(dòng)機(jī)”（杜寶江等，2016）等，并未進(jìn)行深入的研究。鑒于此，本研究利用設(shè)計(jì)開(kāi)發(fā)的“計(jì)算機(jī)組成原理”手勢(shì)交互虛擬實(shí)驗(yàn)，從定性與定量相結(jié)合的角度探究基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，以期為優(yōu)化手勢(shì)交互虛擬實(shí)驗(yàn)設(shè)計(jì)、提升學(xué)習(xí)者學(xué)習(xí)體驗(yàn)提供參考和借鑒。

二、文獻(xiàn)綜述與研究問(wèn)題

1.手勢(shì)交互技術(shù)在虛擬實(shí)驗(yàn)中的發(fā)展

隨著基于計(jì)算機(jī)視覺(jué)（Molina et al.，2011）、超聲波（楊曉東等，2015）、肌電識(shí)別（Xu et al.，2019）等技術(shù)的發(fā)展，手勢(shì)交互技術(shù)正逐漸走向?qū)嶋H應(yīng)用。手勢(shì)交互是指用戶自然地利用手指、手腕和手臂動(dòng)作表達(dá)其交互意圖，主要包括握拳、揮手、點(diǎn)指、手掌轉(zhuǎn)動(dòng)等（Cabreira et al.，2015），其本質(zhì)是一種非接觸式的自然人機(jī)交互方式。相較于其他交互方式，手勢(shì)交互具有更廣闊的交互空間、更高的靈活度和更加人性化等特點(diǎn)（于漢超等，2017）。雖然手勢(shì)交互技術(shù)最早被應(yīng)用于游戲和移動(dòng)設(shè)備中，但其巨大的教育應(yīng)用潛力引起了教育工作者的關(guān)注。Johnson認(rèn)為，手勢(shì)交互技術(shù)將會(huì)對(duì)教育產(chǎn)生重大影響（Johnson et al.，2011）。近年來(lái)，有關(guān)手勢(shì)交互教育應(yīng)用的研究不斷增多且分布在不同領(lǐng)域，例如智能教學(xué)系統(tǒng)（劉勉等，2019）、教育游戲（Navarro-Newball et al.，2015）、虛擬實(shí)驗(yàn)（Wu & Wong? et al.，2019）等，其中以手勢(shì)交互虛擬實(shí)驗(yàn)的研究最為廣泛。Nainggolan設(shè)計(jì)開(kāi)發(fā)了虛擬人體骨骼實(shí)驗(yàn)系統(tǒng)，當(dāng)學(xué)習(xí)者使用右手點(diǎn)擊虛擬骨骼物體時(shí)，系統(tǒng)會(huì)顯示當(dāng)前骨骼的名稱。而且學(xué)習(xí)者可以利用左手的手勢(shì)控制攝像機(jī)的移動(dòng)和放大縮小，如握拳向上移動(dòng)表示放大（Nainggolan et al.，2016）。張曉蓉設(shè)計(jì)開(kāi)發(fā)了基于手勢(shì)交互的沉浸式虛擬化學(xué)實(shí)驗(yàn)系統(tǒng)，學(xué)習(xí)者需要佩戴上Oculus頭戴顯示器，使用Leap Motion作為手勢(shì)輸入設(shè)備。在實(shí)驗(yàn)過(guò)程中，學(xué)習(xí)者可以依據(jù)實(shí)際操作方式隨意抓取、拖放實(shí)驗(yàn)儀器，完成實(shí)驗(yàn)操作（張曉蓉等，2018）。

當(dāng)前手勢(shì)交互技術(shù)在虛擬實(shí)驗(yàn)中的應(yīng)用與發(fā)展十分迅速，其主要原因在于手勢(shì)交互技術(shù)具有其他交互方式不具有的獨(dú)特優(yōu)勢(shì)：（1）改善交互體驗(yàn)。手勢(shì)交互不需要借助鼠標(biāo)鍵盤(pán)、手柄等輸入設(shè)備，允許學(xué)習(xí)者以自然的方式與虛擬物體進(jìn)行交互，實(shí)現(xiàn)虛擬世界與真實(shí)世界之間的無(wú)縫連接（Lee? & Rhee et al.，2010）。（2）降低認(rèn)知負(fù)荷。手勢(shì)交互不需要學(xué)習(xí)者有意識(shí)地關(guān)注交互過(guò)程（Deller et al.，2006），其操作是基于學(xué)習(xí)者的日常生活經(jīng)驗(yàn)（Vuletic et al.，2019），相較于傳統(tǒng)交互方式更加直觀，從而大大降低了人機(jī)交互的復(fù)雜性。（3）促進(jìn)具身認(rèn)知。手勢(shì)交互為學(xué)習(xí)者的具身參與和交互提供了技術(shù)支撐（Sheu et al.，2014），它可以讓學(xué)習(xí)者通過(guò)身體或肢體的運(yùn)動(dòng)與虛擬世界中的物體進(jìn)行交互，實(shí)現(xiàn)從離身到具身（Johnson-Glenberg，2018）。已有研究發(fā)現(xiàn)，基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)有助于學(xué)習(xí)者獲取知識(shí)、掌握動(dòng)作技能等。Wolski發(fā)現(xiàn)，與教師演示、視頻教學(xué)相比，學(xué)習(xí)者利用手勢(shì)交互虛擬實(shí)驗(yàn)學(xué)習(xí)效果最好，尤其是學(xué)習(xí)遷移能力和問(wèn)題解決能力（Wolski et al.，2017）。同樣，在虛擬學(xué)習(xí)環(huán)境中，手勢(shì)交互也能夠提高學(xué)習(xí)者的學(xué)習(xí)效果和運(yùn)動(dòng)技能（Hsiao et al.，2017）。之所以會(huì)產(chǎn)生這樣的效果，可能是因?yàn)槭謩?shì)或身體運(yùn)動(dòng)會(huì)激活負(fù)責(zé)認(rèn)知過(guò)程的大腦區(qū)域（Macedonia et al.，2010），促進(jìn)其對(duì)科學(xué)概念的深度理解（黃紅濤等，2018）。

2.手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)研究

隨著研究的深入，研究者們逐漸開(kāi)始關(guān)注學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)（Learning Experience）。當(dāng)前大部分研究是從人機(jī)交互的角度探討手勢(shì)交互相較于其他交互方式對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。例如，De Paolis等人的研究發(fā)現(xiàn)，當(dāng)學(xué)習(xí)者在虛擬環(huán)境中使用HTC Vive控制器和Myo腕帶兩種不同交互方式學(xué)習(xí)人體解剖結(jié)構(gòu)時(shí)，其沉浸感存在顯著性差異，學(xué)習(xí)者使用基于Myo腕帶手勢(shì)交互方式時(shí)的沉浸感更強(qiáng)（De Paolis et al.，2019）。Manghisi等人的研究發(fā)現(xiàn)，與傳統(tǒng)的鼠標(biāo)鍵盤(pán)交互方式相比，手勢(shì)交互能夠顯著增強(qiáng)學(xué)習(xí)者的參與度（Manghisi et al.，2018）。雖然學(xué)界對(duì)學(xué)習(xí)體驗(yàn)的定義尚無(wú)定論，但是從體驗(yàn)的內(nèi)容來(lái)看，學(xué)習(xí)體驗(yàn)是指學(xué)習(xí)者對(duì)學(xué)習(xí)環(huán)境、學(xué)習(xí)活動(dòng)和學(xué)習(xí)支持服務(wù)等學(xué)習(xí)過(guò)程中涉及的諸多要素的感知、反應(yīng)和行為表現(xiàn)（劉斌等，2017）。顯然，僅從人機(jī)交互角度無(wú)法全面說(shuō)明手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。因此，為了更全面了解手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，本研究著重探究學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的實(shí)際經(jīng)歷和感受，尤其是沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三個(gè)方面。

沉浸感是指用戶與虛擬環(huán)境交互時(shí)產(chǎn)生的身臨其境的感覺(jué)。Sherman等人將沉浸感分為物理/感官沉浸（Physical/Sensory Immersion）和心理沉浸（Mental Immersion）兩類（Sherman et al.，2003）。在虛擬環(huán)境中，用戶利用視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等感官收集信息，經(jīng)由本體的感知覺(jué)系統(tǒng)加工實(shí)現(xiàn)自由漫游和操控虛擬對(duì)象，從而達(dá)到物理沉浸。心理沉浸是指用戶在虛擬環(huán)境中“深度參與的狀態(tài)”。這兩種類型的沉浸感對(duì)提升用戶體驗(yàn)有著重要的影響。在虛擬環(huán)境中，自由漫游、第一人稱視角、真實(shí)性以及交互性等都有助于學(xué)習(xí)者獲得沉浸感（Regenbrecht et al.，2002;Mikropoulos，2006），尤其是交互性（Schubert et al.，2001）。相較于傳統(tǒng)的二維交互技術(shù)（如鼠標(biāo)），具有更高自由度的交互技術(shù)在操控虛擬對(duì)象上更符合用戶的行為習(xí)慣（Ware et al.，1988），沉浸式虛擬環(huán)境中交互真實(shí)性的增強(qiáng)也能夠顯著提高用戶的沉浸感（McMahan et al.，2012）。還有研究發(fā)現(xiàn)，在虛擬實(shí)驗(yàn)環(huán)境中提供近似真實(shí)的交互行為，學(xué)習(xí)者更可能在學(xué)習(xí)任務(wù)上投入更多的時(shí)間和注意力，從而帶來(lái)更深刻的學(xué)習(xí)體驗(yàn)（Salzman et al.，1999）。因此，當(dāng)研究學(xué)習(xí)者在基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)時(shí)，有必要對(duì)沉浸感進(jìn)行測(cè)量。

探究學(xué)習(xí)者在虛擬環(huán)境中的學(xué)習(xí)動(dòng)機(jī)是學(xué)習(xí)體驗(yàn)研究中的另一個(gè)重要問(wèn)題。根據(jù)社會(huì)認(rèn)知?jiǎng)訖C(jī)理論，個(gè)體的動(dòng)機(jī)通常是情境化的（Linnenbrink et al.，2002）。虛擬現(xiàn)實(shí)技術(shù)不僅能夠最大程度地還原真實(shí)情境，而且可以構(gòu)建現(xiàn)實(shí)中不易甚至無(wú)法實(shí)現(xiàn)的情境（Huang et al.，2010）。因此，利用虛擬現(xiàn)實(shí)技術(shù)模擬實(shí)驗(yàn)?zāi)軌驗(yàn)閷W(xué)習(xí)者提供逼真的實(shí)驗(yàn)情境，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和學(xué)習(xí)動(dòng)機(jī)。最近有關(guān)虛擬實(shí)驗(yàn)的研究也證明了這一點(diǎn)。例如，De Vires 等人的研究發(fā)現(xiàn)，虛擬實(shí)驗(yàn)?zāi)軌驇椭鷮W(xué)習(xí)者將理論與實(shí)踐結(jié)合起來(lái)，提高學(xué)習(xí)的積極性和學(xué)習(xí)動(dòng)機(jī)（De Vires et al.，2019）。Huang等人認(rèn)為利用虛擬現(xiàn)實(shí)技術(shù)創(chuàng)設(shè)的逼真、互動(dòng)的學(xué)習(xí)環(huán)境，能夠全面提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，尤其是提高學(xué)習(xí)者的內(nèi)在動(dòng)機(jī)（Huang et al.，2019）。還有研究提及，學(xué)習(xí)者在利用虛擬現(xiàn)實(shí)技術(shù)進(jìn)行空間訓(xùn)練時(shí)能夠顯著增強(qiáng)他們的學(xué)習(xí)動(dòng)機(jī)（Carbonell-Carrera et al.，2017）。鑒于此，有必要在基于手勢(shì)交互虛擬實(shí)驗(yàn)中對(duì)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)進(jìn)行研究。

此外，還有研究發(fā)現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的態(tài)度和他們?cè)诂F(xiàn)實(shí)世界中的態(tài)度之間存在著重要聯(lián)系。例如，Asiksoy等人發(fā)現(xiàn)學(xué)習(xí)者在虛擬實(shí)驗(yàn)室中進(jìn)行物理實(shí)驗(yàn)的經(jīng)歷能夠顯著影響他們對(duì)待物理課程的態(tài)度（Asiksoy et al.，2017）。Pyatt等人發(fā)現(xiàn)學(xué)習(xí)者對(duì)虛擬實(shí)驗(yàn)表現(xiàn)出積極態(tài)度，并且認(rèn)為虛擬實(shí)驗(yàn)?zāi)軌蛉〈鎸?shí)實(shí)驗(yàn)（Pyatt et al.，2012）。Tussyadiah等人發(fā)現(xiàn)用戶在虛擬旅行中的沉浸感可能會(huì)增加用戶訪問(wèn)真實(shí)地方的意愿，表明用戶在虛擬環(huán)境中的感知與他們?cè)诂F(xiàn)實(shí)中的態(tài)度和行為之間存在著關(guān)聯(lián)（Tussyadiah et al.，2018）。因此，研究還將調(diào)查學(xué)習(xí)者在使用手勢(shì)交互虛擬實(shí)驗(yàn)時(shí)的態(tài)度。

綜上所述，本研究將利用基于Leap Motion設(shè)計(jì)開(kāi)發(fā)的“計(jì)算機(jī)組成原理”手勢(shì)交互虛擬實(shí)驗(yàn)，從沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三個(gè)方面探究基于手勢(shì)交互的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。具體而言，包括如下四個(gè)問(wèn)題：（1）基于手勢(shì)交互的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者的沉浸感影響如何;（2）學(xué)習(xí)者使用基于手勢(shì)交互的虛擬實(shí)驗(yàn)前后，其學(xué)習(xí)動(dòng)機(jī)的變化如何;（3）基于手勢(shì)交互的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者的態(tài)度影響如何;（4）沉浸感、學(xué)習(xí)動(dòng)機(jī)、態(tài)度三者之間的關(guān)系如何。

三、實(shí)驗(yàn)設(shè)計(jì)與實(shí)施

1.實(shí)驗(yàn)對(duì)象

為了初步了解學(xué)習(xí)者在基于手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)，本研究選取某大學(xué)教育技術(shù)學(xué)專業(yè)的學(xué)生作為被試。為減少虛擬現(xiàn)實(shí)技術(shù)本身的新奇性對(duì)實(shí)驗(yàn)的影響，本研究挑選有過(guò)VR體驗(yàn)的學(xué)生，最終有26名學(xué)生被邀請(qǐng)參與到此次實(shí)驗(yàn)。其中男生有9名（35%），女生有17名（65%）。在這26名被試中，有6 人（23%）使用過(guò)虛擬實(shí)驗(yàn)進(jìn)行學(xué)習(xí)，有12 人（46%）體驗(yàn)過(guò)VR游戲，有18 人（69%）利用Unity 3D 軟件設(shè)計(jì)開(kāi)發(fā)過(guò)虛擬現(xiàn)實(shí)應(yīng)用。通過(guò)詢問(wèn)了解到所有被試均未有使用手勢(shì)交互虛擬現(xiàn)實(shí)的經(jīng)歷。因此，本研究選取的實(shí)驗(yàn)對(duì)象符合本實(shí)驗(yàn)的要求。

2.實(shí)驗(yàn)工具

（1）Leap Motion

當(dāng)前虛擬現(xiàn)實(shí)應(yīng)用最為廣泛的手勢(shì)輸入設(shè)備包括數(shù)據(jù)手套、Kinect和Leap Motion。當(dāng)使用數(shù)據(jù)手套作為手勢(shì)交互輸入設(shè)備時(shí)，用戶需穿戴帶有各種類型傳感器的數(shù)據(jù)手套，這種方式不僅會(huì)大大限制用戶的活動(dòng)范圍，還會(huì)因?yàn)槭痔椎某林馗泻褪`感而影響用戶的沉浸體驗(yàn)和交互體驗(yàn)。微軟公司發(fā)布的Kinect能很好地解決這一問(wèn)題，其利用一個(gè)RGB攝像頭和一個(gè)紅外攝像頭獲取用戶的RGB圖像和深度圖像，能實(shí)現(xiàn)對(duì)人體骨骼、手、頭等部位的實(shí)時(shí)追蹤，為手勢(shì)交互走向?qū)嶋H應(yīng)用提供了基礎(chǔ)。但是Kinect的精度較低，無(wú)法獲取手部動(dòng)作的細(xì)節(jié)信息，并且獲取的手勢(shì)信息屬于視覺(jué)上高維的深度信息，在手形分割和特征提取方面需要進(jìn)行大量的數(shù)據(jù)計(jì)算，因而也會(huì)影響手勢(shì)交互的準(zhǔn)確性、連續(xù)性和實(shí)時(shí)性。雖然Leap Motion與Kinect都是基于視覺(jué)原理的手勢(shì)輸入設(shè)備，但Leap Motion在手勢(shì)識(shí)別上較Kinect更加準(zhǔn)確（Guzsvinecz et al.，2019）。因?yàn)長(zhǎng)eap Motion只獲取用戶的手部數(shù)據(jù)，而且其通過(guò)紅外攝像頭采集用戶手部的空間坐標(biāo)信息，數(shù)據(jù)也更加簡(jiǎn)潔，這在很大程度上減少了手勢(shì)特征提取的計(jì)算量（孫玉等，2019）。另外，Leap Motion體積小巧，可附著于HTC Vive和Oculus Rift配套使用，大大增強(qiáng)了Leap Motion的可拓展性。因此，本研究選擇利用Leap Motion作為虛擬實(shí)驗(yàn)手勢(shì)交互的輸入設(shè)備。

（2）實(shí)驗(yàn)材料

“計(jì)算機(jī)組成原理”實(shí)驗(yàn)是一個(gè)綜合性的實(shí)驗(yàn)項(xiàng)目，除了要求掌握基本的計(jì)算機(jī)理論知識(shí)和計(jì)算機(jī)組件的參數(shù)之外，更重要的是在實(shí)驗(yàn)過(guò)程中理解計(jì)算機(jī)各個(gè)組件的工作原理，建立計(jì)算機(jī)的整機(jī)概念，從而具備計(jì)算機(jī)整機(jī)和組件的分析與設(shè)計(jì)能力。本研究利用Unity 3D軟件設(shè)計(jì)開(kāi)發(fā)了基于手勢(shì)交互的“計(jì)算機(jī)組成原理”虛擬實(shí)驗(yàn)，以滿足學(xué)習(xí)者的實(shí)踐需求并作為測(cè)量學(xué)習(xí)體驗(yàn)的實(shí)驗(yàn)材料。根據(jù)建構(gòu)主義理論，情境是學(xué)習(xí)的必要前提，即學(xué)習(xí)任務(wù)和學(xué)習(xí)環(huán)境的“真實(shí)性”將對(duì)學(xué)習(xí)起到重要的支持作用（劉革平等，2015）。本研究設(shè)計(jì)開(kāi)發(fā)的“計(jì)算機(jī)組成原理”虛擬實(shí)驗(yàn)?zāi)茉谧畲蟪潭壬线€原真實(shí)實(shí)驗(yàn)場(chǎng)景和實(shí)驗(yàn)任務(wù)，本研究重點(diǎn)對(duì)其中的手勢(shì)交互進(jìn)行了設(shè)計(jì)。

目前虛擬現(xiàn)實(shí)手勢(shì)交互設(shè)計(jì)還沒(méi)有一種通用可行的方法。本研究將以用戶交互需求為中心，以真實(shí)實(shí)驗(yàn)為基礎(chǔ)，確保虛擬實(shí)驗(yàn)中所設(shè)計(jì)的交互手勢(shì)符合學(xué)習(xí)者的行為習(xí)慣，以避免因認(rèn)知不協(xié)調(diào)產(chǎn)生額外的認(rèn)知負(fù)荷，降低學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。為此，本研究邀請(qǐng)了12位具有計(jì)算機(jī)組裝經(jīng)驗(yàn)但沒(méi)有虛擬現(xiàn)實(shí)手勢(shì)交互經(jīng)驗(yàn)的志愿者參與設(shè)計(jì)。首先，請(qǐng)各位志愿者列舉在計(jì)算機(jī)實(shí)際組裝過(guò)程中使用頻率較高的手勢(shì)動(dòng)作。結(jié)合對(duì)訪談結(jié)果的歸類以及虛擬現(xiàn)實(shí)環(huán)境交互的需求，最終選取抓握、釋放、點(diǎn)擊和漫游四種手勢(shì)動(dòng)作。其中，抓握、釋放和點(diǎn)擊都屬于操作型手勢(shì)，主要指學(xué)習(xí)者與虛擬環(huán)境中某一物體之間的交互。抓握實(shí)現(xiàn)選擇交互目標(biāo)的功能，是絕大部分交互發(fā)生的先決條件。釋放與抓握相反，表示放棄當(dāng)前已選擇的交互目標(biāo)。點(diǎn)擊實(shí)現(xiàn)與功能按鍵之間的交互，例如退出或重新加載當(dāng)前場(chǎng)景等。漫游屬于通訊型手勢(shì)，可以實(shí)現(xiàn)學(xué)習(xí)者在虛擬環(huán)境中的自由移動(dòng)。其次，依據(jù)每位志愿者對(duì)四種手勢(shì)的描述，分別對(duì)每種交互手勢(shì)設(shè)計(jì)多種備選的手勢(shì)動(dòng)作。最后，讓志愿者通過(guò)評(píng)分的方式評(píng)估備選的手勢(shì)動(dòng)作與現(xiàn)實(shí)情境中行為動(dòng)作的匹配程度。評(píng)估之前還向志愿者詳細(xì)說(shuō)明了備選手勢(shì)動(dòng)作的具體內(nèi)容，以保證志愿者在不受任何干擾的環(huán)境中按照自己的操作經(jīng)驗(yàn)對(duì)交互手勢(shì)進(jìn)行評(píng)分，最終選取四種手勢(shì)中評(píng)分最高的作為虛擬實(shí)驗(yàn)交互的手勢(shì)動(dòng)作，如圖1所示：

由于該虛擬實(shí)驗(yàn)是沉浸式虛擬實(shí)驗(yàn)，在進(jìn)入虛擬實(shí)驗(yàn)環(huán)境之前，被試需要穿戴好附著Leap Motion控制器的HTC Vive頭戴式顯示器。在實(shí)驗(yàn)過(guò)程中，被試?yán)迷O(shè)計(jì)好的交互手勢(shì)操控虛擬環(huán)境中的計(jì)算機(jī)組件。每個(gè)計(jì)算機(jī)組件的安裝過(guò)程主要由三個(gè)步驟組成：首先，被試?yán)米ノ帐謩?shì)拿取所需安裝的計(jì)算機(jī)組件并將該組件放到準(zhǔn)備安裝的位置上;其次，伸展手掌釋放組件;最后，點(diǎn)擊確定按鈕確認(rèn)安裝組件。虛擬實(shí)驗(yàn)軟件能提供反饋和指導(dǎo)功能。當(dāng)被試點(diǎn)擊確定按鈕之后，實(shí)驗(yàn)軟件會(huì)即時(shí)反饋該組件安裝是否正確。如果安裝錯(cuò)誤，軟件會(huì)提供當(dāng)前計(jì)算機(jī)組件的說(shuō)明以及安裝注意事項(xiàng)，被試可根據(jù)反饋信息重新安裝。另外，被試還可以利用漫游手勢(shì)在虛擬環(huán)境中移動(dòng)以拿取準(zhǔn)備安裝的計(jì)算機(jī)組件。在整個(gè)實(shí)驗(yàn)過(guò)程中，學(xué)習(xí)者可以通過(guò)不斷“試誤”將計(jì)算機(jī)的各個(gè)組件安裝到正確的位置，最終使得計(jì)算機(jī)能夠正常工作。

（3）調(diào)查問(wèn)卷

本研究使用IPQ沉浸感問(wèn)卷（Igroup Presence Questionnaire，IPQ）（Witmer et al.，1998）、教學(xué)材料動(dòng)機(jī)調(diào)查問(wèn)卷（Instructional Materials Motivation Survey，IMMS）（Chin et al.，2015）和態(tài)度調(diào)查問(wèn)卷（Tsai et al.，2001）分別測(cè)量學(xué)習(xí)者的沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度。在保持各問(wèn)卷維度不變的情況下對(duì)問(wèn)卷內(nèi)容進(jìn)行改編，聚焦于手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。隨后采用德?tīng)柗品ㄗ稍冾I(lǐng)域?qū)＜业囊庖?jiàn)，最終制定的學(xué)習(xí)體驗(yàn)調(diào)查問(wèn)卷結(jié)構(gòu)如表1所示。該問(wèn)卷共有11個(gè)因子和40道題目，包括空間臨場(chǎng)感（5題）、參與度（4題）、真實(shí)感（4題）、注意（4題）、相關(guān)（3題）、自信（3題）、滿意（3題）、感知易用性（4題）、感知有用性（4題）、情感體驗(yàn)（3題）和使用意愿（3題）。問(wèn)卷題目均采用李克特5分制評(píng)分（1分代表完全不同意，5分代表完全同意）。對(duì)于修改后的沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度調(diào)查問(wèn)卷，其 Cronbachs Alpha系數(shù)分別為0.920、0.920和0.828，表明該問(wèn)卷通過(guò)一致性檢驗(yàn)。

（4）訪談提綱

為了更全面地了解基于手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，彌補(bǔ)量化研究的不足，本研究還增加了定性研究?jī)?nèi)容。定性研究采用半結(jié)構(gòu)式訪談法，主要包括兩個(gè)開(kāi)放性問(wèn)題：一是詢問(wèn)訪談?wù)邔?duì)基于手勢(shì)交互虛擬實(shí)驗(yàn)的總體感受，二是請(qǐng)?jiān)L談?wù)呓o出關(guān)于手勢(shì)交互虛擬實(shí)驗(yàn)的改進(jìn)意見(jiàn)。

3.實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)過(guò)程共分為五步：第一步，被試用20分鐘時(shí)間填寫(xiě)IMMS問(wèn)卷作為對(duì)學(xué)習(xí)動(dòng)機(jī)的前測(cè)。第二步，被試在實(shí)驗(yàn)助理的指導(dǎo)下進(jìn)行10分鐘手勢(shì)交互練習(xí)，以適應(yīng)虛擬實(shí)驗(yàn)環(huán)境和掌握手勢(shì)交互動(dòng)作。第三步，所有被試隨機(jī)進(jìn)入教室體驗(yàn)手勢(shì)交互虛擬實(shí)驗(yàn)，時(shí)間在30分鐘左右。需要說(shuō)明的是，本實(shí)驗(yàn)是在相對(duì)封閉的教室內(nèi)進(jìn)行，教室內(nèi)只有被試和兩名實(shí)驗(yàn)助理，保證了學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)不受其他外部因素的干擾。第四步，被試進(jìn)入另一間教室填寫(xiě)沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三份問(wèn)卷，時(shí)間在40分鐘左右。第五步，被試接受20分鐘左右的訪談，全面了解其學(xué)習(xí)體驗(yàn)，同時(shí)將談話內(nèi)容記錄下來(lái)。

四、實(shí)驗(yàn)結(jié)果

本研究采用SPSS 22.0對(duì)問(wèn)卷結(jié)果進(jìn)行效度分析。由于此次參與實(shí)驗(yàn)的被試較少，且沉浸感和態(tài)度各因子得分的標(biāo)準(zhǔn)差太大，未符合正態(tài)分布，因此本研究利用非參數(shù)檢驗(yàn)中弗德里曼檢驗(yàn)（Friedmans Test）和威爾科克森符號(hào)秩檢驗(yàn)（Wilcoxon Signed-Rank Test）進(jìn)行問(wèn)卷數(shù)據(jù)分析。而后，本研究采用配對(duì)樣本T檢驗(yàn)測(cè)量學(xué)習(xí)者使用手勢(shì)交互虛擬實(shí)驗(yàn)前后學(xué)習(xí)動(dòng)機(jī)的變化。最后，本研究采用斯皮爾曼相關(guān)性系數(shù)（Spearman）對(duì)學(xué)習(xí)動(dòng)機(jī)與沉浸感、態(tài)度三者之間的關(guān)系進(jìn)行測(cè)量。

1.手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)沉浸感的影響分析

從表2數(shù)據(jù)可知，學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中獲得了強(qiáng)烈的空間臨場(chǎng)感（Mean=4.04，SD=0.87），但參與度一般（Mean=3.44，SD=0.92），基本滿足真實(shí)感需求（Mean=3.65，SD=0.72）。弗德里曼檢驗(yàn)結(jié)果顯示，學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的空間臨場(chǎng)感、參與度、真實(shí)感之間存在顯著性差異（χ2=25.232，p<0.001）。威爾科克森符號(hào)秩檢驗(yàn)結(jié)果進(jìn)一步顯示，空間臨場(chǎng)感與參與度（Z=-4.128，p<0.001）以及真實(shí)感（Z=-3.114，p<0.01）存在顯著性差異，但參與度和真實(shí)感之間不存在顯著性差異。以上分析表明，在基于手勢(shì)交互技術(shù)的沉浸式虛擬實(shí)驗(yàn)環(huán)境中，學(xué)習(xí)者獲得的空間臨場(chǎng)感相較于參與度和真實(shí)感更強(qiáng)。

2.手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)動(dòng)機(jī)的影響分析

從表3數(shù)據(jù)可知，學(xué)習(xí)者參與手勢(shì)交互虛擬實(shí)驗(yàn)前后其學(xué)習(xí)動(dòng)機(jī)具有顯著性差異（t（25）=-4.523，p<0.001）。且從平均值可以看出，學(xué)習(xí)者使用手勢(shì)交互虛擬實(shí)驗(yàn)之后的學(xué)習(xí)動(dòng)機(jī)明顯高于使用之前，說(shuō)明基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)?zāi)軌蝻@著增強(qiáng)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)。另外，學(xué)習(xí)者參與手勢(shì)交互虛擬實(shí)驗(yàn)前后其注意（t（25）=-6.230，p<0.001）和自信（t（25）=-3.742，p<0.01）也表現(xiàn)出顯著性差異，但相關(guān)和滿意并不存在顯著性差異，這說(shuō)明手勢(shì)交互虛擬實(shí)驗(yàn)?zāi)軌蛴行龑W(xué)習(xí)者的注意力和提高學(xué)習(xí)者的自信心。

3.手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)態(tài)度的影響分析

從表4數(shù)據(jù)可知，學(xué)習(xí)者在感知易用性（Mean=4.01，SD=0.54）、使用意愿（Mean=3.81，SD=0.84）和情感體驗(yàn)（Mean=4.24，SD=0.90）三個(gè)維度都有較好的反饋，但感知有用性的得分較低（Mean=3.55，SD=0.67）。利用威爾科克森符號(hào)秩檢驗(yàn)分別測(cè)量感知易用性與感知有用性、使用意愿與情感體驗(yàn)之間是否存在顯著性差異，結(jié)果顯示，學(xué)習(xí)者在感知易用性上的得分顯著高于感知有用性的得分（Z=-4.051，p<0.001）。這表明學(xué)習(xí)者認(rèn)為手勢(shì)交互虛擬實(shí)驗(yàn)更易于控制，但對(duì)他們學(xué)習(xí)的幫助作用有限。另外，學(xué)習(xí)者在情感體驗(yàn)上的得分顯著高于使用意愿的得分（Z=-3.615，p<0.001），表明雖然學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中獲得了良好的情感體驗(yàn)，但實(shí)際使用的意愿相對(duì)較低。

4.沉浸感、學(xué)習(xí)動(dòng)機(jī)、態(tài)度三者相關(guān)關(guān)系分析

從表5數(shù)據(jù)可知，學(xué)習(xí)動(dòng)機(jī)與沉浸感（r=0.535，p<0.01）和態(tài)度（r=0.717，p<0.01）存在顯著性相關(guān)關(guān)系，但沉浸感與態(tài)度之間不存在顯著性相關(guān)關(guān)系（r=0.308，p>0.05）。為進(jìn)一步探究三者之間的關(guān)系，對(duì)學(xué)習(xí)動(dòng)機(jī)各要素與沉浸感、態(tài)度各要素之間進(jìn)行相關(guān)性分析。從表6數(shù)據(jù)可知，在沉浸感與學(xué)習(xí)動(dòng)機(jī)之間，空間臨場(chǎng)感和真實(shí)感分別與注意、自信、滿意存在顯著性相關(guān)關(guān)系，參與度與滿意呈顯著性相關(guān)，而空間臨場(chǎng)感、參與度和真實(shí)感與相關(guān)皆不存在顯著性相關(guān)關(guān)系;在學(xué)習(xí)動(dòng)機(jī)與態(tài)度之間，注意、相關(guān)、自信、滿意分別與情感體驗(yàn)、使用意愿呈顯著性相關(guān)關(guān)系，但是感知易用性與注意、相關(guān)、自信、滿意皆不存在顯著性相關(guān)關(guān)系。

5.訪談結(jié)果分析

針對(duì)“對(duì)手勢(shì)交互虛擬實(shí)驗(yàn)的總體感受”，訪談結(jié)果顯示，26名學(xué)習(xí)者中有24名對(duì)基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)很感興趣，15名學(xué)習(xí)者表示虛擬實(shí)驗(yàn)過(guò)程與真實(shí)實(shí)驗(yàn)過(guò)程基本一致，10名學(xué)習(xí)者表示虛擬實(shí)驗(yàn)環(huán)境很逼真，有很強(qiáng)的沉浸感，6名學(xué)習(xí)者表示想要嘗試更多的手勢(shì)交互虛擬實(shí)驗(yàn)。評(píng)價(jià)內(nèi)容有：“利用自己的雙手做實(shí)驗(yàn)太不可思議了，手勢(shì)交互非常有趣！”“我喜歡用虛擬實(shí)驗(yàn)學(xué)習(xí)，能夠用雙手做實(shí)驗(yàn)很棒！”“我感覺(jué)虛擬實(shí)驗(yàn)環(huán)境很逼真?！钡且灿袑W(xué)習(xí)者表示不太喜歡手勢(shì)交互虛擬實(shí)驗(yàn)，認(rèn)為“手勢(shì)交互不夠準(zhǔn)確”“交互時(shí)間長(zhǎng)的話，雙手會(huì)很酸痛”。針對(duì)“改進(jìn)意見(jiàn)”的問(wèn)題，訪談?wù)咧饕岢鋈c(diǎn)建議：一是手勢(shì)交互的準(zhǔn)確率需要進(jìn)一步提高;二是手勢(shì)設(shè)計(jì)需要更加還原真實(shí)實(shí)驗(yàn)操作，并且豐富聽(tīng)覺(jué)上的反饋內(nèi)容;三是提高虛擬實(shí)驗(yàn)環(huán)境的仿真度。

從訪談結(jié)果可以看出，手勢(shì)交互虛擬實(shí)驗(yàn)?zāi)軌蛟鰪?qiáng)學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)，尤其是手勢(shì)交互技術(shù)能夠?qū)崿F(xiàn)讓學(xué)習(xí)者利用自己的雙手操控虛擬物體，最大程度還原現(xiàn)實(shí)情境中的實(shí)驗(yàn)操作，從而激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和積極性。訪談過(guò)程中還發(fā)現(xiàn)，學(xué)習(xí)者使用手勢(shì)與虛擬實(shí)驗(yàn)交互能夠在一定程度上減輕眩暈癥狀。這一點(diǎn)在Han等人的研究中也被提及，即當(dāng)學(xué)習(xí)者被手勢(shì)交互技術(shù)吸引，而全神貫注于實(shí)驗(yàn)操作時(shí)，他們的精神會(huì)處于高度集中的狀態(tài)，這樣可以避免虛擬現(xiàn)實(shí)存在的眩暈問(wèn)題（Han et al.，2017）。因此，在虛擬實(shí)驗(yàn)中探索多種交互技術(shù)相結(jié)合的新型交互方式，例如將手勢(shì)、聲音與眼動(dòng)追蹤相結(jié)合（Sharma et al.，2000），能夠?yàn)閷W(xué)習(xí)者提供多樣化、令人滿意的沉浸性交互體驗(yàn)。另一方面，由于基于Leap Motion的手勢(shì)識(shí)別還存在精確度不高、靈敏度不夠等問(wèn)題，導(dǎo)致某些手勢(shì)動(dòng)作不能被精確地識(shí)別。而且學(xué)習(xí)者在交互過(guò)程中需要一直保持雙手處于Leap Motion控制器的監(jiān)測(cè)范圍內(nèi)，時(shí)間長(zhǎng)會(huì)造成手臂酸痛，這些都會(huì)影響學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

五、結(jié)論與討論

1.相較于心理沉浸，學(xué)習(xí)者的物理沉浸更強(qiáng)

在手勢(shì)交互虛擬實(shí)驗(yàn)中，根據(jù)Sherman等（2003）對(duì)沉浸感的分類，學(xué)習(xí)者的空間臨場(chǎng)感與真實(shí)感是其物理沉浸程度的反映，而參與度能夠反映學(xué)習(xí)者的心理沉浸程度。研究發(fā)現(xiàn)，沉浸感并不是虛擬環(huán)境的固有屬性，它受虛擬環(huán)境的逼真度和控制的直接性兩個(gè)因素影響（Lee & Wong et al.，2010）。在虛擬環(huán)境中，手勢(shì)交互在處理復(fù)雜交互任務(wù)時(shí)比傳統(tǒng)的手持控制器更為有效（Xu et al.，2019），并且手勢(shì)交互信息的連續(xù)性、多維性和隱含性（方新國(guó)等，2020）能夠顯著提高學(xué)習(xí)者交互的直接性，增強(qiáng)視覺(jué)、觸覺(jué)等感官體驗(yàn)，從而提升學(xué)習(xí)者的物理沉浸。有學(xué)者在研究虛擬實(shí)驗(yàn)中不同交互方式對(duì)學(xué)習(xí)者參與度的影響時(shí)發(fā)現(xiàn)，手勢(shì)交互方式能夠有效提高學(xué)習(xí)者的參與度（Johnson-Glenberg et al.，2017）。但是，本研究中發(fā)現(xiàn)學(xué)習(xí)者的參與度卻是最低的，其可能原因有兩點(diǎn)：一是手勢(shì)識(shí)別算法的準(zhǔn)確率不夠高導(dǎo)致學(xué)習(xí)者需要重復(fù)相同的手勢(shì)才能完成實(shí)驗(yàn)操作;二是學(xué)習(xí)者頻繁向?qū)嶒?yàn)助理求助，造成學(xué)習(xí)者過(guò)多關(guān)注現(xiàn)實(shí)世界，使得學(xué)習(xí)者無(wú)法完全沉浸在手勢(shì)交互虛擬實(shí)驗(yàn)中。因此，在本研究中，學(xué)習(xí)者的物理沉浸相較于心理沉浸更強(qiáng)。

2.手勢(shì)交互能夠顯著增強(qiáng)學(xué)習(xí)動(dòng)機(jī)，尤其表現(xiàn)在注意和自信上

基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)在吸引學(xué)生注意力方面具有巨大的優(yōu)勢(shì)。因?yàn)橄噍^于其他交互方式，手勢(shì)交互可以讓學(xué)習(xí)者利用自己的雙手以自然交互的方式控制虛擬物體，在“試誤”體驗(yàn)式的學(xué)習(xí)中享受動(dòng)手操作的樂(lè)趣，從而使學(xué)習(xí)變得更主動(dòng)、更有趣。另外，手勢(shì)交互技術(shù)可以讓學(xué)習(xí)者擺脫傳統(tǒng)交互輸入設(shè)備帶來(lái)的種種限制，極大降低操控的依賴度與復(fù)雜度。已有研究顯示，身體參與的運(yùn)動(dòng)可以促進(jìn)學(xué)習(xí)過(guò)程（George Lucas Educational Foundation，2011），使得學(xué)習(xí)者更有信心完成實(shí)驗(yàn)任務(wù)（Pulijala et al.，2018;Wu & Wong et al.，2019）。本研究中，基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)?zāi)軌蜃寣W(xué)習(xí)者的多種感官同時(shí)參與到學(xué)習(xí)活動(dòng)中，而多種感官的刺激能夠從多個(gè)通道促進(jìn)學(xué)習(xí)者的認(rèn)知過(guò)程，提高學(xué)習(xí)者的手眼協(xié)調(diào)能力。總體而言，定量和定性數(shù)據(jù)都表明，基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)確實(shí)對(duì)學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)產(chǎn)生了影響，尤其體現(xiàn)在激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和提升學(xué)習(xí)者的信心上。

3.手勢(shì)交互能夠提升感知易用性和情感體驗(yàn)

在本研究中學(xué)習(xí)者普遍認(rèn)為基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)易于使用，達(dá)到了將手勢(shì)交互技術(shù)應(yīng)用于虛擬實(shí)驗(yàn)的期望。根據(jù)訪談結(jié)果可知，影響感知易用性的因素主要包括手勢(shì)識(shí)別的精確度和手勢(shì)是否符合學(xué)習(xí)者的行為習(xí)慣。因此，在進(jìn)行手勢(shì)交互設(shè)計(jì)時(shí)不僅要提高手勢(shì)識(shí)別的準(zhǔn)確率，還需注重隱喻的設(shè)計(jì)，尤其是空間隱喻設(shè)計(jì)和行為隱喻設(shè)計(jì)。隱喻的設(shè)計(jì)必須要以學(xué)習(xí)者為中心，以“用戶概念模型”為基礎(chǔ)，才能更有效地引導(dǎo)出學(xué)習(xí)者的直覺(jué)交互行為。手勢(shì)交互作為一種自然交互方式，其操作方法是基于現(xiàn)實(shí)生活經(jīng)驗(yàn)的，不僅避免了因?qū)W習(xí)復(fù)雜操作界面而增加額外的認(rèn)知負(fù)荷，還可以享受動(dòng)手的樂(lè)趣，從而提升學(xué)習(xí)者的情感體驗(yàn)。但是，本研究發(fā)現(xiàn)學(xué)習(xí)者對(duì)使用手勢(shì)交互虛擬實(shí)驗(yàn)的意愿卻相對(duì)較低，其原因可能在于將手勢(shì)交互技術(shù)應(yīng)用于虛擬實(shí)驗(yàn)雖然改善了交互體驗(yàn)，但并未滿足學(xué)習(xí)者最核心的知識(shí)學(xué)習(xí)需求。

4.學(xué)習(xí)動(dòng)機(jī)作為中間因素會(huì)影響學(xué)習(xí)者在手勢(shì)交互虛擬實(shí)驗(yàn)中的學(xué)習(xí)體驗(yàn)

盡管已有大量研究探索過(guò)虛擬學(xué)習(xí)環(huán)境中沉浸感與學(xué)習(xí)動(dòng)機(jī)之間的關(guān)系（Salzman et al.，1999;Makransky et al.，2019），但大多數(shù)研究?jī)H從變量外部探索兩者之間的關(guān)系，并未從變量?jī)?nèi)部研究各因素之間的關(guān)系。本研究發(fā)現(xiàn)，在手勢(shì)交互虛擬實(shí)驗(yàn)中，空間臨場(chǎng)感和真實(shí)感相較于參與度而言對(duì)提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)扮演著更重要的角色。換句話說(shuō)，物理沉浸是影響學(xué)習(xí)者學(xué)習(xí)動(dòng)機(jī)的重要因素。手勢(shì)交互虛擬實(shí)驗(yàn)具有的三維動(dòng)態(tài)顯示、自然交互方式等特征能夠提供逼真的學(xué)習(xí)情境、真實(shí)的實(shí)驗(yàn)操作，學(xué)習(xí)者可以利用抓握、漫游等手勢(shì)與虛擬環(huán)境中的物體進(jìn)行交互，自然狀態(tài)下手勢(shì)和身體運(yùn)動(dòng)會(huì)顯著增強(qiáng)空間臨場(chǎng)感和真實(shí)感，使得學(xué)習(xí)者沉浸在手勢(shì)交互虛擬實(shí)驗(yàn)之中。當(dāng)學(xué)習(xí)者在虛擬學(xué)習(xí)環(huán)境中獲得與現(xiàn)實(shí)類似的實(shí)驗(yàn)體驗(yàn)時(shí)，學(xué)習(xí)者的心理狀態(tài)會(huì)發(fā)生改變，物理沉浸會(huì)極大提高學(xué)習(xí)者對(duì)虛擬實(shí)驗(yàn)的認(rèn)同感，進(jìn)而增強(qiáng)學(xué)習(xí)動(dòng)機(jī)。

另外，研究人員發(fā)現(xiàn)在沉浸式虛擬學(xué)習(xí)環(huán)境中，學(xué)習(xí)動(dòng)機(jī)對(duì)學(xué)習(xí)者的態(tài)度起主導(dǎo)作用（Cheng et al.，2020）。本研究在此基礎(chǔ)上進(jìn)一步發(fā)現(xiàn)，在手勢(shì)交互虛擬實(shí)驗(yàn)中學(xué)習(xí)動(dòng)機(jī)強(qiáng)的學(xué)習(xí)者，他們?cè)谔摂M實(shí)驗(yàn)中的情感體驗(yàn)會(huì)更好，并且對(duì)利用手勢(shì)交互虛擬實(shí)驗(yàn)幫助自己學(xué)習(xí)表現(xiàn)出更加強(qiáng)烈的行為意愿。Liao等人在研究動(dòng)機(jī)與態(tài)度之間的關(guān)系時(shí)發(fā)現(xiàn)，影響態(tài)度的動(dòng)機(jī)因素主要分為實(shí)用性動(dòng)機(jī)和享樂(lè)性動(dòng)機(jī)（Liao et al.，2013）。在本研究中，學(xué)習(xí)者參與手勢(shì)交互虛擬實(shí)驗(yàn)的實(shí)用性動(dòng)機(jī)和享樂(lè)性動(dòng)機(jī)分別指獲取計(jì)算機(jī)原理相關(guān)知識(shí)以及在這個(gè)過(guò)程中獲得快樂(lè)的實(shí)驗(yàn)體驗(yàn)。手勢(shì)交互虛擬實(shí)驗(yàn)可以幫助學(xué)習(xí)者實(shí)現(xiàn)更加直觀的實(shí)際動(dòng)手組裝計(jì)算機(jī)，促進(jìn)具身認(rèn)知，實(shí)現(xiàn)對(duì)科學(xué)概念的深入理解，因此學(xué)習(xí)者的實(shí)用性動(dòng)機(jī)得到顯著增強(qiáng)，使用意愿也更強(qiáng)。而且手勢(shì)交互虛擬實(shí)驗(yàn)?zāi)軌蚣ぐl(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和參與熱情，尤其是自然交互方式能夠?yàn)閷W(xué)習(xí)者提供心理上和精神上的愉悅體驗(yàn)（廖宏建等，2013），其享樂(lè)性動(dòng)機(jī)亦得到增強(qiáng)。實(shí)用性動(dòng)機(jī)和享樂(lè)性動(dòng)機(jī)的增強(qiáng)使得學(xué)習(xí)者對(duì)手勢(shì)交互虛擬實(shí)驗(yàn)的態(tài)度更加積極。

綜上所述，本研究發(fā)現(xiàn)，在手勢(shì)交互虛擬實(shí)驗(yàn)中，物理沉浸能夠有效提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，而學(xué)習(xí)動(dòng)機(jī)越強(qiáng)，學(xué)習(xí)者的情感體驗(yàn)越好、使用意愿也更強(qiáng);而且學(xué)習(xí)動(dòng)機(jī)在沉浸感和態(tài)度之間扮演著中間者的角色，即手勢(shì)交互虛擬實(shí)驗(yàn)?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的沉浸感，從而提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，進(jìn)而改善學(xué)習(xí)者的態(tài)度，最終提升學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。

六、總結(jié)與展望

本研究從沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三個(gè)方面探討了基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，發(fā)現(xiàn)基于手勢(shì)交互技術(shù)的虛擬實(shí)驗(yàn)?zāi)軌蛴行г鰪?qiáng)學(xué)習(xí)者的沉浸感，從而提高學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，進(jìn)而改善學(xué)習(xí)者的態(tài)度，最終提升學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)。但本研究也發(fā)現(xiàn)，在手勢(shì)交互虛擬實(shí)驗(yàn)中，僅僅依靠虛擬現(xiàn)實(shí)技術(shù)以及手勢(shì)交互技術(shù)的特性無(wú)法實(shí)現(xiàn)預(yù)期的學(xué)習(xí)體驗(yàn)。結(jié)合本次研究成果、案例分析及開(kāi)發(fā)實(shí)踐，筆者提出手勢(shì)交互虛擬實(shí)驗(yàn)設(shè)計(jì)需考慮以下問(wèn)題：

第一，合理設(shè)計(jì)交互手勢(shì)改善交互體驗(yàn)，創(chuàng)設(shè)高度沉浸的實(shí)驗(yàn)環(huán)境。在本研究中，雖然身臨其境的感受和自然豐富的交互體驗(yàn)極大地促進(jìn)了學(xué)習(xí)者的物理沉浸，但并未滿足學(xué)習(xí)者的心理沉浸。針對(duì)這個(gè)問(wèn)題，在進(jìn)行手勢(shì)交互虛擬實(shí)驗(yàn)設(shè)計(jì)時(shí)，可以從以下三個(gè)方面著手：其一，提高手勢(shì)識(shí)別的準(zhǔn)確率，如可將Leap Motion與Kinect結(jié)合使用（Kumar et al.，2017），避免學(xué)習(xí)者多次重復(fù)同一手勢(shì)，使得學(xué)習(xí)者能夠完全沉浸在虛擬實(shí)驗(yàn)中。其二，手勢(shì)交互設(shè)計(jì)要遵循可靠性、容錯(cuò)性、連貫性和繼承性原則（孫效華等，2015），保證與學(xué)習(xí)者的心智模型和日常行為習(xí)慣相符，實(shí)現(xiàn)物理空間與虛擬空間之間的平滑過(guò)渡，改善人機(jī)交互體驗(yàn)。其三，在設(shè)計(jì)虛擬實(shí)驗(yàn)環(huán)境時(shí)，注重增加多通道的感官體驗(yàn)，以使學(xué)習(xí)者獲得“身臨其境”的實(shí)驗(yàn)體驗(yàn)。但是，在這一過(guò)程中應(yīng)盡量減少與學(xué)習(xí)目標(biāo)無(wú)關(guān)的要素干擾，避免引起學(xué)習(xí)者無(wú)關(guān)的認(rèn)知加工，從而提高學(xué)習(xí)者的參與度。

第二，優(yōu)化虛擬實(shí)驗(yàn)任務(wù)設(shè)計(jì)，注重對(duì)學(xué)習(xí)反思的引導(dǎo)。手勢(shì)交互虛擬實(shí)驗(yàn)的最終目的是幫助學(xué)習(xí)者掌握實(shí)驗(yàn)內(nèi)容，其主要是通過(guò)對(duì)實(shí)驗(yàn)任務(wù)的設(shè)計(jì)來(lái)實(shí)現(xiàn)的。實(shí)驗(yàn)任務(wù)的設(shè)計(jì)需以學(xué)習(xí)者為中心，以模擬性實(shí)驗(yàn)、探究性實(shí)驗(yàn)和實(shí)證性實(shí)驗(yàn)等為主，盡量為學(xué)習(xí)者提供大量親身參與、實(shí)踐以及與他人合作學(xué)習(xí)的機(jī)會(huì)。實(shí)驗(yàn)過(guò)程中需要提供適當(dāng)?shù)娜蝿?wù)支持，確保學(xué)習(xí)者在探索和與虛擬學(xué)習(xí)環(huán)境互動(dòng)的過(guò)程中促進(jìn)知識(shí)、技能與體驗(yàn)三者之間的連接，從而培養(yǎng)學(xué)習(xí)者靈活運(yùn)用所學(xué)知識(shí)去解決實(shí)際問(wèn)題的能力。另外，依據(jù)體驗(yàn)的發(fā)生要經(jīng)過(guò)感官、行為、反思三個(gè)層次（Donald A. Norman，2005）的理論，手勢(shì)交互虛擬實(shí)驗(yàn)應(yīng)在為學(xué)習(xí)者提供逼真的感官沉浸和自然的人機(jī)交互基礎(chǔ)之上更加強(qiáng)調(diào)對(duì)學(xué)習(xí)反思的引導(dǎo)，通過(guò)對(duì)虛擬實(shí)驗(yàn)任務(wù)的優(yōu)化和真實(shí)問(wèn)題情境的設(shè)計(jì)引發(fā)學(xué)習(xí)者的探索與思考，形成抽象思維，促進(jìn)學(xué)習(xí)者的認(rèn)知加工過(guò)程及知識(shí)建構(gòu)過(guò)程，進(jìn)而切實(shí)提高學(xué)習(xí)效果。

本研究也存在一定的局限性。首先，受虛擬現(xiàn)實(shí)設(shè)備以及手勢(shì)交互設(shè)備的限制，本研究的樣本量較小。未來(lái)需擴(kuò)大樣本量以更廣泛地了解手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響。其次，在沉浸式虛擬環(huán)境中也可能存在性別差異（Grassini et al.，2020），例如，女生在虛擬環(huán)境中有著更高的沉浸感，但眩暈問(wèn)題也更嚴(yán)重。本研究中的樣本性別比例失衡也可能會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響。最后，由于本研究?jī)H從沉浸感、學(xué)習(xí)動(dòng)機(jī)和態(tài)度三個(gè)方面探究了手勢(shì)交互虛擬實(shí)驗(yàn)對(duì)學(xué)習(xí)者學(xué)習(xí)體驗(yàn)的影響，未來(lái)還需從其他方面研究學(xué)習(xí)者的學(xué)習(xí)體驗(yàn)，例如，社會(huì)臨場(chǎng)感、自我效能感以及心流體驗(yàn)等。

參考文獻(xiàn)：

[1][美]Donald A. Norman （2005）. 情感化設(shè)計(jì)[M]. 付秋芳，程進(jìn)三. 北京：電子工業(yè)出版：11-15.

[2]杜寶江，李酬，林靈等（2016）. 基于Leap Motion手勢(shì)交互的虛擬裝配培訓(xùn)的研究[J]. 信息技術(shù)，（11）：157-162，168.

[3]方新國(guó)，王贊強(qiáng)，高健權(quán)（2020）. 基于Leap Motion的手勢(shì)交互系統(tǒng)設(shè)計(jì)[J]. 機(jī)械設(shè)計(jì)與研究， 36（2）：128-132，153.

[4]黃紅濤，孟紅娟，左明章等（2018）. 混合現(xiàn)實(shí)環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解[J]. 現(xiàn)代遠(yuǎn)程教育研究，（6）：28-36.

[5]蔣夢(mèng)菲，原麗花（2020）. 基于三維虛擬視覺(jué)及交互設(shè)計(jì)的室內(nèi)設(shè)計(jì)平臺(tái)建構(gòu)[J]. 現(xiàn)代電子技術(shù)，43（3）：125-128.

[6]廖宏建，楊玉寶（2013）. 體感交互設(shè)計(jì)及其在三維虛擬實(shí)驗(yàn)中的應(yīng)用[J]. 遠(yuǎn)程教育雜志，31（1）： 54-59.

[7]劉斌，張文蘭（2017）. 在線課程學(xué)習(xí)體驗(yàn)的影響因素及其結(jié)構(gòu)研究[J].現(xiàn)代教育技術(shù)，27（9）：107-113.

[8]劉革平，謝濤（2015）. 三維虛擬學(xué)習(xí)環(huán)境綜述[J]. 中國(guó)電化教育，（9）：22-27.

[9]劉勉，張際平（2019）. 未來(lái)課堂智能教學(xué)系統(tǒng)設(shè)計(jì)研究——以手勢(shì)識(shí)別為技術(shù)支持[J]. 中國(guó)電化教育，（7）：14-21.

[10]孫效華，周博，李彤（2015）. 隔空手勢(shì)交互的設(shè)計(jì)要素與原則[J]. 包裝工程，36（8）：10-13.

[11]孫玉，袁貞明，孫曉燕（2019）. 基于Leap Motion的動(dòng)態(tài)手勢(shì)識(shí)別[J]. 計(jì)算機(jī)工程與應(yīng)用， 55（13）：151-157.

[12]王阿習(xí)，張學(xué)軍，朱敏等（2013）. 基于虛擬實(shí)驗(yàn)室的混合學(xué)習(xí)活動(dòng)設(shè)計(jì)[J]. 中國(guó)電化教育，（7）： 96-102.

[13]王賦攀，吳亞?wèn)|，楊文超等（2018）. 一種視覺(jué)信息融合數(shù)據(jù)手套設(shè)計(jì)研究[J]. 計(jì)算機(jī)研究與發(fā)展，55（12）：2764-2774.

[14]王濟(jì)軍，魏雪峰（2011）. 虛擬實(shí)驗(yàn)的“熱”現(xiàn)狀與“冷”思考[J]. 中國(guó)電化教育，（4）：126-129.

[15]吳福理，丁胤，丁維龍等（2016）. 基于Leap Motion的虛擬農(nóng)作物人機(jī)交互系統(tǒng)設(shè)計(jì)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，32（23）：144-151.

[16]楊魯義（2019）. 基于大數(shù)據(jù)的虛擬實(shí)驗(yàn)室手勢(shì)交互感知仿真[J]. 計(jì)算機(jī)仿真，36（10）：169-172，193.

[17]楊賢，張碩，何漢武等（2019）. 虛擬實(shí)驗(yàn)環(huán)境中的自然手勢(shì)交互[J]. 實(shí)驗(yàn)室研究與探索，38（3）：90-94.

[18]楊曉東，陳益強(qiáng)，于漢超等（2015）. 面向可穿戴設(shè)備的超聲波手勢(shì)識(shí)別方法[J]. 計(jì)算機(jī)科學(xué)，42（10）：20-24.

[19]楊雪，劉英杰，闞寶朋（2008）. 基于設(shè)計(jì)的研究范式在網(wǎng)絡(luò)三維虛擬實(shí)驗(yàn)中的運(yùn)用研究[J]. 中國(guó)電化教育，（10）：103-106.

[20]于漢超，楊曉東，張迎偉等（2017）. 凌空手勢(shì)識(shí)別綜述[J]. 科技導(dǎo)報(bào)，35（16）：64-73.

[21]袁偉，郎璞，張孫嘉等（2018）. 虛擬環(huán)境下面向裝配培訓(xùn)的人機(jī)交互技術(shù)[J]. 兵器裝備工程學(xué)報(bào)， 39（12）：187-191.

[22]張鳳軍，戴國(guó)忠，彭曉蘭（2016）. 虛擬現(xiàn)實(shí)的人機(jī)交互綜述[J]. 中國(guó)科學(xué)：信息科學(xué)，46（12）：1711-1736.

[23]張曉蓉，楊文超，侯佳鑫等（2018）. 中學(xué)化學(xué)沉浸式虛擬實(shí)驗(yàn)系統(tǒng)研究[J]. 中國(guó)體視學(xué)與圖像分析， 23（2）：166-173.

[24]趙同剛，申仲艦（2015）. 電子信息類虛擬遠(yuǎn)程實(shí)驗(yàn)室建設(shè)的探索——以北京郵電大學(xué)為例[J]. 中國(guó)遠(yuǎn)程教育，（11）：51-56，66，80.

[25]Asiksoy， G.， & Islek， D. （2017）. The Impact of the Virtual Laboratory on StudentsAttitudes in a General Physics Laboratory[J]. International Journal of Online Engineering， 13（4）：20-28.

[26]Cabreira， A. T.， & Hwang， F. （2015）. An Analysis of Mid-Air Gestures Used Across Three Platforms[C]// Proceedings of the 2015 British HCI Conference. New York： ACM：257-258.

[27]Carbonell-Carrera， C.， & Saorin， J. L. （2017）. Geospatial Google Street View with Virtual Reality： A Motivational Approach for Spatial Training Education[J]. ISPRS International Journal of Geo-Information， 6（9）：261.

[28]Cheng， K. H.， & Tsai， C. C. （2020）. StudentsMotivational Beliefs and Strategies， Perceived Immersion and Attitudes Towards Science Learning with Immersive Virtual Reality： A Partial Least Squares Analysis[J]. British Journal of Educational Technology， 51（6）：2139-2158.

[29]Chin， K. Y.， Lee， K. F.， & Chen， Y. L. （2015）. Impact on Student Motivation by Using a QR-Based U-Learning Material Production System to Create Authentic Learning Experiences[J]. IEEE Transactions on Learning Technologies， 8（4）：367-382.

[30]De Paolis， L. T.， & De Luca， V. （2019）. The Impact of the Input Interface in a Virtual Environment： The Vive Controller and the Myo Armband[J]. Virtual Reality， 24：483-502.

[31]De Vries， L. E.， & May， M. （2019）. Virtual Laboratory Simulation in the Education of Laboratory Technicians-Motivation and Study Intensity[J]. Biochemistry and Molecular Biology Education， 47（3）：257-262.

[32]Deller， M.， Ebert， A.， & Hagen， H. （2006）. Flexible Gesture Recognition for Immersive Virtual Environments[C]// Proceedings of the Tenth International Conference on Information Visualization. London： IEEE：563-568.

[33]George Lucas Educational Foundation （2011）. Six Tips for Brain-Based Learning： Plus， a Bonus Class Project， Resources， and a Reading List[EB/OL]. [2020-06-05]. https：//eric.ed.gov/？id=ed539391.

[34]Grassini， S.， & Laumann， K. （2020）. Are Modern Head-Mounted Displays Sexist？ A Systematic Review on Gender Differences in HMD-Mediated Virtual Reality[J]. Frontiers in Psychology， 11：1604-1619.

[35]Guzsvinecz， T.， Szucs， V.， & Sik-Lanyi， C. （2019）. Suitability of the Kinect Sensor and Leap Motion Controller： A Literature Review[J]. Sensor， 19（5）：1072-1097.

[36]Han， S.， & Kim， J. （2017）. A Study on Immersion of Hand Interaction for Mobile Platform Virtual Reality Contents[J]. Symmetry-Basel， 9（2）：22.

[37]Hsiao， H.， Chen， J.， & Lin， C. Y. et al. （2017）. The Influence of a Gesture-Based Learning Approach on PreschoolersLearning Performance， Motor Skills， and Motion Behaviors[J]. Interactive Learning Environments， 26（7）：869-881.

[38]Huang， H.-M.， Rauch， U.， & Liaw， S.-S. （2010）. Investigating LearnersAttitudes Toward Virtual Reality Learning Environments： Based on a Constructivist Approach[J]. Computers & Education， 55（3）：1171-1182.

[39]Huang， Y. C.， Backman， S. J.， & Backman， K. F. et al. （2019）. An Investigation of Motivation and Experience in Virtual Learning Environments： A Self-Determination Theory[J]. Education and Information Technologies， 24（1）：591-611.

[40]Johnson， L.， Smith， R.， & Willis， H. et al. （2011）. The 2011 Horizon Report[M]. Austin， Texas： The New Media Consortium.

[41]Johnson-Glenberg， M. C. （2018）. Immersive VR and Education： Embodied Design Principles That Include Gesture and Hand Controls[J]. Frontiers in Robotics and AI， 5：81-100.

[42]Johnson-Glenberg， M. C.， & Megowan-Romanowicz， C. （2017）. Embodied Science and Mixed Reality： How Gesture and Motion Capture Affect Physics Education[J]. Cognitive Research： Principles and Implications， 2（1）：1-28.

[43]Kumar， P.， Gauba， H.， & Roy， P. et al. （2017）. A Multimodal Framework for Sensor Based Sign Language Recognition[J]. Neurocomputing， 259：21-38.

[44]Lee， E. A. L.， Wong， K. W.， & Fung， C. C. （2010）. How Does Desktop Virtual Reality Enhance Learning Outcomes？ A Structural Equation Modeling Approach[J]. Computers & Education， 55（4）：1424-1442.

[45]Lee， J. Y.， Rhee， G. W.， & Seo， D. W. （2010）. Hand Gesture-Based Tangible Interactions for Manipulating Virtual Objects in a Mixed Reality Environment[J]. The International Journal of Advanced Manufacturing Technology， 51（9-12）：1069-1082.

[46]Liao， C.， To， P. L.， & Hsu， F. C. （2013）. Exploring Knowledge Sharing in Virtual Communities[J]. Online Information Review， 37（6）：891-909.

[47]Linnenbrink， E. A.， & Pintrich， P. R. （2002）. Motivation as an Enabler for Academic Success[J]. School Psychology Review， 31（3）：313-327.

[48]Macedonia， M.， Müller， K.， & Friederici， A. D. （2010）. The Impact of Iconic Gestures on Foreign Language Word Learning and its Neural Substrate[J]. Human Brain Mapping， 32（6）：982-998.

[49]Makransky， G.， & Petersen， G. B. （2019）. Investigating the Process of Learning with Desktop Virtual Reality： A Structural Equation Modeling Approach[J]. Computers & Education， 134：15-30.

[50]Manghisi， V. M.， Uva， A. E.， & Fiorentino， M. et al. （2018）. Enhancing User Engagement Through the User Centric Design of a Mid-Air Gesture-Based Interface for the Navigation of Virtual-Tours in Cultural Heritage Expositions[J]. Journal of Cultural Heritage， 32：186-197.

[51]McMahan， R. P.， Bowman， D. A.， & Zielinski， D. J. et al. （2012）. Evaluating Display Fidelity and Interaction Fidelity in a Virtual Reality Game[J]. IEEE Transactions on Visualization and Computer Graphics， 18（4）：626-633.

[52]Mikropoulos， T. A. （2006）. Presence： A Unique Characteristic in Educational Virtual Environments[J]. Virtual Reality， 10（3-4）：197-206.

[53]Molina， J.， Escudero-Vi?olo， M.， & Signoriello， A. et al. （2011）. Real-Time User Independent Hand Gesture Recognition from Time-of-Flight Camera Video using Static and Dynamic Models[J]. Machine Vision and Applications， 24（1）：187-204.

[54]Nainggolan， F. L.， Siregar， B.， & Fahmi， F. （2016）. Anatomy Learning System on Human Skeleton using Leap Motion Controller[C]// Proceedings of the 3rd International Conference on Computer and Information Sciences. Kuala Lumpur： IEEE：465-470.

[55]Navarro-Newball， A. A.， Moreno， I.， & Prakash， E. et al. （2015）. Gesture Based Human Motion and Game Principles to Aid Understanding of Science and Cultural Practices[J]. Multimedia Tools and Applications， 75（19）：11699-11722.

[56]Pulijala， Y.， Ma， M. H.， & Pears， M. et al. （2018）. Effectiveness of Immersive Virtual Reality in Surgical Training-A Randomized Control Trial[J]. Journal of Oral and Maxillofacial Surgery， 76（5）：1065-1072.

[57]Pyatt， K.， & Sims， R. （2012）. Virtual and Physical Experimentation in Inquiry-Based Science Labs： Attitudes， Performance and Access[J]. Journal of Science Education and Technology， 21（1）：133-147.

[58]Raees， M.， & Ullah， S. （2019）. GIFT： Gesture-Based Interaction by Fingers Tracking， an Interaction Technique for Virtual Environment[J]. International Journal of Interactive Multimedia and Artificial Intelligence， 5（5）：115-125.

[59]Regenbrecht， H.， & Schubert， T. （2002）. Real and Illusory Interactions Enhance Presence in Virtual Environments[J]. Presence： Teleoperators and Virtual Environments， 11（4）：425-434.

[60]Salzman， M. C.， Dede， C.， & Loftin， R. B. et al. （1999）. A Model for Understanding How Virtual Reality Aids Complex Conceptual Learning[J]. Presence-Teleoperators and Virtual Environments， 8（3）：293-316.

[61]Schubert， T.， Friedmann， F.， & Regenbrecht， H. （2001）. The Experience of Presence： Factor Analytic Insights[J]. Presence： Teleoperators and Virtual Environments， 10（3）：266-281.

[62]Sharma， R.， Zeller， M.， & Pavlovic， V. I. et al. （2000）. Speech/Gesture Interface to a Visual-Computing Environment[J]. IEEE Computer Graphics and Applications， 20（2）：29-37.

[63]Sherman， W. R.， & Craig， A. B. （2003）. Understanding Virtual Reality[M]. San Francisco， CA： Morgan Kaufmann.

[64]Sheu， F. R.， & Chen， N. S. （2014）. Taking a Signal： A Review of Gesture-Based Computing Research in Education[J]. Computers & Education， 78：268-277.

[65]Tsai， C. C.， Lin， S. S. J.， & Tsai， M. J. （2001）. Developing an Internet Attitude Scale for High School Students[J]. Computers & Education， 37（1）：41-51.

[66]Tussyadiah， I. P.， Wang， D.， & Jing， T. H. et al. （2018）. Virtual Reality， Presence， and Attitude Change： Empirical Evidence from Tourism[J]. Tourism Management， 66：140-154.

[67]Vuletic， T.， Duffy， A.， & Hay， L. et al. （2019）. Systematic Literature Review of Hand Gesture Used in Human Computer Interaction Interfaces[J]. International Journal of Human-Computer Studies，129：74-94.

[68]Ware， C.， & Jessome， D. R. （1988）. Using the Bat： A Six-Dimensional Mouse for Object Placement[J]. IEEE Computer Graphics and Applications， 8（6）：65-70.

[69]Witmer， B. G.， & Singer， M. J. （1998）. Measuring Presence in Virtual Environments： A Presence Questionnaire[J]. Presence-Teleoperators and Virtual Environments， 7（3）：225-240.

[70]Wolski， R.， & Jagodziński， P. （2017）. Virtual Laboratory-Using a Hand Movement Recognition System to Improve the Quality of Chemical Education[J]. British Journal of Educational Technology， 50（1）：218-231.

[71]Wu， B. J.， Wong， S. K.， & Li， T. W. （2019）. Virtual Titration Laboratory Experiment with Differentiated Instruction[J]. Computer Animation and Virtual Worlds， 30（3-4）：e1882.

[72]Wu， H. Y.， Wang， Y.， & Qiu， J. L. et al. （2019）. User-Defined Gesture Interaction for Immersive VR Shopping Applications[J]. Behaviour & Information Technology， 38（7）： 726-741.

[73]Xu， J. X.， Tang， Z.， & Zhao， H. W. et al. （2019）. Hand Gesture-Based Virtual Reality Training Simulator for Collaboration Rescue of a Railway Accident[J]. Interacting with Computers， 31（6）：577-588.

收稿日期 2021-01-05責(zé)任編輯 劉選