陳凱泉 吳志超 劉 宏 嚴(yán)莉莉

（1.中國(guó)海洋大學(xué) 教育系，山東青島 266100；2.猶他州立大學(xué) 教學(xué)技術(shù)與學(xué)習(xí)科學(xué)系，美國(guó)猶他州洛根市 84321）

一、引言

擴(kuò)展現(xiàn)實(shí)（Extended Reality，XR）是將物理環(huán)境與虛擬環(huán)境融合在一起，或提供完全身臨其境般的虛擬體驗(yàn)環(huán)境的綜合術(shù)語(yǔ)。XR 能將實(shí)體對(duì)象成像為逼真的三維圖像，作為虛擬現(xiàn)實(shí)（Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）與混合現(xiàn)實(shí)（Mixed Reality，MR）技術(shù)的綜合性展現(xiàn)，在5G 時(shí)代具有廣闊的應(yīng)用前景。正如《地平線2020年報(bào)告：教與學(xué)版》（2020 EDUCAUSE Horizon ReportTMTeaching and Learning Edition）所指出的，高等教育正在課程中積極地嘗試使用XR 技術(shù)，盡管存在著設(shè)備成本高昂、資源開(kāi)發(fā)過(guò)程復(fù)雜等障礙，但XR 作為學(xué)習(xí)工具的應(yīng)用，潛力巨大。

從國(guó)內(nèi)來(lái)看，近年來(lái)，教育部及各級(jí)政府先后出臺(tái)多項(xiàng)文件與政策，積極引導(dǎo)和鼓勵(lì)虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于教育。2019年6月，教育部發(fā)布《關(guān)于職業(yè)院校專業(yè)人才培養(yǎng)方案制訂與實(shí)施工作的指導(dǎo)意見(jiàn)》，提出要全面提升人工智能、虛擬現(xiàn)實(shí)等現(xiàn)代信息技術(shù)在教育、教學(xué)中廣泛應(yīng)用。2019年，江西省教育廳、天津市網(wǎng)絡(luò)安全和信息化委員會(huì)、河南省教育廳等也先后印發(fā)通知，提出要改造傳統(tǒng)教室，創(chuàng)新VR課堂教學(xué)，引導(dǎo)高校建設(shè)并使用好一批VR 教室與虛擬仿真實(shí)驗(yàn)室，加強(qiáng)虛擬教學(xué)環(huán)境的設(shè)計(jì)開(kāi)發(fā)，創(chuàng)設(shè)虛擬情境教學(xué)新模式與虛實(shí)結(jié)合的學(xué)習(xí)環(huán)境。在產(chǎn)業(yè)支撐方面，2020 Qualcomm XR 生態(tài)合作伙伴大會(huì)近日在江西南昌開(kāi)幕。Qualcomm（高通）攜手中國(guó)電信、Pico、影創(chuàng)科技、愛(ài)奇藝智能、3Glasses、大朋VR 等眾多生態(tài)伙伴，共同推動(dòng)全球擴(kuò)展現(xiàn)實(shí)產(chǎn)業(yè)的應(yīng)用與發(fā)展，這為XR 教育應(yīng)用提供了厚實(shí)的基礎(chǔ)。

從國(guó)際領(lǐng)域來(lái)審視，沉浸式學(xué)習(xí)研究網(wǎng)絡(luò)（Immersive Learning Research Network，iLRN）作為由開(kāi)發(fā)人員、教育者和沉浸式學(xué)習(xí)的專業(yè)研究人員所組成的國(guó)際性組織，一直致力于開(kāi)發(fā)基于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)及擴(kuò)展現(xiàn)實(shí)的沉浸式學(xué)習(xí)新理論、新技術(shù)和新應(yīng)用。iLRN 自2014年成立以來(lái)，已分別在美國(guó)、英國(guó)、葡萄牙、捷克、澳大利亞等國(guó)召開(kāi)多個(gè)主題的國(guó)際會(huì)議，業(yè)已成為全球在研究沉浸式學(xué)習(xí)、擴(kuò)展現(xiàn)實(shí)教育應(yīng)用等方面，具有重要國(guó)際影響力的學(xué)術(shù)組織和會(huì)議平臺(tái)。iLRN 的相關(guān)研究指出：有效的沉浸式學(xué)習(xí)體驗(yàn)是使用多種技術(shù)、在多種媒體中創(chuàng)建的，并采用了涵蓋許多學(xué)科的豐富知識(shí)，包括但不限于計(jì)算機(jī)科學(xué)、用戶體驗(yàn)和媒體設(shè)計(jì)、學(xué)習(xí)科學(xué)、體系結(jié)構(gòu)、游戲開(kāi)發(fā)、人工智能、生物學(xué)和醫(yī)學(xué)等。沉浸式學(xué)習(xí)和培訓(xùn)，目前已存在于與之相關(guān)的數(shù)千個(gè)學(xué)科和職業(yè)領(lǐng)域。

近年來(lái)，iLRN 通過(guò)對(duì)多學(xué)科領(lǐng)域沉浸式學(xué)習(xí)語(yǔ)境、實(shí)例的分析，力圖為全球?qū)W習(xí)者創(chuàng)造更有效、更生動(dòng)的沉浸式學(xué)習(xí)體驗(yàn)。iLRN 2020 會(huì)議6月21 至25日在線召開(kāi)，會(huì)議使用了專門(mén)的擴(kuò)展現(xiàn)實(shí)會(huì)議平臺(tái)，讓參會(huì)者在虛擬會(huì)場(chǎng)中漫步、做學(xué)術(shù)匯報(bào)和提問(wèn)交流，仿佛身臨其境[1]。本文選擇iLRN 2020 會(huì)議所呈現(xiàn)的XR 教育應(yīng)用方面的實(shí)踐探索，作為主要案例與資料進(jìn)行分析，以探究當(dāng)前國(guó)際領(lǐng)域XR 支撐沉浸式學(xué)習(xí)的主要技術(shù)路徑和應(yīng)用模式，從而為國(guó)內(nèi)教育領(lǐng)域有效把握與應(yīng)用XR，提供前瞻性的借鑒與參考信息。

二、虛擬現(xiàn)實(shí)的發(fā)展歷程、層次劃分及擴(kuò)展現(xiàn)實(shí)（XR）概念的形成

按照趙沁平院士在2009年對(duì)虛擬現(xiàn)實(shí)的定義，虛擬現(xiàn)實(shí)是以計(jì)算機(jī)技術(shù)為核心，結(jié)合相關(guān)科學(xué)技術(shù)，在視、聽(tīng)、觸感等方面生成與一定范圍真實(shí)環(huán)境高度相似的數(shù)字化環(huán)境，用戶借助必要的裝備與數(shù)字化環(huán)境中的對(duì)象進(jìn)行交互作用、相互影響，可以產(chǎn)生親臨真實(shí)環(huán)境般的感受和體驗(yàn)[2]。2013年，著名的虛擬現(xiàn)實(shí)專家史蒂夫·布賴森（Steve Bryson）則將虛擬現(xiàn)實(shí)定義為：“是計(jì)算機(jī)技術(shù)的使用，它創(chuàng)造了一個(gè)互動(dòng)的三維世界效果，其中的物體具有空間感”[3]。

（一）虛擬現(xiàn)實(shí)的發(fā)展歷程及主要特征

虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，大致經(jīng)歷了四個(gè)階段：第一階段是早期探索階段。在20世紀(jì)70年代以前，經(jīng)歷了長(zhǎng)期的對(duì)虛擬現(xiàn)實(shí)思想的探索及對(duì)早期虛擬現(xiàn)實(shí)系統(tǒng)的設(shè)計(jì)。比如，1962年Morton Heilig 發(fā)明了全傳感仿真器，這個(gè)設(shè)備結(jié)合了35 毫米相機(jī)拍攝的照片與3D 攝影技術(shù)，體驗(yàn)者可坐在椅子上把頭探進(jìn)去，通過(guò)三面屏來(lái)感知、形成空間感，從而獲取近似虛擬現(xiàn)實(shí)的體驗(yàn)。第二階段是萌芽與初試階段。在這一階段的1968年，世界上最早的計(jì)算機(jī)圖形驅(qū)動(dòng)頭盔顯示器HMD 和頭部位置跟蹤系統(tǒng)被開(kāi)發(fā)出來(lái)，成為虛擬現(xiàn)實(shí)技術(shù)發(fā)展史上一個(gè)重要的里程碑。第三階段是進(jìn)入到20世紀(jì)80年代以后，虛擬現(xiàn)實(shí)的概念、理論體系相繼誕生。1984年，美國(guó)國(guó)家航空航天局的“虛擬行星探測(cè)實(shí)驗(yàn)室”，開(kāi)發(fā)出了用于火星探測(cè)的虛擬環(huán)境視覺(jué)顯示器。由Krueger 設(shè)計(jì)的VIDEOPLACE 系統(tǒng)，可使參與者的圖像投影能實(shí)時(shí)地響應(yīng)參與者的活動(dòng)。第四階段是逐步完善和應(yīng)用階段。虛擬現(xiàn)實(shí)技術(shù)逐漸走向航空、軍事、醫(yī)學(xué)等領(lǐng)域，虛擬軍事演習(xí)成為重要的軍事訓(xùn)練手段，虛擬建筑環(huán)境實(shí)時(shí)漫游等系統(tǒng)在旅游、建筑設(shè)計(jì)中被廣泛采用。其發(fā)展歷程，具體如表1所示。

表1 虛擬現(xiàn)實(shí)的發(fā)展歷程

（二）虛擬現(xiàn)實(shí)的層次劃分及擴(kuò)展現(xiàn)實(shí)概念誕生

1.虛擬現(xiàn)實(shí)的三個(gè)層次

虛擬現(xiàn)實(shí)其本質(zhì)在于為體驗(yàn)者創(chuàng)設(shè)一個(gè)模擬的世界，這個(gè)世界可以與現(xiàn)實(shí)世界相似或者完全不同，參與者可以瀏覽這個(gè)模擬世界中的對(duì)象，也可以與之互動(dòng)。但在觀看、觸摸、嗅聞以及操作這些對(duì)象的過(guò)程中，參與者對(duì)這些對(duì)象體驗(yàn)的真實(shí)性卻差異巨大。（1）作為較為初級(jí)的、也是在虛擬現(xiàn)實(shí)發(fā)展史上占比較多的一種體驗(yàn)層次，被稱為桌面式虛擬現(xiàn)實(shí)，或被稱為窗口仿真，界面交互的特征比較明顯，沉浸性也很弱，但由于成本低廉而得到廣泛應(yīng)用。（2）第二層次是增強(qiáng)式虛擬現(xiàn)實(shí)，主要是為戴上立體眼鏡的人便于觀察虛擬環(huán)境，性能介于桌面式VR 與沉浸式VR 兩者之間，實(shí)現(xiàn)了在一些被稱為桌面虛擬現(xiàn)實(shí)的系統(tǒng)中，對(duì)桌面現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)都能應(yīng)用，使得用戶在與虛擬場(chǎng)景進(jìn)行交互操作的同時(shí)，能將虛擬交互體驗(yàn)以增強(qiáng)現(xiàn)實(shí)的方式投影到其他3D/2D 顯示設(shè)備中[4]。（3）第三層次是沉浸式虛擬現(xiàn)實(shí)（ImmersiveVirtualReality），實(shí)現(xiàn)的主要方式是戴上特制的頭盔顯示器、數(shù)據(jù)手套以及身體部位跟蹤器，通過(guò)視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)甚至嗅覺(jué)和味覺(jué)，可在虛擬場(chǎng)景中進(jìn)行逼真的體驗(yàn)或互動(dòng)。

2.融合真實(shí)與虛擬所形成的增強(qiáng)現(xiàn)實(shí)（AR）

在虛擬現(xiàn)實(shí)基礎(chǔ)技術(shù)成熟并能初步構(gòu)建虛擬現(xiàn)實(shí)系統(tǒng)之后，人們開(kāi)始大力提升虛擬現(xiàn)實(shí)的逼真度和人機(jī)交互的豐富性。因此，圍繞虛擬現(xiàn)實(shí)又先后誕生了AR、MR 直至XR 等概念。虛擬現(xiàn)實(shí)技術(shù)雖然為人們打造了一個(gè)完全隔絕外界物理世界的沉浸式空間，但長(zhǎng)時(shí)間處在這一環(huán)境中，也會(huì)讓身體產(chǎn)生某些不適感，容易使人迷失在虛實(shí)空間的錯(cuò)亂中，個(gè)人的自由度也受設(shè)備的限制。AR 技術(shù)是在VR 的基礎(chǔ)上發(fā)展而來(lái)，是疊加或融合到用戶所看到的真實(shí)世界中的技術(shù)，可用來(lái)模擬對(duì)象，讓學(xué)習(xí)者在現(xiàn)實(shí)環(huán)境中看到虛擬生成的模型對(duì)象[5]。即增強(qiáng)現(xiàn)實(shí)是被虛擬信息增強(qiáng)了的現(xiàn)實(shí)，增強(qiáng)現(xiàn)實(shí)對(duì)現(xiàn)實(shí)世界信息的捕捉走向多模態(tài)化。VR 階段主要是對(duì)視聽(tīng)信息的呈現(xiàn)，而AR 把視聽(tīng)之外的味覺(jué)、嗅覺(jué)、觸覺(jué)信息也糅合到用戶體驗(yàn)中，模擬仿真度進(jìn)一步增強(qiáng)。所以說(shuō)，AR 能夠提供真實(shí)環(huán)境的互動(dòng)體驗(yàn)，真實(shí)與虛擬的組合、實(shí)時(shí)交互、真實(shí)與虛擬的三維登記（Three Dimension Registration），成為AR 的三個(gè)典型特征。AR 把真實(shí)的環(huán)境和虛擬的物體，實(shí)時(shí)地疊加到了同一個(gè)畫(huà)面或空間并同時(shí)存在，帶給人們更加自然的虛實(shí)融合體驗(yàn)。

3.融合VR 和AR 的混合現(xiàn)實(shí)（MR）

VR 和AR 各自還沒(méi)有走到極致，就開(kāi)始融合——混合現(xiàn)實(shí)（MR）產(chǎn)生。MR 是將真實(shí)世界和虛擬世界混合在一起，產(chǎn)生新的可視化環(huán)境，環(huán)境中同時(shí)包含了物理實(shí)體與虛擬信息。AR 所創(chuàng)造的虛擬物體，是可以明顯看出是虛擬的，而MR 設(shè)備直接向視網(wǎng)膜投射整個(gè)四維光場(chǎng)，用戶看到的虛擬物體和真實(shí)物體幾乎無(wú)法區(qū)分。所以也有人說(shuō)，MR 是AR 的進(jìn)一步增強(qiáng)版。比如，在2018年度獲得美國(guó)航空航天局年度軟件獎(jiǎng)的OnSight，即是一款成功的MR 系統(tǒng)。因?yàn)榭茖W(xué)家很難通過(guò)火星的2D 圖像來(lái)可視化其環(huán)境，OnSight 則使用了Microsoft HoloLens 混合現(xiàn)實(shí)耳機(jī)，使用來(lái)自NASA 好奇號(hào)流動(dòng)站的圖像來(lái)創(chuàng)建沉浸式3D 地形模型，允許科學(xué)家、工程師甚至公眾體驗(yàn)在火星上“行走”的感覺(jué)，使用戶能夠“真實(shí)體驗(yàn)”由機(jī)器人在火星上漫游時(shí)的實(shí)際沙丘和山谷[6]。

4.營(yíng)造全新沉浸感的擴(kuò)展現(xiàn)實(shí)（XR）

擴(kuò)展現(xiàn)實(shí)（XR）在營(yíng)造沉浸感方面完全超越了VR、AR 和MR，使用戶忘卻懷疑并完全沉浸于人為所創(chuàng)建的環(huán)境中，又能使用戶借助XR 技術(shù)將虛擬數(shù)字對(duì)象疊加到現(xiàn)實(shí)世界。同時(shí)，它也將物理世界的物件引入到虛擬世界中[7]，本質(zhì)上也是通過(guò)計(jì)算機(jī)技術(shù)和可穿戴設(shè)備等，產(chǎn)生的一個(gè)真實(shí)與虛擬組合的、人機(jī)交互的環(huán)境，它是在MR 基礎(chǔ)上的進(jìn)一步發(fā)展。當(dāng)前階段的擴(kuò)展現(xiàn)實(shí)，已能應(yīng)用精確、高效及高性價(jià)比的感應(yīng)器，在輸入階段就能夠捕捉并識(shí)別人體數(shù)據(jù)和環(huán)境數(shù)據(jù)，即XR 已開(kāi)始應(yīng)用多種感應(yīng)器協(xié)同工作，以提高識(shí)別精度。換言之，XR 技術(shù)實(shí)現(xiàn)了視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)及嗅覺(jué)的五感實(shí)時(shí)反饋，為用戶提供高情境化的真實(shí)感官體驗(yàn)。

但在學(xué)術(shù)界與商業(yè)領(lǐng)域，對(duì)擴(kuò)展現(xiàn)實(shí)還有另外一種解讀。如，高通公司2018年10月發(fā)布的《擴(kuò)展現(xiàn)實(shí)的移動(dòng)未來(lái)》（The Mobile Future of Extended Reality）中，把擴(kuò)展現(xiàn)實(shí)定義為下一個(gè)移動(dòng)計(jì)算平臺(tái)[8]。iLRN 在2020年度會(huì)議的總結(jié)報(bào)告中，則把VR、AR、MR 和其它相關(guān)技術(shù)統(tǒng)稱為XR[9]。《地平線2020年報(bào)告：教與學(xué)版》 也用XR 指代VR、AR、MR 和Haptic（觸覺(jué)）等各種技術(shù)。最近，維基百科（Wikipedia）使用了與iLRN 相似的對(duì)XR 的定義：擴(kuò)展現(xiàn)實(shí)是一個(gè)術(shù)語(yǔ)，指的是由計(jì)算機(jī)技術(shù)和可穿戴設(shè)備生成的所有真實(shí)和虛擬組合環(huán)境以及人機(jī)交互，其中“X”表示任何當(dāng)前或?qū)?lái)的空間計(jì)算技術(shù)的變量[10]。從這個(gè)意義上而言，擴(kuò)展現(xiàn)實(shí)包括了虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)等多種形式。所以，為了避免概念混淆，XR 可被看作是一個(gè)總稱式的術(shù)語(yǔ)。按此理解的XR，可以分為多個(gè)層次，包括從僅是簡(jiǎn)單二維或三維觀看的虛擬世界，到能用視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、味覺(jué)和嗅覺(jué)五感互動(dòng)的沉浸式世界。

三、XR 營(yíng)造沉浸式學(xué)習(xí)環(huán)境的資源支撐與實(shí)施技術(shù)

沉浸式學(xué)習(xí)（Immersive Learning）是使用模擬或人工環(huán)境進(jìn)行學(xué)習(xí)的過(guò)程，該環(huán)境使學(xué)習(xí)者完全沉浸于學(xué)習(xí)過(guò)程中，并且感覺(jué)就像體驗(yàn)了真實(shí)的學(xué)習(xí)環(huán)境。虛擬現(xiàn)實(shí)技術(shù)的飛速發(fā)展，極大程度地增加了沉浸式學(xué)習(xí)體驗(yàn)中的沉浸度。當(dāng)技術(shù)發(fā)展至擴(kuò)展現(xiàn)實(shí)階段，沉浸式學(xué)習(xí)是指通過(guò)使用虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)及擴(kuò)展現(xiàn)實(shí)等各類技術(shù)，為學(xué)習(xí)者營(yíng)造一種真實(shí)感極強(qiáng)并且無(wú)干擾的新環(huán)境，在這個(gè)環(huán)境中，學(xué)習(xí)者可與各種對(duì)象進(jìn)行復(fù)雜或多元的交互。

（一）沉浸式學(xué)習(xí)的特征

斯坦福大學(xué)“虛擬人類互動(dòng)實(shí)驗(yàn)室”（Virtual Human Interaction Lab）的創(chuàng)始人杰里米·拜倫森（Jeremy Bailenson）基于十余年的神經(jīng)科學(xué)研究發(fā)現(xiàn)：良好的虛擬現(xiàn)實(shí)體驗(yàn)，能有效提高學(xué)習(xí)者的參與度、知識(shí)的記憶水平及自我效能感[11]。Freitas 和Neumann概括了沉浸式學(xué)習(xí)環(huán)境所表現(xiàn)出的三個(gè)典型特征：情境性（Simulative）、認(rèn)知性（Cognitive）和關(guān)聯(lián)性（Associate）[12]。情境性是指學(xué)習(xí)者在沉浸式學(xué)習(xí)環(huán)境中的活動(dòng)映射于某個(gè)實(shí)踐性社區(qū)；認(rèn)知性是指學(xué)習(xí)者的活動(dòng)建立在經(jīng)驗(yàn)、反思、抽象和實(shí)驗(yàn)的基礎(chǔ)上；關(guān)聯(lián)性意味著學(xué)習(xí)者能獲得即時(shí)反饋?？傮w而言，沉浸式學(xué)習(xí)環(huán)境能較好地激發(fā)學(xué)習(xí)者的主動(dòng)性，沉浸式學(xué)習(xí)是數(shù)字化學(xué)習(xí)的未來(lái)，沉浸式學(xué)習(xí)也能夠創(chuàng)建與現(xiàn)實(shí)世界無(wú)法區(qū)分的虛擬世界。

目前，在為學(xué)習(xí)者提供沉浸式學(xué)習(xí)體驗(yàn)的眾多方法之中，模擬、基于游戲的學(xué)習(xí)、擴(kuò)展現(xiàn)實(shí)技術(shù)和360 度視頻這四種方法，較為常見(jiàn)。這四種方法都為學(xué)習(xí)者進(jìn)行如圖1所示（該圖源自Kolb 模型[13]）的探究式學(xué)習(xí)，提供了環(huán)境支撐。既可為學(xué)習(xí)提供場(chǎng)景、提供互動(dòng)式故事講述；也可以開(kāi)展復(fù)雜的決策模擬，并能夠?yàn)閷W(xué)習(xí)者提供虛擬空間內(nèi)的社交與協(xié)作。

圖1 Kolb 探究式學(xué)習(xí)模型

首先，沉浸式學(xué)習(xí)環(huán)境為學(xué)習(xí)者創(chuàng)建了真實(shí)的或虛實(shí)融合的情境，在其間，學(xué)習(xí)者可以有操作、交互、參與的具體經(jīng)驗(yàn)，由此產(chǎn)生觀察與反思，從而對(duì)某方面知識(shí)或技能形成抽象性概念；然后，再把這些概念的理解應(yīng)用于新的情境，以檢驗(yàn)或測(cè)試所建構(gòu)的概念模型的正誤，從而做出相應(yīng)的修正。但需注意的是，沉浸式學(xué)習(xí)與體驗(yàn)式學(xué)習(xí)又具有一定的差異：沉浸式學(xué)習(xí)最重要的是利用了虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和移動(dòng)設(shè)備等技術(shù)；而體驗(yàn)式學(xué)習(xí)并不需要這些技術(shù)，并且沉浸式學(xué)習(xí)更專注于打造無(wú)干擾的世界和以學(xué)習(xí)者為中心的學(xué)習(xí)模式。

（二）沉浸式學(xué)習(xí)的資源和技術(shù)支撐

一方面，XR 在營(yíng)造沉浸感上，比既往的虛擬現(xiàn)實(shí)技術(shù)更進(jìn)一步；另一方面，作為技術(shù)內(nèi)涵非常廣泛的概念，XR 又包含了能夠創(chuàng)造沉浸式和身臨其境體驗(yàn)的所有技術(shù)。

1.靈活開(kāi)放的XR 資源

能否提供靈活和開(kāi)放的資源，一直是學(xué)界長(zhǎng)期關(guān)注的問(wèn)題。XR 在共享內(nèi)容資源和軟件開(kāi)發(fā)方面形成新的機(jī)遇，行業(yè)培訓(xùn)和整個(gè)教育界都將受益于為完整的XR 環(huán)境和VR/AR 資源而開(kāi)放的存儲(chǔ)庫(kù)。因?yàn)樗鼈兪悄K化、可重用和可擴(kuò)展的。比如，杜克大學(xué)藝術(shù)、藝術(shù)史和視覺(jué)研究系的“數(shù)字博物館實(shí)驗(yàn)室”，以挖掘信息為目的，與古典藝術(shù)、計(jì)算機(jī)科學(xué)和腦科學(xué)研究合作，致力于模擬過(guò)去而不是重建過(guò)去。由于資源充沛，學(xué)生利用這些資源，可在虛擬博物館課程中創(chuàng)建自己的虛擬博物館，將由于種種原因而損失的東西可視化，其中用到了增強(qiáng)現(xiàn)實(shí)、沉浸式虛擬現(xiàn)實(shí)、3D 建模、WebGIS 和整體可視化等各種技術(shù)[14]。

2.觸覺(jué)反饋技術(shù)

觸覺(jué)反饋（Factile Feedback 或Haptic）是近年來(lái)重要的人機(jī)界面設(shè)計(jì)元素，通過(guò)觸覺(jué)界面可快速讀取信息，也能直觀地表達(dá)出人的情緒信息。觸覺(jué)一詞，來(lái)自希臘語(yǔ)動(dòng)詞haptesthai，意為“接觸或觸摸”，觸覺(jué)技術(shù)為計(jì)算機(jī)增加了觸摸和感覺(jué)的意識(shí)或體驗(yàn)，可以通過(guò)向用戶施加力、振動(dòng)或運(yùn)動(dòng)，來(lái)使用戶感覺(jué)到動(dòng)作、阻力[15]。當(dāng)傳感器與人體皮膚接觸時(shí)，即具有觸摸感，并成為傳感器所獲得的信息。所以，在觸覺(jué)反饋技術(shù)中，觸覺(jué)傳感器（Force Touch Sensor）是一個(gè)非常重要的部件，觸覺(jué)反饋系統(tǒng)通常由觸摸產(chǎn)生的壓力、壓力的識(shí)別、識(shí)別后的回饋指令，由這三個(gè)大的部分所組成。

觸覺(jué)技術(shù)中的動(dòng)覺(jué)反饋，與通過(guò)感覺(jué)器官對(duì)身體各部位的位置和運(yùn)動(dòng)的認(rèn)識(shí)有關(guān)，它依賴于傳感器在關(guān)節(jié)和肌肉中所獲取的信息，使人感受到通過(guò)受體與身體接觸時(shí)所施加的力。觸覺(jué)設(shè)備包含主動(dòng)觸覺(jué)設(shè)備和被動(dòng)觸覺(jué)設(shè)備兩種類型。由計(jì)算機(jī)控制的通過(guò)電子、電氣或機(jī)械方式，向用戶提供觸覺(jué)或力反饋的設(shè)備，被稱為主動(dòng)觸覺(jué)設(shè)備。這些設(shè)備配備有產(chǎn)生力的反饋機(jī)制，比如，Phantom、Cybergrasp 等。相對(duì)而言，被動(dòng)觸覺(jué)設(shè)備是人為控制的，這些設(shè)備配備有致動(dòng)器，該致動(dòng)器僅根據(jù)用戶的運(yùn)動(dòng)產(chǎn)生動(dòng)作，例如，手套、可穿戴設(shè)備和外骨骼等。觸覺(jué)反饋技術(shù)等（還有面部情感捕捉）在游戲行業(yè)和醫(yī)療行業(yè)獲得了大量應(yīng)用，商業(yè)數(shù)字游戲（如，PS4、Xbox one 或3A級(jí)PC 游戲）中廣泛使用該技術(shù)。一些移動(dòng)應(yīng)用程序開(kāi)發(fā)商，已將觸覺(jué)反饋技術(shù)應(yīng)用于移動(dòng)游戲中，創(chuàng)造逼真的震撼感；醫(yī)療應(yīng)用程序使用為醫(yī)學(xué)模擬而設(shè)計(jì)的Haptic 界面，支撐遠(yuǎn)程手術(shù)和虛擬醫(yī)學(xué)培訓(xùn)。

3.手部跟蹤與手勢(shì)識(shí)別技術(shù)

手部跟蹤（Hand Tracking）一直被認(rèn)為是一種交互技術(shù)，能夠提供更自然、更具創(chuàng)造性和更直觀的方法來(lái)與計(jì)算機(jī)進(jìn)行通信，手部跟蹤系統(tǒng)使用人的手掌和手指作為輸入。手部跟蹤與手勢(shì)識(shí)別（Gesture Recognition）這兩種方法都允許用戶用手與計(jì)算機(jī)交互，而不需要觸摸控制器或設(shè)備。在某些情況下，手跟蹤或手勢(shì)識(shí)別系統(tǒng)使用標(biāo)記、手套或傳感器，在大多數(shù)情況下，這兩類系統(tǒng)的應(yīng)用都不需要用戶觸摸任何東西。但手勢(shì)識(shí)別系統(tǒng)和手勢(shì)跟蹤系統(tǒng)有一個(gè)根本的區(qū)別：手勢(shì)識(shí)別系統(tǒng)識(shí)別特定的手勢(shì)，并且只有這些手勢(shì)，例如，使用豎起大拇指的手勢(shì)來(lái)表示“確定”，或者使用放平手來(lái)表示“停止”。而基于手勢(shì)的系統(tǒng)通常僅限于特定數(shù)量的手勢(shì)，對(duì)于數(shù)量有限的手勢(shì)，手勢(shì)系統(tǒng)通常會(huì)相當(dāng)準(zhǔn)確地識(shí)別它們。當(dāng)前，一般借助于體感控制器和深度相機(jī)等方法進(jìn)行手勢(shì)跟蹤[16]。手部跟蹤在增強(qiáng)現(xiàn)實(shí)中非常有用，因?yàn)樗峁┝艘子谑褂玫淖匀挥脩艚缑媾c數(shù)字信息交互，它通常需要特殊的深度傳感器和獨(dú)立處理器等昂貴的技術(shù)，但現(xiàn)在這些技術(shù)的價(jià)格正在大幅降低。

4.360 度視頻和沉浸式互動(dòng)教學(xué)視頻

視頻是當(dāng)前使用頻繁、最吸引人的內(nèi)容形式，這就是為什么如今許多數(shù)字化學(xué)習(xí)課程都基于視頻的原因。盡管傳統(tǒng)視頻能在計(jì)算機(jī)和移動(dòng)設(shè)備上觀看，但它們卻無(wú)法與360 度視頻所具有的身臨其境般學(xué)習(xí)體驗(yàn)相提并論。如果想讓學(xué)習(xí)者全面了解地理位置和某個(gè)建筑物，那么，360 度視頻尤為有用。360 度視頻比需要高端耳機(jī)的完整VR 體驗(yàn)更容易共享，這些視頻可在線發(fā)布，并可通過(guò)獨(dú)立的VR 耳機(jī)（例如，Oculus Go 和Lenovo Mirage Solo），與用戶智能手機(jī)配對(duì)的Google Cardboard 進(jìn)行觀看。

360 度視頻的創(chuàng)建，通常需要360 度攝像頭、三腳架、照明、麥克風(fēng)等設(shè)備，完成拍攝后，必須編輯視頻才能將其轉(zhuǎn)換為合適的視頻學(xué)習(xí)模塊或課程，常用的編輯軟件有Adobe Premiere Pro，F(xiàn)inal Cut Pro或VSDC 等。為了給學(xué)習(xí)者提供身臨其境般的學(xué)習(xí)體驗(yàn)，必須使用游戲引擎軟件，通過(guò)向視頻中添加3D 動(dòng)畫(huà)和其他內(nèi)容，將360 度視頻轉(zhuǎn)換為交互式、個(gè)性化的視頻游戲。為了簡(jiǎn)化360 度視頻的制作與使用，當(dāng)前一些集成化平臺(tái)正在出現(xiàn)，如，Uptale 和Near-Life。Uptale 提供分?jǐn)?shù)統(tǒng)計(jì)、交互統(tǒng)計(jì)等功能，大大簡(jiǎn)化了教學(xué)團(tuán)隊(duì)創(chuàng)建量身定制的在線和沉浸式學(xué)習(xí)體驗(yàn)的方法[17]。Near-LifeTMCREATOR 則是一種交互式視頻創(chuàng)作工具，可讓教學(xué)開(kāi)發(fā)者設(shè)計(jì)并開(kāi)發(fā)沉浸式學(xué)習(xí)場(chǎng)景。Near-LifeTMCREATOR 使學(xué)習(xí)設(shè)計(jì)師和內(nèi)容制作者免于對(duì)復(fù)雜的虛擬現(xiàn)實(shí)技術(shù)的操作，并將基于場(chǎng)景的學(xué)習(xí)創(chuàng)建提高到一個(gè)新的水平[18]。

大批量移動(dòng)應(yīng)用程序的推出，為擴(kuò)展現(xiàn)實(shí)技術(shù)迅速走向普及，提供了堅(jiān)實(shí)的基礎(chǔ)。如，谷歌長(zhǎng)期運(yùn)行的Tango 項(xiàng)目，最終通過(guò)Lenovo Phab2 Pro 和即將推出的Asus Zenfone AR 進(jìn)入智能手機(jī)，Tango 使設(shè)備能夠識(shí)別空間并在室內(nèi)提供精確的位置信息。蘋(píng)果公司在6月舉行的WWDC 開(kāi)發(fā)者大會(huì)上，宣布了適用于iOS 的ARKit，這是一個(gè)易于使用的移動(dòng)平臺(tái)，用于為iPhone 和iPad 開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)體驗(yàn)，開(kāi)發(fā)人員已開(kāi)始在網(wǎng)絡(luò)上分享令人印象深刻的AR 體驗(yàn)視頻。Google 最近發(fā)布的Cloud Anchor 工具，可供開(kāi)發(fā)人員創(chuàng)建多用戶體驗(yàn)，Apple 新的ARKit 將通過(guò)其iPhone，提供共享的增強(qiáng)體驗(yàn)。

四、擴(kuò)展現(xiàn)實(shí)支撐沉浸式學(xué)習(xí)的應(yīng)用模式

本次iLRN 2020 會(huì)議共征集了84 篇論文，我們通過(guò)對(duì)論文的內(nèi)容分析顯示，擴(kuò)展現(xiàn)實(shí)技術(shù)可以支撐創(chuàng)建如表2所示的七類沉浸式學(xué)習(xí)情境。

表2 基于XR 技術(shù)創(chuàng)建的七類沉浸式學(xué)習(xí)情境

（一）虛實(shí)融合的混合式學(xué)習(xí)空間

擴(kuò)展現(xiàn)實(shí)技術(shù)支持下的沉浸式學(xué)習(xí)環(huán)境，成為國(guó)內(nèi)外“智慧—智能”學(xué)習(xí)環(huán)境新的發(fā)展趨勢(shì)。在過(guò)去的10 多年間，數(shù)字化校園內(nèi)建立了各類型的學(xué)習(xí)空間，從早先的VR 到近年來(lái)利用XR 新開(kāi)發(fā)的沉浸式內(nèi)容。其中，混合學(xué)習(xí)空間和XR 沉浸式實(shí)驗(yàn)室是沉浸式學(xué)習(xí)環(huán)境的重要體現(xiàn)。比如，Roopesh Sitharan的研究團(tuán)隊(duì)初步探索了通過(guò)以MOOC 為中間橋梁，充分利用AR、VR 和HOLO 的技術(shù)潛力，將物理學(xué)習(xí)空間和虛擬學(xué)習(xí)空間結(jié)合起來(lái)，打造了一個(gè)全新態(tài)的混合學(xué)習(xí)空間[19]。該項(xiàng)目的目標(biāo)是創(chuàng)建一個(gè)將傳統(tǒng)課堂與虛擬環(huán)境結(jié)合起來(lái)的新型混合學(xué)習(xí)空間。其打造堅(jiān)持了以下四個(gè)原則：（1）創(chuàng)造一個(gè)學(xué)習(xí)空間，讓學(xué)習(xí)者開(kāi)展創(chuàng)造性活動(dòng)；（2）通過(guò)支持個(gè)性化學(xué)習(xí)體驗(yàn)，將知識(shí)轉(zhuǎn)化為行動(dòng)；（3）通過(guò)動(dòng)手設(shè)計(jì)和迭代，實(shí)現(xiàn)高階問(wèn)題的解決；（4）通過(guò)為學(xué)習(xí)提供虛擬空間，克服物理空間的局限性。

為此，該新型混合學(xué)習(xí)空間包含被稱為Merlin游樂(lè)場(chǎng)的物理學(xué)習(xí)空間和被稱為Merlin 在線（Online）的虛擬空間，這個(gè)虛擬空間是一個(gè)可以作為虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和全息空間延伸的cMOOC。圖2所示就是融合VR、AR 和全息圖像（Hologram）設(shè)計(jì)而成的混合式學(xué)習(xí)空間。圖3中展示了該混合學(xué)習(xí)空間中不同用戶的具體行為，由此幫助學(xué)習(xí)者使用各種體驗(yàn)技術(shù)參與學(xué)習(xí)。值得一提的是，圖3中還顯示了這些技術(shù)之間的關(guān)系和相互作用，以便創(chuàng)建一個(gè)更為有效的學(xué)習(xí)和教學(xué)系統(tǒng)。

（二）基于擴(kuò)展現(xiàn)實(shí)的虛擬實(shí)驗(yàn)室

人們一直在努力研究虛擬世界對(duì)學(xué)習(xí)的支撐作用，包括將“第二人生”（Second Life）用于可視化的化學(xué)概念。但長(zhǎng)期以來(lái)這些體驗(yàn)僅限于二維屏幕，與虛擬設(shè)備的所有交互都只能通過(guò)鼠標(biāo)和鍵盤(pán)進(jìn)行。有人通過(guò)Wii 遙控器將更多的觸覺(jué)體驗(yàn)與在線化學(xué)結(jié)合起來(lái)；然而，這些實(shí)驗(yàn)仍然使用二維顯示界面，無(wú)法從自由定位的角度顯示豐富的流體交互過(guò)程。

加州州立大學(xué)圣馬科斯分校（California State University San Marcos）為了激發(fā)學(xué)生學(xué)習(xí)的積極性[20]，設(shè)計(jì)了基于XR 的虛擬實(shí)驗(yàn)室，使學(xué)生體驗(yàn)在傳統(tǒng)學(xué)習(xí)環(huán)境中受到限制或不可能實(shí)現(xiàn)的實(shí)際操作場(chǎng)景。該研究采用的理論框架是學(xué)生動(dòng)機(jī)中的注意、關(guān)聯(lián)、信心和滿意度（ARCS）模型。其目的是確定大學(xué)生使用XR 沉浸式實(shí)驗(yàn)室的注意力、滿意度、相關(guān)性和自信心，從而確定XR 沉浸式實(shí)驗(yàn)室在多大程度上會(huì)改變學(xué)生對(duì)運(yùn)動(dòng)控制和學(xué)習(xí)課程的認(rèn)知和學(xué)習(xí)動(dòng)機(jī)。該研究從該校開(kāi)設(shè)的名為“運(yùn)動(dòng)機(jī)能學(xué)301：運(yùn)動(dòng)控制與學(xué)習(xí)” 的高等學(xué)區(qū)本科課程中，征集了148 名參與者，包括大三和其他高年級(jí)的學(xué)生。在沉浸式實(shí)驗(yàn)內(nèi)容結(jié)束后，學(xué)生們被要求寫(xiě)一篇反思，回答關(guān)于在實(shí)驗(yàn)室中使用虛擬實(shí)驗(yàn)室的感受；他們還被要求匿名完成凱勒“IMMS 動(dòng)機(jī)量表”的在線調(diào)查，以評(píng)估學(xué)生的學(xué)習(xí)動(dòng)機(jī)情況。來(lái)自IMMS 調(diào)查和學(xué)生反思的結(jié)果表明，與傳統(tǒng)教學(xué)方法相比，XR 沉浸式實(shí)驗(yàn)室提高了學(xué)生的學(xué)習(xí)動(dòng)機(jī)。

圖2 基于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和全息圖像的混合學(xué)習(xí)空間

圖3 混合式學(xué)習(xí)空間的系統(tǒng)設(shè)計(jì)

目前，大多數(shù)在線化學(xué)學(xué)習(xí)經(jīng)驗(yàn)都局限于鼠標(biāo)和鍵盤(pán)的交互作用，缺乏觸覺(jué)實(shí)驗(yàn)反饋。針對(duì)未來(lái)在線化學(xué)教學(xué)發(fā)展需要，Charles Amador 等人提出了一個(gè)滴定實(shí)驗(yàn)[21]，用相應(yīng)的物理觸覺(jué)滴定管，將實(shí)驗(yàn)室的物理感覺(jué)嵌入到基于虛擬現(xiàn)實(shí)環(huán)境的學(xué)習(xí)進(jìn)程當(dāng)中，以使學(xué)生獲得更為全面的信息感知。Charles Amador 等人研究了如何在完全沉浸式世界中進(jìn)行觸覺(jué)交互，以幫助學(xué)生更好地理解和掌握關(guān)鍵的化學(xué)概念，例如，滴定原理。為此，他們開(kāi)發(fā)了一種酸堿滴定實(shí)驗(yàn)，學(xué)生可以觀察液體相互作用和滴定的顏色變化特性，也可以通過(guò)讀取虛擬滴定管內(nèi)液體的彎月面，來(lái)確定液體的分配體積。通過(guò)3D 打印等電子設(shè)備，學(xué)生還可以控制物理觸覺(jué)滴定管，并在虛擬現(xiàn)實(shí)中操縱相應(yīng)的虛擬滴定管。實(shí)驗(yàn)過(guò)程將視覺(jué)上令人信服的流體相互作用與觸覺(jué)滴定管的觸覺(jué)完美結(jié)合起來(lái)，能夠給學(xué)生提供印象深刻的滴定體驗(yàn)，真正給學(xué)生提供如戴爾所說(shuō)的“做的經(jīng)驗(yàn)”。這種經(jīng)驗(yàn)和體驗(yàn)都源于基于擴(kuò)展現(xiàn)實(shí)的虛擬實(shí)驗(yàn)，讓學(xué)生感覺(jué)到自己在真實(shí)實(shí)驗(yàn)中的存在：自己操縱滴定管的過(guò)程，不再是過(guò)去虛擬的二維界面中那樣操縱某個(gè)按鈕或者僅是簡(jiǎn)單點(diǎn)擊鼠標(biāo)，而是能夠“真實(shí)”地做出拿取、傾倒等的手勢(shì)和動(dòng)作，并獲得觸覺(jué)反饋。

（三）基于擴(kuò)展現(xiàn)實(shí)建構(gòu)游戲化學(xué)習(xí)

游戲化學(xué)習(xí)是伴隨著嚴(yán)肅游戲或者教育游戲等發(fā)展而產(chǎn)生的新形式，旨在借助游戲媒介或者抽取游戲設(shè)計(jì)中的元素、方法及技巧等，以提升學(xué)習(xí)者學(xué)習(xí)動(dòng)機(jī)，激發(fā)其主動(dòng)或探究學(xué)習(xí)。應(yīng)用擴(kuò)展現(xiàn)實(shí)打造沉浸式的游戲環(huán)境，不僅增加了學(xué)習(xí)過(guò)程的趣味性，更為重要的是走出了傳統(tǒng)的二維界面的體驗(yàn)方式，使學(xué)習(xí)者（游戲參與者）與環(huán)境產(chǎn)生更具有深度、有趣的互動(dòng)，這為學(xué)習(xí)者充分體驗(yàn)?zāi)承┚哂刑厥?、危險(xiǎn)或恐懼的情境，提供了可能，也極大程度地拓寬了某些行動(dòng)不便的學(xué)習(xí)者感知世界的范圍。

針對(duì)在STEM 相關(guān)領(lǐng)域?qū)W習(xí)有困難的美國(guó)高中生這一人群，Alec Bodzin 等人設(shè)計(jì)并開(kāi)發(fā)了一款沉浸式虛擬現(xiàn)實(shí)（iVR）游戲，供學(xué)生了解地理位置，并進(jìn)一步關(guān)注他們所在的城市[22]。iVR 是在模擬環(huán)境中使用VR 耳機(jī)生成真實(shí)圖像和聲音的交互式體驗(yàn)，以及通過(guò)交互來(lái)模擬用戶在三維虛擬環(huán)境中物理存在的手持控制器。使用iVR 的人能夠在一個(gè)人工營(yíng)造的世界中移動(dòng)和環(huán)顧四周，并諸如在教室環(huán)境中與虛擬角色或項(xiàng)目交互，而不會(huì)分心。

在這樣一個(gè)iVR 游戲環(huán)境中，真實(shí)的圖像、內(nèi)容、數(shù)據(jù)、動(dòng)畫(huà)、視頻和敘述被結(jié)合在一起，從而為學(xué)習(xí)者提供高度沉浸式的學(xué)習(xí)體驗(yàn)。iVR 技術(shù)允許在沉浸式環(huán)境中提供此類支持，這為非英語(yǔ)母語(yǔ)者和有行動(dòng)障礙的人訪問(wèn)STEM 相關(guān)內(nèi)容，提供便利的途徑。iVR 技術(shù)使學(xué)習(xí)者能夠體驗(yàn)到別致的地理位置或特殊場(chǎng)景，圖4所示就是該游戲設(shè)計(jì)的概念模型（以下簡(jiǎn)稱iVR 學(xué)習(xí)模型）。

圖4 沉浸式游戲化學(xué)習(xí)的概念模型

iVR 學(xué)習(xí)模型，側(cè)重于通過(guò)iVR 游戲體驗(yàn)與參與，感悟并獲得游戲化學(xué)習(xí)的要素。參與可以定義為一個(gè)人在任務(wù)中的專注、活動(dòng)和堅(jiān)持，因此，它與適應(yīng)性或自我調(diào)節(jié)學(xué)習(xí)相關(guān)，參與是任務(wù)過(guò)程中發(fā)生的事情，是學(xué)習(xí)者與任務(wù)本身和支持環(huán)境的元素相互作用的結(jié)果。Delph、Cannady 和Shunn 曾討論了參與的三個(gè)維度：（1）行為參與，關(guān)注的是參與學(xué)習(xí)活動(dòng)的人的樣子或正在做什么；（2）認(rèn)知參與，專注于思維過(guò)程或注意力導(dǎo)向，能夠處理和理解學(xué)習(xí)任務(wù)中的內(nèi)容；（3）情感投入，包括在游戲活動(dòng)中體驗(yàn)到的情緒與情緒變化。

iVR 的研究者在美國(guó)東部的一個(gè)城市學(xué)校，對(duì)54 名16-18 歲的青少年實(shí)施了iVR 游戲的實(shí)驗(yàn)。研究結(jié)果顯示：幾乎所有的用戶（98.1%）對(duì)使用虛擬現(xiàn)實(shí)游戲持積極態(tài)度。學(xué)生的體驗(yàn)反饋也指出，他們經(jīng)歷了高度的沉浸感和在場(chǎng)感。此外，學(xué)生對(duì)在學(xué)校環(huán)境中使用iVR 游戲的學(xué)習(xí)態(tài)度也較好。即基于游戲的iVR 學(xué)習(xí)，通過(guò)將學(xué)習(xí)融入學(xué)習(xí)者的真實(shí)體驗(yàn)中，從而為學(xué)習(xí)者提供了一種高度沉浸式、即時(shí)和個(gè)性化的學(xué)習(xí)體驗(yàn)，使學(xué)習(xí)者表現(xiàn)出很高的參與度。

（四）擴(kuò)展現(xiàn)實(shí)打造職業(yè)培訓(xùn)中的沉浸式學(xué)習(xí)情境

XR 技術(shù)將在培訓(xùn)未來(lái)勞動(dòng)力方面，發(fā)揮著關(guān)鍵作用。雖然擴(kuò)展現(xiàn)實(shí)技術(shù)已經(jīng)在專業(yè)領(lǐng)域獲得廣泛應(yīng)用，但顯然有必要將其擴(kuò)大到所有入職領(lǐng)域，包括軟技能的培養(yǎng)和多元化培訓(xùn)。Howard 和Gutworth 進(jìn)行了一項(xiàng)基于隨機(jī)對(duì)照試驗(yàn)的分析，以確定虛擬現(xiàn)實(shí)培訓(xùn)項(xiàng)目在培養(yǎng)社交技能方面的總體有效性[23]。研究表明，虛擬現(xiàn)實(shí)培訓(xùn)項(xiàng)目在培養(yǎng)人的社交技能方面的表現(xiàn)，平均優(yōu)于其他項(xiàng)目。但先前的研究大都側(cè)重于練習(xí)運(yùn)動(dòng)技能，只有少數(shù)研究側(cè)重于學(xué)習(xí)社會(huì)技能以及在特定情況下如何與他人互動(dòng)。

Michael 和Kickmeier 探討了一個(gè)以游戲?yàn)榛A(chǔ)的虛擬現(xiàn)實(shí)訓(xùn)練方案，其在培訓(xùn)軟技能、人際關(guān)系技巧與陳述性知識(shí)相結(jié)合領(lǐng)域里的效果。個(gè)人面對(duì)面（F2F）輔導(dǎo)被認(rèn)為是培養(yǎng)人際交往能力的黃金標(biāo)準(zhǔn)，也是該領(lǐng)域最常用的專業(yè)培訓(xùn)方法。但傳統(tǒng)的培訓(xùn)方式通常需要花費(fèi)比較長(zhǎng)的時(shí)間，學(xué)員非常容易感覺(jué)到疲倦和分心，這導(dǎo)致培訓(xùn)效果事倍功半。除此之外，典型的F2F 研討會(huì)元素，特別是角色扮演行為，有時(shí)會(huì)讓人感到尷尬或不快。比如，當(dāng)被要求和其他人（大多數(shù)是陌生人）進(jìn)行角色扮演時(shí)，他們可能會(huì)感到不舒服。

為此，該研究團(tuán)隊(duì)探討了高沉浸式虛擬現(xiàn)實(shí)培訓(xùn)解決方案是否是銀行業(yè)專業(yè)培訓(xùn)的可行方法。高沉浸式虛擬現(xiàn)實(shí)培訓(xùn)，通過(guò)360 度視頻高清攝制的銀行銷售場(chǎng)景，并通過(guò)VR 頭戴式設(shè)備，提供沉浸式的技能培訓(xùn)體驗(yàn)，這種培訓(xùn)效率高且職員不會(huì)感到尷尬。他們對(duì)基于虛擬現(xiàn)實(shí)的培訓(xùn)方案和覆蓋同一領(lǐng)域的面對(duì)面培訓(xùn)進(jìn)行了比較，共有46 名奧地利銀行的銀行顧問(wèn)參與了這項(xiàng)研究，其中一組（34 名參與者）接受傳統(tǒng)的一天面對(duì)面現(xiàn)場(chǎng)研討會(huì)（F2F 組）的培訓(xùn)，第二組（12 名參與者）采用高沉浸式虛擬現(xiàn)實(shí)訓(xùn)練游戲（VR 組）進(jìn)行訓(xùn)練，VR 組采用360°交互式視頻所組成的高沉浸感游戲式VR 解決方案進(jìn)行訓(xùn)練（如圖5）。

圖5 360 度視頻截屏：銀行顧問(wèn)與客戶進(jìn)行銷售談話

在這一虛擬現(xiàn)實(shí)的體驗(yàn)中，學(xué)員可以觀察到銀行的真實(shí)情況，例如，對(duì)進(jìn)入銀行的客戶提供服務(wù)，或觀察銀行職員間的交談等。與交互式游戲類似，受訓(xùn)者可以干預(yù)場(chǎng)景，并做出某些預(yù)設(shè)的決定，例如，選擇銀行職員對(duì)某些客戶問(wèn)題的回答，或?qū)y行職員的注意力引向特定客戶，所用的技術(shù)是在Unity3D中加入Oculus Rift 耳機(jī)和觸摸控制器。該培訓(xùn)結(jié)果表明：使用虛擬現(xiàn)實(shí)訓(xùn)練的受試者對(duì)訓(xùn)練更為滿意，學(xué)習(xí)積極性更高，受試者認(rèn)為虛擬現(xiàn)實(shí)培訓(xùn)更加濃縮和集中，且用戶的行為和反應(yīng)可能更加放松和不受約束。當(dāng)將不愉快或破壞性的訓(xùn)練元素轉(zhuǎn)移到虛擬世界中時(shí)，還可以保持心理優(yōu)勢(shì)，并減少心理障礙。

與銀行職員相似，專業(yè)營(yíng)養(yǎng)師不僅需要很強(qiáng)的醫(yī)學(xué)專業(yè)知識(shí)，而且高超的社會(huì)技能也必不可少[24]，因此，會(huì)話技巧訓(xùn)練在營(yíng)養(yǎng)學(xué)課程中扮演著不可或缺的角色。然而，傳統(tǒng)的教學(xué)方法受到環(huán)境條件的制約大，無(wú)法及時(shí)有效地滿足所有人員的需求。頭戴式顯示器的出現(xiàn)，為營(yíng)養(yǎng)師和其他保健專業(yè)人員在會(huì)話技能訓(xùn)練方面，提供了更好的培訓(xùn)機(jī)會(huì)。例如，可以將通常在教室中進(jìn)行的角色扮演練習(xí)，轉(zhuǎn)移到如醫(yī)院這樣具有高實(shí)用相關(guān)性的虛擬環(huán)境中。

除了以上示例之外，iLRN 2020 會(huì)議還展示了應(yīng)用360°VR 模擬的社工專業(yè)社區(qū)互動(dòng)培訓(xùn)[25]。還有紐約大學(xué)社會(huì)工作學(xué)院（SSSW）將VR 模塊整合到課程中，創(chuàng)建VEU 框架為學(xué)生提供交互式體驗(yàn)，以磨練學(xué)生的社會(huì)工作實(shí)踐技能，特別是與客戶參與和評(píng)估相關(guān)的技能[26]。VEU 采用多種軟硬件來(lái)捕捉人的聲音和動(dòng)作表演，該框架能夠適用于Oculus Quest 耳機(jī)，這個(gè)虛擬環(huán)境能夠?qū)崿F(xiàn)對(duì)用戶六個(gè)自由度的手跟蹤，因此，學(xué)生可以通過(guò)手接觸并以一種自我更直觀的方式與環(huán)境互動(dòng)。沉浸式虛擬現(xiàn)實(shí)在建筑教學(xué)中也大有用武之地，在VR-C3S 中，學(xué)生利用模擬中可用的測(cè)量工具，評(píng)估模擬建筑工地的安全性[27]。VR-C3S 利用一個(gè)獨(dú)立的Oculus Go 虛擬現(xiàn)實(shí)耳機(jī)，為建筑管理專業(yè)的學(xué)生提供了一個(gè)實(shí)踐性學(xué)習(xí)體驗(yàn)，讓學(xué)生參與到主動(dòng)學(xué)習(xí)過(guò)程中，并獲得具身化的知識(shí)感受。

（五）擴(kuò)展現(xiàn)實(shí)將沉浸式故事融入學(xué)習(xí)

講故事的歷史非常悠久，人們也喜歡聽(tīng)故事。目前，講故事已通過(guò)多種形式與XR 聯(lián)姻。當(dāng)人們進(jìn)入沉浸式技術(shù)所呈現(xiàn)的世界時(shí)，虛擬和增強(qiáng)現(xiàn)實(shí)將改變故事敘述方式。在傳統(tǒng)的講故事格式中，敘事結(jié)構(gòu)被呈現(xiàn)給聽(tīng)眾、閱讀者或觀看者。但在虛擬現(xiàn)實(shí)中，聽(tīng)眾或參與者不再是被動(dòng)的見(jiàn)證人。正如克里斯·米爾克（Chris Milk）所說(shuō)：將來(lái)您將成為角色，這個(gè)故事將在您身上發(fā)生。Google Zoo 戰(zhàn)略計(jì)劃負(fù)責(zé)人Abigail Posner 表示，沉浸式敘事完全打破了講故事的線性結(jié)構(gòu)，并將其稱為“講故事的生活”。在翠貝卡電影節(jié)上，身臨其境的故事被稱為“storyscapes”[28]。

沉浸式敘事同時(shí)使用了360 度視頻和虛擬現(xiàn)實(shí)，視頻使用360 度攝像頭捕獲，而沉浸式計(jì)算機(jī)生成的VR 世界，則是在Unity 和Unreal 等游戲引擎中開(kāi)發(fā)的。參與者可采用不同的觀點(diǎn)，有時(shí)甚至成為主角，可以走進(jìn)故事并與虛擬世界中的人和物體互動(dòng)。即在XR 中的存在感改變了人們聽(tīng)故事的體驗(yàn)，參與者也成為環(huán)境的一部分，這激勵(lì)人們對(duì)遇到的事件采取行動(dòng)并做出響應(yīng)。基于構(gòu)建沉浸式敘事的理論，約瑟夫·布克納（Josef Buchner）等人提出了增強(qiáng)現(xiàn)實(shí)（AR）書(shū)籍的ARI2VE 模型[29]。這類書(shū)籍能夠借助AR 技術(shù)的潛能，在傳統(tǒng)紙質(zhì)書(shū)中加入互動(dòng)元素和虛擬物體，為讀者提供更直觀和生動(dòng)有趣的閱讀體驗(yàn)，能夠更好地理解文本，更積極地投入閱讀體現(xiàn)。該研究將AR 技術(shù)的潛力和學(xué)習(xí)、教學(xué)中的科學(xué)發(fā)現(xiàn)結(jié)合起來(lái)，構(gòu)建了ARI2VE 模型。該模型的組件包括互動(dòng)（Interaction）、可視化（Visualization）、參與（Engagement）和相互作用（Interplay）。每一個(gè)組件都充分地將AR 技術(shù)潛力與教學(xué)原則結(jié)合起來(lái)，最后融合成一個(gè)完整的模型，以實(shí)現(xiàn)AR 支持學(xué)習(xí)和教學(xué)的最好效果。這里的互動(dòng)包含與物的交互，也可實(shí)現(xiàn)人與人之間的交互；可視化則以多種媒體為技術(shù)基礎(chǔ)，需充分考慮學(xué)習(xí)者的認(rèn)知負(fù)荷是否過(guò)載，要使學(xué)習(xí)者完全理解學(xué)習(xí)內(nèi)容并產(chǎn)生深度學(xué)習(xí)。

（六）擴(kuò)展現(xiàn)實(shí)讓學(xué)習(xí)者成為創(chuàng)意設(shè)計(jì)者和創(chuàng)造者

如今的學(xué)生不僅是新媒體形式的主動(dòng)消費(fèi)者，而且也是潛在的創(chuàng)造者。沉浸式技術(shù)激發(fā)了學(xué)生成為新媒體的創(chuàng)造者和積極探索者[30]。在堪薩斯州Emporia 的Emporia 州立大學(xué)，Joyce Zhou 教授與市場(chǎng)營(yíng)銷專業(yè)的學(xué)生合作，幫助他們?yōu)樽约旱母叨隧?xiàng)目開(kāi)發(fā)VR 應(yīng)用：學(xué)生使用WebVR 和InstaVR 平臺(tái)來(lái)開(kāi)發(fā)與區(qū)域企業(yè)相關(guān)的應(yīng)用，通過(guò)創(chuàng)建引人入勝的360°導(dǎo)覽，學(xué)生不僅可以自己學(xué)習(xí)這些新工具的應(yīng)用，還可以幫助當(dāng)?shù)叵嚓P(guān)組織了解VR 營(yíng)銷和公共關(guān)系的可能性。

在布朗大學(xué)的格蘭諾夫創(chuàng)意藝術(shù)中心，虛擬現(xiàn)實(shí)藝術(shù)家Adam Blumenthal 與14 位大學(xué)生合作，使用虛擬現(xiàn)實(shí)研究了美國(guó)獨(dú)立戰(zhàn)爭(zhēng)時(shí)期的加斯佩事件。為了重現(xiàn)1772年這一事件，Blumenthal 的獨(dú)立研究小組重新創(chuàng)建了歷史場(chǎng)景中的演員、3D 建模和動(dòng)畫(huà)，他們使用Google Tilt Brush（一種房間規(guī)模的3D創(chuàng)新工具）在虛擬現(xiàn)實(shí)中對(duì)該項(xiàng)目進(jìn)行故事講述。這些學(xué)生來(lái)自計(jì)算機(jī)科學(xué)和視覺(jué)藝術(shù)等眾多學(xué)科，他們扮演了各種各樣的角色：從學(xué)習(xí)如何使用Google Jump VR 攝像頭（帶有16 個(gè)GoPro 攝像頭的裝置，可以立體拍攝）和VR 制作技術(shù)，到編寫(xiě)腳本和做導(dǎo)演、演員。Blumenthal 認(rèn)為，以VR 形式重現(xiàn)或制作新場(chǎng)景，可幫助學(xué)生對(duì)學(xué)習(xí)材料進(jìn)行批判性思考。

許多教育研究者在復(fù)雜的模擬和可視化信息的方式中，看到了VR 和AR 的應(yīng)用價(jià)值。而且，隨著沉浸式技術(shù)的普及，學(xué)生能夠更方便的設(shè)計(jì)原型并創(chuàng)造自己的體驗(yàn)。這些新技術(shù)促使學(xué)生發(fā)明具有豐富意義的新型互動(dòng)敘述形式，從而改變對(duì)世界的理解和體驗(yàn)。具身在這些混合現(xiàn)實(shí)世界中，將創(chuàng)造一種別致的存在和協(xié)同建構(gòu)內(nèi)容的體驗(yàn)，并為學(xué)生創(chuàng)造一個(gè)探索沉浸式技術(shù)的空間。這樣，學(xué)生可自主設(shè)計(jì)新世界，當(dāng)學(xué)生拍攝360°視頻或編寫(xiě)虛擬體驗(yàn)代碼，然后戴上VR 頭戴式耳機(jī)時(shí)，學(xué)生會(huì)感悟與思考未來(lái)世界的存在方式。

（七）擴(kuò)展現(xiàn)實(shí)助力STEM 教育

目前在STEM 教育中，可視化編程、AR 應(yīng)用并不少見(jiàn)，但在培養(yǎng)計(jì)算思維方面的研究，使用AR 技術(shù)的文獻(xiàn)仍然很少。由于教育增強(qiáng)現(xiàn)實(shí)是為實(shí)現(xiàn)教育目的而設(shè)計(jì)的AR 可視化，允許用戶感知投射在物理環(huán)境上的虛擬信息，可有效地降低學(xué)習(xí)過(guò)程中的認(rèn)知負(fù)荷，從而提高對(duì)復(fù)雜、抽象學(xué)習(xí)內(nèi)容的感知。因此，AR 和XR 能增強(qiáng)學(xué)習(xí)者在STEM 領(lǐng)域的學(xué)習(xí)體驗(yàn)，尤其支持復(fù)雜概念的學(xué)習(xí)。

來(lái)自亞利桑那州立大學(xué)的兩位學(xué)者設(shè)計(jì)了一個(gè)基于CT 框架和AR 可視化的移動(dòng)應(yīng)用程序，在設(shè)置“調(diào)試自動(dòng)直升機(jī)”的任務(wù)中，用戶被要求修復(fù)一個(gè)壞掉的電腦程序，以確保它能讓直升機(jī)飛越墻壁，同時(shí)在途中收集所有的旗幟[31]。該任務(wù)是基于已建立的CT 框架中的關(guān)鍵組件精心設(shè)計(jì)的，包括抽象（提取相關(guān)信息）、分解（將問(wèn)題分解為更小的部分）、模擬（模擬真實(shí)過(guò)程）、模式識(shí)別（觀察規(guī)律）和算法設(shè)計(jì)（創(chuàng)建有序的指令系列）。

該研究還特別設(shè)計(jì)了增強(qiáng)現(xiàn)實(shí)學(xué)習(xí)體驗(yàn)（ARLE），包括VR 和傳統(tǒng)3D 可視化所缺乏的用戶與內(nèi)容的交互，以及用戶之間的交互。為進(jìn)一步探索AR可視化是如何影響用戶在調(diào)試任務(wù)中的協(xié)作問(wèn)題，該研究將整個(gè)代碼分為兩部分，分別呈現(xiàn)在兩個(gè)設(shè)備上，程序執(zhí)行期間通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)同步，有效地減少了二元工作負(fù)載不平衡現(xiàn)象。研究者以2019年秋季未畢業(yè)的計(jì)算機(jī)信息學(xué)課程的24 名學(xué)生為研究對(duì)象，進(jìn)行了對(duì)照實(shí)驗(yàn)研究。結(jié)果表明，使用了AR 環(huán)境的學(xué)生與未使用AR 的學(xué)生相比，任務(wù)的通過(guò)率更高，代碼設(shè)計(jì)錯(cuò)誤率更低，代碼的編輯更有效，溝通也更多。這些發(fā)現(xiàn)，為AR 技術(shù)支持CT 調(diào)試任務(wù)提供了實(shí)證依據(jù)，并對(duì)算法設(shè)計(jì)產(chǎn)生了積極影響。在AR 可視化的前提下，如果內(nèi)容設(shè)計(jì)得當(dāng)，AR 可視化將有助于學(xué)生計(jì)算思維的培養(yǎng)，成為STEM 教育的一個(gè)新途經(jīng)。

五、結(jié)語(yǔ)與展望

綜上，我們可以發(fā)現(xiàn)：XR 在創(chuàng)建上述七類沉浸式學(xué)習(xí)情境的過(guò)程中，也在不斷融合與應(yīng)用人工智能技術(shù)。可以說(shuō)，人工智能（AI）成為塑造沉浸式體驗(yàn)的重要驅(qū)動(dòng)力：首先，人工智能為擴(kuò)展現(xiàn)實(shí)的實(shí)現(xiàn)提供了算法基礎(chǔ)。XR 需要將復(fù)雜的、多元的非結(jié)構(gòu)化海量數(shù)據(jù)做集中處理，要應(yīng)用邊緣計(jì)算等人工智能算法以及相應(yīng)的數(shù)據(jù)源平臺(tái)，以減少終端設(shè)備的負(fù)荷。其次，XR 營(yíng)造的沉浸式環(huán)境，對(duì)用戶的即時(shí)反饋和適應(yīng)能力要求也在增強(qiáng)。iRLN 2020 會(huì)議中AM培訓(xùn)導(dǎo)師，即是一個(gè)融合擴(kuò)展現(xiàn)實(shí)和人工智能的典型示例[32]，通過(guò)該交互式教學(xué)系統(tǒng)，學(xué)生或受訓(xùn)人員操作虛擬的機(jī)器，他們會(huì)獲得在建立部件過(guò)程中是否采取了正確和合理的步驟與反饋，在使用各種工具時(shí)也可得到提示。最后，人工智能應(yīng)用于XR 環(huán)境，還能有效記錄用戶的行為，以用于存儲(chǔ)和維護(hù)學(xué)習(xí)過(guò)程的記錄和驗(yàn)證學(xué)習(xí)者虛擬化身的真實(shí)性。

近年來(lái)，與XR 相關(guān)的技術(shù)發(fā)展非常迅速，2020年6月，Google 的光場(chǎng)視頻（Light Field Video）技術(shù)獲得突破性進(jìn)展，該技術(shù)具有記錄、重建、壓縮和提供高質(zhì)量沉浸式光場(chǎng)視頻的能力。該研究的領(lǐng)導(dǎo)者M(jìn)ichael Broxton 說(shuō)：“我們正在使這項(xiàng)技術(shù)變得實(shí)用，使我們更接近為更多的消費(fèi)類設(shè)備提供真正的沉浸式體驗(yàn)”[33]?？梢?jiàn)，開(kāi)發(fā)XR 教育資源的技術(shù)門(mén)檻正在降低，沉浸式學(xué)習(xí)環(huán)境的營(yíng)造成本也在大幅減少，這為教育機(jī)構(gòu)節(jié)省了大量的空間、時(shí)間和費(fèi)用。另外，XR 還能使相關(guān)的學(xué)習(xí)不再使用活體動(dòng)物、沒(méi)有輻射的風(fēng)險(xiǎn)或其他道德層面的限制。因此，如同人工智能應(yīng)用于教育領(lǐng)域一樣，擴(kuò)展現(xiàn)實(shí)應(yīng)用于教學(xué)，也將漸趨成為常態(tài)。

《第四次革命》的作者盧西亞諾·弗羅里迪（Luciano Floridi）曾經(jīng)預(yù)言，每個(gè)人都將經(jīng)歷“線上人生”[34]，這里的“線上”概念不再限于是文字界面或二維空間，而是包含有豐富情境體驗(yàn)的虛擬世界。XR 的發(fā)展，正為學(xué)習(xí)者足不出戶即能踏入廣闊的實(shí)踐學(xué)習(xí)空間，提供了堅(jiān)實(shí)的支撐。正如著名作家馬克·吐溫（Mark Twain）所說(shuō)：“當(dāng)你的想象失去焦點(diǎn)時(shí)，你不能依靠你的眼睛”[35]。如今，借助擴(kuò)展現(xiàn)實(shí)不僅拓展了感官體驗(yàn)，而且可使學(xué)習(xí)者的思維、視界與想象力無(wú)遠(yuǎn)弗屆。