(吉林廣播電視大學(xué)吉林省遠(yuǎn)程教育技術(shù)科技創(chuàng)新中心,吉林 長春 130022)
擴(kuò)展現(xiàn)實(shí)(Extended Reality,XR)可概括為虛擬現(xiàn)實(shí)(Virtual Reality,VR)、增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)及混合現(xiàn)實(shí)(Mixed Reality,MR)等一系列技術(shù)的總稱,就是通過傳感器為人類實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界的信息交互融合技術(shù)的集合,包括視覺、觸覺、聽覺、嗅覺。擴(kuò)展現(xiàn)實(shí)在經(jīng)濟(jì)各個方面發(fā)揮作用并蓬勃快速發(fā)展,有分析[Accenture,The Rapid Growth of Extended Reality.]指出在人機(jī)+機(jī)器協(xié)作可不斷提高生產(chǎn)力,尤其在醫(yī)療保健和社會服務(wù)、制造業(yè)和建筑業(yè)中,可以增加30%。通過擴(kuò)展現(xiàn)實(shí)與人工智能、大數(shù)據(jù)等結(jié)合實(shí)現(xiàn)數(shù)字孿生,可進(jìn)行生產(chǎn)過程仿真、實(shí)訓(xùn)仿真、智慧園區(qū)、智慧城市等,實(shí)現(xiàn)智慧管理可視化,讓使用者沉浸于虛實(shí)融合的平行世界。擴(kuò)展現(xiàn)實(shí)依靠云計算、邊緣計算、深度計算等技術(shù),還可實(shí)現(xiàn)運(yùn)算優(yōu)化、傳輸優(yōu)化、環(huán)境感知。
隨著5G 技術(shù)應(yīng)用與發(fā)展,邊緣云渲染、高質(zhì)量渲染、高刷新率渲染等不再受基帶瓶頸限制,擴(kuò)展現(xiàn)實(shí)能為使用者帶來更好的移動體驗(yàn)。教育領(lǐng)域中,擴(kuò)展現(xiàn)實(shí)不僅可以拓寬現(xiàn)實(shí)環(huán)境中與教師的交互,提高教學(xué)方式的互動化與智能化,還極大增強(qiáng)了知識的可視化、形象化。
《教育信息化2.0 行動計劃》中指出,要適應(yīng)網(wǎng)絡(luò)技術(shù)發(fā)展,服務(wù)全時域、全空域、全受眾的智能學(xué)習(xí),以示范性虛擬仿真實(shí)驗(yàn)教學(xué)項(xiàng)目等建設(shè)為載體,加強(qiáng)大容量智能教學(xué)資源建設(shè),加快建設(shè)虛擬工廠等智能學(xué)習(xí)空間。XR 技術(shù)與教育的深度融合,已成為教育變革創(chuàng)新的一大課題。
隨著計算機(jī)仿真技術(shù)的發(fā)展,擴(kuò)展現(xiàn)實(shí)技術(shù)中VR、AR、MR 都有自己的發(fā)展進(jìn)程,為用戶提供不同程度的虛擬與現(xiàn)實(shí)環(huán)境的融合體驗(yàn)。
(1)虛擬現(xiàn)實(shí)的發(fā)展及其特征
1935 年,小說家Stanley Weinbaum 在其撰寫的小說《皮格馬利翁的眼鏡(Pygmalion‘s Spectacles)》中描述了一款眼鏡為基礎(chǔ)的VR 眼鏡,其有視覺,觸覺,嗅覺等全方位沉浸式體驗(yàn)的虛擬現(xiàn)實(shí)概念。由于早期人類科技技術(shù)限制,虛擬現(xiàn)實(shí)經(jīng)歷了其原型機(jī)階段、技術(shù)積累階段。直到1990 年,虛擬現(xiàn)實(shí)技術(shù)才真正開始向應(yīng)用轉(zhuǎn)型。從2016 年——虛擬現(xiàn)實(shí)元年至今,基于數(shù)字技術(shù)的虛擬現(xiàn)實(shí)設(shè)備已集成化,并以結(jié)合互聯(lián)網(wǎng)等技術(shù)逐步擴(kuò)展其應(yīng)用范圍,進(jìn)入虛擬現(xiàn)實(shí)的全面爆發(fā)階段。
現(xiàn)如今,以VIVE(HTC)、Oculus Rift、Gear VR(Sumsung)等主流的HMD(Head-Mounted Display)設(shè)備已實(shí)現(xiàn)強(qiáng)大的內(nèi)容交互體驗(yàn)。而以Cardboard(Google)等基于智能手機(jī)的原型設(shè)備,只能夠?qū)崿F(xiàn)3D 眼鏡功能,實(shí)現(xiàn)全景、雙目媒體展示等。
以VIVE 為例,其設(shè)備定位布局不止在文化(娛樂傳媒)產(chǎn)業(yè),還在文化(藝術(shù))、教育等產(chǎn)業(yè)有所深入,并已融合會議、協(xié)作等功能。綜合利用數(shù)字圖像處理、聲場聲音處理混合及各類感應(yīng)設(shè)備數(shù)據(jù)處理,在與現(xiàn)實(shí)世界隔絕的封閉式設(shè)備系統(tǒng)中生成實(shí)時交互三維環(huán)境,通過設(shè)備取代用戶的現(xiàn)實(shí)世界視覺、聽覺感官,以創(chuàng)造沉浸式體驗(yàn)環(huán)境。因此,其特征為沉浸性、交互性及構(gòu)想性,虛擬現(xiàn)實(shí)技術(shù)還稱為靈境技術(shù)。因?yàn)槠渫耆两忾],嚴(yán)重限制了用戶在現(xiàn)實(shí)世界的移動性。
增強(qiáng)現(xiàn)實(shí)早期應(yīng)用以HUD(Head-up Display)平視顯示為主,用作以駕駛員為中心的盲操作、多功能儀表盤光學(xué)透視顯示器(Optical See-Throught)系統(tǒng)。隨著感應(yīng)設(shè)備的發(fā)展,VST(Video See-Throught)視頻透視技術(shù)逐漸普及在智能設(shè)備中。通過成像器件(感光元件)、陀螺儀、重力感應(yīng)器等對現(xiàn)實(shí)世界的圖像、運(yùn)動(位置及方向)、重力等數(shù)據(jù)的捕捉、識別處理,將虛擬物按照自然規(guī)律(三維注冊)融合實(shí)時互動顯示。
混合現(xiàn)實(shí)實(shí)際產(chǎn)生在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)的基礎(chǔ)上,它融合了虛擬與現(xiàn)實(shí),能夠保證實(shí)時可視化環(huán)境中虛擬及現(xiàn)實(shí)中對象共存、互動。虛擬對象完全依照現(xiàn)實(shí)世界位置、大小等物理屬性同步,同時進(jìn)行現(xiàn)實(shí)世界中的對象感知,將虛實(shí)對象進(jìn)行注冊實(shí)例化及數(shù)據(jù)關(guān)聯(lián)?;旌犀F(xiàn)實(shí)設(shè)備現(xiàn)以Hololens(Microsoft)、Magic Leap One(Magic Leap)為代表,以視覺感知為主。Hololens 其定位在工業(yè),可實(shí)現(xiàn)遠(yuǎn)程協(xié)同、實(shí)訓(xùn)指導(dǎo)等。
(1)擴(kuò)展現(xiàn)實(shí)的提出及展望
擴(kuò)展現(xiàn)實(shí)可追溯到60 年代,1961 年Charles Wyckoff 為記錄原子實(shí)驗(yàn),便開發(fā)出能夠使人類觀看超出常規(guī)視野事物的攝影技術(shù)及專利,還將HDR(High-Dynamic Range)圖像處理技術(shù)與之結(jié)合。之后,Unity 公司明確了涵蓋性術(shù)語“擴(kuò)展現(xiàn)實(shí)”,包括虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)。
針對現(xiàn)有技術(shù)構(gòu)成展望,擴(kuò)展現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)技術(shù)包括感知追蹤、數(shù)據(jù)及處理、輸出系統(tǒng)及技術(shù)環(huán)境,如圖1 所示。
圖1 擴(kuò)展現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)技術(shù)結(jié)構(gòu)圖
擴(kuò)展現(xiàn)實(shí)技術(shù)在教育領(lǐng)域,主要集中在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)兩個方面,并已積累了大量案例,內(nèi)容則以知識教育、技能培訓(xùn)等為主,層次目標(biāo)以小/初/中/K12 及通識為主。應(yīng)用方式上,一是依靠各自生態(tài)鏈構(gòu)建的軟硬件系統(tǒng)來構(gòu)建模塊化內(nèi)容并實(shí)現(xiàn)學(xué)習(xí)體驗(yàn),再就是通過擴(kuò)展現(xiàn)實(shí)通用開發(fā)框架進(jìn)行開發(fā)內(nèi)容,以通用操作系統(tǒng)應(yīng)用程序的形式在HMD、AR 眼鏡或智能設(shè)備中執(zhí)行實(shí)現(xiàn)交互體驗(yàn)。通用開發(fā)框架包括Unity XR、UE XR、WebXR 等。
(1)職業(yè)教育
因?yàn)閿U(kuò)展現(xiàn)實(shí)技術(shù)本身的沉浸性等特點(diǎn),如機(jī)械、建筑工程、室內(nèi)設(shè)計、土木工程、旅游、汽車、數(shù)控技術(shù)、藝術(shù)設(shè)計等方面內(nèi)容具備良好的交互特征,尤其在大型設(shè)備等特種作業(yè)實(shí)訓(xùn)方面體驗(yàn)明顯。以化工機(jī)械為例,學(xué)員用戶通過使用遠(yuǎn)程教育平臺XR 內(nèi)容不受地域、時間限制進(jìn)行交互學(xué)習(xí),進(jìn)行虛擬拆裝、運(yùn)動仿真等。通過內(nèi)容程序化設(shè)定及對學(xué)員操作流程監(jiān)控,可實(shí)現(xiàn)程序自動化考核其操作規(guī)范程度。XR 內(nèi)容還可包括在線故障實(shí)操,通過振動形變、聲響及其他特效等實(shí)現(xiàn)故障模擬。從而有助于激發(fā)學(xué)員學(xué)習(xí)興趣,通過網(wǎng)絡(luò)實(shí)時小組合作,還可以實(shí)現(xiàn)多人協(xié)作。與此同時,還大大降低培訓(xùn)機(jī)構(gòu)購置設(shè)備的教學(xué)成本。
(2)老年繼續(xù)教育
針對老年繼續(xù)教育,因設(shè)備如HMD 存在笨重?zé)o法長時間佩戴、造價昂貴等問題,擴(kuò)展現(xiàn)實(shí)技術(shù)應(yīng)用更多的應(yīng)該在于藝術(shù)設(shè)計、通識知識等方面的傳授。如藝術(shù)設(shè)計方面,可以通過平臺設(shè)計出藝術(shù)品后,進(jìn)行3D 打印或4D 打印,實(shí)現(xiàn)虛擬設(shè)計的真實(shí)物創(chuàng)造。針對與職業(yè)教育相同的專業(yè)內(nèi)容,可在職業(yè)教育內(nèi)容基礎(chǔ)上調(diào)整,實(shí)現(xiàn)相同專業(yè)方向不同教育對象的內(nèi)容差異化應(yīng)用。
(3)特殊教育
特殊教育學(xué)員在肢體、感官、心理等方面都存在缺陷或障礙,那么通過采用不同感應(yīng)設(shè)備,可以實(shí)現(xiàn)個體差異化應(yīng)用。比如患有孤獨(dú)癥譜系障礙 (Autism Spectrum Disorder,ASD)的學(xué)員對象,一般其存在交流、互動、想象三方面能力缺失。擴(kuò)展現(xiàn)實(shí)技術(shù)的沉浸性可為其治療干預(yù)提供內(nèi)容可控的交流,互動性提供了反饋可測的互動,想象性提供了泛化想象空間。針對語言功能障礙的學(xué)員,通過實(shí)時在線語音識別文字進(jìn)行專業(yè)內(nèi)容學(xué)習(xí),并可進(jìn)行實(shí)時啞語手勢識別提高其社會信息交流能力。擴(kuò)展現(xiàn)實(shí)營造的學(xué)習(xí)資源和學(xué)習(xí)情境,更易于填補(bǔ)其感知不足輔助認(rèn)知。在未來,部分生理缺陷群體將能夠通過擴(kuò)展現(xiàn)實(shí)技術(shù)彌補(bǔ)真實(shí)世界的感知缺陷。
(4)智慧智能學(xué)習(xí)環(huán)境
智慧學(xué)習(xí)是學(xué)員按需獲取學(xué)習(xí)內(nèi)容,個性化開展學(xué)習(xí)活動,快速構(gòu)建自己的知識網(wǎng)絡(luò)與人際網(wǎng)絡(luò)的學(xué)習(xí)過程。作為涵蓋沉浸式技術(shù)的擴(kuò)展現(xiàn)實(shí)技術(shù),遠(yuǎn)程教育
平臺可通過其對學(xué)員個體各類生理數(shù)據(jù)、環(huán)境感知數(shù)據(jù)的獲取,實(shí)現(xiàn)個體交互式學(xué)習(xí)活動計劃設(shè)定;也能夠通過學(xué)員學(xué)習(xí)行為、內(nèi)容關(guān)注度等不同維度監(jiān)測構(gòu)建學(xué)員學(xué)習(xí)畫像,為學(xué)員智能無縫地提供符合需求導(dǎo)向的學(xué)習(xí)內(nèi)容。
隨著擴(kuò)展現(xiàn)實(shí)技術(shù)的發(fā)展,結(jié)合云計算、人工智能、大數(shù)據(jù)等,在教育階段中全覆蓋并會延伸到終身教育,其在遠(yuǎn)程教育中的發(fā)展前景也會越來越廣。擴(kuò)展現(xiàn)實(shí)技術(shù)的廣泛應(yīng)用,對于“發(fā)展未來學(xué)?!?、“智慧課堂改革”具有重大意義。遠(yuǎn)程教育資源利用最大化、學(xué)習(xí)行為自主化、教學(xué)形式修改化、教學(xué)管理自動化等優(yōu)勢,結(jié)合擴(kuò)展現(xiàn)實(shí)技術(shù)后,勢必會掀起全納教育泛在學(xué)習(xí)熱潮。