蔣艷雙 朱立新 逯行 高紅英
摘要:孤獨癥兒童常具有社會交往障礙、行為重復刻板和興趣固定狹隘等特征,教育訓練為其主要治療手段。虛擬游戲以其可視化、交互性與場景性等特點,有助于孤獨癥兒童的教育干預。利用系統(tǒng)性文獻綜述法對國際上利用虛擬游戲支持孤獨癥兒童干預的相關研究進行分析發(fā)現(xiàn):(1)虛擬游戲支持孤獨癥兒童教育的關鍵技術包括可視化技術、虛擬代理技術和新興技術。可視化技術將人的肢體與面部情緒以3D動畫的形式突顯,促進孤獨癥兒童情緒理解與識別能力的培養(yǎng);虛擬代理技術幫助孤獨癥兒童通過化身與其他對象交互,提升其社交能力;利用新興技術構建可交互的虛擬現(xiàn)實環(huán)境,可強化孤獨癥兒童因果關系理解與獨立出行體驗。(2)虛擬游戲可作為孤獨癥兒童教育中的認知工具和教與學支持工具,幫助其進行詞匯學習、數(shù)字化閱讀與編程學習。我國孤獨癥兒童教育發(fā)展可運用多模態(tài)分析技術,拓展虛擬游戲教學效果的測評方式;重視虛擬游戲教育應用倫理風險,構建“政—企—校”協(xié)同聯(lián)動的多元共治機制;以學習需求為導向,構建虛擬游戲設計框架;在職業(yè)培訓與就業(yè)支持中,重視數(shù)字素養(yǎng)與技能的培育。
關鍵詞:虛擬游戲;孤獨癥兒童教育;特殊教育;系統(tǒng)性文獻綜述
中圖分類號:G434? ?文獻標識碼:A? ? 文章編號:1009-5195(2022)03-0104-09? doi10.3969/j.issn.1009-5195.2022.03.012
基金項目:北京市教育科學“十四五”規(guī)劃2021年度青年專項課題“雙師教學場域中的學生情感氛圍動力學模型研究”(CECA21109)。
作者簡介:蔣艷雙,博士,助理研究員,北京師范大學互聯(lián)網(wǎng)教育智能技術及應用國家工程研究中心(北京 100875);朱立新,博士,副研究員,北京師范大學互聯(lián)網(wǎng)教育智能技術及應用國家工程研究中心(北京 100875);逯行,博士,講師,碩士生導師,浙江師范大學浙江省智能教育技術與應用重點實驗室(浙江金華 321004);高紅英,助理實驗師,陜西師范大學外國語學院(陜西西安 710062)。
一、引言
孤獨癥譜系障礙(Autism Spectrum Disorder,ASD)是一組以社會交流和社會互動缺陷、行為重復刻板與興趣固定狹窄為特征的神經(jīng)發(fā)育性障礙疾?。ˋmerican Psychiatric Association,2013,p.426),其在兒童群體中患病率呈逐年遞增的態(tài)勢(五彩鹿自閉癥研究院,2017),目前ASD治療以教育訓練為主,藥物治療為輔(閆海虹等,2022)。因此,面向ASD兒童的教育研究具有重要的現(xiàn)實意義。
虛擬游戲是基于互聯(lián)網(wǎng)和計算機技術發(fā)展起來的游戲方式的總稱,包括交互式視頻游戲、虛擬環(huán)境等(孫巖,2008),其不僅可作為娛樂消遣工具,還可為ASD兒童的教育干預提供助力。已有研究表明,虛擬游戲?qū)陋毎Y患者的孤獨感存在顯著影響,孤獨癥患者用適量時間體驗網(wǎng)絡游戲,能夠減少孤獨感(Sundberg,2018)。近年來,為了提升虛擬游戲在ASD兒童教育中的應用成效,學者們在虛擬游戲框架設計和對ASD兒童群體特征分析的基礎上,聚焦基于不同技術的虛擬游戲?qū)SD兒童教育教學的影響和評估等方面開展了一系列的研究。如Bremer等(2016)探討了兩組基本運動技能干預對ASD兒童運動技能及社交技能的作用;Stone等(2019)發(fā)現(xiàn)了多人虛擬游戲?qū)脊陋毎Y小學生的社會互動質(zhì)量提升具有支持作用,并且通過多模態(tài)交互技術與虛擬游戲?qū)ζ渖缃患寄苓M行有效性評估。由此可見,虛擬游戲支持ASD兒童的教育教學研究已積累了一定的經(jīng)驗,尤其在缺陷補償教學與技能培訓領域。但面向ASD兒童的虛擬游戲干預仍存在操作性差、實施難度大等問題,缺少全局性、系統(tǒng)性和針對性的技術應用方法,缺乏明確的技術干預機制(Mora et al.,2015)?;诖耍狙芯渴崂韲鴥?nèi)外虛擬游戲支持ASD兒童教育的相關研究,探討虛擬游戲支持ASD兒童教育的關鍵技術及其特征,揭示當前虛擬游戲在ASD兒童教育中的作用及應用重點,以期為我國ASD兒童教育游戲化研究提供理論參考和行動指南。
二、研究設計
1.研究方法
本研究采用系統(tǒng)性文獻綜述方法。系統(tǒng)性文獻綜述旨在以明確的研究問題、全面的檢索策略、清晰的文獻納入標準與綜合的數(shù)據(jù)分析,來得出可信的研究結果,可減少由傳統(tǒng)文獻綜述方法帶來的研究偏倚(Xiao et al., 2019)。
2.研究問題
為呈現(xiàn)利用虛擬游戲?qū)SD兒童實施教育干預的研究現(xiàn)狀,本研究確定了以下研究問題:(1)虛擬游戲支持ASD兒童教育的關鍵技術有哪些?(2)虛擬游戲在ASD兒童教育中的作用如何體現(xiàn)?(3)虛擬游戲可以從哪些方面支持ASD兒童教育?其有效性如何?
3.研究樣本及篩選
(1)文獻檢索策略
本研究所主張的虛擬游戲是指以教育為目標,將數(shù)字技術應用于教育教學過程,發(fā)展ASD兒童適應外界變化、自主社交、獨立出行、情緒識別等技能的嚴肅游戲。因此,在檢索策略方面,本研究以“Autism & Virtual Games”“Autism & Serious Sames”“ASD & Serious Games”“ASD & Virtual Games”等為關鍵詞,對Web of Science和Springer Link等數(shù)據(jù)庫的相關文獻進行檢索,檢索時間限定為2003年12月至2021年11月,共得到文獻287篇。
(2)文獻篩選標準
為精確掌握虛擬游戲?qū)SD兒童教育的支持情況,本研究根據(jù)研究問題對檢索得到的287篇文獻制定了相應的文獻納入和排除標準,具體如表1所示。其中第1~3條旨在進一步提升文獻樣本篩選的精確性;第4~7條分別對研究對象、研究內(nèi)容、研究目標與研究過程作限定,以便更好地聚焦研究問題。
4.文獻篩選過程
本研究遵循系統(tǒng)性文獻綜述方法,通過檢索、篩選、合格和納入四個階段對虛擬游戲支持ASD兒童教育的相關文獻進行篩選,最終納入有效文獻共45篇,具體PRISMA流程如圖1所示。
三、虛擬游戲支持ASD兒童教育的研究概略
從文獻發(fā)表時間來看,45篇文獻發(fā)表時間跨度為2003—2021年。伴隨信息技術的快速發(fā)展,虛擬游戲支持ASD兒童教育的形態(tài)日趨豐富,文獻納入數(shù)量也整體上呈現(xiàn)出增長趨勢。
從文獻發(fā)表的期刊分布情況來看,發(fā)表于計算機類期刊的文獻數(shù)量為16篇(占比35.6%),發(fā)表于教育研究類期刊的文獻數(shù)量為13篇(占比28.9%),發(fā)表于心理學期刊的文獻數(shù)量為11篇(占比24.4%)。文獻發(fā)表數(shù)量排名前五的期刊依次為《Journal of Autism and Developmental Disorders》(6篇)、《Computers in Human Behavior》(3篇)、《Computers & Education》(3篇)、《Interactive Learning Environments》(2篇)和《Universal Access in the Information Society》(2篇),可見有關虛擬游戲支持ASD兒童教育的研究已受到計算機科學、教育學和心理學等領域?qū)W者的關注。
從文獻引用率來看,有16篇(占比35.6%)文獻的引用率在20次以上,超過50次引用的文章有14篇(占比31.1%)。其中,引用率最高的文章是Golan等(2010)關于基于交通運輸場景的虛擬游戲?qū)SD兒童情感詞匯的理解以及情緒理解與識別能力的影響作用的研究(189次);其次是Bosseler等(2003)關于基于虛擬教師的虛擬游戲?qū)SD兒童詞匯和語言學習的影響的研究(184次)??梢园l(fā)現(xiàn),引用率較高的文章主題主要聚焦于虛擬游戲支持ASD兒童的詞匯學習及其情緒理解與識別能力的提升,這是虛擬游戲教育應用的研究熱點。
從作者分布特征來看。為呈現(xiàn)國際上虛擬游戲支持ASD兒童教育文獻的作者分布情況,研究對45篇文獻樣本的第一作者進行分析。其中,作者總共來自16個國家,其區(qū)域分布分別是歐洲(n=15,33.3%)、北美洲(n=14,31.1%)、亞洲(n=11,24.4%)以及大洋洲(n=5,11.1%)。從發(fā)文作者數(shù)量來看,美國作者共計13位,占總作者數(shù)的28.9%,表明美國學者是虛擬游戲支持ASD兒童教育研究的主要群體。
四、虛擬游戲支持ASD兒童教育的技術基 礎及作用方式
對文獻內(nèi)容進行分析發(fā)現(xiàn),虛擬游戲在支持ASD兒童教育中的關鍵技術主要包括可視化技術、虛擬代理技術和新興技術:可視化技術將人的肢體與面部情緒以3D動畫的形式突顯,可促進ASD兒童情緒理解與識別能力的培養(yǎng);虛擬代理技術幫助ASD兒童通過化身與其他對象交互,可提升其社交能力;利用新興技術構建可交互的虛擬現(xiàn)實環(huán)境,可強化ASD兒童因果關系理解與獨立出行體驗。
1.可視化技術提升情緒理解與識別能力
在近二十年的相關研究中,基于可視化技術的虛擬游戲教育應用文獻數(shù)量占總樣本的20.0%(9篇)??梢暬夹g通過3D動畫角色模擬和3D動畫場景創(chuàng)設,可改善ASD兒童的情緒理解與識別能力。
第一,角色模擬。孤獨癥患者在識別、理解和回饋他人的面部表情、語音語調(diào)、身體姿勢,以及表達自己的情緒方面存在較大困難(Aitken,2012)。3D動畫通過模擬真實物體,以自然逼真的表現(xiàn)方式來突顯虛擬人物的動作與表情,有助于ASD兒童觀察與感受虛擬人物的行為與情緒,為ASD兒童的情緒干預提供支持。由文獻分析可知,當前利用基于3D動畫角色的虛擬游戲支持ASD兒童習得情緒識別技能的研究數(shù)量較多,且主要集中于面部表情和肢體動作的識別。例如,“少年偵探培訓計劃”(Beaumont et al.,2008)作為一項提升ASD兒童情感識別能力的虛擬教育游戲,以3D動畫欣賞與角色扮演等策略引導ASD兒童體驗案件偵破的過程,幫助其學會識別復雜情緒(如尷尬、內(nèi)疚等)。當完成一系列學習任務后,研究人員對參與者開展為期5個月的跟蹤訪談,發(fā)現(xiàn)干預組ASD兒童的社交技能和情緒管理能力均得到顯著提升。
第二,場景創(chuàng)設?;诿娌勘砬榈母深A以孤獨癥情緒認知理論為基礎。Baron—Cohen等(2005)提出的“移情—系統(tǒng)化”理論(Empathising—Systemising,E—S)認為ASD兒童的大腦是高度系統(tǒng)化的,他們在認知他人心理狀態(tài)、眼神互動、語言交流等移情機制上存在障礙,但在細節(jié)觀察、處理高度結構化信息、認知物理結構等系統(tǒng)化機制上具有優(yōu)勢。因此,沉浸式、無監(jiān)督的3D場景技術能夠為ASD兒童營造適合其認知特點的虛擬場景。如情緒認知動畫“The Transporters”(Golan et al.,2010),在有軌電車、纜車、鏈輪、長途汽車、纜索鐵路和拖拉機六種虛擬車輛上移植了情感表達的擬人面孔,并將虛擬車輛之間的娛樂性交互進行情境化處理。該游戲所展現(xiàn)的故事具有高度結構化的特征,且將面部表情嵌入交通工具等物理結構中而非肢體語言或有情緒的聲音里,契合ASD兒童高度系統(tǒng)化大腦的認知需求。這就使得ASD兒童的優(yōu)勢能力得到有效發(fā)揮,能夠補償其社會認知方面的障礙(劉理陽等,2014)。評估結果表明,該系列游戲能夠顯著提升ASD兒童對虛擬游戲中所呈現(xiàn)的15種關鍵情緒的理解和識別能力。
2.虛擬代理技術提升應變能力與社交能力
在虛擬游戲支持ASD兒童的教育研究中,有關虛擬代理技術應用的文獻數(shù)量占總樣本的33.3%(15篇),其中虛擬教師設計與應用的關注度最高。從文獻數(shù)量可以看出,伴隨虛擬游戲的快速發(fā)展,虛擬代理技術應用逐步成為虛擬游戲教育研究中的重要議題。虛擬代理技術逐步向個性化和強交互性發(fā)展,虛擬代理的化身形象由2D動畫演變?yōu)?D動畫,技術特征也由簡單的音視頻交互轉變?yōu)樘摂M現(xiàn)實學習環(huán)境交互,教育應用體現(xiàn)為智能導師和智能學伴等。
(1)化身技術
化身技術能夠模擬人類的生理機能,使虛擬代理具備擬人的外觀、姿態(tài)、行為和情感。在應用過程中,化身技術可以表征為圖片、視頻和動畫等形式?;砑夹g可以幫助ASD兒童模擬現(xiàn)實的生活與社交場景。例如,澳大利亞“孤獨癥游戲”項目①利用音視頻、2D動畫等技術讓ASD兒童與化身進行交互,幫助患有中度甚至重度孤獨癥的兒童接受并應對日常生活中的變化(如天氣變化和生活中的突發(fā)事件等),提升其應變能力。智能代理游戲“SHARE-IT”(Porayska-Pomsta et al.,2013)在沉浸式學習環(huán)境中,以生活情境中的實際問題為導向,融合化身與音視頻等技術,讓ASD兒童通過與虛擬角色的多維互動來增進其對外部多通道信息的感知,提升其環(huán)境適應能力。
(2)協(xié)同虛擬環(huán)境
目前絕大多數(shù)虛擬現(xiàn)實類嚴肅游戲采用預編程或關聯(lián)技術,與動態(tài)真實世界相比,缺乏社交和通信的靈活性(Zhang et al.,2018)。為此,構建一個計算機支持的分布式虛擬場景的集合,即協(xié)同虛擬環(huán)境(Collaborative Virtual Environment, CVE),促進多位玩家同時與虛擬物體進行交互,可以改善虛擬環(huán)境中交互層面的局限性(Benford et al.,2001)。協(xié)同虛擬環(huán)境技術憑借場景設置、交互特效、人機交互和智能算法等優(yōu)勢,通過營造一個集游戲化展示、學習內(nèi)容交互以及學習體驗為一體的場景交互體系為ASD兒童的訓練提供支撐。例如,基于CVE的“虛擬咖啡館”游戲(Parsons et al.,2004)通過強化溝通(游戲程序向玩家詢問問題)、交互(玩家使用鼠標與游戲進行響應)和導航(玩家使用操縱桿在虛擬環(huán)境中按照指示方向前進),能夠激發(fā)ASD兒童的社交動機,強化個體之間的社交強度,進而促進ASD兒童社交技能的提升。已有研究證實,基于CVE的虛擬游戲不僅能夠增進ASD兒童的社交能力,激發(fā)其參與社會性活動,還能在其共情能力方面產(chǎn)生促進效果(Chene et al.,2010),類似的干預項目還有多場景虛擬實景游戲“Second Life”等(Ke et al.,2013)。
3.新興技術強化因果關系理解與獨立出行體驗
新興技術應用方面的文獻數(shù)量占總數(shù)的46.7%(21篇),其中關于沉浸式場景創(chuàng)建與評估的實證研究較多。以觸控交互、動作捕捉、可穿戴技術為代表的新興技術正加速與5G、人工智能等技術交叉融合,并已衍生出新的應用場景。經(jīng)文獻內(nèi)容分析可知,新興技術在虛擬游戲中的應用研究多聚焦于自然交互技術與多模態(tài)學習分析。
(1)觸控交互技術
虛擬游戲能夠?qū)SD兒童的思維發(fā)展置于真實的問題境脈中,借助多媒體技術和觸控交互技術的交叉融合,在點擊、觸控等操作行為的反饋下,提升ASD兒童對虛擬學習環(huán)境的感知體驗能力,使其理解交互行為發(fā)生的因果關系。例如,在“虛擬花園”(Bernardini et al.,2014)中,ASD兒童可通過單點觸控、多點觸控、多指拖動以及疊加拖動等操作改變花園中各個對象的形態(tài),實現(xiàn)將花朵逐步“栽種”至對應花盆中的目標。觸控操作行為與操控對象的狀態(tài)變化一一對應,能幫助ASD兒童了解操控對象變化的原因,理解游戲中事物變化的因果關系。除此之外,觸控交互技術與可穿戴設備以及大數(shù)據(jù)技術等的融合,能夠創(chuàng)新人機交互方式,從而增強ASD兒童的學習體驗。
(2)可穿戴技術與動作捕捉技術
可穿戴設備作為一種能夠穿戴的便攜式計算設備,具有移動性、可攜帶和強交互性等特點,可以為ASD兒童提供豐富的視覺、聽覺和觸覺體驗,增強ASD兒童在虛擬環(huán)境中的感知與交互能力。動作捕捉技術在人體的關鍵部位設置追蹤器,并由系統(tǒng)捕捉追蹤器的位置,再經(jīng)過計算處理后得到空間坐標數(shù)據(jù),使虛擬游戲能更精準地獲取ASD兒童的姿態(tài)、動作等身體數(shù)據(jù)。動作捕捉技術與可穿戴技術相結合有助于對ASD兒童進行獨立出行訓練。例如,Yang等(2016)開發(fā)了一款面向ASD兒童自主出行場景的VR訓練系統(tǒng),包括認識路標、安全過馬路、乘坐公共汽車和地鐵以及在停車場散步等,旨在訓練ASD兒童的多種獨立出行技能。該訓練系統(tǒng)利用基于Kinect和IMU的可穿戴設備捕捉ASD兒童關節(jié)的旋轉運動,估計關節(jié)的運動軌跡,使用Microsoft Face跟蹤工具獲得頭部姿態(tài)數(shù)據(jù),在第一人稱視圖模式下控制虛擬環(huán)境視圖,并識別ASD兒童的姿態(tài)行為模式。虛擬現(xiàn)實出行訓練系統(tǒng)通過將動作捕捉技術、自然交互技術和可穿戴技術相結合,來增強車輛與行人之間互動的真實性,能夠幫助ASD兒童在無監(jiān)督的安全環(huán)境下練習出行必備技能。同時,基于手勢的自然人機交互和直觀的虛擬環(huán)境導航也可提升ASD兒童的虛擬出行體驗。
對ASD的診斷取決于對觸覺、聲音、溫度和視覺等感官輸入的非典型反應(American Psychiatric Association,2013,p.429),對ASD兒童而言,感覺反應的改變表現(xiàn)出高度差異性。因此,監(jiān)測與分析可穿戴設備反饋的視聽覺和觸覺信號是確定ASD兒童能否安全應用可穿戴設備的重要議題。但AR技術支持ASD兒童的教育研究大多數(shù)以智能手機和平板電腦應用程序為載體(Sahin et al.,2018),缺乏針對ASD兒童的頭戴設備安全性的研究。
綜上,虛擬游戲支持ASD兒童教育的關鍵技術日趨多元且個性化,其中有兩方面值得重點關注:第一,由前文案例可知,有研究已經(jīng)實現(xiàn)通過多種數(shù)據(jù)采集技術,獲得并分析ASD兒童的多模態(tài)數(shù)據(jù),從而計算出ASD兒童的行為模式,以提供精準的教育服務及反饋。在虛擬游戲教育應用過程中,多模態(tài)學習分析使得針對ASD兒童非語言信號的檢測成為可能,也是創(chuàng)新多元測評方式的重要切入點。第二,伴隨AR/XR技術、可穿戴設備等新技術的快速發(fā)展,其在ASD兒童教育應用中的風險問題變得尤為突出,例如安全性問題、隱私泄露、算法歧視等。這均是我國在特殊教育領域中科技倫理治理所需關注的內(nèi)容。
五、虛擬游戲在ASD兒童教育中的應用路徑
虛擬游戲在ASD兒童教育中的應用主要聚焦于作為學習的認知工具以及作為教與學的支持工具兩個方面。
1.作為學習的認知工具
隨著以虛擬現(xiàn)實為代表的新一代信息技術的快速發(fā)展,基于虛擬游戲的認知工具日益成為ASD兒童適應性認知發(fā)展的有效手段,具體包括化身與手勢兩類。
化身技術可為ASD兒童提供形象直觀的交互載體,創(chuàng)設真實的視覺體驗。例如,Bosseler等(2003)設計并研發(fā)了一款虛擬游戲“Language Wizard/Player”,利用虛擬教師角色教授詞匯和語法知識,為ASD兒童獨立學習詞匯提供了有效的認知平臺。在游戲化教學過程中,虛擬教師Baldi發(fā)出語音指令,ASD兒童響應后屏幕將出現(xiàn)反饋正誤的表情,強化ASD兒童的認知效果。經(jīng)過30天的實驗干預,評估結果顯示,ASD兒童的詞匯學習效果得到了顯著改善,30天后單詞記憶率仍保持在91%左右。
手勢在ASD兒童的知識習得、復雜精細運動和認知發(fā)展中具有重要作用?;谑謩莸奶摂M游戲是一種極具潛力的認知工具,能夠幫助ASD兒童更好地與計算機進行交互,并獲得即時反饋,持續(xù)提升其精準運動技能及認知能力(Cai et al., 2018)?!胺奂t海豚游戲”通過基于虛擬現(xiàn)實技術的沉浸式互動,賦予ASD兒童海豚馴養(yǎng)師的角色體驗,讓其能根據(jù)游戲指令以手勢的方式為海豚指出正確路徑,培養(yǎng)ASD兒童對不同手勢作用和含義的認識,緩解其在方向跟隨、心理動作和手眼協(xié)調(diào)能力上較弱的問題。除此之外,該游戲還可通過不同的游戲情境和關卡設置來幫助ASD兒童習得算術以及識別顏色和形狀等技能(Lu et al., 2018)。
綜上所述,虛擬游戲通過化身和手勢將學習內(nèi)容以沉浸式、體驗式、定制化和趣味化的形式進行呈現(xiàn),為ASD兒童提供了認知發(fā)展的支持,持續(xù)提升其認知學習效果。
2.作為教與學的支持工具
(1)以多感官通道整合促進詞匯學習
詞匯在日常語言交流中發(fā)揮著社會意義建構的橋梁作用,其不僅是閱讀理解中不可或缺的組成部分,也是語言運用的“催化劑”。但詞匯學習對ASD兒童而言是一項極具挑戰(zhàn)性的任務。與普通兒童相比,ASD兒童在語用能力和情緒認知方面存在著一定程度的障礙(Melogno et al., 2016)。正常發(fā)育的兒童僅需8~14個月便能說出第一個單詞,而ASD兒童卻需約38個月,且ASD兒童不能遵循正常兒童的言語發(fā)音順序(Howlin, 2003)。一般情況下,結合真實的生活情境,利用虛擬游戲開展面向ASD兒童的詞匯教學,可對學習效果產(chǎn)生積極影響。馬來西亞學者Khowaja等(2019)基于ASD兒童特征設計了專門針對ASD兒童詞匯學習的游戲設計框架并在此基礎上研發(fā)了詞匯學習軟件“Vocab Builder”,旨在通過視聽教學媒介呈現(xiàn)日常生活中的物品,以輔助ASD兒童學習不同類別的單詞。在游戲過程中,ASD兒童可以自由選擇一個物體來瀏覽,也可選擇不同的聲音播放對應的單詞發(fā)音。實證結果顯示,在該軟件的幫助下,ASD兒童的詞匯學習能力有所提升,表現(xiàn)為只聽物體名稱就可以識別出相應物體,且在一段時間內(nèi)還能回憶起相同物體??梢?,將詞匯學習的文本和其表征的視覺圖像、聲音相結合,有助于ASD兒童對目標詞匯的記憶和習得,也有助于其語言理解能力的提升。
(2)以沉浸式虛擬場景支持數(shù)字化閱讀
虛擬游戲?qū)⒙曇?、視頻與閱讀文本等多媒體信息進行有效整合,以沉浸式虛擬教學場景的方式,為ASD兒童的數(shù)字化閱讀提供支持。研究發(fā)現(xiàn),ASD兒童在閱讀課文并理解文本意義的過程中,面臨著不同程度的困難與挑戰(zhàn)(Khowaja et al.,2020)。數(shù)字化閱讀是一種基于終端閱讀設備的超文本閱讀方式。伴隨信息社會發(fā)展,數(shù)字化閱讀已成為閱讀的重要組成部分(鄒群霞,2020)。在數(shù)字化閱讀的過程中,通過虛擬游戲,將ASD兒童的注意力轉移到數(shù)字閱讀場景中,并設置與之相匹配的虛擬游戲資源,可以幫助ASD兒童便捷獲取閱讀內(nèi)容并理解文本的意義?;趯SD兒童閱讀障礙的考量,可采用“1分鐘課堂”等策略幫助他們獲取關鍵信息,通過“閱讀書簽”“社會日歷”等輔助工具幫助其理解虛擬化閱讀情境,或引導其將注意力集中于人物的語音語調(diào)或面部表情等線索(Melogno et al.,2016),最大程度地為ASD兒童解決“數(shù)字使用鴻溝”帶來的差異化閱讀困難。綜上,面向ASD兒童的數(shù)字化閱讀,以虛擬游戲為載體,集圖像、聲音、視頻、動畫和VR/AR等技術為一體,表現(xiàn)內(nèi)容趨于生動且精簡,顯著提升ASD兒童的文本理解能力。
(3)以多元交互支持ASD兒童編程教育
虛擬游戲與編程教育的融合為ASD兒童計算思維的發(fā)展提供了新的可能性。研究顯示,ASD兒童表現(xiàn)出對數(shù)字工具的自然傾向性,因此計算機編程被認為是一種較為適合孤獨癥患者從事的工作類型(王純純等,2021)。當虛擬游戲應用于編程教育時,其智能可視化、協(xié)同交互的特點,對ASD兒童的社交技能、計算思維和認知發(fā)展具有顯著的影響作用。例如結合“虛擬”與“社交”之意的“Virtuoso”虛擬游戲(Schmidt et al.,2016),利用“虛擬可編程機器人”幫助11~14歲ASD兒童解決計算機編程的入門問題。在問題解決過程中,ASD兒童利用虛擬學習材料,在虛擬學習空間中開展協(xié)作學習,可針對性地改善其社交技能??傮w而言,以虛擬游戲集成的計算工具不僅能夠提升ASD兒童的社交技能,也能提升其計算思維。
綜上,作為ASD兒童的教與學支持工具,虛擬游戲?qū)SD兒童的詞匯學習、數(shù)字化閱讀和編程學習等具有積極影響。其中有兩方面值得重點關注:一是國際上已經(jīng)具備了專門面向ASD兒童學習的游戲設計框架,并且通過了有效性和適用性檢驗,但是我國對虛擬游戲設計框架的研究還未被重視,對游戲易用性和可用性的評估還較為欠缺(宿淑華等,2019)。二是通過已有研究可知,國際上基于虛擬游戲的ASD兒童教育愈來愈趨向于數(shù)字素養(yǎng)與技能的全面培養(yǎng),這也與我國《提升全民數(shù)字素養(yǎng)與技能行動綱要》中的“數(shù)字社會無障礙改造提升工程”要求不謀而合。多措并舉提升ASD兒童的數(shù)字意識、計算思維、終身學習能力等,是我國加快彌合數(shù)字鴻溝的普惠性服務重點與經(jīng)驗(中央網(wǎng)絡安全和信息化委員會,2021)。
六、研究啟示
通過對虛擬游戲支持ASD兒童教育的研究與案例的分析,可總結出以下四點經(jīng)驗,為我國開展虛擬游戲支持ASD兒童教育教學提供借鑒。
1.運用多模態(tài)學習分析,拓展教學測評方式
多模態(tài)學習分析的快速發(fā)展,為ASD兒童教學測評帶來了新機遇。從社會符號系統(tǒng)來看,對多模態(tài)的釋義更加偏向于機器對外部環(huán)境的感知模式或信息通道(Lahat et al.,2015),既包括身體姿態(tài)、面部表情等信息感知通道,也包括教學情境中基于多種傳感設備的數(shù)據(jù)采集方式(蔣艷雙等,2022)。與單模態(tài)數(shù)據(jù)相比,多模態(tài)數(shù)據(jù)融合不僅能夠提升測評的準確性和全面性,還可通過對多通道數(shù)據(jù)的驗證來提升問題闡釋的合理性(穆肅等,2021)。多模態(tài)學習分析能夠豐富虛擬游戲教育應用的效果評估手段,可為ASD兒童學習成效驗證提供數(shù)據(jù)支撐。在虛擬游戲支持ASD兒童學習的過程中,可以利用多種數(shù)據(jù)采集設備(例如超高清攝像機、眼動設備和心率傳感器等),伴隨式采集師生的多模態(tài)學習行為數(shù)據(jù),并利用多種分析技術對其進行同一化整合與建模,為師生等利益相關者提供教學支持與服務(Stone et al.,2019)。為此,建議構建混合式、系統(tǒng)化的虛擬游戲教育應用效果測評方案,以綜合考查ASD兒童在情緒識別、適應變化、社交協(xié)作和計算思維等上的訓練成效。
2.重視虛擬游戲教育應用倫理風險,構建“政—企—?!眳f(xié)同聯(lián)動的多元共治機制
虛擬游戲作為助力ASD兒童教育的有效且可靠的技術手段,在教育應用過程中仍面臨諸多科技倫理挑戰(zhàn)。例如,由于ASD兒童的感覺反應存在高度差異,可穿戴設備對其感知覺的反饋可能存在過度刺激,使其不能應對虛擬環(huán)境帶來的變化;ASD兒童使用虛擬游戲的時間過長可能導致成癮風險;ASD兒童的聲紋和面部特征等隱私數(shù)據(jù)存在被泄露與盜用的風險。針對以上科技倫理問題,需加強“政—企—?!敝g的協(xié)同聯(lián)動,建立差異化、全覆蓋的多方問責機制,制定并執(zhí)行監(jiān)督與防范措施,持續(xù)提升科技倫理治理能力(中共中央辦公廳 國務院辦公廳,2022)?!罢蟆!眳f(xié)同的多元共治機制可由政府主導,建立虛擬游戲在特殊教育中應用的倫理規(guī)范與風險預警機制,并明確企業(yè)和學校的責權范疇。企業(yè)應遵守市場規(guī)范,確保其產(chǎn)品不違反科技倫理。例如,設計游戲時遵循教育倫理、規(guī)范好用戶數(shù)據(jù)采集方式、建立數(shù)據(jù)保護機制等。學校作為虛擬游戲的應用主體,應加強科技倫理日常管理,主動研判虛擬游戲教育應用可能引發(fā)的倫理風險。例如,學校嚴格把控虛擬游戲納入學校教學活動的入口,并規(guī)范其在教學中的應用方式等。
3.以學習需求為導向,構建虛擬游戲設計框架
從整體上看,國際上已有關于虛擬游戲設計框架的研究。由于我國特殊教育的研究與實踐起步較晚,尚缺乏一套符合我國ASD兒童學習需求,且契合中國國情的虛擬游戲設計框架。制定此類框架,首先要在充分遵循ASD兒童認知發(fā)生機制和心理發(fā)展規(guī)律的基礎上,掌握ASD兒童群體的特征、興趣偏好和學習風格等。這是虛擬游戲設計框架構建的出發(fā)點。其次,虛擬游戲的設計框架應具備多種分支路徑,每個分支的游戲激勵策略、學習內(nèi)容呈現(xiàn)方式、進度安排等均有差異化設置,且每個分支需提供不同等級難度的學習內(nèi)容及測驗題目。具體而言,等級難度設置不僅要與不同能力水平的ASD兒童相匹配,還要差序配對學生的學習需求,以持續(xù)調(diào)動學生的參與動機和學習興趣。再次,基于數(shù)字文化體驗的差異性考慮,虛擬游戲中的化身應選用本國或本民族的人物形象,幫助ASD兒童更好地接受知識教授與情感訓練。最后,在大數(shù)據(jù)、人工智能等技術支持下,虛擬游戲設計時可加入感知與采集ASD兒童個性化特征與需求的功能,進而為其推薦適切的學習資源和學習活動序列,形成自適應學習路徑推薦機制,并提供實時數(shù)據(jù)分析與可視化呈現(xiàn)功能,為ASD兒童的認知發(fā)展和社交技能改善提供智能化學習路徑。
4.在職業(yè)培訓與就業(yè)支持中,重視ASD兒童數(shù)字素養(yǎng)與技能的培育
當前,我國孤獨癥青年就業(yè)率仍不足10%,且絕大多數(shù)家長認為獨孤癥兒童的職業(yè)培訓與就業(yè)支持需求未得以滿足(董萍等,2020)。適當給予ASD兒童職業(yè)學習的機會,讓其接觸所選職業(yè)相關的工作內(nèi)容,幫助其確定個人工作偏好,這對ASD兒童職業(yè)發(fā)展與就業(yè)選擇等方面具有重要意義。信息化社會對ASD兒童數(shù)字素養(yǎng)與技能的培養(yǎng)提出了新的要求。從國際上來看,美國《殘疾人教育法》建議在中學前后開始職業(yè)過渡培訓(Strickland et al., 2013),通過職業(yè)過渡培訓和數(shù)字化技能補償培訓等方式發(fā)展ASD兒童的職業(yè)技能和數(shù)字素養(yǎng)與技能。從我國來看,中央網(wǎng)絡安全和信息化委員會印發(fā)的《提升全民數(shù)字素養(yǎng)與技能行動綱要》強調(diào)穩(wěn)步提升殘疾人等特殊群體的數(shù)字技能,加快彌合數(shù)字鴻溝(中央網(wǎng)絡安全和信息化委員會,2021)。我國應在充分考慮國情和教育文化特色的基礎上,完善相關教育制度及規(guī)范,開展面向ASD兒童的職業(yè)過渡培訓課程。在培訓過程中可以采用適切的虛擬游戲來進一步挖掘其職業(yè)潛能,輔助其確立就業(yè)意向與職業(yè)方向,并提升其數(shù)字素養(yǎng)與技能。
注釋:
① 澳大利亞“孤獨癥游戲”項目網(wǎng)站為:www.autismgames.com.au。
參考文獻:
[1]董萍,徐添喜(2020).SEARCH項目在自閉癥學生“從學校到就業(yè)”轉銜中的應用與啟示[J].殘疾人研究,(4):80-88.
[2]蔣艷雙,崔璨,逯行等(2022).雙師課堂中的多模態(tài)學習情感分析:關鍵問題、邏輯理路與實施路線[J].現(xiàn)代教育技術,32(4):13-20.
[3]劉理陽,莫書亮,梁良等(2014).孤獨癥譜系障礙兒童面部表情識別障礙及臨床干預[J].中國特殊教育,(2):41-48.
[4]穆肅,崔萌,黃曉地(2021).全景透視多模態(tài)學習分析的數(shù)據(jù)整合方法[J].現(xiàn)代遠程教育研究,33(1):26-37,48.
[5]宿淑華,胡慧賢,趙富才(2019).基于ICT的自閉癥譜系障礙兒童情緒干預研究綜述[J].中國特殊教育,(4):47-53.
[6]孫巖(2008).虛擬游戲:兒童游戲的一種文化延伸[J].現(xiàn)代教育科學,(2):61-63.
[7]王純純,陳建軍(2021).行為技能訓練應用于自閉癥譜系障礙者職業(yè)技能干預的研究述評[J].中國特殊教育,(9):40-46.
[8]五彩鹿自閉癥研究院(2017).2017《中國自閉癥教育康復行業(yè)發(fā)展狀況報告II》發(fā)布會今日在京舉行[EB/OL].[2021-12-01].https://www.sohu.com/a/131582510_661957.
[9]閆海虹,張喜蓮,戎萍等(2022).中西醫(yī)治療兒童孤獨癥譜系障礙的臨床研究進展[J].中華中醫(yī)藥雜志,37(2):933-938.
[10]中共中央辦公廳 國務院辦公廳(2022).關于加強科技倫理治理的意見[EB/OL].[2022-04-01].http://www.gov.cn/zhengce/2022-03/20/content_5680105.htm.
[11]中央網(wǎng)絡安全和信息化委員會(2021).提升全民數(shù)字素養(yǎng)與技能行動綱要[EB/OL].[2022-04-01].http://wwww.cac.gov.cn/2021-11/05/c_1637708867754305.htm.
[12]鄒群霞(2020).兒童數(shù)字化閱讀的應對策略[J].出版廣角,(6):83-85.
[13]Aitken, K. (2012). Autism Spectrum Conditions: FAQs on Autism, Asperger Syndrome, and Atypical Autism Answered by International Experts[J]. Journal of Autism and Developmental Disorders, 42(9):2023-2024.
[14]American Psychiatric Association (2013). DSM-5: Diagnostic and Statistical Manual of Mental Disorders, 5th Edition[M]. Arlington VA: American Psychiatric Publishing.
[15]Baron-Cohen, S., Wheelwright, S., & Lawson, J. et al. (2005). Empathizing and Systemizing in Autism Spectrum Conditions[M]// Volkmar, F. R., Paul, R., & Klin, A. et al. (Eds.). Handbook of Autism and Pervasive Developmental Disorders. John Wiley & Sons, Inc. :628-639.
[16]Beaumont, R., & Sofronoff, K. (2008). A Multi-Component Social Skills Intervention for Children with Asperger Syndrome: The Junior Detective Training Program[J]. Journal of Child Psychology and Psychiatry, 49(7):743-753.
[17]Benford, S., Greenhalgh, C., & Rodden, T. et al. (2001). Collaborative Virtual Environments[J]. Communications of the ACM, 44(7):79-85.
[18]Bernardini, S., Porayska-Pomsta, K., & Smith, T. J. (2014). ECHOES: An Intelligent Serious Game for Fostering Social Communication in Children with Autism[J]. Information Sciences, 264:41-60.
[19]Bosseler, A., & Massaro, D. W. (2003). Development and Evaluation of a Computer-Animated Tutor for Vocabulary and Language Learning in Children with Autism[J]. Journal of Autism and Developmental Disorders, 33(6):653-672.
[20]Bremer, E., & Lloyd, M. (2016). School-Based Fundamental-Motor-Skill Intervention for Children with Autism-Like Characteristics: An Exploratory Study[J]. Adapted Physical Activity Quarterly, 33(1):66-88.
[21]Cai, S., Zhu, G., & Wu, Y. et al. (2018). A Case Study of Gesture-Based Games in Enhancing the Fine Motor Skills and Recognition of Children with Autism[J]. Interactive Learning Environments, 26(8):1039-1052.
[22]Chene, Y., Chiang, H., & Ye, J. et al. (2010). Enhancing Empathy Instruction Using a Collaborative Virtual Learning Environment for Children with Autistic Spectrum Conditions[J]. Computers & Education, 55(4):1449-1458.
[23]Golan, O., Ashwin, E., & Granader, Y. et al. (2010). Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces[J]. Journal of Autism and Developmental Disorders, 40(3):269-279.
[24]Howlin, P. (2003). Outcome in High-Functioning Adults with Autism with and Without Early Language Delays: Implications for the Differentiation Between Autism and Asperger Syndrome[J]. Journal of Autism and Developmental Disorders, 33(1):3-13.
[25]Ke, F., & Im, T. (2013). Virtual-Reality-Based Social Interaction Training for Children with High-Functioning Autism[J]. Journal of Educational Research, 106(6):441-461.
[26]Khowaja, K., & Salim, S. S. (2019). Serious Game for Children with Autism to Learn Vocabulary: An Experimental Evaluation[J]. International Journal of Human-Computer Interaction, 35(1):1-26.
[27]Khowaja, K., & Salim, S. S. (2020). A Framework to Design Vocabulary-Based Serious Games for Children with Autism Spectrum Disorder (ASD)[J]. Universal Access in the Information Society, 19(4):739-781.
[28]Lahat, D., Adali, T., & Jutten, C. (2015). Multimodal Data Fusion: An Overview of Methods, Challenges, and Prospects[J]. Proceedings of the IEEE, 103(9):1449-1477.
[29]Lu, A., Chan, S., & Cai, Y. et al. (2018). Learning Through VR Gaming with Virtual Pink Dolphins for Children with ASD[J]. Interactive Learning Environments, 26(6):718-729.
[30]Melogno, S., Trimarco, B., & Pinto, M. A. et al. (2016). Sensitizing a Gifted Child with Autism Spectrum Disorder Towards Social Cognition: From Assessment to Treatment[J]. World Journal of Neuroscience, 6(2):171-180.
[31]Mora, A., Riera, D., & González, C. et al. (2015). A Literature Review of Gamification Design Frameworks[C]// 2015 IEEE 7th International Conference on Games and Virtual Worlds for Serious Applications (VS-Games). New York: IEEE:100-107.
[32]Parsons, S., Mitchell, P., & Leonard, A. (2004). The Use and Understanding of Virtual Environments by Adolescents with Autistic Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 34(4):449-466.
[33]Porayska-Pomsta, K., Anderson, K., & Bernardini, S. et al. (2013). Building an Intelligent, Authorable Serious Game for Autistic Children and Their Carers[C]// Reidsma, D., Katayose, H., & Nijholt, A. (Eds.). Advances in Computer Entertainment. 10th International Conference, ACE 2013. Cham: Springer:456-475.
[34]Sahin, N. T., Keshav, N. U., & Salisbury, J. P. et al. (2018). Safety and Lack of Negative Effects of Wearable Augmented-Reality Social Communication Aid for Children and Adults with Autism[J]. Journal of Clinical Medicine, 7(8):188.
[35]Schmidt, M., & Beck, D. (2016). Computational Thinking and Social Skills in Virtuoso: An Immersive, Digital Game-Based Learning Environment for Youth with Autism Spectrum Disorder[C]// Allison, C., Morgado, L., & Pirker, J. et al. (Eds.). Communications in Computer and Information Science. Cham: Springer International Publishing AG:621:113-121.
[36]Stone, B. G., Mills, K. A., & Saggers, B. (2019). Online Multiplayer Games for the Social Interactions of Children with Autism Spectrum Disorder: A Resource for Inclusive Education[J]. International Journal of Inclusive Education, 23(2):209-228.
[37]Strickland, D. C., Coles, C. D., & Southern, L. B. (2013). JobTIPS: A Transition to Employment Program for Individuals with Autism Spectrum Disorders[J]. Journal of Autism and Developmental Disorders, 43(10):2472-2483.
[38]Sundberg, M. (2018). Online Gaming, Loneliness and Friendships Among Adolescents and Adults with ASD[J]. Computers in Human Behavior, 79:105-110.
[39]Xiao, Y., & Watson, M. (2019). Guidance on Conducting a Systematic Literature Review[J]. Journal of Planning Education and Research, 39(1):93-112.
[40]Yang, T., Zhou, C., & Shen, J. (2016). Virtual Reality Based Independent Travel Training System for Children with Intellectual Disability[C]// Aldabass, D., Colla, V., & Vannuci, M. et al. (Eds.). UKSim European Symposium on Computer Modeling and Simulation. New York: IEEE:143-148.
[41]Zhang, L., Warren, Z., & Swanson, A., et al. (2018). Understanding Performance and Verbal-Communication of Children with ASD in a Collaborative Virtual Environment[J]. Journal of Autism and Developmental Disorders, 48(8):2779-2789.
收稿日期 2021-12-10
How Can Virtual Games Support the Education for Children with Autism?
——A Systematic Literature Review of International Research
JIANG Yanshuang, ZHU Lixin, LU Hang, GAO Hongying
Abstract: Children with autism are often characterized by social communication disorders, repetitive behaviors, and fixed and limited interests, for which educational training serves as the main means of treatment. Virtual games, with the features of visualization, interactivity and simulation scene, are helpful to the educational intervention of autistic children. Based on a systematic literature review, this paper examines relevant international research on the intervention of virtual games for autistic children. The results are found as follows. First, the key technologies for virtual games to support the education for autistic children include visualization technology, virtual agent technology and emerging technology. Visualization technology that highlights human body and facial emotions in the form of 3D animations can promote the development of emotional understanding and recognition in autistic children. Virtual agent technology helps autistic children interact with other objects through avatars to improve their social skills. Using emerging technologies to construct interactive virtual reality environments can enhance autistic children’s understanding of causation and independent travel experience. Second, virtual games can function as cognitive tools and teaching and learning support tools in the education for autistic children, helping them with vocabulary learning, digital reading and programming. Therefore, in the development of the education for autistic children in China, multi-modal analysis technology can be used to expand the methods of evaluating the teaching effects of virtual games; the ethical risk of the application of virtual games in education should be emphasized to establish a multi-governance mechanism integrating “government, enterprise and school”; the design framework of virtual games should be constructed based on learning needs; the cultivation of digital literacy and skills in professional training and employment support should also be stressed.
Keywords: Virtual Games; Education for Autistic Children; Special Education; Systematic Literature Review