馬婧 姜萌 董艷

[摘 ? 要] 基于虛擬現(xiàn)實技術的學習者學習投入模型研究，是開發(fā)虛擬現(xiàn)實硬件及資源、進行相應教學設計的重要依據(jù)。目前，對虛擬現(xiàn)實環(huán)境的學習投入模型研究存在數(shù)據(jù)采集偏主觀、實施采樣困難、不易構建動態(tài)模型等問題，且模型分析維度單一，對特征值間的關聯(lián)性分析不足。為了構建更為真實客觀動態(tài)的學習投入模型，研究利用現(xiàn)代檢測技術與虛擬現(xiàn)實相結合的分布式傳感器系統(tǒng)，實現(xiàn)對學習者多維生理信息的實時監(jiān)測，并對采集的多參數(shù)、多維度特征間的關聯(lián)性進行分析。針對學習投入的情感、認知、行為三個維度，以電生理信號采樣、語音特征提取、語義識別等現(xiàn)代計算機與模式識別技術為主要分析手段，實現(xiàn)對情緒類型的識別，并對喚醒度及情緒正負面程度進行量化；采用覆蓋模型和約束模型，引入語音、語義及反應行為等信息以實現(xiàn)對認知投入和行為投入的分析。通過研究虛擬現(xiàn)實環(huán)境中學習者的學習投入綜合模型，為深入分析虛擬現(xiàn)實教學策略與模式，優(yōu)化虛擬現(xiàn)實學習環(huán)境提供了理論與實踐支持。

[關鍵詞] 虛擬現(xiàn)實； 學習投入； 傳感系統(tǒng)； 模型建構； 學習分析

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 馬婧（1983—），女，河南新鄉(xiāng)人。副教授，博士，主要從事高校信息化教育教學改革與發(fā)展、虛擬現(xiàn)實環(huán)境與教學模式研究。E-mail：jingma@zzu.edu.cn。董艷為通訊作者，E-mail：yan.dong@bnu.edu.cn。

一、引 ? 言

近年來，虛擬現(xiàn)實技術（簡稱 VR、虛擬現(xiàn)實）的快速進步為教育教學發(fā)展帶來了新的機遇和挑戰(zhàn)。虛擬現(xiàn)實技術的沉浸性、交互性和想象性等基本特征，使其突破了傳統(tǒng)教學的限制，能夠在很大程度上優(yōu)化教育教學環(huán)境，增強學習體驗，在教育教學領域有著廣闊的應用前景。但目前國內外針對虛擬現(xiàn)實環(huán)境學習者過程性數(shù)據(jù)的學習投入分析和模型建構研究還比較缺乏。相關研究面臨特征值的獲取偏主觀性、分析通常不具備實時性和動態(tài)建模功能、不適用于背景噪聲較強的實際課堂教學和群體性環(huán)境、分析維度單一和片面、較少考慮多維度投入特征值間的耦合性和關聯(lián)性等挑戰(zhàn)。

為解決這些難題，研究以虛擬現(xiàn)實技術為手段，結合多維生理信息采集及分析技術，對實際課堂教學中學習者多維生理信息和語音數(shù)據(jù)及學習行為進行采集和記錄，探究能夠實現(xiàn)人機互動操作，基于虛擬現(xiàn)實技術的學習投入信息反饋式可穿戴教學設備，獲取真實、客觀、及時性的學習者學習投入特征數(shù)據(jù)，并進行學習投入多特征、多維度之間的關聯(lián)性分析，從而構建學習者學習投入的多模態(tài)數(shù)據(jù)融合模型。

二、學習投入多模態(tài)數(shù)據(jù)融合脈絡分析

學習者學業(yè)成就的獲取在很大程度上由其學習投入水平?jīng)Q定。VR教學方法與傳統(tǒng)的課堂教學、線上教學在形式上有很大的不同，學習者在VR教學活動中的學習投入分析存在許多新的問題與挑戰(zhàn)，與此同時，個人VR平臺的可穿戴性、多接口兼容性和無線入網(wǎng)能力使許多新傳感技術、新數(shù)據(jù)分析方法能夠在動態(tài)、連續(xù)學習投入分析中得到應用。

本文將從學習投入多維度特征值分析、多特征間的關聯(lián)性分析以及學習者多維度學習投入模型構建入手，分析現(xiàn)有的研究方法與研究成果，討論所存在的問題與待改良之處，并以此為基礎探討研究思路。

（一）學習投入多維度特征值分析

學習投入是一個多維度變量，被普遍接受的概念是學習投入包括三個既獨特又相互關聯(lián)的維度，分別為：情感投入（Emotional Engagement）、 認知投入（Cognitive Engagement）和行為投入（Behavioral Engagement）[1]。情感投入表征了學習者在學習過程中的情感反應與情緒波動，涉及學習者興趣、態(tài)度以及高興、焦慮等情緒；認知投入指學習者花費在學習項目中的智力努力程度，以及內在動機、自主學習、運用和實施學習策略的能力；行為投入被認為是情感投入、認知投入的基本載體，是用來描述學習者在學習活動中積極參與、完成任務的情況。

1. 情感投入分析

教育心理學的研究表明，情感投入的研究多從學習者的情緒變化展開，學習者情緒檢測方法主要包括基于認知情感的評價模型、基于問卷調查的方法、基于行為分析的方法以及基于生理信息的方法。

奧托尼，克羅爾和柯林斯基于情感認知理論構建了第一個易于計算實現(xiàn)的認知型情感評價模型，簡稱OCC 模型，該模型是認知心理學研究中影響最為廣泛的情感理論模型，通過不同認知條件推導歸納出學習者的 22 種情感類型[2]，具有完善的情緒分析能力。OCC模型以及基于問卷調查的方法都不可避免地帶有學習者主觀性的影響，且難以分析學習者在學習過程中的連續(xù)情感投入變化。

隨著計算機技術、心理學、神經(jīng)醫(yī)學的發(fā)展，越來越多的基于行為分析的檢測手段被用于學習者連續(xù)情緒變化研究。如斯坦福溫斯頓實驗室推出了能夠根據(jù)面部表情識別被試者情緒的機器人Agent，能夠對6種學習相關情緒達到 92%以上的成功識別[3]。通過整合面部表情、頭部姿勢、眼神移動等多種基于行為的數(shù)據(jù)對學習者的學習投入進行自動測量與監(jiān)控[4]。這些方法能夠較為準確地識別學習者所處情緒或者情感參數(shù)的變化，但被試者必須處于實驗室環(huán)境，用面部識別攝像裝置在專用背景配合下進行試驗，且面部不能遮擋，算法所需計算資源也難以用可穿戴設備終端進行實時分析，因此，不適用于背景噪聲較強的實際課堂環(huán)境和VR教學設備。

根據(jù)學習者生理信息進行情緒識別的方法是一種純客觀的檢測方法，相較于外顯的情感行為，不易被主觀意愿掩飾、隱瞞，可信度較高，能夠更精確、客觀地反映人類真實情感[5]?；谏硇畔⑦M行情緒識別的方法涉及中樞神經(jīng)系統(tǒng)相關指標（主要指腦電信號）與自主神經(jīng)系統(tǒng)相關指標（心率、血壓、體溫、皮膚電、心電、肌電等信號）兩種?；谥袠猩窠?jīng)系統(tǒng)相關指標的情緒識別具有較高的分辨率，能對較小的情緒變化做出反應。但是腦電信號極其微弱，易受到外界電磁環(huán)境的干擾，幾乎很難實現(xiàn)與其他穿戴設備共同使用，而且被試者需要進行基礎信號標定等預實驗步驟。因此，在現(xiàn)有技術條件下無法在一般教學環(huán)境里對普通學生進行使用，也不能和需要無線通信的頭戴VR設備實現(xiàn)電磁兼容?；谧灾魃窠?jīng)系統(tǒng)相關指標的情緒識別方法具有便于采樣、魯棒性好、非侵入性等優(yōu)點。如西爾維亞·科瑞迪克等人綜合 11 種電生理信號，通過電生理誘導的方式實現(xiàn)了害怕與悲傷情緒的區(qū)分模型，并證明了多元自主神經(jīng)信息的組合測量可以有效區(qū)分相似性較高的基本情緒[6]。

2. 認知投入分析

現(xiàn)有的學習者認知投入的分析研究主要針對知識狀態(tài)表征，較為常用的知識狀態(tài)表示模型有鉛板模型、覆蓋模型、約束模型和貝葉斯模型。鉛板模型是最早使用的一種認知評分模型，通過考察學習者對知識的認知程度，對學習者進行分類，較易實現(xiàn)但分類精度很低，不能建立復雜的學習者模型；覆蓋模型通過一系列2 值邏輯判斷學習者對知識內容的掌握情況[7]，是目前使用最為廣泛的學習者認知建模方法；約束模型通過領域知識的約束形式建立學習者的認知投入衡量方式，通過模式匹配的方法可以實現(xiàn)較為高效的運算，對認知偏差的情況有很高的靈敏度[8]，多用來進行課程設計、知識點的教學反饋應用；基于貝葉斯模型的認知投入出現(xiàn)較晚，是將計算機技術引入學習者認知投入評估的經(jīng)典模型，能夠以概率的形式表達學習者對知識認知程度的不確定性，從學習全過程視角對學生認知情況進行評估[9]。通過將學習者的各種特征，如學習風格、學習目標、個人性格等，以節(jié)點的形式引入原有模型并通過制作、修改概率量表，對模型進行優(yōu)化改良。

目前，認知投入測量的方法還包括基于內容的分析、基于問卷的分析、基于生理信號的分析。在線學習環(huán)境下，學習者與材料或他人的互動被系統(tǒng)捕獲時，采用基于內容的分析是衡量投入度常用的方法[10]。但基于內容和問卷分析認知投入的方法具有滯后性，無法及時反饋學習者在學習過程中的認知投入度。當生理測量技術發(fā)展起來之后，學習者的生理信號也被用于認知測量。如利用腕表監(jiān)測心率來表征學習者在課程中的認知投入，發(fā)現(xiàn)從課程開始到課程結束，學習者的心率呈下降趨勢；而學生活動能夠顯著提升學習者的心率，進而提升學習者的學習投入[11]。瞳孔擴張與心率變異性（HRV）可以用來診斷視頻學習環(huán)境下學習者的認知負荷變化[12]。當前，對于認知投入的研究主要還是依靠教學互動、引導學生解決問題并以記錄其完成情況的形式建立數(shù)據(jù)基礎，然后進行分析。傳統(tǒng)的數(shù)據(jù)采集方法對于學習者解決問題中的各種行為、情緒等實時特征缺乏考慮。運用基于VR的教學平臺，學習者在解決問題時的情緒變化、注意力、 反應力、消耗時間等實時變化特征都成為可引入模型的參考信息，但相應的動態(tài)建模方法還處于研究匱乏狀態(tài)。

3. 行為投入分析

在線學習平臺的出現(xiàn)與廣泛使用使許多學習行為投入的研究水平邁上了一個新臺階，基于在線學習行為分析研究已經(jīng)成為該領域主流，操作次數(shù)、知識點的停留時間等成為可觀測變量。如陳侃等人通過實證研究表明，在線學習時學習者視頻觀看跳轉的行為是學習行為投入衡量的重要指標，打破了以往用完成率來作為測量指標的現(xiàn)狀[13]。還可以通過對學習者操縱鍵盤和鼠標等行為的監(jiān)測，獲得擊鍵的頻率和力度、滾輪的頻率和速度以測量在線學習時的行為[14]。

還有研究者通過檢測生理信號對學習者行為進行分析。如彭山等人采用腦電圖信號分析方法收集網(wǎng)絡成癮學生的腦電圖信號、前額葉SPN和P300波形，從行為學和腦電圖兩方面分析網(wǎng)絡成癮學生的行為特征[15]。但以上這些分析方法與模型需要在線設備達到非常高的實時性，相關實驗也需要在特殊改造的多媒體教室進行，不適用于依賴全仿真、高沉浸度，且互動延遲性受到移動網(wǎng)絡限制的VR教學平臺。因此，需要在已有研究基礎上以VR教學系統(tǒng)為前提選擇合適的特征量并建立行為投入分析模型。

（二）學習投入多特征間關聯(lián)性及多維建模研究

迄今為止，與學習投入相關的建模分析并未超出情感投入、認知投入、行為投入的理論框架，且大多數(shù)的學習投入模型研究是對其單一維度的分析建模。此類方法對于引進模型的各類生理信息之間的相互關聯(lián)性的強弱以及是否具有正交性、多尺度歸一性等并沒有專門討論研究。

近年來出現(xiàn)的貝葉斯分析模型，是建立在數(shù)據(jù)分析基礎上，以專家為中心、數(shù)據(jù)為中心的經(jīng)驗算法，并沒有專門對引入的變量進行解耦。特定的生理特征之間所具有的耦合性因為人體差異、環(huán)境影響都有可能出現(xiàn)變化。因此，需要針對 VR 設備尋找本身關聯(lián)性較弱的生物特征，或者將具有較強關聯(lián)性的特征進行解耦處理。此外，近年來除了基于單一維度的分析建立模型，也出現(xiàn)了部分兩種投入綜合分析的二維關聯(lián)度分析模型。但由于傳統(tǒng)的學習行為受限于教學環(huán)境、學習方法，使得許多實時觀測手段與技術無法使用。

三、基于多維傳感數(shù)據(jù)的學習投入模型構建

學習者的學習過程是一個復雜的過程，學習者在各維度的學習投入可以看做是非線性、時變、多變量耦合的復雜系統(tǒng)。得益于VR教學平臺提供的高沉浸性和互動性，其與可穿戴傳感器陣列的多通道全時域信息采集與反饋功能，以及現(xiàn)代模式識別方法與計算機技術，使得充分考慮特征值、多維度的相關性以構建綜合三個維度的學習投入模型成為可能。學習者的生理特征量之間、三個學習投入維度之間、被動行為特征與主動答題互動都有著較強的耦合關系，各種信息間的關聯(lián)性、隨動性具有極高的研究價值。建立基于三個維度學習投入、支持多模態(tài)數(shù)據(jù)融合的多輸入模型，將為 VR學習環(huán)境中測量和評估學習者表現(xiàn)提供實踐依據(jù)。

多模態(tài)學習分析具有跨模態(tài)、跨空間、跨數(shù)據(jù)、跨分析的獨特屬性[16]。2012年，第十四屆“多模態(tài)交互國際會議”上正式提出了多模態(tài)學習分析（Multimodal Learning Analytics）概念：多模態(tài)數(shù)據(jù)、教學學習和計算機支持分析相融合，形成三角關系用以描述復雜的學習系統(tǒng)[17]。在通過攝像、收音等固定設備對學習者動作、手勢和面部表情進行精準捕捉的同時，可穿戴傳感技術的發(fā)展實現(xiàn)了對學習者生理性數(shù)據(jù)的多通道全時域采集，這使得內外部顯性和隱性數(shù)據(jù)的整合分析成為可能?；诙嗄B(tài)分析理論，虛擬現(xiàn)實環(huán)境下學習投入可采集完整多元數(shù)據(jù)，增加解讀有效性，準確判定學生學習狀況，提升教育質量。

本研究基于虛擬現(xiàn)實教學技術提出了學習者綜合投入模型，通過學習過程中的介入式問答互動、被動式的語音、生理信息傳感等實現(xiàn)對學習者的全方位信息采集，并通過相關性算法揭示隱藏在數(shù)據(jù)后的學習投入三個維度之間的相互關系。根據(jù)前文分析，在建立學習者投入模型前，需要對引入的特征參數(shù)之間、維度之間的關聯(lián)性進行分析：首先，要確定模型參數(shù)，建立三個學習投入維度上的各參數(shù)與輸出的非線性映射關系；其次，對三個學習投入維度間相互關聯(lián)性進行分析，采用智能解耦算法如神經(jīng)網(wǎng)絡解耦算法等方法進行參量間、維度間的解耦；最后，建立學習者多輸入學習投入模型。多維傳感系統(tǒng)學習投入綜合模型的建模思路如圖1所示。

相比以往研究，本研究設計的系統(tǒng)平臺可以對學習者的學習過程實現(xiàn)時域連續(xù)觀測，實現(xiàn)學習者學習投入的一體化建模。研究所提出的多維傳感系統(tǒng)學習投入綜合模型由多模態(tài)信息采集與輸入層、信息預處理層、三維學習投入建模層三個功能層次組成，包含從學習者數(shù)據(jù)來源到最終實現(xiàn)模型建立的全部功能，以下分層討論。

（一）多模態(tài)信息采集與輸入層

虛擬現(xiàn)實環(huán)境下的教學過程可以實現(xiàn)課程進度與教學活動的多媒體化、信息采集的實時化。由基于VR平臺的多維電生理傳感器陣列系統(tǒng)、語音采集系統(tǒng)、計算機后臺操作記錄系統(tǒng)配合完成學習者信息采集任務。電生理傳感器陣列系統(tǒng)用以監(jiān)測學習者的心率、血壓、腦電、皮膚電等信息，實現(xiàn)對學習者生理信息的連續(xù)多通道、全過程主動采樣，直接與課程進度建立時域映射關系。語音采集功能主要用以在課間問答時對學習者口頭回答問題的語音信息進行采集，為后續(xù)的答案判斷、情緒識別以及知識點熟練度掌握提供數(shù)據(jù)分析基礎。后臺操作記錄主要用于監(jiān)測學習者在課程中的回饋反應以及主動操作行為，課程中的互動反饋可以監(jiān)測學習者注意力的集中程度，而課中間歇的復習操作可以體現(xiàn)學習者學習主動性與知識點掌握情況。

本研究基于VRSHINECON虛擬現(xiàn)實設備搭載自研多維生理信息傳感器陣列，對學習者在學習過程中的被動生理信息、主動操作行為、語音信息進行全程采集。頭盔式VR在支持虛擬授課環(huán)境的同時，加載嵌入式設備對傳感器陣列進行實時采樣，并通過SIM卡將采樣信息傳遞給計算機終端。腕帶傳感器及其他可穿戴傳感設備也將承擔生理信息采集任務，并通過zigbee網(wǎng)絡或藍牙射頻的方式實現(xiàn)與VR頭盔的無線數(shù)據(jù)交互。

（二）信息預處理層

預處理層負責對輸入層的輸入信息進行預處理，通過數(shù)據(jù)處理與定性定量分析實現(xiàn)了語音語義分析識別、課堂問答及行為的特征提取、電生理信息特征提取與濾波以及多維信息的歸一化處理等功能。對信息的預處理，對學習中的操作行為進行記錄與特征提取，可以為進一步分析學習者的行為投入情況提供分析依據(jù)。答題的準確度和速度可以作為定性定量衡量認知投入的依據(jù)。

電生理信息的特征分析可以判斷該學習者在學習過程中的情感變化，人體生理特征決定情感投入所涉及的心率、血壓、皮膚電等自主神經(jīng)系統(tǒng)生理信息，相互間具有很強的關聯(lián)性，一種參數(shù)的變化一定會引發(fā)另外兩種參數(shù)的連帶變化，因此，在引入分析模型以前需要進行解耦，保證參數(shù)間的相互獨立性。采用神經(jīng)網(wǎng)絡算法建立多參數(shù)的輸入輸出模型，設計目標函數(shù)以及參數(shù)尋優(yōu)算法降低耦合度，建立映射關系，提高參數(shù)獨立性。神經(jīng)網(wǎng)絡可以實現(xiàn)多輸入多輸出映射，并實現(xiàn)對任意函數(shù)到任意精度的逼近，以及對時變、非線性、對象未知的模型解耦。

通過語音采集裝置與語義識別算法，實現(xiàn)學習者與教學內容的互動，并通過對音頻的采集為后續(xù)實驗對象的學習情緒、學習行為分析提供數(shù)據(jù)。語音數(shù)據(jù)通過無線互聯(lián)網(wǎng)傳輸給遠程服務器，語音的分貝、語速、基音等特征信息提取與處理以及語義對比識別由集成在VR設備里的本地數(shù)據(jù)處理程序以及語義對比數(shù)據(jù)庫完成。

（三）三維學習投入建模層

采集數(shù)據(jù)經(jīng)過預處理，對受試者學習過程中的情緒進行量化分類，對學習、答題行為建立多映射模型與覆蓋約束模型，從而實現(xiàn)對情感、認知、行為三種投入的定性定量分析以及量化輸出，最終實現(xiàn)學習者情感、認知和行為的三個維度多輸入學習投入模型。將支持情感投入、認知投入、行為投入的特征采樣系統(tǒng)與教學互動方法相結合，以優(yōu)化學習成果為導向建立提升教學方法的新路徑。對三種學習投入的分析方法進行如下闡述：

1. 情感投入的特征量化與情緒識別分析

基于經(jīng)典的OCC模型可以對多達22種的學習者情緒進行區(qū)分，選取與學習行為及效果有較大關聯(lián)度的6種情緒類型，即憤怒、羞愧、焦慮、中性、快樂、驕傲進行識別，并對喚醒度進行量化，從而實現(xiàn)學習者情感投入的綜合分析。采用電生理信號（心率、呼吸頻率、皮膚電、體溫等）+ 語音語義（語速、分貝、基音等）識別為主要分析手段，并用嵌入式語音問卷作為輔助手段。

由于在時間域上情緒的變化是連續(xù)的，且所采集的生理信息以及語音、語義分析結果是相互獨立的，因此，建立動態(tài)的、（雙時間片）以專家為中心的貝葉斯網(wǎng)絡模型展開分析，對情緒類型進行識別，并對喚醒度和情緒的正負面程度進行量化，如圖2所示。

雙時間片貝葉斯網(wǎng)絡的兩個時間片變量間的條件分布定義為：

式（1）中Zti表示第t個時間片的第i個節(jié)點，nt表示第t個時間片的節(jié)點數(shù)目。以此根據(jù)初始時間片和相鄰時間片的條件分布可以展開到任意時間片T上參數(shù)的聯(lián)合分布率如式（2）：

2. 結合語音、語義、生理信息實現(xiàn)認知和行為投入的分析

本研究所使用的教學課程由經(jīng)過預處理的VR教學資源和自制階段性實時測驗組成：通過篩選、分解、整合等預處理步驟將已有教學資源重新編輯，并在課程進行過程中將內容在時域上整合為記憶性、理解性、應用性、分析性、評價性以及創(chuàng)造性資源。課程學習過程由虛擬現(xiàn)實教學課件+階段性實時互動測驗+語音信息反饋的形式聯(lián)合組成，課程全程由VR設備所集成的傳感器陣列實時采集學習者的生理信息，如圖3所示。

對使用者認知投入和行為投入的評價，主要依靠嵌入在教學視頻中的實時提問，以及教學結束后的線上測試，由語音提問及視頻展示兩種形式進行智能教學代理（Pedagogical Agent）與學習者間的互動問答。階段性實時測驗基于美國教育心理學家布魯姆的認知過程維度，按照記憶、理解、應用、分析、評價和創(chuàng)造，由低階到高階的六階認知復雜程度，并在不同階段通過教學代理問答的形式結合覆蓋模型和約束模型對學生的認知投入進行衡量。

覆蓋模型假設與知識點A有關的所有問題能夠覆蓋考察學習者對于該知識點的掌握程度，通過答題正確的子集建立公式評價答題者的得分情況。由于覆蓋模型無法處理錯題行為，因此，建立了輔助的約束模型對答題失敗的情況進行記錄、分析，逆向判斷該知識點的掌握情況。

3. 三維投入的綜合視域映射

在對情感投入、認知投入、行為投入分別進行定性定量分析的基礎上，將任意一位學習者的學習投入情況建立模型并在三維投入空間內得到時域映射。學習者對一個內容或知識點的完整時域學習過程可以由三維學習投入模型進行表達，如圖4所示。

圖4中的兩個有向折線代表了學習者在學習兩個知識點時的學習投入綜合情況，虛線折線表示學習者在15分鐘內學習一個記憶性（認知投入）知識點的過程，情感由開始不理解的焦慮經(jīng)過不斷學習最終轉變?yōu)轵湴?，行為投入也在學習過程中不斷地進行提升；實線折線表示學習者在30分鐘內學習一個分析性知識點的過程，隨著學習過程的不斷深入，情感由開始的中性快速轉變?yōu)榭鞓?，直至最終的驕傲，行為投入在進入狀態(tài)后保持了持續(xù)提升的過程。通過這樣直觀與高對比度的方式實現(xiàn)對學習者學習投入的實時量化反映。

四、結 ? 語

本研究在多模態(tài)分析理論指導下充分利用不同模態(tài)的信息優(yōu)勢，采用現(xiàn)代虛擬現(xiàn)實技術及分布式生理傳感器陣列，全方位采集各個時間點學習者顯性行為、隱性心理變化和生理數(shù)據(jù)等連續(xù)的學習過程全時域數(shù)據(jù)，在此基礎上采用貝葉斯模型、覆蓋模型、約束模型等建模手段實現(xiàn)多模態(tài)交互分析，從而得到完整的學習投入水平變化軌跡，構建了虛擬現(xiàn)實技術下基于多維傳感系統(tǒng)的學習投入綜合分析模型。該模型可以直觀表達學習者在課程中針對一個完整學習內容時情感、認知、行為三個學習投入的時域變化情況，不僅能夠對學習過程進行全方位的分析，彌補了單維度數(shù)據(jù)采集的不足，還能夠基于多源數(shù)據(jù)對學習者的學習過程進行實時性與持續(xù)性的分析。下一步的研究重點將集中在生物信息傳感器陣列及信息采集設備的系統(tǒng)優(yōu)化，降低或排除穿戴設備對學習者帶來的心理壓力及行為改變造成的背景噪聲，并優(yōu)化多維度交互模型。

[參考文獻]

[1] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[2] ORTONY A， CLORE G L， COLLINS A. The cognitive structure of emotions： factors affecting the intensity of emotions[J]. Contemporary sociology， 1988， 18（6）： 2147-2153.

[3] 王志良，鄭思儀，王先梅，等.心理認知計算的研究現(xiàn)狀及發(fā)展趨勢[J].模式識別與人工智能，2011，24（2）：215-225.

[4] CAROLIS B D， DERRICO F， MACCHIARULO N， et al. "Engaged faces"： measuring and monitoring student engagement from face and gaze behavior[C]//IEEE/WIC/ACM International Conference on Web Intelligence. New York： ACM， 2019： 80-85.

[5] 薛耀鋒，楊金朋，郭威，等.面向在線學習的多模態(tài)情感計算研究[J].中國電化教育，2018（2）：46-50，83．

[6] KREIBIG S D. Computational reproducibility of "goal relevance and goal conduciveness appraisals lead to differential autonomic reactivity in emotional responding to performance feedback"（kreibig， gendolla， & scherer， 2012）： a guide and new evidence[J]. International journal of psychophysiology official journal of the international organization of psychophysiology， 2017，119：93-107.

[7] 黃玉妍，王建華，李麗萍.基于Web學習系統(tǒng)的學生模型分析[J].計算機工程與科學，2009，31（9）：142-144.

[8] OHLSON J A. The theory of value and earnings， and an introduction to the Ball-Brown analysis[J]. Contemporary accounting research， 1991， 8（1）：1-19.

[9] YIN Z， ZHAO M， WANG Y， et al. Recognition of emotions using multimodal physiological signals and an ensemble deep learning model[J]. Computer methods & programs in biomedicine， 2017，140：93-110.

[10] 趙春，李世瑾，舒杭，等.混合學習投入度研究框架構建、機理分析及實證研究——活動理論的視角[J].現(xiàn)代遠距離教育，2020， （6）：69-77.

[11] DIANA K， PAUL A. Student engagement， assessed using heart rate， shows no reset following active learning sessions in lectures[J]. PLoS ONE， 2019， 14 （12）：1-14.

[12] KIM J， JO I H. Feasibility and use of psychophysiological responses based on cognitiveload theory[J]. Australasian journal of educational technology， 2019， 35（3）：150-165.

[13] 陳侃，周雅倩，丁妍，等.在線視頻學習投入的研究——MOOCs視頻特征和學生跳轉行為的大數(shù)據(jù)分析[J].遠程教育雜志，2016（4）：35-42.

[14] 黎孟雄，郭鵬飛，黎知秋.基于情緒識別的遠程教學自適應調節(jié)策略研究[J].中國遠程教育，2015（11）：18-24.

[15] SHAN P， PEI J. Cognition and education management method of withdrawal reaction for students with internet addiction based on EEG signal analysis[J]. Educational sciences： theory ＆ practice， 2018， 18（5）：2235-2246.

[16] 牟智佳.多模態(tài)學習分析：學習分析研究新生長點[J].電化教育研究，2020（5）：27-32， 51.

[17] WORSLEY M， ABRAHAMSON D， BLIKSTEIN P， et al. Multimodal learning analytics[C]//The 12th International Conference of The Learning Sciences. New York： ACM， 2016： 1346-1349.

Research on Integrated Model of Student Engagement Based on Multidimensional Sensor System in Virtual Reality Environment

MA Jing， ?JIANG Meng， ?DONG Yan

（1.School of Education， Zhengzhou University， Zhengzhou Henan 450001;

2.Faculty of Education， Beijing Normal University， Beijing 100875）

[Abstract] The study of student engagement model based on virtual reality technology is an important basis for developing virtual reality hardware and resources and carrying out corresponding teaching design. At present， the study of student engagement models for virtual reality environments has problems such as subjective data collection， difficulty in implementing sampling， and difficulty in constructing dynamic models， the model analysis with a single dimension and insufficient analysis of the correlation between feature values. In order to construct a more realistic and objective dynamic model of student engagement， this study uses distributed sensor system combining modern detection technology and virtual reality to achieve real-time monitoring of learners' multidimensional physiological information， and analyzes the correlation between the collected multi-parameter and multidimensional features. Aiming at three dimensions of student engagement of emotion， cognition and behavior， modern computer and pattern recognition techniques， such as electrophysiological signal sampling， speech feature extraction and semantic recognition， are used as the main analysis tools to achieve the identification of emotional types and to quantify the arousal degree and the degree of positive and negative emotions. The overlay model and constraint model are used to analyze the cognitive and behavioral engagement by introducing speech， semantic and reactive information. By studying the comprehensive model of student engagement in virtual reality environment， it provides theoretical and practical support for in-depth analysis of virtual reality teaching strategies and for models and optimization of virtual reality learning environment.

[Keywords] Virtual Reality; Student Engagement; Sensor System; Model Construction; Learning Analytics