張家華 胡惠芝 黃昌勤

多模態(tài)學(xué)習(xí)分析技術(shù)支持的學(xué)習(xí)評(píng)價(jià)研究*

張家華 胡惠芝[通訊作者]黃昌勤

（浙江師范大學(xué) 浙江省智能教育技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，浙江金華 321004）

面對(duì)新時(shí)代高質(zhì)量教育與創(chuàng)新人才的發(fā)展需求，傳統(tǒng)學(xué)習(xí)評(píng)價(jià)的弊端日益凸顯，亟需創(chuàng)新體制、深化改革。多模態(tài)學(xué)習(xí)分析通過多維度全面采集和分析學(xué)習(xí)過程動(dòng)態(tài)數(shù)據(jù)，使面向過程與真實(shí)學(xué)習(xí)情境的學(xué)習(xí)評(píng)價(jià)成為可能。文章首先基于當(dāng)前學(xué)習(xí)評(píng)價(jià)的難點(diǎn)問題分析，剖析了多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)評(píng)價(jià)的價(jià)值內(nèi)蘊(yùn)。隨后，文章提出四類多模態(tài)數(shù)據(jù)所映射的評(píng)價(jià)表征維度和內(nèi)容，從確立目標(biāo)、獲取數(shù)據(jù)、建構(gòu)模型、提供反饋四個(gè)方面構(gòu)建并闡釋了基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)流程。最后，文章結(jié)合相關(guān)研究成果提出多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)應(yīng)用建議，以期為面向過程的發(fā)展性學(xué)習(xí)評(píng)價(jià)改革賦能助力，并為高階學(xué)習(xí)評(píng)價(jià)提供新視角。

多模態(tài)數(shù)據(jù)；學(xué)習(xí)分析；學(xué)習(xí)評(píng)價(jià)；學(xué)習(xí)過程；數(shù)據(jù)表征

教育評(píng)價(jià)改革是建設(shè)高質(zhì)量教育體系的關(guān)鍵環(huán)節(jié)和動(dòng)力，引領(lǐng)著教育高質(zhì)量發(fā)展的目標(biāo)方向。傳統(tǒng)的學(xué)習(xí)評(píng)價(jià)受技術(shù)的限制，難以對(duì)個(gè)體及群體性學(xué)習(xí)過程進(jìn)行細(xì)致分析，無法支持理解復(fù)雜的學(xué)習(xí)現(xiàn)象。多模態(tài)學(xué)習(xí)分析作為一種新興技術(shù)，為不同學(xué)習(xí)環(huán)境中的人、機(jī)、資源所產(chǎn)生的學(xué)習(xí)測量與評(píng)價(jià)提供了新的視角[1]。如何應(yīng)用多模態(tài)學(xué)習(xí)分析對(duì)真實(shí)學(xué)習(xí)情境中復(fù)雜的學(xué)習(xí)活動(dòng)進(jìn)行評(píng)價(jià)，成為了教育研究者關(guān)注的熱點(diǎn)問題。基于此，本研究從當(dāng)前學(xué)習(xí)評(píng)價(jià)的難點(diǎn)問題出發(fā)，通過挖掘多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)評(píng)價(jià)的價(jià)值內(nèi)蘊(yùn)，進(jìn)一步分析多模態(tài)學(xué)習(xí)分析如何賦能學(xué)習(xí)評(píng)價(jià)表征，并構(gòu)建基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)流程，以期為新時(shí)代教育評(píng)價(jià)改革與創(chuàng)新提供參考。

一 當(dāng)前學(xué)習(xí)評(píng)價(jià)的難點(diǎn)問題

在深化教育教學(xué)改革的新形勢下，傳統(tǒng)學(xué)習(xí)評(píng)價(jià)的弊端日漸凸顯，已在一定程度上制約了新時(shí)代教育的創(chuàng)新發(fā)展。當(dāng)前，學(xué)習(xí)評(píng)價(jià)面臨的難點(diǎn)問題主要如下：

1 學(xué)習(xí)評(píng)價(jià)忽視高階思維

高階思維是指發(fā)生在較高認(rèn)知水平層次上的心智活動(dòng)和認(rèn)知能力，包括學(xué)生的獨(dú)立思考、批判創(chuàng)新、問題解決及學(xué)習(xí)能力等。培養(yǎng)和發(fā)展學(xué)生的高階思維，不僅是教育對(duì)現(xiàn)實(shí)訴求的回應(yīng)，也是新時(shí)代教學(xué)研究和實(shí)踐的目標(biāo)定位與努力方向。傳統(tǒng)紙筆測試以紙作問、用筆答題，重在測試學(xué)生學(xué)習(xí)認(rèn)知方面的記憶與理解，難以全面考查學(xué)生的真實(shí)學(xué)習(xí)能力，容易忽視學(xué)生的高階思維發(fā)展，不利于培養(yǎng)學(xué)生的創(chuàng)新能力和批判性思維[2]。21世紀(jì)的人才培養(yǎng)非常注重非認(rèn)知能力的發(fā)展，這給傳統(tǒng)紙筆測試帶來了沖擊和挑戰(zhàn)，亟待探索高階思維測評(píng)的實(shí)踐方式。

2 學(xué)習(xí)評(píng)價(jià)難現(xiàn)真實(shí)情境

目前，以數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)分析大多聚焦于以計(jì)算機(jī)為中介的在線學(xué)習(xí)情境[3]，如在線學(xué)習(xí)管理平臺(tái)就是網(wǎng)絡(luò)學(xué)習(xí)活動(dòng)數(shù)據(jù)采集的重要載體。其中，用于評(píng)價(jià)研究的學(xué)習(xí)數(shù)據(jù)大多來自數(shù)字平臺(tái)的記錄，依靠對(duì)鼠標(biāo)的點(diǎn)擊、鍵盤的敲打等方式進(jìn)行采集，忽視了學(xué)生在自然物理環(huán)境下真實(shí)學(xué)習(xí)交流的實(shí)時(shí)數(shù)據(jù)，且僅憑有限的學(xué)習(xí)過程數(shù)據(jù)無法助力教師在復(fù)雜學(xué)習(xí)環(huán)境下對(duì)學(xué)生的認(rèn)知建構(gòu)、情感交流、實(shí)踐能力、創(chuàng)新思維等做出真實(shí)有效的評(píng)價(jià)，難以幫助學(xué)生真正地改善學(xué)習(xí)過程、優(yōu)化學(xué)習(xí)體驗(yàn)。

3 學(xué)習(xí)評(píng)價(jià)過程重視不足

傳統(tǒng)學(xué)習(xí)評(píng)價(jià)多以考試成績作為主要依據(jù)，片面強(qiáng)調(diào)測量結(jié)果的客觀性，這消解了學(xué)習(xí)評(píng)價(jià)本身的價(jià)值。學(xué)習(xí)本是一個(gè)漸進(jìn)的過程性活動(dòng)，評(píng)價(jià)應(yīng)該貫穿于整個(gè)學(xué)習(xí)過程，關(guān)注讓學(xué)生形成有意義的學(xué)習(xí)經(jīng)歷并提供有用的反饋，強(qiáng)調(diào)有效性、實(shí)效性和高效性。因此，學(xué)習(xí)評(píng)價(jià)要融于教學(xué)活動(dòng)過程中，而不能僅作為臨近學(xué)習(xí)結(jié)束的一個(gè)環(huán)節(jié)簡單嵌入；應(yīng)對(duì)學(xué)習(xí)過程進(jìn)行持續(xù)評(píng)估，以最大程度地發(fā)揮評(píng)價(jià)的功能；同時(shí)，評(píng)價(jià)應(yīng)與個(gè)體學(xué)習(xí)過程緊密地融合在一起，以便教師及時(shí)診斷學(xué)情，幫助學(xué)生找出學(xué)習(xí)過程中存在的問題并及時(shí)引導(dǎo)解決，全面把握學(xué)生的真實(shí)需求。

綜上所述，如何關(guān)注問題真實(shí)情境，立足學(xué)習(xí)過程來評(píng)測學(xué)生思維發(fā)展、知識(shí)獲得和認(rèn)知建構(gòu)，是當(dāng)前學(xué)習(xí)評(píng)價(jià)亟需解決的問題。多模態(tài)學(xué)習(xí)分析可通過高頻次、細(xì)粒度捕捉學(xué)習(xí)過程中的多種數(shù)據(jù)，結(jié)合多模態(tài)數(shù)據(jù)融合模型與分析算法，即時(shí)反饋學(xué)習(xí)評(píng)價(jià)結(jié)果，為解決當(dāng)前學(xué)習(xí)評(píng)價(jià)難點(diǎn)問題提供了新方案。

二 多模態(tài)學(xué)習(xí)分析的價(jià)值內(nèi)蘊(yùn)

多模態(tài)學(xué)習(xí)分析旨在通過捕獲、融合和分析多種來源的數(shù)據(jù)，以實(shí)現(xiàn)對(duì)學(xué)習(xí)行為、認(rèn)知、信念、動(dòng)機(jī)、情緒等多方面的客觀理解與深刻洞察[4]。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，研究者利用眼動(dòng)追蹤、紅外成像、腦電和面部識(shí)別等技術(shù)收集到多種模態(tài)數(shù)據(jù)，這些數(shù)據(jù)可以幫助分析復(fù)雜環(huán)境中的學(xué)習(xí)活動(dòng)，如影響學(xué)生如何與設(shè)備、人、其他資源互動(dòng)的認(rèn)知和情感因素，包括壓力水平、先驗(yàn)知識(shí)、認(rèn)知水平、參與動(dòng)機(jī)、情緒變化等。Drachsler等[5]指出，使用學(xué)習(xí)分析中的多模態(tài)數(shù)據(jù)可以獲得比單一數(shù)據(jù)更全面的學(xué)習(xí)過程信息，并能更好地分析影響學(xué)習(xí)效果的因素。Sharma等[6]通過對(duì)42項(xiàng)有關(guān)多模態(tài)數(shù)據(jù)應(yīng)用于學(xué)習(xí)分析的研究發(fā)現(xiàn)，使用來自眼動(dòng)跟蹤、腦電圖和面部視頻的多模態(tài)數(shù)據(jù)來預(yù)測學(xué)習(xí)技能習(xí)得，其效果要比使用任何單個(gè)數(shù)據(jù)預(yù)測更好。表1列出了多模態(tài)數(shù)據(jù)應(yīng)用研究的典型案例，可以看出：多模態(tài)數(shù)據(jù)融合能夠支持對(duì)學(xué)習(xí)過程和結(jié)果的有效分析與預(yù)測，有助于解釋復(fù)雜的學(xué)習(xí)過程，故基于多模態(tài)數(shù)據(jù)的融合分析將成為學(xué)習(xí)分析和評(píng)價(jià)的研究重點(diǎn)。

表1 多模態(tài)數(shù)據(jù)應(yīng)用研究的典型案例

研究人員學(xué)習(xí)環(huán)境融合數(shù)據(jù)應(yīng)用方向 Larmuseau等[7]非正式的在線問題解決皮膚電活動(dòng)（GSR）、心電圖（ECG）和心率變異性（HRV）測量認(rèn)知負(fù)荷情況 Olsen等[8]ITS的正式協(xié)作環(huán)境凝視、日志、對(duì)話和音頻預(yù)測測驗(yàn)成績和學(xué)習(xí)改善情況 Ahn等[9]游戲化學(xué)習(xí)（GBL）凝視和面部理解學(xué)習(xí)情緒對(duì)學(xué)習(xí)成績的影響 Vujovic等[10]協(xié)作學(xué)習(xí)運(yùn)動(dòng)和視頻數(shù)據(jù)解釋協(xié)作學(xué)習(xí)的參與水平和行動(dòng)范圍 Emerson等[11]正式學(xué)習(xí)凝視、面部和日志預(yù)測學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)結(jié)果 Ochoa等[12]非正式學(xué)習(xí)視頻、音頻和演講文件評(píng)估口頭陳述能力

綜上，多模態(tài)學(xué)習(xí)分析可以獲取學(xué)生真實(shí)、細(xì)致的深層次學(xué)習(xí)數(shù)據(jù)，幫助研究者對(duì)學(xué)生的認(rèn)知建構(gòu)、學(xué)習(xí)動(dòng)機(jī)和行為表現(xiàn)進(jìn)行較為全面的評(píng)估，其應(yīng)用于學(xué)習(xí)評(píng)價(jià)的價(jià)值內(nèi)蘊(yùn)主要包括：

1 促進(jìn)發(fā)展性評(píng)價(jià)

基于發(fā)展性評(píng)價(jià)觀的學(xué)習(xí)評(píng)價(jià)不僅要關(guān)注學(xué)習(xí)結(jié)果，還應(yīng)重視學(xué)習(xí)過程，提倡在教學(xué)過程中不斷反思評(píng)價(jià)過程與結(jié)果，根據(jù)學(xué)習(xí)者的特點(diǎn)和能力提出適合其發(fā)展的、有針對(duì)性的建議[13]。多模態(tài)學(xué)習(xí)分析有助于教師動(dòng)態(tài)了解學(xué)生的學(xué)習(xí)表現(xiàn)、注意力情況和認(rèn)知發(fā)展水平，根據(jù)學(xué)生的學(xué)習(xí)情況做出判斷、調(diào)整教學(xué)，并提供個(gè)性化的學(xué)習(xí)指導(dǎo)。例如，曹曉明等[14]基于多模態(tài)數(shù)據(jù)融合深度學(xué)習(xí)算法，采集學(xué)生在MOOC學(xué)習(xí)過程中的臉部圖像、腦電波和學(xué)習(xí)日志數(shù)據(jù)，對(duì)其學(xué)習(xí)參與度進(jìn)行準(zhǔn)確識(shí)別，實(shí)現(xiàn)了學(xué)習(xí)過程的動(dòng)態(tài)評(píng)價(jià)并為個(gè)性化學(xué)習(xí)提供了證據(jù)支持。

2 強(qiáng)化綜合性評(píng)價(jià)

發(fā)展學(xué)生的綜合素質(zhì)是新課程改革的關(guān)鍵所在，而評(píng)價(jià)學(xué)生的綜合素質(zhì)需要結(jié)合學(xué)習(xí)過程和結(jié)果的相關(guān)數(shù)據(jù)進(jìn)行全面考慮[15]。多模態(tài)學(xué)習(xí)分析可對(duì)學(xué)生的合作能力、學(xué)習(xí)品質(zhì)、創(chuàng)新精神等進(jìn)行多維度的考察和評(píng)估，有助于促進(jìn)學(xué)生高階思維的發(fā)展。通過對(duì)學(xué)生綜合素質(zhì)相關(guān)的數(shù)據(jù)進(jìn)行分類采集、分析和整合，有效評(píng)測學(xué)生綜合素質(zhì)能力的發(fā)展水平。例如，Blikstein等[16]提出使用高頻率多模態(tài)數(shù)據(jù)收集和機(jī)器學(xué)習(xí)技術(shù)，通過自動(dòng)化、細(xì)粒度的數(shù)據(jù)分析追蹤復(fù)雜學(xué)習(xí)環(huán)境中的學(xué)習(xí)軌跡，實(shí)現(xiàn)對(duì)學(xué)生的認(rèn)知能力、情感態(tài)度、信念動(dòng)機(jī)等更加細(xì)致和深入的理解。

3 保障真實(shí)性評(píng)價(jià)

智能化技術(shù)工具的廣泛應(yīng)用，為收集、分析技術(shù)豐富場景中的學(xué)習(xí)過程數(shù)據(jù)提供了極大便利。多模態(tài)學(xué)習(xí)分析可將日常真實(shí)學(xué)習(xí)環(huán)境中師生的語言、動(dòng)作、眼神等數(shù)據(jù)通過高清攝像頭、拾音設(shè)備和智能化數(shù)據(jù)采集終端進(jìn)行獲取，突破了傳統(tǒng)的單一數(shù)據(jù)收集研究局限，有助于評(píng)價(jià)學(xué)生運(yùn)用所學(xué)知識(shí)完成復(fù)雜的開放性任務(wù)、進(jìn)行知識(shí)體系的建構(gòu)等能力，真實(shí)呈現(xiàn)學(xué)生理解、思考和解決問題的過程。例如，Von Davier等[17]設(shè)計(jì)了基于多模態(tài)數(shù)據(jù)的計(jì)算模型框架，用于捕獲、分析和測量復(fù)雜真實(shí)情境下的人類行為，并使用可穿戴傳感器采集學(xué)習(xí)者的非語言行為，以此作為評(píng)估人際交往能力、自身人格特征等的重要證據(jù)和方法。

三 多模態(tài)數(shù)據(jù)類型及其評(píng)價(jià)表征

Blikstein等[18]將多模態(tài)學(xué)習(xí)分析劃分為九個(gè)范疇：①文本分析；②話語分析；③筆跡分析；④草圖分析；⑤動(dòng)作和手勢分析；⑥情感狀態(tài)分析；⑦神經(jīng)生理標(biāo)記分析；⑧眼睛凝視分析；⑨多模態(tài)整合和多模態(tài)界面分析。陳凱泉等[19]根據(jù)數(shù)據(jù)特性，將這九個(gè)范疇涉及的數(shù)據(jù)歸為四類：外顯數(shù)據(jù)、生理數(shù)據(jù)、心理數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)。依據(jù)此數(shù)據(jù)劃分標(biāo)準(zhǔn)，本研究探究了多模態(tài)數(shù)據(jù)與學(xué)習(xí)評(píng)價(jià)的內(nèi)在關(guān)系映射，發(fā)現(xiàn)不同類型的數(shù)據(jù)通過特征提取可以表征不同的評(píng)價(jià)維度和內(nèi)容，如圖1所示。通過對(duì)學(xué)習(xí)者在多樣化學(xué)習(xí)情境（如自主學(xué)習(xí)、協(xié)作學(xué)習(xí)、混合學(xué)習(xí)等）中產(chǎn)生的體征數(shù)據(jù)和學(xué)習(xí)過程行為數(shù)據(jù)進(jìn)行全樣本分析[20]，不僅能揭示學(xué)習(xí)者學(xué)習(xí)績效、學(xué)習(xí)軌跡的變化，還有助于解釋學(xué)習(xí)者個(gè)性化的認(rèn)知、思維、情感等內(nèi)隱特征變化的機(jī)理和規(guī)律，從而為開展精準(zhǔn)學(xué)習(xí)干預(yù)、優(yōu)化教學(xué)過程提供重要依據(jù)。

1 外顯數(shù)據(jù)

外顯數(shù)據(jù)是指學(xué)習(xí)過程中可直接被觀察到或記錄的真實(shí)數(shù)據(jù)。其中，文本分析代表對(duì)學(xué)習(xí)過程的日志記錄；話語分析是指學(xué)習(xí)過程中學(xué)習(xí)者的語言，包括師生對(duì)話、人機(jī)對(duì)話和學(xué)習(xí)者之間的對(duì)話，通過提取語音、語調(diào)、語氣等可進(jìn)行語音分析和韻律特征分析；筆跡分析和草圖分析常見于學(xué)習(xí)者識(shí)字、繪圖教學(xué)。采集這些外顯數(shù)據(jù)，可評(píng)價(jià)表征學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀況、問題解決能力、師生互動(dòng)水平等。

圖1 多模態(tài)數(shù)據(jù)類型及其評(píng)價(jià)表征

2 生理數(shù)據(jù)

生理數(shù)據(jù)是指人體內(nèi)部結(jié)構(gòu)在接受刺激時(shí)所發(fā)生變化的數(shù)據(jù)，是學(xué)習(xí)者心理和行為的反映。來自大腦、心臟、皮膚的信息是生理數(shù)據(jù)的重要來源，如腦電圖、心電圖、電流皮膚反應(yīng)等數(shù)據(jù)。其中，腦電圖可用于提取長期或短期記憶負(fù)荷、認(rèn)知工作量等深層心理過程相對(duì)應(yīng)的特征，電流皮膚反應(yīng)、心率等數(shù)據(jù)可測量學(xué)習(xí)者在不同困難水平上從事在線問題解決活動(dòng)的認(rèn)知負(fù)荷。通過生理數(shù)據(jù)集，可以評(píng)價(jià)表征學(xué)習(xí)內(nèi)容難度、學(xué)習(xí)者的情緒狀態(tài)等，為學(xué)習(xí)評(píng)價(jià)測量提供重要的客觀變量。

3 心理數(shù)據(jù)

心理數(shù)據(jù)是學(xué)習(xí)者自身的心理活動(dòng)數(shù)據(jù)，如認(rèn)知、注意、情感（如緊張、興奮）等數(shù)據(jù)。具體來說，攝像頭、肌電傳感器可采集手勢和姿態(tài)數(shù)據(jù)，來呈現(xiàn)學(xué)習(xí)者在學(xué)習(xí)過程中身體的移動(dòng)軌跡；臉部肌電圖可獲取學(xué)習(xí)者的面部表情數(shù)據(jù)；而眼動(dòng)儀能感知學(xué)習(xí)者眼睛的關(guān)注焦點(diǎn)變化。此外，通過卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)算法，可準(zhǔn)確獲取攝像機(jī)所捕捉圖像中學(xué)習(xí)者的骨骼關(guān)鍵點(diǎn)信息，并實(shí)現(xiàn)動(dòng)作姿勢識(shí)別，據(jù)此可評(píng)價(jià)表征學(xué)習(xí)者的學(xué)習(xí)興趣、注意力變化等。

4 基礎(chǔ)數(shù)據(jù)

基礎(chǔ)數(shù)據(jù)是任何學(xué)習(xí)分析實(shí)踐所必備的數(shù)據(jù)。其中，學(xué)習(xí)者的學(xué)情信息（包括年齡、性別、興趣偏好、家庭背景、前期學(xué)習(xí)狀況等），可通過學(xué)籍檔案、成績單得以反映。這些基礎(chǔ)數(shù)據(jù)體現(xiàn)了學(xué)習(xí)者在學(xué)習(xí)之初就已具有的個(gè)人屬性和特質(zhì)，其必須與其他層面的數(shù)據(jù)結(jié)合起來分析才具有實(shí)際意義。例如，結(jié)合學(xué)習(xí)者的基礎(chǔ)數(shù)據(jù)對(duì)其心理、生理等進(jìn)行分析，有助于個(gè)性化評(píng)價(jià)表征學(xué)習(xí)者的學(xué)習(xí)風(fēng)格和學(xué)習(xí)基礎(chǔ)，并通過挖掘基礎(chǔ)數(shù)據(jù)中存在的相關(guān)性與因果聯(lián)系，進(jìn)一步揭示學(xué)習(xí)者的學(xué)習(xí)過程。

四 基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)流程

多模態(tài)學(xué)習(xí)分析技術(shù)可以采集高頻、細(xì)粒度、微觀層面的學(xué)習(xí)數(shù)據(jù)，從多個(gè)維度更好地反映學(xué)習(xí)者的真實(shí)學(xué)習(xí)狀態(tài)，從而提高評(píng)價(jià)的層次和質(zhì)量，為推動(dòng)學(xué)習(xí)評(píng)價(jià)從靜態(tài)的學(xué)業(yè)成就的數(shù)字化表征評(píng)價(jià)走向動(dòng)態(tài)的、立體的過程性學(xué)習(xí)評(píng)價(jià)提供了新途徑。本研究從過程視角審視學(xué)習(xí)評(píng)價(jià)，構(gòu)建了基于多模態(tài)數(shù)據(jù)分析的學(xué)習(xí)評(píng)價(jià)流程，如圖2所示。該流程包括確立目標(biāo)、獲取數(shù)據(jù)、建立模型、提供反饋四個(gè)主要環(huán)節(jié)，可根據(jù)學(xué)習(xí)軌跡不斷進(jìn)行自我優(yōu)化，重在為學(xué)習(xí)者提供持續(xù)的“分析—評(píng)價(jià)—反饋”之動(dòng)態(tài)循環(huán)評(píng)價(jià)，并努力體現(xiàn)“評(píng)價(jià)即學(xué)習(xí)”的理念。

圖2 基于多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)流程

1 確立目標(biāo)

在教學(xué)開始之初，教師需要了解學(xué)習(xí)者已有的知識(shí)基礎(chǔ)，確立知識(shí)或技能獲得所要達(dá)到的預(yù)期目標(biāo)，據(jù)此選擇合適的學(xué)習(xí)環(huán)境、評(píng)價(jià)指標(biāo)和評(píng)價(jià)方式。其中，學(xué)習(xí)環(huán)境包括線上、線下和混合式學(xué)習(xí)環(huán)境，不同環(huán)境下的學(xué)習(xí)動(dòng)機(jī)、情感態(tài)度、認(rèn)知發(fā)展等可能存在一定的特征差異。根據(jù)學(xué)習(xí)評(píng)價(jià)目的或功能的需求不同，教師可以選擇診斷性評(píng)價(jià)、形成性評(píng)價(jià)或總結(jié)性評(píng)價(jià)方式。因此，學(xué)習(xí)環(huán)境和評(píng)價(jià)方式將作為支持評(píng)價(jià)指標(biāo)建立的重要內(nèi)容。

2 獲取數(shù)據(jù)

在教學(xué)過程中需要不斷地采集學(xué)習(xí)者信息，以持續(xù)評(píng)估其學(xué)習(xí)表現(xiàn)、確定其學(xué)習(xí)狀態(tài)。為此，可以利用智能終端、傳感器、可穿戴設(shè)備、智能系統(tǒng)等工具，收集學(xué)習(xí)過程中人與設(shè)備、資源等交互所產(chǎn)生的軌跡化、序列化的多模態(tài)數(shù)據(jù)。結(jié)合已確定的評(píng)價(jià)指標(biāo)和對(duì)應(yīng)的評(píng)價(jià)表征關(guān)系，這些多模態(tài)數(shù)據(jù)將作為反映學(xué)習(xí)者當(dāng)前生理、心理等不同層面的學(xué)習(xí)狀況特征信息，并作為下一階段數(shù)據(jù)提取融合與分析建模的依據(jù)。

3 建立模型

學(xué)習(xí)環(huán)境和學(xué)習(xí)活動(dòng)的多樣性將導(dǎo)致采集的多模態(tài)數(shù)據(jù)分布離散、缺乏關(guān)聯(lián)，需要整合物理和數(shù)字空間學(xué)習(xí)過程中的認(rèn)知、情緒、行為等關(guān)系進(jìn)行立體建模，以建立學(xué)習(xí)數(shù)據(jù)與外顯學(xué)習(xí)行為、內(nèi)隱學(xué)習(xí)特征之間的聯(lián)系。其中，數(shù)據(jù)提取融合需要研究者對(duì)所獲取的學(xué)習(xí)數(shù)據(jù)（如眼部凝視、姿勢、心率等）進(jìn)行規(guī)范化處理，生成數(shù)據(jù)集，同時(shí)將不同模態(tài)的數(shù)據(jù)轉(zhuǎn)換為數(shù)字化表征并進(jìn)行篩選，以保證數(shù)據(jù)質(zhì)量。當(dāng)數(shù)據(jù)符合規(guī)范要求后，便可進(jìn)行數(shù)據(jù)分析建模，即根據(jù)一定的規(guī)則關(guān)系和學(xué)習(xí)算法（如機(jī)器學(xué)習(xí)、分類與聚類等）對(duì)這些數(shù)據(jù)集進(jìn)行特征提取、意義建構(gòu)和融合分析等，尤其是對(duì)非結(jié)構(gòu)化數(shù)據(jù)分析過程中的關(guān)鍵發(fā)現(xiàn)加以解釋和建議。

4 提供反饋

評(píng)價(jià)結(jié)果可視化是提供反饋的首要步驟，可通過學(xué)習(xí)儀表盤、知識(shí)圖譜等將數(shù)據(jù)分析結(jié)果呈現(xiàn)給利益相關(guān)者。不同利益相關(guān)者可根據(jù)數(shù)據(jù)分析結(jié)果，利用自評(píng)、互評(píng)、他評(píng)等方式進(jìn)行評(píng)價(jià)干預(yù)。人機(jī)協(xié)同下的雙重評(píng)價(jià)反饋將作用于學(xué)習(xí)者自身，幫助其確立新學(xué)習(xí)目標(biāo)、進(jìn)入下一階段的動(dòng)態(tài)循環(huán)。例如，教師可根據(jù)學(xué)習(xí)者的學(xué)習(xí)進(jìn)展和問題，動(dòng)態(tài)調(diào)整、改進(jìn)教學(xué)進(jìn)度和方法；學(xué)習(xí)者可及時(shí)對(duì)自己的學(xué)習(xí)水平和能力做出相應(yīng)判斷，形成合理的學(xué)習(xí)預(yù)期，完善學(xué)習(xí)計(jì)劃；教育研究者可依據(jù)學(xué)習(xí)評(píng)價(jià)分析結(jié)果，對(duì)教學(xué)內(nèi)容、方法或環(huán)境等提出優(yōu)化改進(jìn)建議。

五 多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)應(yīng)用建議

智能教育場景下的多模態(tài)學(xué)習(xí)分析拓寬了學(xué)習(xí)評(píng)價(jià)的視域。隨著物聯(lián)網(wǎng)傳感技術(shù)的發(fā)展，硬件成本逐漸降低，測量精度不斷提高，可穿戴、便攜式的手環(huán)產(chǎn)品已在日常生活中用于監(jiān)測體溫、血壓、皮電、心電等主要體征，一些可進(jìn)行嵌入式開發(fā)集成的、元器件級(jí)別的傳感器在工業(yè)和教育領(lǐng)域開始廣泛應(yīng)用，多模態(tài)數(shù)據(jù)采集和分析的技術(shù)將逐步進(jìn)入實(shí)用階段。結(jié)合相關(guān)探索性研究案例，本研究針對(duì)多模態(tài)學(xué)習(xí)分析的學(xué)習(xí)評(píng)價(jià)應(yīng)用提出以下建議：

1 伴隨式數(shù)據(jù)處理

過程性學(xué)習(xí)評(píng)價(jià)要求學(xué)習(xí)數(shù)據(jù)的獲取和處理能夠?qū)崟r(shí)、高頻地進(jìn)行，而智能技術(shù)的發(fā)展為學(xué)習(xí)過程原始數(shù)據(jù)的伴隨式采集和實(shí)時(shí)數(shù)據(jù)匯聚提供了重要支撐[21]，使得多模態(tài)數(shù)據(jù)采集與分析得以貫穿于整個(gè)學(xué)習(xí)過程。例如，王麗英等[22]利用自動(dòng)化操作行為事件監(jiān)聽、表情識(shí)別、生理特征監(jiān)測等技術(shù)，持續(xù)采集MOOC在線學(xué)習(xí)者的數(shù)據(jù)，并對(duì)其認(rèn)知、情感、行為投入等數(shù)據(jù)進(jìn)行自動(dòng)分析融合和及時(shí)評(píng)價(jià)反饋，可為不同學(xué)習(xí)者提供個(gè)性化、實(shí)時(shí)性的提示和指導(dǎo)。

2 多場景交叉融合

智能化技術(shù)的應(yīng)用豐富了教育應(yīng)用場景，也推動(dòng)多樣化教學(xué)場景與多模態(tài)學(xué)習(xí)分析的交叉融合成為實(shí)現(xiàn)精準(zhǔn)教學(xué)、科學(xué)評(píng)價(jià)的重要途徑。例如，陸吉健等[23]提出了混合現(xiàn)實(shí)（Mix Reality，MR）場域中“多模態(tài)+人機(jī)協(xié)同”教學(xué)方式，并依托MR實(shí)驗(yàn)套件與智能傳感設(shè)備進(jìn)行MR場域中多模態(tài)情境導(dǎo)學(xué)、智能診學(xué)、人機(jī)助學(xué)、精準(zhǔn)評(píng)學(xué)的教學(xué)實(shí)踐，實(shí)現(xiàn)了過程性評(píng)價(jià)與結(jié)果性評(píng)價(jià)相融合的全方位精準(zhǔn)教學(xué)評(píng)價(jià)，促進(jìn)了多模態(tài)教學(xué)和人機(jī)協(xié)同教學(xué)的交叉融合。

3 低成本常態(tài)實(shí)踐

目前，多模態(tài)學(xué)習(xí)分析尚被限于在特定的教學(xué)或?qū)嶒?yàn)環(huán)境中進(jìn)行，而要實(shí)現(xiàn)真實(shí)學(xué)習(xí)情境下自然或非侵入式的數(shù)據(jù)獲取仍存在一定的難度。因此，基于常態(tài)化教學(xué)環(huán)境搭建或開發(fā)低成本、易操作的多模態(tài)分析系統(tǒng)將成為后續(xù)研究重點(diǎn)解決的問題。例如，Cornide-Reyes等[24]通過引入低成本傳感器和單板計(jì)算機(jī)、全向麥克風(fēng)等設(shè)備，結(jié)合小型平板電腦采集學(xué)習(xí)者的音頻、圖像等多模態(tài)數(shù)據(jù)，用于評(píng)估真實(shí)課堂環(huán)境下學(xué)習(xí)者的溝通和協(xié)作技能，從而證實(shí)了多模態(tài)學(xué)習(xí)分析應(yīng)用于學(xué)習(xí)者核心技能發(fā)展評(píng)估的可行性。

[1]Worsley M, Chiluiza K, Grafsgaard J F, et al. Multimodal learning and analytics grand challenge[A]. The Fourth International Conference On Multimodal Interaction[C]. New York: ACM, 2015:525-529.

[2]尚秀芬,邱曉歡.教育評(píng)價(jià)改革:紙筆測試中高階思維能力測評(píng)的可行性探析[J].教育理論與實(shí)踐,2018,(32):20-22.

[3]胡欽太,伍文燕,馮廣,等.深度學(xué)習(xí)支持下多模態(tài)學(xué)習(xí)行為可解釋性分析研究[J].電化教育研究,2021,(11):77-83.

[4]汪維富,毛美娟.多模態(tài)學(xué)習(xí)分析:理解與評(píng)價(jià)真實(shí)學(xué)習(xí)的新路向[J].電化教育研究,2021,(2):25-32.

[5]Drachsler H, Schneider J. JCAL Special issue on multimodal learning analytics[J]. Journal of Computer Assisted Learning, 2018,(4):335-337.

[6]Sharma K, Giannakos M. Multimodal data capabilities for learning: What can multimodal data tell us about learning?[J]. British Journal of Educational Technology, 2020,(5):1450-1484.

[7]Larmuseau C, Cornelis J, Lancieri L, et al. Multimodal learning analytics to investigate cognitive load during online problem solving[J]. British Journal of Educational Technology, 2020,(5):1548-1562.

[8]Olsen J K, Sharma K, Rummel N, et al. Temporal analysis of multimodal data to predict collaborative learning outcomes[J]. British Journal of Educational Technology, 2020,(5):1527-1547.

[9]Ahn B T, Harley J M. Facial expressions when learning with a queer history APP: Application of the control value theory of achievement emotions[J]. British Journal of Educational Technology, 2020,(5):1563-1576.

[10]Vujovic M, Hernández‐Leo D, Tassani S, et al. Round or rectangular tables for collaborative problem solving? A multimodal learning analytics study[J]. British Journal of Educational Technology, 2020,(5):1597-1614.

[11]Emerson A, Cloude E B, Azevedo R, et al. Multimodal learning analytics for game‐based learning[J]. British Journal of Educational Technology, 2020,(5):1505-1526.

[12]Ochoa X, Dominguez F. Controlled evaluation of a multimodal system to improve oral presentation skills in a real learning setting[J]. British Journal of Educational Technology, 2020,(5):1615-1630.

[13]李葆萍,周穎.基于大數(shù)據(jù)的教學(xué)評(píng)價(jià)研究[J].現(xiàn)代教育技術(shù),2016,(6):5-12.

[14]曹曉明,張永和,潘萌,等.人工智能視域下的學(xué)習(xí)參與度識(shí)別方法研究——基于一項(xiàng)多模態(tài)數(shù)據(jù)融合的深度學(xué)習(xí)實(shí)驗(yàn)分析[J].遠(yuǎn)程教育雜志,2019,(1):32-44.

[15]田愛麗.綜合素質(zhì)評(píng)價(jià):智能化時(shí)代學(xué)習(xí)評(píng)價(jià)的變革與實(shí)施[J].中國電化教育,2020,(1):109-113、121.

[16][18]Blikstein P, Worsley M. Multimodal learning analytics and education data mining: Using computational technologies to measure complex learning tasks[J]. Journal of Learning Analytics, 2016,(2):220-238.

[17]Von Davier A A, Zhu M X, Kyllonen P C. Innovative assessment of collaboration[M]. Cham: Springer, 2017:173-184.

[19]陳凱泉,張春雪,吳玥玥,等.教育人工智能(EAI)中的多模態(tài)學(xué)習(xí)分析、適應(yīng)性反饋及人機(jī)協(xié)同[J].遠(yuǎn)程教育雜志,2019,(5):24-34.

[20]劉清堂,李小娟,謝魁,等.多模態(tài)學(xué)習(xí)分析實(shí)證研究的發(fā)展與展望[J].電化教育研究,2022,(1):71-78、85.

[21]劉邦奇,喻彥琨,袁婷婷.智能技術(shù)賦能過程評(píng)價(jià):目標(biāo)、路徑與典型場景[J].現(xiàn)代教育技術(shù),2022,(5):14-23.

[22]王麗英,何云帆,田俊華.在線學(xué)習(xí)行為多模態(tài)數(shù)據(jù)融合模型構(gòu)建及實(shí)證[J].中國遠(yuǎn)程教育,2020,(6):22-30、51、76.

[23]陸吉健,周美美,張霞,等.基于MR實(shí)驗(yàn)的“多模態(tài)+人機(jī)協(xié)同”教學(xué)及應(yīng)用探索[J].遠(yuǎn)程教育雜志,2021,(6):58-66.

[24]Cornide-Reyes H, No?l R, Riquelme F, et al. Introducing low-cost sensors into the classroom settings: Improving the assessment in agile practices with multimodal learning analytics[J]. Sensors, 2019,(15):3291.

Research on the Learning Evaluation Supported by Multimodal Learning Analysis Technology

ZHANG Jia-hua HU Hui-zhi[Corresponding Author]HUANG Chang-qin

Faced with the development needs of high-quality education and innovative talents in the new era, the drawbacks of traditional learning evaluation have become increasingly prominent, and it is urgent to innovate the system and deepen reform. Multimodal learning analysis made learning evaluation oriented to process and real learning situations possible through comprehensively collecting and analyzing the dynamic data of the learning process from multiple dimensions. Firstly, based on the difficult problems analysis of current learning evaluation, this paper analyzed the intrinsic value of multimodal learning analysis applied to learning evaluation. Subsequently, this paper proposed the dimensions and contents of evaluation representations mapped by four types of multimodal data, constructed and explained the learning evaluation process based on multimodal learning analysis from four aspects of establishing goals, acquiring data, constructing models and providing feedback. Finally, combined with relevant research results, this paper put forward application suggestions of the learning evaluation of multimodal learning analysis, expecting to empower the process-oriented developmental learning evaluation reform and provide a new perspective for the higher-level learning evaluation.

multimodal data; learning analysis; learning evaluation; learning process; data representation

G40-057

A

1009—8097（2022）09—0038—08

10.3969/j.issn.1009-8097.2022.09.004

本文為浙江省哲學(xué)社會(huì)科學(xué)規(guī)劃課題“新一代人工智能支持下課堂教學(xué)改革方案構(gòu)建與策略優(yōu)化”（項(xiàng)目編號(hào)：22YJRC02ZD-2YB）、浙江師范大學(xué)教師教育學(xué)院開放基金項(xiàng)目“數(shù)據(jù)驅(qū)動(dòng)的師范生智慧教學(xué)能力評(píng)測體系構(gòu)建與應(yīng)用”（項(xiàng)目編號(hào)：jykf22003）的階段性研究成果。

張家華，副教授，博士，研究方向?yàn)閷W(xué)習(xí)分析與智能教學(xué)系統(tǒng)，郵箱為zjnuzjh@zjnu.cn。

2022年1月10日

編輯：小米