鐘薇 李若晨 馬曉玲 吳永和

【摘 要】 作為數(shù)字時(shí)代的產(chǎn)物，學(xué)習(xí)分析以教育領(lǐng)域數(shù)據(jù)為研究對(duì)象，通過(guò)挖掘其背后隱含的信息實(shí)現(xiàn)對(duì)教育的促進(jìn)。當(dāng)前學(xué)習(xí)分析研究主要集中在在線學(xué)習(xí)領(lǐng)域，但是學(xué)習(xí)本身發(fā)生在多樣的環(huán)境中，學(xué)習(xí)過(guò)程更是涉及學(xué)習(xí)者的行為、心理、生理等多個(gè)層面，而當(dāng)前的技術(shù)發(fā)展正為采集并分析學(xué)習(xí)者學(xué)習(xí)過(guò)程中多種模態(tài)的數(shù)據(jù)提供基礎(chǔ)?；诖?，本文從技術(shù)的視角討論多模態(tài)數(shù)據(jù)環(huán)境下學(xué)習(xí)分析的發(fā)展趨向，梳理多模態(tài)學(xué)習(xí)分析的技術(shù)支撐，指出未來(lái)的學(xué)習(xí)分析應(yīng)該利用腦電感應(yīng)、眼動(dòng)追蹤等多模態(tài)生物識(shí)別技術(shù)收集個(gè)人層面的學(xué)習(xí)數(shù)據(jù)，結(jié)合教學(xué)技術(shù)工具中的系統(tǒng)日志、全方位課堂音視頻錄像等方式追蹤學(xué)習(xí)者的學(xué)習(xí)和社交軌跡，全面剖析學(xué)習(xí)者的行為層、心理層和生理層數(shù)據(jù)，以期為進(jìn)一步實(shí)現(xiàn)精準(zhǔn)化的教與學(xué)提供有效支撐，并推進(jìn)國(guó)家自然基金對(duì)學(xué)習(xí)分析與評(píng)估基礎(chǔ)性研究的探索。

【關(guān)鍵詞】 多模態(tài)；多模態(tài)數(shù)據(jù)；多模態(tài)學(xué)習(xí)分析；學(xué)習(xí)分析；教育數(shù)據(jù)

【中圖分類號(hào)】 G434 【文獻(xiàn)標(biāo)識(shí)碼】 A 【文章編號(hào)】 1009-458x（2018）11-0041-09

一、引言

“信息技術(shù)對(duì)教育發(fā)展具有革命性影響，必須予以高度重視”。自《國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010—2020年）》發(fā)布以來(lái)，我國(guó)在教育信息基礎(chǔ)設(shè)施建設(shè)和優(yōu)質(zhì)數(shù)字資源共建共享方面取得了較大進(jìn)展。隨著“三通兩平臺(tái)”的逐步實(shí)現(xiàn)，與教育相關(guān)的數(shù)據(jù)成為關(guān)注重點(diǎn)。2017年，《國(guó)家教育事業(yè)發(fā)展“十三五”規(guī)劃》指出要積極發(fā)展“互聯(lián)網(wǎng)+教育”，并強(qiáng)調(diào)利用云計(jì)算、大數(shù)據(jù)等技術(shù)記錄和分析學(xué)生的學(xué)習(xí)過(guò)程，以支持課程、教材、教學(xué)方法、教學(xué)評(píng)價(jià)等的完善與創(chuàng)新。《國(guó)家自然科學(xué)基金委信息學(xué)部2018申請(qǐng)指南》中增設(shè)“教育信息科學(xué)與技術(shù)”二級(jí)指標(biāo)，下設(shè)“教育大數(shù)據(jù)分析與應(yīng)用”“學(xué)習(xí)分析與評(píng)測(cè)”“自適應(yīng)個(gè)性化輔助學(xué)習(xí)”三級(jí)指標(biāo)。

在教育信息化時(shí)代知識(shí)的呈現(xiàn)形式開始多樣化，從“單媒體”到“多媒體”，從“單向傳播”到“雙向反饋”，推動(dòng)了學(xué)習(xí)方式的革新：線上學(xué)習(xí)全面推廣，混合式學(xué)習(xí)普及應(yīng)用，個(gè)性化、智能化學(xué)習(xí)高速發(fā)展（圖1）。在給教學(xué)帶來(lái)便利和效益的同時(shí)，學(xué)習(xí)方式多樣化帶來(lái)了多模態(tài)教育數(shù)據(jù)環(huán)境，給采集和存儲(chǔ)教育數(shù)據(jù)、追蹤與解讀教學(xué)過(guò)程帶來(lái)了新的挑戰(zhàn)，也對(duì)學(xué)習(xí)分析提出了新的要求。

教育信息化發(fā)展為學(xué)習(xí)分析奠定了多模態(tài)數(shù)據(jù)環(huán)境基礎(chǔ)。一方面，數(shù)字化學(xué)習(xí)普及，超大規(guī)模開放式在線課程（MOOCs）中的學(xué)習(xí)者行為分析是學(xué)習(xí)分析研究的熱點(diǎn)（Bote-Lorenzo & Gómez-Sánchez， 2017），在線學(xué)習(xí)平臺(tái)、學(xué)習(xí)管理系統(tǒng)、信息化教育服務(wù)平臺(tái)等的普及為學(xué)習(xí)分析提供了豐富的線上學(xué)習(xí)活動(dòng)數(shù)據(jù)。另一方面，在智能化學(xué)習(xí)時(shí)代技術(shù)的支撐提供了多模態(tài)研究基礎(chǔ)，學(xué)習(xí)分析領(lǐng)域有了新的發(fā)展，智能錄播系統(tǒng)、可穿戴設(shè)備、眼動(dòng)儀和腦電儀等技術(shù)應(yīng)用擴(kuò)展了學(xué)習(xí)分析數(shù)據(jù)源，讓傳統(tǒng)面對(duì)面教學(xué)中教育大數(shù)據(jù)的采集和處理成為可能。這些記錄學(xué)習(xí)者身體活動(dòng)和生理反應(yīng)的數(shù)據(jù)源構(gòu)建了多模態(tài)數(shù)據(jù)環(huán)境。Aguerrebere等人（2017）以烏拉圭國(guó)家教育信息化政策計(jì)劃為例，指出包括社會(huì)人口特征、訪問(wèn)變量、使用變量、自適應(yīng)平臺(tái)、學(xué)習(xí)管理系統(tǒng)、學(xué)習(xí)指標(biāo)等多模態(tài)數(shù)據(jù)的360°學(xué)習(xí)者數(shù)據(jù)庫(kù)對(duì)技術(shù)支持下的教學(xué)平臺(tái)建設(shè)的重要意義。

學(xué)習(xí)分析具有“源息性”問(wèn)題，即收集哪些數(shù)據(jù)以及如何分析才能保證學(xué)習(xí)分析源數(shù)據(jù)能準(zhǔn)確、全面地體現(xiàn)出學(xué)習(xí)者的全部特性（吳永和等， 2013）?！秾W(xué)習(xí)分析研究的現(xiàn)狀與未來(lái)發(fā)展——2017年學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議（LAK17）評(píng)析》回顧學(xué)習(xí)分析發(fā)展歷程、梳理會(huì)議報(bào)告和論文集，認(rèn)為“多模態(tài)數(shù)據(jù)”將成為學(xué)習(xí)分析研究的新態(tài)勢(shì)，也是發(fā)揮學(xué)習(xí)分析研究跨學(xué)科優(yōu)勢(shì)的必由之路（吳永和等， 2017）。在LAK17會(huì)議中，J?rvel?和Sidney兩位主題報(bào)告人均將“多模態(tài)”作為報(bào)告主題。2017年3月，筆者在華東師范大學(xué)舉辦的“教育大數(shù)據(jù)應(yīng)用技術(shù)”國(guó)際學(xué)術(shù)研討會(huì)上做了題為“教育大數(shù)據(jù)中多模態(tài)學(xué)習(xí)分析技術(shù)研究”的報(bào)告。研究者們綜合運(yùn)用系統(tǒng)日志采集、視音頻識(shí)別、空間感知、眼動(dòng)追蹤和腦電感應(yīng)等多模態(tài)方法追蹤學(xué)習(xí)者的活動(dòng)參與、知識(shí)建構(gòu)和情感體驗(yàn)，以期更全面地理解學(xué)習(xí)，為自適應(yīng)學(xué)習(xí)奠定了基礎(chǔ)。如葉新東（2014）依據(jù)被觀察者學(xué)習(xí)不同可視化呈現(xiàn)方式的教學(xué)內(nèi)容的眼動(dòng)和腦波變化分析在教學(xué)內(nèi)容可視化呈現(xiàn)設(shè)計(jì)中關(guān)鍵要素的作用；Ez-zaouia等人（2017）通過(guò)學(xué)生學(xué)習(xí)的音頻、視頻、自我報(bào)告、交互的軌跡四個(gè)方面獲取數(shù)據(jù)，建立以教師為導(dǎo)向的多模態(tài)和聯(lián)系上下文的情感儀表板等。眼動(dòng)、腦電圖、事件相關(guān)電位、皮膚電反應(yīng)、肌電信號(hào)、心電圖等在學(xué)習(xí)分析中逐漸展開應(yīng)用（張琪等， 2016）。

學(xué)習(xí)分析從關(guān)注線上數(shù)據(jù)，逐步發(fā)展成為同時(shí)關(guān)注線上和線下多模態(tài)數(shù)據(jù)的一體化、全流程、全方位的分析。本文從技術(shù)視角深入探究多模態(tài)數(shù)據(jù)的采集、處理和分析過(guò)程，從而拓寬學(xué)習(xí)分析的研究廣度，推動(dòng)多模態(tài)學(xué)習(xí)分析的新發(fā)展，為實(shí)現(xiàn)對(duì)學(xué)習(xí)者全面、系統(tǒng)、精準(zhǔn)的評(píng)價(jià)提供支持。

二、概念解讀

（一）多模態(tài)數(shù)據(jù)

隨著各種信息技術(shù)的發(fā)展及其在教育領(lǐng)域的應(yīng)用，對(duì)于同一現(xiàn)象或系統(tǒng)我們可以通過(guò)不同類型的工具、測(cè)量技術(shù)、實(shí)驗(yàn)設(shè)備等來(lái)獲得其信息。由于自然過(guò)程與環(huán)境的多樣性，我們很少能夠通過(guò)單一的獲取方式來(lái)達(dá)到對(duì)一種現(xiàn)象、過(guò)程或環(huán)境的完整理解，每一種獲取方式我們稱之為“模態(tài)”，一種獲取方式獲得的數(shù)據(jù)形式稱之為“單模態(tài)數(shù)據(jù)”（Lahat， Adali， & Jutten， 2015）?！岸嗄B(tài)數(shù)據(jù)”是指對(duì)于同一現(xiàn)象、過(guò)程或環(huán)境采用兩種或兩種以上方式獲取的相關(guān)數(shù)據(jù)。如對(duì)于同一學(xué)習(xí)過(guò)程的平臺(tái)追蹤數(shù)據(jù)、視頻攝錄數(shù)據(jù)、音頻數(shù)據(jù)、眼動(dòng)數(shù)據(jù)、腦電數(shù)據(jù)等，這些數(shù)據(jù)來(lái)源不同，以不同形式存在，共同構(gòu)成多模態(tài)數(shù)據(jù)環(huán)境。

互補(bǔ)性是多模態(tài)數(shù)據(jù)很重要的一個(gè)性質(zhì)，任何一種模態(tài)的數(shù)據(jù)都能提供關(guān)于某一現(xiàn)象或過(guò)程的部分解釋，而這些信息從其他模態(tài)的數(shù)據(jù)中是無(wú)法獲得的（Lahat et al.， 2015）。因此，多模態(tài)數(shù)據(jù)的結(jié)合能夠提供關(guān)于對(duì)象多方面的信息，實(shí)現(xiàn)對(duì)對(duì)象更為全面、系統(tǒng)的剖析與理解。

（二）多模態(tài)學(xué)習(xí)分析

多模態(tài)數(shù)據(jù)擴(kuò)大了當(dāng)前學(xué)習(xí)分析的研究范圍，使其不再僅僅是對(duì)在線學(xué)習(xí)平臺(tái)追蹤數(shù)據(jù)的分析，轉(zhuǎn)而同時(shí)關(guān)注物理或物理/虛擬世界中的學(xué)習(xí)過(guò)程數(shù)據(jù)，表現(xiàn)為通過(guò)多種方式采集、處理和分析更為自然的信息數(shù)據(jù)，如錄像、語(yǔ)音、面部表情、手勢(shì)、工具使用等（Worsley， M， 2012），實(shí)現(xiàn)學(xué)習(xí)分析跨越物理和數(shù)字化空間，進(jìn)而達(dá)到對(duì)學(xué)習(xí)者及其學(xué)習(xí)過(guò)程較為全面的把握，并且希望通過(guò)分析相關(guān)信息和模式以發(fā)現(xiàn)一些新的學(xué)習(xí)現(xiàn)象，建立關(guān)于學(xué)習(xí)行為的更好的收集與分析指標(biāo)，方便自然教室和移動(dòng)學(xué)習(xí)情境中對(duì)行為進(jìn)行不被人察覺、持續(xù)且自動(dòng)的分析（Scherer， Worsley， & Morency， 2012）。如Mitri等人（2017）通過(guò)運(yùn)用腕帶、平臺(tái)記錄、自我報(bào)告等方式獲得的多模態(tài)數(shù)據(jù)來(lái)建立自主學(xué)習(xí)環(huán)境下心跳、步數(shù)、天氣狀況和學(xué)習(xí)活動(dòng)等因素與學(xué)習(xí)成績(jī)的線性混合效應(yīng)模型，以檢驗(yàn)這些指標(biāo)對(duì)學(xué)習(xí)成績(jī)的預(yù)測(cè)。

在多模態(tài)交互研究領(lǐng)域，早在2012年就提出要將視頻、語(yǔ)言、文字、手勢(shì)、面部表情等多模態(tài)數(shù)據(jù)的分析技術(shù)與學(xué)習(xí)科學(xué)相結(jié)合，并于2012年在多模態(tài)交互國(guó)際會(huì)議（ICMI）中建立多模態(tài)學(xué)習(xí)分析（Multimodal Learning Analytics）工作坊；基于ICMI會(huì)議的成功經(jīng)驗(yàn)，學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議也于2016年（LAK 16）增加了多模態(tài)學(xué)習(xí)分析數(shù)據(jù)挑戰(zhàn)（Multimodal Learning Analytics Data Challenges）工作坊以及Cross-LAK：跨越物理與數(shù)字空間的學(xué)習(xí)分析工作坊，力圖召集跨學(xué)科的人才，運(yùn)用多模態(tài)數(shù)據(jù)更加精準(zhǔn)、全面、真實(shí)地解析學(xué)習(xí)過(guò)程，為學(xué)習(xí)者在物理或數(shù)字空間提供持續(xù)性的學(xué)習(xí)支持。

三、多模態(tài)學(xué)習(xí)分析數(shù)據(jù)

學(xué)習(xí)分析是對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程的洞察，其有效開展依賴于有效、高質(zhì)量的數(shù)據(jù)。因此，捕捉到能夠真實(shí)、全面反映學(xué)習(xí)者學(xué)習(xí)過(guò)程和狀態(tài)的數(shù)據(jù)并進(jìn)行分析尤為重要。

（一）多模態(tài)學(xué)習(xí)分析數(shù)據(jù)的來(lái)源

根據(jù)數(shù)據(jù)中所攜帶信息的特性，可將多模態(tài)學(xué)習(xí)分析數(shù)據(jù)分為生理層數(shù)據(jù)、心理層數(shù)據(jù)、行為層數(shù)據(jù)和基本信息數(shù)據(jù)四類（圖2）。

生理層數(shù)據(jù)處于最底層，是人體內(nèi)部身體結(jié)構(gòu)在接受刺激時(shí)所發(fā)生的變化，是學(xué)習(xí)者心理和行為的反映；心理層數(shù)據(jù)則是學(xué)習(xí)者自身的心理活動(dòng)數(shù)據(jù)，如認(rèn)知、注意以及緊張、興奮等情感數(shù)據(jù)；行為層數(shù)據(jù)是學(xué)習(xí)者外在表現(xiàn)的動(dòng)作數(shù)據(jù)；基本信息數(shù)據(jù)是學(xué)習(xí)分析中的基礎(chǔ)數(shù)據(jù)，主體信息為人口統(tǒng)計(jì)學(xué)數(shù)據(jù)，包括學(xué)習(xí)者的年級(jí)、年齡、性別、課程動(dòng)態(tài)等，它是任何學(xué)習(xí)分析實(shí)踐中必備的數(shù)據(jù)集，必須與其他層面的數(shù)據(jù)結(jié)合分析才具有實(shí)際意義。隨著教育本身以及人工智能技術(shù)的不斷發(fā)展，如科大訊飛的語(yǔ)音識(shí)別技術(shù)、微軟的情感識(shí)別技術(shù)等，學(xué)習(xí)分析實(shí)踐中所涉及的數(shù)據(jù)將逐步走向底層。

（二）多模態(tài)學(xué)習(xí)分析數(shù)據(jù)的特性

與傳統(tǒng)基于觀察法的人工記錄相比，多模態(tài)學(xué)習(xí)數(shù)據(jù)從多個(gè)維度更為全面、精準(zhǔn)地采集、記錄和存儲(chǔ)了真實(shí)教學(xué)情境，涵蓋數(shù)字、文本、音視頻、生理指標(biāo)等多種數(shù)據(jù)類型，映射了學(xué)習(xí)者的行為、心理和生理特征，具有情境性、時(shí)序性和層級(jí)性（Romero & Ventura， 2013）等特點(diǎn)。

1. 情境性。情境性指多模態(tài)數(shù)據(jù)來(lái)源于線上和線下真實(shí)教學(xué)情境，能準(zhǔn)確反映教學(xué)情境，并對(duì)揭示教學(xué)內(nèi)涵、探究教學(xué)規(guī)律有所幫助。情境對(duì)于行為的理解具有重要意義，能夠使所建立模型的使用效果達(dá)到最大化，缺少對(duì)情境的考慮會(huì)使學(xué)習(xí)分析的結(jié)果和相關(guān)解釋的有效性大打折扣。Gasevic等人（2016）表明學(xué)習(xí)者在學(xué)習(xí)管理系統(tǒng)中的追蹤數(shù)據(jù)與學(xué)業(yè)成績(jī)之間的關(guān)系受教學(xué)條件的調(diào)節(jié)，如果沒(méi)有對(duì)教師選擇教學(xué)工具和教學(xué)活動(dòng)的目的有一個(gè)深刻的理解，研究者們所提出的預(yù)測(cè)模型能夠提供給教師的反饋是很有限的，而且在不同的環(huán)境與學(xué)科背景下，所得出的行為與學(xué)習(xí)結(jié)果之間的預(yù)測(cè)模型也是不一樣的（Gasevic， Dawson， & Siemens， 2015）。情境是一個(gè)多維空間，包含多個(gè)方面，具體可分為個(gè)人情境、任務(wù)情境、社會(huì)情境、時(shí)空情境和環(huán)境情境等。

2. 時(shí)序性。時(shí)序性指教學(xué)是依據(jù)時(shí)序進(jìn)行的具備一定因果關(guān)系的動(dòng)態(tài)過(guò)程，教師和學(xué)習(xí)者的行為、學(xué)習(xí)資源的屬性隨著時(shí)間的變化而變化。

3. 層級(jí)性。層級(jí)性有兩個(gè)層面，一是教學(xué)是人的活動(dòng)，涉及人的情感和能力變化，人的情感系統(tǒng)、能力系統(tǒng)均具有復(fù)雜且嚴(yán)密的層級(jí)性，基于人的情感和能力發(fā)展規(guī)律，教學(xué)也由淺入深、逐步推進(jìn)；二是數(shù)據(jù)本身也具有層級(jí)性，既關(guān)注群體交互，也關(guān)注個(gè)體發(fā)展，如小組、班級(jí)、年級(jí)。

學(xué)習(xí)是一個(gè)復(fù)雜的過(guò)程，洞悉學(xué)習(xí)者的學(xué)習(xí)過(guò)程一直是教育、腦科學(xué)等領(lǐng)域探索的一個(gè)重要主題。而學(xué)習(xí)過(guò)程中通過(guò)對(duì)學(xué)習(xí)者行為層、心理層、生理層等多模態(tài)學(xué)習(xí)數(shù)據(jù)的采集、處理和分析，并在此過(guò)程中注重?cái)?shù)據(jù)的情境性、時(shí)序性和層級(jí)性，能進(jìn)一步從廣度和深度上加深對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程的洞悉，為教師的“教”和學(xué)生的“學(xué)”以及教學(xué)管理提供智能性的輔助決策（何克抗， 2016），優(yōu)化學(xué)習(xí)過(guò)程，而這也是學(xué)習(xí)分析應(yīng)用的目的。

四、多模態(tài)學(xué)習(xí)分析的技術(shù)支撐

學(xué)習(xí)分析追蹤學(xué)習(xí)、理解學(xué)習(xí)、改進(jìn)學(xué)習(xí)，其本質(zhì)是挖掘數(shù)據(jù)背后的信息并加以應(yīng)用，這需要數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析與呈現(xiàn)一系列的技術(shù)支持。

（一）多模態(tài)學(xué)習(xí)數(shù)據(jù)采集技術(shù)

邢蓓蓓等（2016）指出教育數(shù)據(jù)采集的技術(shù)體系包括4大類（平臺(tái)采集技術(shù)、物聯(lián)感知技術(shù)、視頻錄制技術(shù)、圖像識(shí)別技術(shù)）、13種常見的數(shù)據(jù)采集技術(shù)。此外，多模態(tài)學(xué)習(xí)數(shù)據(jù)采集技術(shù)還有語(yǔ)音識(shí)別技術(shù)、生物數(shù)據(jù)采集技術(shù)（眼動(dòng)儀、腦電波等）和自我報(bào)告，共16種。結(jié)合上述對(duì)多模態(tài)學(xué)習(xí)數(shù)據(jù)的解讀進(jìn)行分類，如表1所示。

通過(guò)上述多種技術(shù)的綜合運(yùn)用，利用腦電感應(yīng)、眼動(dòng)追蹤等多模態(tài)生物識(shí)別技術(shù)收集個(gè)人生理層面的學(xué)習(xí)數(shù)據(jù)，結(jié)合教學(xué)技術(shù)工具中的系統(tǒng)日志、全方位課堂音視頻錄像等方式追蹤學(xué)習(xí)者的行為和心理數(shù)據(jù)，進(jìn)而獲取學(xué)習(xí)和社交軌跡，實(shí)現(xiàn)對(duì)學(xué)習(xí)的全面追蹤。

（二）多模態(tài)學(xué)習(xí)數(shù)據(jù)處理

數(shù)據(jù)處理是一項(xiàng)重要且復(fù)雜的工作，甚至有時(shí)候會(huì)花費(fèi)整個(gè)問(wèn)題解決過(guò)程一半以上的時(shí)間（Bienkowski， Feng， & Means， 2012）。其中，數(shù)據(jù)預(yù)處理技術(shù)在不影響數(shù)據(jù)語(yǔ)義的前提下將所收集的數(shù)據(jù)進(jìn)行聚合、清洗去噪、刪繁就簡(jiǎn)，同時(shí)發(fā)現(xiàn)并糾正或去除錯(cuò)誤數(shù)據(jù)與缺失值，進(jìn)而形成能直接進(jìn)行深入分析的數(shù)據(jù)集。數(shù)據(jù)存儲(chǔ)與管理技術(shù)包括數(shù)據(jù)庫(kù)和文件系統(tǒng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)以及訪問(wèn)接口和查詢語(yǔ)言。云計(jì)算的發(fā)展為這一系列的技術(shù)要求提供了支持。

數(shù)據(jù)模型是數(shù)據(jù)處理的基礎(chǔ)?；贏ctivity Streams、xAPI（顧小清， 等， 2014）、IMS Caliper Analytics三種規(guī)范，本文提出多模態(tài)學(xué)習(xí)分析數(shù)據(jù)流格式：〈學(xué)習(xí)者，動(dòng)作，對(duì)象，結(jié)果，時(shí)間，地點(diǎn)，工具，課程內(nèi)容〉（如果后期研究同時(shí)涉及行為發(fā)生時(shí)的生理和心理指標(biāo)，可在數(shù)據(jù)流格式后面加入生理和心理相關(guān)項(xiàng)，如情緒）。具體對(duì)比情況如表2所示。

（三）多模態(tài)學(xué)習(xí)數(shù)據(jù)分析與呈現(xiàn)關(guān)鍵技術(shù)和方法

學(xué)習(xí)分析中用于數(shù)據(jù)分析的技術(shù)與方法受到多個(gè)相關(guān)領(lǐng)域的影響，并且隨著大數(shù)據(jù)的價(jià)值在學(xué)習(xí)生活中日益凸顯，各種專業(yè)的工具也隨之出現(xiàn)。根據(jù)分析工具所側(cè)重的分析對(duì)象與類型以及分析目的的不同，可將其分為學(xué)習(xí)網(wǎng)絡(luò)分析工具、學(xué)習(xí)內(nèi)容分析工具、學(xué)習(xí)能力分析工具、學(xué)習(xí)行為分析工具和其他綜合分析工具（孟玲玲， 等， 2014）。其中，運(yùn)用較多的分析技術(shù)與方法包括分類與聚類、文本挖掘、關(guān)系挖掘、社會(huì)網(wǎng)絡(luò)分析、模型發(fā)現(xiàn)、可視化技術(shù)、統(tǒng)計(jì)分析等（Papamitsiou & Economides， 2014）。與此同時(shí)，隨著人工智能時(shí)代的到來(lái)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等方法也正逐步應(yīng)用于教育領(lǐng)域（見表3）。

基于所采集的多模態(tài)數(shù)據(jù)，進(jìn)行相關(guān)處理后運(yùn)用上述分析技術(shù)，結(jié)合學(xué)習(xí)者的基本信息對(duì)學(xué)習(xí)者的行為層、心理層、生理層數(shù)據(jù)進(jìn)行分析，精確地從多方面獲取學(xué)習(xí)者的情況，并挖掘其中存在的相關(guān)性與因果性，以進(jìn)一步精準(zhǔn)洞悉學(xué)習(xí)過(guò)程。

（四）多模態(tài)學(xué)習(xí)數(shù)據(jù)分析流程

根據(jù)上述對(duì)多模態(tài)學(xué)習(xí)分析各環(huán)節(jié)的支撐技術(shù)的分析，構(gòu)建如圖3所示的多模態(tài)學(xué)習(xí)數(shù)據(jù)分析流程圖，以進(jìn)一步實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)情況全面且精準(zhǔn)的把握。

1. 從各種線上平臺(tái)與線下教學(xué)環(huán)境中獲取學(xué)習(xí)者、教師、資源、工具等的基本信息數(shù)據(jù)，以及學(xué)習(xí)者學(xué)習(xí)過(guò)程中的行為數(shù)據(jù)、心理數(shù)據(jù)和生理數(shù)據(jù)。

2. 通過(guò)多種技術(shù)從不同教學(xué)環(huán)境中采集的數(shù)據(jù)需要進(jìn)行篩選與匯聚，學(xué)習(xí)者、教師、資源、工具等基本信息作為背景數(shù)據(jù)而存在，因此數(shù)據(jù)預(yù)處理階段主要針對(duì)上述所采集的數(shù)據(jù)通過(guò)計(jì)算機(jī)處理、人工等方式整理成為所定義的多模態(tài)學(xué)習(xí)數(shù)據(jù)流格式，并進(jìn)行存儲(chǔ)。

3. 在一定教學(xué)理論或已有教學(xué)研究的基礎(chǔ)上，運(yùn)用統(tǒng)計(jì)、關(guān)系挖掘、分類與聚類、可視化等分析方法與技術(shù)對(duì)多模態(tài)學(xué)習(xí)數(shù)據(jù)流庫(kù)中的學(xué)習(xí)數(shù)據(jù)進(jìn)行分析和呈現(xiàn)。

4. 根據(jù)上述對(duì)個(gè)體、群體或者整個(gè)區(qū)域?qū)W習(xí)者學(xué)習(xí)數(shù)據(jù)的分析結(jié)果，基于一定的解讀能力，學(xué)習(xí)者可以對(duì)自己的情況有個(gè)清晰且全面的了解，知道自己在群體中的所處位置；教師可以知道班集體的學(xué)習(xí)效果并識(shí)別出有風(fēng)險(xiǎn)的學(xué)習(xí)者，預(yù)測(cè)其學(xué)習(xí)成績(jī)，及時(shí)采取干預(yù)措施；教育管理者可以根據(jù)區(qū)域的情況制定基于數(shù)據(jù)的決策等。

5. 把數(shù)據(jù)結(jié)果的應(yīng)用反饋回來(lái)進(jìn)一步指導(dǎo)教學(xué)過(guò)程和教學(xué)環(huán)境的改善，同時(shí)為下一次的數(shù)據(jù)采集和分析提供基礎(chǔ)與建議。

采用多種技術(shù)與方法，實(shí)現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程中多種模態(tài)數(shù)據(jù)的采集、處理與分析，將為我們呈現(xiàn)一幅全面、精準(zhǔn)的學(xué)習(xí)者學(xué)習(xí)過(guò)程畫像。

五、案例

案例基于某大學(xué)教育技術(shù)學(xué)專業(yè)面向大一新生開設(shè)的“教育技術(shù)學(xué)專業(yè)導(dǎo)航”課程，研究對(duì)象為學(xué)生在課程中基于平臺(tái)的線上學(xué)習(xí)過(guò)程和基于傳統(tǒng)面對(duì)面課堂的線下學(xué)習(xí)過(guò)程，從技術(shù)層面展現(xiàn)對(duì)學(xué)習(xí)者學(xué)習(xí)過(guò)程中行為層面、心理層面等數(shù)據(jù)的采集、處理和分析，進(jìn)而更全面地分析學(xué)習(xí)者的學(xué)習(xí)過(guò)程，探討多模態(tài)學(xué)習(xí)分析應(yīng)用。

該課程以學(xué)校在Blackboard平臺(tái)基礎(chǔ)上進(jìn)行改善的“大夏學(xué)堂”平臺(tái)作為支撐，進(jìn)行了18周線上、線下相結(jié)合的混合式教學(xué)。實(shí)踐人數(shù)為42名學(xué)生，其中男生13人，女生29人。為充分調(diào)動(dòng)學(xué)生的積極性，將42名學(xué)生隨機(jī)分成兩個(gè)班級(jí)進(jìn)行隔周教學(xué)，每周兩課時(shí)連上，即每班上課總共為9周，18個(gè)課時(shí)。具體教學(xué)過(guò)程如圖4所示。

（一）數(shù)據(jù)采集

由于技術(shù)的可獲得性問(wèn)題，本研究側(cè)重利用多種技術(shù)收集行為層和心理層多模態(tài)數(shù)據(jù)，實(shí)現(xiàn)學(xué)習(xí)者線上、線下學(xué)習(xí)過(guò)程的整體處理與分析（表4）。案例所在混合式學(xué)習(xí)環(huán)境中，行為層數(shù)據(jù)主要來(lái)自于多媒體課堂（視頻錄制）和在線學(xué)習(xí)平臺(tái)，心理層數(shù)據(jù)主要來(lái)源于在線討論話語(yǔ)分析和問(wèn)卷調(diào)查中學(xué)習(xí)者的自我反饋。問(wèn)卷內(nèi)容主要包括教學(xué)目標(biāo)達(dá)成、線下學(xué)習(xí)行為（小組協(xié)作匯報(bào)、課上發(fā)言）、線上學(xué)習(xí)行為（發(fā)帖、回帖）三個(gè)方面。

（二）數(shù)據(jù)處理

首先，將上述所采集到的數(shù)據(jù)進(jìn)行篩選、轉(zhuǎn)化等數(shù)據(jù)處理，使其存儲(chǔ)為學(xué)習(xí)行為數(shù)據(jù)流格式。具體包括：

1. 視頻錄制數(shù)據(jù)（線下學(xué)習(xí)行為）處理主要通過(guò)編碼分析實(shí)現(xiàn)，以“行為驅(qū)動(dòng)”為原則，以行為轉(zhuǎn)換為節(jié)點(diǎn)，記錄學(xué)生活躍時(shí)期的行為數(shù)據(jù)流（圖5）。

2. 在線學(xué)習(xí)與管理平臺(tái)技術(shù)獲得的行為數(shù)據(jù)（線上學(xué)習(xí)行為）：對(duì)于行為過(guò)程數(shù)據(jù)，本門課程所采用的“大夏學(xué)堂”平臺(tái)會(huì)在數(shù)據(jù)采集之后自動(dòng)生成各時(shí)間段、各模塊的相應(yīng)行為頻次統(tǒng)計(jì)報(bào)表，以便于統(tǒng)計(jì)。

3. 在線學(xué)習(xí)平臺(tái)中的學(xué)生交流討論數(shù)據(jù)（線上學(xué)習(xí)話語(yǔ)）的處理主要通過(guò)編碼分析實(shí)現(xiàn)，編碼主要參考Henri所提的認(rèn)知水平分析框架。

4. 問(wèn)卷調(diào)查數(shù)據(jù)（學(xué)習(xí)者自我反饋）：清理無(wú)效答卷后整合、編碼、表格化答卷。

（三）數(shù)據(jù)分析

本案例中主要利用IBM SPSS 22.0和Excel軟件對(duì)行為過(guò)程數(shù)據(jù)和問(wèn)卷調(diào)查數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和相關(guān)分析，并對(duì)交流討論所產(chǎn)生的文字運(yùn)用NVivo11進(jìn)行內(nèi)容分析。研究?jī)A向于利用學(xué)習(xí)者的行為層數(shù)據(jù)和自我反饋數(shù)據(jù)共同解釋如下問(wèn)題：

1. 行為層：學(xué)習(xí)者的行為表現(xiàn)如何？

2. 心理層：學(xué)習(xí)者的整體認(rèn)知水平如何？不同性別、地域的學(xué)習(xí)者在認(rèn)知水平上是否有差異？

3. 學(xué)習(xí)者的行為表現(xiàn)與認(rèn)知水平之間是否具有相關(guān)性？

（四）結(jié)論

本案例通過(guò)對(duì)多模態(tài)方式獲取的學(xué)習(xí)者行為層和心理層數(shù)據(jù)進(jìn)行分析，結(jié)論如下：

1. 線上和線下學(xué)習(xí)者行為表現(xiàn)

學(xué)生學(xué)習(xí)具有明顯的考核指向性，線下課堂活躍度較低，教師講解仍占據(jù)主體。由學(xué)生行為數(shù)據(jù)分析可知，主帖數(shù)、回帖數(shù)、課堂匯報(bào)等學(xué)生行為平均頻次接近考核要求，無(wú)明確要求的學(xué)生行為（課堂問(wèn)答、資源瀏覽等）頻次較低。在調(diào)查問(wèn)卷中，對(duì)于問(wèn)題“在課堂上，我會(huì)積極主動(dòng)地發(fā)言（回答老師的問(wèn)題、提問(wèn)、發(fā)表觀點(diǎn)等）”，52.63%的學(xué)生表示不會(huì)，對(duì)于這一部分學(xué)生，對(duì)其原因進(jìn)行調(diào)查，有80%的學(xué)生表示“我不知道要說(shuō)什么”，30%的學(xué)生表示“害怕自己說(shuō)錯(cuò)”，20%的學(xué)生表示自己“不喜歡在大家面前表達(dá)自己”，還有學(xué)生表示自己“就只想聽老師講，習(xí)慣了這種做法”。

2. 在線討論中的學(xué)習(xí)者認(rèn)知水平

（1）學(xué)生不能很好地發(fā)現(xiàn)問(wèn)題、對(duì)事物或觀點(diǎn)進(jìn)行較高層次的判斷并提供相應(yīng)的策略。學(xué)生線上交流討論時(shí)，23.24%的帖子屬于淺層加工，76.76%的帖子達(dá)到了深層加工。淺層加工部分，大部分帖子陳述某人/前人分享的觀點(diǎn)，沒(méi)有進(jìn)一步的分析和自己的觀點(diǎn)，主要體現(xiàn)為認(rèn)知水平中基本說(shuō)明階段“重申之前的假設(shè)”和深入說(shuō)明階段“回顧與修訂之前的陳述”。深層加工部分，帖子主要集中于“連接事實(shí)、概念和觀點(diǎn)，以進(jìn)一步解釋、推論和判斷”和“通過(guò)推論或假設(shè)，根據(jù)已有信息生成新的信息或者提出自己的觀點(diǎn)”，較少涉及深入分析（IP25、28）、提供證據(jù)的判斷（IP26、27）和提出創(chuàng)新性的解決方法（IP22、24、29）（表5）。

（2）同來(lái)自東部、中部地區(qū)的學(xué)習(xí)者相比，西部邊遠(yuǎn)地區(qū)的學(xué)習(xí)者行為表現(xiàn)較差，認(rèn)知水平較低。不同性別的學(xué)習(xí)者在認(rèn)知水平方面的判斷CK4階段存在顯著差異（Sig=.004， <0.05），女生所發(fā)帖子中CK4所占比例明顯高于男生；不同性別學(xué)習(xí)者在信息加工水平各階段則沒(méi)有顯著差異（表6）。

3. 學(xué)習(xí)行為和認(rèn)知水平的相關(guān)性

線上的發(fā)帖行為（包括主帖與回帖）和線下的答問(wèn)與匯報(bào)行為對(duì)學(xué)習(xí)者達(dá)到高階的認(rèn)知水平起著促進(jìn)作用。對(duì)學(xué)習(xí)行為與信息加工水平做相關(guān)性分析，分析結(jié)果顯示：“回帖數(shù)”與淺層加工水平存在正相關(guān)（0.388）；“閱讀通知材料”“閱讀教學(xué)資源”“主帖數(shù)”“回帖數(shù)”“被回帖數(shù)”“課堂答問(wèn)”6種行為與深層加工水平存在顯著的正相關(guān)（依次為0.334、0.535、0.563、0.811、0.391、0.401）。對(duì)學(xué)習(xí)行為與認(rèn)知水平各階段做相關(guān)性分析，分析結(jié)果表明：“閱讀教學(xué)資源”“主帖數(shù)”“回帖數(shù)”等線上學(xué)習(xí)行為與“推論”存在著非常顯著的正相關(guān)（分別為0.393、0.314、0.623）；“主帖數(shù)”“回帖數(shù)”等在線協(xié)作互動(dòng)行為與第四階段“判斷”有著非常顯著的正相關(guān)（分別為0.465、0.478）；“回帖數(shù)”“被回帖數(shù)”“課堂答問(wèn)”“課堂匯報(bào)”四種行為與第五階段“策略的發(fā)展”有著正相關(guān)（分別為0.314、0.330、0.383、0.338）。

六、總結(jié)

信息技術(shù)的發(fā)展促進(jìn)了教與學(xué)模式的改變。當(dāng)前，在在線學(xué)習(xí)平臺(tái)、智慧教室等各類新興技術(shù)的支持下，教學(xué)方式呈現(xiàn)多樣化，實(shí)現(xiàn)對(duì)學(xué)習(xí)者綜合學(xué)習(xí)表現(xiàn)的分析是對(duì)學(xué)習(xí)者進(jìn)行全面、精準(zhǔn)評(píng)價(jià)的必要措施，也是為改善信息化時(shí)代教與學(xué)提供數(shù)據(jù)支撐的基礎(chǔ)，并進(jìn)一步成為支持學(xué)習(xí)分析研究走向長(zhǎng)遠(yuǎn)的關(guān)鍵環(huán)節(jié)。本文從技術(shù)的視角，討論多模態(tài)學(xué)習(xí)分析新發(fā)展，指出未來(lái)的學(xué)習(xí)分析應(yīng)該利用腦電感應(yīng)、眼動(dòng)追蹤等多模態(tài)生物識(shí)別技術(shù)收集個(gè)人層面的學(xué)習(xí)數(shù)據(jù)，結(jié)合教學(xué)技術(shù)工具中的系統(tǒng)日志、全方位課堂音視頻錄像等方式追蹤學(xué)習(xí)者學(xué)習(xí)和社交軌跡，全面剖析學(xué)習(xí)者的行為層、心理層和生理層數(shù)據(jù)。

[參考文獻(xiàn)]

顧小清，鄭隆威，簡(jiǎn)菁. 2014. 獲取教育大數(shù)據(jù)：基于xAPI規(guī)范對(duì)學(xué)習(xí)經(jīng)歷數(shù)據(jù)的獲取與共享[J]. 現(xiàn)代遠(yuǎn)程教育研究（5）：13-23.

國(guó)家中長(zhǎng)期教育改革和發(fā)展規(guī)劃綱要（2010—2020年）[EB/OL].[2010-07]. http：//www.gov.cn/jrzg/2010-07/29/content_1667143.htm

國(guó)務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知[EB/OL]. [2015-09].http：//www.gov.cn/zhengce/content/2015-09/05/content_10137.htm

國(guó)務(wù)院關(guān)于印發(fā)國(guó)家教育事業(yè)發(fā)展“十三五”規(guī)劃的通知[EB/OL]. [2017-1]. http：//www.gov.cn/zhengce/content/2017-01/19/content_5161341.htm

何克抗. 2016. “學(xué)習(xí)分析技術(shù)”在我國(guó)的新發(fā)展[J]. 電化教育研究（7）：6.

教育部關(guān)于印發(fā)《教育信息化“十三五”規(guī)劃》的通知[EB/OL]. [2016-06]. http：//www.moe.edu.cn/srcsite/A16/s3342/201606/t20160622_269367.html

孟玲玲，顧小清，李澤. 2014. 學(xué)習(xí)分析工具比較研究[J]. 開放教育研究（4）：66-75.

吳永和，陳丹，馬曉玲，等. 2013. 學(xué)習(xí)分析：教育信息化的新浪潮[J]. 遠(yuǎn)程教育雜志（4）：11-19.

吳永和，李若晨，王浩楠. 2017. 學(xué)習(xí)分析研究的現(xiàn)狀與未來(lái)發(fā)展——2017年學(xué)習(xí)分析與知識(shí)國(guó)際會(huì)議評(píng)析. 開放教育研究，23（5）.

邢蓓蓓，楊現(xiàn)民，李勤生. 2016. 教育大數(shù)據(jù)的來(lái)源與采集技術(shù)[J]. 現(xiàn)代教育技術(shù)，26（08）：14-21.

葉新東. 2014. 未來(lái)課堂環(huán)境下的可視化教學(xué)研究[D]. 華東師范大學(xué).

張琪，武法提. 2016. 學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動(dòng)與多模態(tài)技術(shù)應(yīng)用前瞻[J]. 電化教育研究（9）：76-81.

Aguerrebere， C.， Cobo， C.， Gomez， M.， & Mateu， M. （2017） Strategies for data and learning analytics informed national education policies： The case of Uruguay[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：449-453.

Andrade， A. （2017） Understanding student learning trajectories using multimodal learning analytics within an embodied-interaction learning environment[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：70-79.

Baker， R. S.， & Inventado， P. S. （2014） Educational data mining and learning analytics[M]. Learning analytics. Springer New York， 61-75.

Bienkowski， M.， Feng， M.， & Means， B. （2012）. Enhancing teaching and learning through educational data mining and learning analytics： an issue brief. Washington， D. C. ：Office of Educational Technology， U. S. Department of Education； 1-57.

Boroujeni， M. S.， Hecking， T.， Hoppe， H. U.， & Dillenbourg， P. （2017） Dynamics of MOOC discussion forums[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：128-137.

Bote-Lorenzo， M. L.， & Gómez-Sánchez， E. （2017） Predicting the decrease of engagement indicators in a MOOC[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：143-147.

Ez-zaouia， M.， & Lavoué， E. （2017） EMODA： A tutor oriented multimodal and contextual emotional dashboard[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：429-438.

Gasevic， D.， Dawson， S.， Rogers， T.， et al. （2016） Learning analytics should not promote one size fits all： The effects of instructional conditions in predicting academic success[J]. The Internet and Higher Education， 28： 68-84.

Gasevic， D.， Dawson， S.， & Siemens， G. （2015） Lets not forget： Learning analytics are about learning[J]. TechTrends， 59（1）： 64-71.

Holstein， K.， Mclaren， B. M.， & Aleven， V. （2017） SPACLE： Investigating learning across virtual and physical spaces using spatial replays[A]. Proceedings of the Seventh International Learning Analytics & Knowledge Conference[C]. Vancouver， British Columbia， Canada， ACM：358-367.