張琪 王紅梅

[摘? ?要] 多模態(tài)數(shù)據(jù)建模已成為洞察學習規(guī)律的新范式。研究梳理了學習投入的概念演進與評測方法，從經(jīng)典教育學理論、教育神經(jīng)科學、具身認知理論以及量化學習視角闡釋了學習投入的內(nèi)在機制、研究范式、研究方法與技術(shù)前景，構(gòu)建多模態(tài)數(shù)據(jù)表征學習投入的理論基礎(chǔ)。在此基礎(chǔ)上，分析了學習投入的發(fā)生機制，提出從情感狀態(tài)、認知參與狀態(tài)以及與學習環(huán)境互動產(chǎn)生的行為綜合表征學習投入的觀點。建立包含學習者瞬時行為數(shù)據(jù)、內(nèi)容交互數(shù)據(jù)、情境互動數(shù)據(jù)的分析框架，圍繞學習行為建模、模態(tài)傳感器建模、算法模型以及新技術(shù)的介入四個方面討論多模態(tài)數(shù)據(jù)建模的關(guān)鍵技術(shù)。通過多模態(tài)數(shù)據(jù)的整合分析，結(jié)合機器學習方法，可分析學習投入的細粒度指標以及在不同場景中的建模過程，超越獨立數(shù)據(jù)源難以整合關(guān)聯(lián)的問題，最終實現(xiàn)探索教育智能時代的學習規(guī)律、改善學習的目的。

[關(guān)鍵詞] 學習投入; 多模態(tài); 數(shù)據(jù)表征; 關(guān)鍵技術(shù); 學習分析

[中圖分類號] G434? ? ? ? ? ? [文獻標志碼] A

[作者簡介] 張琪（1980—），男，江蘇徐州人。副教授，博士，主要從事學習分析與教育智能的研究。E-mail：zqzqhata@sina.com。

一、引? ?言

學習有效性是學習研究和教育實踐關(guān)注的核心問題[1]。智能教育新時期，教育變革的關(guān)鍵在于對“互聯(lián)網(wǎng)+環(huán)境中的學習本質(zhì)”這一問題的深入認識，學習投入的研究日益受到重視。作為學習分析與評測的核心研究領(lǐng)域，學習投入是指學習者在學習過程中表現(xiàn)出來的充沛精力、靈活性、熱情以及心理韌性[2]，是評價教育質(zhì)量的核心要素，是解決學習低績效、學習倦怠[3]、高輟學率[4-5]以及預(yù)測學習者未來成就[6]的重要的研究領(lǐng)域。

已有大量研究對學習投入的概念與理論體系展開了歸納梳理，但學習投入的表征與量化研究依然稀缺。迄今為止，學習投入評測方法還僅限于對傳統(tǒng)措施或混合方法的有限改進[7]。學習投入在科學的方法運用、建立具備信效度以及可操作性評測體系方面的研究依然處在探索階段。其在實踐中涉及的系列問題，必須整合來自信息科學、計算機科學、教育學、神經(jīng)科學、腦科學等多學科領(lǐng)域的知識才可能破解[8]。從跨學科層面統(tǒng)籌教育技術(shù)研究，展開多學科協(xié)同研究，對推動學習投入的發(fā)展具有極其重要的作用。

基于生物數(shù)據(jù)的多模態(tài)學習數(shù)據(jù)建模已成為洞察學習規(guī)律的新范式[9]，為認識學習投入的機制、發(fā)現(xiàn)其規(guī)律以及開發(fā)相應(yīng)的評測系統(tǒng)提供了可能。多模態(tài)數(shù)據(jù)支持和跨學科技術(shù)支持極大地拓展了學習投入的研究方法和應(yīng)用領(lǐng)域，學習投入的深度應(yīng)用將進一步推動以數(shù)據(jù)驅(qū)動范式探究學習本質(zhì)與規(guī)律的研究。

二、學習投入研究脈絡(luò)

（一）概念演進

有意義的學習皆需要持續(xù)的投入，這一論斷已經(jīng)得到研究者、實踐者和政策制定者的普遍認同[10]。學習投入的研究源于學習時間對學生成績的影響[11]，即與輟學率、心理游離、學業(yè)倦怠相關(guān)的處方性概念，被界定為學生理解、掌握知識與技能以及促進學習的行為與時間努力。Finn基于學業(yè)完成視角提出的“參與—認同”模型是用來闡釋學習投入的開創(chuàng)性理論[12]。該模型描述了學習行為開始的周期，以及隨著時間推移造成學習者與環(huán)境之間的相互聯(lián)系，描述了學習行為影響學術(shù)成功的內(nèi)在機制。根據(jù)這一理論，輟學和完成學業(yè)不是獨立事件，而是學習投入或未投入的長期結(jié)果。學習投入包括基本的學習行為（關(guān)注教師、提出問題、完成作業(yè)等）、主動學習行為（從事學習活動、參與更多工作、用新方法學習課程材料）以及從事學術(shù)課外活動。

隨著學習投入研究的深入，越來越多的學者意識到努力程度、情感體驗等心理投入的重要性。Jimerson等發(fā)現(xiàn)，大部分投入模型要素可以分類為行為與情感的組合，即投入不僅具有整體意義，而且還融合了可區(qū)分的特征[13];Fredricks等在此基礎(chǔ)上，認為投入是學習者動機發(fā)展模式的行動組成部分，投入的動機模型不僅包括行為，而且還包括情感和認知取向[14]。學習投入是一個元結(jié)構(gòu)概念，是指學習者與學術(shù)任務(wù)實際交互的質(zhì)量，有針對性的持續(xù)行動或可觀察的素養(yǎng)。綜合上述研究，對學習投入的三個維度做如下界定：

學習行為投入：指面對學習障礙或困難時表現(xiàn)出的積極、持久且有效的行為狀態(tài)，其本質(zhì)特征是整合認知與元認知策略的適應(yīng)性調(diào)節(jié)學習行為。包括持續(xù)性、反思性、主動性與專注性四個維度[15]。

學習認知投入：指為了確保達到學習目標的心理努力程度。包含認知策略以及元認知策略的使用，表現(xiàn)為通過澄清概念、提出問題、努力完成任務(wù)、自我調(diào)節(jié)等認知策略來調(diào)節(jié)學習過程。

學習情感投入：指學習情緒反應(yīng)水平的表達，是涉及學習過程并且在參與有價值活動時產(chǎn)生的心理感受，包括熱情、享受、樂趣、興趣與滿足感。情感投入也包括反向投入，如情緒不滿、悲傷與沮喪等。情感投入為學習行為提供了先導(dǎo)動力，有助于學習者對學習任務(wù)進行深層次的認知加工。

（二）學習投入的測量

學習投入的測量方法通常圍繞投入與“脫離”投入狀態(tài)的相關(guān)指標展開，或者通過學習者問題解決過程的不同維度進行評價。例如：行為投入的評估多是對學生回答、討論和使用工具等外顯學習行為表現(xiàn)進行分類與歸納;認知投入的評估則利用問卷量表或有聲思維法讓學習者對問題解決的過程進行回憶;用于評估情感投入的自我報告工具，通常包括關(guān)于歸屬感、情緒狀態(tài)以及交往關(guān)系等問題。鑒于直接評估內(nèi)部狀態(tài)的困難性[16]，認知與情感投入評測通常需要間接措施，且需要占用被試者的大量時間，成功與否也在很大程度上取決于評價量規(guī)的信效度以及參與者的配合程度。也有研究者試圖通過將自動數(shù)據(jù)采集與半自動化或手動數(shù)據(jù)編碼相結(jié)合來規(guī)避觀測方法的一些局限性，但相關(guān)研究極其有限。

對于學習投入的評測，重要的是要區(qū)分不同層次和時期的投入程度。例如，特定學科領(lǐng)域的即時任務(wù)投入與長期投入狀態(tài)。鑒于評測方法的制約，現(xiàn)有的評測體系多為寬泛的整體性評價，很少關(guān)注具體的任務(wù)、科目或?qū)W習情境。結(jié)合特定領(lǐng)域、不同層次之間的評測框架將有助于解決這一問題。例如，利用經(jīng)驗抽樣或定期記錄等方法可以幫助研究者了解不同投入維度的即時狀態(tài)。隨著時間的推移，這些即時的投入體驗將融入特定學科領(lǐng)域，從而產(chǎn)生“整合性”投入。

三、多模態(tài)數(shù)據(jù)表征學習投入的理論基礎(chǔ)

學習投入建模需要借鑒信息科學、腦科學的新方法填補在教育測量方面的差距，需要采取創(chuàng)新措施特別是微觀層面的研究以補充現(xiàn)有的宏觀框架。多模態(tài)整合分析意味著按照人的多重感知模式分析生物信號，同步處理學習者不同模態(tài)的數(shù)據(jù)，能夠更深入地揭示學習者的信息感知和認知加工規(guī)律，進而深刻、全面地刻畫學習投入的本質(zhì)特征。

（一）經(jīng)典教育學理論闡明了學習投入的內(nèi)在機制

經(jīng)典教育學理論為學習投入不同層面的研究提供了給養(yǎng)。其中，自我決定理論、“控制—價值”理論側(cè)重于闡釋學習投入的前兆和發(fā)生機制;“互動反饋效應(yīng)”則試圖解釋學習成敗的基本心理特征以及學習投入的變化過程。

1. 自我決定理論

自我決定理論（Self-determination Theory）是利用傳統(tǒng)經(jīng)驗范式構(gòu)建并指導(dǎo)投入發(fā)生的動機理論。其核心思想是，當學習需求被社會環(huán)境或活動所滿足時，學習者就會與學習環(huán)境進行建設(shè)性互動，進而產(chǎn)生高質(zhì)量投入。從這個意義上來說，自我決定理論將重點集中在行為投入的前身，并假設(shè)當環(huán)境滿足個人能力需求、歸屬需求和自主需求時，積極投入是最有可能出現(xiàn)的。從這個角度看，學習者有時會出現(xiàn)缺乏自我激勵、心理茫然失措的情況，或者產(chǎn)生逃避、倦怠的行為，而內(nèi)在動機是調(diào)和與解決這些問題的關(guān)鍵。合理的組織結(jié)構(gòu)、來自教師或同伴的關(guān)懷以及對個體自主性的支持將促進學習者表現(xiàn)出更高的課堂參與度、學習滿足和控制力，從而產(chǎn)生高質(zhì)量的學習投入[17]。

2. “控制—價值”理論

教育環(huán)境是情感體驗的重要來源之一。學習情感受到學習經(jīng)歷與學習成敗的影響，而這些狀態(tài)反過來又會影響學習者的判斷和歸因，影響其學習動機、學習行為與學習成就。Pekrun提出的“控制—價值”理論（Control-Value Theory）闡釋了認知評價與學習情感的關(guān)系[18]。認知評價包括個體的主觀控制感和主觀價值感。主觀控制感是對學習者能否掌握學習內(nèi)容的評估，包括對學習行動能否順利發(fā)起與執(zhí)行的評估;對學習行動產(chǎn)生不同結(jié)果的評估，即行動結(jié)果預(yù)期。主觀價值感是對學習活動和結(jié)果的價值判斷，也包括對學習任務(wù)有用性與重要性的評價。

3. 互動反饋效應(yīng)

根據(jù)互動反饋效應(yīng)（Interactive Feedback Effect），學習環(huán)境通過包含人際交往、結(jié)構(gòu)化信息與自主支持的差異性給養(yǎng)滿足了學習者多元心理需求。基于已有學習經(jīng)驗，學習者在自我整合的過程中展開學習，為學習投入提供了動機基礎(chǔ)，并促進學習結(jié)果的達成。圖1 從“情境—反饋”的系統(tǒng)視角揭示了學習投入的產(chǎn)生與變化過程[19]?？梢钥闯?，學習情境的人際適應(yīng)性、信息關(guān)系以及自主性影響關(guān)系需求、自我效能感與自主學習能力，學習者在適應(yīng)新情境或遇到不適應(yīng)情境時容易產(chǎn)生學習投入或?qū)W習倦怠。在互動反饋效應(yīng)的作用下，學習投入不僅有助于促進學習者的后續(xù)學習和表現(xiàn)，而且與環(huán)境、教師、同伴、個體和行動之間會產(chǎn)生互惠的關(guān)系。

（二）教育神經(jīng)科學提供了跨學科的研究范式

教育神經(jīng)科學將傳統(tǒng)意義上被孤立與分離的腦認知科學與教育研究整合起來，基于跨學科整合視角為學習投入的研究提供了范式指南。教育神經(jīng)科學認為，神經(jīng)元之間突觸的連接是學習的生物學依據(jù)，學習任務(wù)源自任務(wù)對大腦的需求，不同的任務(wù)指令引起大腦化學成分和神經(jīng)系統(tǒng)活動的改變。學習投入的不同階段會伴隨著交感神經(jīng)和副交感神經(jīng)的相應(yīng)活動變化，下丘腦負責整合調(diào)控自主神經(jīng)系統(tǒng)的活動，并控制學習者的情感與行為表達，通過記錄皮膚導(dǎo)電率、眼動、血壓、心電圖、近紅外光譜等，可以發(fā)現(xiàn)不同的投入水平存在特定的自主神經(jīng)與生理活動模式。

教育神經(jīng)科學揭示了學習投入不同狀態(tài)的對應(yīng)生物標記與學習認知、情感之間的聯(lián)系。其基本假設(shè)是，反映不同投入維度的認知和情感狀態(tài)與多個層次的反應(yīng)（神經(jīng)生物學、生理學、身體表達、學習行為、元認知以及主觀感受）密切相關(guān)，反過來又以一種循環(huán)因果的方式影響學習投入本身[20]。

（三）具身認知理論從微觀層面提供理論指引

具身認知理論從可觀察到的身體反應(yīng)推斷不可觀察的心理狀態(tài)，認為學習者心理狀態(tài)通過多種外顯行為表現(xiàn)出來，認知和情感是為行為服務(wù)的，身體是行為的代理人[21]，從而提供了不同時間節(jié)點上學習投入相應(yīng)維度的連續(xù)評估依據(jù)。如高學習投入期間交感神經(jīng)系統(tǒng)中的刺激增加[22]。此外，面部表情和情感狀態(tài)之間也存在明確的關(guān)系[23]。如在迷思過程中學習者的皺眉，達成任務(wù)時的眉毛揚起等。也有研究確定了生理特征與認知狀態(tài)的相關(guān)性。如眼動特征與注意力的聯(lián)系[24]以及腦電與認知負荷的關(guān)系[25]等。

具身認知理論揭示了通過可觀察的生理響應(yīng)推斷不可觀察心理狀態(tài)的機制，是多模態(tài)數(shù)據(jù)表征學習投入的重要理論依據(jù)。其中，一些反應(yīng)是無意識的，如避讓、情緒傳染、應(yīng)急反應(yīng)等;另一些則具有明確的指向性，如元認知反射與主觀感受等。

（四）量化學習為精準刻畫學習投入提供技術(shù)支撐

傳統(tǒng)的學習投入評測數(shù)據(jù)主要來自對課堂與學習環(huán)境的人工標注，鮮有對學習過程中不同層面數(shù)據(jù)的連續(xù)捕捉，尤其缺少細粒度的微觀數(shù)據(jù)。量化學習技術(shù)提供了一種支持現(xiàn)實環(huán)境中采集教育數(shù)據(jù)的新方式，有助于補充與完善傳統(tǒng)學習投入評估的缺陷和不足。量化學習的核心是全面地分析過程性數(shù)據(jù)，并以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能設(shè)備作為信息獲取和交互的載體，利用無所不在的處理能力、共享的教育云平臺，在學習分析技術(shù)的深度協(xié)同作用下，構(gòu)建有效模型，深入刻畫學習者及其學習過程。隨著便攜腦電（PEEG）、腦機接口（BCI）與自然用戶界面（NUI）的成熟，更自然、深入、精確的考察學習過程成為可能。

多模態(tài)數(shù)據(jù)表征學習投入的典型特征是各模態(tài)數(shù)據(jù)特征的整合，其原始時間序列通常沒有直接的語義含義，也缺乏這些特征如何相互作用的假說。如果沒有有效的理論模型與計算模型，則無法分析有意義的信息。經(jīng)典教育學理論從一定程度上描述了投入建模中可能涉及的特征，有利于闡釋學習投入的內(nèi)在機制，進而建立整合結(jié)構(gòu)的分析模型。量化學習提供了對數(shù)據(jù)采集與分析的有效方法。一方面，海量的多模態(tài)數(shù)據(jù)需進行預(yù)處理以提取機器特征。例如來自視覺模態(tài)中的方向梯度直方圖（HOG），可以計算局部圖像梯度的方向信息統(tǒng)計值以作為面部特征的描述。另一方面，把學習產(chǎn)生的實時、連續(xù)個人生活數(shù)據(jù)和學習分析數(shù)據(jù)結(jié)合起來進行科學闡釋，可以揭示學習者生活方式或環(huán)境因素對學習效果的影響，有助于深化學習投入的研究。教育神經(jīng)科學和具身認知理論則給出了具有語義含義的生物特征。如面部表情、手勢、姿態(tài)和語音韻律的潛在語義?；谏鲜鏊枷?，底層特征和低階意義表征的數(shù)據(jù)被動態(tài)建模，以生成學習狀態(tài)的整體度量，根據(jù)特定理論框架可以構(gòu)建稱為高級解釋的投入指標。

四、多模態(tài)技術(shù)表征學習投入的研究框架

（一）學習投入的發(fā)生機制

“互聯(lián)網(wǎng)+”環(huán)境中學習投入的發(fā)生機制研究是學習投入評測與建模的基礎(chǔ)。首先，應(yīng)考察學習投入的發(fā)生情境，從活動系統(tǒng)的視角探究框架內(nèi)部存在哪些要素，探尋各部分的運作機制，以深入把握在線學習投入的本質(zhì)、內(nèi)涵和命題網(wǎng)絡(luò)。重點考慮以下三個方面：一是從學習者、平臺、資源、工具、共同體、活動、行為等組成的系統(tǒng)中分析各要素之間的靜態(tài)結(jié)構(gòu)以及動態(tài)演進關(guān)系;二是借鑒自我決定理論、成就目標理論、自我調(diào)節(jié)理論，分析投入產(chǎn)生與維系的過程;三是結(jié)合特定的教學場景，考慮學習分析框架的可測量與可記錄結(jié)構(gòu)。

（二）學習投入分析框架

Newell和Anderson提出了“認知頻譜”（Bands of Cognition）的概念，從生物、認知、理性和社會維度界定學習行為[26-27]，為分層建模學習投入奠定了基礎(chǔ)。Sinatra等致力于推進學習投入的分析框架，尤其是科學學習領(lǐng)域的投入評價研究，在界定投入維度的基礎(chǔ)上，基于分層分析視角提出“連續(xù)統(tǒng)一體”學習投入模型（The Continuum of Engagement Measurement），將投入度量置于多維圖譜之中[28]。該模型認為，學習投入的評測應(yīng)從個體、情境以及個體與情境的交互三個層面展開分析。其中，個體層面的分析側(cè)重于學習者認知、情感與動機的細粒度瞬時測量;面向情境的觀點強調(diào)環(huán)境背景作為分析單元，從宏觀層面分析環(huán)境結(jié)構(gòu)中的開放性、結(jié)構(gòu)性、適用性以及技術(shù)特征;作為個體與情境交互的中間維度，則重點考量學習者的互動、觀點、概念化程度等社會化特征。借鑒該模型，從操作性的角度，可以圍繞學習者的瞬時行為數(shù)據(jù)、學習者與內(nèi)容的交互數(shù)據(jù)、學習者與情境的互動數(shù)據(jù)三個層面建立分析框架。

“連續(xù)統(tǒng)一體”模型對學習投入建模具有重要參考價值。該模型指出了學習投入的各維度之間會存在重疊，研究者應(yīng)首先確定學習投入的觀測邊界。當融合不同的數(shù)據(jù)流時，應(yīng)重點考慮可以獲得以及預(yù)期呈現(xiàn)的“時間分辨率”。當前，學習投入建模多集中在學習者完成具體任務(wù)的過程上，這位于“連續(xù)統(tǒng)一體”的末端。盡管學習者的行為是在情境中進行的，但分析單位通常是單個學習者的認知水平、情感狀態(tài)或動機程度。在分析方式上，綜合使用生理指標、行為建模、教師觀察、自我報告、學業(yè)成就、認知或動機量表等，通過“三角驗證”克服主觀測量的“時間分離性”與“觀察者偏見”。“連續(xù)統(tǒng)一體”的另一極專注于提供或阻礙投入的學習平臺、校內(nèi)學習場景、社區(qū)乃至文化特征。通常利用相對宏觀的社會學理論、系統(tǒng)理論、生態(tài)學理論、活動理論進行闡釋。方法涉及話語分析、觀察法、教師評級、課堂編碼以及對社會文化背景的質(zhì)性分析，此方面的研究還比較少?！斑B續(xù)統(tǒng)一體”中間部分強調(diào)“置于情境中的研究者”（Person-in-context Perspective）視角，重點是描述交互本身，目標是評估學習者如何與他人以及所在環(huán)境的不同維度之間展開互動，進而產(chǎn)生特定類型、層次或形式的投入。建模方法一般綜合利用經(jīng)驗抽樣、動作編碼、社會網(wǎng)絡(luò)分析以及話語分析法。其中，動作編碼分析與經(jīng)驗抽樣法值得關(guān)注。動作編碼分析認為，生物頻率中的學習者動作很多是在無意識的非理性層面發(fā)生，而任務(wù)的完成通常與理性層面的人類行為相關(guān)聯(lián)。在較長時間尺度上發(fā)生的事件可以在較短時間尺度上分解為動作，可以分別編碼闡釋其對應(yīng)的意義。經(jīng)驗抽樣法是根據(jù)實驗進程設(shè)置反饋點，學習者收到呼叫后，需回應(yīng)所處狀態(tài)、活動與情感反應(yīng)等問題。該方法可以收集不同時段、不同情境中學習投入的變化情況，適用于混合學習環(huán)境、科學學習與工程實踐的復(fù)雜學習情境。

多模態(tài)數(shù)據(jù)表征的學習投入更加關(guān)注從秒到分的時間尺度，以及從微觀層面分析學習者個體與所處環(huán)境的互動過程，這種研究范式有別于上下文中的個體分析，后者重點是強調(diào)個體分析而不是與環(huán)境的互動過程。據(jù)此可將學習投入概念化為“學習者導(dǎo)向”的積極且專注的學習狀態(tài)?！皩W習者導(dǎo)向”強調(diào)不同時間維度上的特征以及與學習環(huán)境的交互性。一方面，研究者直接觀察和記錄學習者的外顯行為。便捷、低成本的自然語言處理方式為真實課堂環(huán)境中的學習行為數(shù)據(jù)采集提供了便利，在線學習環(huán)境中的點擊流數(shù)據(jù)也以時序為單位更為完整地被記錄和存儲在數(shù)據(jù)庫中，可以對學習者的學習行為進行編碼，追蹤其行為序列，探究其行為模式與規(guī)律。另一方面，可以利用傳感器從學習者的眼動和表情等變化追蹤其潛在的思維活動，監(jiān)測其生理反應(yīng)尤其是大腦活動，結(jié)合學習者的話語和寫作文本挖掘其內(nèi)隱的心理變化，從而為理解與改進學習奠定了全維數(shù)據(jù)基礎(chǔ)。

五、學習投入數(shù)據(jù)建模的關(guān)鍵技術(shù)

（一）學習行為建模

學習行為建?；趯W習投入機制與理論模型的闡述，分析評測維度與學習活動的相關(guān)關(guān)系，以探索行為指標與不同學習場景中學習活動的映射關(guān)系。當前研究團隊已建立了學習行為投入評測模型，并利用人格特質(zhì)對學習者進行分類，利用最優(yōu)化的機器學習算法進行建模與可視化[29]。相對于較粗粒度的學習行為分析，學習行為序列是按照時間順序形成的行為次序，更能反映學習者的認知過程與行為偏好。按照時間序列挖掘關(guān)鍵行為序列特征，使用量化的推論統(tǒng)計解釋行為序列的轉(zhuǎn)換，根據(jù)提取的行為特征分析學習者的行為轉(zhuǎn)換圖，可以對學習行為投入度進行更為準確的測量。

（二）模態(tài)傳感器建模

模態(tài)傳感器可以檢測與記錄可見行為、面部變化與環(huán)境背景信息，但更多地依賴于推理、解碼學習者的心理狀態(tài)[30]。通過腦電圖、眼動指標、紅外光譜技術(shù)可以測量超出人類觀測范疇的個體生理與行為指標，但同樣不能從測量的結(jié)果直接推斷精神狀態(tài)，也不能解釋不同情境下的相關(guān)線索。相反，學習個體對主觀感受、記憶、元認知和一些生理反射具有獨特的敏感性，但目前還很難通過神經(jīng)生物學的變化來揭示。個體學習過程中的生物特征與投入指標之間的相關(guān)關(guān)系還有待進一步被闡明。

模態(tài)傳感器的輸出信號要經(jīng)歷去噪、濾波、平滑與特征提取的過程。對于攝像頭記錄的面部信號，通過視覺技術(shù)計算樣本特征，其特征包括特定面部的肌肉與動作單位（如內(nèi)眉或唇褶）以及面部紋理在頭部的位置和方向;語音中的數(shù)字信號處理技術(shù)用于提取副語言（聲音韻律）以及麥克風記錄音頻信號的音高和幅度等特征;眼動信號一般選取不同時間間隔的眼球凝視特征、運動次數(shù)與掃視路徑[31];腦電信號通常利用近似熵、總變差、能量、偏度和標準偏差等提取與認知相關(guān)的關(guān)鍵特征。在機器學習訓(xùn)練階段，利用機器學習方法在特征與人工注釋之間產(chǎn)生計算模型，評估二者之間的重疊程度，并建立相應(yīng)的運行環(huán)境。

（三）算法模型

1. 算法選擇

選擇計算模型需要綜合考量算法的特征空間（數(shù)據(jù)的可分離性）、復(fù)雜性、內(nèi)部透明度、準確性、泛化性與魯棒性等方面。分類算法的核心思想是在樣本空間找到一個劃分超平面，將不同類型的樣本分開，因此，算法的線性可分是重要的考慮因素。線性模型相對簡單且具有較高的計算效能，但當數(shù)據(jù)非線性可分時則無效，這些情況需要更復(fù)雜的模型。算法的復(fù)雜性包括時間復(fù)雜度和空間復(fù)雜度，前者用來衡量運行速度的時間效率，后者指實現(xiàn)算法的程序在運行時所占用空間的總和。算法的復(fù)雜性提升會制約系統(tǒng)的適用性以及運行效率。此外，機器學習普遍存在“黑箱”問題，這在很大程度上會影響算法的選擇。雖然支持向量機（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等可能在面部識別等方面具有更佳的效能，但其他模型有可能更為透明。例如，通過決策樹給出的可解釋性規(guī)則或者由貝葉斯算法給出的特定特征的條件概率。未來，發(fā)展能解釋自身的“透明訪問”算法至關(guān)重要，它可以使開發(fā)者“檢視算法內(nèi)部”，并且可方便地進行編輯。算法性能也是需要考慮的一個方面。當模型用于實時測量時，算法的性能級別可能會稍遜于算法的復(fù)雜性和魯棒性。

2. 數(shù)據(jù)集訓(xùn)練

交叉驗證用于衡量訓(xùn)練模型數(shù)據(jù)的穩(wěn)健性。算法模型的泛化性能部分取決于數(shù)據(jù)的交叉驗證方式。以10折交叉驗證為例，即把數(shù)據(jù)平均分成10份，其中9份作為訓(xùn)練集，1份作為測試集，分別進行10次訓(xùn)練與驗證。因為數(shù)據(jù)分割是隨機的，可以防止過擬合（Overfitting）。這種驗證方式的缺點在于對被試的樣本特征沒有加以區(qū)分，由此產(chǎn)生的模型可能會過度適應(yīng)個人特征。相比之下，單特征交叉驗證可確保來自同一個人的數(shù)據(jù)在訓(xùn)練集或測試集中，即把樣本分類出來進行訓(xùn)練和驗證，這提供了將模型推廣到具有類似特征群體的更為有效的方案。

3. 模態(tài)對齊

多模態(tài)數(shù)據(jù)建模的重要特征是多維數(shù)據(jù)的融合，要求模態(tài)間有嚴格的時間同步性。對于面部視覺表現(xiàn)的情感、腦電、皮膚電等的整合分析，可以通過時間階段檢測和時間歸一化方法實現(xiàn)同步和對齊。例如，情感投入中獲得連續(xù)的面部表情序列，可以采用隱馬爾科夫模型對連續(xù)視頻序列進行時域分割，采用時間歸一化方法在時間軸上進行拉伸與收縮，從而歸一化到標準的時間模板之中。

（四）新技術(shù)的介入

功能性近紅外光譜技術(shù)（fNIRS）是近年來出現(xiàn)的一種非侵入式腦功能成像技術(shù)。功能性近紅外光譜技術(shù)推動腦功能網(wǎng)絡(luò)整合研究取得了突破性進展。例如，腦科學領(lǐng)域權(quán)威刊物Human Brain Mapping以封面文章的形式發(fā)表的研究論文[32]，基于fNIRS的多人同時腦成像技術(shù)，測量教師和學習者的腦功能信號，揭示了腦活動隨著時間共同變化的狀態(tài)。腦科學新技術(shù)的進展不僅為學習投入提供了科學機理闡釋和實驗觀測方法，而且為在真實環(huán)境與復(fù)雜教學情境中研究學習投入提供了類腦計算與仿真分析的手段。

六、結(jié)? ?語

學習分析已成為教育領(lǐng)域研究和實踐的熱點，但依然缺少與教學場景緊密結(jié)合的評測體系[33]。學習投入作為有意義學習、學習干預(yù)與影響學習績效的關(guān)鍵因素，已成為學習分析領(lǐng)域的研究熱點。通過學習行為數(shù)據(jù)以及生物多模態(tài)數(shù)據(jù)的整合分析，結(jié)合機器學習方法，可分析學習投入的細粒度指標以及在不同場景中的學習過程，實現(xiàn)多數(shù)據(jù)的整合邏輯關(guān)聯(lián)，從而全面、客觀、自動化地表征學習投入，最終實現(xiàn)探索教育智能時代的學習規(guī)律、改善學習的目的。下一階段，“數(shù)字學習與教育公共服務(wù)教育部工程研究中心”將重點圍繞決策級數(shù)據(jù)建模與融合方法展開研究，設(shè)計學習分析工具，刻畫學習投入的多維復(fù)雜特征，初步形成對于學習投入的動態(tài)評估能力。

[參考文獻]

[1] 董奇.將腦與認知科學的成果應(yīng)用于教育[EB/OL].（2018-08-06）[2019-04-15].https：//mp.weixin.qq.com/s/d0CzD3e75ZvHwfacoZwsmg.

[2] RESCHLY A L， CHRISTENSON S L. Jingle， jangle， and conceptual haziness： evolution and future directions of the engagement construct [M]//CHRISTENSON S， RESCHLY A， WYLIE C. Handbook of research on student engagement. Boston： Springer， 2012：3-19.

[3] 王洪江，穆肅，黃潔，溫慧群.自主學習投入度實時分析方法及應(yīng)用研究[J].電化教育研究，2017，38（10）：44-50.

[4] 武法提，張琪.學習行為投入：定義、分析框架與理論模型[J].中國電化教育，2018（1）：35-41.

[5] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[6] FELDMAN A F， MATJASKO J L. The role of school-based extracurricular activities in adolescent development： a comprehensive review and future directions [J]. Review of educational research， 2005， 75（2）：159-210.

[7] GREENE B A. Measuring cognitive engagement with self-report scales： reflections from over 20 years of research [J]. Educational psychologist， 2015， 50（1）：14-30.

[8] 楊宗凱，吳砥，鄭旭東.教育信息化2.0：新時代信息技術(shù)變革教育的關(guān)鍵歷史躍遷[J].教育研究，2018，39（4）：16-22.

[9] 張琪，武法提.學習分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究，2016，37（9）：76-81，109.

[10] LOVELESS T， DIPERNA P. How well are american students learning？ the 2015 brown center report on american education [R]. Washington DC： Brookings Institution，2015.

[11] SILVERMAN S. Relationship of engagement and practice trials to student achievement[J]. Journal of teaching in physical education， 1985， 5（1）：13-21.

[12] FINN J D. Withdrawing from school [J]. Review of educational research， 1989， 59（2）：117-142.

[13] JIMERSON S R， CAMPOS E， GREEN J G. Toward an understanding of definitions and measures of school engagement and related terms [J]. The california school psychologist， 2003， 8（1）：7-27.

[14] FREDRICKS J A， PARIS B A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004， 74（1）：59-109.

[15] 張琪，武法提.學習行為投入評測框架構(gòu)建與實證研究[J].中國電化教育，2018（9）：102-108.

[16] APPLETON J J， CHRISTENSON S L， KIM D， et al. Measuring cognitive and psychological engagement： validation of the student engagement instrument [J]. Journal of school psychology， 2006， 44（5）：427-445.

[17] NIEMIEC C P， RYAN R M. Autonomy， competence and relatedness in the classroom： applying self-determination theory to classroom practice [J]. Theory & research in education， 2009， 7（2）：133-144.

[18] PEKRUN R， GOETZ T， TITZ W， et al. Academic emotions in students' self-regulated learning and achievement： a program of qualitative and quantitative research [J]. Educational psychologist， 2002， 37（2）：91-105.

[19] SKINNER E A， PITZER J R. Developmental dynamics of student engagement，coping，and everyday resilience[M]//CHRISTENSON S， RESCHLY A， WYLIE C. Handbook of research on student engagement. Boston： Springer， 2012：21-44.

[20] LEWIS， MARC D. Bridging emotion theory and neurobiology through dynamic systems modeling [J]. Behavioral and brain sciences， 2005，28（2）：169-194.

[21] BARSALOU L W. Grounded cognition [J]. Annual review of psychology，2008，59（1）：617-645.

[22] CACIOPPO J T， KLEIN D J， BERNTSON G G， et al. Facial expressions of emotion [M]//LEWIS M， HAVILAND J M. Handbook of emotions. NY： The Guilford Press， 2008：119-142.

[23] MATSUMOTO D， KELTNER D， SHIOTA M N， et al. Facial expressions of emotion [M]//LEWIS M， HAVILAND J M. Handbook of emotions. NY： The Guilford Press， 2008：211-234.

[24] DOGUSOY-TAYLAN B， CAGILTAY K. Cognitive analysis of experts' and novices' concept mapping processes： an eye tracking study [J]. Computers in human behavior， 2014， 36：82-93.

[25] SUN C Y， YEH P C. The effects of attention monitoring with EEG biofeedback on university students' attention and self-efficacy： the case of anti-phishing instructional materials [J]. Computers & education， 2017， 106：73-82.

[26] NEWELL A. Précis of unified theories of cognition [J]. Behavioral & brain sciences， 1992， 15（3）：425-437.

[27] ANDERSON J R. Spanning seven orders of magnitude： a challenge for cognitive modeling[J]. Cognitive science，2002，26（1）：85-112.

[28] SINATRA G M， HEDDY B C， LOMBARDI D. The challenges of defining and measuring student engagement in science [J]. Educational psychologist， 2015， 50（1）：1-13.

[29] 張琪，武法提.學習儀表盤個性化設(shè)計研究[J].電化教育研究，2018，39（2）：39-44，52.

[30] MEHU M， SCHERER K R. A psycho-ethological approach to social signal processing[J].Cognitive processing，2012，13：397-414.

[31] PONCE H R， MAYER R E. An eye movement analysis of highlighting and graphic organizer study aids for learning from expository text [J]. Computers in human behavior， 2014， 41：21-32.

[32] ZHENG L， CHEN C， LIU W， et al. Enhancement of teaching outcome through neural prediction of the students' knowledge state [J]. Human brain mapping， 2018， 39（7）：3046-3057.

[33] 韓錫斌，程建鋼.基于網(wǎng)絡(luò)教學平臺的學習分析模型構(gòu)建與應(yīng)用[J].電化教育研究，2018，39（7）：33-39，48.