張樂樂 顧小清

（華東師范大學 教育學部教育信息技術(shù)學系，上海 200062）

一、引言

21世紀是“課堂革命”的世紀，世界各國的課堂正靜悄悄地發(fā)生變化（佐藤學，2014）。課堂是教育教學的主戰(zhàn)場、人才培養(yǎng)的主陣地，人工智能技術(shù)打破了傳統(tǒng)課堂標準化、同質(zhì)化束縛，加速了課堂教學與管理的創(chuàng)新變革。經(jīng)濟合作與發(fā)展組織發(fā)布的《2021OECD數(shù)字教育展望》，將智能技術(shù)對課堂教學的改變作為重點關(guān)注領(lǐng)域。隨著課堂智能系統(tǒng)、眼動儀、腦電儀、可穿戴設(shè)備等智能設(shè)備的發(fā)展，以及自然語言處理、計算機視覺和語音識別、生理信息識別等智能技術(shù)的成熟（王一巖等，2021），課堂教學研究將突破以外顯學習行為識別為代表的淺層感知技術(shù)瓶頸（劉三女牙等，2021），實現(xiàn)對學習情境中師生狀態(tài)、意圖的深層感知。我國《新一代人工智能發(fā)展規(guī)劃》指出，要鼓勵人工智能與神經(jīng)科學、認知科學等基礎(chǔ)學科開展跨學科探索，加強引領(lǐng)人工智能算法、模型發(fā)展的基礎(chǔ)理論研究（國務(wù)院，2017）。當前，人工智能機器學習算法、卷積神經(jīng)網(wǎng)絡(luò)算法在教育領(lǐng)域應用較為廣泛，課堂教學數(shù)據(jù)的深度挖掘與分析，為處理課堂教學行為的復雜性、可解釋性提供了技術(shù)支持。

國內(nèi)外已有大量有關(guān)課堂教學行為分析研究，常用的課堂教學行為分析方法—學生和教師課堂行為分析法（S-T課堂分析法）、弗蘭德斯互動分析體系（FIAS）采用人工編碼、計時的方式采集數(shù)據(jù)，一定程度推動了傳統(tǒng)課堂教學質(zhì)量的提升。然而，人工采樣存在樣本量小、費時費力、容易出錯、有較強的主觀色彩等不足，不利于發(fā)現(xiàn)真實的教學問題和教學規(guī)律。進入智能時代，多模態(tài)課堂教學行為分析為解決這些問題提供了機遇，技術(shù)賦予機器更強的判斷和決策能力，可對無法精準獲取或難以察覺的課堂教與學數(shù)據(jù)進行智能采集和分析，深入探究學習背后的信號或潛在機理。那么，如何利用智能技術(shù)伴隨式地采集課堂教學行為數(shù)據(jù)，應采集哪些數(shù)據(jù)表征學習者的學習狀態(tài)，這成為智慧課堂教學行為分析的難點，也是教育研究關(guān)注的焦點。本研究以人工智能技術(shù)為依托，從多模態(tài)教學行為分析的視角出發(fā)，對多主體課堂教學行為分析的構(gòu)成要素進行歸類，設(shè)計基于多模態(tài)的課堂教學行為分析模型，構(gòu)建課堂教學行為分析實踐框架，以期為多模態(tài)數(shù)據(jù)支持的課堂教學實踐提供理論支撐，推進課堂教學智能化發(fā)展。

二、文獻綜述

課堂教學行為分析一直以來都是課堂教學研究的重點，技術(shù)發(fā)展使得課堂教學行為不再局限于肉眼可見的外顯行為，更多關(guān)注生理、心理等內(nèi)隱數(shù)據(jù)，以及時發(fā)現(xiàn)教學問題，揭示教育規(guī)律。國內(nèi)外多模態(tài)課堂教學行為分析研究主要關(guān)注多模態(tài)行為數(shù)據(jù)的采集分析方法、多模態(tài)課堂情緒感知與行為分析和多模態(tài)課堂教學活動編排。

（一）多模態(tài)行為數(shù)據(jù)的采集分析方法

1. 基于視頻的課堂多模態(tài)數(shù)據(jù)采集

基于視頻的課堂數(shù)據(jù)采集是目前課堂教學行為分析較常用的數(shù)據(jù)采集方法，即通過視頻采集和提取學習者面部表情、頭部運動、身體姿勢等特征，計算識別學習者的相關(guān)行為。例如，于等（Yu et al.，2017）利用微軟體感系統(tǒng)記錄學生的課堂學習視頻圖像，通過人臉識別和姿態(tài)識別檢測學生的典型課堂行為（如坐、舉手、站立、睡覺和耳語）；武喬維奇等（Vujovic et al.，2019）運用動態(tài)捕捉系統(tǒng)獲取面對面協(xié)作學習場景中學習者的凝視方向和反應速度、學習者之間的距離和運動等行為數(shù)據(jù)；斯坦等（Tan et al.，2020）利用360度視頻技術(shù)錄制課堂活動的多模態(tài)數(shù)據(jù)，如師生對話、移動、眼神、手勢、演示實物、使用設(shè)備等，為教師精準教學提供數(shù)據(jù)支持。

2. 基于語音的課堂多模態(tài)數(shù)據(jù)采集

基于語音的課堂數(shù)據(jù)采集主要利用語音識別技術(shù)采集線上線下學習者和教師的語音數(shù)據(jù)，實現(xiàn)對他們情緒感知、協(xié)作交流等狀態(tài)的深度挖掘與分析。例如，岑等（Cen et al.，2016）開發(fā)了面向在線學習的實時語音情感識別系統(tǒng)，通過語音活動檢測、語音分割、信號預處理、特征提取、情緒分類和情緒頻率的統(tǒng)計分析，實時監(jiān)測在線學習環(huán)境中學習者的情緒狀態(tài)；里克爾梅等（Riquelme et al.，2019）使用應答器采集學生的語音數(shù)據(jù)，分析小組協(xié)作的持續(xù)性和激勵性；陳雅淑（2021）通過對課堂語音文件的降噪、特征提取，判斷學生上課的情緒狀態(tài)：興奮、平靜、低落；宋志海（2018）設(shè)計了課堂教學行為識別系統(tǒng)，采用深度學習的語言文本分類技術(shù)，自動識別課堂語言行為（如教師的講授、指令、鼓勵、提問）。

3. 基于文本的課堂多模態(tài)數(shù)據(jù)采集

基于文本的課堂數(shù)據(jù)采集主要通過識別學習者在線交互文本、評論文本等內(nèi)容，掌握學習者的情緒感知狀態(tài)、認知水平。例如，馮翔等（2019）基于長短期記憶算法構(gòu)建學業(yè)情緒自動預測模型，將學習者學習過程中產(chǎn)生的反饋文本進行分類，識別與分析學習者的情緒感知狀態(tài)；田等（Tian et al.，2014）基于在線學習交互文本識別學習者的情緒，構(gòu)建了基于交互文本的情緒識別研究與應用框架。國內(nèi)不少中小學校還使用點陣筆、高掃儀、高拍儀等智能設(shè)備，智能化采集與分析學生的課前、課中、課后作業(yè)，通過識別學生的書寫筆跡與表達的文本內(nèi)容，了解學習者的作業(yè)態(tài)度、作業(yè)情緒（如煩躁、喜悅等）。

4. 基于感知設(shè)備的課堂多模態(tài)數(shù)據(jù)采集

已有研究表明，利用可穿戴設(shè)備（如智能眼鏡）和植入設(shè)備（如腦接口）自動采集、編碼與處理師生情緒和表情數(shù)據(jù)，可實現(xiàn)對情感和神經(jīng)腦網(wǎng)絡(luò)的識別（炕留一等，2022），表征學習者的學習情緒或?qū)W習狀態(tài)、預測教師的某些教學活動。例如，杰美特（Jamet，2014）通過眼動線索觀察學習者的課堂注意力分布，定位學習者感興趣的教學內(nèi)容或多媒體呈現(xiàn)形式，比較學習者使用不同教學媒體的行為差異，以科學、直觀的數(shù)據(jù)表征學習者的學習偏好。普里托等（Prieto et al.，2016）利用頭戴式便攜眼動儀、腦波儀、智能手機，自動采集教師的眼動、腦波、三維加速度、視頻錄像和語音等數(shù)據(jù)，使用機器學習算法預測教師發(fā)布的任務(wù)等教學活動。

（二）多模態(tài)課堂情緒感知與行為分析

多模態(tài)課堂情緒感知與行為分析主要借助深度學習、機器學習等算法分析師生的動作姿勢、生理、心理等數(shù)據(jù)，全面科學地反映學生的學習狀態(tài)、教師的教學行為和教學風格，對優(yōu)化教師的教學設(shè)計、提高課堂教學質(zhì)量具有重要意義。

1. 學習者情緒感知分析

情緒是學習者重要的內(nèi)隱學習特征。已有研究認為，學習者情緒感知分析就是利用相關(guān)算法提取學習者的生理、心理、行為等數(shù)據(jù)特征，并結(jié)合分析技術(shù)進行推測。例如，孫波等（2015）采用基于張量分解的算法識別學生的圖像表情，將學生情感狀態(tài)分為專注、自信、高興、困惑、驚訝、疲勞和厭煩七種。屈梁浩（2019）通過檢測學習者的睜眼、閉眼和打哈欠行為判斷學生的疲勞程度，并利用卷積神經(jīng)網(wǎng)絡(luò)模型（AlexNet）把實驗者的學習狀態(tài)分為疲勞和不疲勞兩種。還有研究者借助自動識別技術(shù)、機器學習算法等提取、分析學習者的課堂學習參與度和學習興趣等。例如，懷特希爾等（Whitehill et al.，2014）開發(fā)了自動化課堂學習參與度識別器，采用機器學習的方法自動采集學習者的面部表情，推斷學習者的學習參與度。韓麗等（2017）構(gòu)建了基于人臉檢測與表情分析的課堂教學評價系統(tǒng)，建立了認知行為與學生頭部姿態(tài)、面部表情之間的特征關(guān)系，分析學生的課堂參與度和活躍度。陳靚影等（2018）通過識別與融合學習者頭部姿態(tài)、面部表情、課堂互動等多模態(tài)信息，從認知注意力、學習情感與思維活躍度三個維度理解學生的學習興趣。

2. 課堂教學行為分析

隨著自然語言處理、語音識別、生理信息識別等技術(shù)的發(fā)展，多模態(tài)師生課堂教學行為數(shù)據(jù)不僅能夠反映學習者的認知發(fā)展、高階思維、學習習慣、學習持續(xù)力等特征（顧小清等，2021），還能真實反映教師教學情況。國內(nèi)諸多研究者利用智能算法、自動標注等方式識別、提取師生課堂教與學的行為特征，以反映課堂的真實狀態(tài)。例如，付等（Fu et al.，2019）使用人體姿態(tài)識別算法提取人體骨骼、面部和手指的關(guān)鍵點，通過基于卷積神經(jīng)網(wǎng)絡(luò)的分類器識別學習者聽課、疲勞、舉手、側(cè)身和讀寫五種課堂學習行為。任等（Ren et al.，2002）利用隱馬爾可夫模型，根據(jù)臉、胳臂、手、軀干三維運動特征識別教師從講臺上拿物件、放回物件、指向?qū)W生、指向屏幕、與學生交流、解釋、喝水七種動作。盧國慶等（2021）采用人工智能引擎自動標注課堂教學行為，發(fā)現(xiàn)教師的讀寫、講授、巡視行為較多，師生互動、生生互動較少。還有研究者從空間學角度，利用機器學習算法分析教師與學習者、學習小組的位置和距離對學習者學習狀態(tài)的影響。馬丁內(nèi)斯·馬爾多納多等（Martinez-Maldonado et al.，2020）利用定位傳感器捕獲教師的定位數(shù)據(jù)，論證課堂中師生之間的距離對學習者認知、情緒的影響。

（三）多模態(tài)課堂教學活動編排

少有研究關(guān)注多模態(tài)數(shù)據(jù)支持的課堂教學活動編排。已有研究認為智能活動編排主要是將課堂教學行為分析產(chǎn)生的數(shù)據(jù)輸入不同的活動，幫助教師關(guān)注學習者，理解課程，有效管理課堂教學。狄隆伯格（Dillenbourg，2015）利用眼球跟蹤、視頻、音頻和加速器提取學習者特征，建構(gòu)簡單又有教學意義的編排圖，支持教師教學反思。拉卡等（Raca et al.，2013）利用“教室地圖”定位學習者的實時數(shù)據(jù)，并采用計算機視覺方法，通過學生的姿勢和其他行為線索評估學生的注意力，增強教師活動編排的準確性?？梢?，基于多模態(tài)數(shù)據(jù)探究學習者背后的行為規(guī)律、行為習慣等，可輔助教師進行課堂教學管理，提高教學活動的效果。

綜上所述，多模態(tài)數(shù)據(jù)支持的課堂教學行為分析為學習者、教師、研究者提供了全方位、多角度的課堂教學實踐與分析方法，為智慧課堂的發(fā)展提供了新思路。然而，當前人工智能技術(shù)還處于弱人工智能階段，受數(shù)據(jù)采集設(shè)備、教師技術(shù)應用能力和數(shù)據(jù)分析能力等限制，多模態(tài)數(shù)據(jù)支持的課堂教學實踐尚未實現(xiàn)常態(tài)化、規(guī)?；瘧?。如何將智能感知設(shè)備引入課堂，基于視頻、語音、文本等方式采集數(shù)據(jù)，深入挖掘和分析師生的情緒和行為特征，改變課堂教學模式，尚需探究。這也是未來課堂教學實踐的關(guān)注點。

三、多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型

隨著人工智能、5G、虛擬現(xiàn)實、增強現(xiàn)實等技術(shù)的快速發(fā)展，新的教學形態(tài)不斷涌現(xiàn)，使得意義表征和信息交流更加多模態(tài)化（田陽等，2019）。本研究圍繞數(shù)據(jù)驅(qū)動的課堂教學行為構(gòu)成要素，設(shè)計了涉及多主體、多空間、多環(huán)節(jié)的多模態(tài)課堂教學行為分析模型。

（一）要素篩選：數(shù)據(jù)驅(qū)動的課堂教學行為分析

明確數(shù)據(jù)驅(qū)動的課堂教學行為構(gòu)成要素是構(gòu)建多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型的基礎(chǔ)。本研究以“課堂教學行為”為關(guān)鍵詞，通過檢索中國知網(wǎng)收錄的2015年以來CSSCI來源期刊發(fā)表的相關(guān)文獻發(fā)現(xiàn)，課堂教學行為要素主要針對教師和學生兩大主體。已有研究圍繞教師和學生在學、教、管、評等活動進行行為分析，不同教學情境中教學主體的教學行為構(gòu)成要素呈現(xiàn)多樣化特點。參考穆肅等（2015）對課堂教學中師生行為的分類，本研究的教師教學行為包括講授、演示、師生互動、操作設(shè)備、課堂監(jiān)管，學生學習行為包括聽講、提問、討論、練習、使用媒體（見表一）。

表一 課堂教學行為要素分類、描述與數(shù)據(jù)類型

（二）設(shè)計原則：基于多模態(tài)數(shù)據(jù)驅(qū)動的課堂教學生態(tài)解析

多模態(tài)課堂教學行為分析模型旨在對課堂教學活動的主體、教學情境、教學環(huán)節(jié)等進行數(shù)據(jù)化表征，揭示課堂教學規(guī)律或課堂教學的內(nèi)在發(fā)生機制。其一，結(jié)合人、機、物三元融合的發(fā)展趨勢，加強對智慧課堂“人”（學生和教師）、“機”（智能設(shè)備）、“物”（教學內(nèi)容和教學資源）三要素的關(guān)注（王一巖等，2021），明確教學主體的活動任務(wù)，探究教育主體、教育客體之間的交互機制；其二，強化分析課堂物理空間、信息空間和心理空間對教學行為的影響機理，探究不同情境對教學主體行為的影響，及時跟蹤教學主體的教與學狀態(tài)，促進教師深入理解教學過程和教學結(jié)果，及時改進教學策略；其三，基于課堂教學生態(tài)視角，將教學行為的相關(guān)因素進行歸類，建立各要素之間相輔相成的關(guān)系，構(gòu)建立體、多維的分析模型，實現(xiàn)課堂教學行為的精準分析與評價；其四，以教學活動情境為基礎(chǔ)，根據(jù)課堂教學行為主體與教學情境的交互，構(gòu)建師生認知發(fā)展、行為動作、情緒感知與教學內(nèi)容、教學設(shè)備等的聯(lián)系，實現(xiàn)“多主體、多空間、多環(huán)節(jié)”的相互促進與融通。

（三）模型建構(gòu)：多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型

智慧課堂是由多要素構(gòu)成且各要素之間相互聯(lián)系、相互作用的復雜系統(tǒng)—“師—機—生”等多主體在“物理—信息—心理”等多空間（劉三女牙等，2021），圍繞“教師的教—學生的學—師生互動”等環(huán)節(jié)，開展多模式的教育教學活動。本研究參考孫眾等（2021）提出的人工智能支持課堂教學分析框架，結(jié)合課堂師生行為要素，構(gòu)建“多主體、多空間、多環(huán)節(jié)”的多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型（見圖1）。

圖1 多模態(tài)數(shù)據(jù)支持的課堂教學行為分析模型

1. 教學主體

人工智能技術(shù)的引入改變了傳統(tǒng)課堂的教與學關(guān)系，智能技術(shù)逐漸作為“中介”參與課堂教學和學習交互的各個層面（許亞鋒等，2020）。傳統(tǒng)的“師生”二元關(guān)系逐漸被“人—機—物”多元互動的新型關(guān)系所取代，一定程度上增加了課堂教學的復雜性與科學性?！叭恕獧C—物”多主體協(xié)同是多模態(tài)課堂教學行為分析的核心要素，貫穿課堂教學的全過程。

1）人：教師和學生

人主要指教師和學生。教師是課堂教學活動的組織者、指導者，其課堂教學行為數(shù)據(jù)主要包括話語、神態(tài)、動作姿勢、操作設(shè)備、與學習者交互等。學生是課堂教學的主體，是知識的獲得者、創(chuàng)造者，其課堂教學行為數(shù)據(jù)主要包括外顯行為和內(nèi)隱行為。外顯行為表現(xiàn)為表情、話語、身體動作、人機交互、與線下教師的交互問答等，內(nèi)隱行為表現(xiàn)為心率、血壓、腦電波等。

2）機：人機交互設(shè)備

人機交互設(shè)備為教學活動的開展提供了智能工具支持，實現(xiàn)了教學主體在學習場景中交互行為的數(shù)據(jù)化表征。目前，教學常用的人機交互設(shè)備包括智能終端、智慧黑板、點陣筆、智能導學系統(tǒng)和學習平臺等。教師利用設(shè)備或智能教育產(chǎn)品開展教學時，會產(chǎn)生人與設(shè)備的交互行為數(shù)據(jù)，如設(shè)備使用次數(shù)、使用時長等。同樣，學習者借助智能教育產(chǎn)品使用個性化學習資源推送、智能診斷等服務(wù)，也會產(chǎn)生與設(shè)備交互的行為數(shù)據(jù)，如登錄時長、登錄頻率等?？梢?，智能設(shè)備在教學主體中扮演著重要角色，是支持師生行為發(fā)生的基礎(chǔ)。

3）物：教學內(nèi)容或工具

教學內(nèi)容作為課堂教學的關(guān)鍵因素，其內(nèi)容的形式、類型決定了教師教學活動的設(shè)計、教學方法的使用或教學媒體的選擇。眾所周知，課堂教學內(nèi)容主要涉及教學章節(jié)、知識點、教學重難點及作業(yè)測試等。教師要將教學內(nèi)容清晰、完整地呈現(xiàn)給學習者，需借助黑板、交互式電子白板、智能終端等工具。教師展示教學內(nèi)容或?qū)W習者學習教學內(nèi)容時會產(chǎn)生系列的教與學行為數(shù)據(jù)，如學習內(nèi)容瀏覽時長、點擊次數(shù)、資源類型的選擇等，這些數(shù)據(jù)可以反映學習者的學習偏好、學習風格等特征，為教師的教提供數(shù)據(jù)支持。

2. 課堂環(huán)境

智慧環(huán)境的創(chuàng)設(shè)是課堂教學有效開展的前提和基礎(chǔ)，以虛擬現(xiàn)實、生理感知等為代表的智能技術(shù)為課堂人機交互、教學決策提供了精準的服務(wù)與支持。技術(shù)賦能的智慧課堂從“以學生為本”的視角出發(fā)，突破固有的物理環(huán)境、信息環(huán)境限制，更關(guān)注學生認知發(fā)展的心理向度，強調(diào)課堂教學對學習主體心理因素的影響。本研究將課堂環(huán)境分為物理空間、信息空間和心理空間三部分，通過數(shù)據(jù)分析教學主體在三個空間中的行為表現(xiàn)，不斷提升行為分析的深度與智能化水平。

1）物理空間

物理空間作為多空間融合的基礎(chǔ)，其主要場所是傳統(tǒng)的教室。精準分析物理空間的教學行為數(shù)據(jù)，主要涉及學生的座位、教室的空間結(jié)構(gòu)、教師的移動距離等。學習者的座位與教師授課距離的遠近，影響學習者的學習狀態(tài)和學習效果。學習者近距離與教師面對面接觸，可快速通過教師的板書、語速、表情神態(tài)等明確教學內(nèi)容的重難點，及時有效地互動，碰撞激發(fā)思維的火花。只有有效的師生互動，才能提高課堂教學效果，對學生理解和掌握所學知識乃至建構(gòu)完整、系統(tǒng)的知識體系產(chǎn)生重要影響。

2）信息空間

信息空間作為物理空間的升級形式，指利用智能教學設(shè)備開展教與學活動，促進師生在信息空間的互動，包括學習者與學習資源的交互、教師與智能設(shè)備的交互和師生之間的互動交流。其中，學習者與設(shè)備和學習資源的交互，主要表現(xiàn)為學習者利用設(shè)備拍照上傳、文本輸入、指尖點擊等行為，智能系統(tǒng)根據(jù)行為數(shù)據(jù)智能診斷、評估學習者的學習意圖、學習偏好和學習風格等，個性化推薦適切的學習資源。師生之間的交互主要表現(xiàn)為教師利用智能終端對學生的測試結(jié)果或疑難問題給予針對性反饋和指導，了解班級學生知識點的掌握狀況，學生也能及時發(fā)現(xiàn)自身存在的問題并查漏補缺。

3）心理空間

心理空間作為物理空間和信息空間的補充，重點關(guān)注學習者的心理、認知、情感狀態(tài)，強調(diào)“人”的發(fā)展。本研究認為心理空間就是利用智能感知設(shè)備識別和采集物理空間、信息空間中“人—機—物”之間互動對話、神態(tài)表情、肢體動作等數(shù)據(jù)，剖析學習者內(nèi)在的學習機理、情緒感知狀態(tài)，是物理空間和信息空間中課堂教學行為分析的“升華”。心理空間對學習者情感狀態(tài)的全面、立體刻畫，有助于揭示學習者深層次的情感發(fā)生機制，以提供完善的學習情感支持服務(wù)。

3. 教學環(huán)節(jié)

多模態(tài)數(shù)據(jù)支持的課堂教學行為分析，為教師主動適應新技術(shù)、積極有效開展教學提供了可能。智慧課堂構(gòu)建了數(shù)據(jù)驅(qū)動的“教師教學—學生學習—師生互動”多環(huán)節(jié)融會貫通的教學新范式，打破了傳統(tǒng)教學模塊化的“枷鎖”，實現(xiàn)了教與學方式的重塑。

1）教師教學

智能環(huán)境下的教師教學包括教學情境的創(chuàng)設(shè)、教學活動的設(shè)計和教學內(nèi)容的講授等。教師借助智能系統(tǒng)（如教學平臺、智能軟件等）、教學工具（如黑板、教具、電子白板等）創(chuàng)設(shè)真實的學習情境，選擇合適的教學內(nèi)容或教學資源，開展相應的教學活動（如項目式學習、線上線下混合式教學等），培養(yǎng)學生的能力（如協(xié)作實踐能力、問題解決能力等）。

2）學生學習

課堂教學的學生學習行為主要包括回答教師問題、認真聽講、思考、做測試題及與同伴討論交流。通過智能感知設(shè)備抓取學習者的面部表情、眼神、姿勢動作等特征和回答問題的語音拾取，教師可以了解學習者能否根據(jù)講授內(nèi)容及時、主動地思考，能否在討論交流中發(fā)揮優(yōu)勢。同時，智能應用系統(tǒng)中測試題目的作答數(shù)據(jù)，可用于表征學習者的學習風格和知識點的掌握狀況，為優(yōu)化教師的教學策略提供建議。

3）師生交互

師生交互是課堂教學的必要環(huán)節(jié)，是調(diào)動課堂氛圍、激發(fā)學習者學習積極性的“調(diào)節(jié)劑”。物理空間、信息空間中學習者的學習表現(xiàn)（回答問題情況、討論交流情況）、學習狀態(tài)（面部表情、眼神）等多維數(shù)據(jù)，可幫助教師及時掌握班級學生的整體認知水平與認知風格。同時，互動過程中，教師也能夠根據(jù)學習者的表現(xiàn)，主動了解自身在教學風格、教學交互設(shè)計、教學活動組織等方面存在的問題，以此改進教學設(shè)計，提升教學效果。

四、多模態(tài)數(shù)據(jù)支持的教學行為分析實踐框架

不少研究者探討了多模態(tài)支持的學習分析過程，提出了相關(guān)的模型范式以規(guī)范其操作流程。尚卡爾等（Shankar et al.，2019）利用數(shù)據(jù)價值鏈（data value chain，DVC）概念得出多模態(tài)學習數(shù)據(jù)過程模型，包括數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合和數(shù)據(jù)利用；牟智佳（2020）認為多模態(tài)學習分析包括數(shù)據(jù)收集、數(shù)據(jù)存儲、數(shù)據(jù)標注、數(shù)據(jù)處理和數(shù)據(jù)開采；汪維富（2021）認為多模態(tài)學習分析包括數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合、數(shù)據(jù)利用等“三大步七小步”處理流程。綜上來看，多模態(tài)學習分析流程一般包括數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)融合和數(shù)據(jù)應用。為了清晰地描述課堂教學行為的分析過程，本研究以多模態(tài)學習過程數(shù)據(jù)為指導，以課堂教學行為分析模型為核心，在數(shù)據(jù)驅(qū)動的教學環(huán)境下，從課堂教學、數(shù)據(jù)采集、智能分析和應用服務(wù)四方面構(gòu)建了多模態(tài)數(shù)據(jù)支持的課堂教學行為分析實踐框架（見圖2），以期為具體的課堂教學實踐提供支持。

圖2 多模態(tài)數(shù)據(jù)支持的課堂教學行為分析實踐框架

（一）課堂教學層：基于教學行為分類的情境要素設(shè)計

以學生為中心的課堂教學不僅需要教師創(chuàng)設(shè)合適的教學情境，選擇適切的教學內(nèi)容、教學設(shè)備以滿足多樣化的教學活動需求，還需根據(jù)學習者的學習狀態(tài)及時調(diào)整教學計劃，增強師生、生生之間的互動交流。依據(jù)教學行為的要素分類，本研究的教學情境要素包括教學主體、教學內(nèi)容、教學資源、教學環(huán)境、教學交互等：1）教學內(nèi)容。依據(jù)課程標準和教學目標的要求，教師結(jié)合生活實際選擇教學內(nèi)容，正確把握知識難度，并以適宜的形式呈現(xiàn)，實現(xiàn)育人目標。2）教學設(shè)備。作為輔助課堂教學的工具，其在教師演示、講授等教學行為中發(fā)揮了重要作用。例如，教師通過一邊講授教學內(nèi)容一邊演示虛擬智能設(shè)備（如AR、VR），營造輕松逼真的學習場景，提高學生課堂活動的參與度。3）教學活動。這是課堂師生關(guān)系存在的重要紐帶，是一切教學行為發(fā)生的基礎(chǔ)，即通過借助合適的教學工具和教學資源，設(shè)計符合課程要求的教學活動，在活動過程中滲透教學內(nèi)容、教學方法、教學媒體等要素，從而實現(xiàn)“多主體、多空間、多任務(wù)”之間行為的交互分解，幫助學習者掌握知識的同時，促進學生核心素養(yǎng)（如小組協(xié)作交流能力、實踐探究能力等）的培養(yǎng)，最大程度地滿足學習者的學習需要。

（二）數(shù)據(jù)采集層：基于多模態(tài)數(shù)據(jù)的課堂教學行為表征

多模態(tài)課堂教學行為分析是對教師行為、學生行為、師生情感、師生交互等方面的綜合表征，需要大量內(nèi)隱外顯的、多維數(shù)據(jù)指標才能將其全面、立體地呈現(xiàn)。隨著智能技術(shù)的廣泛應用，數(shù)據(jù)采集方式轉(zhuǎn)變?yōu)橹悄芑?、伴隨式，本研究基于多維課堂教學行為要素的分類，利用智能傳感器、視頻、音頻、智能設(shè)備等方式對教學過程各要素開展“多主體、多環(huán)境、多環(huán)節(jié)”的全方位數(shù)據(jù)采集。1）學習者和教師層面：利用攝像頭、眼動儀、智能手環(huán)、智能學習設(shè)備等采集學習者、教師的外顯行為和內(nèi)隱信息數(shù)據(jù)（如師生情緒感知數(shù)據(jù)、行為數(shù)據(jù)等）。2）信息空間：利用知識圖譜技術(shù)標記學習內(nèi)容，跟蹤記錄學習者的學習過程數(shù)據(jù)，如人機交互數(shù)據(jù)，隨堂測試數(shù)據(jù)等，實現(xiàn)個性化資源的精準推送。3）師生互動：通過麥克風、拾音器、攝像頭獲取學習者與教師或與同伴之間交流的語音數(shù)據(jù)（如教師講授、提示、指導等語音，學習者的回答、交流等語音）、動作姿勢數(shù)據(jù)等。利用人工智能技術(shù)實現(xiàn)師生行為、話語、表情等多維數(shù)據(jù)的挖掘與分析，并將結(jié)果以可視化的方式呈現(xiàn)，這在一定程度上彌補了傳統(tǒng)數(shù)據(jù)采集分析的弊端，提高了課堂教學行為分析的全面性與真實性。

（三）智能分析層：基于多模態(tài)數(shù)據(jù)的教育問題研究

智能分析主要通過關(guān)聯(lián)多模態(tài)數(shù)據(jù)支持的課堂教學情境特征與師生特征，使教學活動的主體與教學情境匹配，構(gòu)建基于多模態(tài)的師生模型，探究教學內(nèi)容、資源、設(shè)備、環(huán)境等要素對學習者和教師的認知結(jié)構(gòu)、情緒發(fā)展和自我反思的影響，實現(xiàn)對課堂教學行為的深度剖析。

1. 基于多模態(tài)的師生、教學情境數(shù)據(jù)的特征挖掘

本研究利用多模態(tài)數(shù)據(jù)融合分析方法，將采集的多維數(shù)據(jù)進行融合，從中提取與學習者特征、教師教學特征相關(guān)的關(guān)鍵指標，加以精準刻畫。1）學習者特征挖掘指通過多模態(tài)數(shù)據(jù)融合的方法，融合分析學習者的行為數(shù)據(jù)、話語數(shù)據(jù)、文本數(shù)據(jù)、生理數(shù)據(jù)等，形成學習者在“認知、行為、情感、交互”方面的可計算的外在表征模式，深層次地探究影響學習者認知發(fā)展、情緒感知的內(nèi)在機理。2）教師特征挖掘指利用多模態(tài)數(shù)據(jù)融合的方法融合分析教師的行為數(shù)據(jù)、語言數(shù)據(jù)、生理數(shù)據(jù)，實現(xiàn)對教師教學風格、教學行為的精準刻畫。3）情境要素精準監(jiān)測指利用多模態(tài)數(shù)據(jù)融合的方法對“人—機—物”多主體、“物理空間—信息空間—心理空間”多空間和多任務(wù)進行精準分析，提取教學內(nèi)容、教學資源、教學設(shè)備、教學交互和多維環(huán)境等方面的關(guān)鍵特征，實現(xiàn)對課堂教學情境的精準刻畫。

2. 基于課堂教學情境的師生建模

基于課堂教學情境要素的師生建模的關(guān)鍵是探討教學情境的創(chuàng)設(shè)對學習者、教師在認知、情感等的影響，分析教學情境要素與學習者模型、教師模型之間的映射關(guān)系，探究教學情境（如教學內(nèi)容的設(shè)計、教室空間的結(jié)構(gòu)、學生座位的分布、人機的交互、教師的位置、師生距離等）對學習者學習興趣、學習狀態(tài)、學習風格等的影響，以此建構(gòu)更加完善的學習者模型，為個性化學習服務(wù)提供支持。同時，探究教學內(nèi)容、師生交互、物理空間等要素對教師教學行為、教學效果的影響，挖掘教師的教學風格、教學模式、教學活動設(shè)計等對學習者學習動機、認知發(fā)展等的影響，完善教師模型。

（四）應用服務(wù)層：基于多模態(tài)數(shù)據(jù)的智能教學服務(wù)

多模態(tài)課堂教學行為分析的應用服務(wù)階段主要探討課堂教學的分析數(shù)據(jù)如何真正應用到教、學、管等環(huán)節(jié)中，實現(xiàn)課堂教學數(shù)據(jù)價值的最優(yōu)化。

1. 基于多模態(tài)課堂教學行為數(shù)據(jù)的個性化學習服務(wù)

多模態(tài)課堂教學行為分析研究通過采集和分析學習者多模態(tài)數(shù)據(jù)，可實現(xiàn)對其認知、行為、情緒等的精準評價，促進學習者與教育情境要素之間的聯(lián)結(jié)貫通，明確學習發(fā)生的機制，從而調(diào)整教學情境的相關(guān)要素，改變學習路徑，為學習者提供“定制化”學習支持。

2. 基于多模態(tài)課堂教學行為數(shù)據(jù)的高效教學服務(wù)

通過采集分析學習者學習全過程、伴隨式數(shù)據(jù)，教師可充分掌握學生的學習特征、認知水平，進而調(diào)整教學策略，改變教學模式，提高課堂教學效果。同時，多模態(tài)課堂教學行為數(shù)據(jù)還包含基于計算結(jié)果自動生成的課堂記錄和教師成長曲線，可及時跟蹤教師教學能力變化（劉清堂等，2019），為教師的自我反思、提升專業(yè)教學水平提供依據(jù)。

3. 基于多模態(tài)課堂教學行為數(shù)據(jù)的課堂管理服務(wù)

由智能設(shè)備采集“多空間、多主體、多環(huán)節(jié)”中的課堂教學行為數(shù)據(jù)，建立統(tǒng)一的課堂活動編排模型，一定程度上能夠滿足數(shù)據(jù)驅(qū)動的精準教學活動的結(jié)構(gòu)化需求，推進課堂教學的高效管理。同時，數(shù)據(jù)驅(qū)動的多元認知追蹤與歸因分析技術(shù)，可對學習者認知、思維、能力、情感等進行全方位測評，幫助教師精準把握學生的學情和學習狀態(tài)，給予針對性的“施教”，提高課堂教學管理服務(wù)的質(zhì)量。

總之，人工智能技術(shù)給課堂教學帶來了新的理念、新的評價方式，包括以數(shù)據(jù)化的形式呈現(xiàn)那些難以表征、視覺難以觀察到的現(xiàn)象，可推動教師的教學決策和課堂管理走向科學、有效。本研究以多模態(tài)課堂教學行為分析的研究現(xiàn)狀為基礎(chǔ)，明確了基于多模態(tài)課堂教學行為分析的關(guān)鍵要素與設(shè)計原則，設(shè)計了課堂教學行為分析的模型，提出了課堂教學行為分析的實踐框架，為后續(xù)課堂教學行為分析的實踐研究提供理論依據(jù)和參考。