陸燕 楊秋芬

摘要：課堂教學(xué)行為是影響課堂教學(xué)效果的重要因素，然而現(xiàn)有研究在分析課堂教學(xué)行為方面存在一些問題，例如數(shù)據(jù)類型單一、編碼復(fù)雜以及難以發(fā)現(xiàn)課堂運(yùn)轉(zhuǎn)規(guī)律等。人工智能技術(shù)為課堂教學(xué)行為數(shù)據(jù)的大規(guī)模采集和處理提供了全新的機(jī)會。通過運(yùn)用人工智能技術(shù)對某省的10所學(xué)校917個(gè)智慧課堂教學(xué)視頻進(jìn)行了分析，并揭示了課堂教學(xué)行為的一些特征。研究結(jié)果表明：課堂教學(xué)行為的頻率和類型存在較大差異，不同教學(xué)行為之間存在相關(guān)性，同時(shí)教師行為和學(xué)生行為也不完全獨(dú)立。這些研究結(jié)果為人工智能時(shí)代的課堂教學(xué)規(guī)律挖掘、課堂教學(xué)改進(jìn)以及教研活動的開展提供了重要的參考依據(jù)。

關(guān)鍵詞：多模態(tài)數(shù)據(jù)??課堂教學(xué)行為??人工智能技術(shù)??智慧課堂

中圖分類號：G434

Research?on?the?Analysis?of?Classroom?Teaching?Behaviors?Based?on?Multimodal?Data?Fusion

LU?Yan??YANG?Qiufen

（Hunan?Open?University，?Changsha，?Hunan?Province，?410004?China）

Abstract：?The?classroom?teaching?behavior?is?an?important?factor?affecting?classroom?teaching?effects.?However，?existing?research?has?some?problems?in?the?analysis?of?classroom?teaching?behaviors，?such?as?the?single?data?type，?complex?coding?and?the?difficulty?in?discovering?classroom?operation?rules.?Artificial?intelligence?technology?provides?a?new?opportunity?for?the?large-scale?collection?and?processing?of?classroom?teaching?behavior?data.?In?this?study，?artificial?intelligence?technology?is?used?to?analyze?917?smart?classroom?teaching?videos?from?10?schools?in?a?certain?province，?revealing?some?characteristics?of?classroom?teaching?behaviors.?Research?results?show?that?there?are?great?differences?in?the?frequency?and?types?of?classroom?teaching?behaviors，?there?is?correlation?among?different?teaching?behaviors，?and?that?teacher?behaviors?and?student?behaviors?are?not?completely?independent.?These?research?results?provide?important?reference?for?the?mining?of?classroom?teaching?rules，?the?improvement?of?classroom?teaching，?and?the?development?of?teaching?and?research?activities?in?the?era?of?artificial?intelligence.

Key?Words：?Multimodal?data;?Classroom?teaching?behavior;?Artificial?intelligence?technology;?Smart?classroom

課堂是教育教學(xué)的主戰(zhàn)場、人才培養(yǎng)的主陣地，課堂教學(xué)行為是影響課堂教學(xué)效果的重要因素。隨著人工智能技術(shù)、可穿戴傳感設(shè)備的發(fā)展，課堂教學(xué)多模態(tài)數(shù)據(jù)的獲取和分析成為可能，加速了課堂教學(xué)從數(shù)字化向智能化的轉(zhuǎn)型升級。目前，通過深入的數(shù)據(jù)挖掘和課堂教學(xué)行為分析，可以解決課堂教學(xué)行為的復(fù)雜性并發(fā)現(xiàn)課堂的運(yùn)作方式。為教育教學(xué)部門及相關(guān)人員提供了技術(shù)支持。

目前，國內(nèi)外許多研究都集中在利用大數(shù)據(jù)技術(shù)分析課堂教學(xué)行為，挖掘教師和學(xué)生的教學(xué)行為特征，這是改進(jìn)教學(xué)過程、優(yōu)化教學(xué)評價(jià)的重要依據(jù)。然而，目前的研究在數(shù)據(jù)類型分析、編碼復(fù)雜度以及課堂規(guī)則的進(jìn)一步研究等方面還存在差距。智能時(shí)代，智慧課堂為多模態(tài)數(shù)據(jù)采集和教學(xué)行為分析提供了機(jī)會。那么如何利用智能技術(shù)來收集課堂上的多模態(tài)教學(xué)行為數(shù)據(jù)呢？用什么方法從多模態(tài)數(shù)據(jù)特征中挖掘課堂教學(xué)的特征以及這些特征之間的聯(lián)系？這已成為分析智慧課堂教學(xué)行為的難點(diǎn)、教育研究的重點(diǎn)和解決智慧教學(xué)關(guān)鍵問題的核心力量。

1文獻(xiàn)綜述

1.1多模態(tài)教學(xué)行為數(shù)據(jù)采集分析方法

Tan，?S.等人[1]利用360度視頻技術(shù)采集課堂活動的多模態(tài)數(shù)據(jù)，如師生對話、動作、表情、姿勢、設(shè)備使用等，支持教師精準(zhǔn)教學(xué)；陳雅淑[2]通過對課堂語音文件的降噪、特征提取，判斷學(xué)生上課的情緒狀態(tài)：振奮、淡然、無聊；宋宇等人[3]提出了基于音視頻轉(zhuǎn)錄文本的課堂教學(xué)自動標(biāo)注方法，針對以思維培養(yǎng)為導(dǎo)向的課堂教學(xué)評價(jià)體系，采用卷積神經(jīng)網(wǎng)絡(luò)與雙向長短期相結(jié)合的混合神經(jīng)網(wǎng)絡(luò)技術(shù)記憶網(wǎng)絡(luò)可以實(shí)現(xiàn)大規(guī)模課堂數(shù)據(jù)的快速準(zhǔn)確標(biāo)注，可以有效提煉課堂教學(xué)中的思維特征；炕留一等人[4]利用可穿戴設(shè)備和植入設(shè)備自動采集、編碼和處理教師和學(xué)生的情緒和表情數(shù)據(jù)，可以識別情緒和神經(jīng)腦網(wǎng)絡(luò)，表征學(xué)生的情緒和表情。學(xué)習(xí)情緒，預(yù)測教師的某些教學(xué)活動。

1.2多模態(tài)課堂情緒感知與行為分析

張樂樂等人[5]利用深度學(xué)習(xí)算法，分析學(xué)生的行為、生理、心理等數(shù)據(jù)，全面、科學(xué)地反映學(xué)生的學(xué)習(xí)情況、教師的教學(xué)行為和教學(xué)風(fēng)格，幫助教師優(yōu)化教學(xué)過程、從而提高教學(xué)質(zhì)量。顧小清等人[6]認(rèn)為，多模態(tài)課堂教學(xué)行為數(shù)據(jù)不僅能夠反映學(xué)習(xí)者的基礎(chǔ)認(rèn)知、深度思考、學(xué)習(xí)持續(xù)力等特征，還可以如實(shí)記錄教師教學(xué)情況。盧國慶等人[7]根據(jù)智慧課堂數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法，識別和提取課堂教與學(xué)中師生的行為特征，并利用人工智能引擎自動標(biāo)記課堂教學(xué)行為，發(fā)現(xiàn)教師的講、演、評等較多，師生、生生互動不足。

1.3多模態(tài)課堂教學(xué)行為分析的結(jié)果應(yīng)用

童慧等人[8]研究表明，多模態(tài)分析方法能夠更有效、更全面地呈現(xiàn)智慧課堂教學(xué)互動場景；馬曉鈺等人[9]開發(fā)的系統(tǒng)能支持教學(xué)視頻處理、人體骨骼檢測、教師行為識別、結(jié)果可視化展示等核心功能，能夠?qū)崿F(xiàn)對課堂教學(xué)視頻的實(shí)時(shí)分析，為教學(xué)評價(jià)智能化提供有效手段；?Dillenbourg?P?[10]使用眼動追蹤、視頻、音頻和加速器來提取學(xué)習(xí)者特征，并構(gòu)建簡單且具有教學(xué)意義的布局圖，以支持教師的教學(xué)反思。

綜上所述，多模態(tài)數(shù)據(jù)支持的課堂教學(xué)行為分析能為教研人員提供全面方位的課堂教學(xué)實(shí)踐和分析方法。然而，受限于數(shù)據(jù)采集設(shè)備、教師信息技術(shù)應(yīng)用能力、數(shù)據(jù)分析能力，多模態(tài)數(shù)據(jù)支持的課堂教學(xué)實(shí)踐尚未實(shí)現(xiàn)常態(tài)化和規(guī)模化應(yīng)用。

2?研究內(nèi)容

2.1構(gòu)建多模態(tài)教學(xué)行為分析模型

基于深度混合判別受限玻爾茲曼機(jī)（Hybrid?Deep?Restricted?Boltzmann?Machine，HDRBM）神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)是降維、分類、回歸、協(xié)同過濾、特征學(xué)習(xí)和主題建模以及當(dāng)前的深度學(xué)習(xí)特征提取、精度高、速度快。本研究選擇HDRBM神經(jīng)網(wǎng)絡(luò)作為多模態(tài)數(shù)據(jù)處理的深度學(xué)習(xí)框架。在智慧教學(xué)環(huán)境中，我們利用HDRBM神經(jīng)網(wǎng)絡(luò)處理多模態(tài)課堂教學(xué)行為數(shù)據(jù)，通過建立多模態(tài)教學(xué)行為分析模型來分析教師和學(xué)生的行為特征（如圖1所示）。

2.1.1多模態(tài)數(shù)據(jù)采集

這項(xiàng)研究以教育心理學(xué)和行為科學(xué)為基礎(chǔ)，通過多種渠道收集信息，例如來自智慧教室的視頻信息和各種傳感器數(shù)據(jù)。數(shù)據(jù)包括師生互動行為數(shù)據(jù)、談話交流數(shù)據(jù)、課堂測試數(shù)據(jù)、師生情緒觀察數(shù)據(jù)、人機(jī)交互數(shù)據(jù)等。通過采集更接近實(shí)際教學(xué)情況的教學(xué)行為數(shù)據(jù)，結(jié)合可以最大化分離在不同時(shí)間和空間維度的教學(xué)行為數(shù)據(jù)的關(guān)聯(lián)性。

2.1.2教學(xué)行為分析過程

該項(xiàng)研究使用深度學(xué)習(xí)算法基于收集的多模態(tài)數(shù)據(jù)來分析課堂教學(xué)行為，包括淺層特征分析和隱式特征分析。首先，對多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理，并使用BP神經(jīng)網(wǎng)絡(luò)和LSTM等深度學(xué)習(xí)算法來提取淺層特征；其次，從多維多模態(tài)數(shù)據(jù)特征中挖掘師生隱藏的心理情感特征，分析行為模式之間的相關(guān)性。

2.2多模態(tài)教學(xué)行為分析的算法設(shè)計(jì)與實(shí)現(xiàn)

2.2.1模態(tài)數(shù)據(jù)的獲取與歸一化

預(yù)處理后的數(shù)據(jù)通過各自的深度學(xué)習(xí)網(wǎng)絡(luò)映射到同一個(gè)融合層中，對不同模態(tài)數(shù)據(jù)的淺層特征進(jìn)行歸一化，然后采用特征堆疊方式融合各個(gè)模態(tài)的局部特征，以得到更魯棒和有區(qū)分性的全局淺層特征表達(dá)。

將預(yù)處理后的數(shù)據(jù)通過相應(yīng)的深度學(xué)習(xí)網(wǎng)絡(luò)映射到同一融合層，對不同模態(tài)數(shù)據(jù)的淺層特征進(jìn)行歸一化，然后利用特征疊加的方式融合各模態(tài)的局部特征，獲得更高的魯棒性和判別性全局淺層特征。

2.2.2基于HDRBM的教學(xué)行為特征

本研究采用生成式約束玻爾茲曼機(jī)和判別式約束玻爾茲曼機(jī)相結(jié)合的方式，創(chuàng)建混合判別式約束玻爾茲曼機(jī)損失函數(shù)。

通過結(jié)合約束玻爾茲曼機(jī)和判別約束玻爾茲曼機(jī)的損失函數(shù)，形成混合判別約束玻爾茲曼機(jī)的損失函數(shù)，并制定相應(yīng)的多模態(tài)神經(jīng)網(wǎng)絡(luò)目標(biāo)函數(shù)和優(yōu)化路徑以實(shí)現(xiàn)高維特征提取。

2.3多模態(tài)教學(xué)行為分析與結(jié)果應(yīng)用

基于深度學(xué)習(xí)的多模態(tài)教學(xué)行為分析可以保證分析結(jié)果的高精度。當(dāng)執(zhí)行需要解釋的工作（如相關(guān)性分析）時(shí)，需要額外的規(guī)劃。這樣可以強(qiáng)化教學(xué)行為與特征之間的因果關(guān)系，了解不同行為對特征的貢獻(xiàn)，提高結(jié)果的準(zhǔn)確性和師生滿意度。為了進(jìn)行影響因素分析，本研究進(jìn)行了一系列實(shí)驗(yàn)，從收集到的多模態(tài)數(shù)據(jù)中分析影響教學(xué)效果的因素，得出教學(xué)行為對教學(xué)效果的影響程度。最終目標(biāo)是確定影響教學(xué)效果的關(guān)鍵要素。

3數(shù)據(jù)分析與結(jié)果

3.1研究對象與樣本

本研究采用了10所高職院校的917份普通智慧課堂教學(xué)視頻作為樣本。每個(gè)課例大約為40分鐘，教學(xué)場景配備了智慧課堂教學(xué)系統(tǒng)和智能設(shè)備如電子白板和學(xué)生平板。同時(shí)，教師和學(xué)生在數(shù)字化信息方面有一定的能力，這樣符合了多模態(tài)數(shù)據(jù)采集的條件。

3.2智慧課堂教學(xué)行為分類與編碼

為了準(zhǔn)確收集課堂行為數(shù)據(jù)，本研究采用HDRBM教學(xué)行為分析模型。通過提取教學(xué)視頻樣本中的圖像、音頻/文本特征，創(chuàng)建行為特征矩陣，并利用深度神經(jīng)網(wǎng)絡(luò)教學(xué)行為預(yù)測模型計(jì)算10個(gè)課堂行為的時(shí)間序列矩陣。這10個(gè)課堂行為以3?s的間隔進(jìn)行編碼和采樣，以獲得行為序列樣本。每類抽樣結(jié)果約為600～700個(gè)，總共獲得了6?100多個(gè)有效行為序列樣本。詳細(xì)信息如表1所示。

3.3課堂教學(xué)行為關(guān)聯(lián)分析

本研究通過Pearson相關(guān)性和單樣本t檢驗(yàn)進(jìn)行分析，結(jié)果如表2所示。從均值的描述性統(tǒng)計(jì)結(jié)果來看，課堂教學(xué)行為出現(xiàn)頻率從高到低依次為講授、聽講、演示、練習(xí)、師生互動、討論、回答、提問、表揚(yáng)?？傮w來看，在規(guī)范化、智能化的課堂教學(xué)過程中，批評和表揚(yáng)的情況相對較少。根據(jù)標(biāo)準(zhǔn)差排名，演示、應(yīng)答和表揚(yáng)是波動較大的三類教學(xué)行為，而師生互動、傾聽和討論是波動較小的三類教學(xué)行為。

相關(guān)性統(tǒng)計(jì)結(jié)果顯示，課堂上大多數(shù)教學(xué)行為之間存在關(guān)聯(lián)性。特別是教師演示、提問和學(xué)生練習(xí)呈現(xiàn)出顯著的負(fù)相關(guān)。而且，學(xué)生的練習(xí)行為與師生互動之間具有最高的相關(guān)性，說明師生互動可能會促進(jìn)學(xué)生的練習(xí)行為。因此，教師可以通過設(shè)計(jì)課堂教學(xué)活動來促進(jìn)師生互動，從而提高學(xué)生練習(xí)行為的頻率。

3.4課堂行為的主成分分析

本研究采用主成分分析法對10種課堂教學(xué)行為數(shù)據(jù)進(jìn)行處理，提取了3個(gè)主成分，代表了課堂行為特征的降維，這些主成分的累積解釋方差達(dá)到總方差的90.31%。

研究結(jié)果表明：與主成分1相關(guān)性較高的行為是學(xué)生的討論、練習(xí)以及師生互動；與主成分2相關(guān)性較高的行為是表揚(yáng)、演示和聽講；與主成分?3?相關(guān)性較高的行為包括提問、聽講和師生互動。這說明教學(xué)是一個(gè)有機(jī)系統(tǒng)，教師行為與學(xué)生行為相互聯(lián)系，有時(shí)形成教講授與演示、生生互動與師生互動等成對的教學(xué)行為。同時(shí)，教師行為和學(xué)生行為也具有一定程度的獨(dú)立性，如學(xué)生的應(yīng)答、討論等，具體結(jié)果可見表3。

4結(jié)論

研究結(jié)果表明：教學(xué)行為之間存在一定的相關(guān)性。大多數(shù)課堂教學(xué)行為之間存在負(fù)相關(guān)，但講授、練習(xí)和討論之間存在負(fù)相關(guān)，講授對學(xué)生的練習(xí)和討論行為有一定的抑制作用。練習(xí)與討論、應(yīng)答行為之間也存在負(fù)相關(guān)關(guān)系。教師行為與學(xué)生行為相互影響和促進(jìn)，如果簡單地將教學(xué)行為分為教師行為和學(xué)生行為，就會忽視兩者之間的相關(guān)性和復(fù)雜性。

然而，這項(xiàng)研究也有一些局限性。在技術(shù)上，教學(xué)行為分析模型的識別精準(zhǔn)率有待提高。在多模態(tài)數(shù)據(jù)采集及處理方面，本研究主要分析學(xué)生的課堂行為類型，并未涉及師生的認(rèn)知、情感或其他內(nèi)部心理狀態(tài)。因此，未來的研究可以考慮認(rèn)知、情感和心理數(shù)據(jù)，以對課堂教學(xué)行為提供更全面的分析。此外，人工智能應(yīng)用于教育時(shí)，還涉及大量敏感數(shù)據(jù)，需要關(guān)注隱私保護(hù)和數(shù)據(jù)安全，以及倫理、利益和安全問題。

參考文獻(xiàn)

[1] TAN?S?，WIEBRANDS?M?，O?HALLORAN?K?，?et?al.?Analysing?student?engagement?with?360-degree?videos?through?multimodal?data?analytics?and?user?annotations[J].Technology，Pedagogy?and?Education.?2020，29（5）：593-612.

[2] 陳雅淑.基于語音識別的多維課堂交互分析[D].武漢：華中師范大學(xué)，2021.

[3] 宋宇，許昌良，朱佳，等.面向思維培養(yǎng)：基于精準(zhǔn)標(biāo)注技術(shù)的智能化課堂教學(xué)分析及應(yīng)用[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2023，41（8）：79-89.

[4] 炕留一，葉海智，張瑾，等.基于多維數(shù)據(jù)的課堂教學(xué)行為評價(jià)研究[J].現(xiàn)代教育技術(shù)，2022，32（4）：68-77.

[5] 張樂樂，顧小清.多模態(tài)數(shù)據(jù)支持的課堂教學(xué)行為分析模型與實(shí)踐框架[J].開放教育研究，2022，28（6）：101-

110.

[6] 顧小清，王超.?打開技術(shù)創(chuàng)新課堂教學(xué)的新窗：刻畫AIoT課堂應(yīng)用場景[J].現(xiàn)代遠(yuǎn)程教育研究，2021，33（2）：?3-12.

[7] 盧國慶，謝魁，劉清堂，等.基于人工智能引擎自動標(biāo)注的課堂教學(xué)行為分析[J].開放教育研究，2021，27（6）：?97-107.

[8] 童慧，楊彥軍.基于多模態(tài)數(shù)據(jù)的智慧課堂教學(xué)互動研究[J].電化教育研究，2022，43（3）：60-68.

[9] 馬曉鈺.面向智慧課堂的教師教學(xué)行為識別研究與應(yīng)用[D].昆明：云南師范大學(xué)，?2023.

[10]? DILLENBOURG?P.Orchestration?Graphs：Modeling?Scalable?education[M].?Lausanne：EPFL?Press，2015.