胡婉青 李新 黃睿妍 李艷燕

基金項(xiàng)目：2022年度北京市自然科學(xué)基金“面向數(shù)字社會(huì)發(fā)展的智慧教育支持服務(wù)關(guān)鍵技術(shù)研究”（項(xiàng)目編號(hào)：9222019）；2023年度國(guó)家自然科學(xué)基金面上項(xiàng)目“融合多模態(tài)學(xué)習(xí)分析的協(xié)作過程監(jiān)測(cè)和智能反饋研究”（項(xiàng)目編號(hào)：62277006）

[摘? ?要] 協(xié)作學(xué)習(xí)投入的自動(dòng)分析是動(dòng)態(tài)追蹤協(xié)作學(xué)習(xí)過程、提升協(xié)作學(xué)習(xí)效果的重要手段?，F(xiàn)有研究大多使用淺層機(jī)器學(xué)習(xí)分析個(gè)體學(xué)習(xí)投入，較少關(guān)注協(xié)作學(xué)習(xí)投入，并且存在準(zhǔn)確度受限且泛化能力較差等問題。為了解決相應(yīng)問題，首先，研究提出以BERT-BiLSTM深度學(xué)習(xí)模型為核心的協(xié)作學(xué)習(xí)投入自動(dòng)分析方法，包括收集數(shù)據(jù)、建立數(shù)據(jù)庫、建立訓(xùn)練集、構(gòu)建深度學(xué)習(xí)模型、檢驗(yàn)?zāi)Ｐ托Ч⑴孔R(shí)別數(shù)據(jù)以及統(tǒng)計(jì)分析等流程。其次，研究應(yīng)用該方法分析了某高校數(shù)學(xué)建?；顒?dòng)中20個(gè)小組的協(xié)作學(xué)習(xí)投入，驗(yàn)證了方法的有效性，并進(jìn)一步探索了高低成就小組協(xié)作學(xué)習(xí)投入的差異以及動(dòng)態(tài)變化特點(diǎn)。研究突破了傳統(tǒng)學(xué)習(xí)投入自動(dòng)檢測(cè)方法在準(zhǔn)確性和泛化能力上的局限性，將學(xué)習(xí)投入的自動(dòng)分析對(duì)象從個(gè)體拓展到了小組，并揭示了協(xié)作學(xué)習(xí)投入的時(shí)序變化特征及其與協(xié)作成效的復(fù)雜聯(lián)系，為未來實(shí)時(shí)監(jiān)測(cè)及干預(yù)協(xié)作學(xué)習(xí)提供了重要支持，進(jìn)一步推動(dòng)了該研究領(lǐng)域的理論與實(shí)踐發(fā)展。

[關(guān)鍵詞] 協(xié)作學(xué)習(xí)投入； 協(xié)作學(xué)習(xí)； 深度學(xué)習(xí)； 自動(dòng)分析； 應(yīng)用案例

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 胡婉青（1998—），女，重慶人。博士研究生，主要從事計(jì)算機(jī)支持協(xié)作學(xué)習(xí)、人工智能教育應(yīng)用研究。E-mail：202231010044@mail.bnu.edu.cn。李艷燕為通訊作者，E-mail：liyy@bnu.edu.cn。

一、引? ?言

互聯(lián)網(wǎng)+教育時(shí)代，協(xié)作學(xué)習(xí)作為一種有效教學(xué)手段，已被廣泛應(yīng)用于各種教學(xué)場(chǎng)景[1]。協(xié)作學(xué)習(xí)的成效與協(xié)作學(xué)習(xí)投入息息相關(guān)。協(xié)作學(xué)習(xí)投入是小組成員感到活躍、努力和積極的集體心理狀態(tài)，能夠反映出小組成員努力參與協(xié)作活動(dòng)的程度[2]。有研究者指出，協(xié)作學(xué)習(xí)投入具有時(shí)序性和波動(dòng)性，它隨著時(shí)間變化而動(dòng)態(tài)發(fā)展，能夠通過干預(yù)而被優(yōu)化[3]。由此可見，揭示協(xié)作學(xué)習(xí)投入的時(shí)序規(guī)律和動(dòng)態(tài)特征，對(duì)于監(jiān)測(cè)學(xué)習(xí)過程并提供精準(zhǔn)支持具有重要價(jià)值和意義。較多研究嘗試通過人工編碼協(xié)作會(huì)話以揭示協(xié)作學(xué)習(xí)投入的動(dòng)態(tài)特征[4-5]，但是這種方法費(fèi)時(shí)費(fèi)力，難以大規(guī)模推廣。

針對(duì)這一問題，一些研究使用機(jī)器學(xué)習(xí)方法來自動(dòng)檢測(cè)學(xué)習(xí)投入，但是目前主要聚焦于個(gè)體學(xué)習(xí)投入而非協(xié)作學(xué)習(xí)投入。并且已有研究主要以淺層機(jī)器學(xué)習(xí)方法為主[6-8]，模型識(shí)別的準(zhǔn)確度有限[9]，泛化能力也較差[10]，在分析時(shí)僅關(guān)注認(rèn)知、情感或行為中個(gè)別維度，分析的全面性不足并且可推廣性欠佳?；诖?，本研究以深度學(xué)習(xí)模型為核心，構(gòu)建了協(xié)作學(xué)習(xí)投入自動(dòng)化分析方法，突破了傳統(tǒng)機(jī)器學(xué)習(xí)方法的局限性，并應(yīng)用該方法全面揭示了協(xié)作學(xué)習(xí)投入的動(dòng)態(tài)變化和時(shí)序特征，探索了其與協(xié)作成效之間的復(fù)雜聯(lián)系。

二、 協(xié)作學(xué)習(xí)投入的分析進(jìn)展

（一）協(xié)作學(xué)習(xí)投入的傳統(tǒng)分析方法

大量研究使用了自我報(bào)告、日志分析和人工編碼等方法來分析學(xué)習(xí)投入。在自我報(bào)告方面，主要通過問卷調(diào)查讓學(xué)習(xí)者主動(dòng)匯報(bào)自己協(xié)作學(xué)習(xí)過程中的學(xué)習(xí)投入[11-12]，但是該方式容易受到學(xué)習(xí)者的主觀影響，并且忽略了學(xué)習(xí)投入的時(shí)序性和動(dòng)態(tài)性。在日志分析方面，研究者通常獲取到學(xué)習(xí)平臺(tái)上學(xué)習(xí)者的行為數(shù)據(jù)，從中挖掘能夠表征學(xué)習(xí)投入的量化指標(biāo)，以此檢測(cè)學(xué)習(xí)者的行為投入或者社交投入[13]。在人工編碼方面，較多研究基于編碼表來分析協(xié)作會(huì)話，以揭示協(xié)作學(xué)習(xí)投入的時(shí)序特征與規(guī)律。例如，李艷燕等在構(gòu)建協(xié)作學(xué)習(xí)投入分析模型的基礎(chǔ)上，采用人工編碼的方式分析了學(xué)習(xí)者的投入狀態(tài)及其與學(xué)業(yè)表現(xiàn)之間的關(guān)系[14]，但是該研究使用個(gè)體學(xué)習(xí)投入的平均值來表征協(xié)作學(xué)習(xí)投入，忽略了協(xié)作學(xué)習(xí)投入的復(fù)雜性。也有研究者嘗試建立編碼表，通過編碼協(xié)作會(huì)話分析協(xié)作學(xué)習(xí)投入。例如，Ouyang等使用了三種支架支持在線協(xié)作問題解決，并基于編碼表分析了三種支架支持下小組認(rèn)知投入和行為投入等方面的差異[5]。相較于自我報(bào)告和日志分析，人工編碼能夠揭示協(xié)作學(xué)習(xí)投入的動(dòng)態(tài)變化特征，但是這種方法耗時(shí)耗力，難以應(yīng)對(duì)協(xié)作學(xué)習(xí)過程中涌現(xiàn)出的大量會(huì)話數(shù)據(jù)，亟須研究者提出自動(dòng)化方法來分析協(xié)作學(xué)習(xí)投入。

（二）協(xié)作學(xué)習(xí)投入的自動(dòng)分析方法

隨著文本挖掘技術(shù)的快速發(fā)展，研究者嘗試使用機(jī)器學(xué)習(xí)方法，基于學(xué)習(xí)者對(duì)話自動(dòng)分析學(xué)習(xí)者的學(xué)習(xí)投入。例如，Atapattu等使用了文檔向量的方式來檢測(cè)認(rèn)知投入[15]，隨后該研究團(tuán)隊(duì)使用了樸素貝葉斯、支持向量機(jī)和隨機(jī)森林等經(jīng)典機(jī)器學(xué)習(xí)方法來研究學(xué)習(xí)者情感投入的語言特征[16]；吳林靜等使用文心語義特征分析工具，從學(xué)習(xí)者對(duì)話中提取出學(xué)習(xí)者學(xué)習(xí)投入的語義特征，并進(jìn)一步使用特征工程對(duì)特征進(jìn)行加工與模式挖掘，探索個(gè)體學(xué)習(xí)者的學(xué)習(xí)投入特點(diǎn)[6]；馬寧等人使用決策樹、樸素貝葉斯、邏輯回歸等方法分析在線交互文本中的情感和認(rèn)知狀態(tài)[17]。盡管這些研究提出了自動(dòng)檢測(cè)學(xué)習(xí)投入的方法，但是主要使用了淺層機(jī)器學(xué)習(xí)方法，需要人工完成復(fù)雜的特征工程。有研究者指出，人工提取的特征會(huì)影響模型的泛化能力[10]，并且這些方法對(duì)于對(duì)話文本的語義理解是有限的，模型的識(shí)別效果也容易受到樣本分布不均衡的影響[9]。

深度學(xué)習(xí)方法由于能夠?qū)崿F(xiàn)高維特征表示而受到研究者的廣泛關(guān)注，其中轉(zhuǎn)換器模型（如BERT）和長(zhǎng)短時(shí)記憶（LSTM）模型被認(rèn)為是對(duì)序列文本進(jìn)行分類的高級(jí)技術(shù)方案[18-20]。已有一些研究使用了相關(guān)深度學(xué)習(xí)方法來實(shí)現(xiàn)學(xué)習(xí)投入的自動(dòng)分析，例如，Liao等使用了LSTM等深度學(xué)習(xí)模型，通過學(xué)習(xí)者在混合課程中的交流文本檢測(cè)學(xué)習(xí)者是否投入[8]，但是該研究忽略了學(xué)習(xí)投入是個(gè)多維度的概念。Liu等使用了BERT等深度學(xué)習(xí)模型，通過MOOC中學(xué)習(xí)者討論話語分析學(xué)習(xí)者的認(rèn)知投入與情感投入，并探索了兩者與學(xué)習(xí)者個(gè)人成績(jī)之間的關(guān)系[9]。然而，目前使用自動(dòng)方法分析學(xué)習(xí)投入的研究仍以個(gè)體學(xué)習(xí)者為分析對(duì)象，幾乎沒有關(guān)注以小組為分析單位的協(xié)作學(xué)習(xí)投入。目前，亟須研究提出協(xié)作學(xué)習(xí)投入自動(dòng)分析方法，并應(yīng)用該方法從大數(shù)據(jù)中挖掘協(xié)作學(xué)習(xí)投入的動(dòng)態(tài)變化規(guī)律，揭示其與協(xié)作學(xué)習(xí)成效之間的復(fù)雜關(guān)系。

整體來看，目前針對(duì)協(xié)作學(xué)習(xí)投入分析的研究仍存在較大提升空間：一是在測(cè)量方法上已有研究仍以傳統(tǒng)人工測(cè)評(píng)方式為主，在少量采用傳統(tǒng)機(jī)器學(xué)習(xí)等自動(dòng)化測(cè)評(píng)的研究中，主要采用了淺層學(xué)習(xí)方法，并且僅關(guān)注認(rèn)知或情感單維度的學(xué)習(xí)投入，忽略了學(xué)習(xí)投入是多維度的構(gòu)念，這些方法在準(zhǔn)確性、可推廣性和全面性上存在不足；二是目前學(xué)習(xí)投入自動(dòng)分析相關(guān)研究中，學(xué)習(xí)投入分析的對(duì)象仍以個(gè)體學(xué)習(xí)者為主，但是協(xié)作學(xué)習(xí)作為一個(gè)群體性活動(dòng)，如何對(duì)協(xié)作學(xué)習(xí)投入進(jìn)行自動(dòng)分析是提升協(xié)作學(xué)習(xí)效果的關(guān)鍵。

三、 協(xié)作學(xué)習(xí)投入自動(dòng)分析方法

本研究首先基于已有的學(xué)習(xí)投入理論框架，構(gòu)建了面向小組的多維度協(xié)作學(xué)習(xí)投入分析框架，該框架是實(shí)現(xiàn)協(xié)作學(xué)習(xí)投入自動(dòng)分析的理論基礎(chǔ)。其次，研究構(gòu)建了以深度學(xué)習(xí)技術(shù)為核心的協(xié)作學(xué)習(xí)投入自動(dòng)分析方法，闡述了基于協(xié)作會(huì)話分析協(xié)作學(xué)習(xí)投入的關(guān)鍵流程。該方法有助于在大數(shù)據(jù)中挖掘協(xié)作學(xué)習(xí)投入的動(dòng)態(tài)變化規(guī)律。

（一） 協(xié)作學(xué)習(xí)投入的分析框架

協(xié)作學(xué)習(xí)投入是一個(gè)多層次、多維度的復(fù)雜概念，它的多層次體現(xiàn)在其涉及群體中多名個(gè)體學(xué)習(xí)者的投入情況[21]。組內(nèi)個(gè)人層次的協(xié)作學(xué)習(xí)投入相互交織影響，共同決定了小組層次的協(xié)作學(xué)習(xí)投入。已有研究者指出，小組中處于相同學(xué)習(xí)投入狀態(tài)的人數(shù)是判斷小組層次協(xié)作學(xué)習(xí)投入的重要特征[4， 21-22]。協(xié)作學(xué)習(xí)投入的多維度則體現(xiàn)在其包含行為、認(rèn)知和情感投入三個(gè)子維度[23]。其中，協(xié)作行為投入是指小組成員集體積極參與討論的程度[21]，基于Isoh？覿t？覿l？覿等的分析框架[4]，本研究明確定義了兩個(gè)層次的協(xié)作行為投入，個(gè)人層次的行為投入取決于學(xué)習(xí)者在單位時(shí)間內(nèi)是否參與到小組討論中，而小組層次的行為投入則是以單位時(shí)間內(nèi)小組中發(fā)言的人數(shù)作為量化指標(biāo)。此外，協(xié)作認(rèn)知投入是指小組集體圍繞著同一目標(biāo)，共同參與到建構(gòu)知識(shí)的過程中[24]。基于Gunawardena和Ouyang的框架[25-26]，個(gè)人層次的協(xié)作認(rèn)知投入主要指通過學(xué)習(xí)者話語反映出的學(xué)習(xí)者知識(shí)建構(gòu)水平，而小組層次的協(xié)作認(rèn)知投入則是單位時(shí)間內(nèi)小組中大多數(shù)成員經(jīng)歷的認(rèn)知投入狀態(tài)。協(xié)作情感投入指的是小組成員參與到分享情緒并塑造小組情感氛圍的過程[22]?；贚iu和J？覿rvel？覿等的框架[9， 27]，本研究中，個(gè)人層次的協(xié)作情感投入是指學(xué)習(xí)者發(fā)生了與其他成員的社會(huì)情感互動(dòng)[21]，小組層次的協(xié)作情感投入是指單位時(shí)間內(nèi)小組中大多數(shù)成員經(jīng)歷的情感投入狀態(tài)。基于此，本研究形成了基于學(xué)習(xí)者對(duì)話的協(xié)作學(xué)習(xí)投入三維分析框架（見表1）。

表1? ?基于學(xué)習(xí)者對(duì)話的協(xié)作學(xué)習(xí)投入三維分析框架

（二） 協(xié)作學(xué)習(xí)投入的自動(dòng)分析流程

在確定協(xié)作學(xué)習(xí)投入分析框架后，本研究進(jìn)一步提出了協(xié)作學(xué)習(xí)投入的自動(dòng)分析流程，主要包含數(shù)據(jù)收集、建立數(shù)據(jù)庫、建立訓(xùn)練集、構(gòu)建深度學(xué)習(xí)模型、檢驗(yàn)深度學(xué)習(xí)模型效果、批量識(shí)別未編碼數(shù)據(jù)以及統(tǒng)計(jì)分析等步驟，如圖1所示。

圖1? ?基于深度學(xué)習(xí)的協(xié)作學(xué)習(xí)投入自動(dòng)分析流程

1. 數(shù)據(jù)收集

研究者需要收集匯總學(xué)習(xí)者在協(xié)作學(xué)習(xí)過程中的會(huì)話數(shù)據(jù)。協(xié)作學(xué)習(xí)過程中學(xué)習(xí)者的會(huì)話數(shù)據(jù)可能是多模態(tài)的，研究者需要將交流音頻轉(zhuǎn)錄為文本，并將不同來源的文本數(shù)據(jù)按照時(shí)間順序進(jìn)行對(duì)齊匯總。

2. 建立數(shù)據(jù)庫

研究者需要對(duì)匯總的協(xié)作會(huì)話文本數(shù)據(jù)進(jìn)行預(yù)處理，進(jìn)而建立協(xié)作會(huì)話數(shù)據(jù)庫。其中，預(yù)處理主要是對(duì)會(huì)話文本數(shù)據(jù)進(jìn)行清洗，修正會(huì)話數(shù)據(jù)中錯(cuò)別字、重復(fù)表達(dá)等問題，為后續(xù)自動(dòng)分析時(shí)機(jī)器能夠更準(zhǔn)確地理解語義奠定基礎(chǔ)。

3. 建立訓(xùn)練集

為了保證深度學(xué)習(xí)模型的準(zhǔn)確性，構(gòu)建高質(zhì)量的訓(xùn)練集至關(guān)重要。首先，需要組建兩個(gè)編碼小組分別負(fù)責(zé)認(rèn)知投入和情感投入的編碼，由專家指導(dǎo)編碼人員理解編碼表。其次，編碼人員獨(dú)立編碼，并計(jì)算編碼的一致性。當(dāng)編碼具有較好的一致性后，編碼人員再各自編碼剩下的數(shù)據(jù)。完成編碼的數(shù)據(jù)集則作為后續(xù)深度學(xué)習(xí)模型的訓(xùn)練集。

4. 構(gòu)建深度學(xué)習(xí)模型

構(gòu)建深度學(xué)習(xí)模型，以實(shí)現(xiàn)對(duì)情感投入與認(rèn)知投入的自動(dòng)分析，這是本研究建立的學(xué)習(xí)投入自動(dòng)化分析方法的核心步驟。本研究中使用了BERT模型來實(shí)現(xiàn)文本表示，提取學(xué)習(xí)者話語的語義特征。與傳統(tǒng)的機(jī)器學(xué)習(xí)模型相比，BERT在小樣本并且樣本不均衡的情況下也具有高性能的表現(xiàn)[28]。在分類器上選擇了BiLSTM模型，該模型是由前向的LSTM與后向的LSTM組合而成的，繼承了LSTM能夠較好地捕捉長(zhǎng)距離依賴關(guān)系的優(yōu)點(diǎn)，彌補(bǔ)了LSTM無法編碼從后到前的信息這一不足，可以捕捉到雙向的語義依賴關(guān)系[29]。圖2展示了本研究中構(gòu)建的BERT-BiLSTM深度學(xué)習(xí)模型結(jié)構(gòu)。研究者需要嘗試模型不同的超參數(shù)組合，并根據(jù)第五步模型的檢驗(yàn)結(jié)果進(jìn)行不停的迭代優(yōu)化。

5. 檢驗(yàn)深度學(xué)習(xí)模型效果

使用十折交叉驗(yàn)證法來訓(xùn)練與測(cè)試BERT-BiLTSM模型，以檢驗(yàn)?zāi)Ｐ偷男阅?，選擇了常用的幾項(xiàng)評(píng)價(jià)指標(biāo)準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1分?jǐn)?shù)（F1-score）來評(píng)價(jià)模型的具體表現(xiàn)。在計(jì)算這幾項(xiàng)評(píng)價(jià)指標(biāo)后，又根據(jù)結(jié)果進(jìn)一步迭代優(yōu)化深度學(xué)習(xí)模型的超參數(shù)，直到模型性能沒有再進(jìn)一步提升。

6. 批量識(shí)別未編碼數(shù)據(jù)

應(yīng)用性能最優(yōu)的深度學(xué)習(xí)模型批量識(shí)別小組會(huì)話數(shù)據(jù)庫中未被編碼的數(shù)據(jù)，得到小組中每個(gè)學(xué)習(xí)者認(rèn)知投入和情感投入的時(shí)序數(shù)據(jù)，以便于后續(xù)計(jì)算協(xié)作認(rèn)知投入和協(xié)作情感投入。

7. 統(tǒng)計(jì)分析

基于協(xié)作學(xué)習(xí)投入分析框架的規(guī)則進(jìn)行統(tǒng)計(jì)分析，根據(jù)單位時(shí)間內(nèi)協(xié)作會(huì)話片段中所有學(xué)習(xí)者的協(xié)作學(xué)習(xí)投入狀態(tài)特點(diǎn)計(jì)算得到當(dāng)前時(shí)間段小組層次的協(xié)作學(xué)習(xí)投入狀態(tài)。

四、 應(yīng)用案例

（一）研究案例

為了動(dòng)態(tài)追蹤協(xié)作學(xué)習(xí)過程，同時(shí)驗(yàn)證本研究構(gòu)建的協(xié)作學(xué)習(xí)投入自動(dòng)分析方法的有效性，揭示協(xié)作學(xué)習(xí)投入的時(shí)序變化規(guī)律及其與協(xié)作成效的復(fù)雜聯(lián)系，為未來實(shí)時(shí)監(jiān)測(cè)和干預(yù)提供建議，本研究提出的問題是：高低成就小組的各維度協(xié)作學(xué)習(xí)投入的時(shí)序變化特征存在哪些差異。

協(xié)作問題解決是一種典型的協(xié)作學(xué)習(xí)活動(dòng)，涉及學(xué)習(xí)者認(rèn)知、情感和行為方面的復(fù)雜活動(dòng)，因此，本研究選擇了某高校面向本科生的數(shù)學(xué)建?；顒?dòng)作為案例。在該活動(dòng)中，每個(gè)小組需要在兩天時(shí)間內(nèi)使用數(shù)學(xué)計(jì)算、計(jì)算機(jī)建模等方法來解決一個(gè)現(xiàn)實(shí)生活中的非良構(gòu)問題，并撰寫一篇論文來呈現(xiàn)問題解決方案。該活動(dòng)旨在培養(yǎng)學(xué)生數(shù)學(xué)建模和協(xié)作解決問題的能力，共有96名大學(xué)生參與了該活動(dòng)，并且按3人一組自由組成了32個(gè)協(xié)作小組。

（二）數(shù)據(jù)收集與分析

1. 數(shù)據(jù)收集

本研究錄制了每個(gè)小組在協(xié)作過程中的交流音頻，使用騰訊會(huì)議的語音轉(zhuǎn)文本功能將錄音轉(zhuǎn)錄為帶有時(shí)間戳、說話人和說話內(nèi)容的數(shù)據(jù)，在對(duì)話語內(nèi)容進(jìn)行人工校對(duì)后，形成每個(gè)小組的會(huì)話數(shù)據(jù)庫?？紤]到小組數(shù)據(jù)是否完整等原因，最終選擇其中20個(gè)小組（60名學(xué)生）的數(shù)據(jù)進(jìn)行后續(xù)分析，累計(jì)57400條數(shù)據(jù)。

此外，本研究收集了每個(gè)小組撰寫的論文作為小組協(xié)作成果，并對(duì)論文進(jìn)行了打分。由兩位數(shù)學(xué)建模專家對(duì)小組協(xié)作成果進(jìn)行打分，具體從語法和詞匯、排版、模型的假設(shè)、模型的建立、模型的應(yīng)用以及模型的檢驗(yàn)六個(gè)方面開展評(píng)價(jià)，兩位專家評(píng)分的Spearman相關(guān)系數(shù)為0.857（p<0.01）。根據(jù)小組協(xié)作成果的分?jǐn)?shù)，將小組進(jìn)行排名，取排名處于前27%的小組為高成就小組，排名位于后27%的小組作為低成就小組。

2. 數(shù)據(jù)分析

首先，組建了兩個(gè)編碼小組，按照自動(dòng)分析流程中構(gòu)建訓(xùn)練集的步驟，對(duì)活動(dòng)中收集的數(shù)據(jù)進(jìn)行編碼。其中，認(rèn)知投入編碼小組的一致性為0.758，大于0.70；社會(huì)情感投入編碼小組的一致性為0.796，大于0.70，表明具有良好的編碼一致性。

其次，本研究基于訓(xùn)練集使用Anaconda 3.0構(gòu)建了學(xué)習(xí)投入的自動(dòng)檢測(cè)模型（環(huán)境配置為TensorFlow-gpu 2.3以及Python 3.7）。使用BERT-BiLSTM模型，認(rèn)知投入檢測(cè)模型的參數(shù)設(shè)置為sequence_length=128，batch_size=32，epochs=3，情感投入檢測(cè)模型的參數(shù)設(shè)置為sequence_length=128，batch_size=64，epochs=4，采用Adam算法作為優(yōu)化器。十折交叉驗(yàn)證法的結(jié)果顯示，認(rèn)知投入檢測(cè)的模型準(zhǔn)確率在0.769±0.029，情感投入檢測(cè)的模型準(zhǔn)確率在0.888±0.009。部分認(rèn)知投入、情感投入分類結(jié)果見表2，可以看到盡管訓(xùn)練集中的樣本分布并不均衡，但是模型仍有較好的性能表現(xiàn)。

表2? ?BERT-BiLSTM模型的部分認(rèn)知、情感投入分類結(jié)果

然后，研究應(yīng)用構(gòu)建的深度學(xué)習(xí)模型批量識(shí)別了會(huì)話數(shù)據(jù)庫中未被編碼的數(shù)據(jù)，得到了小組中每個(gè)學(xué)習(xí)者的認(rèn)知投入與情感投入時(shí)序數(shù)據(jù)，并基于構(gòu)建的協(xié)作學(xué)習(xí)投入分析框架進(jìn)行統(tǒng)計(jì)分析，以30秒為單位時(shí)間，計(jì)算得到每個(gè)小組三個(gè)維度的協(xié)作學(xué)習(xí)投入時(shí)序數(shù)據(jù)。最后，對(duì)協(xié)作學(xué)習(xí)投入情況進(jìn)行了描述性統(tǒng)計(jì)，并對(duì)比了高低成就小組協(xié)作學(xué)習(xí)投入時(shí)序變化特點(diǎn)的差異。

（三）研究結(jié)果與討論

1. 協(xié)作學(xué)習(xí)投入的基本情況

在協(xié)作行為投入方面，中水平（GB2）最多，其次是低水平（GB1），高水平（GB3）最少，見表3。這說明在小組協(xié)作過程中，大多時(shí)間是兩人在討論，而全員參與討論的時(shí)間相對(duì)較少，過去的研究也有類似的發(fā)現(xiàn)[4]。在協(xié)作情感投入方面，學(xué)習(xí)者出現(xiàn)中立（GS2）的頻次最多，其次是困惑（GS3）和積極（GS4），出現(xiàn)最少的是消極（GS1），這說明在小組在線協(xié)作的過程中，大多數(shù)時(shí)間是較為平靜的，小組也會(huì)較多投入困惑和積極情感中，較少投入消極情感中，已有研究對(duì)小組協(xié)作討論進(jìn)行編碼分析后也有類似的發(fā)現(xiàn)[14]。在協(xié)作認(rèn)知投入方面，與知識(shí)建構(gòu)無關(guān)（GC0）的頻次最多，與之相近的是提出觀點(diǎn)（GC1）的頻次，其次是發(fā)現(xiàn)不一致（GC2），而較為高水平的知識(shí)建構(gòu)（GC3）如協(xié)商，應(yīng)用新知識(shí)等出現(xiàn)得最少，已有研究也發(fā)現(xiàn)高水平認(rèn)知投入發(fā)生較少[30]。

2. 協(xié)作學(xué)習(xí)投入的時(shí)序變化分析

六個(gè)活動(dòng)階段中高低成就小組的協(xié)作行為投入變化情況如圖3所示。從圖中可以看出，在整個(gè)協(xié)作過程中，低成就組的低水平行為投入頻次（GB1）都大于高成就小組，這說明在協(xié)作中低成就小組中一個(gè)人發(fā)言的情況是多于高成就小組的。而高成就組的高水平行為投入頻次（GB3）在活動(dòng)前期和后期都大于低成就組，這說明在活動(dòng)前期和后期高成就組中經(jīng)常全員都參與小組討論，而低成就組則較少。這意味著在活動(dòng)前期和后期小組中高水平行為投入越多，可能會(huì)產(chǎn)出更高質(zhì)量的協(xié)作學(xué)習(xí)成果。已有研究者也指出，所有組員都積極參與小組討論能夠促進(jìn)富有成效的協(xié)作[4， 31]。這一結(jié)果對(duì)于實(shí)施精準(zhǔn)干預(yù)的啟示是，在任務(wù)前期和后期監(jiān)測(cè)到小組持續(xù)的低水平行為投入時(shí)，應(yīng)該鼓勵(lì)沒有參與討論的學(xué)習(xí)者積極參與，激發(fā)小組發(fā)生高水平的行為投入。

圖3? ?高低成就組的協(xié)作行為投入時(shí)序變化

高低成就小組各維度的協(xié)作認(rèn)知投入變化情況存在一些差異，如圖4所示。在活動(dòng)前期，尤其是階段二時(shí)，高成就組各個(gè)維度的認(rèn)知投入頻次都高于低成就組，而在活動(dòng)中期，低成就組各個(gè)維度的認(rèn)知投入頻次都高于高成就組。并且，任務(wù)后期低成就組在協(xié)商、論證和應(yīng)用知識(shí)（GC3）這一維度的認(rèn)知投入出現(xiàn)頻次增加，而高成就組則持續(xù)下降，這可能是因?yàn)樵谌蝿?wù)后期高成就組已經(jīng)按照計(jì)劃基本完成了任務(wù)，并不需要再進(jìn)行協(xié)商等高水平的知識(shí)建構(gòu)，而低成就組在活動(dòng)后期仍然還在協(xié)商概念或者論證觀點(diǎn)。這一發(fā)現(xiàn)可能說明在活動(dòng)前期發(fā)生更多的認(rèn)知投入能夠有助于小組獲得更好的協(xié)作學(xué)習(xí)結(jié)果， 可以在活動(dòng)前期提供支架激發(fā)小組產(chǎn)生更多的認(rèn)知投入，例如，提供問題支架幫助小組成員討論關(guān)于任務(wù)的理解，分享自己掌握的知識(shí)[32]。

圖4? ?高低成就組的協(xié)作認(rèn)知投入時(shí)序變化

高低成就組協(xié)作情感投入的時(shí)序變化如圖5所示。整個(gè)協(xié)作學(xué)習(xí)過程中高成就組都展現(xiàn)出更多的積極情感投入（GS4），已有研究也提出情感氛圍和諧積極的小組更容易發(fā)生富有成效的協(xié)作學(xué)習(xí)[33]。與此同時(shí)，所有小組在任務(wù)中期積極情感降到最低，而消極情感（GS1）達(dá)到峰值，并且此時(shí)低成就組的消極情感高于高成就組。已有研究發(fā)現(xiàn)，持續(xù)或者高強(qiáng)度的消極情感很可能會(huì)導(dǎo)致低質(zhì)量的協(xié)作學(xué)習(xí)結(jié)果[34]，但是如果小組消極情感被適當(dāng)?shù)卣{(diào)節(jié)，那么這也會(huì)成為小組成員解決問題的契機(jī)[35]。因此，在監(jiān)測(cè)到小組頻繁發(fā)生消極情感時(shí)，可以激發(fā)小組使用一些情感調(diào)節(jié)策略，幫助他們更好地應(yīng)對(duì)這一問題。在困惑（GS3）方面，高低成就組都呈現(xiàn)活動(dòng)前中期下降，活動(dòng)后期略微回升的趨勢(shì)。與高成就組相比，低成就組在活動(dòng)中后期維持在困惑狀態(tài)的時(shí)間更長(zhǎng)。有研究指出，如果困惑的情緒得不到緩解，可能會(huì)對(duì)學(xué)習(xí)過程和結(jié)果產(chǎn)生不利影響[36]。因此，檢測(cè)到持續(xù)的困惑情感投入狀態(tài)并提供幫助是非常重要的[37]，教師可以詢問小組成員感到困惑的原因，并結(jié)合原因針對(duì)性地推薦一些策略幫助他們從這種持續(xù)的困惑狀態(tài)中脫離出來。

圖5? ?高低成就組的協(xié)作情感投入時(shí)序變化

五、 結(jié)? ?語

協(xié)作學(xué)習(xí)投入的全流程、自動(dòng)化追蹤與評(píng)價(jià)是揭示在線協(xié)作學(xué)習(xí)動(dòng)態(tài)演變規(guī)律、提升在線協(xié)作學(xué)習(xí)績(jī)效的關(guān)鍵手段。本研究立足于已有研究成果，嘗試突破傳統(tǒng)測(cè)評(píng)方法中存在的準(zhǔn)確性低且泛化能力不足的問題，提出了以BERT-BiLSTM深度學(xué)習(xí)模型為核心的協(xié)作學(xué)習(xí)投入自動(dòng)分析方法，并進(jìn)一步應(yīng)用該方法分析了協(xié)作問題解決活動(dòng)中的協(xié)作會(huì)話，揭示了高低成就小組中學(xué)習(xí)投入的動(dòng)態(tài)演變特征，為協(xié)作學(xué)習(xí)投入的實(shí)時(shí)干預(yù)提出了建議。本研究的不足在于目前模型的訓(xùn)練集局限于協(xié)作數(shù)學(xué)建模這個(gè)情境，盡管BERT賦予了模型較好的可遷移性，但是模型遷移到其他情境中時(shí)，識(shí)別效果還是會(huì)受到一定程度的影響，未來應(yīng)該融入其他協(xié)作問題解決場(chǎng)景的數(shù)據(jù)，進(jìn)一步擴(kuò)大該自動(dòng)分析方法的應(yīng)用范圍。并且，盡管協(xié)作會(huì)話是分析協(xié)作學(xué)習(xí)投入的主要抓手，但是融入學(xué)習(xí)者的學(xué)習(xí)日志、表情以及生理數(shù)據(jù)等能夠更全面地表征協(xié)作學(xué)習(xí)投入，后續(xù)研究應(yīng)當(dāng)探索如何構(gòu)建并實(shí)現(xiàn)基于多模態(tài)數(shù)據(jù)的協(xié)作學(xué)習(xí)投入自動(dòng)分析方法。

[參考文獻(xiàn)]

[1] 鄭蘭琴，趙家怡，龍妙浪.如何改善在線協(xié)作學(xué)習(xí)的設(shè)計(jì)與實(shí)施——基于一致性評(píng)估與優(yōu)化的實(shí)證分析 [J].現(xiàn)代遠(yuǎn)程教育研究， 2022，34（2）：103-112.

[2] WONG Z Y， LIEM G A D. Student engagement： current state of the construct， conceptual refinement， and future research directions [J]. Educational psychology review， 2021，34：1-32.

[3] SYMONDS J E， KAPLAN A， UPADYAYA K， et al. Momentary student engagement as a dynamic developmental system [J]. Faculty/researcher works， 2020：1-53.

[4] ISOH？覿 T？覿 L？覿? J， N？覿 YKKI P， J？覿 RVEL？覿 S. Cognitive and socio-emotional interaction in collaborative learning： exploring fluctuations in students' participation [J]. Scandinavian journal of educational research， 2020，64（6）：831-851.

[5] OUYANG F， CHEN Z， CHENG M， et al. Exploring the effect of three scaffoldings on the collaborative problem-solving processes in China's higher education [J]. International journal of educational technology in higher education， 2021，18（1）：1-22.

[6] 吳林靜，高喻，涂鳳嬌，等.基于語義的在線協(xié)作會(huì)話學(xué)習(xí)投入自動(dòng)分析模型及應(yīng)用研究[J].電化教育研究，2022，43（3）：77-84.

[7] LEE A V Y. Determining quality and distribution of ideas in online classroom talk using learning analytics and machine learning [J]. Educational technology & society，2021，24（1）：236-249.

[8] LIAO C-H， WU J-Y. Deploying multimodal learning analytics models to explore the impact of digital distraction and peer learning on student performance [J]. Computers & education，2022，190：104599.

[9] LIU S， LIU S， LIU Z， et al. Automated detection of emotional and cognitive engagement in MOOC discussions to predict learning achievement [J]. Computers & education， 2022，181：104461.

[10] XU R， CHEN J， HAN J， et al. Towards emotion-sensitive learning cognitive state analysis of big data in education： deep learning-based facial expression analysis using ordinal information [J]. Computing， 2020，102（3）：765-80.

[11] 劉繁華，易錫添.在線學(xué)習(xí)投入的分析模型構(gòu)建及應(yīng)用研究[J].電化教育研究，2021，42（9）：69-75.

[12] QURESHI M A， KHASKHELI A， QURESHI J A， et al. Factors affecting students' learning performance through collaborative learning and engagement [J]. Interactive learning environments， 2023，31（4）：2371-2391.

[13] 李振華，張昭理，劉海.基于模型集成的在線學(xué)習(xí)投入評(píng)測(cè)方法研究[J].中國(guó)遠(yuǎn)程教育，2020（10）：9-16，60.

[14] 李艷燕，彭禹，康佳，等.在線協(xié)作學(xué)習(xí)中小組學(xué)習(xí)投入的分析模型構(gòu)建及應(yīng)用[J].中國(guó)遠(yuǎn)程教育，2020（2）：40-48，77.

[15] ATAPATTU T， THILAKARATNE M， VIVIAN R， et al. Detecting cognitive engagement using word embeddings within an online teacher professional development community [J]. Computers & education， 2019，140：103594.

[16] ATAPATTU T， FALKNER K， THILAKARATNE M， et al. What do linguistic expressions tell us about learners' confusion？ a domain-independent analysis in MOOCs [J]. IEEE transactions on learning technologies， 2020，13（4）：878-888.

[17] 馬寧，張燕玲，杜蕾，等.面向在線異步交互文本的情感—認(rèn)知自動(dòng)化分析模型研究——以大規(guī)模教師在線培訓(xùn)為例[J].現(xiàn)代教育技術(shù)，2022，32（5）：83-92.

[18] COELHO O B， SILVEIRA I. Deep learning applied to learning analytics and educational data mining： a systematic literature review[C]//Brazilian Symposium on Computers in Education （Simpósio Brasileiro de Informática na Educa？觭？觔o-SBIE）. Brasil： Brazilian computer society，2017，28（1）：143.

[19] HAN Z-M， HUANG C-Q， YU J-H， et al. Identifying patterns of epistemic emotions with respect to interactions in massive online open courses using deep learning and social network analysis [J]. Computers in human behavior，2021，122：106843.

[20] ZOU W， HU X， PAN Z， et al. Exploring the relationship between social presence and learners' prestige in MOOC discussion forums using automated content analysis and social network analysis [J]. Computers in human behavior，2021，115：106582.

[21] SINHA S， ROGAT T K， ADAMS-WIGGINS K R， et al. Collaborative group engagement in a computer-supported inquiry learning environment [J]. International journal of computer-supported collaborative learning，2015，10（3）：273-307.

[22] M？覿NTY K， J？覿RVENOJA H， T？觟RM？覿NEN T. Socio-emotional interaction in collaborative learning： combining individual emotional experiences and group-level emotion regulation [J]. International journal of educational research， 2020，102：101589.

[23] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence [J]. Review of educational research， 2004，74（1）：59-109.

[24] FREDRICKS J A， WANG M-T， LINN J S， et al. Using qualitative methods to develop a survey measure of math and science engagement [J]. Learning and instruction，2016（7）：5-15.

[25] GUNAWARDENA C N， LOWE C A， ANDERSON T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing [J]. Journal of educational computing research， 1997，17（4）：397-431.

[26] OUYANG F， CHANG Y H. The relationships between social participatory roles and cognitive engagement levels in online discussions [J]. British journal of educational technology， 2019，50（3）：1396-414.

[27] J？覿RVEL？覿 S， J？覿RVENOJA H， MALMBERG J， et al. How do types of interaction and phases of self-regulated learning set a stage for collaborative engagement？ [J]. Learning and instruction， 2016，43：39-51.

[28] DEVLIN J， CHANG M W， LEE K， et al. Bert： Pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv：1810.04805，2018：1-16.

[29] CAI R， QIN B， CHEN Y， et al. Sentiment analysis about investors and consumers in energy market based on BERT-BiLSTM [J]. IEEE access，2020，8：171408-171415.

[30] 張思，何晶銘，上超望，等.面向在線學(xué)習(xí)協(xié)同知識(shí)建構(gòu)的認(rèn)知投入分析模型及應(yīng)用[J].遠(yuǎn)程教育雜志，2020，38（4）：95-104.

[31] DINDAR M， J？覿RVEL？覿 S， NGUYEN A， et al. Detecting shared physiological arousal events in collaborative problem solving [J]. Contemporary educational psychology，2022，69：102050.

[32] N？覿YKKI P， ISOH？覿T？覿L？覿 J， J？覿RVEL？覿 S， et al. Facilitating socio-cognitive and socio-emotional monitoring in collaborative learning with a regulation macro script-an exploratory study [J]. International journal of computer-supported collaborative learning，2017，12（3）：251-79.

[33] ISOH？覿T？覿L？覿 J， N？覿YKKI P， J？覿RVEL？覿 S， et al. Striking a balance： socio-emotional processes during argumentation in collaborative learning interaction [J]. Learning， culture and social interaction，2018，16：1-19.

[34] BAKHTIAR A， WEBSTER E A， HADWIN A F. Regulation and socio-emotional interactions in a positive and a negative group climate [J]. Metacognition and learning， 2018，13（1）：57-90.

[35] ANDRIESSEN J， BAKER M， VAN DER PUIL C. Socio-cognitive tension in collaborative working relations[M]//LUDVIGSEN S， LUND A， RASMUSSEN I， SALJO R. Learning across sites. London： Pergamon，2010：234-254.

[36] ARGUEL A， LOCKYER L， KENNEDY G， et al. Seeking optimal confusion： a review on epistemic emotion management in interactive digital learning environments [J]. Interactive learning environments， 2019，27（2）：200-210.

[37] MAKHIJA A， RICHARDS D， CABALLé S， et al. Providing timely support to students in educational virtual worlds[C]//Advances in Intelligent Networking and Collaborative Systems： the 10th International Conference on Intelligent Networking and Collaborative Systems （INCoS-2018）. Switzerland： Springer International Publishing， 2019：406-419.

Research on Analysis Method of Collaborative Engagement Based on

Deep Learning

HU Wanqing1，? LI Xin2，? HUANG Ruiyan1，? LI Yanyan1

（1.School of Educational Technology， Beijing Normal University， Beijing 100875;

2.Jiangsu Engineering Research Center of Educational Informationization， Jiangsu Normal University， Xuzhou Jiangsu 221116）

[Abstract] The automatic analysis of collaborative learning engagement is an important means to dynamically track the process of collaborative learning and enhance the effectiveness of collaborative learning. Most of the existing studies employ shallow machine learning to analyze individual learning engagement， but pay less attention to collaborative learning engagement. And there are problems such as limited accuracy and poor generalizability ability. In order to address these issues， this study firstly proposes an automatic analysis method of collaborative learning engagement based on BERT-BiLSTM deep learning model， which includes collecting data， establishing a database， setting up a training set， constructing a deep learning model， examining the effect of the model， identifying the data in batches， and statistically analyzing the data. Secondly， this study applies the method to analyze the collaborative learning engagement of 20 groups in a university's mathematical modeling activity， verifies the effectiveness of the method， and further explores the differences in the collaborative learning engagement of high- and low-achievement groups as well as the characteristics of dynamic changes. This study breaks through the limitations of traditional automatic detection methods in terms of accuracy and generalization ability of learning engagement， expands the object of automatic analysis of learning engagement from individuals to groups， and reveals the temporal variation characteristics of collaborative learning engagement and its complex relationship with collaborative effectiveness， which provides an important support for real-time monitoring and intervention of collaborative learning in the future， and further promotes the theoretical and practical development of this research field.

[Keywords] Collaborative Engagement; Collaborative Learning; Deep Learning; Automatic Analysis; Application Case