王小根 陳瑤瑤

[摘? ?要] 情感投入在混合協(xié)作學(xué)習(xí)中發(fā)揮重要作用，厘清其作用機(jī)制是當(dāng)前亟待解決的問題?；旌蠀f(xié)作學(xué)習(xí)場(chǎng)景下多模態(tài)情感計(jì)算技術(shù)的支持為更加精準(zhǔn)地分析學(xué)習(xí)者情感投入提供了可能。文章從情感數(shù)據(jù)的多模態(tài)融合、情感發(fā)生的情境解釋、情感狀態(tài)的動(dòng)態(tài)變化、情感發(fā)展的層級(jí)建構(gòu)和情感反饋的調(diào)節(jié)干預(yù)五個(gè)層面構(gòu)建了混合協(xié)作學(xué)習(xí)者情感投入的研究框架，并從改善混合協(xié)作學(xué)習(xí)過程和探索混合協(xié)作學(xué)習(xí)規(guī)律出發(fā)，闡述了混合協(xié)作學(xué)習(xí)者情感投入的分析路徑。一方面，融合多模態(tài)數(shù)據(jù)，輸出可視化的情感狀態(tài)識(shí)別結(jié)果;根據(jù)環(huán)境、認(rèn)知、行為、動(dòng)機(jī)及任務(wù)等因素，進(jìn)行情感歸因;預(yù)防情感危機(jī)，采取反饋與調(diào)節(jié)措施。另一方面，探索情感投入與人際互動(dòng)、學(xué)習(xí)資源、認(rèn)知發(fā)展的關(guān)系，以期揭示混合協(xié)作學(xué)習(xí)的內(nèi)在規(guī)律。

[關(guān)鍵詞] 多模態(tài)數(shù)據(jù); 情感計(jì)算; 混合協(xié)作學(xué)習(xí); 情感投入

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 王小根（1965—），男，浙江湖州人。教授，博士，主要從事網(wǎng)絡(luò)多媒體技術(shù)教育應(yīng)用研究。E-mail：vctwang@126.com。

一、引? ?言

線上線下融合的混合式學(xué)習(xí)正在成為高等院校師生開展學(xué)習(xí)活動(dòng)的新常態(tài)[1]，混合協(xié)作學(xué)習(xí)也成為高等教育領(lǐng)域重要的學(xué)習(xí)方式[2]。然而，目前在混合協(xié)作學(xué)習(xí)的實(shí)踐中仍然存在學(xué)習(xí)者協(xié)作水平不高、學(xué)習(xí)投入較低等問題[3]，增強(qiáng)學(xué)習(xí)投入和互動(dòng)可以改善這一現(xiàn)象[4]。組員持續(xù)進(jìn)行有效互動(dòng)是促進(jìn)協(xié)同知識(shí)建構(gòu)的關(guān)鍵，情感投入在這一過程中扮演重要角色[5]。

近年來，研究者關(guān)注到情感投入對(duì)協(xié)作學(xué)習(xí)者的分享、互動(dòng)、協(xié)商等有重要影響，并通過學(xué)習(xí)平臺(tái)日志中的情感數(shù)據(jù)和學(xué)習(xí)者自我報(bào)告，分析學(xué)習(xí)者情感特征及其發(fā)生作用的機(jī)理。然而，致力于理解情感是如何隨著學(xué)習(xí)的互動(dòng)過程而變化的研究尚不足，因此，情感的演變機(jī)制并不清晰[6]。采集線上線下多模態(tài)的情感數(shù)據(jù)，才能更精準(zhǔn)地分析混合協(xié)作學(xué)習(xí)者情感投入特征和變化情況[7]，為學(xué)習(xí)者反思和教師干預(yù)提供決策支持。多模態(tài)情感計(jì)算技術(shù)可以為這一學(xué)習(xí)分析過程提供技術(shù)支撐。因此，本研究基于混合協(xié)作學(xué)習(xí)環(huán)境的多模態(tài)情感數(shù)據(jù)，構(gòu)建了混合協(xié)作學(xué)習(xí)者情感投入的研究框架和分析路徑，以期為后續(xù)研究提供借鑒。

二、混合協(xié)作學(xué)習(xí)投入與情感投入

（一）混合協(xié)作學(xué)習(xí)投入

學(xué)習(xí)投入是學(xué)習(xí)者在學(xué)習(xí)過程中由行為、認(rèn)知、情感的相互作用或融合引發(fā)的身體能量和心理能量的總和，是行為卷入、思維發(fā)展、情緒反應(yīng)的綜合過程。學(xué)習(xí)投入度是這種身體能量和心理能量總和的大小，其高低是影響學(xué)習(xí)效果的重要因素，是衡量高等教育質(zhì)量的重要過程性指標(biāo)。

混合協(xié)作學(xué)習(xí)強(qiáng)調(diào)建立學(xué)習(xí)者之間的社會(huì)性聯(lián)結(jié)，促進(jìn)學(xué)習(xí)者之間的交流，增強(qiáng)情感參與，從而提升投入度與協(xié)作質(zhì)量?；旌蠀f(xié)作學(xué)習(xí)投入主要包含群體圍繞知識(shí)建構(gòu)、問題解決的認(rèn)知投入和組員維系互賴關(guān)系、增強(qiáng)小組凝聚力而進(jìn)行的社會(huì)情感投入兩個(gè)核心過程[8]。

（二）混合協(xié)作學(xué)習(xí)中的情感投入

學(xué)習(xí)情感投入是存在于師生之間、課堂、學(xué)業(yè)或?qū)W?；顒?dòng)中積極或消極的情緒體驗(yàn)，指向?qū)W習(xí)者的興趣、體驗(yàn)感、價(jià)值感、認(rèn)同感和歸屬感。Lee等認(rèn)為，情感投入關(guān)注的是學(xué)習(xí)者的滿意度、學(xué)習(xí)過程中的愉悅感和同伴交互中的價(jià)值感[9]。Fredricks等認(rèn)為，情感投入是學(xué)習(xí)者對(duì)教師、同伴、學(xué)校、學(xué)業(yè)的情感反應(yīng)程度，體現(xiàn)在興趣、熱情、焦慮、無聊和歸屬感等方面[10]。Pekrun等人將情感投入視作認(rèn)知投入和行為投入發(fā)生的前提，認(rèn)為學(xué)習(xí)情感投入主要由成就情緒、主題情緒、社交情緒和認(rèn)知情緒四部分構(gòu)成[11]。

從學(xué)習(xí)投入的視角來看，混合協(xié)作學(xué)習(xí)中的情感投入，是學(xué)習(xí)者借助混合學(xué)習(xí)空間，在動(dòng)機(jī)、支持工具、學(xué)習(xí)方式和協(xié)作任務(wù)的調(diào)控下，與學(xué)習(xí)共同體、學(xué)習(xí)資源進(jìn)行情感互動(dòng)時(shí)態(tài)度、體驗(yàn)感、認(rèn)同感與價(jià)值感的動(dòng)態(tài)累加過程。混合協(xié)作學(xué)習(xí)以任務(wù)為中心展開互動(dòng)，其互動(dòng)主要可以分為認(rèn)知互動(dòng)、社會(huì)—情感互動(dòng)兩類：認(rèn)知互動(dòng)包括知識(shí)的分享、闡述、協(xié)商以及對(duì)協(xié)作過程的監(jiān)控、調(diào)節(jié)，這是協(xié)作學(xué)習(xí)得以持續(xù)展開的基礎(chǔ);社會(huì)—情感互動(dòng)是指學(xué)習(xí)者之間會(huì)發(fā)生情緒交互，有意或無意地營(yíng)造社交氛圍，這種情緒的表達(dá)可能涉及認(rèn)知和元認(rèn)知過程，也可能是由個(gè)體需求得到或未得到滿足而做出的回應(yīng)[12]。無論是積極的還是消極的情緒交互，都會(huì)對(duì)個(gè)體的參與傾向和群體的社交氛圍產(chǎn)生影響，從而導(dǎo)致群體凝聚力、群體學(xué)習(xí)投入度等發(fā)生變化。同時(shí)，學(xué)習(xí)者對(duì)觀點(diǎn)的理解、同伴的互動(dòng)、學(xué)習(xí)任務(wù)的感知都伴隨著一定程度的情感投入。高質(zhì)量的情感投入可以使學(xué)習(xí)者獲得更多來自教師和同伴的互動(dòng)與支持，而低質(zhì)量的情感投入往往使學(xué)習(xí)者感到邊緣化和效率低下?？梢?，情感投入是協(xié)作學(xué)習(xí)有效發(fā)生的必要條件。

三、混合協(xié)作學(xué)習(xí)中情感投入的相關(guān)研究

（一）情感交互的類型

情感交互是指學(xué)習(xí)者與同伴、教師之間針對(duì)學(xué)習(xí)內(nèi)容進(jìn)行有意識(shí)的情感交流的過程。情感分類是研究情感交互的基礎(chǔ)，Harris等提出了六維情感分類法，包括積極、消極、中立、有洞察力、困惑和開玩笑，并以此分析在線論壇會(huì)話文本中的學(xué)習(xí)者情感[13]。之所以將困惑單獨(dú)作為一類情感，是因?yàn)槔Щ髮?duì)學(xué)習(xí)可能是有益的，困惑的出現(xiàn)通常意味著學(xué)習(xí)者遇到了認(rèn)知沖突，解決了困惑，學(xué)習(xí)者就能從矛盾的信息中學(xué)習(xí)到新知識(shí)[14]。

根據(jù)交互的內(nèi)涵及意義，還可以將情感交互分為情感回應(yīng)、情感評(píng)價(jià)和情感表達(dá)三種類別：情感回應(yīng)是觀點(diǎn)一致與否在情感上的回應(yīng)，有利于維持交互持續(xù)進(jìn)行;情感評(píng)價(jià)包括鼓勵(lì)、感謝、不滿和責(zé)備等，能夠促進(jìn)學(xué)習(xí)者的元認(rèn)知意識(shí);情感表達(dá)是學(xué)習(xí)者對(duì)自己情感狀態(tài)的表達(dá)，自然真實(shí)的情感表達(dá)可以營(yíng)造坦誠(chéng)的氛圍，促進(jìn)協(xié)作學(xué)習(xí)的發(fā)生[15]。

（二）情感投入的轉(zhuǎn)換與發(fā)展

為了探究情感投入與學(xué)習(xí)者互動(dòng)、學(xué)習(xí)投入度和知識(shí)建構(gòu)的深層關(guān)系，有研究者從不同類型情感的轉(zhuǎn)換與發(fā)展視角展開研究，發(fā)現(xiàn)在知識(shí)建構(gòu)的不同階段，不同類別的情感發(fā)生頻率不一樣，隨著認(rèn)知交互的加深，學(xué)習(xí)共同體情感經(jīng)歷了產(chǎn)生、碰撞與融合、改進(jìn)、穩(wěn)定的情感發(fā)展四個(gè)階段[16]。Corey認(rèn)為，群體情感發(fā)展經(jīng)歷了初始階段、過渡階段、工作階段和終結(jié)階段：初始階段的學(xué)習(xí)者較為興奮并致力于相互熟悉;過渡階段的學(xué)習(xí)者會(huì)權(quán)衡他們?cè)谛〗M中的參與度，控場(chǎng)問題會(huì)出現(xiàn)，這往往是沖突的原因;工作階段，學(xué)習(xí)者越來越多地進(jìn)行觀點(diǎn)協(xié)商和知識(shí)改進(jìn)，組員無需帶有防御心理，并且會(huì)感受到情感支持;終結(jié)階段的學(xué)習(xí)者已經(jīng)建立互賴關(guān)系，期待下一次酣暢淋漓的表達(dá)體驗(yàn)[17]。基于Corey劃分的四個(gè)階段，Hod等利用認(rèn)知網(wǎng)絡(luò)分析法探索了混合協(xié)作學(xué)習(xí)者不同類型情感投入的轉(zhuǎn)換規(guī)律。初始階段，小組的情感投入特征表現(xiàn)為組員具有強(qiáng)烈的團(tuán)結(jié)協(xié)作意愿;過渡階段，組員感受到的消極情緒、困惑和挫折感較多;工作階段的小組情感投入的特征表現(xiàn)為移情;終結(jié)階段的小組情感投入則表現(xiàn)為關(guān)切同伴[18]。

四、基于多模態(tài)數(shù)據(jù)的混合協(xié)作學(xué)習(xí)者

情感投入的測(cè)量方法

（一）學(xué)習(xí)者情感投入的常見測(cè)量方法

學(xué)習(xí)者情感投入的測(cè)量方法是開展相關(guān)研究的基礎(chǔ)。根據(jù)分析的數(shù)據(jù)對(duì)象，可以將情感投入測(cè)量方法分成三類：基于文本分析、基于外顯行為感知、基于生理信號(hào)表征。基于文本分析的測(cè)量方法有兩種：依賴人工分析的文本測(cè)量方法有情感量表、學(xué)習(xí)者自我報(bào)告和訪談法;自動(dòng)化文本挖掘技術(shù)有基于規(guī)則的情感詞典和基于機(jī)器學(xué)習(xí)的方法。文本分析法成本較低，使用廣泛?；谕怙@行為感知的測(cè)量方法，即從面部表情、語音語調(diào)和肢體動(dòng)作中識(shí)別情感，優(yōu)點(diǎn)是實(shí)時(shí)反饋，弊端是如果學(xué)習(xí)者故意掩飾自己的真實(shí)感受而故作平靜，那么識(shí)別結(jié)果的可靠性就難以保證。基于生理信號(hào)的測(cè)量方法是使用可穿戴設(shè)備或者生理傳感器測(cè)量生理信號(hào)來表征潛意識(shí)的情感反應(yīng)。此方法需要做到無侵入式感知，以降低外接設(shè)備對(duì)學(xué)習(xí)者的干擾。

（二）多模態(tài)情感計(jì)算

情感計(jì)算聚焦于應(yīng)用特征提取與分類技術(shù)實(shí)現(xiàn)對(duì)人類情感的識(shí)別、解釋、反饋與模仿，試圖讓機(jī)器理解人類情感，以實(shí)現(xiàn)人與機(jī)器的情感互動(dòng)[19]。人類表達(dá)情感情緒涉及多種模態(tài)通道，依據(jù)單模態(tài)進(jìn)行情感分析準(zhǔn)確度不高，雙模態(tài)情感分析的可解釋性也不能令人十分滿意，只有盡可能地融合更多模態(tài)，才能進(jìn)一步提高情感識(shí)別的準(zhǔn)確度，還原真實(shí)完整的情感反應(yīng)過程。

目前，多模態(tài)情感計(jì)算技術(shù)主要依靠文本、面部表情、語音和生理信號(hào)進(jìn)行情感特征提取（見表1），再將多種單模態(tài)特征進(jìn)行融合得到更精準(zhǔn)的情感狀態(tài)。相較于單模態(tài)，多模態(tài)情感計(jì)算最大的挑戰(zhàn)在于多模態(tài)信息的融合與理解[20]，這不僅意味著算法持續(xù)提高精度，而且牽涉到情感本質(zhì)的進(jìn)一步揭示、個(gè)體情感個(gè)性化度量、外部因素對(duì)情感變化的影響等多方面的問題[21]。

（三）基于多模態(tài)數(shù)據(jù)的混合協(xié)作學(xué)習(xí)者情感投入測(cè)量與分析

1. 采集多模態(tài)情感數(shù)據(jù)的必要性

學(xué)習(xí)者在混合協(xié)作學(xué)習(xí)過程中能夠產(chǎn)生文本、對(duì)話、表情、肢體動(dòng)作、眼動(dòng)等多種類型的交互數(shù)據(jù)以及腦波、皮膚電、脈搏率等肉眼難以觀察的生理數(shù)據(jù)，只有實(shí)現(xiàn)多模態(tài)數(shù)據(jù)融合才能精準(zhǔn)反映小組成員的情感投入狀態(tài)。然而，現(xiàn)有研究大多依靠學(xué)習(xí)者自我報(bào)告和在線討論文本對(duì)學(xué)習(xí)者情感投入進(jìn)行回溯，情感數(shù)據(jù)采集通道較為單一，難以全面反映學(xué)習(xí)者情感狀態(tài)的變化情況，需要挖掘、整合多模態(tài)數(shù)據(jù)表征混合協(xié)作學(xué)習(xí)者的情感投入，分析其內(nèi)部狀態(tài)和情感變化。

2. 多模態(tài)情感數(shù)據(jù)的采集通道

在混合協(xié)作學(xué)習(xí)中，涉及情感投入的多模態(tài)數(shù)據(jù)主要包括文本、行為、心理、生理四種模態(tài)數(shù)據(jù)（見表2）。文本數(shù)據(jù)包括聊天軟件和在線學(xué)習(xí)平臺(tái)記錄的文本以及根據(jù)面對(duì)面學(xué)習(xí)活動(dòng)錄音整理的文本。行為數(shù)據(jù)是指與人的外在可見行為表現(xiàn)相關(guān)的數(shù)據(jù)，如面部表情等。心理數(shù)據(jù)是指學(xué)習(xí)者對(duì)協(xié)作認(rèn)知任務(wù)、社交、情感動(dòng)機(jī)的心理活動(dòng)反應(yīng)數(shù)據(jù)，獲取來自學(xué)習(xí)者填寫的情感測(cè)驗(yàn)量表或自我報(bào)告。心理數(shù)據(jù)依賴學(xué)習(xí)者主動(dòng)輸入，雖然即時(shí)性和自動(dòng)化程度不高，但可以與其他模態(tài)數(shù)據(jù)進(jìn)行互證，還能夠獲悉學(xué)習(xí)者的歷時(shí)性體驗(yàn)。生理數(shù)據(jù)則包括腦電波、眼動(dòng)、皮膚電、心電、脈搏率等人的生理體征數(shù)據(jù)。

3. 多模態(tài)情感數(shù)據(jù)的分析方法

混合協(xié)作學(xué)習(xí)主要有線下面對(duì)面交流和在線討論兩種學(xué)習(xí)場(chǎng)景。對(duì)于面對(duì)面學(xué)習(xí)場(chǎng)景，使用視頻錄像的方法記錄學(xué)習(xí)活動(dòng)的畫面和聲音，以采集即時(shí)情感數(shù)據(jù)，通過視頻情感分析系統(tǒng)可以自動(dòng)化地識(shí)別學(xué)習(xí)者的情感序列;對(duì)于在線討論學(xué)習(xí)場(chǎng)景，情感數(shù)據(jù)來源主要是平臺(tái)記錄的文本和學(xué)習(xí)者自我報(bào)告，可以通過LSTM分類方法進(jìn)行快速有效的情感分類。若條件允許，給學(xué)習(xí)者佩戴生理手環(huán)或腦電耳麥，采集更多數(shù)據(jù)通道提供的信息，為多模態(tài)融合提供更多選擇。獲取精確的情感分類結(jié)果后，研究者可以采用滯后分析法從情感投入交互類型和學(xué)習(xí)階段兩個(gè)方面交叉分析情感投入的縱深數(shù)據(jù)，探索學(xué)習(xí)者情感投入隨時(shí)間和情境的變化規(guī)律及對(duì)協(xié)作學(xué)習(xí)效果的影響。

五、基于多模態(tài)數(shù)據(jù)的混合協(xié)作學(xué)習(xí)者

情感投入研究框架

基于多模態(tài)情感數(shù)據(jù)，本研究提出了包含情感數(shù)據(jù)的多模態(tài)融合、情感發(fā)生的情境解釋、情感狀態(tài)的動(dòng)態(tài)變化、情感發(fā)展的層級(jí)建構(gòu)和情感反饋的調(diào)節(jié)干預(yù)五個(gè)層面的混合協(xié)作學(xué)習(xí)者情感投入研究框架，如圖1所示。

（一）情感數(shù)據(jù)的多模態(tài)融合

學(xué)習(xí)者情感會(huì)通過在線討論文本、表情包、語音語調(diào)、面部表情、肢體動(dòng)作和自我報(bào)告等進(jìn)行顯性化表達(dá)，還可以借助傳感器設(shè)備對(duì)學(xué)習(xí)者情感進(jìn)行主動(dòng)感知，因而獲取情感數(shù)據(jù)的渠道豐富多樣。對(duì)多來源、多通道、多場(chǎng)景的情感數(shù)據(jù)進(jìn)行融合分析，已成為重點(diǎn)研究方向。情感模態(tài)融合的方式主要有特征級(jí)融合和決策級(jí)融合：特征級(jí)融合是指提取特征后立即通過拼接等方法集成特征，但容易過度擬合;決策級(jí)融合是指深度學(xué)習(xí)模型先對(duì)不同的模態(tài)進(jìn)行訓(xùn)練，再對(duì)多個(gè)模型輸出的結(jié)果執(zhí)行集成，但不允許分類器同時(shí)訓(xùn)練所有數(shù)據(jù)[23]。因此，出現(xiàn)了兩者混合的融合方法，在綜合兩者優(yōu)點(diǎn)的同時(shí)，也增加了模型結(jié)構(gòu)復(fù)雜度和訓(xùn)練難度。對(duì)于協(xié)作學(xué)習(xí)場(chǎng)域下的情感分析而言，一方面，利用多模態(tài)數(shù)據(jù)之間的信息互補(bǔ)進(jìn)行交叉驗(yàn)證，生成連貫、互證的證據(jù)圖景，可以降低單模態(tài)情感識(shí)別帶來的誤差，提升情感分析的準(zhǔn)確度;另一方面，多模態(tài)數(shù)據(jù)融合能夠突破時(shí)間和空間的限制，對(duì)不同場(chǎng)景下學(xué)習(xí)者的情感數(shù)據(jù)進(jìn)行全方位的采集，有助于實(shí)現(xiàn)對(duì)學(xué)習(xí)者情感發(fā)生的情境解釋和對(duì)情感狀態(tài)時(shí)序變化的追蹤與干預(yù)。

（二）情感發(fā)生的情境解釋

混合協(xié)作學(xué)習(xí)者的情感發(fā)生涉及成員對(duì)小組協(xié)作任務(wù)的關(guān)注、維持群體凝聚力的努力、任務(wù)執(zhí)行過程的調(diào)控等協(xié)作學(xué)習(xí)過程[24]，不論是愉快的還是倦怠的，學(xué)習(xí)情感都發(fā)生在融合物理、活動(dòng)、社交和心理等要素的情境之中，受情境的刺激并隨著情境的改變而變動(dòng)。尤其是在真實(shí)的物理學(xué)習(xí)空間中，這種情境性刺激對(duì)學(xué)習(xí)者情感投入的效用更加明顯。質(zhì)疑、協(xié)商、贊賞、反對(duì)、游離、沉默等行為可能會(huì)引發(fā)不同的學(xué)習(xí)情感。同時(shí)，學(xué)習(xí)者情感投入在混合協(xié)作學(xué)習(xí)過程中具有多種功能，包括提高或降低互動(dòng)質(zhì)量和認(rèn)知投入。認(rèn)知性評(píng)價(jià)也可以發(fā)動(dòng)或轉(zhuǎn)變情感體驗(yàn)。因此，在分析學(xué)習(xí)者產(chǎn)生了什么情感、為什么會(huì)產(chǎn)生這種情感、這種情感會(huì)有什么影響時(shí)，必須要考慮情感發(fā)生的情境，并解釋情感發(fā)生與情境要素之間的關(guān)聯(lián)，探究情感與認(rèn)知、行為的關(guān)系。多模態(tài)情感計(jì)算關(guān)注真實(shí)、開放、融合的學(xué)習(xí)情境，克服了以計(jì)算機(jī)學(xué)習(xí)平臺(tái)為媒介的情感分析過度關(guān)注數(shù)字化學(xué)習(xí)環(huán)境的局限。

（三）情感狀態(tài)的動(dòng)態(tài)變化

混合協(xié)作學(xué)習(xí)有一套相對(duì)確定的流程，在不同階段，學(xué)習(xí)者的情感投入可能會(huì)呈現(xiàn)出與認(rèn)知發(fā)展具有相關(guān)性的特征，如學(xué)習(xí)者情感投入隨著協(xié)同認(rèn)知的發(fā)展而發(fā)生從困惑到富有洞察力的轉(zhuǎn)變。因此，研究者需要關(guān)注混合協(xié)作學(xué)習(xí)全過程的情感投入在時(shí)間序列上的變化。有研究者發(fā)現(xiàn)，中性情感不會(huì)轉(zhuǎn)化為積極情感[25]，另有研究者則認(rèn)為，中性情感可以轉(zhuǎn)化為積極情感[9]，這種轉(zhuǎn)化規(guī)律尚待更多實(shí)證研究來驗(yàn)證。剖析情感投入的動(dòng)態(tài)變化機(jī)制，揭示學(xué)習(xí)者情感變化的規(guī)律，有助于教師根據(jù)學(xué)習(xí)者情感狀態(tài)變化情況，給予適當(dāng)?shù)膶W(xué)習(xí)干預(yù)，從而提升學(xué)習(xí)效果。

（四）情感發(fā)展的層級(jí)建構(gòu)

協(xié)作學(xué)習(xí)者通常涉及個(gè)體、小組、整體三個(gè)層級(jí)。研究者主要關(guān)注個(gè)體情感狀態(tài)的動(dòng)態(tài)變化、小組情感交互結(jié)構(gòu)與階段特征、整體情感投入的評(píng)估及對(duì)學(xué)習(xí)效果的影響。個(gè)體情感狀態(tài)動(dòng)態(tài)變化的功能性影響包括兩個(gè)方面：一是改變自身參與認(rèn)知任務(wù)的投入度;二是改變小組社交情感氛圍，促使同伴做出情感回應(yīng)。組內(nèi)和組間的情感交互為衡量小組協(xié)作質(zhì)量增加了一個(gè)評(píng)價(jià)指標(biāo)。在組內(nèi)互動(dòng)時(shí)，小組成員的社交情感體驗(yàn)和他們對(duì)互動(dòng)的解釋與評(píng)價(jià)決定了協(xié)作學(xué)習(xí)期間小組整體情感動(dòng)機(jī)。組間對(duì)比可以探究學(xué)習(xí)情感投入度高低對(duì)協(xié)同認(rèn)知水平影響的程度。歸納多個(gè)小組情感發(fā)展階段的共性特征，有助于構(gòu)建混合協(xié)作學(xué)習(xí)的情感發(fā)展模型。

（五）情感反饋的調(diào)節(jié)干預(yù)

準(zhǔn)確的反饋能夠引導(dǎo)學(xué)習(xí)者及時(shí)感知、調(diào)整學(xué)習(xí)狀態(tài)，提升元認(rèn)知意識(shí)。混合協(xié)作學(xué)習(xí)中，學(xué)習(xí)者的情感互動(dòng)既來自教師，也來自同伴，起到調(diào)節(jié)和干預(yù)學(xué)習(xí)進(jìn)程的作用。同伴反饋使學(xué)習(xí)者作為信息源相互影響，維持群體共享的社會(huì)化調(diào)節(jié)。教師反饋主要針對(duì)消極情緒進(jìn)行預(yù)警，采取干預(yù)措施引導(dǎo)學(xué)習(xí)者轉(zhuǎn)向積極情緒。調(diào)節(jié)干預(yù)是為了保證學(xué)習(xí)者處在適當(dāng)?shù)那楦袪顟B(tài)和維持小組良好的情感氛圍，從而提高交互質(zhì)量，促進(jìn)認(rèn)知深入發(fā)展。同時(shí)，應(yīng)盡量避免非必要的干預(yù)造成學(xué)習(xí)者陷入兩相矛盾的情緒漩渦，以免增添心理負(fù)荷，妨礙知識(shí)建構(gòu)。

六、基于多模態(tài)數(shù)據(jù)的混合協(xié)作學(xué)習(xí)者

情感投入分析路徑

聚焦交互分析和內(nèi)容分析的協(xié)作學(xué)習(xí)分析，目的在于改善協(xié)作學(xué)習(xí)過程，提升學(xué)習(xí)質(zhì)量。收集多模態(tài)數(shù)據(jù)進(jìn)行情感投入分析，一方面幫助學(xué)習(xí)者洞悉協(xié)作狀態(tài)和過程，及時(shí)發(fā)現(xiàn)問題并作出調(diào)整;另一方面以數(shù)據(jù)化的證據(jù)探索協(xié)作學(xué)習(xí)的內(nèi)在規(guī)律，支撐協(xié)作學(xué)習(xí)的設(shè)計(jì)與應(yīng)用。為此，本研究提出基于多模態(tài)數(shù)據(jù)的混合協(xié)作學(xué)習(xí)者情感投入分析路徑，如圖2所示。

（一）改善混合協(xié)作學(xué)習(xí)過程

1. 融合多模態(tài)數(shù)據(jù)，輸出可視化的情感狀態(tài)識(shí)別結(jié)果

根據(jù)前文所述，通過多模態(tài)情感計(jì)算技術(shù)，將線上線下的學(xué)習(xí)情感投入信息進(jìn)行收集和特征提取，根據(jù)樣本容量和模態(tài)特性選擇適當(dāng)?shù)哪B(tài)融合方法與建模方法，輸出學(xué)習(xí)者和協(xié)作小組的情感狀態(tài)識(shí)別結(jié)果，呈現(xiàn)方式可采用可視化的氣泡圖、堆積條形圖和箱線圖等動(dòng)態(tài)式的情感儀表盤和情緒地圖，為師生呈現(xiàn)真實(shí)可察的情感歷程，小組成員可以看到自身的情緒起伏和小組的情感氛圍變化?？梢暬瘍x表盤還可以允許學(xué)習(xí)者修正數(shù)據(jù)或添加注釋，使呈現(xiàn)結(jié)果更具有解釋力。

2. 根據(jù)環(huán)境、認(rèn)知、行為、動(dòng)機(jī)及任務(wù)等因素，進(jìn)行情感歸因

人的學(xué)習(xí)過程是認(rèn)知、行為和情感情緒的相互作用過程，學(xué)習(xí)環(huán)境、認(rèn)知水平、行為選擇、學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)任務(wù)的復(fù)雜度與完成度等因素都會(huì)對(duì)學(xué)習(xí)者的情感情緒產(chǎn)生影響?？刂啤獌r(jià)值理論認(rèn)為，學(xué)習(xí)者對(duì)學(xué)習(xí)活動(dòng)及結(jié)果的主觀控制感和價(jià)值感是影響學(xué)習(xí)情緒產(chǎn)生和變化的兩個(gè)核心要素，學(xué)習(xí)者想要獲得什么樣的成就則是控制感和價(jià)值感的基礎(chǔ)[11]。社會(huì)性交互、認(rèn)知性交互是觸發(fā)混合協(xié)作學(xué)習(xí)情感的交互性因素。因此，從影響混合協(xié)作學(xué)習(xí)情感投入的因素入手，分析學(xué)習(xí)者與小組產(chǎn)生某種情感狀態(tài)或者發(fā)生某種情感變化的原因，判斷情感與認(rèn)知、行為等的因果關(guān)系，以便對(duì)學(xué)習(xí)者和小組實(shí)施有效的反饋，增強(qiáng)學(xué)習(xí)者成就情緒的控制感和價(jià)值感。

3. 預(yù)防情感危機(jī)，采取反饋與調(diào)節(jié)措施

結(jié)合協(xié)作任務(wù)與情感歸因，動(dòng)態(tài)干預(yù)與調(diào)節(jié)學(xué)習(xí)過程。通過可視化工具將協(xié)作過程的組員認(rèn)知、情感狀態(tài)和協(xié)同投入情況及時(shí)反饋和共享給組員[26]。既可以幫助學(xué)習(xí)者自我評(píng)價(jià)，也可以對(duì)團(tuán)隊(duì)成員進(jìn)行評(píng)價(jià)，促進(jìn)個(gè)體獨(dú)立反思和共享反思，引導(dǎo)學(xué)習(xí)者自我調(diào)節(jié)和小組共享的社會(huì)化調(diào)節(jié)，從而形成彼此深刻理解的學(xué)習(xí)共同體。認(rèn)知沖突是推動(dòng)知識(shí)重組的重要環(huán)節(jié)，但是在發(fā)生認(rèn)知沖突的過程中很可能會(huì)造成人際關(guān)系的緊張乃至敵對(duì)。教師可以根據(jù)學(xué)習(xí)者的異常情感峰值（如憤怒）及時(shí)采取干預(yù)措施，如鼓勵(lì)、開玩笑，化解學(xué)習(xí)者的情感危機(jī)。針對(duì)消極情感，可以采用任務(wù)難度調(diào)節(jié)、適當(dāng)工具支持、材料情感設(shè)計(jì)等干預(yù)策略，促使學(xué)習(xí)者的情感轉(zhuǎn)向中性或積極狀態(tài)。

（二）探索混合協(xié)作學(xué)習(xí)規(guī)律

1. 情感投入與人際互動(dòng)的關(guān)系

人際互動(dòng)包含人際溝通和人際關(guān)系兩個(gè)維度。通過溝通，組員可以交換觀念、態(tài)度和行為等多方面的信息。合理有效的溝通能夠加深彼此的情感聯(lián)系;溝通不當(dāng)則可能造成組員關(guān)系變得疏遠(yuǎn)。不同的人際關(guān)系會(huì)讓人產(chǎn)生不同的情感體驗(yàn)。借助社會(huì)網(wǎng)絡(luò)分析技術(shù)將組員互動(dòng)的疏密程度可視化，結(jié)合學(xué)習(xí)者與協(xié)作組的情感投入儀表盤分析人際互動(dòng)與情感投入的關(guān)系。研究表明，群體內(nèi)情感支持對(duì)構(gòu)成認(rèn)知存在、社交存在和教學(xué)存在有著極為重要的作用，良好持續(xù)的師生互動(dòng)、生生互動(dòng)可以提供積極而顯著的情感支持[27]。

2. 情感投入與學(xué)習(xí)資源的關(guān)系

混合協(xié)作學(xué)習(xí)的學(xué)習(xí)資源涵蓋觀點(diǎn)表達(dá)工具、可供查找資料的知識(shí)庫、明確任務(wù)角色流程的協(xié)作腳本、監(jiān)控和評(píng)估學(xué)習(xí)過程的評(píng)價(jià)反思工具、具備群體感知功能的社會(huì)調(diào)節(jié)工具、支持自我調(diào)節(jié)的自適應(yīng)學(xué)習(xí)系統(tǒng)等。在學(xué)習(xí)資源尤其是技術(shù)工具的耦合下，組員交流的客觀阻礙降到最低，便捷的社交工具和協(xié)作工具有助于促進(jìn)學(xué)習(xí)者的情感表達(dá)，增加良性情感體驗(yàn)。企圖偷懶者、不良情緒者（如游離、暴躁、失望等）由可視化學(xué)習(xí)分析工具呈現(xiàn)給教師或助教進(jìn)而施加干預(yù)，其他組員也可以給予其友情提醒，使其獲得情感支持，將注意力轉(zhuǎn)向協(xié)作任務(wù)，從而改善個(gè)別組員投入度低、搭便車、無建構(gòu)的現(xiàn)象。

3. 情感投入與認(rèn)知發(fā)展的關(guān)系

協(xié)同知識(shí)建構(gòu)需要不同觀點(diǎn)進(jìn)行碰撞融合，然而事實(shí)表明，學(xué)習(xí)者往往很難進(jìn)行深入辯論。很多時(shí)候辯論不是自然發(fā)生的，需要教師引導(dǎo)學(xué)習(xí)者思考并營(yíng)造積極發(fā)聲的氛圍。在具有較強(qiáng)凝聚力和歸屬感的群體中，組員能積極參與辯論。學(xué)習(xí)者的情感投入一定程度上決定了其對(duì)群體的歸屬感、信任感和參與知識(shí)建構(gòu)的主動(dòng)性。然而，情感投入度并非越高越好。例如：高喚醒度的情緒沖突不利于團(tuán)隊(duì)協(xié)作，因?yàn)榻M員往往傾向于停止辯論來避免緊張局勢(shì);在高喚醒度的愉快氛圍下，持有不同觀點(diǎn)者可能會(huì)由于不愿意破壞氣氛而保留意見。因此，越來越多的研究者使用情感調(diào)節(jié)工具培養(yǎng)學(xué)習(xí)者的元認(rèn)知意識(shí)，協(xié)調(diào)情感投入與認(rèn)知發(fā)展的關(guān)系。

七、結(jié)? ?語

本研究基于混合協(xié)作學(xué)習(xí)場(chǎng)景存在的多模態(tài)情感數(shù)據(jù)，構(gòu)建了混合協(xié)作學(xué)習(xí)者情感投入的研究框架，闡述了分析路徑，以期提升學(xué)習(xí)者投入度，實(shí)現(xiàn)高質(zhì)量的協(xié)同知識(shí)建構(gòu)。后續(xù)研究擬在真實(shí)協(xié)作情境中采集實(shí)證數(shù)據(jù)，對(duì)提出的研究框架和分析路徑進(jìn)行驗(yàn)證和優(yōu)化，并進(jìn)一步探索情感在協(xié)作學(xué)習(xí)中的作用機(jī)制。

[參考文獻(xiàn)]

[1] 祝智庭，胡姣.技術(shù)賦能后疫情教育創(chuàng)變：線上線下融合教學(xué)新樣態(tài)[J].開放教育研究，2021，27（1）：13-23.

[2] LEI M， MEDWELL J. Impact of the COVID-19 pandemic on student teachers： how the shift to online collaborative learning affects student teachers' learning and future teaching in a Chinese context[J]. Asia pacific education review， 2021，22（2）：169-179.

[3] 李海峰，王煒.面向問題解決的在線協(xié)作知識(shí)建構(gòu)[J].電化教育研究，2018，39（1）：36-41.

[4] 李艷燕，彭禹，康佳，等.在線協(xié)作學(xué)習(xí)中小組學(xué)習(xí)投入的分析模型構(gòu)建及應(yīng)用[J].中國(guó)遠(yuǎn)程教育，2020（2）：40-48.

[5] REIS R C D， ISOTANI S， RODRIGUEZ C L， et al. Affective states in computer-supported collaborative learning： studying the past to drive the future[J].Computers & education， 2018，120（5）：29-50.

[6] HUANG C Q， HAN Z M， LI M， et al. Sentiment evolution with interaction levels in blended learning environments： using learning analytics and epistemic network analysis[J]. Australasian journal of educational technology， 2021，37（2）：81-95.

[7] SAKR M， JEWITT C， PRICE S. Mobile experiences of historical place： a multimodal analysis of emotional engagement[J]. Journal of the learning sciences， 2016，25（1）：51-92.

[8] OUYANG F， CHANG Y H. The relationships between social participatory roles and cognitive engagement levels in online discussions[J]. British journal of educational technology， 2019，50（3）：1396-1414.

[9] LEE E， PATE J A， COZART D. Autonomy support for online students[J]. Techtrends， 2015，59（4）：54-61.

[10] FREDRICKS J A， BLUMENFELD P C， PARIS A H. School engagement： potential of the concept， state of the evidence[J]. Review of educational research， 2004，74（1）：59-109.

[11] PEKRUN R， LICHTENFELD S， MARSH H W， et al. Achievement emotions and academic performance： longitudinal models of reciprocal effects[J]. Child development， 2017，88（5）：1653-1670.

[12] ISOH？魧T？魧L？魧 J， N？魧YKKI P， J？魧RVEL？魧 S. Cognitive and socio-emotional interaction in collaborative learning： exploring fluctuations in students' participation[J]. Scandinavian journal of educational research， 2019（5）：1-12.

[13] HARRIS S C， ZHENG L， KUMAR V. Multi-dimensional sentiment classification in online learning environment[C]//2014 IEEE Sixth International Conference on Technology for Education. Clappana： IEEE， 2014.

[14] D' MELLO S， LEHMA B， PEKRUN R， et al. Confusion can be beneficial for learning[J]. Learning and instruction， 2014，29（1）：153-170.

[15] 劉君玲，張文蘭，劉斌.在線協(xié)作交互文本編碼體系的設(shè)計(jì)與應(yīng)用——基于情緒交互視角的研究[J].電化教育研究，2020，41（6）：53-59.

[16] HUANG C Q， HAN Z M， LI M X， et al. Investigating students' interaction patterns and dynamic learning sentiments in online discussions[J]. Computers & education， 2019，140（10）：1-18.

[17] COREY M S， COREY G， COREY C. Groups： process and practice[M]. 10th ed. Belmont， CA： Brooks/Cole-Cengage Learning， 2010.

[18] HOD Y， KATZ S. Fostering highly engaged knowledge building communities in socioemotional and sociocognitive hybrid learning spaces[J]. British journal of educational technology， 2020，51（4）：1117-1135.

[19] 周進(jìn)，葉俊民，李超.多模態(tài)學(xué)習(xí)情感計(jì)算：動(dòng)因、框架與建議[J].電化教育研究，2021，42（7）：26-32.

[20] 劉繼明，張培翔，劉穎，等.多模態(tài)的情感分析技術(shù)綜述[J].計(jì)算機(jī)科學(xué)與探索，2021，15（7）：1165-1182.

[21] 饒?jiān)?，吳連偉，王一鳴，等.基于語義分析的情感計(jì)算技術(shù)研究進(jìn)展[J].軟件學(xué)報(bào)，2018，29（8）：2397-2426.

[22] 傅小蘭.情緒心理學(xué)[M].上海：華東師范大學(xué)出版社，2015.

[23] 何俊，張彩慶，李小珍，等.面向深度學(xué)習(xí)的多模態(tài)融合技術(shù)研究綜述[J].計(jì)算機(jī)工程，2020，46（5）：1-11.

[24] 馬志強(qiáng)，岳蕓竹，王文秋.基于多模態(tài)交互信息的協(xié)作學(xué)習(xí)投入分析[J].現(xiàn)代教育技術(shù)，2021，31（1）：47-53.

[25] 王云，李志霞，白清玉，等.在線討論中動(dòng)態(tài)學(xué)習(xí)情緒和認(rèn)知行為序列的關(guān)系研究[J].電化教育研究，2020，41（6）：60-67.

[26] 柴陽麗，陳向東，陳佳雯.CSCL中的團(tuán)隊(duì)反思及其支架開發(fā)[J].電化教育研究，2021，42（4）：93-100.

[27] NURIA H S， PABLO C， MUNOZ C. Computer-supported collaborative learning： an analysis of the relationship between interaction， emotional support and online collaborative tools[J]. Computers & education， 2019，138（9）：1-12.