周進(jìn)　葉俊民　李超

[摘? ?要] 學(xué)習(xí)情感是影響學(xué)生認(rèn)知加工與學(xué)習(xí)效果的重要因素，如何利用多模態(tài)數(shù)據(jù)開展學(xué)習(xí)情感計算是當(dāng)前亟待解決的問題。文章在分析情感計算源起與多模態(tài)數(shù)據(jù)融合的基礎(chǔ)上，闡述了多模態(tài)情感計算的發(fā)展動因，構(gòu)建了多模態(tài)學(xué)習(xí)情感計算的研究框架，包括以教育場景為導(dǎo)向采集情感數(shù)據(jù)、依據(jù)情感模型展開建模與識別、利用可視化方式表達(dá)與反饋情感、結(jié)合情感歸因來干預(yù)與調(diào)節(jié)學(xué)習(xí)過程等?；诂F(xiàn)有研究案例，將多模態(tài)學(xué)習(xí)情感計算的應(yīng)用歸納為開發(fā)學(xué)習(xí)情感識別系統(tǒng)、增強(qiáng)智能學(xué)習(xí)工具、支持學(xué)習(xí)干預(yù)與決策、探索學(xué)習(xí)情感的作用機(jī)制等方面。未來多模態(tài)學(xué)習(xí)情感計算應(yīng)平衡數(shù)據(jù)采集侵入性與真實(shí)性、提升數(shù)據(jù)模型可解釋性、綜合衡量學(xué)習(xí)狀態(tài)以及拓展教育應(yīng)用探索與創(chuàng)新。

[關(guān)鍵詞] 情感計算; 多模態(tài); 人工智能; 學(xué)習(xí)情感; 學(xué)習(xí)分析

[中圖分類號] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡介] 周進(jìn)（1993—），男，湖北鄂州人。博士研究生，主要從事學(xué)習(xí)分析研究。E-mail：jinzhou2019@mails.ccnu.edu.cn。葉俊民為通訊作者，E-mail：jmye@mail.ccnu.edu.cn。

一、引? ?言

人類情感與認(rèn)知加工緊密關(guān)聯(lián)，對記憶、注意、思維等過程起調(diào)節(jié)作用，可以顯著影響學(xué)習(xí)結(jié)果[1]。當(dāng)前人工智能與教育深度融合，賦予教學(xué)創(chuàng)新與教育變革前所未有的歷史機(jī)遇，但同時給學(xué)生社會情感學(xué)習(xí)帶來沖擊[2]，情感教育與情感交互的需求日益凸顯。此外，智能教育要實(shí)現(xiàn)全面感知和分析學(xué)習(xí)過程，情感是不可忽視的重要因素。而情感計算通過計算機(jī)系統(tǒng)識別、推理與表達(dá)人類情感[3]，是感知與理解學(xué)習(xí)情感、增強(qiáng)情感交互、促進(jìn)人機(jī)協(xié)同的重要途徑，也是當(dāng)前教育研究較為活躍的前沿領(lǐng)域。

教育智能時代，多模態(tài)數(shù)據(jù)與機(jī)器學(xué)習(xí)融合有助于理解和分析復(fù)雜的學(xué)習(xí)現(xiàn)象，比單一數(shù)據(jù)源更能深入刻畫學(xué)習(xí)者的相關(guān)學(xué)習(xí)行為[4]。從這個意義上講，多模態(tài)數(shù)據(jù)已成為學(xué)習(xí)分析的必要條件與發(fā)展趨勢[5]。學(xué)習(xí)情感作為學(xué)習(xí)分析的重要維度，如何利用多模態(tài)數(shù)據(jù)開展情感計算，以實(shí)現(xiàn)教學(xué)過程中對學(xué)習(xí)情感的準(zhǔn)確評估與跟蹤反饋是當(dāng)下亟待解決的問題。基于此，文章聚焦于多模態(tài)學(xué)習(xí)情感計算，從動因、研究框架、應(yīng)用案例與發(fā)展建議四個模塊，探討多模態(tài)數(shù)據(jù)賦能情感計算的方法與趨勢，為學(xué)習(xí)情感的相關(guān)研究與實(shí)踐提供參考與借鑒。

二、多模態(tài)學(xué)習(xí)情感計算及其動因

（一）情感計算的源起

在教育領(lǐng)域中，情感分析研究肇始于20世紀(jì)30年代，研究對象集中于學(xué)習(xí)過程中的焦慮情緒[6]。這期間形成了分析焦慮情緒的相關(guān)方法與理論，比如考試成就焦慮的心理學(xué)分析方法、成就動機(jī)理論等。經(jīng)過半個多世紀(jì)的發(fā)展，情緒動機(jī)的學(xué)習(xí)研究引起了教育領(lǐng)域的關(guān)注，隨后學(xué)界逐步拓展與學(xué)習(xí)過程相關(guān)的情感研究。1997年皮卡德教授的標(biāo)志性著作《情感計算》正式出版[3]，直接推動了情感計算的發(fā)展及其在各領(lǐng)域的應(yīng)用。相關(guān)研究聚焦于用技術(shù)實(shí)現(xiàn)情感的檢測、識別與反饋，試圖在計算機(jī)與人類情感間建立聯(lián)系，以促進(jìn)人與工具間的情感交互。然而，受限于當(dāng)時的技術(shù)條件等各方面因素，情感計算教育應(yīng)用并未引起廣泛關(guān)注。

邁入21世紀(jì)，在智能技術(shù)與教育神經(jīng)科學(xué)推動下，學(xué)習(xí)情感計算的相關(guān)研究與應(yīng)用呈現(xiàn)快速發(fā)展態(tài)勢。國際學(xué)術(shù)界加強(qiáng)學(xué)習(xí)情感與認(rèn)知過程的關(guān)系探索，并繼承與創(chuàng)新已有學(xué)習(xí)理論，形成了多媒體學(xué)習(xí)的認(rèn)知情感理論（CATLM）與成就情緒的控制—價值理論（CVT）。認(rèn)知情感理論認(rèn)為，多媒體學(xué)習(xí)材料的情緒設(shè)計能影響學(xué)習(xí)者的認(rèn)知加工、態(tài)度和動機(jī)，同時學(xué)習(xí)者自身特征也是影響多媒體學(xué)習(xí)情感的重要因素[7]。而控制—價值理論闡述了學(xué)習(xí)過程中所經(jīng)歷情緒的前因與結(jié)果，能作為技術(shù)賦能環(huán)境下學(xué)習(xí)情感研究的元理論[6]?？梢哉f，上述理論進(jìn)一步推動了情感計算在教育領(lǐng)域的發(fā)展與應(yīng)用，為后續(xù)相關(guān)研究提供了理論指導(dǎo)。

進(jìn)入2010年后，情感計算被廣泛應(yīng)用于教育領(lǐng)域[1]，期間各類學(xué)習(xí)系統(tǒng)利用情感計算技術(shù)發(fā)展起來，代表性的有情感導(dǎo)學(xué)系統(tǒng)（ATS）。該類系統(tǒng)通過采集學(xué)習(xí)者面部、語音等數(shù)據(jù)，利用機(jī)器學(xué)習(xí)算法分析與處理情感信息，以識別與反饋情感狀態(tài)，進(jìn)而為學(xué)習(xí)者提供個性化導(dǎo)學(xué)策略。此外，學(xué)習(xí)情感計算也從單模態(tài)走向多模態(tài)數(shù)據(jù)融合，其中，深度學(xué)習(xí)、便攜式傳感技術(shù)以及多模態(tài)學(xué)習(xí)分析起到了主要助推作用。

（二）多模態(tài)學(xué)習(xí)情感計算概述

模態(tài)是屬于身體或情境中一種可衡量的屬性，其數(shù)據(jù)獲取與傳遞是以信號通道的方式實(shí)現(xiàn)，如麥克風(fēng)可以對聲音（信號通道）進(jìn)行采樣以檢測語音（模態(tài)），而多模態(tài)是將多信號通道的數(shù)據(jù)進(jìn)行融合[8-9]。在教育領(lǐng)域中，將多模態(tài)數(shù)據(jù)應(yīng)用于教育研究更符合人類交流的本質(zhì)，滿足了跨物理與網(wǎng)絡(luò)環(huán)境下的建模需求，且新興技術(shù)的發(fā)展為教育數(shù)據(jù)采集與處理提供了基礎(chǔ)[8]。結(jié)合機(jī)器學(xué)習(xí)算法與豐富的學(xué)習(xí)數(shù)據(jù)，多模態(tài)分析有助于在各類環(huán)境下對學(xué)習(xí)行為映射的多層次信息進(jìn)行推理與診斷，其中最突出的用途之一是預(yù)測學(xué)習(xí)情感[10]。一項元分析顯示，基于多模態(tài)數(shù)據(jù)的情感識別效果優(yōu)于單模態(tài)數(shù)據(jù)，其平均準(zhǔn)確度提升了9.83%[11]，因而利用多模態(tài)數(shù)據(jù)表征學(xué)習(xí)情感已成為情感計算領(lǐng)域的發(fā)展趨勢。

多模態(tài)學(xué)習(xí)情感計算是通過采集多模態(tài)數(shù)據(jù)，利用數(shù)據(jù)融合與建模方法整合多通道情感信息，發(fā)現(xiàn)學(xué)習(xí)過程中真實(shí)的情感變化過程，幫助研究者與實(shí)踐者理解復(fù)雜的學(xué)習(xí)行為，是突破教育發(fā)展瓶頸與優(yōu)化學(xué)習(xí)理論的重要途徑。當(dāng)前，多模態(tài)情感測量涉及心理、行為和生理層面，涵蓋文本、語音、面部表情、身體姿態(tài)、生理信息等數(shù)據(jù)維度。其中，心理測量是運(yùn)用自我報告的方式獲取學(xué)習(xí)者主觀的情感體驗(yàn);行為測量是利用攝像機(jī)、麥克風(fēng)、鼠標(biāo)、鍵盤等工具采集相關(guān)數(shù)據(jù)來分析學(xué)習(xí)情感狀態(tài);而生理測量則是采用傳感器捕捉學(xué)習(xí)者生理反應(yīng)。通過采用多模態(tài)數(shù)據(jù)融合算法，將多通道信息融合實(shí)現(xiàn)對學(xué)習(xí)情感的識別，在此基礎(chǔ)上進(jìn)行情感反饋與學(xué)習(xí)干預(yù)。

（三）多模態(tài)學(xué)習(xí)情感計算的發(fā)展動因

在過去較長時期內(nèi)，教育研究常用自我報告或行為觀察的方式來測量學(xué)習(xí)情感，但分析結(jié)果存在主觀不確定性且準(zhǔn)確率不高。隨著傳感技術(shù)與人工智能的融合應(yīng)用，通過采集多模態(tài)數(shù)據(jù)來客觀挖掘?qū)W習(xí)情感已成為教育研究的發(fā)展方向。當(dāng)前，傳感設(shè)備日趨微型化、智能化、集成化[12]，極大地提升了數(shù)據(jù)收集的便捷性。將傳感設(shè)備應(yīng)用于教育研究中，可以實(shí)時采集學(xué)習(xí)過程中的生理數(shù)據(jù)，包括腦電、皮膚電、肌電、心率、血氧等，這為多模態(tài)情感計算提供了更多的數(shù)據(jù)通道。同時，面對大規(guī)模的多源異構(gòu)數(shù)據(jù)，深度學(xué)習(xí)算法為數(shù)據(jù)處理與分析提供了技術(shù)支持。通過特征選擇、數(shù)據(jù)建模與融合策略，進(jìn)一步提升多模態(tài)情感數(shù)據(jù)的識別性能。換言之，深度學(xué)習(xí)與傳感技術(shù)的發(fā)展是促進(jìn)多模態(tài)學(xué)習(xí)情感計算發(fā)展的外部動因。

20世紀(jì)，受笛卡爾的身心二元論影響，學(xué)者常忽視了學(xué)習(xí)情感在認(rèn)知加工中的調(diào)節(jié)作用[13]，導(dǎo)致教育研究陷入“重認(rèn)知輕情感”的現(xiàn)實(shí)局面。近年來，學(xué)界逐步認(rèn)識到學(xué)習(xí)情感的重要價值，并呼吁關(guān)注學(xué)習(xí)情感與優(yōu)化學(xué)習(xí)理論[14]。在技術(shù)賦能學(xué)習(xí)環(huán)境下，學(xué)習(xí)情感顯著影響學(xué)生的學(xué)習(xí)投入、認(rèn)知加工、學(xué)習(xí)結(jié)果等方面。例如在多媒體環(huán)境中，學(xué)習(xí)材料的情緒設(shè)計可以提高學(xué)習(xí)投入，有助于學(xué)習(xí)者的深層次加工[15]。在教育神經(jīng)科學(xué)研究中，利用功能性磁共振成像（FMRI）發(fā)現(xiàn)情緒反應(yīng)是通過激活杏仁核來增強(qiáng)記憶能力[16]，進(jìn)一步證實(shí)了學(xué)習(xí)情感與認(rèn)知加工存在緊密聯(lián)系。在學(xué)習(xí)結(jié)果方面，情感是影響學(xué)習(xí)的關(guān)鍵因素，尤其在學(xué)習(xí)決策、反思等方面起著重要作用[17]。因此，為進(jìn)一步探尋學(xué)習(xí)情感在學(xué)習(xí)過程中的作用機(jī)制，真實(shí)學(xué)習(xí)環(huán)境下可靠的情感識別方法至關(guān)重要，而多模態(tài)情感計算為教育研究中的情感識別提供了有力工具與方法?？梢哉f，學(xué)習(xí)情感的潛在作用是推動多模態(tài)情感計算發(fā)展的內(nèi)在動因。

三、多模態(tài)學(xué)習(xí)情感計算的研究框架

多模態(tài)數(shù)據(jù)分析遵循數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)融合、數(shù)據(jù)利用三個關(guān)鍵步驟，涉及數(shù)據(jù)采集與標(biāo)注、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)組織、數(shù)據(jù)整合、數(shù)據(jù)分析、可視化、決策七個主要過程[18]。作為多模態(tài)數(shù)據(jù)分析的應(yīng)用領(lǐng)域，多模態(tài)學(xué)習(xí)情感計算同樣遵循此過程。本研究在繼承情感計算研究框架[19]的基礎(chǔ)上，結(jié)合多模態(tài)數(shù)據(jù)分析過程，并參考多模態(tài)學(xué)習(xí)分析的概念模型[8]，構(gòu)建了多模態(tài)學(xué)習(xí)情感計算的研究框架（如圖1所示）。該框架以教育場景為中心，利用相關(guān)工具采集多模態(tài)情感數(shù)據(jù)，根據(jù)情感模型識別情感狀態(tài)，并以可視化方式反饋情感信息，進(jìn)而提供學(xué)習(xí)干預(yù)與服務(wù)。

（一）以教育場景為導(dǎo)向，采集多模態(tài)情感數(shù)據(jù)

在智能技術(shù)驅(qū)動下，情感計算已由在線場景逐步轉(zhuǎn)向課堂情境，呈現(xiàn)多元化應(yīng)用的趨勢[20]。不同教育場景中，情感數(shù)據(jù)采集的方式有所差別。根據(jù)語言與非語言表達(dá)方式，結(jié)合教育研究中常用的傳感設(shè)備，多模態(tài)情感數(shù)據(jù)涉及文本、語音、圖像與生理層面。文本信息可以從論壇、社交平臺、測驗(yàn)等途徑獲取，并利用情感分析方法[21]挖掘潛在的觀點(diǎn)與情感傾向;語音數(shù)據(jù)能展現(xiàn)教學(xué)情境下學(xué)生自然流暢的內(nèi)容表達(dá)，通過分析聲學(xué)、語言、上下文信息等特征來獲取語音情感信息;圖像識別技術(shù)應(yīng)用于面部表情、身體姿態(tài)、手勢等維度分析，是多模態(tài)分析中常用的方法，其數(shù)據(jù)來源是利用攝像頭采集學(xué)習(xí)過程數(shù)據(jù);生理數(shù)據(jù)主要來源于心臟、大腦和皮膚，借助傳感設(shè)備采集心率、腦電、皮膚電等信息，獲取身體受到生理刺激時的情緒反應(yīng)。

在多模態(tài)情感數(shù)據(jù)采集過程中，相關(guān)數(shù)據(jù)可以源自學(xué)習(xí)行為，也可以從學(xué)習(xí)環(huán)境中提取。比如學(xué)習(xí)過程中學(xué)生面部朝向、身體位置、注視方向等。數(shù)據(jù)采集過程需要確定合適的傳感設(shè)備與工具，以捕獲特定學(xué)習(xí)場景中選定的模態(tài)信息，并設(shè)計用于序列化多個傳感器數(shù)據(jù)流的軟件體系結(jié)構(gòu)。

（二）依據(jù)情感模型，建模與識別情感狀態(tài)

情感生成于人與環(huán)境的相互作用過程，反映在多個維度的變化（神經(jīng)生物學(xué)變化、生理反應(yīng)、肢體表達(dá)、行為趨向等）中，并且受個體差異（如情感特質(zhì)）的調(diào)節(jié)。在情感信息采集的基礎(chǔ)上，通過數(shù)據(jù)標(biāo)注與分類，實(shí)現(xiàn)多模態(tài)學(xué)習(xí)情感識別，其過程如圖2所示。從數(shù)據(jù)表征的角度看，學(xué)習(xí)情感標(biāo)簽可以是數(shù)值區(qū)間或離散范疇，這取決于所采納的情感模型。常用的情感模型有基本情感、維度情感與學(xué)業(yè)情感。一般而言，數(shù)據(jù)標(biāo)注有專家觀察、學(xué)習(xí)者自我報告兩種方法，每種方法都存在各自的優(yōu)點(diǎn)與不足，并且都受到主觀偏見的影響。專家觀察可以不影響學(xué)習(xí)進(jìn)程，但成本高、難組織;而自我報告會產(chǎn)生不平衡的情感類別分布，意味著需要壓縮采樣（Down-sampling），可能會造成數(shù)據(jù)丟失[22]，但該方法即時報告的數(shù)據(jù)比回顧評估數(shù)據(jù)的可信度要高[23]。

從人工標(biāo)注的學(xué)習(xí)標(biāo)簽中建立數(shù)據(jù)模型，需要考慮情感特征、數(shù)據(jù)融合、情感預(yù)測與結(jié)果驗(yàn)證。由于多模態(tài)數(shù)據(jù)中并非所有特征對機(jī)器學(xué)習(xí)都有意義，特征選擇與提取是降低數(shù)據(jù)噪音、提高數(shù)據(jù)質(zhì)量的重要途徑，其方法有主成分分析、隨機(jī)深林、貝葉斯方法等;在數(shù)據(jù)融合階段，需要對不同模態(tài)信息進(jìn)行整合，其策略包括特征融合、決策融合、模型融合等;在此基礎(chǔ)上，運(yùn)用分類算法預(yù)測學(xué)習(xí)情感結(jié)果;最后驗(yàn)證階段，將預(yù)測結(jié)果與人工標(biāo)注結(jié)果進(jìn)行比較，以調(diào)整與優(yōu)化訓(xùn)練參數(shù)，進(jìn)而確定所建立的數(shù)據(jù)模型，便于后續(xù)新的原始數(shù)據(jù)的分析與處理。

（三）可視化表達(dá)與反饋學(xué)習(xí)情感

由于學(xué)習(xí)是極為復(fù)雜的過程，涉及情感、認(rèn)知等層面，以可視化方式表達(dá)學(xué)習(xí)情感有助于研究者理解情感與認(rèn)知的演化機(jī)制。對于學(xué)習(xí)者而言，可視化反饋能促進(jìn)與學(xué)習(xí)系統(tǒng)的情感交互，提升系統(tǒng)交互友好性與學(xué)習(xí)體驗(yàn)，彌合“情感缺失”的局限;同時，情感表達(dá)能對學(xué)習(xí)心理進(jìn)行調(diào)整與優(yōu)化，實(shí)現(xiàn)對學(xué)習(xí)過程的自我監(jiān)督、調(diào)控與反省;可視化情感還能培養(yǎng)個體的情感技能，尤其在自閉癥兒童的情感教育中具有無法比擬的價值潛能。

當(dāng)前，學(xué)習(xí)情感可從虛擬與實(shí)體兩個層面實(shí)現(xiàn)可視化表達(dá)與反饋。虛擬層面主要以儀表盤與擬人表情的方式呈現(xiàn)。儀表盤是采用圖示和文本將情感動態(tài)變化過程呈現(xiàn)出來，幫助教師全面了解學(xué)習(xí)過程;擬人表情通過模擬學(xué)習(xí)過程中的面部表情，以擬人方式實(shí)時表達(dá)情感狀態(tài)，能激發(fā)學(xué)生的學(xué)習(xí)興趣與熱情。在實(shí)體層面，教育機(jī)器人將多模態(tài)情感信息以語音和機(jī)器人表情的方式進(jìn)行反饋，以促進(jìn)兒童與機(jī)器人的情感交互[24]。總的來說，情感的可視化表達(dá)與反饋，架起了機(jī)器學(xué)習(xí)、情感計算與學(xué)習(xí)科學(xué)的橋梁，幫助人類理解復(fù)雜的學(xué)習(xí)過程。

（四）結(jié)合情感歸因，動態(tài)干預(yù)與調(diào)節(jié)學(xué)習(xí)過程

理解特定情感狀態(tài)的觸發(fā)原因，對于提供精準(zhǔn)的干預(yù)措施至關(guān)重要，而在情感狀態(tài)與潛在原因不匹配的情況下提供學(xué)習(xí)干預(yù)是無效的，甚至可能起負(fù)面作用[25]。換句話說，理解與明確引發(fā)學(xué)習(xí)情感的潛在原因，對提供學(xué)習(xí)干預(yù)措施極為關(guān)鍵。一般而言，如果學(xué)習(xí)者能管理好自身的消極情感狀態(tài)，其學(xué)習(xí)效果會顯著提升[26]。因而，干預(yù)與調(diào)節(jié)學(xué)習(xí)者的消極情感，以幫助提升學(xué)習(xí)效率與學(xué)習(xí)表現(xiàn)，是當(dāng)前研究關(guān)注的重要問題。

依據(jù)控制—價值理論，學(xué)習(xí)過程中涉及的消極情感有焦慮、沮喪、困惑、無聊等，其情感歸因包括學(xué)習(xí)任務(wù)、學(xué)習(xí)結(jié)果、個體特征與學(xué)習(xí)環(huán)境四個層面[14]。同時，該理論也提供了情感調(diào)節(jié)的常見要素，例如任務(wù)難度、先前知識、認(rèn)知支持（內(nèi)容提示、同伴幫助、教師輔導(dǎo)）、學(xué)習(xí)材料情緒設(shè)計、任務(wù)質(zhì)量、歸因反饋等[6]。基于此，本研究設(shè)計了面向消極情感的學(xué)習(xí)干預(yù)機(jī)制（如圖3所示）。該機(jī)制以調(diào)節(jié)學(xué)習(xí)者消極情感為主要目標(biāo)，通過情感歸因的方法理解消極情感的觸發(fā)因素，在此基礎(chǔ)上運(yùn)用干預(yù)引擎匹配和選擇合適的干預(yù)策略，實(shí)現(xiàn)動態(tài)調(diào)節(jié)學(xué)習(xí)情感與學(xué)習(xí)行為。

四、多模態(tài)學(xué)習(xí)情感計算的典型應(yīng)用

（一）開發(fā)學(xué)習(xí)情感識別系統(tǒng)

學(xué)習(xí)情感識別是多模態(tài)情感計算教育應(yīng)用的基礎(chǔ)，依據(jù)不同測量通道與應(yīng)用場景開發(fā)情感識別系統(tǒng)，能夠?qū)崿F(xiàn)學(xué)習(xí)情感的客觀準(zhǔn)確識別。在數(shù)字化學(xué)習(xí)環(huán)境中，Ray等人設(shè)計并開發(fā)了多模態(tài)學(xué)習(xí)情感識別系統(tǒng)[27]。該系統(tǒng)利用傳感器和攝像頭采集生理信號（心率、皮膚電、血壓）與面部表情，運(yùn)用人工神經(jīng)網(wǎng)絡(luò)模型與決策級融合策略對六種學(xué)習(xí)情感進(jìn)行識別。數(shù)據(jù)分析顯示，該系統(tǒng)的情感識別準(zhǔn)確度達(dá)71.38%。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，課堂環(huán)境下的多模態(tài)情感識別成為研究新趨向。Ashwin等人通過攝像頭采集學(xué)生的面部表情、手勢與身體姿態(tài)數(shù)據(jù)，利用卷積神經(jīng)網(wǎng)絡(luò)算法與特征融合策略，實(shí)現(xiàn)對投入、無聊和中立三種情感狀態(tài)的自動識別[28]。結(jié)果發(fā)現(xiàn)，真實(shí)課堂環(huán)境下學(xué)習(xí)情感識別的準(zhǔn)確度達(dá)70%。上述研究表明，基于多模態(tài)數(shù)據(jù)的學(xué)習(xí)情感識別系統(tǒng)具有良好的應(yīng)用前景，但其情感識別的準(zhǔn)確度有待提升。

（二）增強(qiáng)智能學(xué)習(xí)工具

將多模態(tài)情感計算以模塊化的方式嵌入學(xué)習(xí)系統(tǒng)中，可以增強(qiáng)系統(tǒng)的情感感知能力，進(jìn)一步提升學(xué)習(xí)體驗(yàn)與優(yōu)化學(xué)習(xí)交互。在自適應(yīng)學(xué)習(xí)系統(tǒng)中，Lin等人整合面部表情、語義信息與皮膚電信號來提升系統(tǒng)的情感識別能力，并以學(xué)習(xí)儀表盤的方式呈現(xiàn)情感分析結(jié)果，幫助教師及時掌握學(xué)習(xí)狀態(tài)與調(diào)整教學(xué)策略[29]。薛耀鋒等人采集在線學(xué)習(xí)過程中面部表情、文本和語音信息，來賦能在線學(xué)習(xí)平臺的情感識別能力[30]。而在教育機(jī)器人中，通過采集兒童與機(jī)器人交互過程中的語言信息（文本、語音）與非語言信息（面部表情、身體位置、頭部姿態(tài)），以實(shí)現(xiàn)對兒童學(xué)習(xí)情感狀態(tài)的自動分析，可提升兒童與機(jī)器人之間的學(xué)習(xí)交互體驗(yàn)[24]。可以說，多模態(tài)情感計算在賦能自適應(yīng)學(xué)習(xí)系統(tǒng)、在線學(xué)習(xí)平臺、教育機(jī)器人等方面具有可觀的應(yīng)用潛能。

（三）支持學(xué)習(xí)干預(yù)與決策

基于學(xué)習(xí)成績或?qū)W習(xí)行為展開教學(xué)干預(yù)存在一定局限，諸多研究嘗試從情感角度進(jìn)行學(xué)習(xí)干預(yù)。Ashwin等人通過采集學(xué)生的面部表情、手勢和身體姿態(tài)來分析與預(yù)測學(xué)生的情感狀態(tài)，在此基礎(chǔ)上實(shí)現(xiàn)學(xué)習(xí)干預(yù)[31]。將該方法應(yīng)用于在線學(xué)習(xí)、翻轉(zhuǎn)教學(xué)、課堂教學(xué)以及網(wǎng)絡(luò)研討中，發(fā)現(xiàn)所提出的干預(yù)策略提高了學(xué)生學(xué)習(xí)成績，并且無聊情感分別下降65%、43%、43%與53%。Standen等人利用多模態(tài)情感計算實(shí)現(xiàn)對投入、挫折與無聊情感狀態(tài)的自動分析，在此基礎(chǔ)上向?qū)W習(xí)者推薦學(xué)習(xí)內(nèi)容，來保持學(xué)習(xí)者最優(yōu)的情感狀態(tài)以最大限度提升學(xué)習(xí)效率[32]。結(jié)果表明，結(jié)合學(xué)習(xí)情感的內(nèi)容推薦會提升學(xué)生學(xué)習(xí)投入，有助于學(xué)習(xí)者保持良好的學(xué)習(xí)狀態(tài)，但對學(xué)習(xí)成績的影響還有待證明。類似的，也有研究嘗試探討基于學(xué)習(xí)情感來制定與選擇教學(xué)策略[33]?？偟膩碚f，研究人員逐步意識到學(xué)習(xí)干預(yù)與教學(xué)決策中結(jié)合學(xué)習(xí)情感的必要性。

（四）探索學(xué)習(xí)情感的作用機(jī)制

近年來，學(xué)習(xí)理論與實(shí)踐的重大轉(zhuǎn)變是充分融合認(rèn)知與學(xué)習(xí)情感，并積極探索情感在學(xué)習(xí)過程中的作用機(jī)制。Bahreini等人在教育游戲中通過識別面部與語音信號向玩家反饋情感信息，以訓(xùn)練和提升學(xué)習(xí)者的社交溝通能力[34]。研究發(fā)現(xiàn)，游戲過程中情感的自動反饋可以提升學(xué)習(xí)者的社交溝通能力。另外，Wang 等人利用所開發(fā)的多模態(tài)情感導(dǎo)學(xué)系統(tǒng)，分析情感因素對學(xué)習(xí)者的交互滿意度與學(xué)習(xí)表現(xiàn)的影響[35]。結(jié)果表明，該系統(tǒng)通過提供情感感知與反饋提升了學(xué)生學(xué)習(xí)效果與滿意度。該研究還指出，情感計算教育應(yīng)用能提升學(xué)生學(xué)習(xí)興趣與保持積極學(xué)習(xí)態(tài)度，并有望得到廣泛應(yīng)用。上述研究表明，情感感知與反饋對促進(jìn)學(xué)生學(xué)習(xí)具有積極作用。而最近一項研究證實(shí)，學(xué)習(xí)情感與學(xué)習(xí)表現(xiàn)間存在正相關(guān)關(guān)系，且相關(guān)系數(shù)為0.74[31]。然而，學(xué)習(xí)情感與認(rèn)知過程的演化機(jī)制還缺乏探討，后續(xù)相關(guān)研究可圍繞該主題進(jìn)行探索。

五、多模態(tài)學(xué)習(xí)情感計算的發(fā)展建議

（一）降低數(shù)據(jù)采集的侵入性，平衡數(shù)據(jù)真實(shí)性與準(zhǔn)確性

情感數(shù)據(jù)采集需要借助相關(guān)工具或設(shè)備，如視頻監(jiān)控、生理感知設(shè)備等。有調(diào)查顯示，大部分學(xué)生認(rèn)為課堂環(huán)境下應(yīng)用監(jiān)控設(shè)備是對隱私的侵犯[36];而生理信息采集需要特定傳感設(shè)備的支持，其侵入性較大，難以保證數(shù)據(jù)的真實(shí)性[20]?？梢哉f，相關(guān)設(shè)備的介入會引發(fā)學(xué)生的不適應(yīng)，降低學(xué)習(xí)者的思維活躍度，數(shù)據(jù)真實(shí)性與準(zhǔn)確性難以平衡，進(jìn)而影響研究結(jié)果的可靠性[37]。在教育研究中，多模態(tài)情感數(shù)據(jù)采集應(yīng)結(jié)合輕量型傳感設(shè)備，進(jìn)行伴隨式采集多通道信息，將設(shè)備引發(fā)的干擾降到最低，力求情感數(shù)據(jù)的真實(shí)性。同時借助自我報告或?qū)＜矣^察的方式，收集學(xué)習(xí)過程中的質(zhì)性數(shù)據(jù)，進(jìn)一步增強(qiáng)分析結(jié)果的準(zhǔn)確性。對于教育裝備服務(wù)商而言，應(yīng)加大輕量型傳感設(shè)備的研發(fā)，以優(yōu)化情感數(shù)據(jù)采集的設(shè)備與產(chǎn)品。

（二）提升數(shù)據(jù)模型可解釋性，促進(jìn)學(xué)習(xí)情感歸因

由于多模態(tài)數(shù)據(jù)固有的特殊性，研究人員在處理與分析情感數(shù)據(jù)時常用到機(jī)器學(xué)習(xí)算法。而算法本身存在“黑箱”，即輸入多模態(tài)情感數(shù)據(jù)，輸出是學(xué)習(xí)情感類別，研究者無法檢視算法模型是如何完成工作的，這也意味著模型的可解釋度不高。因而，無法確定何種因素是激活消極情感的主導(dǎo)因素，給情感歸因造成一定困難。針對上述問題，相關(guān)研究也不斷探索提升數(shù)據(jù)模型可解釋性的方法。其中，教育領(lǐng)域常用的解決方案是“灰盒”方法[10]。該方法認(rèn)為，首先應(yīng)根據(jù)相關(guān)理論與文獻(xiàn)分析來確定所要提取的特征，然后利用機(jī)器學(xué)習(xí)進(jìn)行必要的計算分析，期間嚴(yán)格遵循機(jī)器學(xué)習(xí)的應(yīng)用邊界，從而避免無法解釋情感分析結(jié)果的局面。換句話說，“灰盒”方法旨在幫助研究人員找到最優(yōu)手段（算法），而非最優(yōu)目標(biāo)（輸出）。目前“灰盒”方法已在多模態(tài)學(xué)習(xí)分析中展現(xiàn)出可觀的應(yīng)用潛力，未來研究可將此方法應(yīng)用于多模態(tài)情感計算中，以降低學(xué)習(xí)情感歸因的難度。

（三）綜合衡量學(xué)習(xí)狀態(tài)，增強(qiáng)學(xué)習(xí)干預(yù)精準(zhǔn)性

情感支持的學(xué)習(xí)干預(yù)對學(xué)習(xí)結(jié)果有重要影響。然而，僅從學(xué)習(xí)情感的角度進(jìn)行干預(yù)，沒有建立學(xué)習(xí)情感與個體特征、學(xué)習(xí)行為等層面關(guān)聯(lián)，導(dǎo)致無法全面感知學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，勢必會影響學(xué)習(xí)干預(yù)的精準(zhǔn)性。換句話說，學(xué)習(xí)情感是學(xué)習(xí)干預(yù)的必要不充分因素，還需綜合衡量學(xué)習(xí)過程中的其他因素。未來研究一方面要將學(xué)習(xí)情感與可觀測、可干預(yù)的個體特征結(jié)合，如認(rèn)知能力、認(rèn)知結(jié)構(gòu)、學(xué)習(xí)態(tài)度等[38];另一方面需同步情感數(shù)據(jù)與學(xué)習(xí)行為數(shù)據(jù)，構(gòu)建完整的“數(shù)據(jù)鏈條”。以此突破情感或?qū)W習(xí)行為的單一視角，從多方面綜合考慮學(xué)習(xí)干預(yù)措施，以提升干預(yù)的精準(zhǔn)性。

（四）拓展教育應(yīng)用探索，推動情感計算實(shí)踐創(chuàng)新

情感計算教育應(yīng)用是為解決在線學(xué)習(xí)中“情感缺失”而發(fā)展起來，其應(yīng)用集中于在線教育場景中。在多模態(tài)分析的推動下，學(xué)習(xí)情感計算的實(shí)踐探索逐步從在線環(huán)境轉(zhuǎn)向課堂環(huán)境。但受“路燈效應(yīng)”影響，多模態(tài)情感計算的應(yīng)用情境仍然較為局限，其廣泛應(yīng)用還存在一定距離。為滿足情感計算在多元場景中的應(yīng)用需求，未來研究應(yīng)嘗試物理情境、混合環(huán)境下情感數(shù)據(jù)的采集與分析，通過線上行為數(shù)據(jù)與線下情感信息結(jié)合，全面感知與持續(xù)跟蹤學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。另外，多模態(tài)分析也適用于監(jiān)測和分析兒童的情感反應(yīng)與行為模式[39]，且兒童比成人更傾向于情感表達(dá)[40]，因而相關(guān)研究可探索低年齡段學(xué)習(xí)者的情感狀態(tài)，以充分理解學(xué)習(xí)行為的發(fā)生機(jī)制，為教育改革與創(chuàng)新提供有效參考。

六、結(jié)? ?語

總的來說，本研究從智能技術(shù)發(fā)展與學(xué)習(xí)情感的內(nèi)在價值出發(fā)，闡述了多模態(tài)學(xué)習(xí)情感計算的發(fā)展動因，并根據(jù)多模態(tài)數(shù)據(jù)分析過程，構(gòu)建了多模態(tài)學(xué)習(xí)情感計算的研究框架，為綜合分析學(xué)習(xí)情感與評估學(xué)習(xí)過程提供了方向與思路。然而，我國多模態(tài)學(xué)習(xí)情感計算尚處于起步階段，相關(guān)研究與實(shí)踐探索任重道遠(yuǎn)。不過，隨著人工智能與教育的深度融合，多模態(tài)學(xué)習(xí)情感計算勢必會成為推動智能教育發(fā)展的中堅力量。

[參考文獻(xiàn)]

[1] WU C， HUANG Y， HWANG J. Review of affective computing in education/learning： trends and challenges[J]. British journal of educational technology， 2016， 47（6）： 1304-1323.

[2] 李澤林，陳虹琴.人工智能對教學(xué)的解放與奴役——兼論教學(xué)發(fā)展的現(xiàn)代性危機(jī)[J].電化教育研究，2020，41（1）：115-121.

[3] PICARD R W. Affective computing[M]. Cambridge： MIT Press， 1997.

[4] GIANNAKOS M N， SHARMA K， PAPPAS I O， et al. Multimodal data as a means to understand the learning experience[J]. International journal of information management， 2019（48）： 108-119.

[5] 張琪，王紅梅.學(xué)習(xí)投入的多模態(tài)數(shù)據(jù)表征：支撐理論、研究框架與關(guān)鍵技術(shù)[J].電化教育研究，2019，40（12）：21-28.

[6] LODERER K， PEKRUN R， LESTER J C. Beyond cold technology： a systematic review and meta-analysis on emotions in technology-based learning environments[J]. Learning and instruction， 2020（70）： 1-15.

[7] MORENO R. Does the modality principle hold for different media？ a test of the method-affects-learning hypothesis： modality principle[J]. Journal of computer assisted learning， 2006， 22（3）： 149-158.

[8] DI MITRI D， SCHNEIDER J， SPECHT M， et al. From signals to knowledge： a conceptual model for multimodal learning analytics[J]. Journal of computer assisted learning， 2018， 34（4）： 338-349.

[9] NIGAY L， COUTAZ J. A design space for multimodal systems： concurrent processing and data fusion[C]//Proceedings of the SIGCHI conference on Human factors in computing systems-CHI '93. Amsterdam， The Netherlands： ACM Press， 1993： 172-178.

[10] SHARMA K， PAPAMITSIOU Z， GIANNAKOS M. Building pipelines for educational data using AI and multimodal analytics： a "grey-box" approach[J]. British journal of educational technology， 2019， 50（6）： 3004-3031.

[11] D'MELLO S K，KORY J. A review and meta-analysis of multimodal affect detection systems[J]. ACM computing surveys，2015，47（3）：1-36.

[12] 李卿，任緣，黃田田，等.基于傳感數(shù)據(jù)的學(xué)習(xí)分析應(yīng)用研究[J].電化教育研究，2019，40（5）：64-71.

[13] JAQUES P A， VICARI R M. A BDI approach to infer students emotions in an intelligent learning environment[J]. Computers & education， 2007， 49（2）： 360-384.

[14] PEKRUN R. The control-value theory of achievement emotions： assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review， 2006， 18（4）： 315-341.

[15] LEUTNER D. Motivation and emotion as mediators in multimedia learning[J]. Learning and instruction， 2014（29）： 174-175.

[16] MCGAUGH J L. Emotional arousal regulation of memory consolidation[J]. Current opinion in behavioral sciences， 2018（19）： 55-60.

[17] SANDANAYAKE T C， MADURAPPERUMA A P. Affective e-learning model for recognising learner emotions in online learning environment[C]// International Conference on Advances in ICT for Emerging Regions. Colombo， Sri Lanka： IEEE， 2013： 266-271.

[18] 汪維富，毛美娟.多模態(tài)學(xué)習(xí)分析：理解與評價真實(shí)學(xué)習(xí)的新路向[J].電化教育研究，2021，42（2）：25-32.

[19] TAO J， TAN T. Affective Computing： A Review[C]// TAO J， TAN T， PICARD R W. Affective Computing and Intelligent Interaction. Berlin： Springer， 2005： 981-995.

[20] 葉俊民，周進(jìn)，李超.情感計算教育應(yīng)用的多維透視[J].開放教育研究，2020，26（6）：77-88.

[21] 周進(jìn)，葉俊民，王志峰，等.國外情感分析教育應(yīng)用的進(jìn)展與啟示[J].現(xiàn)代教育技術(shù)，2020，30（12）：34-40.

[22] HUSSAIN MD S， MONKARESI H， CALVO R A. Categorical vs. dimensional representations in multimodal affect detection during learning[G]//CERRI S A， CLANCEY W J， PAPADOURAKIS G， et al. Intelligent Tutoring Systems. Berlin， Heidelberg： Springer Berlin Heidelberg， 2012， 7315： 78-83.

[23] EDWARDS A A， MASSICCI A， SRIDHARAN S， et al. Sensor-based methodological observations for studying online learning[C]//Proceedings of the 2017 ACM Workshop on Intelligent Interfaces for Ubiquitous and Smart Learning. Limassol： ACM Press， 2017： 25-30.

[24] CHEN J， SHE Y， ZHENG M， et al. A multimodal affective computing approach for children companion robots[C]//Proceedings of the Seventh International Symposium of Chinese CHI on - Chinese CHI '19. Xiamen： ACM Press， 2019： 57-64.

[25] D'MELLO S. A selective meta-analysis on the relative incidence of discrete affective states during learning with technology[J]. Journal of educational psychology， 2013， 105（4）： 1082-1099.

[26] D'MELLO S， CALVO R A. Beyond the basic emotions： what should affective computing compute？ [C]//CHI '13 Extended Abstracts on Human Factors in Computing Systems on - CHI EA '13. Paris： ACM Press， 2013： 2287- 2294.

[27] RAY A， CHAKRABARTI A. Design and implementation of technology enabled affective learning using fusion of bio-physical and facial expression[J]. Educational technology & society， 2016， 19（4）： 112-125.

[28] ASHWIN T S， GUDDETI R M R. Automatic detection of students' affective states in classroom environment using hybrid convolutional neural networks[J]. Education and information technologies， 2020， 25（2）： 1387-1415.

[29] LIN H K， SU S， CHAO C， et al. Construction of multi-mode affective learning system： taking affective design as an example[J]. Educational technology & society， 2016， 19（2）： 132-147.

[30] 薛耀鋒，楊金朋，郭威，等.面向在線學(xué)習(xí)的多模態(tài)情感計算研究[J].中國電化教育，2018（2）：46-50，83.

[31] ASHWIN T S， GUDDETI R M R. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework[J]. User modeling and user-adapted interaction， 2020（30）： 759-801.

[32] STANDEN P J， BROWN D J， TAHERI M， et al. An evaluation of an adaptive learning system based on multimodal affect recognition for learners with intellectual disabilities[J]. British journal of educational technology， 2020， 51（5）： 1748-1765.

[33] LIN H K， WANG C， CHAO C， et al. Employing textual and facial emotion recognition to design an affective tutoring system[J]. The turkish online journal of educational technology， 2012， 11（4）： 418-426.

[34] BAHREINI K， NADOLSKI R， WESTERA W. Communication skills training exploiting multimodal emotion recognition[J]. Interactive learning environments， 2017， 25（8）： 1065-1082.

[35] WANG C， LIN H K. Emotional design tutoring system based on multimodal affective computing techniques[J]. International journal of distance education technologies， 2018， 16（1）： 103-117.

[36] 鄭祖?zhèn)ィ荜?教室里的電子眼在看什么[EB/OL].（2013-05-27）[2020-12-05].http：//edu.people.com.cn/n/2013/0527/c1053-2162 8580.html.

[37] 晉欣泉，王林麗，楊現(xiàn)民.基于大數(shù)據(jù)的在線學(xué)習(xí)情緒測量模型構(gòu)建[J].現(xiàn)代教育技術(shù)，2016，26（12）：5-11.

[38] 樊敏生，武法提.數(shù)據(jù)驅(qū)動的動態(tài)學(xué)習(xí)干預(yù)系統(tǒng)設(shè)計[J].電化教育研究，2020，41（11）：87-93.

[39] CRESCENZI‐LANNA L. Multimodal learning analytics research with young children： a systematic review[J]. British journal of educational technology， 2020， 51（5）： 1485-1504.

[40] BAKER R S J D.， D'MELLO S K， RODRIGO MA M T， et al. Better to be frustrated than bored： the incidence， persistence， and impact of learners' cognitive-affective states during interactions with three different computer-based learning environments[J]. International journal of human-computer studies， 2010， 68（4）： 223-241.