王燕青 龔少英 姜甜甜 吳亞男

情感代理能否提高多媒體學習的效果？*

王燕青 龔少英 姜甜甜 吳亞男

(青少年網(wǎng)絡心理與行為教育部重點實驗室, 華中師范大學心理學院, 武漢 430079)

近年來, 情感代理如何影響學習受到了研究者們的高度重視。情感代理是一種能夠通過言語、面部表情和肢體動作等多種方式激發(fā)學習者情感體驗的教學代理。已有大多數(shù)研究發(fā)現(xiàn)情感代理能夠有效地喚起學習者的積極情緒(積極情緒= 0.45), 提高內部動機(內部動機= 0.52), 但對學習效果的促進作用較為微弱(保持= 0.18,理解= 0.32,遷移=0.14,聯(lián)合=0.32)。研究者們從情緒感染理論、情緒反應理論、多媒體學習認知情感理論、認知負荷理論以及干擾理論等不同的角度對情感代理的效果進行了解釋。未來研究仍需要從實驗操縱、邊界條件、內部機制等方面進一步考察情感代理的作用。

情感代理, 積極情緒, 內部動機, 學習成績, 多媒體學習

1 引言

教學視頻的流行引發(fā)了教育工作者們關于“如何設計視頻以優(yōu)化學習”的思考(Beege et al., 2017; de Koning et al., 2018; Merkt et al., 2020)。以往的研究往往聚焦于視頻設計背后的認知加工過程(如：選擇、組織和整合加工)。近年來, 情感加工過程(如：情緒和動機)在學習中的作用也逐漸引起了研究者的關注(龔少英等, 2017; Endres et al., 2020; Lawson et al., 2021; Oker et al., 2020; Park et al., 2015; Plass et al., 2014; Uzun & Y?ld?r?m, 2018; Um et al., 2012; Shangguan et al., 2020)。那么如何通過教學設計以促進情感加工過程呢？其中一種方法即在視頻學習界面加入一個情感教學代理(Affective Pedagogical Agent, APA)。作為對網(wǎng)絡學習環(huán)境中交互特征進行情緒設計的一部分, 情感代理即將某些情緒設計的元素(如：快樂的面部表情)應用到教學代理身上, 旨在喚起學習者的積極情緒, 增加學習動機進而提高學習效果(Guo & Goh, 2015)。已有大量的實證研究在科學知識學習(Horovitz & Mayer, 2021; Schneider et al., 2022)、信息素養(yǎng)游戲(Guo et al., 2015)、網(wǎng)絡軟件使用(Baylor & Kim, 2009)等不同的學習領域考察了情感代理的效果。本文基于多媒體學習中情感代理的最新研究進展, 詳細闡述了情感代理的概念及其實驗操縱, 探討了情感代理對學習過程和學習結果影響的理論基礎, 并全面整理了情感代理促進或是阻礙學習的實證研究, 以期為情感代理的教學價值研究提供一定的借鑒。

2 情感代理的概念及其操縱

情感代理即通過面部表情、聲音、肢體動作和言語信息等影響學習者情感體驗的教學代理(Guo & Goh, 2015)。綜述以往研究, 目前情感代理的類型主要分為兩類：表達型情感代理和移情型情感代理。表達型情感代理是僅通過自身的情緒表達(如：使用微笑的面部表情和熱情的聲音)以影響學習者情緒體驗的代理(Beege et al., 2020; Lawson et al., 2021; Liew et al., 2017)。移情型情感代理則是能根據(jù)學習者的學習表現(xiàn)或情緒狀態(tài)給予情感反饋(如：點頭、鼓勵和共情)的代理, 其目的是為了調節(jié)學習者的情緒、激勵其繼續(xù)努力(Ba et al., 2021; Guo et al., 2014, 2015)。雖然不同的研究者對情感代理的具體操作有所不同, 但無論哪種類型的情感代理都存在兩個重要的共同特點：(1)情感代理是計算機屏幕上呈現(xiàn)的具有情緒表達能力的代理; (2)加入情感代理的目的是增加學習者的積極情緒, 提高內部動機, 最終促進學習。

在實證研究中, 研究者對表達型情感代理和移情型情感代理的設計方式有所不同。關于表達型情感代理的設計, 研究者主要是對代理的面部表情、聲音和姿態(tài)(手勢)等特征進行操縱, 使其展現(xiàn)出微笑的面部表情、熱情的聲音和高水平的身體動作等。例如, Liew等(2017)的研究中積極代理組的大學生在一名帶有微笑面部表情和熱情聲音代理的引導下進行學習, 而中性代理組則由一名具有中性面部表情和聲音的代理進行講授。Horovitz和Mayer (2021)的研究中積極代理被賦予快樂的面部表情、聲音、手勢和身體站姿。而無聊代理組則使用無聊的面部表情、聲音、手勢和身體站姿等。

關于移情型情感代理的操縱, 研究者們主要通過平行移情或是反應移情的方式對其進行設計。平行移情即代理模仿學習者的情緒。例如, 當代理覺察到學習者愉快的情緒時, 也會展現(xiàn)出愉快的面部表情(Arroyo et al., 2009)。反應移情即代理通過言語和非言語線索(如言語鼓勵、鼓掌、點頭或是拍手)對學習者的情緒或行為進行反饋。例如, Terzis等(2012)通過Facereader和人工檢測的方法實時檢測學習者在學習過程中的情緒狀態(tài), 情感代理則會根據(jù)學習者的情緒展現(xiàn)出相同的情緒并提供具體的反饋。例如, 當檢測到學習者的表情為開心時, 情感代理也會表現(xiàn)出開心的表情, 并同時呈現(xiàn)“這個測驗讓你很開心, 繼續(xù)加油哦”這一類文本信息給予情緒支持。Guo和Goh (2016)讓學習者學習一款信息素養(yǎng)的游戲, 積極代理組在學習者答錯時, 會展現(xiàn)一個鼓勵性的微笑, 并鼓勵他們“不要氣餒, 仔細閱讀一遍問題”。而在中性代理的條件下, 代理在整個游戲過程中僅保持中性的面部表情以及不包含情感鼓勵的反饋(如：“是的, 這是正確的”)。

綜上, 目前關于情感代理的操縱主要是通過對嵌入視頻材料中的教學代理進行情緒設計得以實現(xiàn)。盡管相對全面地考慮了情感代理的設計方式, 但目前的操縱仍存在一些值得思考的問題。首先, 大量研究在進行情感代理設計時忽略了代理類型的影響。例如, Horovitz和Mayer (2021)的研究中使用了真人代理和虛擬代理, 而Guo和Goh (2016)使用了幽靈形狀的代理。Lawson等(2021)在探究學習者能否識別情感代理表達的情緒時發(fā)現(xiàn), 在某些高喚醒的情緒上(快樂和沮喪), 真人教師展示的情緒相較于虛擬代理更加形象生動且更容易被學習者識別。因此, 代理類型的不同可能會影響情感代理的操縱效果乃至最終的研究結果。其次, 研究者們對情感代理的設計水平并沒有進行嚴格的控制。部分研究使用單一的情緒線索(如：微笑) (Liew et al., 2016), 而另一些研究則使用多種情緒線索(如, 微笑、聲音和手勢等) (Ba et al., 2021), 具體哪種水平的情緒線索最為有效, 目前的研究并未給出答案。

3 情感代理能否喚起學習者的積極情緒？

在探究情感代理對學習者情緒的影響之前, 一個值得關注的問題是學習者能否識別出代理所表達的情緒？從理論視角來看, 多媒體學習認知情感理論(Cognitive-Affective Theory of Learning with Media, CATLM; Moreno & Mayer, 2007)認為當教學視頻中呈現(xiàn)一個情感代理時, 學習過程中的首要關鍵步驟即學習者需要識別出代理所展示的情緒狀態(tài)(積極、中性或消極)。對教學代理情緒的識別不僅是情感代理操縱成功與否的重要檢驗, 更是研究者們考察情感代理作用的重要切入點。

Lawson等(2021)考察了大學生在觀看一個教師講授二項概率分布的數(shù)學課程時, 能否識別代理所表現(xiàn)出的快樂、滿足、沮喪或無聊的情緒。結果發(fā)現(xiàn), 當學習者觀看快樂代理的視頻時, 在快樂情緒上的評分要顯著高于沮喪和無聊, 但是在與滿意情緒的區(qū)分上效果并不理想。而當觀看滿意、沮喪或無聊代理的視頻時, 學習者可以較好地區(qū)分代理所表達的不同情緒。Chen等(2012)發(fā)現(xiàn)在計算機輔助學習環(huán)境下學習者能較好地識別代理所表達的憤怒、悲傷、驚訝、快樂和中性的情緒, 但是對害怕、擔憂和厭惡情緒的識別并不準確。由此可見, 學習者并非均能成功地識別出代理所表達的情緒, 因此在正式實驗前對代理情緒識別的檢驗十分必要。

學習者對代理情緒的識別僅是檢驗情感代理效果的第一步, 而加入情感代理最重要的目的之一是考察這一教學設計是否會影響學習者的情緒。根據(jù)情緒感染理論(Emotional Contagion Theory), 一個人的情緒狀態(tài)容易受到另一個人情緒表達的影響(Hatfield et al., 1994)。在社會交往中, 人們會不自覺地通過面部表情、肢體動作和姿勢等非言語信息來表達自己的情緒, 并感知他人所傳達的這些信號。研究表明情緒感染也有可能發(fā)生在人機交互的過程中(Tsai et al., 2012), 具體而言, 界面代理的情緒會直接影響學習者的情緒(封曉偉, 2020; Kr?mer et al., 2013; Ku et al., 2005; Liew et al., 2016)。另外, 情緒反應理論(Emotional Response Theory)認為教師熱情的言語和非言語線索與學習者的情感反應之間存在著密切的關系(Horan et al., 2012)。根據(jù)情緒反應理論, 教學代理積極的言語和非言語線索能誘發(fā)學習者積極的情緒體驗。相似地, CATLM指出當學習者識別出教學代理的積極情緒后, 也會表現(xiàn)出與代理相同的情緒(例如, 看到快樂的代理, 學生也會變得快樂)。

為了更清晰地展示情感代理的效果, 本文計算了相關實證研究的效應量Cohen’s d (詳見表1), 并借鑒Fiorella和Mayer (2015)計算效應量中值(median effect size)的方法對情感代理的效果進行量化呈現(xiàn), 以期在一定程度上克服單純的綜述難以評價效應大小的缺陷。文獻匯總的標準如下：(1)研究需為實證; (2)研究主要對比情感代理與非情感代理(中性)和無情感代理的差異, 但有1項研究對比的是積極情感代理和無聊情感代理的差異(Horovitz & Mayer, 2021)。(3)研究中報告了詳細的因變量指標(情緒、動機、認知負荷和學習結果)。從表1匯總的結果發(fā)現(xiàn), 明確報告了學習者情緒狀態(tài)的16項研究中, 10項研究發(fā)現(xiàn)教學代理的情緒同步喚起了學習者的積極情緒。例如, Liew等(2017)發(fā)現(xiàn)相比于中性代理組, 熱情代理組的學習者報告了更多的積極情緒。Wang等(2019)同樣發(fā)現(xiàn)具有豐富面部表情的代理喚起了學習者更高水平的情緒。另外, 5項研究沒有發(fā)現(xiàn)情感代理對學習者情緒的影響(van der Meij, 2013; Beege et al., 2020), 1項研究發(fā)現(xiàn)情感代理降低了學習者的積極情緒(Liew et al., 2016)。

綜上, 大部分研究支持了情感代理對學習者積極情緒的作用, 通過計算情感代理在學習者積極情緒上的效應量, 發(fā)現(xiàn)產生的效應量中值為積極情緒= 0.45。值得注意的是, 以往部分研究忽視了學習者對代理情緒識別的檢驗, 因此那些未發(fā)現(xiàn)情感代理對情緒存在積極影響的研究, 到底是由于情感代理操縱不成功, 還是情感代理本身無效？還需要未來的研究繼續(xù)探討。

4 情感代理對學習者的主觀感受是否有影響？

如果情感代理能喚起學習者的積極情緒, 那這些積極情緒會對學習過程中的學習動機和認知負荷等主觀感受產生怎樣的影響？學習者對自己學習過程中動機水平和認知負荷程度等主觀體驗的感知往往與后期學習效果密切相關, 因此對學習者主觀體驗的考察通常也是檢驗情感代理是否有效的重要方面。

根據(jù)情緒反應理論, 教師的言語和非言語線索所誘發(fā)的積極情緒, 能增加學習者的學習動機, 進而使他們產生趨近學習的行為。CATLM (Moreno & Mayer, 2007)認為當情感代理喚起了學習者的積極情緒后, 學習者情緒的變化會提高動機水平。通過表1的整理可以發(fā)現(xiàn), 17項報告了學習動機的研究中, 16項發(fā)現(xiàn)情感代理提高了學習者的動機水平(Baylor & Ryu, 2003; Saerbeck et al., 2010; Horovitz & Mayer, 2021; van der Meij, 2013)。例如, van der Meij (2013)在考察移情型代理對軟件教程學習的影響時, 發(fā)現(xiàn)情感代理組的學習者在訓練過程中更容易獲得心流體驗, 并報告了更高的動機水平。Horovitz和Mayer (2021)發(fā)現(xiàn)無論是快樂的真人代理還是虛擬代理均提高了學習者的內部動機。1項研究發(fā)現(xiàn)當學習者與面帶微笑的代理進行學習時, 學習動機反而存在降低的趨勢(Liew et al., 2016)。原因可能是學習者認為代理的微笑是虛假的(fake smiles)而不是真誠的(genuine smiles), 因此影響了他們對代理的信任程度, 進而降低了動機水平。從總體上看, 盡管不同的研究中情感代理的設計方式略有不同, 但絕大多數(shù)研究都證明了情感代理在增加學習者動機方面的相對優(yōu)勢, 效應量中值為內部動機= 0.52。

認知負荷理論(cognitive load theory, CLT)提出了三種類型的認知負荷(Sweller, 2005)：內部認知負荷(intrinsic cognitive load, ICL)、外部認知負荷(extraneous cognitive load, ECL)和相關認知負荷(germane cognitive load, GCL)。ICL通常與學習材料本身的復雜程度相關, 而ECL主要由非優(yōu)化的教學設計引起。在學習過程中這兩種認知負荷水平較高, 學習效果可能較差。GCL是指學習者在理解學習內容時用于圖式建構和生成性加工的認知負荷, 較高的GCL有利于學習。為了避免認知負荷超載, 教學設計者要盡力降低ECL, 增加GCL, 合理利用有限的認知資源, 幫助學習者達到最好的學習效果。根據(jù)認知負荷理論, 將教學代理納入多媒體學習環(huán)境可能會增加外部認知負荷, 因為學習者需要處理額外的(與學習無關的)信息。在探究情感代理和認知負荷之間關系的實證研究中, 8項測量了內部認知負荷的研究均未發(fā)現(xiàn)情感代理對學習者內部認知負荷的影響, 效應量中值為內部認知負荷= ?0.01。內部認知負荷是由學習材料本身的復雜程度和學習者自身的知識經驗決定, 較難通過教學設計進行改善, 因此不難理解情感代理在內部認知負荷上出現(xiàn)的“零”結果。在8項報告了外部認知負荷的研究中, 7項研究發(fā)現(xiàn)情感代理并不會帶來額外的認知負荷。僅1項研究發(fā)現(xiàn)當學習者處于高心理負荷條件下, 情感代理才會增加外部認知負荷(Beege et al., 2020, Exp, 1a), 對效應量中值的計算得出外部認知負荷= 0.09。在7項報告了相關認知負荷的研究中, 3項研究顯示情感代理提高了學習者的相關認知負荷(封曉偉, 2020, Exp.2; 謝科, 2020, Exp.1; Beege et al., 2020), 引導學習者投入較多的心理資源到理解學習材料中; 3項沒有發(fā)現(xiàn)情感代理和中性代理在相關認知負荷上的差異。但有1項研究在以非母語大學生為研究對象探究代理熱情聲音的作用時, 發(fā)現(xiàn)代理若賦有韻律較強的熱情聲音時反而降低了學習者的相關認知負荷(Liew et al., 2020), 這說明非母語的學習者可能在韻律較為平緩的聲音條件下更能投入到學習中(Davis et al., 2019), 計算發(fā)現(xiàn)情感代理在相關認知負荷上產生的效應量中值為相關認知負荷0.08。從目前的研究現(xiàn)狀來看, 情感代理在降低外部認知負荷和增加相關認知負荷上的作用不太明顯, 但這一結果也從側面表明在視頻學習中加入情感代理可能并不會增加學習者的外部認知負荷。

盡管研究者們對情感代理對學習者主觀感受的影響進行了探究, 然而目前在情感代理研究背景下對學習者主觀感受的考察仍然十分有限, 主要集中在學習動機和認知負荷兩個方面, 未來從更廣泛的角度對情感代理帶來的主觀感受進行測量(例如, 學習滿意度、學習興趣、成就感等)并探究其與學習效果之間的因果關系, 或許可以更加全面地了解情感代理起作用的內部原因。

5 情感代理能促進學習效果嗎？

盡管在視頻學習中加入情感代理可能喚起了學習者的積極情緒, 對學習動機等主觀感受有一定的積極作用, 但是考慮到實際的教學實踐, 研究者們更加關注情感代理在學習效果上的作用。根據(jù)情緒反應理論和CATLM理論, 情感代理能通過影響學習者的趨近學習行為或動機水平進而促進學習結果。但是基于干擾理論(interference theory, Moreno et al., 2001), 情感代理是與學習內容無關的材料, 在信息加工過程中, 情感代理的面部表情、手勢等信息會吸引學習者的注意, 從而減少學習者對學習內容的注意和加工, 最終干擾學習結果。綜合以往的文獻發(fā)現(xiàn), 研究者們主要通過四個指標來衡量情感代理對學習效果的影響, 分別是：保持測驗、理解測驗、遷移測驗和聯(lián)合測驗。保持測驗主要考察學習者對學習材料的回憶或識記效果, 測驗答案往往在學習材料中可以直接找到(Mayer, 2009)。理解測驗通常用于檢驗學習者對學習材料中重要信息的理解效果(Um et al., 2012)。遷移測驗則主要考察學習者利用所學知識解決新問題的能力(Mayer, 2009)。聯(lián)合測驗用來測量學習者總體的學習效果(如：保持測驗、理解測驗和遷移測驗之和)。

從表1匯總的32項報告了學習結果的實證研究來看, 14項研究發(fā)現(xiàn)在視頻學習中加入情感代理能夠促進學習。例如, Liew等(2017)設計了兩個3D的教學代理講授編程相關的知識, 其中一個代理傳達熱情的言語和非言語行為, 另一個則展現(xiàn)出中性的行為。結果發(fā)現(xiàn)大學生在熱情代理條件下的學習成績更好。Bringula等(2018)同樣發(fā)現(xiàn)通過面部表情對學習者行為進行反饋的代理顯著提高了7年級學生的數(shù)學成績。van der Meij (2013)的研究讓小學生分別在有或無情感代理條件下學習計算機相關的知識, 結果發(fā)現(xiàn)情感代理組的學習者在學習后測上表現(xiàn)更好。然而也有17項研究表明情感代理組和對照組在學習效果上不存在顯著的差異。例如, Horovitz和Mayer (2021)的研究發(fā)現(xiàn)觀看快樂代理的大學生在“二項概率”知識的學習中并沒有比無聊代理組的學習者表現(xiàn)更好。Guo等人也沒有發(fā)現(xiàn)情感代理在學習效果上的積極作用(Guo et al., 2015; Guo & Goh, 2016)。甚至有1項研究表明在視頻學習中加入一個具有面部表情的代理反而阻礙了學習者對知識的理解(Frechette & Moreno, 2010)。通過計算情感代理在學習效果上的效應量中值得出,保持=0.18,理解=0.32,遷移= 0.14,聯(lián)合=0.32。

從以上的文獻整理, 結合表1的匯總結果不難看出, 情感代理在學習效果上的作用并不穩(wěn)健。出現(xiàn)不穩(wěn)定結果的原因可能是情感代理的作用受到某些調節(jié)變量的影響。首先, 學習者的個體特征與情感代理的效果有密切聯(lián)系。例如, (1)學習者的工作記憶容量。人們在工作記憶中可同時處理信息的數(shù)量是有限的, 當接收信息的數(shù)量超過一定的限度可能會干擾學習效果(Mayer, 2014, 2020)。例如, Beege等(2020)發(fā)現(xiàn), 當學習者工作記憶容量較小時, 情感代理會增加學習者的額外認知負荷從而干擾他們對關鍵信息的加工, 進而阻礙學習。而當學習者工作記憶容量較大時, 情感代理則會促進學習。(2)學習者的年級水平。Hernández等(2009)通過四個系列的實驗檢驗智能導學環(huán)境中情感代理的作用, 結果發(fā)現(xiàn)情感代理對低年級學習者更加有效, 而對高年級學習者的理解成績沒有促進作用。其次, 情感代理的類型也是導致以往研究結果不一致的原因。例如, Liew等(2016)研究發(fā)現(xiàn)具有微笑表情的表達型情感代理對學習者的情緒、動機和學習結果均沒有促進作用; 但Liew等(2017)對代理進行改進, 使用一個具有微笑表情、頭部動作和熱情評論的移情型情感代理, 結果發(fā)現(xiàn)了情感代理的積極作用。此外, 任務類型也可能對情感代理的效果起調節(jié)作用。有研究發(fā)現(xiàn)在線性代數(shù)等學習任務中, 情感代理提高了學習成績(Bringula et al., 2018); 而在信息素養(yǎng)教育游戲等非典型學習任務中, 情感代理在學習效果上的積極作用卻消失了(Guo & Goh, 2016)。最后, 有研究認為測驗的時間也可能會影響情感代理的效果, 情感代理的有效性更有可能在延遲測驗上展現(xiàn)出來(Horovitz & Mayer, 2021)。未來對這些潛在調節(jié)變量的考察或許是繼續(xù)挖掘情感代理效果的重要突破口。

6 總結與展望

通過以上論述, 結合表1中相關的結果, 可知, 以往大部分研究者發(fā)現(xiàn)在視頻學習中加入一個情感教學代理能夠喚起學習者的積極情緒(積極情緒= 0.45), 提高其動機水平(內部動機= 0.52)。但情感代理在認知負荷(內部認知負荷= ?0.01;外部認知負荷= 0.09;相關認知負荷= 0.08)上的作用十分微弱, 在學習結果(保持= 0.18;理解= 0.32;遷移= 0.14;聯(lián)合= 0.32)上的效果則較為微弱。關于情感代理的潛在作用, 研究者們從情緒感染理論, 情緒反應理論, 多媒體學習認知情感理論等不同的角度對其進行解釋, 即情感代理可能通過影響學習者的情緒和動機(或趨近行為), 進而提高學習效果(見圖1)。少數(shù)發(fā)現(xiàn)情感代理阻礙學習的研究為干擾理論提供了支持, 即教學代理豐富的面部表情和手勢動作可能會吸引學習者的注意力, 減少對關鍵信息的注意, 因此干擾學習效果。不過, 仍有較多的研究沒有發(fā)現(xiàn)情感代理和非情感代理在學習效果上的差異, 這也啟示我們, 情感代理在學習結果上的穩(wěn)健性仍需要繼續(xù)檢驗?？傊? 在上述不同理論的指導下, 研究者們對能否將情感代理應用于教學實踐進行了嘗試, 盡管研究結果存在不一致, 但整體而言, 在積極情感代理條件下, 學習者更加快樂, 更有動力。因此, 在教育實踐中, 教學設計者可以考慮為學習者呈現(xiàn)一個積極的教學代理以幫助他們更加快樂地學習。

圖1 基于情緒感染理論、情緒反應理論和CATLM視角下情感代理促進學習的加工過程(注：箭頭表示可能的因果關系方向)

注：參考Hatfield et al., 1994; Horan et al., 2012; Horovitz & Mayer, 2021; Lawson et al., 2021; Moreno & Mayer, 2007制作

未來研究可以從以下不同的方面對情感代理的作用及其機制開展更加系統(tǒng)的探究：

第一, 關注情感代理的操縱和評定方法。為了檢驗情感代理的有效性, 早期的研究比較了使用不同設計元素(面部表情、聲音、言語反饋和身體動作等)的情感代理和中性代理在學習效果上的差異。但具體哪一種或者哪幾種元素相結合的效果最好？是不是情緒設計的元素越多越有效？未來的研究可以對此進行更加詳細地探究。另外, 目前關于情感代理的評定方法仍存在局限。部分研究者采用主觀報告的方法對情感代理的設計效果進行了評估, 但是這種主觀報告法的有效性仍值得商榷。甚至有部分研究并未檢驗學習者能否成功識別代理的情緒(Baylor & Kim, 2009; Guo et al., 2015; Liew et al., 2017)。未來需要加強對情感代理設計效果的評估, 比如在學習結束后加入一些問題：“你認為情感代理的積極面部表情是否明顯且可識別？” (1?十分不明顯, 5?十分明顯)、“你認為情感代理的聲音是否熱情” (1?很不熱情, 5?很熱情)等。并采用多種評定方法(主觀報告+客觀測量)檢驗情感代理設計的有效性。

第二, 考察影響情感代理效果的邊界條件。綜述以往研究發(fā)現(xiàn)情感代理的有效性可能受到潛在調節(jié)變量的影響, 如情感代理類型(Liew et al., 2016; 2017), 學習者工作記憶的容量(Beege et al., 2020), 學習者年級水平(Hernández et al., 2009)等。除了以上提到的變量外, 其他諸如學習者的先前知識經驗和情緒狀態(tài)、學習材料難度、學習時長等因素的作用還尚未被探討。值得一提的是, 學習者在學習過程中經歷各種各樣的情緒狀態(tài), 不僅包括積極情緒, 也可能體驗到消極情緒, 而具有高情緒調節(jié)能力的學習者能夠有效地調節(jié)學習過程中消極的情緒體驗, 保持最佳的學習狀態(tài); 低情緒調節(jié)能力者則在情緒調節(jié)方面存在困難, 在學習中更容易體驗到負面的情緒(Graziano et al., 2007)。從這一角度出發(fā), 加入一個積極的情感代理可能更有利于低情緒調節(jié)能力者。因此, 未來對學習者情緒調節(jié)能力這一重要調節(jié)變量的考察也是一個不容忽視的方面。

第三, 探究情感代理背后的影響機制。隨著教育神經科學的興起, 越來越多的研究者使用眼動、功能性近紅外光譜腦成像(functional near- infrared spectroscopy, fNIRS)等技術揭示學習現(xiàn)象背后的認知機制。有研究發(fā)現(xiàn)眼動測量中的瞳孔擴張可能是反映學習過程中認知負荷高低的指標(Lee et al., 2020)。未來的研究者可以借鑒此方法考察情感代理所引發(fā)的額外認知負荷是否能引起瞳孔的變化, 而瞳孔變化又與學習效果之間存在怎樣的聯(lián)系？另外, 以往的研究基于現(xiàn)有理論推測情感代理可能作為與學習內容無關的裝飾性材料干擾學習者對關鍵信息的注意, 未來的研究可以采用直接的眼動測量指標(如：對興趣區(qū)的注視點, 注視時間和注視次數(shù)等)檢驗情感代理到底是作為引導注意的指導者, 還是分散注意的干擾物, 進而深入了解學習者在學習過程中對情感代理的注意模式。除此之外, 未來的研究也可以采用fNIRS或腦電等技術探討不同類型的教學代理(如：積極情感代理, 中性代理)對學習者大腦活動的影響, 考察哪些腦區(qū)的激活與情感代理促進或是阻礙學習效果有關？從而幫助揭示情感代理效果背后的神經機制。例如, 最近的一項研究表明在視頻學習中學習者對學習材料的積極加工可能與額葉(frontal cortex)和中央皮層(central cortex)更高的θ波震蕩有關(Pi et al., 2021), 那么情感代理是否能夠引起額葉與中央皮層的θ波震蕩呢？未來可以借助腦電掃描技術(EEG)深入探討。

第四, 關注理論本身的完善。盡管情感代理的促進理論和阻礙理論均得到了不同程度的支持, 然而需要注意的是, 對于情感代理既沒有促進學習也未阻礙學習的現(xiàn)象, 兩種假設均不能給出合理的解釋。通過匯總以往研究發(fā)現(xiàn), 部分研究并沒有發(fā)現(xiàn)情感代理組和控制組(中性代理或無聊代理)在學習效果上的差異(Guo et al., 2015; Kim et al., 2007), 以往研究將“零”結果歸因于潛在的邊界條件, 未來如何將這些調節(jié)變量考慮到理論框架內以提高情感代理相關理論的解釋力度也是研究者們需要考慮的問題。另外, 目前關于情感代理對學習效果影響的內部機制, 研究者們均是基于理論推測, 缺乏對情緒、動機等內部主觀變量和學習效果之間關系的考察, 特別是部分研究發(fā)現(xiàn)情感代理喚起了學習者的情緒和動機, 但是并沒有提高學習效果(Horovitz & Mayer, 2021)。未來研究可以通過建構中介效應模型來揭示情感代理如何通過過程變量(情緒、動機、情境興趣等)影響學習結果來驗證以往的理論假設以及尋求新的理論證據(jù)。

第五, 從不同的方面挖掘情感代理的效果。以往關于情感代理的研究主要關注情感代理對學習者積極的情感狀態(tài)、動機和學習效果的直接影響(Beege et al., 2020; Liew et al., 2017), 在一定程度上忽略了情感代理其他方面的效果, 例如情感代理能否幫助學習者免受負面影響。在學習過程中學習者需要對自己的內在加工過程進行調節(jié), 成功的自我調節(jié)可以幫助他們適應環(huán)境的挑戰(zhàn), 然而失敗的調節(jié)可能導致自我損耗(ego depletion), 進而干擾學習效果(Baumeister, 2014)。那么加入情感代理能否減弱自我損耗對學習成績的損害呢？另外, 在真實的學習環(huán)境中, 學習者不僅能體驗到積極的情緒, 也可能存在消極的情緒。在視頻學習中加入一個積極的情感代理能否降低學習者的消極情緒？未來研究可以對此進行更加全面地探究。

第六, 同時考慮情感加工過程和認知加工過程。情緒和認知在學習過程中同等重要, 因此在教學實踐中, 教師應該考慮如何同時喚起學習者的情緒狀態(tài), 并且引導學習者進行積極的認知加工。Fiorella和Mayer (2015)年整理了8種學習過程中常用的生成性加工策略(如：自我生成繪圖、自我生成解釋), 并呼吁將有效的教學設計和恰當?shù)纳尚詫W習策略相結合以實現(xiàn)最優(yōu)的教學效果(Fiorella et al., 2020)?；诖? 研究者們可以嘗試探究將情感代理和學習者生成性加工策略相結合是否能更好地促進學習？此外, 教學代理不僅可以提供情緒反饋, 還可以給予認知支持, 但目前僅謝科(2020)將情緒反饋和認知反饋相結合探究情感代理的效果, 未來研究可以借鑒此思路, 采用Facereader面部表情識別技術結合出聲思維的方式深入探查學習過程中情緒和認知之間的動態(tài)關系, 從而促進學習者更愉快、更高效地學習。

第七, 考察情感代理的生態(tài)效應, 將情感代理推廣到現(xiàn)實的教學環(huán)境中。目前關于情感代理的研究大都以方便取樣的原則選取大學生作為被試, 使用短時長的學習材料(小于10 min), 且在控制嚴格的實驗室環(huán)境下進行。未來研究可以在更加真實的教學情境中以小學生或中學生為被試, 使用更長時長的學習材料(如：30 min)檢驗情感代理的效果, 從而推進實驗研究向現(xiàn)實教學的有效過渡。

封曉偉. (2020).(碩士論文). 華中師范大學, 武漢.

龔少英, 上官晨雨, 翟奎虎, 郭雅薇. (2017). 情緒設計對多媒體學習的影響.(6), 771–782.

謝科. (2020).(碩士論文). 華中師范大學, 武漢.

Arroyo, I., Woolf, B. P., Royer, J. M., & Tai, M. (2009). Affective gendered learning companions. In Dimitrova, V. et al., (Eds.).(pp.41–48). IOS Press.

Ba, S., Stein, D., Liu, Q., Long, T., Xie, K., & Wu, L. (2021). Examining the effects of a pedagogical agent with dual-channel emotional cues on learner emotions, cognitive load, and knowledge transfer performance.. https://doi. org/10.1177/0735633121992421

Baumeister, R. F. (2014). Self-regulation, ego depletion, and inhibition., 313–319.

Baylor, A. L., & Kim, S. (2009). Designing nonverbal communication for pedagogical agents: When less is more.,(2), 450–457.

Baylor, A. L., & Ryu, J. (2003). The effects of image and animation in enhancing pedagogical agent persona.(4), 373– 394.

Beege, M., Schneider, S., Nebel, S., & Rey, G. D. (2017). Look into my eyes! Exploring the effect of addressing in educational videos.113–120.

Beege, M., Schneider, S., Nebel, S., & Rey, G. D. (2020). Does the effect of enthusiasm in a pedagogical agent's voice depend on mental load in the learner's working memory?.,, 106483. https://doi.org/10.1016/j.chb.2020.106483

Bringula, R. P., Fosgate Jr, I. C. O., Garcia, N. P. R., & Yorobe, J. L. M. (2018). Effects of pedagogical agents on students’ mathematics performance: A comparison between two versions.,(5), 701–722.

Chen, G.-D., Lee, J.-H., Wang, C.-Y., Chao, P.-Y., Li, L.-Y., & Lee, T.-Y. (2012). An empathic avatar in a computer-aided learning program to encourage and persuade learners.(2), 62–72.

Davis, R. O., Vincent, J., & Park, T. (2019). Reconsidering the voice principle with non-native language speakers.,, 103605.https://doi.org/10. 1016/j.compedu.2019.103605

de Koning, B., Hoogerheide, V., & Boucheix, J.-M. (2018). Developments and trends in learning with instructional video.395–398.

Endres, T., Weyreter, S., Renkl, A., & Eitel, A. (2020). When and why does emotional design foster learning? Evidence for situational interest as a mediator of increased persistence.,(4), 514–525.

Fiorella, L., & Mayer, R. E. (2015).. New York, NY:Cambridge University Press.

Fiorella, L., Stull, A. T., Kuhlmann, S., & Mayer, R. E. (2020). Fostering generative learning from video lessons: Benefits of instructor-generated drawings and learner- generated explanations.,(5), 895–906.

Frechette, C., & Moreno, R. (2010). The roles of animated pedagogical agents’ presence and nonverbal communication in multimedia learning environments.(2), 61–72.

Graziano, P. A., Reavis, R. D., Keane, S. P., & Calkins, S. D. (2007). The role of emotion regulation and children's early academic success.,(1), 3–19.

Guo, Y. R., & Goh, D. H.-L. (2015). Affect in embodied pedagogical agents: Meta-analytic review.,(1), 124–149.

Guo, Y. R., & Goh, D. H.-L. (2016). Evaluation of affective embodied agents in an information literacy game.,, 59–75.

Guo, Y. R., Goh, D. H.-L., & Luyt, B. (2014).Paper presented at the Digital Libraries, London.

Guo, Y. R., Goh, D. H.-L., Luyt, B., Sin, S.-C. J., & Ang, R. P. (2015). The effectiveness and acceptance of an affective information literacy tutorial.,, 368–384.

Hatfield, E., Cacioppo, J. T., & Rapson, R. L. (1994).Cambridge, UK: Cambridge University Press.

Hernández, Y., Sucar, L. E., & Conati, C. (2009).Paper presented at the FLAIRS Conference, Sanibel Island, Florida.

Horan, S. M., Martin, M. M., & Weber, K. (2012). Understanding emotional response theory: The role of instructor power and justice messages.,(2), 210–233.

Horovitz, T., & Mayer, R. E. (2021). Learning with human and virtual instructors who display happy or bored emotions in video lectures.,, 106724.https://doi.org/10.1016/j.chb.2021.106724

Jaques, P. A., Lehmann, M., & Pesty, S. (2009). Evaluating the affective tactics of an emotional pedagogical agent.(pp. 104–109). New York: ACM Press.

Kim, Y., Baylor, A. L., & Shen, E. (2007). Pedagogical agents as learning companions: The impact of agent emotion and gender.,(3), 220–234.

Kr?mer, N., Kopp, S., Becker-Asano, C., & Sommer, N. (2013). Smile and the world will smile with you—The effects of a virtual agent’s smile on users’ evaluation and behavior.,(3), 335–349.

Ku, J., Jang, H. J., Kim, K. U., Kim, J. H., Park, S. H., Lee, J. H., ... Kim, S. I. (2005). Experimental results of affective valence and arousal to avatar's facial expressions.(5), 493–503.

Lawson, A. P., Mayer, R. E., Adamo-Villani, N., Benes, B., Lei, X., & Cheng, J. (2021). Recognizing the emotional state of human and virtual instructors.,, 106554.https://doi.org/10.1016/ j.chb.2020.106554

Lee, J. Y., Donkers, J., Jarodzka, H., Sellenraad, G., & van Merrienboer, J. J. (2020). Different effects of pausing on cognitive load in a medical simulation game.,, 106385.

Liew, T. W., Tan, S.-M., Tan, T. M., & Kew, S. N. (2020). Does speaker’s voice enthusiasm affect social cue, cognitive load and transfer in multimedia learning?.(3), 117–135.

Liew, T. W., Zin, N. A. M., & Sahari, N. (2017). Exploring the affective, motivational and cognitive effects of pedagogical agent enthusiasm in a multimedia learning environment.,(1), 1–21.

Liew, T. W., Zin, N. A. M., Sahari, N., & Tan, S.-M. (2016). The effects of a pedagogical agent’s smiling expression on the learner’s emotions and motivation in a virtual learning environment.,(5), 249–266.

Mayer, R. E. (2009).(2nd ed). New York: Cambridge University Press.

Mayer, R. E. (Ed.), (2014).(2nd ed.). New York, NY: Cambridge University Press.

Mayer, R. E. (2020). Cognitive theory of multimedia learning. In R. E. Mayer & L. Fiorella (Eds.),(3rd ed.). New York, NY: Cambridge University Press.

Merkt, M., Lux, S., Hoogerheide, V., van Gog, T., & Schwan, S. (2020). A change of scenery: Does the setting of an instructional video affect learning?.,(6), 1273–1283.

Moreno, R., & Mayer, R. E. (2007). Interactive multimodal learning environments.(3), 309–326.

Moreno, R., Mayer, R. E., Spires, H. A., & Lester, J. C. (2001). The case for social agency in computer-based teaching: Do students learn more deeply when they interact with animated pedagogical agents?(2)177–213.

Oker, A., Pecune, F., & Declercq, C. (2020). Virtual tutor and pupil interaction: A study of empathic feedback as extrinsic motivation for learning.s,, 3643–3658.

Park, B., Kn?rzer, L., Plass, J. L., & Brünken, R. (2015). Emotional design and positive emotions in multimedia learning: An eyetracking study on the use of anthropomorphisms.,, 30–42.

Pi, Z., Zhang, Y., Zhou, W., Xu, K., Chen, Y., Yang, J., & Zhao, Q. (2021). Learning by explaining to oneself and a peer enhances learners’ theta and alpha oscillations while watching video lectures.(2), 659–679.

Plass, J. L., Heidig, S., Hayward, E. O., Homer, B. D., & Um, E. (2014). Emotional design in multimedia learning: Effects of shape and color on affect and learning.,, 128–140.

Roselyn Lee, J.-E., Nass, C., Brave, S. B., Morishima, Y., Nakajima, H., & Yamada, R. (2007). The case for caring colearners: The effects of a computer-mediated colearner agent on trust and learning.,(2), 183–204.

Saerbeck, M., Schut, T., Bartneck, C., & Janse, M. D. (2010, April). Expressive robots in education: Varying the degree of social supportive behavior of a robotic tutor. In(pp. 1613–1622). Atlanta, GA.

Schneider, S., Krieglstein, F., Beege, M., & Rey, G. D. (2022). The impact of video lecturers’ nonverbal communication on learning–An experiment on gestures and facial expressions of pedagogical agents.,104350.https://doi.org/10.1016/j. compedu.2021.104350

Shangguan, C., Gong, S., Guo, Y., Wang, X., & Lu, J. (2020). The effects of emotional design on middle school students’ multimedia learning: The role of learners’ prior knowledge.,(9), 1076–1093.

Sweller, J. (2005). Implications of cognitive load theory for multimedia learning. In R. E. Mayer (Ed.),(pp. 19–30). New York: Cambridge University Press.

Terzis, V., Moridis, C. N., & Economides, A. A. (2012). The effect of emotional feedback on behavioral intention to use computer-based assessment.,(2), 710–721.

Tsai, J., Bowring, E., Marsella, S., Wood, W., & Tambe, M. (2012). A study of emotional contagion with virtual characters. In Y. Nakano, M. Neff, A. Paiva, & M. Walker (Eds.),(pp. 81–88). Berlin Heidelberg: Springer.

Um, E. R., Plass, J. L., Hayward, E. O., & Homer, B. D. (2012). Emotional design in multimedia learning.,(2), 485–498.

Uzun, A. M., & Y?ld?r?m, Z. (2018). Exploring the effect of using different levels of emotional design features in multimedia science learning.,, 112–128.

van der Meij, H. (2013). Motivating agents in software tutorials.,(3), 845–857.

van der Meij, H., van der Meij, J., & Harmsen, R. (2015). Animated pedagogical agents effects on enhancing student motivation and learning in a science inquiry learning environment.,(3), 381–403.

Veletsianos, G. (2009). The impact and implications of virtual character expressiveness on learning and agent-learner interactions.(4), 345–357.

Wang, Y., Liu, Q., Chen, W., Wang, Q., & Stein, D. (2019). Effects of instructor's facial expressions on students' learning with video lectures.,(3), 1381–1395.

Can affective pedagogical agent facilitate multimedia learning?

WANG Yanqing, GONG Shaoying, JIANG Tiantian, Wu Yanan

(Key Laboratory of Adolescent Cyberpsychology and Behavior, Ministry of Education; School of Psychology, Central China Normal University, Wuhan 430079, China)

Recently, educational psychologists have paid much attention to whether adding an affective pedagogical agent to the computer screen can induce learners’ positive emotions, increase intrinsic motivation and facilitate cognitive processes and learning. Affective pedagogical agents are lifelike characters designed to elicit certain affective experiences in learners through multiple modalities such as facial expressions, voices, and body movements. Previous research has examined the role of affective pedagogical agents in multimedia learning. Most empirical studies found that affective pedagogical agents positively affect the learner’s emotional (positiveemotions= 0.45) and motivational state (intrinsicmotivation= 0.52). Nevertheless, affective pedagogical agents have weak effects on learning performance (d = 0.18,comprehension0.32,transfer0.14,unite0.32). Five theories were used to explain the effects of affective pedagogical agents: Emotional contagion theory, emotional response theory, cognitive-affective theory of learning with media, cognitive load theory, and interference theory. Further research should focus on the manipulation, boundary conditions, and underlying mechanisms, etc.

affective agent, positive emotions, intrinsic motivation, learning performance, multimedia learning

B849: G44

2021-08-24

*國家自然科學基金面上項目(#61877025), 青少年網(wǎng)絡心理與行為教育部重點實驗室/人的發(fā)展與心理健康湖北省重點實驗室開放課題(#2019B04)。

龔少英, E-mail: gongsy@ccnu.edu.cn