單美賢 張瑞陽

在線視頻學(xué)習(xí)過程中學(xué)習(xí)者的情感狀態(tài)識別及其影響因素研究*

單美賢 張瑞陽

（南京郵電大學(xué) 教育科學(xué)與技術(shù)學(xué)院，江蘇南京 210023）

學(xué)習(xí)者的情感狀態(tài)作為影響在線視頻學(xué)習(xí)質(zhì)量的重要因素，一直以來受到研究者的廣泛關(guān)注。當(dāng)前基于數(shù)據(jù)驅(qū)動的研究方法雖然可以提供在線視頻學(xué)習(xí)過程中學(xué)習(xí)者認(rèn)知行為的重要信息，但基于數(shù)據(jù)的在線視頻學(xué)習(xí)過程中學(xué)習(xí)者情感狀態(tài)及其影響因素的研究成果非常有限，情感狀態(tài)的識別及其影響因素有待進(jìn)一步研究。為此，文章首先開發(fā)了面部表情識別工具；接著通過準(zhǔn)實驗研究，檢驗面部表情識別工具的準(zhǔn)確率；然后根據(jù)情感狀態(tài)數(shù)據(jù)和SAM自我報告數(shù)據(jù)的分析，把握在線視頻學(xué)習(xí)過程中學(xué)習(xí)者的情感狀態(tài)變化；最后通過問卷調(diào)查和回顧性訪談，了解視頻內(nèi)容對學(xué)習(xí)者情感狀態(tài)和滿意度的影響。研究結(jié)果顯示，面部表情識別工具整體上能夠高度準(zhǔn)確地識別出學(xué)習(xí)者的情感波動，視頻內(nèi)容對學(xué)習(xí)者的情感狀態(tài)和滿意度有極其顯著的影響，并且情感狀態(tài)在視頻內(nèi)容與滿意度的作用過程中具有完全中介作用。通過研究，文章旨在為在線視頻內(nèi)容設(shè)計提供參考，促使學(xué)習(xí)者保持較高的喚醒度與愉悅度，改善其在線視頻學(xué)習(xí)體驗。

在線視頻學(xué)習(xí)；面部表情識別；情感狀態(tài)；視頻內(nèi)容；滿意度

引言

情感1“情感”一詞在學(xué)術(shù)界至今仍沒有統(tǒng)一的定義，情感（Affect）、情緒（Emotion）、心情（Mood）和感覺（Feeling）等術(shù)語已被用來表示或解釋一個人的情緒體驗，情感和情緒可以具有相同的含義且可以互換使用。參考：AINLEY M. Connecting with learning: Motivation, affect and cognition in interest processes[J]. Educational Psychology Review, 2006,(4):391-405.構(gòu)成了人們?nèi)绾螌W(xué)習(xí)、學(xué)習(xí)什么、何時學(xué)習(xí)以及為何學(xué)習(xí)的關(guān)鍵部分，正如Immordino-Yang所說：“從神經(jīng)生物學(xué)的角度來講，在沒有情感的情況下建立記憶、進(jìn)行復(fù)雜的思考或做出有意義的決定是不可能的”[1]。研究發(fā)現(xiàn)，學(xué)習(xí)者的情感狀態(tài)會顯著影響其學(xué)習(xí)動機、學(xué)習(xí)行為甚至學(xué)習(xí)成果[2]。而作為當(dāng)下重要的學(xué)習(xí)方式，在線視頻學(xué)習(xí)環(huán)境中由于缺乏人際互動、社交存在和情感支持，更容易使學(xué)習(xí)者經(jīng)常感受到無聊、沮喪等消極情緒，從而出現(xiàn)調(diào)節(jié)和維持動機的困難。因此，針對在線視頻學(xué)習(xí)過程中學(xué)習(xí)者情感狀態(tài)的識別及其影響因素的研究就顯得尤為重要。

然而，現(xiàn)有關(guān)于學(xué)習(xí)者情感狀態(tài)的科學(xué)認(rèn)識，主要建立在面對面學(xué)習(xí)情境中得出的研究結(jié)果之上，許多研究發(fā)現(xiàn)并不適用于在線視頻學(xué)習(xí)環(huán)境。數(shù)據(jù)驅(qū)動（如腦電波、眼球運動等）的研究方法雖然可以提供在線視頻學(xué)習(xí)過程中學(xué)習(xí)者認(rèn)知行為的重要信息，但基于數(shù)據(jù)的在線視頻學(xué)習(xí)過程中學(xué)習(xí)者情感狀態(tài)及其影響因素的研究成果非常有限。此外，在線視頻學(xué)習(xí)環(huán)境中學(xué)習(xí)者情感狀態(tài)的研究需要將外部可觀察數(shù)據(jù)（如可感知的面部特征、姿勢、言語和行動）與學(xué)習(xí)者個體內(nèi)部數(shù)據(jù)（如自我報告）相結(jié)合，這樣才能更好地把握學(xué)習(xí)者的情感狀態(tài)。基于此，本研究擬采用面部表情識別、情感自我報告方法和回顧性訪談法來收集學(xué)習(xí)者的情感數(shù)據(jù)，分析在線視頻學(xué)習(xí)過程中的情感狀態(tài)及其影響因素，以期為在線視頻學(xué)習(xí)資源設(shè)計提供參考。

一 研究現(xiàn)狀

1 在線視頻學(xué)習(xí)的研究現(xiàn)狀

在線視頻學(xué)習(xí)的相關(guān)研究主要集中在以下兩個方面：①在線視頻的設(shè)計研究，大多基于在線視頻學(xué)習(xí)的認(rèn)知因素展開，如關(guān)注如何在視頻中呈現(xiàn)信息[3]、如何通過讓學(xué)習(xí)者參與練習(xí)或其他學(xué)習(xí)任務(wù)來支持其從教學(xué)視頻中獲取知識[4]。②在線視頻的應(yīng)用效果研究，大多采用數(shù)據(jù)驅(qū)動方法研究在線視頻學(xué)習(xí)環(huán)境中學(xué)習(xí)者的狀態(tài)，如基于學(xué)習(xí)者的在線學(xué)習(xí)日志分析其知識構(gòu)建過程和學(xué)習(xí)能力[5]、根據(jù)學(xué)習(xí)者的生理數(shù)據(jù)（如腦電波、眼球運動和皮膚電）分析其參與度[6]，這些研究大多從認(rèn)知維度探討了在線視頻學(xué)習(xí)環(huán)境中學(xué)習(xí)效果的影響因素。

目前，雖有研究通過自我報告或問卷調(diào)查的方式來分析學(xué)習(xí)者的滿意度、學(xué)習(xí)態(tài)度或?qū)W習(xí)行為，如在學(xué)習(xí)者可以選擇使用視頻和現(xiàn)場講座的描述性態(tài)度研究中，有研究者發(fā)現(xiàn)學(xué)生持有積極的態(tài)度，他們愿意向其他人推薦視頻支持的此類課程[7]；有研究者發(fā)現(xiàn)與傳統(tǒng)教育以及免費的基于文本的電子學(xué)習(xí)相比，視頻使用對學(xué)習(xí)成績和學(xué)習(xí)滿意度都有明顯的影響[8]；有研究者從在線視頻學(xué)習(xí)平臺特征的角度分析了學(xué)習(xí)者產(chǎn)生消極態(tài)度的原因[9]。但在線視頻學(xué)習(xí)環(huán)境中的情感維度尚未得到系統(tǒng)研究，需要將數(shù)據(jù)驅(qū)動方法與自我報告相結(jié)合，以更好地把握在線視頻學(xué)習(xí)過程中學(xué)習(xí)者的情感狀態(tài)，進(jìn)而確定如何以最有效的方式使用在線視頻內(nèi)容，提升學(xué)習(xí)者的學(xué)習(xí)效率。

2 情感狀態(tài)及其表示模型

情感是主觀和客觀因素之間的一組復(fù)雜相互作用，可引起情感體驗（如快樂/不快樂的感覺）、產(chǎn)生認(rèn)知過程（如與情感相關(guān)的感知效果、評估過程）、激活對喚醒條件的廣泛生理調(diào)節(jié)。在學(xué)習(xí)過程中學(xué)習(xí)者經(jīng)歷了豐富多樣的情感狀態(tài)，而目前不同研究者對在線視頻學(xué)習(xí)中學(xué)習(xí)者情感狀態(tài)的理解有所不同，如有研究者認(rèn)為，情感狀態(tài)是在特定情況下在特定時間測量的學(xué)習(xí)行為狀態(tài)[10]；也有研究者將學(xué)習(xí)情感狀態(tài)定義為學(xué)習(xí)者的參與程度，并提出學(xué)習(xí)情感狀態(tài)是一種穩(wěn)定且可調(diào)節(jié)的心理狀態(tài)[11]；還有研究者認(rèn)為，情感狀態(tài)是學(xué)習(xí)者的認(rèn)知與情感參與水平[12]。綜上，本研究認(rèn)為情感狀態(tài)是由學(xué)習(xí)者的自我調(diào)節(jié)能力與具體的學(xué)習(xí)情境相互作用決定的心理狀態(tài)。

在情感計算研究中，為融合來自不同輸入渠道的情感數(shù)據(jù)，以提高情感識別的魯棒性和準(zhǔn)確性，要求情感計算研究者使用相同的情緒表示模型或提供適當(dāng)?shù)哪Ｐ陀成?。?dāng)前，情感狀態(tài)的表示模型一般分為兩種：①離散模型，將情感系統(tǒng)描述為一組基本情緒，包括憤怒、厭惡、恐懼、喜悅、悲傷和驚訝，以及由它們組合而成的復(fù)雜情緒。②維度模型，認(rèn)為情感是不同心理維度的組合體，其中有代表性的是Russell[13]提出的二維情感模型，即把情感狀態(tài)表示為分布在一個包含效價度（情緒的積極與消極程度）和激活度（情緒的激烈程度）的二維空間上的點。本研究擬把實時識別的學(xué)習(xí)者情感狀態(tài)的離散維度映射到Russell的二維情感模型空間中，以直觀地反映學(xué)習(xí)者在視頻學(xué)習(xí)過程中的情感變化過程。

3 情感狀態(tài)的測量

提高學(xué)習(xí)者對自身情感狀態(tài)的認(rèn)識，有助于顯著改善學(xué)習(xí)過程，然而在線視頻學(xué)習(xí)環(huán)境尤其是遠(yuǎn)程學(xué)習(xí)、MOOC等環(huán)境中學(xué)習(xí)者情感狀態(tài)數(shù)據(jù)的收集極具挑戰(zhàn)性。目前，收集學(xué)習(xí)者情感數(shù)據(jù)的方法可以分為三類：①基于感知的估計，包括從面部表情、聲音和身體動作中識別情感；②情感的生理測量，使用安裝在身體上的設(shè)備（如EEG）進(jìn)行測量，重點是潛意識的情感反應(yīng)（如心跳、血壓和出汗）；③主觀感受，由情感的自我報告組成。其中，基于感知的估計和情感的生理測量相對客觀，更適合在實驗室條件下進(jìn)行，反映的是情感意識的內(nèi)隱水平。而Mejbri等[14]通過系統(tǒng)文獻(xiàn)綜述發(fā)現(xiàn)，無論是單模態(tài)系統(tǒng)還是多模態(tài)系統(tǒng)，目前在線視頻學(xué)習(xí)的情感狀態(tài)測量方法中，面部表情識別是最常用的方式手段，其次是自我報告方式。

面部表情被認(rèn)為是表達(dá)情感的主要通道，其較為自然且直接。自Ekman等[15]提出面部動作編碼系統(tǒng)（Facial Action Coding System，F(xiàn)ACS）以來，面部表情一直被用于推導(dǎo)學(xué)業(yè)情緒，其主要假設(shè)學(xué)習(xí)情境中面部表情與特定的情感狀態(tài)有關(guān)。利用面部表情檢測學(xué)業(yè)情緒的研究表明，使用面部表情獲取情感狀態(tài)是有意義和可靠的，但這些研究大多是在智能導(dǎo)學(xué)系統(tǒng)或者是需要高水平認(rèn)知活動（如解決問題和編程）的學(xué)習(xí)環(huán)境中進(jìn)行的。而在線視頻學(xué)習(xí)過程中，學(xué)習(xí)者可能沒有特定的成就目標(biāo)，也可能不涉及認(rèn)知要求高的任務(wù)，因此有必要研究在線視頻學(xué)習(xí)環(huán)境中的學(xué)生情感狀態(tài)及其影響因素。

常用的情感自我報告量表有積極/消極情感量表（Positive Affect and Negative Affect Scale，PANAS）、E-Learning情感自我報告工具（Emotion Report for E-Learning，EMORE-L）和自我評定量表（Self-Assessment Manikin，SAM），其中SAM[16]是較成熟的評估情感工具。SAM包含3個量表：愉悅度（愉快/不愉快）、喚醒度（緊張/放松）和控制度（抑制/不抑制），每個量表有5個象形圖。參與者可以選擇每個象形圖之間的空白處來表示中間狀態(tài)，因此每個量表的答案可以在1～9之間取值。鑒于SAM是基于維度的，因此它可以與情感的維度模型相互兼容?；诖?，本研究一方面借助SAM量表對在線視頻學(xué)習(xí)的整體情感狀態(tài)進(jìn)行自我評定；另一方面，利用面部表情識別軟件來實時捕捉學(xué)習(xí)者情感狀態(tài)的離散維度，并把離散數(shù)據(jù)映射到Russell的二維情感模型空間中，直觀地反映學(xué)習(xí)者在視頻學(xué)習(xí)過程中的情感變化過程及整體情感狀態(tài)，主要關(guān)注以下3個研究問題：①面部表情識別工具能否有效地識別在線視頻學(xué)習(xí)過程中學(xué)習(xí)者的情感狀態(tài)？②視頻內(nèi)容對學(xué)習(xí)者情感狀態(tài)的影響是否具有顯著性？③視頻內(nèi)容是如何通過情感狀態(tài)影響滿意度的？

二 研究設(shè)計

1 研究對象

本研究針對南京A大學(xué)大三和大四的30名本科生（15名女生和15名男生，專業(yè)涵蓋工科、理科、藝術(shù)學(xué)、教育學(xué)等）展開，這些學(xué)生至少有一年的在線視頻學(xué)習(xí)經(jīng)歷，充分掌握了在線視頻學(xué)習(xí)的特點，具有較高的信息素養(yǎng)。此外，在選擇研究對象時對其都進(jìn)行了先驗知識的測試，確保他們從未觀看過本研究使用的學(xué)習(xí)視頻，以減小實驗誤差。

2 研究工具

（1）視頻內(nèi)容的選擇與評價

使用與滿足（Uses and Gratification，U&G）理論認(rèn)為，用戶是積極的消費者，他們對自己的媒體消費有控制能力，并對自己的媒體使用、興趣和動機有足夠的自我意識，進(jìn)而能夠解讀媒體并將其融入自己的日常生活中[17]。將U&G理論應(yīng)用到教育媒體的視角中，可以認(rèn)為學(xué)習(xí)者有意識地選擇能夠滿足其學(xué)習(xí)需求的媒體。為了促使在線視頻學(xué)習(xí)過程中學(xué)習(xí)者獲得三種類型的滿足（內(nèi)容滿足、過程滿足和社會滿足）[18]，本研究對在線學(xué)習(xí)視頻內(nèi)容的選擇經(jīng)過了三輪預(yù)實驗，第一輪和第二輪預(yù)實驗依據(jù)“內(nèi)容滿足和過程滿足”進(jìn)行篩選，第三輪預(yù)實驗依據(jù)“社會滿足”（當(dāng)視頻使用能夠形成和加深社會聯(lián)系時獲得的滿足）進(jìn)行篩選：第一輪通過訪談的方式（訪談對象為南京A大學(xué)進(jìn)行視頻資源研究的4名教師），確定在線學(xué)習(xí)視頻內(nèi)容為科普類的紀(jì)錄片，時長為15～25分鐘。第二輪通過初步篩選的方式確定紀(jì)錄片主題，隨機挑選南京A大學(xué)的4名碩士研究生觀看各科普類紀(jì)錄片，包括《局部》《家園》《地球脈動》《但是還有書籍》等，本研究根據(jù)U&G理論中三種滿足類型設(shè)計了訪談題綱（訪談題目包含“您覺得視頻內(nèi)容呈現(xiàn)效果怎么樣？”“視頻中情節(jié)沖突設(shè)計的怎么樣？”“看完后最想與誰分享？”等），4名碩士研究生一致認(rèn)為《但是還有書籍》（共11集）紀(jì)錄片更合適。第三輪預(yù)實驗邀請另外10名碩士研究生觀看這11集內(nèi)容，并填寫根據(jù)U&G理論設(shè)計的相應(yīng)問卷，最后確定《成為漫畫家》和《繪本中的奇妙世界》作為在線學(xué)習(xí)視頻資源（每個視頻時長30分鐘）。

為了解學(xué)習(xí)者對視頻內(nèi)容的評價，本研究基于U&G理論設(shè)計“視頻內(nèi)容對情感狀態(tài)影響的調(diào)查問卷”。問卷采用7分制李克特量表，共計25題，包含視頻內(nèi)容、情感狀態(tài)、滿意度3個因子。其中，視頻內(nèi)容包括知識性（視頻內(nèi)容豐富、視頻內(nèi)容翔實嚴(yán)謹(jǐn)、視頻內(nèi)容實用、補充完善自己的知識水平）、可理解性（貼近生活、直觀形象、生動有趣、情節(jié)變化）、視聽性（視覺感受、色彩搭配、音效效果、畫面特效）3個維度；情感狀態(tài)包括情感共鳴、愉悅程度和直觀感受3個維度；一般來說，滿意度是對先前期望和感知成就之間差異的感覺，依據(jù)Keller[19]對學(xué)習(xí)滿意度的定義，本問卷中的滿意度包括持續(xù)學(xué)習(xí)愿望、好奇&動機和感興趣程度3個方面。通過KMO和Bartlett檢驗（KMO=0.755，＜0.000）及載荷因子分析，發(fā)現(xiàn)問卷收斂效度良好；整體信度系數(shù)是0.929，各維度信度系數(shù)均大于0.7（如表1所示），表明問卷具有較好的信效度。

表1 調(diào)查問卷各因子的信度系數(shù)及描述性分析

（2）面部表情識別

為了實現(xiàn)在線視頻學(xué)習(xí)環(huán)境中學(xué)習(xí)者面部表情數(shù)據(jù)的實時識別，本研究開發(fā)了基于Web的在線實時面部表情識別軟件系統(tǒng)，系統(tǒng)中嵌入了Affectiva公司提供的面部識別插件Affdex SDK，并將面部表情識別的數(shù)據(jù)可視化。其中，Affdex SDK可以實時識別人臉的面部表情數(shù)據(jù)，并返回檢測到的一組離散情緒的置信度值，它可以檢測7種基本的離散情緒，即快樂、悲傷、驚訝、憤怒、恐懼、厭惡、蔑視。系統(tǒng)將識別到的情感狀態(tài)數(shù)據(jù)存儲于數(shù)據(jù)庫，為后續(xù)可視化呈現(xiàn)及相關(guān)研究服務(wù)。為了讓學(xué)習(xí)者了解自身在學(xué)習(xí)過程中的情感狀態(tài)，系統(tǒng)借助Echarts庫（使用JavaScript實現(xiàn)的開源可視化庫）設(shè)計并實現(xiàn)了可視化功能模塊，情感狀態(tài)可視化的目的在于為學(xué)習(xí)者提供其時間趨勢的情感狀態(tài)變化圖。

本研究自主開發(fā)的面部表情識別軟件是非侵入式的，可以借助低成本的攝像頭（如筆記本電腦內(nèi)置攝像頭）方便地部署于在線學(xué)習(xí)環(huán)境中，不會干擾學(xué)習(xí)者的學(xué)習(xí)過程。本研究根據(jù)在線視頻學(xué)習(xí)過程中面部表情識別獲得的數(shù)據(jù)，分析學(xué)習(xí)者的情感狀態(tài)及相關(guān)的情感參數(shù)（情緒的效價、喚醒度及情緒轉(zhuǎn)化閾值等）。

3 研究過程

考慮到每個視頻時長約30分鐘，本研究分兩個階段進(jìn)行，各階段除了視頻內(nèi)容不同，其他過程一致（如圖1所示），具體為：①把研究對象隨機分為兩組（每組15人），每組觀看的視頻順序不一樣，以檢驗視頻觀看順序?qū)η楦袪顟B(tài)的影響是否有差異。②為收集學(xué)生在視頻學(xué)習(xí)過程中的實時情感狀態(tài)，本研究使用自主開發(fā)的軟件并借助筆記本電腦內(nèi)置攝像頭實時記錄其情感狀態(tài)。③視頻觀看結(jié)束后，使用SAM量表請學(xué)生評估自身體驗的效價水平和喚醒度。同時，對面部表情識別的情感狀態(tài)數(shù)據(jù)進(jìn)行相應(yīng)處理后，結(jié)合SAM量表數(shù)據(jù)分析回答研究問題2。④通過“視頻內(nèi)容對情感狀態(tài)影響的調(diào)查問卷”數(shù)據(jù)分析回答研究問題3。⑤根據(jù)識別到的情緒波動點，對學(xué)生進(jìn)行訪談：“這一時間段情緒有波動，您看到這段視頻時是什么樣的情感狀態(tài)？為什么會有這樣的情感？”，結(jié)合情緒波動點的情感狀態(tài)值和訪談數(shù)據(jù)的分析回答研究問題1。

圖1 研究過程

三 研究結(jié)果

1 面部表情數(shù)據(jù)分析

本研究通過面部表情識別工具，共捕捉到2084個情感波動點（30名學(xué)生都觀看了兩個視頻內(nèi)容，每個視頻內(nèi)容時長30分鐘左右）。根據(jù)情感波動點截取有效視頻片段進(jìn)行訪談，被試確認(rèn)在此視頻片段處存在情感波動的有效視頻片段為1885個，情感波動識別錯誤的片段為199個，面部表情識別工具的準(zhǔn)確率約為90.4%。

①進(jìn)行歸一化處理。根據(jù)有效情感波動點之時間節(jié)點對應(yīng)的7種基本情感狀態(tài)，將面部表情識別收集到的學(xué)習(xí)者實時的離散情感數(shù)據(jù)進(jìn)行歸一化處理，計算方法如公式（1）所示。

②將離散情感數(shù)據(jù)映射到二維模型空間中。依據(jù)Baldassarri等[20]提出的情感狀態(tài)離散數(shù)據(jù)映射到Russell空間的方法，每條離散情感數(shù)值的效價與喚醒度坐標(biāo)(,)的計算如公式（2）所示。

其中，()為歸一化處理的結(jié)果，x是類二維坐標(biāo)中情感效價的標(biāo)準(zhǔn)數(shù)值，y是類二維坐標(biāo)中情感喚醒的標(biāo)準(zhǔn)數(shù)值。x與y的確定借鑒了中國科學(xué)院心理研究所設(shè)計的PAD情感量表（含7種離散情感的愉悅度與喚醒標(biāo)準(zhǔn)數(shù)值）[21]，如表2所示。其中，P(x)表示愉悅度，A(y)表示喚醒度。

表2 離散情感對應(yīng)的愉悅度與喚配度標(biāo)準(zhǔn)值

將所有數(shù)據(jù)代入上述公式，得到離散情感數(shù)據(jù)在Russell二維情感模型中的映射，《繪本中的奇妙世界》（視頻1）的情感二維坐標(biāo)如圖2所示，《成為漫畫家》（視頻2）的情感二維坐標(biāo)如圖3所示。

圖2 《繪本中的奇妙世界》的情感二維坐標(biāo)

圖3 《成為漫畫家》的情感二維坐標(biāo)

由圖2和圖3可以看出，視頻1的面部表情識別結(jié)果集中于第一和第三象限，視頻2的面部表情識別結(jié)果集中在第一、第二和第三象限，說明兩個視頻內(nèi)容的整體喚醒度中等、愉悅度較高。根據(jù)Kort等[22]提出的認(rèn)知-情感四象限空間模型，可得在線視頻學(xué)習(xí)過程中的第一象限表明學(xué)習(xí)者對視頻內(nèi)容感到好奇和著迷，第二象限表明學(xué)習(xí)者在主動構(gòu)建知識，而第三象限表明學(xué)習(xí)者解構(gòu)原來的知識以保持學(xué)習(xí)的順利進(jìn)行。

2 SAM自評量表結(jié)果

根據(jù)描述性統(tǒng)計分析和相關(guān)性檢驗分析，得到愉悅度、喚醒度與控制度的相關(guān)結(jié)果如表3所示。表3顯示，愉悅度、喚醒度和控制度的均值都超過了6分（滿分為9分），表明視頻內(nèi)容學(xué)習(xí)過程中學(xué)習(xí)者的整體情感狀態(tài)較好，這與面部表情數(shù)據(jù)分析的結(jié)果一致。相關(guān)性檢驗發(fā)現(xiàn)，愉悅度與喚醒度極其顯著相關(guān)，愉悅度與控制度顯著相關(guān)。

表3 愉悅度、喚醒度與控制度的相關(guān)分析結(jié)果

注：***表示＜0.001，**表示＜0.01，*表示＜0.05，下同。

3 情感狀態(tài)的作用機制分析

為了回答研究問題3，本研究首先進(jìn)行了相關(guān)性分析，結(jié)果表明：視頻內(nèi)容、情感狀態(tài)與滿意度間都存在非常顯著的正相關(guān)關(guān)系（＜.01）。在此基礎(chǔ)上進(jìn)行回歸分析，以探索情感狀態(tài)對視頻內(nèi)容和滿意度的中介作用，結(jié)果如表4所示。

表4 情感狀態(tài)對視頻內(nèi)容和滿意度的中介作用

表4顯示，在第一步回歸分析中，視頻內(nèi)容對滿意度有極其顯著的影響（β=0.522，＜0.000）；在第二步回歸分析中，情感狀態(tài)對滿意度有極其顯著的影響（β=0.655，＜0.000）；在第三步同時引入視頻內(nèi)容和情感狀態(tài)后，視頻內(nèi)容對滿意度的影響不顯著（β=-0.038，＞0.05），但情感狀態(tài)對滿意度的影響極其顯著（β=0.684，＜0.000），表明視頻內(nèi)容影響滿意度的過程中情感狀態(tài)具有完全中介作用。根據(jù)表4的內(nèi)容，本研究繪制出視頻內(nèi)容、情感狀態(tài)、滿意度的結(jié)構(gòu)方程模型，以便清晰地呈現(xiàn)三者間的關(guān)系，如圖4所示。

圖4 視頻內(nèi)容、情感狀態(tài)、滿意度的結(jié)構(gòu)方程模型

四 研究結(jié)論

本研究探討了在線視頻學(xué)習(xí)過程中學(xué)習(xí)者的情感狀態(tài)變化，以及視頻內(nèi)容、情感狀態(tài)和滿意度三者間的關(guān)系。研究結(jié)果表明，面部表情識別工具整體上能夠高度準(zhǔn)確地識別出學(xué)習(xí)者的情感波動；視頻內(nèi)容對學(xué)習(xí)者的情感狀態(tài)和滿意度有極其顯著的影響，并且視頻內(nèi)容影響滿意度的過程中情感狀態(tài)具有完全中介作用。

1 面部表情識別工具可以較好地識別在線學(xué)習(xí)者的情感狀態(tài)變化

本研究面部表情識別工具的準(zhǔn)確率約為90.4%，表明非侵入式的面部表情識別工具借助低成本的攝像頭可以方便地部署于在線學(xué)習(xí)環(huán)境中，不會干擾學(xué)習(xí)者的學(xué)習(xí)過程。借助面部表情識別工具獲得的實時數(shù)據(jù)，一方面可以讓學(xué)習(xí)者了解自身的參與情況和學(xué)習(xí)狀態(tài)，另一方面也可以開發(fā)相應(yīng)的工具（如適時反饋工具、定制學(xué)習(xí)體驗工具等）以改善學(xué)習(xí)者體驗，真正拓展學(xué)習(xí)空間。此類工具的應(yīng)用意味著更多創(chuàng)新即將產(chǎn)生，如用于監(jiān)控和檢測遠(yuǎn)程學(xué)習(xí)者認(rèn)知和情緒狀態(tài)的人工智能工具，英特爾和Classroom Technologies正在合作開發(fā)的新型虛擬學(xué)校軟件Class Collaborate，就可以分層應(yīng)用于Zoom會議室，有望通過評估學(xué)生的面部表情和互動來檢測他們是否感到無聊、分心或困惑[23]。Grafsgaard等[24]通過對學(xué)習(xí)者的微表情研究發(fā)現(xiàn)，通過表情強度和面部動作運動頻率可以對學(xué)生學(xué)習(xí)情感狀態(tài)進(jìn)行有效性觀察和檢測，這為進(jìn)一步提高學(xué)習(xí)過程中的面部情感識別應(yīng)用提供了基礎(chǔ)。

2 視頻內(nèi)容對學(xué)習(xí)者情感狀態(tài)有極其顯著的影響

問卷調(diào)查數(shù)據(jù)的回歸分析表明，視頻內(nèi)容對學(xué)習(xí)者情感狀態(tài)有極其顯著的影響。同時，訪談過程中，98%的參與者表示，視頻內(nèi)容引發(fā)了他們強烈的情感共鳴、無論是視頻內(nèi)容還是視頻呈現(xiàn)方式（如動畫、配音、節(jié)奏感等）在吸引其注意力的同時也引發(fā)了一定的聯(lián)想。這與當(dāng)前針對基于視頻學(xué)習(xí)的研究方向一致，即在擴展“傳統(tǒng)”設(shè)計原則的同時，探索新穎的設(shè)計原則，并充分考慮學(xué)習(xí)者情感狀態(tài)在視頻學(xué)習(xí)中的作用。本研究的面部表情識別數(shù)據(jù)表明，視頻內(nèi)容中引起情感波動的時間大多集中于視頻的開始階段和中間階段，結(jié)合參與者的回溯性訪談數(shù)據(jù)可知，視頻開始階段的講述方式激發(fā)了學(xué)習(xí)者的好奇心，加之背景音樂和畫面給人帶來愉悅感，吸引了學(xué)習(xí)者的注意力，而視頻中間階段無論是視頻內(nèi)容還是視頻呈現(xiàn)方式，都能較好地引起情感共鳴或聯(lián)想。

此外，本研究的面部表情識別數(shù)據(jù)還表明在線視頻學(xué)習(xí)者的整體喚醒度與愉悅度較高，這與SAM自評數(shù)據(jù)一致。過高或過低喚醒的情感狀態(tài)都會干擾學(xué)習(xí)過程，而Lee等[25]的研究發(fā)現(xiàn)，基于視頻異步學(xué)習(xí)的學(xué)習(xí)者反饋無聊的根源來自其與視頻內(nèi)容本身的互動，靜態(tài)的呈現(xiàn)模式會使學(xué)習(xí)者處于低喚醒狀態(tài)（如放松），進(jìn)而很容易感到無聊。因此，視頻內(nèi)容的設(shè)計需要從維持學(xué)習(xí)者學(xué)習(xí)動機的角度考慮。通過教學(xué)視頻改善學(xué)習(xí)成果的有效方法有兩種：一是分段，即將視頻分成更小且有意義的片段；二是混合視角，即從第一人稱和第三人稱混合拍攝[26]。本研究在視頻內(nèi)容選擇的過程中，充分考慮了視頻內(nèi)容的分段（30分鐘的視頻分為三個小故事片段）和拍攝的混合視角（漫畫家/繪本創(chuàng)作者的第一人稱敘述及解說者第三人稱視角）。

3 視頻內(nèi)容影響滿意度的過程中情感狀態(tài)具有完全中介作用

表4和圖4的結(jié)果表明，在線視頻學(xué)習(xí)過程中的視頻內(nèi)容對滿意度有極其顯著影響，視頻內(nèi)容影響滿意度的過程中情感狀態(tài)具有完全中介作用，這與荷蘭對730名國際新生群體的調(diào)研結(jié)果“成就情緒在學(xué)生參與在線教育中起著重要的中介作用”一致[27]。訪談內(nèi)容也表明，參與者與視頻中的創(chuàng)作者產(chǎn)生了很強的同理心，“每個創(chuàng)作者都是值得被尊重的”；參考者紛紛表示后期會把《但是還有書籍》全集看完并且非常愿意推薦給他人，“視頻的每一秒都長著翅膀，輕盈又落在地上”。

在遠(yuǎn)程和異步學(xué)習(xí)中，學(xué)習(xí)者的情感狀態(tài)更為重要，是成功教育的關(guān)鍵因素。在線視頻內(nèi)容的設(shè)計與組織需要超越現(xiàn)有的用于程序?qū)W習(xí)的多媒體演示設(shè)計原則，“朝著更好地調(diào)整教學(xué)方法、學(xué)習(xí)材料、過程測量和學(xué)習(xí)結(jié)果測量的方向發(fā)展”[28]。一方面，可以通過激發(fā)學(xué)生對某一主題的興趣和想象力來促進(jìn)學(xué)習(xí)與創(chuàng)造，學(xué)習(xí)者的興趣感可以將他們的注意力引導(dǎo)到對認(rèn)知要求更高的信息尋求和問題解決行為上，幫助他們擺脫低喚醒的被動狀態(tài)；另一方面，可以在視頻講座中插入更多認(rèn)知要求更高的活動（如提出復(fù)雜的問題、自我解釋）和有趣的例子，在最小化低喚醒狀態(tài)（如放松、無聊、疲倦）的同時，引起一定程度的焦慮和興趣，以獲得積極的激活情緒（如好奇心和注意力）。

五 結(jié)語

在面對面的教學(xué)環(huán)境中，教師和學(xué)習(xí)者在教學(xué)空間中相遇，識別學(xué)習(xí)者的無聊、沮喪等情感狀態(tài)，可以幫助教師解決學(xué)習(xí)者大部分的學(xué)習(xí)動機和興趣問題。本研究開發(fā)的面部表情識別工具可以用于探索在線視頻學(xué)習(xí)過程中的學(xué)習(xí)者情感狀態(tài)，旨在為在線視頻內(nèi)容設(shè)計提供參考，但不足之處在于：①研究樣本較少，導(dǎo)致結(jié)果的可推廣性較低，下一步會嘗試將其部署于本研究已創(chuàng)設(shè)的MOOC平臺視頻學(xué)習(xí)環(huán)境中以獲取更多的數(shù)據(jù)；②雖然使用了面部表情識別數(shù)據(jù)分析學(xué)習(xí)者的情感狀態(tài)，但面部表情識別因其自身的局限性無法很好地檢測學(xué)習(xí)者的注意力變化過程，后續(xù)研究可以結(jié)合多模態(tài)數(shù)據(jù)（如眼動追蹤、腦電信號）獲得更客觀的學(xué)習(xí)者學(xué)習(xí)狀態(tài)數(shù)據(jù)；③僅從情感狀態(tài)的角度探討了在線視頻學(xué)習(xí)過程中視頻內(nèi)容對滿意度的影響，而沒有考慮認(rèn)知因素（如認(rèn)知方式、任務(wù)難度等），后續(xù)研究需要進(jìn)一步探討在線視頻學(xué)習(xí)過程中認(rèn)知與情感的交互作用機制。此外，后續(xù)研究還可以收集非侵入性生理數(shù)據(jù)，如面部表情、眼動追蹤、身體姿勢等，開發(fā)情感狀態(tài)識別和適應(yīng)性系統(tǒng)，檢查學(xué)習(xí)者的行為模式和情感狀態(tài)，并借助相關(guān)反饋技術(shù)調(diào)整學(xué)習(xí)者的動機和注意力。

[1]Immordino-Yang M H. Emotions, learning, and the brain: Exploring the educational implications of affective neuroscience[M]. New York: W. W. Norton & Company, 2016:18.

[2]Ou C, Joyner D A, Geol A K. Designing and developing video lessons for online learning: A seven-principle model[J]. Online Learning Journal, 2019,(2):82-104.

[3]De Koning B B, Hoogerheide V, Boucheix J M. Developments and trends in learning with instructional video[J]. Computers in Human Behavior, 2018,89:395-398.

[4]Poquet O, Lim L, Mirriahi N. Video and learning: A systematic review(2007-2017)[A]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge[C]. New York: Association for Computing Machinery, 2018:151-160.

[5]Wang Y, Liu Q, Stein D, et al. Measuring students affective states through online learning logs-an application of learning analytics[J]. International Journal of Information and Education Technology, 2019,(5):356-361.

[6]Akcapinar D, Bayazit A. Investigating video viewing behaviors of students with different learning approaches using video analytics[J]. Turkish Online Journal of Distance Education. 2018,(4):116-125.

[7]Soong S K A, Chan L K, Cheers C, et al. Impact of video recorded lectures among students[OL].

[8]Nagy J T. Evaluation of online video usage and learning satisfaction: An extension of the technology acceptance model[J]. International Review of Research in Open and Distance Learning. 2018,(1):160-185.

[9]Oluwalola F K. Effect of emotion on distance e-Learning——the fear of technology[J]. International Journal of Social Science and Humanity, 2015,(11):966-970.

[10]Schmitz B, Klug J, Schmidt M. Assessing self-regulated learning using diary measures with university students[A]. Handbook of Self-regulation of Learning and Performance[C]. London: Routledge, 2011:251-266.

[11]Ansari A, Montoya R, Netzer O. Dynamic learning in behavioral games: A hidden Markov mixture of experts approach[J]. Quantitative Marketing and Economics, 2012,(10):475-503.

[12]Pardos Z A, Baker R S J D, San P M O C Z, et al. Affective states and state tests: Investigating how affect throughout the school year predicts end of year learning outcomes[J]. Journal of Learning Analytics, 2014,(1):107-128.

[13]Russell J A. A circumplex model of affect[J]. Journal of Personality and Social Psychology, 1980,(6):1161-1178.

[14]Mejbri N, Essalmi F, Jemmi M. et al. Trends in the use of affective computing in e-learning environments[J]. Education and Information Technologies. 2022,(27):3867-3889.

[15]Ekman P, Friesen W V. Facial action coding system: A technique for the measurement of facial movement[M]. Palo Alto, CA: Consulting Psychologists Press, 1978:45-60.

[16]Bradley M M, Lang P J. Measuring emotion: The self-assessment manikin and the semantic differential[J]. Journal of Behavior Therapy and Experimental Psychiatry, 1994,(1):49-59.

[17]Levy M. The concept of audience activity[A]. Media Gratifications Research: Current Perspectives[C]. Beverly Hills, Calif: Sage Publications, 1985:109-122.

[18]Stafford T F, Staffor M R, Schkade L L. Determining uses and gratifications for the Internet[J]. Decision Sciences Journal of Innovative Education, 2004,(2):259-288.

[19]Keller J M. Motivational design of instruction[A]. Instructional Design Theories and Models: An Overview of Their Current Status[C]. New York: Routledge, 1983:386-434.

[20]Baldaasrri S, Hupont I, Abadia D, et al. Affective-aware tutoring platform for interactive digital television[J]. Multimedia Tools and Applications. 2015,(74):3183-3206.

[21]李曉明,傅小蘭,鄧國峰.中文簡化版PAD情緒量表在京大學(xué)生中的初步試用[J].中國心理衛(wèi)生雜志,2008,(5):327-329.

[22]Kort B, Reilly R, Picard R W. An affective model of interplay between emotions and learning: Reengineering educational pedagogy -building a learning companion[OL].

[23]劉聰.硬幣的兩面——人工智能助推職場歸屬感的前景探討[OL].

[24]Grafsgaard J F, Wiggins J B, Boyer K E, et al. Automatically recognizing facial expression: Predicting engagement and frustration[A]. Educational Data Mining[C]. NY: IEEE, 2013:159-165.

[25]Lee J, So H, Ha S, et al. Unpacking academic emotions in asynchronous video-based learning: focusing on Korean learners’ affective experiences[J]. The Asia-Pacific Education Researcher, 2021,(30):247-261.

[26]Fiorella L, Mayer R E. What works and what doesn’t work with instructional video[J]. Computers in Human Behavior, 2018,89:465-470.

[27]Tempelaar D T, Niculescu A, Rienties B, et al. How achievement emotions impact students’ decisions for online learning, and what precedes those emotions[J]. The Internet and Higher Education, 2012,(3):161-169.

[28]Fiorella L, Mayer R E. What works and what doesn’t work with instructional video[J]. Computers in Human Behavior, 2018,89:465-470.

Study on the Recognition of Learners’ Affective States during Online Video Learning Process and the Influencing Factors

SHAN Mei-xian ZHANG Rui-yang

As an important factors affecting the quality of online video learning, learners’ affective states have been widely concerned by researchers. Although current data-driven research methods can provide important information about learners’ cognitive behaviors during online video learning process, the number of studies on learners’ affective state based on data during online video learning process and the influencing factors are very limited. Therefore, this paper firstly developed the facial expression recognition tool and examined the accuracy of the facial expression recognition tool. Then, according to the analyses of affective state data and SAM (Self-Assessment Manikin) self-report data, the changes of learners’ affective state during online video learning were grasped. Finally, questionnaire surveys and retrospective interviews were conducted to understand the influence of video content on learners’ affective states and satisfaction. The research showed that the facial expression recognition tool could identify learners’ emotional fluctuations with high accuracy on the whole, and video contents had a significant effect on learners’ affective states and satisfaction, and the affective states had a full mediation effect on video content and satisfaction. Through the research, this paper aimed to provide reference for online video content design, promote learners to maintain a high level of arousal and pleasure, and improve their online video learning experience.

online video learning; facial expression recognition; affective states; video content; satisfaction

G40-057

A

1009—8097（2023）12—0065—11

10.3969/j.issn.1009-8097.2023.12.007

本文為2023年度江蘇省高校哲學(xué)社會科學(xué)研究重大項目“iVR學(xué)習(xí)環(huán)境中學(xué)習(xí)者的認(rèn)知與情感交互作用機制研究”（項目編號：2023SJZD030）、2022年江蘇省研究生教育教學(xué)改革課題“高校研究生課程思政有效教學(xué)的實證研究”（項目編號：JGKT22_C021）的階段性研究成果。

單美賢,教授，博士，研究方向為學(xué)習(xí)過程中的情感狀態(tài)分析，郵箱為shanmx@njupt.edu.cn。

2023年6月22日

編輯：小時