趙麗 李蘇琦 王淑文

[摘 ? 要] 人工智能技術(shù)支持下的學(xué)習(xí)情感識別在教育教學(xué)研究中至關(guān)重要，能夠促進教育教學(xué)策略的改進。腦機接口技術(shù)作為人工智能技術(shù)的一項重要應(yīng)用，已成為情感識別領(lǐng)域研究熱點之一。文章分析了腦機接口技術(shù)支持學(xué)習(xí)情感識別的發(fā)展動因，進而構(gòu)建包括數(shù)據(jù)處理、情感表達與教學(xué)調(diào)控三個過程的腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用框架，探討了腦機接口技術(shù)在學(xué)習(xí)情感識別領(lǐng)域仍面臨的技術(shù)鴻溝、倫理挑戰(zhàn)與學(xué)習(xí)者的主觀偏見等局限。最后提出未來腦機接口支持下的學(xué)習(xí)情感識別可從強化技術(shù)融合、發(fā)展以人為本為導(dǎo)向的設(shè)計，以及尊重學(xué)習(xí)者的主觀需求等方面進行改進，從而保證腦機接口技術(shù)支持學(xué)習(xí)情感識別應(yīng)用的可行性，并綜合衡量學(xué)習(xí)狀態(tài)，拓展其在教育領(lǐng)域的應(yīng)用與創(chuàng)新。

[關(guān)鍵詞] 腦機接口； 情感識別； 人工智能； 學(xué)習(xí)情感； 教學(xué)調(diào)控

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 趙麗（1982—），女，江蘇南京人。副教授，博士，主要從事在線學(xué)習(xí)理論與實踐、課堂教學(xué)模式變革、學(xué)生思維能力培養(yǎng)研究。E-mail：li.zhao@njnu.edu.cn。

一、引 ? 言

情感（Emotion）是個體對客觀事物是否滿足自己的需要而產(chǎn)生的態(tài)度體驗[1]，其可以反映個體當下的生理與心理狀態(tài)，并對個體的認知、溝通與決策等產(chǎn)生重要影響[2]。在教育領(lǐng)域，學(xué)習(xí)者的學(xué)習(xí)情感會影響他們的信息處理水平、回憶再現(xiàn)能力和外在表現(xiàn)行為[3]。在學(xué)習(xí)過程中，學(xué)習(xí)者產(chǎn)生的高興、專注等積極情感能夠激發(fā)他們的學(xué)習(xí)動機，提高學(xué)習(xí)投入度，促進認知加工活動；而焦慮、悲傷等消極情感會抑制學(xué)習(xí)者的學(xué)習(xí)動機，影響他們的學(xué)習(xí)注意力和專注度，阻礙認知活動[4]。因此，學(xué)習(xí)情感是學(xué)習(xí)者學(xué)習(xí)行為的重要驅(qū)動因素[5]，準確識別并分析學(xué)習(xí)者的學(xué)習(xí)情感，能夠及時判斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，從而給予精準調(diào)控，保障良好的學(xué)習(xí)效果。學(xué)習(xí)者學(xué)習(xí)情感的變化會受到多種因素的影響，通常會伴有個體行為表征和生理、心理反應(yīng)的變化，因此，可以采取科學(xué)的方法對其進行識別與分析。

情感識別（Emotion Recognition）的概念最早在Minsky教授于1986年編著的《心智社會》中提出[6]。這是一個跨學(xué)科研究領(lǐng)域，涉及計算機科學(xué)、心理學(xué)、認知科學(xué)、神經(jīng)科學(xué)等多個學(xué)科，指的是對情感信息中比較有代表性的特征進行提取，并根據(jù)提取到的特征進行情感分類，從而識別并判斷出個體當前所處的情感狀態(tài)類型[7]。其作為情感計算領(lǐng)域的重要組成部分，賦予了計算機識別、理解與分析人類各種情感特征的能力[8]，在計算機與人類情感之間建立聯(lián)系，實現(xiàn)了自然、生動的人機交互。

情感識別的關(guān)鍵是找出個體情感與其情感信息介質(zhì)之間的映射聯(lián)系[9]。一般來講，情感信息介質(zhì)通常包括行為信息和生理信號兩種形式，情感識別通過采集個體的行為信息和生理信號兩種方式來評估個體的情感狀態(tài)[10]。在以往的研究中，研究者通常將采集到的學(xué)習(xí)者的面部表情、課堂發(fā)言、肢體手勢等多種模態(tài)行為信息作為情感識別的源數(shù)據(jù)，其具有豐富性和多樣性等特征，但同時也具有欺騙性、不準確性等局限。隨著人工智能發(fā)展和多學(xué)科不斷交叉融合，更自然的人機交互系統(tǒng)的實現(xiàn)獲得廣泛關(guān)注。作為人機交互的一個重要應(yīng)用，腦機接口技術(shù)（Brain-Computer Interface，簡稱BCI）已成為神經(jīng)科學(xué)研究關(guān)注的熱點課題。情感腦機接口（affective Brain-Computer Interfaces，簡稱aBCI）作為腦機接口技術(shù)專注于情感領(lǐng)域的研究方式，為情感識別提供了新手段。其可以在計算機和大腦之間建立非肌肉通道，直接采集大腦皮層的腦電信號[11]，極大減少了情感識別對外部行為的依賴，從而獲取更加真實的情感數(shù)據(jù)。因此，基于腦機接口技術(shù)的情感識別以其顯著的優(yōu)勢在現(xiàn)階段和未來都有著廣闊的應(yīng)用前景。然而，現(xiàn)階段由于腦機接口技術(shù)尚不完善以及相關(guān)法律政策的缺失，也有人在謹慎地反思新技術(shù)對個體精神領(lǐng)域的侵害風(fēng)險[12]，因而腦機接口技術(shù)支持學(xué)習(xí)情感識別或面臨實際應(yīng)用的可行性等諸多問題。因此，本研究聚焦腦機接口技術(shù)支持下的學(xué)習(xí)情感識別，從學(xué)習(xí)情感識別的研究現(xiàn)狀、腦機接口支持學(xué)習(xí)情感識別的應(yīng)用框架、反思與建議，探討腦機接口技術(shù)支持學(xué)習(xí)情感識別的實現(xiàn)路徑及可能存在的應(yīng)用局限，為腦機接口技術(shù)支持學(xué)習(xí)情感識別的未來研究與實踐提供一定參考。

二、從多模態(tài)到腦機接口技術(shù)：學(xué)習(xí)情感識別的研究路向

人工智能與傳感技術(shù)的融合應(yīng)用，使通過采集學(xué)習(xí)者的面部表情、語音等模態(tài)信息進行情感識別成為研究熱點。隨著人工智能和教育神經(jīng)科學(xué)的發(fā)展，研究者也在試圖采集與分析學(xué)習(xí)者的生理信號以檢測和識別學(xué)習(xí)者的情感狀態(tài)。

（一）多模態(tài)支持下的學(xué)習(xí)情感識別路徑及困境

不同的情感對行為有不同的導(dǎo)向作用。通常用來評估學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)的方式包括自我報告、行為觀察和學(xué)習(xí)情緒量表等行為和心理測量方式，存在結(jié)果準確率不高、主觀性較強等問題[13]。近年來，隨著傳感技術(shù)與人工智能的融合應(yīng)用，利用多模態(tài)信息來解碼個體情感已成為情感識別領(lǐng)域常用的信息處理方式。模態(tài)指某件事發(fā)生或經(jīng)歷的方式，是屬于身體或情境中一種可衡量的屬性[14]，人的各種感官和信息的傳播媒介等都可以被稱作一種模態(tài)[15]。在傳統(tǒng)的情感分析研究中，研究者通?；谀骋环N模態(tài)進行分析。如，基于學(xué)習(xí)者的觸覺這一模態(tài)，Tewell等設(shè)計了熱刺激陣列來提高學(xué)生對信息的情緒喚醒能力[16]。在特定的教育場景下，學(xué)習(xí)者的行為姿態(tài)、語音表達和面部表情等往往具有復(fù)雜性，單模態(tài)支持下的情感分析難以全面、準確地識別、分析出學(xué)習(xí)者的學(xué)習(xí)情感。因此，大多數(shù)情況下，人類會通過聲音、面部表情、肢體語言等融合多種模態(tài)表達情感。當前，多模態(tài)情感識別主要對象包括文本、語音、面部表情、肢體行為、學(xué)習(xí)情境、生理和心理數(shù)據(jù)等[17]。

相比于單模態(tài)支持下的學(xué)習(xí)情感識別，多模態(tài)支持下的情感識別可以利用多種模態(tài)信息源進行情感信息的相互印證與補充，有效提升了學(xué)習(xí)情感識別的準確性。然而，多模態(tài)情感識別仍面臨一些挑戰(zhàn)：首先，雖然學(xué)習(xí)主體的面部表情、語音、肢體行為等模態(tài)數(shù)據(jù)便于收集，但由于此類信息受主體主觀控制的作用較強，模態(tài)信息可能具有欺騙性，無法保證結(jié)果分析的可靠性[18]；其次，融合多個模態(tài)信息進行情感識別會使不同模態(tài)信息特征間的相關(guān)性變得復(fù)雜，處理分析的數(shù)據(jù)量會大幅度增加，而大規(guī)模數(shù)據(jù)可能會引起數(shù)據(jù)混亂[19]；再次，多模態(tài)支持下需要對多模態(tài)數(shù)據(jù)進行壓縮，有可能導(dǎo)致一些信息的丟失；最后，不同模態(tài)的信息源之間可能存在時間異步的問題，從而無法實現(xiàn)實時性的多模態(tài)融合。

（二）腦機接口技術(shù)支持學(xué)習(xí)情感識別的可能探索

相比易受外界因素和主觀動機干擾的外顯行為信息，內(nèi)在的生理信號更加穩(wěn)定并難以主觀操控[20]， 因此，基于個體內(nèi)部的生理信號（如腦電信號、心電圖等）來監(jiān)測情感變化會更加直觀且真實[16]。其中，基于腦電信號的情感識別為個體內(nèi)部情感狀態(tài)的監(jiān)測提供了一種直接有效的方式。因此，利用腦機接口技術(shù)采集學(xué)習(xí)者的腦電信號以進行學(xué)習(xí)情感識別逐漸受到了研究者的關(guān)注。

腦機接口技術(shù)指通過在學(xué)習(xí)者的大腦與外部設(shè)備（如計算機）之間建立直接交流的信息通道，對大腦生理數(shù)據(jù)進行編碼與解碼，從而實現(xiàn)大腦神經(jīng)系統(tǒng)和計算機間信息傳遞、交互及功能整合的技術(shù)[21]。目前的腦機接口技術(shù)可采集、轉(zhuǎn)換與識別大腦神經(jīng)信號，將學(xué)習(xí)者的內(nèi)隱信息進行外顯化表征。學(xué)習(xí)本質(zhì)上是大腦神經(jīng)元建立連接的過程[22]，從神經(jīng)科學(xué)的視角對教育領(lǐng)域出現(xiàn)的各種問題開展剖析與研究已成為教育研究領(lǐng)域的一個重地。

腦機接口技術(shù)研發(fā)初衷是幫助身體失能者重獲與外界交互的能力[23] ， 醫(yī)學(xué)領(lǐng)域是腦機接口應(yīng)用主陣地之一。隨著技術(shù)不斷發(fā)展，腦機接口技術(shù)在認知領(lǐng)域中也有廣闊的應(yīng)用前景，其可以實時預(yù)測人體的認知情感狀態(tài)[19]。在學(xué)習(xí)過程中，學(xué)習(xí)者的腦電特征會因?qū)W習(xí)認知活動的不同而存在差異，而腦電特征可通過腦電信號（EEG）、近紅外光譜（fNIRS）等信號介質(zhì)進行表征[24]。因此，利用腦機接口技術(shù)能夠?qū)崿F(xiàn)對腦電信號的采集與分析，是深度解碼大腦中學(xué)習(xí)與認知信息的重要前提。

隨著腦機接口技術(shù)的發(fā)展與多學(xué)科融合趨勢日益明顯，腦機接口技術(shù)的教育應(yīng)用也逐漸成為重要的教育研究議題。教育對個體的作用不僅作用于個體的外顯行為，還對個體內(nèi)隱的、深層次的神經(jīng)生理活動產(chǎn)生影響[25]。運用腦機接口技術(shù)檢測并反饋學(xué)習(xí)狀態(tài)，對提升學(xué)生注意力、認知力和理解力等能力有積極影響[26]。隨著多學(xué)科的交叉融合，教與學(xué)背后的腦神經(jīng)認知機制得到教育研究者的廣泛關(guān)注，以期制定出更符合人腦學(xué)習(xí)規(guī)律的教學(xué)策略[27]。學(xué)習(xí)者的情緒狀態(tài)、專注度、認知負荷等認知狀態(tài)對學(xué)習(xí)效果存在重要影響，利用腦機接口技術(shù)可從神經(jīng)生理信號的角度對學(xué)習(xí)者的專注度、情緒等狀態(tài)進行分析[28]，這或是解密學(xué)習(xí)者復(fù)雜行為背后內(nèi)隱認知狀態(tài)的可行性方法。

三、基于腦機接口技術(shù)的學(xué)習(xí)情感識別

應(yīng)用框架

應(yīng)用腦機接口設(shè)備對大腦活動進行識別通常有主動和被動兩種控制方式[29]。在大腦主動進行活動時，個體通過直接和有意識地生成命令來控制設(shè)備，這些命令被連接到外部應(yīng)用程序。相反，被動狀態(tài)下的腦機接口系統(tǒng)是指大腦信號在沒有任何自愿控制的情況下產(chǎn)生輸出的系統(tǒng)。個體情感識別即屬于被動腦機接口的實現(xiàn)方式[30]。腦機接口系統(tǒng)通常包含信號采集、信號處理和交互控制三個模塊[31]：信號采集模塊指利用信號采集設(shè)備采集帶有大腦活動信息的信號介質(zhì)，以便于后續(xù)的處理、分析與應(yīng)用；信號處理模塊旨在對采集到的大腦信號進行分析，解碼其包含的大腦活動信息，從而了解大腦意圖；控制模塊需要將大腦信號轉(zhuǎn)換為外部設(shè)備可識別的信號，從而在外部設(shè)備上呈現(xiàn)大腦意圖，以供研究人員對其進行進一步的分析與研究。本研究在情感識別研究基礎(chǔ)上，結(jié)合對學(xué)習(xí)者情感狀態(tài)特征的分析， 以離散情感模型為基礎(chǔ)[32]，建構(gòu)腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用框架（如圖1所示）。該框架主要包括數(shù)據(jù)處理、情感表達與教學(xué)調(diào)控三過程，立足于實際的教學(xué)場景，采集學(xué)習(xí)者在上課期間的腦電信號，依據(jù)離散情感模型并利用相關(guān)算法對腦電信號進行預(yù)處理、特征提取以及情感分類，隨后通過交互控制模塊將處理好的腦電信號轉(zhuǎn)換成其它設(shè)備可識別的控制信號；對情感分析模型進行反饋與評估，可利用可視化方式表達學(xué)習(xí)情感，并對學(xué)習(xí)情感進行正確歸因；最后，基于分析結(jié)果，從教師和學(xué)生兩個角度動態(tài)干預(yù)與調(diào)節(jié)學(xué)習(xí)者在課前、課中和課后三個學(xué)習(xí)環(huán)節(jié)的情感狀態(tài)，實現(xiàn)全方位學(xué)習(xí)情感調(diào)節(jié)。

（一）立足課堂教學(xué)，采集與處理學(xué)習(xí)情感數(shù)據(jù)

課堂教學(xué)情境中，學(xué)習(xí)者的情感狀態(tài)通常會隨著教師的引導(dǎo)和與同伴的互動而隨時發(fā)生變化，學(xué)習(xí)者的大腦皮層處于始終活躍的狀態(tài)。因此，可借助腦機接口技術(shù)對上課時的學(xué)生進行實時腦電信號采集。通常情況下，腦機接口技術(shù)有三種采集信號的方式：侵入式、非侵入式和半侵入式?？紤]到實際教育場景的復(fù)雜性以及學(xué)習(xí)者的身體狀態(tài)，在不影響正常學(xué)習(xí)進度的情況下，采用非侵入式，由學(xué)習(xí)者頭戴腦電帽，通過電極采集腦電信號的方式最為便捷。另外，腦機接口技術(shù)支持下的學(xué)習(xí)情感識別屬于被動性腦機接口，主要依賴于非自愿調(diào)節(jié)的大腦活動，系統(tǒng)可以實時捕捉學(xué)習(xí)者的情感狀態(tài)，他們不必為達到特定結(jié)果而主觀改變自己的心理活動。

隨后，利用腦機接口系統(tǒng)對采集到的腦電信號進行數(shù)據(jù)處理。數(shù)據(jù)處理是腦機接口系統(tǒng)的核心模塊，包括預(yù)處理、特征提取和情感分類三個階段。首先，進行腦電信號的預(yù)處理，根據(jù)采集到的腦電信號的時域和頻域特點及不同來源，利用主成分分析（PCA）、獨立成分分析（ICA）、非線性濾波等方法最大程度去除腦電信號中的噪音干擾[31]，提高EEG信號的信噪比，放大腦電信號，并將其數(shù)字化，為后續(xù)的數(shù)據(jù)處理做準備。其次，利用STFT對腦電信號的功率譜密度（PSD）和頻譜熵（SE）等統(tǒng)計特征進行時域、頻域、時頻和非線性特征的特征提取[33]，這是為了降低腦電信號數(shù)據(jù)的維數(shù)以提取出與學(xué)習(xí)情感相關(guān)的特征。再次，依據(jù)離散情感模型和現(xiàn)有的基準情感數(shù)據(jù)庫，利用無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和有監(jiān)督學(xué)習(xí)等情緒識別分類方法和自組織映射（Self-Organizing Map， SOM）、支持向量機（SVM）等分類器進行情感分類，實現(xiàn)腦電信號與積極、中性和消極三種學(xué)習(xí)情感的映射關(guān)系。最后，通過腦電轉(zhuǎn)換模塊，將處理后的腦電信號轉(zhuǎn)換成可以被外部設(shè)備識別或操作的控制信號或命令，以實現(xiàn)實時、準確的輸出。

（二）依據(jù)分析結(jié)果，表達與反饋學(xué)習(xí)情感數(shù)據(jù)

對經(jīng)過腦機接口系統(tǒng)分析后的情感識別模型進行結(jié)果反饋與評估，將識別并經(jīng)過處理的學(xué)習(xí)情感信息進行可視化表達與反饋?？梢暬菍?shù)據(jù)、知識和信息等轉(zhuǎn)化為可視的表達形式的過程，可以更加直觀地識別并理解更深層次的數(shù)據(jù)[34]。在實際教學(xué)場景中，可視化的情感表達可以實時、生動地呈現(xiàn)學(xué)習(xí)者的情感狀態(tài)，促進腦機接口系統(tǒng)與學(xué)習(xí)場域的情感交互，提升腦機接口技術(shù)支持學(xué)習(xí)情感識別應(yīng)用的友好性與學(xué)生的學(xué)習(xí)體驗。另外，學(xué)習(xí)情感的可視化表達還可以作為腦機接口系統(tǒng)與實際教育場景的橋梁，教師和學(xué)生可根據(jù)學(xué)習(xí)情感的可視化表達的結(jié)果，針對性地對教師的教學(xué)策略、學(xué)習(xí)者自身的心理狀態(tài)進行調(diào)整與改善，以實現(xiàn)對整個教學(xué)與學(xué)習(xí)過程全方位的監(jiān)督與調(diào)控。目前，可采用虛擬情感呈現(xiàn)（如交互式儀表盤、擬人表情等）和實體化情感表達兩種方式實現(xiàn)學(xué)習(xí)情感的可視化表達。其中，利用交互式儀表盤可以按時間序列實時、動態(tài)地顯示學(xué)習(xí)者的情感狀態(tài)與頻率，教師與學(xué)生借此可以掌握學(xué)生在學(xué)習(xí)過程中的情感變化趨勢，從而全面了解整個學(xué)習(xí)過程。在實體層面，可以采用情感打印、點陣圖技術(shù)等方式生成可視化情感報告，基于課堂時間線呈現(xiàn)情感的類型分布，基于點陣圖技術(shù)呈現(xiàn)某一時刻學(xué)習(xí)者的情感類型，從而建立起基于教育場景的情感對應(yīng)關(guān)系。無論是虛擬還是實體的學(xué)習(xí)情感呈現(xiàn)，其目的都是以求實現(xiàn)基于時間、情境、情感變化趨勢和信息匯聚的情感可視化[35]。

（三）回歸課堂教學(xué)，干預(yù)與調(diào)節(jié)學(xué)習(xí)過程

理解學(xué)習(xí)者情感狀態(tài)的產(chǎn)生原因，對提供精準干預(yù)措施至關(guān)重要。因此，干預(yù)與調(diào)控學(xué)習(xí)者的消極情感，激發(fā)并保持學(xué)習(xí)者的積極情感，將有助于提升學(xué)習(xí)者的學(xué)習(xí)效果?？刂啤獌r值理論認為，學(xué)習(xí)者的學(xué)習(xí)情感受到學(xué)習(xí)者的個人特征、學(xué)業(yè)任務(wù)、學(xué)習(xí)參與、學(xué)業(yè)評估和外部環(huán)境等多方面因素的影響[36]。其中，學(xué)習(xí)者的個體特征包括學(xué)習(xí)者的個體屬性、認知能力、學(xué)習(xí)風(fēng)格與學(xué)習(xí)態(tài)度等方面，這些維度將影響學(xué)習(xí)者對學(xué)業(yè)活動的評估與成就；學(xué)業(yè)任務(wù)包括學(xué)習(xí)者在課堂和課下需要完成的學(xué)習(xí)任務(wù)；學(xué)習(xí)參與指學(xué)習(xí)者對課程學(xué)習(xí)的動機水平和投入程度；評估因素是指學(xué)習(xí)者對過去學(xué)習(xí)結(jié)果的總結(jié)，對當前學(xué)習(xí)活動的評估以及對將來的學(xué)習(xí)結(jié)果的預(yù)測；而外部環(huán)境因素是學(xué)習(xí)者所處的物理環(huán)境和與教師、同伴的社交環(huán)境等對其學(xué)習(xí)情感狀態(tài)的影響，這些因素都將直接影響學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)。因此，依據(jù)可視化情感表達的結(jié)果，基于控制—價值理論，可對學(xué)習(xí)者的學(xué)習(xí)情感產(chǎn)生的原因進行正確歸因。

情感歸因的結(jié)果可應(yīng)用到具體的教學(xué)場景中，統(tǒng)籌調(diào)控教師的教學(xué)策略以及學(xué)習(xí)者的學(xué)習(xí)方式與學(xué)習(xí)狀態(tài)。以保持積極學(xué)習(xí)情感、調(diào)節(jié)與干預(yù)消極學(xué)習(xí)情感、轉(zhuǎn)化中性學(xué)習(xí)情感為結(jié)果導(dǎo)向，從教師和學(xué)生兩個角度，通過師生、生生和自適應(yīng)三種情感交互方式，在課前、課中、課后三個教學(xué)環(huán)節(jié)對學(xué)習(xí)過程提供全方位明確、清晰的干預(yù)與指導(dǎo)。在課前階段，學(xué)生應(yīng)主動開展課前預(yù)習(xí)，為課中學(xué)習(xí)夯實基礎(chǔ)；教師基于學(xué)生先前課后的反饋以及課堂的表現(xiàn)適當調(diào)節(jié)預(yù)習(xí)任務(wù)難度，并設(shè)計恰當?shù)那楦胁牧稀Ｕn中階段是教與學(xué)的主戰(zhàn)場，教師可通過播放圖片、音視頻、引導(dǎo)學(xué)生想象和自述、組織學(xué)生互動交流等方式主動激發(fā)學(xué)生的積極情感，同時學(xué)生應(yīng)積極地參與到課堂活動中，與同伴積極互動，使自己始終保持一個積極的情緒狀態(tài)，從而提升課中的學(xué)習(xí)效果。在課后階段，學(xué)生應(yīng)及時進行課中內(nèi)容回顧，完成課后任務(wù)，了解自己在課中的薄弱之處，并及時鞏固；教師通過課后輔導(dǎo)與學(xué)習(xí)成果評估的方式及時了解學(xué)生在課中的學(xué)習(xí)狀態(tài)和學(xué)習(xí)效果，給予學(xué)生精準的輔導(dǎo)。

四、腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用

反思與建議

腦機接口作為人機交互技術(shù)中具有革命性發(fā)展傾向的新型技術(shù)，已成為神經(jīng)科學(xué)、工程科學(xué)、認知科學(xué)、教育科學(xué)等領(lǐng)域的重要研究議題。然而，由于技術(shù)鴻溝、道德倫理等問題，腦機接口技術(shù)支持學(xué)習(xí)情感識別尚未成熟，存在一些局限性，亟待改進。

（一）腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用反思

盡管腦機接口技術(shù)能夠?qū)崿F(xiàn)學(xué)習(xí)者大腦信息與外界的傳遞與交互，但作為一項新興技術(shù)，腦機接口技術(shù)支持學(xué)習(xí)情感識別在實際的教育場景應(yīng)用中仍面臨諸多挑戰(zhàn)。

1. 技術(shù)缺陷：面臨技術(shù)與數(shù)字鴻溝

首先，大腦是一個復(fù)雜的系統(tǒng)，情感活動需要由多個腦區(qū)信息交互共同完成[37]，然而目前采用的基于時頻特征的情感識別方法無法實現(xiàn)腦區(qū)之間的信息交互，因此，如何優(yōu)化相關(guān)的情感特征提取與算法分類以提高學(xué)習(xí)情感識別的精確度是在接下來的相關(guān)技術(shù)研究中亟須解決的問題。其次，目前的腦機接口技術(shù)支持學(xué)習(xí)情感識別系統(tǒng)通常采用的是非侵入式的腦機接口技術(shù)，與侵入式和半侵入式相比，非侵入式對人體的傷害較小，但卻存在腦電信號采集效率較低的問題[38]。再次，受技術(shù)的限制，目前腦機接口技術(shù)系統(tǒng)穩(wěn)定性、自適應(yīng)性較差，信號處理方式和轉(zhuǎn)換速度都有待提升。如果這些問題得不到妥善解決，在后期實際應(yīng)用過程中會對社會帶來巨大的風(fēng)險挑戰(zhàn)。

另外，腦機接口技術(shù)的大部分成果停留在實驗室階段，還存在著很多尚未顯露與解決的問題。且由于腦機接口技術(shù)的操作難度大，對應(yīng)用環(huán)境的要求高，即使研究成果在實驗室確認萬無一失，但由于實際場景的復(fù)雜性，仍存在意外發(fā)生的風(fēng)險，這也意味著該技術(shù)應(yīng)用成本昂貴，無法全面普及。因此，當前從實驗室研究跨越到實際的教育應(yīng)用場景仍是腦機接口技術(shù)支持學(xué)習(xí)情感識別所面臨的一項嚴峻挑戰(zhàn)。

2. 倫理挑戰(zhàn)：個人隱私面臨侵犯

為準確把握學(xué)習(xí)者的個體特性，實時監(jiān)測他們的情感狀態(tài)，在執(zhí)行腦機接口技術(shù)支持學(xué)習(xí)情感識別時，學(xué)習(xí)者的大腦數(shù)據(jù)會被全面采集，這將意味著學(xué)習(xí)者將處于一種透明的狀態(tài)。然而，由于大腦數(shù)據(jù)會涉及很多敏感個人信息，存在著極大的學(xué)習(xí)者隱私被侵犯的風(fēng)險[39]。更甚者，人腦是思想活動的物質(zhì)載體，是由無數(shù)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)。在腦機接口技術(shù)發(fā)展當下，采集并分析由神經(jīng)元活動引起的腦電信號，從而進一步全面解碼大腦活動狀態(tài)與意識或可實現(xiàn)。此時，人的思想將不再是外界無法觸及的領(lǐng)域，腦機接口技術(shù)操控者可以通過刺激腦神經(jīng)元影響、操縱人的思想與行為[40]。而人的大腦一旦被控制，其個人意識的連續(xù)性將會被打斷，“人”便不再是人。

從法學(xué)視角看，現(xiàn)有法律鮮有涉及對個體精神完整的保護。在腦機接口技術(shù)出現(xiàn)之前，人的思想、精神活動、行為傾向等都活動于法律無法掌控的領(lǐng)域。然而，隨著腦機接口技術(shù)的產(chǎn)生與迅速發(fā)展，作為精神活動的物質(zhì)載體，人腦不再變得那么神秘與不可測，這同時也意味著個體的精神領(lǐng)域正面臨被人踏足與侵犯的風(fēng)險，這無疑會對現(xiàn)有的法律政策帶來挑戰(zhàn)。

3. 主觀偏見：引發(fā)算法偏差

腦機接口技術(shù)尚未面向大眾全面普及，部分人可能會對其存在新奇的心理，渴望使用腦機接口設(shè)備。但多數(shù)人更多地是對腦機接口技術(shù)存在一定誤解，認為穿戴腦機接口設(shè)備可能會對個人的身體安全以及大腦主觀意識產(chǎn)生一定威脅。即便個體樂于接受腦機接口設(shè)備的使用，但由于目前腦機接口設(shè)備的外觀、使用方式以及規(guī)格等方面都與其他穿戴設(shè)備有較大的區(qū)別，在真實課堂情境下，腦機接口可穿戴設(shè)備可能仍會于無形中增加學(xué)生的心理負擔，他們往往會想要展現(xiàn)積極的情感狀態(tài)，然而適得其反，迫使學(xué)生頻繁地做出調(diào)整自身情感的行為，這會影響其真實情感的表達，導(dǎo)致學(xué)生情感的內(nèi)在體驗和外部表達之間出現(xiàn)失調(diào)[41]，造成在情感信號采集階段出現(xiàn)一定的算法偏差。

另外，差異化的情感反饋也會導(dǎo)致學(xué)生情感行為強度增加。在腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用過程中，學(xué)習(xí)者的情感狀態(tài)會被直接劃分為積極情緒、中性情緒和消極情緒，而這些包含著特定價值導(dǎo)向的情感分類，可能會對學(xué)生的人格尊嚴造成侵犯。實際上，學(xué)習(xí)者的情緒喚醒水平與其學(xué)習(xí)效果之間存在U型曲線關(guān)系，過于積極的情緒反而會降低學(xué)生的學(xué)習(xí)效果[42]。然而根據(jù)現(xiàn)有非此即彼的直接計算的結(jié)果，系統(tǒng)將對學(xué)習(xí)者的學(xué)習(xí)情感狀態(tài)直接進行匹配，從而可能對被直接劃分為消極情感的學(xué)生群體產(chǎn)生歧視等潛在風(fēng)險。因此，學(xué)生的真實學(xué)習(xí)情感呈現(xiàn)將面臨更多的阻礙，他們往往會更努力地進行情感“修正”[43]，這也會影響其真實情感的表達。

（二）腦機接口技術(shù)支持學(xué)習(xí)情感識別的發(fā)展前景

人類的情感是一個受倫理、行為和文化等因素影響的動態(tài)建構(gòu)過程[44]，腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用打破了傳統(tǒng)人類情感的建構(gòu)過程，勢必會面臨一些挑戰(zhàn)。因此，應(yīng)從現(xiàn)存發(fā)展局限出發(fā)，尋求一些實踐性建議，以實現(xiàn)對腦機接口技術(shù)支持學(xué)習(xí)情感識別應(yīng)用的管控效力。

1. 強化技術(shù)融合與創(chuàng)新，增強學(xué)習(xí)干預(yù)精準性

首先，腦機接口技術(shù)與其他智能技術(shù)的融合將會在提高認知任務(wù)性能、預(yù)測準確率和增強機器自我學(xué)習(xí)能力方面實現(xiàn)突破。面部表情、語音、肢體語言等多模態(tài)信號可以與腦電信號等生理信號相結(jié)合，更加全面地預(yù)測學(xué)生的情感狀態(tài)。因此，將腦機接口技術(shù)與多模態(tài)技術(shù)相結(jié)合能夠提高對學(xué)習(xí)者學(xué)習(xí)情感識別的準確率，從而綜合評估學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，增強學(xué)習(xí)情感干預(yù)的精準性[51]，實現(xiàn)學(xué)習(xí)環(huán)境中的情感交互。另外，技術(shù)創(chuàng)新力是技術(shù)發(fā)展和穩(wěn)定的主要推動力[46]。在進行腦機接口技術(shù)支持學(xué)習(xí)情感識別的技術(shù)設(shè)計時，既要保障技術(shù)運作的完整性、流暢性和科學(xué)性，同時還應(yīng)考慮其應(yīng)用于教育場景中的實用性和人文性，全方位地完善腦機接口支持學(xué)習(xí)情感識別的技術(shù)設(shè)計。且通常情況下，技術(shù)設(shè)計越完善，其產(chǎn)生技術(shù)風(fēng)險的概率就越小。在接下來的研究中，應(yīng)著重培養(yǎng)與發(fā)展腦機接口技術(shù)支持學(xué)習(xí)情感識別的技術(shù)創(chuàng)新力。

其次，要避免將技術(shù)“絕對化”，遏制對技術(shù)的盲目崇拜之風(fēng)[47]。腦機接口技術(shù)是尚處于發(fā)展初期的高新技術(shù)，若在初步發(fā)展階段就被人類“技術(shù)崇拜”，忽視其潛在的危害，不僅不利于技術(shù)的發(fā)展，反而會威脅到社會的穩(wěn)定性。因此，人作為腦機接口技術(shù)的技術(shù)實現(xiàn)者和應(yīng)用體驗者，應(yīng)正視人—技關(guān)系，樹立技術(shù)風(fēng)險意識，避免技術(shù)異化。

因此，為跨越腦機接口技術(shù)支持學(xué)習(xí)情感識別的技術(shù)鴻溝，應(yīng)大力發(fā)展技術(shù)融合與創(chuàng)新，提升情感識別的精確度，增強應(yīng)用系統(tǒng)在實際教育場景下的可操作性；同時，也勿要忽視人在技術(shù)更迭中的主體作用，樹立起應(yīng)對技術(shù)風(fēng)險的防范意識。

2. 遵循倫理秩序，發(fā)展以人為本的技術(shù)設(shè)計

技術(shù)設(shè)計是功能性與價值性的統(tǒng)一。在進行腦機接口技術(shù)支持學(xué)習(xí)情感識別的研究時，應(yīng)重視倫理價值，堅持以人為本，發(fā)展以人類倫理為導(dǎo)向的設(shè)計。在腦機接口技術(shù)支持下的學(xué)習(xí)情感識別研發(fā)與設(shè)計階段，學(xué)習(xí)者是主要參與者。設(shè)計者應(yīng)主動告知學(xué)習(xí)者技術(shù)應(yīng)用的注意事項，了解并滿足學(xué)習(xí)者的倫理訴求。同時，盡快確立明確的法律制度也是規(guī)避腦機接口倫理問題的重要措施。由于腦機接口技術(shù)屬于新興領(lǐng)域，法律制度的滯后性或為腦機接口技術(shù)相關(guān)人員的不當行為創(chuàng)造契機，或?qū)δX機接口技術(shù)支持學(xué)習(xí)情感識別的研究對象造成隱私侵犯等危害。法律具有一定約束力，若該約束力缺失，腦機接口技術(shù)相關(guān)從業(yè)者和使用者都可以隨心所欲地發(fā)展和使用腦機接口技術(shù)，不考慮使用前后可能造成的系列風(fēng)險問題，或?qū)⒃斐扇祟愋拍畋浪?，引發(fā)社會沖突。因此，在腦機接口技術(shù)應(yīng)用于教育領(lǐng)域時，應(yīng)明確大腦數(shù)據(jù)保護的法律措施，嚴格限制技術(shù)操控者對大腦數(shù)據(jù)的儲存和分享。同時，應(yīng)保障學(xué)習(xí)者全面知情權(quán)，確保學(xué)習(xí)者知悉技術(shù)應(yīng)用的已知風(fēng)險和潛在風(fēng)險。

因此，學(xué)習(xí)者不僅是腦機接口技術(shù)支持學(xué)習(xí)情感識別的研究對象，更是倫理問題的直接相關(guān)者。研究者既要遵循以人為本的技術(shù)設(shè)計理念，更要明確自身的法律義務(wù)與責(zé)任，嚴格保障被試者的倫理價值。

3. 完善應(yīng)用流程與設(shè)計，降低學(xué)習(xí)者的主觀偏見

學(xué)習(xí)者作為腦機接口技術(shù)支持學(xué)習(xí)情感識別的研究對象，其產(chǎn)生的主觀偏見會直接影響到學(xué)習(xí)情感識別結(jié)果的準確性。因此，相關(guān)可穿戴設(shè)備需提高其可操作性與便攜性。首先，在學(xué)習(xí)者使用可穿戴設(shè)備進行信號采集之前，相關(guān)研究者應(yīng)主動講解學(xué)習(xí)者佩戴可穿戴設(shè)備的注意事項，并全面告知學(xué)習(xí)者在實驗過程可能出現(xiàn)的各種突發(fā)情況，從而保障學(xué)習(xí)者在充分了解相關(guān)情況后主動選擇參與接下來的實驗過程。其次，取得學(xué)習(xí)者的知情同意后，在采集學(xué)習(xí)者情感信息的過程中，專業(yè)人員應(yīng)給予全方位指導(dǎo)，保障操作流程的可行性與安全性，同時提高學(xué)習(xí)情感識別的效率。

相關(guān)腦機接口產(chǎn)品的外觀設(shè)計也應(yīng)適當改進。如，可以以耳機、眼鏡、手表等學(xué)習(xí)者常見的穿戴設(shè)備為模型進行外觀設(shè)計，在提高產(chǎn)品可操作性的同時，減輕使用者心理負擔。此外，亦可針對不同年齡階段的教育主體的心理特征與不同需求，進一步對相關(guān)設(shè)備進行外觀優(yōu)化。

腦機接口技術(shù)支持學(xué)習(xí)情感識別的應(yīng)用場景可看作是以師生交互、生生交互和學(xué)習(xí)者自適應(yīng)交互為主要導(dǎo)向的教育生態(tài)系統(tǒng)。因此，在此教育生態(tài)中，應(yīng)以尊重學(xué)生和教師的主觀訴求與學(xué)生的個性化培養(yǎng)為基本原則，增強相關(guān)技術(shù)的算法透明度，提高腦機接口支持學(xué)習(xí)情感識別應(yīng)用的生態(tài)效力，以及應(yīng)用系統(tǒng)的魯棒性和靈活性，以求展現(xiàn)腦機接口支持學(xué)習(xí)情感識別在教育場景應(yīng)用下的“生態(tài)原貌”。

[參考文獻]

[1] 林崇德.心理學(xué)大辭典[M].上海：上海教育出版社，2003.

[2] 徐振國，張冠文，孟祥增，等.基于深度學(xué)習(xí)的學(xué)習(xí)者情感識別與應(yīng)用[J].電化教育研究，2019，40（2）：87-94.

[3] IMANI M， MONTAZER G A. A survey of emotion recognition methods with emphasis on E-Learning environments [J]. Journal of network and computer applications， 2019，147（C）：102423.

[4] ESSAM H. Human emotion recognition from EEG-based brain-computer interface using machine learning： a comprehensive review [J]. Neural computing and applications， 2022（34）：12527-12557.

[5] 蔣艷雙，崔璨，劉嘉豪，等.教育領(lǐng)域中的情感計算技術(shù)：應(yīng)用隱憂、生成機制與實踐規(guī)約[J].中國電化教育，2022（5）：91-98.

[6] MINSKY M. The society of mind [M]. New York： Simon and schuster，1986.

[7] BALAKRISHNAN V， LOK P Y， ABDUL RAHIM H. A semi-supervised approach in detecting sentiment and emotion based on digital payment reviews [J]. Journal of supercomputing， 2021，77（4）：3795-3810.

[8] 張迎輝，林學(xué)誾.情感可以計算——情感計算綜述[J].計算機科學(xué)，2008 （5）：5-8.

[9] 楊捷鴻，焦學(xué)軍，曹勇，等.多生理信號信息融合技術(shù)的情緒識別發(fā)展[J].生物醫(yī)學(xué)工程研究，2021，40（4）：420-427.

[10] LYUSIN D， OVSYANNIKOVA， V. Measuring two aspects of emotion recognition ability： accuracy vs. sensitivity[J]. Learning and individual differences，2016（52）：129-136.

[11] 荊珊.情感腦機接口技術(shù)應(yīng)用的倫理挑戰(zhàn)與應(yīng)對[J].自然辯證法研究，2021，37（9）：35-41.

[12] 吳佼玥，李筱永.腦機接口技術(shù)視角下神經(jīng)權(quán)利的邏輯生成和規(guī)范路徑[J].殘疾人研究，2022（2）：44-53.

[13] 葉俊民，周進，李超.情感計算教育應(yīng)用的多維透視[J].開放教育研究，2020，26（6）：77-88.

[14] 陳國偉，張鵬洲，王婷，等.多模態(tài)情感分析綜述[J].中國傳媒大學(xué)學(xué)報（自然科學(xué)版），2022，29（2）：70-78.

[15] BALTRUAITIS T， AHUJA C， MORENCY L P. Multimodal machine learning： a survey and taxonomy[J]. IEEE transactions on pattern analysis and machine intelligence，2018，41（2）：423-443.

[16] TEWELL J， BIRD J， BUCHANAN G R. The heat is on： a temperature display for conveying affective feedback[C]//Proceedings Of the 2017 acm sigchi conference on human factors in computing systems（CHI'17）， New York： Assoc comp machinery； ACM SIGCHI，2017.

[17] 劉清堂，李小娟，謝魁，等.多模態(tài)學(xué)習(xí)分析實證研究的發(fā)展與展望[J].電化教育研究，2022，43（1）：71-78，85.

[18] SHU L， XIE J， YANG M， et al. A review of emotion recognition using physiological signals [J]. Scensors，2018，18（7）：2074.

[19] 田元，周曉蕾，周冪，等. 學(xué)習(xí)情感分析方法研究綜述[J].中國教育信息化，2021（22）：1-6.

[20] 權(quán)學(xué)良，曾志剛，蔣建華，等.基于生理信號的情感計算研究綜述[J].自動化學(xué)報，2021，47（8）：1769-1784.

[21] STEINERT S， FRIEDRICH O. Wired emotions： ethical issues of affective brain-computer interfaces [J]. Science and engineering ethics，2020，26（1）：351-367.

[22] MORGAN P T， KEHNE J H， SPRENGER K J， et al. Retrograde effects of triazolam and zolpidem on sleep-dependent motor learning in humans [J]. Journal of sleep research，2010，19（1）：157-164.

[23] 朱洪洋.學(xué)習(xí)幻肢與神經(jīng)全景敞視：腦機接口技術(shù)應(yīng)用于教育的主要倫理挑戰(zhàn)[J].電化教育研究，2020，41（5）：39-44.

[24] 翟雪松，楚肖燕，王敏娟. 教育元宇宙：新一代互聯(lián)網(wǎng)教育形態(tài)的創(chuàng)新與挑戰(zhàn)[J].開放教育研究，2022，（1）：34-42.

[25] COZOLINO L. The social neuroscience of education： optimizing attachment and learning in the classroom[M]. New York：W. W. Norton & Co，2013.

[26] 柯清超，王朋利.腦機接口技術(shù)教育應(yīng)用的研究進展[J].中國電化教育，2019（10）：14-22.

[27] MAYER R E. How can brain research inform academic learning and instruction？[J]. Educational psychology review，2017，29（4）：835-846.

[28] 張丹，李佳蔚. 探索思維的力量：腦機接口研究現(xiàn)狀與展望[J].科技導(dǎo)報，2017，35（9）：62-67.

[29] SCHUPP H T， FLAISCH T， STOCKBURGER J， et al. Emotion and attention： event-related brain potential studies[J]. Progress in brain research，2006，156：31–51.

[30] AL-NAFJAN A，HOSNY M，AL-OHALI Y， et al. Review and classification of emotion recognition based on EEG brain-computer interface system research： a systematic review[J]. Applied science，2017，7（12）：1239.

[31] VALENZA G， LANATA A， SCILINGO E P. The role of nonlinear dynamics in affective valence and arousal recognition[J]. IEEE transactions on affective computing， 2012，3（2）：237-249.

[32] EKMAN P. An argument for basic emotions[J]. Cognition and emotion，1992，6（3-4）：169-200.

[33] 王忠民，趙玉鵬，鄭镕林，等.腦電信號情緒識別研究綜述[J].計算機科學(xué)與探索，2022，16（4）：760-774.

[34] RICCARDO M. Introduction to information visualization[M]. London：Springer， 2009.

[35] LEONY D， MUOZ-MERINO P J， PARDO A， et al. Provision of awareness of learners' emotions through visualizations in a computer interaction-based environment[J]. Expert systems with applications，2013，40（13）：5093-5100.

[36] PEKRUN R. The control-value theory of achievement emotions： assumptions， corollaries， and implications for educational research and practice[J]. Educational psychology review，2006，18（4）：315-341.

[37] ANDERS S， LOTZE M， ERB M， et al. Brain activity underlying emotional valence and arousal： a response-related fMRI study[J]. Human brain mapping，2004，23（4）：200-209.

[38] 馮澤華.積極防控教育領(lǐng)域應(yīng)用腦機接口技術(shù)的風(fēng)險[N].中國社會科學(xué)報，2022-05-31（05）.

[39] LANCE B J， KERICK S E. Barin-computer interface technologies in the coming decades[J]. Proceedings of the IEEE，2012（100）：1585-1599.

[40] 中國人工智能發(fā)展聯(lián)盟.腦機接口技術(shù)在醫(yī)療健康領(lǐng)域應(yīng)用白皮書[DB/OL].（2021-07-10）[2022-09-22]. http：//www.doc88.com/p-61361768187155.html.

[41] 程猛，陽科峰，宋文玉.“精準識別”的悖論及其意外后果——人臉情緒識別技術(shù)應(yīng)用于大學(xué)課堂的冷思考[J].重慶高教研究，2021，9（6）：78-86.

[42] HEBB D O. The organization of behavior a neuropsychological theory[M]. New York： Psychology Press，2002.

[43] 成伯清.當代情感體制的社會學(xué)探析[J].中國社會科學(xué)，2017，（5）：83-101，207.

[44] 鄭剛，楊雁茹，張汶軍.生命價值與技術(shù)變革的現(xiàn)實“聯(lián)姻”——基于人工智能教育應(yīng)用的哲學(xué)審思[J].電化教育研究，2021，42（3）：12-17，26.

[45] 周進，葉俊民，李超.多模態(tài)學(xué)習(xí)情感計算：動因、框架與建議[J].電化教育研究，2021，42（7）：26-32，46.

[46] 翟雪松，楚肖燕，胡美如，等.從腦機接口到腦腦接口：認知傳輸與群體協(xié)同的教育變革[J].遠程教育雜志，2022，40（3）：24-34.

[47] 胡天力.人類自由的促進抑或機器統(tǒng)治的崛起——論腦機接口技術(shù)對自由意志的影響[J].自然辯證法研究，2021，37（10）：29-35.

Application Framework of Brain-Computer Interface Technology to Support Learning Emotion Recognition and Its Reflection

ZHAO Li， ?LI Suqi， ?WANG Shuwen

（School of Education Science， Nanjing Normal University， Nanjing Jiangsu 210097）

[Abstract] Learning emotion recognition supported by artificial intelligence technology ?is crucial in education and can facilitate the improvement of teaching strategies. Brain-computer interface technology （BCI）， as an important application of artificial intelligence， has become a hot issue in the field of emotion recognition. This paper analyses the motivation for the development of BCI technology to support learning emotion recognition， then constructs a framework for the application of BCI-supported learning emotion recognition that includes three stages： data processing， emotion expression and teaching moderation， and explores the limitations of BCI technology in learning emotion recognition， such as the technical gap， ethical challenges and learners' subjective bias. Finally， it is proposed that future BCI-supported learning emotion recognition can be improved by enhancing technology integration， developing human-centered design and respecting learners' subjective needs， which will ensure the feasibility of BCI-supported learning emotion recognition applications， and expand its applications and innovations in education by comprehensively measuring the state of learning.

[Keywords] Brain-computer Interface; Emotion Recognition; Artificial Intelligence; Learning Emotion; Teaching Regulation