馬 寧 張燕玲 杜 蕾 王 琦

面向在線異步交互文本的情感—認(rèn)知自動化分析模型研究*——以大規(guī)模教師在線培訓(xùn)為例

馬 寧1,2張燕玲1,3杜 蕾1,4王 琦5

（1．北京師范大學(xué) 教育學(xué)部教育技術(shù)學(xué)院，北京 100875；2．北京師范大學(xué) 未來教育高精尖創(chuàng)新中心，北京 100875； 3．深圳大學(xué)附屬教育集團(tuán)實驗小學(xué)，廣東深圳 518061； 4．深圳市龍華區(qū)松和小學(xué)，廣東深圳 518109；5．北京外國語大學(xué)人工智能與人類語言重點實驗室，北京 100089）

在線異步交互是大規(guī)模在線教育的一種重要交互方式，對學(xué)習(xí)體驗和學(xué)習(xí)效果有較大影響。為深度挖掘教師學(xué)習(xí)者在線異步交互過程中的情感狀態(tài)和認(rèn)知水平，文章首先構(gòu)建了面向在線異步交互文本的情感—認(rèn)知自動化分析模型及其自動化分析流程，之后將模型應(yīng)用于大規(guī)模教師在線培訓(xùn)課程，通過采集異步交互數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，從不同機器學(xué)習(xí)算法中選取最優(yōu)算法，同時融合情感—認(rèn)知詞典進(jìn)行算法模型訓(xùn)練，構(gòu)建了面向具體應(yīng)用場景的情感—認(rèn)知算法模型。最后，文章得出研究結(jié)論：機器學(xué)習(xí)算法中支持向量機的文本自動化分析效果最好，融合詞典與機器學(xué)習(xí)的方法能更好地提升算法模型的準(zhǔn)確率，采用網(wǎng)格搜索進(jìn)行參數(shù)優(yōu)化可以進(jìn)一步提升算法模型的效果。文章的研究為在線異步交互文本的自動化分析提供了研究思路和技術(shù)支持，有利于深度挖掘教師學(xué)習(xí)者隱藏在交互文本中的情感狀態(tài)和認(rèn)知水平，為自動反饋提供依據(jù)，對于優(yōu)化異步交互學(xué)習(xí)過程具有重要意義。

在線異步交互；情感狀態(tài)；認(rèn)知水平；機器學(xué)習(xí)；教師學(xué)習(xí)者

引言

全面提升教師的素質(zhì)能力，是我國教育信息化工作的一項重要任務(wù)[1]。大規(guī)模在線教師培訓(xùn)作為教師專業(yè)發(fā)展的一個重要途徑，得到了全球教育領(lǐng)域的廣泛關(guān)注[2]。其中，在線異步交互是一種非常重要的交流形式，教師學(xué)習(xí)者可以與學(xué)習(xí)同伴進(jìn)行特定領(lǐng)域內(nèi)容的深度交流，有助于保持學(xué)習(xí)興趣并提高課程參與度，促進(jìn)高階思維發(fā)展，對學(xué)習(xí)者學(xué)習(xí)質(zhì)量的提升有十分重要的作用[3]。此外，交互過程中的文本信息能夠清晰地再現(xiàn)教師學(xué)習(xí)者的情感、認(rèn)知發(fā)展過程，有利于從中挖掘、提取隱藏的關(guān)鍵信息，為教師學(xué)習(xí)者提供自動干預(yù)和推理[4]。

然而，由于在線教師培訓(xùn)的復(fù)雜特征，面向異步交互文本的情感狀態(tài)和認(rèn)知水平的自動化分析面臨諸多挑戰(zhàn)，如情感狀態(tài)挖掘、認(rèn)知水平判斷的過程均依賴于特定學(xué)習(xí)者群體的特征和特定領(lǐng)域知識的結(jié)構(gòu)；情感狀態(tài)和認(rèn)知水平具有較強的隱蔽性，難以精準(zhǔn)判斷；網(wǎng)絡(luò)教研和專業(yè)學(xué)習(xí)過程中產(chǎn)生的大量過程性文本及其蘊含的大量認(rèn)知、情感等方面的特征信息仍以人工分析為主[5]，不僅耗時費力，而且不具備高可靠性，因而很多時候容易被忽視或放棄?；诖?，本研究以大規(guī)模教師在線培訓(xùn)為例，采用融合詞典和機器學(xué)習(xí)的文本自動化分析方法，構(gòu)建面向在線異步交互文本的情感—認(rèn)知自動化分析模型，以實現(xiàn)對教師學(xué)習(xí)者在線異步交互過程中情感狀態(tài)和認(rèn)知水平的深度挖掘，為提升教師在線培訓(xùn)效果提供思路。

一 在線異步交互自動化分析

當(dāng)前，對在線異步交互過程中學(xué)習(xí)者的自動化分析主要從以下四個維度進(jìn)行：認(rèn)知水平、行為模式、情感狀態(tài)和交互關(guān)系[6]。李艷燕等[7]比較了支持教師干預(yù)與反饋的自動化分析工具，發(fā)現(xiàn)多數(shù)工具聚焦于學(xué)習(xí)者的學(xué)習(xí)行為和交互關(guān)系分析，而缺少對情感狀態(tài)與認(rèn)知水平的深入探討?？梢?，學(xué)習(xí)者異步交互過程中情感狀態(tài)與認(rèn)知水平的自動化分析有待進(jìn)一步研究。

1 在線異步交互過程的情感狀態(tài)自動化分析現(xiàn)狀

情感狀態(tài)自動化分析是指對學(xué)習(xí)者情緒反應(yīng)水平的自動識別、判斷與分析。異步交互過程中的態(tài)度和情緒是學(xué)習(xí)者學(xué)習(xí)質(zhì)量的關(guān)鍵因素[8]，且已有實證研究發(fā)現(xiàn)教師學(xué)習(xí)者在參與培訓(xùn)時情感狀態(tài)具有顯著的波動性[9]。因此，深入挖掘?qū)W習(xí)者的情感狀態(tài)對于優(yōu)化異步交互學(xué)習(xí)過程具有重要意義。目前，許多研究者聚焦于在現(xiàn)有情感識別框架的基礎(chǔ)上識別學(xué)習(xí)者的情感狀態(tài)，如Tian等[10]開發(fā)了一個面向在線學(xué)習(xí)者的情感識別框架，能夠?qū)Ξ惒浇换ノ谋局械那楦兄黝}進(jìn)行提?。获R相春等[11]開發(fā)了一個學(xué)習(xí)者學(xué)習(xí)社區(qū)，在其中挖掘文本中的情感信息，并通過情感字典計算學(xué)習(xí)者的學(xué)習(xí)情感傾向。也有部分研究者通過建立情感算法模型實現(xiàn)對學(xué)習(xí)者情感狀態(tài)的挖掘，如Liu等[12]將情感傾向納入異步交互算法模型，以探索特定討論主題下情感傾向的差異。

2 在線異步交互過程的認(rèn)知水平自動化分析現(xiàn)狀

認(rèn)知水平分析主要關(guān)注學(xué)習(xí)者在異步交互時使用的認(rèn)知策略和心理資源。在異步交互過程中消除認(rèn)知沖突、提高認(rèn)知水平，對于實現(xiàn)教師的專業(yè)發(fā)展有重要意義[13]。因此，對教師學(xué)習(xí)者的認(rèn)知水平進(jìn)行精準(zhǔn)、高效的判斷與分析尤為重要。目前，認(rèn)知水平分析方法主要有問卷調(diào)查法、作品分析法、訪談法等，雖各具優(yōu)勢，但也存在一些不足。為此，研究者開始嘗試使用內(nèi)容分析法對交互內(nèi)容做客觀、系統(tǒng)的量化并加以描述，如馬寧等[14]采用內(nèi)容分析法，從知識建構(gòu)層級的角度分析教師學(xué)習(xí)者參與培訓(xùn)時的認(rèn)知水平；孫雨薇等[15]運用Henri的交互分析框架，探索教師學(xué)習(xí)者交互時提出的問題以及問題回應(yīng)的認(rèn)知水平。但目前內(nèi)容分析法仍以人工分析為主，在數(shù)據(jù)編碼與分析方面耗時巨大，難以完成大規(guī)模的數(shù)據(jù)挖掘，亟待突破技術(shù)限制。

在線異步交互過程中情感狀態(tài)與認(rèn)知水平的自動化分析，是通過基于固定規(guī)則對異步交互文本進(jìn)行監(jiān)督學(xué)習(xí)，從而將相關(guān)文本自動劃分至某個類別的過程。目前，文本自動化分析方法主要有三種：①基于詞典的方法，即以詞典作為分類的主要依據(jù)，結(jié)合文本的語言特點和附加信息設(shè)計判斷規(guī)則，實現(xiàn)文本分類[16]。然而，該方法依賴于詞典的質(zhì)量與覆蓋率，極大地限制了應(yīng)用范圍。另外，目前還沒有專門針對教師在線培訓(xùn)這一特定領(lǐng)域的情感和認(rèn)知詞典，其中情感詞典也僅僅涉及正、負(fù)兩個極性，不適用于學(xué)習(xí)情境，亟需相關(guān)研究的探索。②基于機器學(xué)習(xí)的方法，是對人工標(biāo)注的訓(xùn)練集進(jìn)行算法模型訓(xùn)練，使算法模型很好地擬合訓(xùn)練集和類別之間的關(guān)系，并預(yù)測未知類別的文檔[17]。③融合詞典和機器學(xué)習(xí)的方法，是將詞典信息作為一種特征與其他特征相組合進(jìn)行特征提取，構(gòu)建算法模型實現(xiàn)文本分類[18]。總的來說，融合詞典和機器學(xué)習(xí)的方法優(yōu)化了前兩種單一文本分析方法的性能，可用于構(gòu)建面向在線異步交互文本的情感—認(rèn)知自動化分析模型，來深入挖掘教師學(xué)習(xí)者內(nèi)隱的情感狀態(tài)和認(rèn)知水平。

二 模型構(gòu)建與流程設(shè)計

1 模型構(gòu)建

本研究基于在線異步交互過程，深度挖掘教師學(xué)習(xí)者的情感狀態(tài)和認(rèn)知水平，采用融合詞典和機器學(xué)習(xí)的文本分析方法，構(gòu)建面向在線異步交互文本的情感—認(rèn)知自動化分析模型，如圖1所示。該模型主要分為三大部分：①異步交互場景中的信息提??；②基于異步交互文本的情感—認(rèn)知自動化分析；③基于異步交互文本的情感—認(rèn)知自動化分析的應(yīng)用。也就是說，基于在線學(xué)習(xí)平臺先從不同的異步交互場景中提取文本，然后對文本進(jìn)行情感—認(rèn)知自動化分析，從而確定教師學(xué)習(xí)者的情感—認(rèn)知狀態(tài)，最后為教師學(xué)習(xí)者提供合適的反饋。

圖1 面向在線異步交互文本的情感—認(rèn)知自動化分析模型

圖2 面向在線異步交互文本的情感—認(rèn)知自動化分析流程

2 流程設(shè)計

依托面向在線異步交互文本的情感—認(rèn)知自動化分析模型，本研究設(shè)計了如圖2所示的自動化分析流程，主要思路為：首先，通過采集在線異步交互文本數(shù)據(jù)，對種子語料的情感狀態(tài)和認(rèn)知水平進(jìn)行人工標(biāo)注，并按比例分層抽取訓(xùn)練集和測試集；接著，進(jìn)行數(shù)據(jù)預(yù)處理，形成詞集；隨后，對詞集進(jìn)行特征提取，結(jié)合評價指標(biāo)從不同的機器學(xué)習(xí)算法中選取最優(yōu)算法；最后，通過詞性篩選構(gòu)建情感—認(rèn)知種子詞集，詞典拓展后形成情感—認(rèn)知詞典，同時融合詞典進(jìn)行算法模型訓(xùn)練，通過測試集不斷優(yōu)化算法模型參數(shù)，從而獲得面向在線異步交互文本的情感—認(rèn)知自動化分析算法模型（下文簡稱“情感—認(rèn)知算法模型”）。

三 模型應(yīng)用

本研究將面向在線異步交互文本的情感—認(rèn)知自動化分析模型及其自動化分析流程應(yīng)用于大規(guī)模教師在線培訓(xùn)課程，通過比較不同機器學(xué)習(xí)算法對異步交互文本分析的效果，同時融合情感—認(rèn)知詞典，構(gòu)建面向具體應(yīng)用場景的情感—認(rèn)知算法模型，實現(xiàn)不同異步交互場景下教師學(xué)習(xí)者情感狀態(tài)和認(rèn)知水平的自動化分析。

1 數(shù)據(jù)采集與人工標(biāo)注

本研究依托北京師范大學(xué)學(xué)習(xí)元平臺[19]，開設(shè)了“混合式理念下的項目式學(xué)習(xí)（第二期）”課程，開展大規(guī)模教師在線培訓(xùn)。整個課程為期5周，每周課程的學(xué)習(xí)時長為90分鐘，在線異步交互活動圍繞每周的學(xué)習(xí)主題開展。該課程共招募到1083名教師學(xué)習(xí)者參與課程學(xué)習(xí)，生成了12576條交互文本被平臺自動記錄。本研究借鑒情感狀態(tài)分析框架（含高確定性、低確定性、中立、挫折、緊張等五個維度）[20]、認(rèn)知水平分析框架（含澄清、深度澄清、推理、判斷、策略等五個維度，在此基礎(chǔ)上本研究增加“其他”維度，將無關(guān)信息歸入其中）[21]，對少量種子語料（共2074條）進(jìn)行詳細(xì)的人工標(biāo)注；同時，將在線異步交互文本數(shù)據(jù)集分層隨機抽取80%、20%，分別作為訓(xùn)練集和測試集。

2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理就是通過數(shù)據(jù)清洗、分詞、停用詞處理和詞性標(biāo)記等方法，選擇對分類有較高價值的數(shù)據(jù)，并過濾無用或價值較小的數(shù)據(jù)。本研究采用N-gram統(tǒng)計語言算法模型對異步交互文本進(jìn)行分詞處理，利用上下文相鄰詞之間的相關(guān)信息，選擇具有最大出現(xiàn)概率的詞語組合，實現(xiàn)自動分詞。詞性標(biāo)記選擇LightSIDE軟件及其詞類，其中共包含30多種詞類。

3 機器學(xué)習(xí)算法的選取

（1）特征提取

特征提取直接影響算法模型的精確率、召回率及分類系統(tǒng)的效率[22]。目前，特征選取的方法主要有TF-IDF權(quán)重計算、頻率統(tǒng)計、信息增益、互信息等。本研究采用TF-IDF權(quán)重計算方法，通過計算某個特征詞對一個類別的重要程度進(jìn)行特征提取，特征詞權(quán)重的計算如公式（1）所示。其中，TF為特征詞頻率，表示特征詞在文本中出現(xiàn)的頻率，用于衡量該特征詞在文本中的重要性；IDF為逆文檔頻率，是指某個特征詞的類別區(qū)分能力，其加入有利于區(qū)分文本的類別。但TF-IDF算法沒有考慮同義詞和詞性，這可能會減弱模型的分類效果。

公式（1）

（2）評價指標(biāo)

常用的評價指標(biāo)有準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1值（F1-score）等。多分類問題可以通過將其轉(zhuǎn)化為多個二分類問題的方式展開評價，即在評價某一類別的分類性能時，將本類別看作正類、其他類別看作負(fù)類。用TP、FP分別表示分類正確、分類錯誤的正類數(shù)量，用TN、FN分別表示分類正確、分類錯誤的負(fù)類數(shù)量，其計算公式如表1所示。

表1 各評價指標(biāo)公式表

與此同時，本研究運用Kappa系數(shù)值進(jìn)行多分類算法模型準(zhǔn)確度的評估，其計算基于混淆矩陣進(jìn)行，可在一定程度上緩解數(shù)據(jù)集不同類別之間的不平衡問題（值越高，代表算法模型實現(xiàn)的分類準(zhǔn)確度越高），具體如公式（6）所示。其中，P通過該類別中正確分類樣本數(shù)除以總樣本數(shù)得到，P通過所有類別實際樣本數(shù)和預(yù)測樣本數(shù)的乘積除以總樣本數(shù)的平方得到。

（3）機器學(xué)習(xí)算法選取

機器學(xué)習(xí)算法主要包括支持向量機、邏輯回歸、決策樹、樸素貝葉斯等四種。本研究將上述四種算法的評價結(jié)果進(jìn)行對比，結(jié)果如表2所示?？梢钥闯觯c邏輯回歸、決策樹、樸素貝葉斯算法相比，支持向量機的準(zhǔn)確率和Kappa系數(shù)值更高、分類也更準(zhǔn)確。因此，本研究選用支持向量機作為機器學(xué)習(xí)算法，用來構(gòu)建情感—認(rèn)知算法模型。

在情感算法模型方面，四種機器學(xué)習(xí)算法在“高確定性”“中立”分類上的F1值普遍較高（均高于0.77），但在“挫折”“緊張”分類上的F1值普遍較低（均低于或等于0.68）。其中，支持向量機在“高確定性”“低確定性”分類上的F1值遠(yuǎn)高于其他三種算法，說明支持向量機在“高確定性”“低確定性”分類上可以更好地提取相關(guān)的語義信息。但是，由于整體的“挫折”“緊張”分類樣本量過少，導(dǎo)致出現(xiàn)了數(shù)據(jù)集不同類別之間的不平衡，在一定程度上影響了算法模型的訓(xùn)練。

在認(rèn)知算法模型方面，四種機器學(xué)習(xí)算法在“澄清”“深度澄清”分類上的F1值普遍較低（均低于0.78）。其中，支持向量機在“推理”“策略”分類上的F1值明顯高于其他三種算法，說明支持向量機在“推理”“策略”分類上可以更好地提取相關(guān)的語義信息。但是，由于“澄清”“深度澄清”分類可能存在部分特征詞語義相近、卻被作為兩個不同特征進(jìn)行權(quán)重分析的現(xiàn)象，不利于四種算法模型的訓(xùn)練[23]，故有待進(jìn)一步改進(jìn)。

4 面向具體應(yīng)用場景的情感—認(rèn)知算法模型構(gòu)建

詞典的詞性篩選與同義詞擴(kuò)展，是提高算法模型準(zhǔn)確率的一個有效方法。本研究融合詞典和機器學(xué)習(xí)，展開基于詞典的特征詞詞性篩選、同義詞擴(kuò)展與合并，以提高算法模型的準(zhǔn)確率。

（1）情感—認(rèn)知詞典構(gòu)建

詞語的詞性會影響詞典的表現(xiàn)。在構(gòu)建情感詞典時保留名詞、動詞、形容詞、副詞等詞性，可以使構(gòu)建出來的詞典更加全面、情感值計算更為合理。而在認(rèn)知詞典中，連詞具有很強的認(rèn)知意義。因此，對于情感詞集，本研究僅保留形容詞、名詞、動詞、副詞這四種詞性；對于認(rèn)知詞集，本研究還另外保留了連詞，構(gòu)成情感—認(rèn)知的種子詞集。

表2 不同機器學(xué)習(xí)算法的評價結(jié)果

《同義詞詞林》是目前國內(nèi)較為常用的中文語義詞典，已被廣泛應(yīng)用于中文詞語相似度計算研究[24]。本研究采用詞關(guān)系擴(kuò)展法，首先在《同義詞詞林》中查找與種子詞庫中詞語語義同義的詞語，接著將同義詞語加入到種子詞集，之后人工篩除無法作為教師培訓(xùn)領(lǐng)域詞匯而又與種子詞相似度較高的詞語，最后經(jīng)人工整合得到在線異步交互情感—認(rèn)知詞典，其類別、詞數(shù)及例子如表3所示。

（2）算法模型訓(xùn)練

為了提高算法模型的分類性能，本研究采用融合詞典和機器學(xué)習(xí)的方法，將在線異步交互情感—認(rèn)知詞典納入算法模型特征集，并將語義相近的詞語合并為同一特征。文本自動化分析方法的評價結(jié)果如表4所示，可以看出：相較于基于機器學(xué)習(xí)的方法，融合詞典與機器學(xué)習(xí)的方法從整體上提升了算法模型的準(zhǔn)確率和Kappa系數(shù)值，其中情感算法模型的準(zhǔn)確率和Kappa系數(shù)值分別從0.8462、0.7956提高到了0.8702、0.8277，而認(rèn)知算法模型的準(zhǔn)確率和Kappa系數(shù)值分別從0.8058、0.7646提高到了0.8447、0.8118。

表3 在線異步交互情感—認(rèn)知詞典中的類別、詞數(shù)及例子

表4 文本自動化分析方法的評價結(jié)果

（3）參數(shù)優(yōu)化

參數(shù)選擇的優(yōu)劣，將直接影響算法模型的分類效果。本研究采用帶交叉驗證的網(wǎng)格搜索來實現(xiàn)參數(shù)選擇，具有計算簡單的優(yōu)點[25]，主要思路為：遍歷所有可能的參數(shù)組合，比較各種參數(shù)下情感—認(rèn)知算法模型的準(zhǔn)確率，將準(zhǔn)確率最高的參數(shù)組合作為算法模型的最優(yōu)參數(shù)。本研究通過人工篩選確定折數(shù)k，來實現(xiàn)多折網(wǎng)格搜索，得到的參數(shù)變化曲線如圖3所示。通過對相關(guān)數(shù)據(jù)進(jìn)行比較，本研究發(fā)現(xiàn)：當(dāng)折數(shù)k=17時，情感算法模型的準(zhǔn)確率和Kappa系數(shù)值達(dá)到最高值（情感準(zhǔn)確率=0.8846、情感Kappa系數(shù)值=0.8468）；當(dāng)折數(shù)k=14時，認(rèn)知算法模型的準(zhǔn)確率和Kappa系數(shù)值達(dá)到最高值（認(rèn)知準(zhǔn)確率=0.8689、認(rèn)知Kappa系數(shù)值=0.8411）。可見，在大規(guī)模教師在線培訓(xùn)異步交互場景中，可運用經(jīng)過參數(shù)優(yōu)化的情感—認(rèn)知算法模型，實現(xiàn)準(zhǔn)確率較高的情感狀態(tài)和認(rèn)知水平自動化分析。

圖3 參數(shù)變化曲線

四 結(jié)論與討論

本研究基于面向在線異步交互文本的情感—認(rèn)知自動化分析模型及其自動化分析流程，以大規(guī)模教師在線培訓(xùn)為例，采集異步交互文本作為訓(xùn)練數(shù)據(jù)，從不同的機器學(xué)習(xí)算法中選取最優(yōu)算法，同時融合情感—認(rèn)知詞典進(jìn)行算法模型訓(xùn)練，通過訓(xùn)練集不斷優(yōu)化算法模型參數(shù)，構(gòu)建了面向具體應(yīng)用場景的情感—認(rèn)知算法模型，所得研究結(jié)論主要如下：

1 機器學(xué)習(xí)算法中支持向量機的文本自動化分析效果更好

本研究對支持向量機、邏輯回歸、決策樹、樸素貝葉斯四種機器學(xué)習(xí)算法的文本自動化分析效果進(jìn)行了對比，并根據(jù)準(zhǔn)確率、精確率、召回率、F1值、Kappa系數(shù)值這五個評價指標(biāo)，從中選取最優(yōu)的機器學(xué)習(xí)算法，結(jié)果發(fā)現(xiàn)：相較于其他三種機器學(xué)習(xí)算法，支持向量機的準(zhǔn)確率和Kappa系數(shù)值更高、分類也更準(zhǔn)確。究其原因，可能在于支持向量機算法對未知實例的泛化能力較強[26]，故能較好地適用于教師培訓(xùn)領(lǐng)域，可以剔除大量與培訓(xùn)內(nèi)容相關(guān)但與情感認(rèn)知無關(guān)的冗余樣本——Lin等[27]的研究也得出了相似的結(jié)論。

2 融合詞典與機器學(xué)習(xí)的方法能更好地提升算法模型的準(zhǔn)確率

本研究對基于機器學(xué)習(xí)的方法、融合詞典與機器學(xué)習(xí)的方法的評價結(jié)果進(jìn)行了對比，發(fā)現(xiàn)采用融合詞典與機器學(xué)習(xí)的方法構(gòu)建情感—認(rèn)知算法模型，可在一定程度上改善數(shù)據(jù)集不同類別之間的不平衡、特征冗余等問題。此外，融合詞典與機器學(xué)習(xí)的方法從整體上提升了算法模型的準(zhǔn)確率和Kappa系數(shù)值，這與Wang等[28]在文本自動評分領(lǐng)域的研究結(jié)論相似：將同義特征詞進(jìn)行編碼、合并，以提高相關(guān)概念的“密度”，可使相似文本被成功地歸為同一類別，故有助于提高算法模型的準(zhǔn)確率

3 采用網(wǎng)格搜索進(jìn)行參數(shù)優(yōu)化可以進(jìn)一步提升算法模型的效果

本研究采用帶交叉驗證的網(wǎng)格搜索來實現(xiàn)參數(shù)優(yōu)化，通過人工篩選，最終確定當(dāng)折數(shù)k=17時，情感算法模型的準(zhǔn)確率和Kappa系數(shù)值達(dá)到最高值；當(dāng)折數(shù)k=14時，認(rèn)知算法模型的準(zhǔn)確率和Kappa系數(shù)值達(dá)到最高值。因此，通過遍歷各種參數(shù)組合，選擇最優(yōu)參數(shù)，可以進(jìn)一步提升大規(guī)模教師在線培訓(xùn)異步交互場景中情感—認(rèn)知算法模型的效果。

五 結(jié)語

如何改善教師學(xué)習(xí)者在線異步交互過程中的交互效果，是在線異步交互研究的一個應(yīng)用領(lǐng)域和重要分支，具有較大的研究前景[29]。本研究聚焦于教師學(xué)習(xí)者群體，構(gòu)建了面向在線異步交互文本的情感—認(rèn)知自動化分析模型及其自動化分析流程，并基于具體應(yīng)用場景開發(fā)了情感—認(rèn)知算法模型。在模型應(yīng)用的過程中，本研究發(fā)現(xiàn)支持向量機對異步交互文本的自動化分析效果更佳，融合詞典與機器學(xué)習(xí)的方法從整體上提升了算法模型的準(zhǔn)確率和Kappa系數(shù)值，采用網(wǎng)格搜索方法進(jìn)行參數(shù)優(yōu)化可以進(jìn)一步提升算法模型的效果。

本研究構(gòu)建的面向在線異步交互文本的情感—認(rèn)知自動化分析模型，可實現(xiàn)不同異步交互場景下教師學(xué)習(xí)者情感狀態(tài)和認(rèn)知水平的自動化分析。后續(xù)研究可以結(jié)合時間序列，對教師學(xué)習(xí)者在線異步交互過程中隱藏的情感狀態(tài)和認(rèn)知水平進(jìn)行系統(tǒng)分析與診斷，深入了解教師學(xué)習(xí)者在連續(xù)時間段內(nèi)的在線學(xué)習(xí)狀態(tài)，并為其提供適應(yīng)性自動反饋，以促進(jìn)教師學(xué)習(xí)者及時自我反思、自我調(diào)節(jié)，從而優(yōu)化在線學(xué)習(xí)體驗、提升在線學(xué)習(xí)效果。

[1]汪茹.基于云服務(wù)正反饋的區(qū)域教師培訓(xùn)策略研究[J].電化教育研究,2018,(12):123-128.

[2]嵩天.以在線開放課程為引領(lǐng)的大學(xué)課程改革新模式[J].中國大學(xué)教學(xué),2019,(11):13-17.

[3]Li J, Tang Y, Cao M, et al. The moderating effects of discipline on the relationship between asynchronous discussion and satisfaction with MOOCs[J]. Journal of Computers in Education, 2018,(3):279-296.

[4]劉三女牙,彭晛,劉智,等.基于文本挖掘的學(xué)習(xí)分析應(yīng)用研究[J].電化教育研究,2016,(2):23-30.

[5]Rosé C P, Ferschke O. Technology support for discussion based learning: From computer supported collaborative learning to the future of massive open online courses[J]. International Journal of Artificial Intelligence in Education, 2016,(2):660-678.

[6]鄭婭峰,徐唱,李艷燕.計算機支持的協(xié)作學(xué)習(xí)分析模型及可視化研究[J].電化教育研究,2017,(4):47-52.

[7]李艷燕,邢爽,包昊罡,等.在線協(xié)作學(xué)習(xí)中學(xué)習(xí)分析工具對教師干預(yù)的影響研究[J].中國電化教育,2019,(2):80-86.

[8]Liu Z, Yang C, Rüdian S, et al. Temporal emotion-aspect modeling for discovering what students are concerned about in online course forums[J]. Interactive Learning Environments, 2019,(5-6):598-627.

[9]劉清堂,武鵬,張思,等.教師工作坊中的用戶參與行為研究[J].中國電化教育,2016,(1):103-108.

[10]Tian F, Gao P, Li L, et al. Recognizing and regulating e-learners’ emotions based on interactive Chinese texts in e-learning systems[J]. Knowledge Based Systems, 2014,55:148-164.

[11]馬相春,鐘紹春,徐妲.大數(shù)據(jù)視角下個性化自適應(yīng)學(xué)習(xí)系統(tǒng)支撐模型及實現(xiàn)機制研究[J].中國電化教育,2017,(4):97-102.

[12]Liu Z, Pinkwar N, Liu H, et al. Exploring students’ engagement patterns in SPOC forums and their association with course performance[J]. Eurasia Journal of Mathematics Science and Technology Education, 2018,(7):3143-3158.

[13]馬寧,李亞蒙,何俊杰.群體知識建構(gòu)視角下教師混合式研訓(xùn)的組內(nèi)交互及知識建構(gòu)層次分析[J].現(xiàn)代教育技術(shù),2019,(4):47-53.

[14]馬寧,崔志軍,曾敏.以協(xié)同知識建構(gòu)為核心的教師混合式研訓(xùn)效果研究——基于內(nèi)容分析的方法[J].中國電化教育,2018,(9):117-122、131.

[15]孫雨薇,馮曉英,王瑞雪.混合式教師研修課程中教師問題解決行為的研究[J].中國遠(yuǎn)程教育,2018,(11):50-60、80.

[16]陳龍,管子玉,何金紅,等.情感分類研究進(jìn)展[J].計算機研究與發(fā)展,2017,(6):1150-1170.

[17]Gao H, Zeng X, Yao C. Application of improved distributed naive bayesian algorithms in text classification[J]. The Journal of Supercomputing, 2019,(9): 5831-5847.

[18][22]李慧.面向?qū)W習(xí)體驗文本的學(xué)習(xí)者情感分析模型研究[J].遠(yuǎn)程教育雜志,2021,(1):94-103.

[19]余勝泉,楊現(xiàn)民,程罡.泛在學(xué)習(xí)環(huán)境中的學(xué)習(xí)資源設(shè)計與共享——“學(xué)習(xí)元”的理念與結(jié)構(gòu)[J].開放教育研究,2009,(1):47-53.

[20]Kim J, Shaw E, Wyner S, et al. Discerning affect in student discussions[J]. Proceedings of the annual meeting of the cognitive science society, 2010,(32):2344-2349.

[21]Henri F. Computer conferencing and content analysis[A]. Collaborative Learning Through Computer Conferencing[C]. Berlin Heidelberg: Springer,1992:117-136.

[23][27]Lin Y, Yu H, Wan F, et al. Research on classification of Chinese text data based on SVM[A]. IOP Conference Series: Materials Science and Engineering[C]. UK: IOP Publishing, 2017:012067.

[24]梅家駒,竺一鳴,高蘊琦.同義詞詞林(第二版)[M].上海:上海辭書出版社出版,1996:1-653.

[25]袁穎,于少將,王晨暉,等.基于網(wǎng)格搜索法優(yōu)化支持向量機的圍巖穩(wěn)定性分類模型[J].地質(zhì)與勘探,2019,(2):608-613.

[26]楊劍鋒,喬佩蕊,李永梅,等.機器學(xué)習(xí)分類問題及算法研究綜述[J].統(tǒng)計與決策,2019,(6):36-40.

[28]Wang C, Liu X, Wang L, et al. Automated scoring of Chinese grades 7-9 Students’ competence in interpreting and arguing from evidence[J]. Journal of Science Education and Technology, 2021,(2): 269-282.

[29]Yoon S A, Miller K, Richman T, et al. Encouraging collaboration and building community in online asynchronous professional development: Designing for social capital[J]. International Journal of Computer-Supported Collaborative Learning, 2020,(3):351-371.

Research on the Emotion-Cognition Automatic Analysis Model for Online Asynchronous Interaction Text——Taking Large-scale Teacher Online Training as an Example

MA Ning1,2ZHANG Yan-ling1,3DU Lei1,4WANG Qi5

Online asynchronous interaction is an important interaction method of large-scale online education, which has a significant impact on learners’ learning experience and learning effect.In order to deeply explore teacher learners’ emotional states and cognitive levels in the online asynchronous interaction process, this paper firstly constructed an emotion-cognition automatic analysis model for online asynchronous interaction text and its automatic analysis process. Then, the model was applied to a large-scale teacher online training course, and the asynchronous interaction data were collected as training data, and the optimal algorithm was selected from different machine learning algorithms. Meanwhile, the algorithm training model was conducted by integrating the emotion-cognition dictionary, and further an emotion-cognition algorithm model was built for specific application scenarios. Finally, it was concluded in this paper that the machine learning algorithm based on a support vector machine had the best effect in text automatic analysis, and the method integrating dictionary and machine learning could better improve the accuracy of the algorithm model, and using grid search for parameter optimization could further improve the performance of the algorithm model.The research of this paper could provide research ideas and technical support for automatic analysis of online asynchronous interactive texts, and was conducive to excavating teacher learners’ emotional states and cognitive levels hidden in interactive texts, which could provide a basis for automatic feedback and have important meaning for optimizing the asynchronous interactive learning process.

online asynchronous interaction; emotion state; cognition level; machine learning; teacher learner

G40-057

A

1009—8097（2022）05—0083—10

10.3969/j.issn.1009-8097.2022.05.010

基金項目：本文為2020年度國家自然科學(xué)基金項目“在線異步交互的時間-情感-認(rèn)知分析模型及自動反饋機制研究”（項目編號：62077007）的階段性研究成果。

馬寧,副教授，博士，研究方向為技術(shù)增強學(xué)習(xí)、技術(shù)支持的教師專業(yè)發(fā)展、STEM教育、在線學(xué)習(xí)設(shè)計與分析等，郵箱為horsening@bnu.edu.cn。

2021年8月18日

編輯：小米