甄園宜　鄭蘭琴

摘要：有效的在線協(xié)作學習可顯著改善在線教學質(zhì)量，而對在線協(xié)作學習過程的實時分析、監(jiān)控和干預是促進協(xié)作學習行為有效發(fā)生的關鍵，這有賴于對在線協(xié)作學習交互文本的精準分類。為避免人工編碼和傳統(tǒng)機器學習方法分類效果欠佳的不足，采用基于深度神經(jīng)網(wǎng)絡的卷積神經(jīng)網(wǎng)絡（CNN）、長短時記憶（LSTM）、雙向長短時記憶（Bi-LSTM）等模型構(gòu)建面向在線協(xié)作學習交互文本的分類模型，以Word2Vec作為詞向量，提出了包含數(shù)據(jù)收集整理、文本標簽標注、數(shù)據(jù)預處理、詞嵌入、數(shù)據(jù)采樣、模型訓練、模型調(diào)參和模型評價等步驟的在線協(xié)作學習交互文本自動分類方法。以知識語義類、調(diào)節(jié)類、情感類、問題類和無關信息類等作為交互文本的類別劃分，對51組大學生所產(chǎn)生的16047條在線協(xié)作學習交互文本進行分類后發(fā)現(xiàn)：Bi-LSTM模型的分類效果最好，其整體準確率為77.42%;各文本分類模型在問題類、無關信息類交互文本上的準確率較低;CNN模型和LSTM模型在問題類交互文本上的分類效果更佳。該方法在面向在線協(xié)作學習的知識掌握度評估、學習活動維持、消極學習情緒干預、學習預警與提示等方面具有較高的應用價值。

關鍵詞：在線協(xié)作學習;深度學習;深度神經(jīng)網(wǎng)絡;交互文本;文本分類

中圖分類號：G434? ?文獻標識碼：A? ? 文章編號：1009-5195（2020）03-0104-09? doi10.3969/j.issn.1009-5195.2020.03.012

*基金項目：國家自然科學基金青年項目“基于教育知識圖譜的在線協(xié)作學習交互分析關鍵技術(shù)研究”（61907003）;北京師范大學教育學部2019年度學科建設綜合專項資金資助（2019QNJS010）。

作者簡介：甄園宜，碩士研究生，北京師范大學教育學部教育技術(shù)學院（北京 100875）;鄭蘭琴（通訊作者），博士，副教授，碩士生導師，北京師范大學教育學部教育技術(shù)學院（北京 100875）。

一、引言

協(xié)作學習是指學生以小組形式參與，為達到共同的學習目標，在一定的激勵機制下最大化個人和他人習得成果而互助合作的一切相關行為（黃榮懷，2003）。在線協(xié)作學習因不受時空限制、靈活有效的優(yōu)勢而成為在線學習的重要方式。其作為促進學生問題解決、知識建構(gòu)和合作交流等高階技能發(fā)展的重要手段，顯著提高了在線教育的質(zhì)量和效果（琳達·哈拉西姆等，2015）。Dillenbourg等（2007）指出，不應泛泛地研究“協(xié)作”，而應深入地研究“交互”，因為交互是理解協(xié)作學習本質(zhì)的關鍵。目前，許多研究通過對在線交互文本的分類來分析學習者的交互行為、認知、情感傾向以及批判性思維。如柴陽麗等（2019）將在線協(xié)作學習交互文本分為信息共享、協(xié)商討論、綜合評論、新問題的產(chǎn)生、新問題的討論、新問題的總結(jié)等六個類別，據(jù)此提出在線對話改進策略。冷靜等（2018）把在線協(xié)作學習者的批判性思維編碼為五類，即辨識、理解、分析、評價和創(chuàng)新，進而發(fā)現(xiàn)參與在線協(xié)作學習有助于學生批判性思維的提高。由此可見，對在線協(xié)作學習交互文本進行精準、高效地分類是提升協(xié)作學習效果的重要基礎，且對于教師的實時反饋和干預也具有重要意義和價值。

然而，已有研究在對在線協(xié)作學習中的交互文本進行分類時，大多采用人工編碼或傳統(tǒng)機器學習的方法。例如，郝祥軍等（2019）在對4844條在線協(xié)作學習交互文本進行分類時，首先對編碼人員進行編碼規(guī)則培訓，而后采用兩人一組背對背的方式進行編碼，并對編碼結(jié)果進行一致性檢驗，最后再通過協(xié)商確定有爭議文本的編碼。Zhang等（2019）選取一元語法（Unigrams）、二元語法（Bigrams）和文本長度等作為交互文本的特征，依據(jù)學習者貢獻類型將在線協(xié)作學習交互文本劃分為提問、引用、立論和闡述等四類。由此可見，已有的在線協(xié)作學習交互文本分類方法的人工依賴性較強且在分類結(jié)果的產(chǎn)生上具有滯后性，還會因未能對交互過程文本進行語義層面的特征表示而導致分類準確率較低。因此，如何對在線協(xié)作學習交互文本進行精準分類是目前亟待解決的問題。

隨著自然語言處理（Natural Language Processing，NLP）技術(shù)的日漸成熟，利用計算機對人類特有的書面形式和口頭語形式的自然語言信息進行處理和加工的能力不斷增強（馮志偉，1997）。研究表明，基于深度神經(jīng)網(wǎng)絡和預訓練詞向量的文本分類方法表現(xiàn)優(yōu)良（宗成慶等，2019）。深度神經(jīng)網(wǎng)絡（Deep Neural Network，DNN）是有多個隱藏層的多層感知機（Multi-Layer Perceptron，MLP），由輸入層、隱藏層和輸出層組成（Seide et al.，2011）。深度神經(jīng)網(wǎng)絡能夠從大量的原始數(shù)據(jù)中自動提取高層特征并有效表征輸入空間，使得其在多個領域表現(xiàn)良好（Sze et al.，2017）。因此，本研究采用深度神經(jīng)網(wǎng)絡構(gòu)建在線協(xié)作學習交互文本分類模型，以對在線協(xié)作學習過程中產(chǎn)生的交互文本進行實時精準分類，進而為在線協(xié)作學習的實時分析和監(jiān)控提供支撐。

二、文獻綜述

1.在線協(xié)作學習交互文本分類研究

對在線交互文本進行分類，不僅有助于快速了解學習者在進行交互時的言語特征、行為特征、交互模式和進展狀況，還能夠捕捉學習者在進行交互時的情感傾向和知識建構(gòu)模式。在協(xié)作學習領域，相關研究主要圍繞協(xié)作學習的言語交互類型和交互行為類型展開。例如Rafaeli等（1997）對協(xié)作學習過程中的言語交互類型進行分析后，將其分為單向交互、雙向交互和互動式交互，其中單向交互是指一位學習者發(fā)出信息而其他學習者沒有應答;雙向交互是指一位學習者發(fā)出信息后其他學習者發(fā)出應答信息;互動式交互是指一位學習者發(fā)出信息后，其他學習者應答并引起下一輪的交互。此外，針對交互過程中的行為特征，也有研究從信息交流序列、知識建構(gòu)和學習資源等視角出發(fā)，采用人工編碼的方式對交互行為進行分類。例如Capponi等（2010）基于交互行為的序列特征將協(xié)作學習中的交互行為分為信息交換、矛盾沖突、協(xié)商、達成共識、忽視他人意見、問題解決、幫助信息、教師評價等八類。Hou等（2011）把在線協(xié)作學習的知識建構(gòu)行為分為知識相關類、任務協(xié)調(diào)類、社會交往類、跑題類等四種。Lee等（2011）收集11位研究生在為期6周的異步協(xié)作學習過程中產(chǎn)生的662條文本數(shù)據(jù)，將其分為社會協(xié)調(diào)、學習資源、學習資源整合利用等三類。

2.在線協(xié)作學習交互文本的分類方法研究

除采用人工編碼的方法外，也有研究采用機器學習算法對在線協(xié)作學習文本進行分類。例如，Xie等（2018）基于57名美國大學生在為期16周的課程學習中產(chǎn)生的4083條討論記錄，使用邏輯回歸（Logistic Regression）和自適應增強（AdaBoost）算法將其分為領導者信息和常規(guī)信息，以識別學生在學習過程中的領導力行為，基于這兩個算法自動編碼結(jié)果的F1值分別為68.6%和72.2%。Liu等（2017）基于6650名K-12教師在學習平臺OPOP上持續(xù)4個月參與在線協(xié)作學習所產(chǎn)生的17624條數(shù)據(jù)，以詞頻-逆向文件頻率（Term Frequency-Inverse Documnt Frequency，TF-IDF）作為詞向量進行文檔表示，并使用樸素貝葉斯算法將其分為技術(shù)描述、技術(shù)分析、技術(shù)反思、個人描述、個人分析和個人反思等六類，以實現(xiàn)對教師反思思維等級的預測。Tao等（2018）開發(fā)了包含可視化協(xié)作學習交互文本自動分析功能的主意線索地圖工具，可根據(jù)貢獻類型，利用支持向量機、樸素貝葉斯等算法將交互文本自動分為提問、引用、理論描述和闡述等四類，以幫助學生監(jiān)控任務進展、個人貢獻度和協(xié)作網(wǎng)絡關系，從而達到提升學習效果的目的。

綜上所述，目前對在線協(xié)作學習交互文本的分類多采用人工編碼和傳統(tǒng)機器學習算法兩種方式。在使用人工編碼方式進行文本分類時，人工依賴性強且無法進行實時分類;在采用傳統(tǒng)機器學習算法進行文本分類時，選取的文本特征較為單一，且難以捕捉文本上下文語義信息，導致文本分類準確率較低。

3.計算機領域文本分類技術(shù)研究現(xiàn)狀

傳統(tǒng)機器學習領域中的文本分類方法主要包括三個步驟，即特征工程、特征選擇以及分類算法選擇（Kowsari et al.，2019）。在特征工程中多選用詞袋、詞頻-逆向文件頻率、詞性標注、名詞短語（Lewis et al.，1992）等作為文本特征。為剔除特征工程中的噪聲，需要進行特征選擇，所采用的主要方法有去停用詞、L1正則化（Ng，2004）和互信息（Cover et al.，2012）等。常用的機器學習分類算法有邏輯回歸、樸素貝葉斯和支持向量機等。然而，傳統(tǒng)機器學習中的文本分類方法存在數(shù)據(jù)稀疏、計算資源浪費大等問題。

深度學習算法因其能夠避免由于數(shù)據(jù)稀疏、人工提取特征而導致的偏差，被廣泛應用于文本分類任務中（Zhang et al.，2015）?；谏疃葘W習算法的文本分類方法優(yōu)化研究主要從詞向量的表示和分類模型的構(gòu)建兩個方面對原有方法進行改進。例如，Kim（2014）基于Google新聞預訓練所獲得的1000億個Word2Vec詞向量，通過變化詞向量的形式（即隨機初始化、單通道傳統(tǒng)Word2Vec、單通道訓練后的Word2Vec、雙通道詞向量）構(gòu)建了4個卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）變體模型，并在電影評論（二分類）、斯坦福情感資料庫（五分類）、斯坦福情感資料庫（二分類）、主客觀句庫（二分類）、顧客商品評論（二分類）、MPQA兩極評論（二分類）等6個數(shù)據(jù)集上進行文本分類實驗，發(fā)現(xiàn)各模型分類結(jié)果的F1值在45.0%到89.6%之間。Lai等（2015）為避免人工設計文本分類的特征和規(guī)則，構(gòu)建了雙向循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）和最大池化層的組合模型，使用RNN模型提取文本的上下文信息，并基于最大池化層自動提取對文本分類起關鍵作用的詞語，并在20-Newsgroups、Fudan Set、 ACL Anthology Network和Sentiment Treebank等4個公開數(shù)據(jù)集上進行了分類實驗，其分類結(jié)果的F1值在32.70%到93.12%之間。Li等（2018a）提出了基于優(yōu)化的TF-IDF和加權(quán)Word2Vec的文本表示模型，并結(jié)合卷積神經(jīng)網(wǎng)絡對文本進行分類，實驗語料為網(wǎng)易新聞語料庫（六分類）的24000篇新聞和復旦文本分類語料庫（八分類）的7691篇新聞，其分類結(jié)果的F1值分別為95.85%和96.93%。Vargas-Calderón等 （2019）基于波哥大市民在6個月內(nèi)產(chǎn)生的263萬余條推特文本數(shù)據(jù)，使用Word2Vec作為詞向量，進行文本聚類以發(fā)現(xiàn)有共同話題的市民。Jang等 （2019）基于12萬余篇新聞文章和29萬余條推特文本數(shù)據(jù)，使用Word2Vec作為詞向量，CNN作為分類器對數(shù)據(jù)進行是否相關的二分類研究，并對兩種詞向量訓練方式（即Continuous Bag-of-Words和Skip-Gram）的分類精度進行了比較，結(jié)果表明使用Continuous Bag-of-Words詞向量訓練方式的新聞文章分類結(jié)果的F1值為93.51%，而使用Skip-Gram訓練方式的推特文章分類結(jié)果的F1值為90.97%。

此外，也有研究者通過構(gòu)建更優(yōu)的神經(jīng)網(wǎng)絡模型來提升文本分類模型的效果。例如，Joulin 等（2016）提出采用FASText方法進行文本分類，結(jié)果表明其具有訓練速度快、耗能較低等優(yōu)點。Felbo 等（2017）提出了基于Embedding層、雙向長短時記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）模型和注意力機制的DeepMoji模型，將Embedding層和Bi-LSTM作為輸入以得到文檔的向量表征，再將向量輸入到softmax層以得到在各分類標簽上的概率分布，進而獲得分類結(jié)果。Yao等 （2019）采用圖卷積網(wǎng)絡（Graph Convolutional Networks，GCN）模型，通過構(gòu)建包含詞節(jié)點和文檔節(jié)點的大型異構(gòu)文本圖，并利用Co-occurrence信息對全局詞語進行建模的方式，基于對節(jié)點的分類得到文本分類結(jié)果。

綜上所述，學者們出于不同的研究目標開展了諸多有關在線協(xié)作學習交互文本分類的研究，其所使用的方法多為人工編碼或邏輯回歸、支持向量機等傳統(tǒng)機器學習方法，這些方法存在人工依賴性強且分析結(jié)果滯后等不足。鑒于新興的基于深度學習的自然語言處理技術(shù)在文本分類中的效果良好，本研究采用深度神經(jīng)網(wǎng)絡構(gòu)建在線協(xié)作學習交互文本的自動分類模型，以期為學習者提供個性化的學習支持服務。

三、在線協(xié)作學習交互文本分類模型構(gòu)建

1.分類標準

本研究基于鄭蘭琴（2015）對協(xié)作學習交互分析的研究，將在線協(xié)作學習交互文本分為知識語義類、調(diào)節(jié)類、情感類、問題類和無關信息類等五類。其具體的類別劃分及示例如表1所示。

2.自動分類流程

本研究基于深度學習技術(shù)設計了如圖1所示的在線協(xié)作學習交互文本自動分類流程，其主要包括數(shù)據(jù)收集整理、人工標注文本標簽、數(shù)據(jù)預處理、Word2Vec詞嵌入、數(shù)據(jù)采樣、模型訓練、模型調(diào)參和模型評價等8個步驟。

圖1 在線協(xié)作學習交互文本自動分類流程

3.數(shù)據(jù)收集及標注

本研究招募51組大學生開展在線協(xié)作學習，通過學習平臺自動記錄學習過程中的交互文本，并將收集到的交互文本數(shù)據(jù)集按表1所示的類別標注為0、1、2、3、4等5類。例如，“問題解決策略主要包含算法式和啟發(fā)式”屬于知識語義類，類型序號標注為0;“這個我不懂，好難啊！”屬于問題類，類型序號標注為3。

4.數(shù)據(jù)預處理

研究主要從以下兩個方面對數(shù)據(jù)進行預處理。一是去除特殊字符和標點，即對交互文本數(shù)據(jù)集中的特殊字符、空白字符、標點符號等進行糾正或刪除，以去除交互文本數(shù)據(jù)集中的噪聲。二是進行分詞操作，即利用Jieba分詞庫對交互文本進行分詞操作。Jieba分詞庫是Python編程環(huán)境下被廣泛使用的中文分詞工具包，其主要的分詞操作模式有精確模式、全模式和搜索引擎模式等三種。本研究采用精準模式對交互文本進行分詞處理，即按照分詞后詞頻最高的原則對句子做分詞操作。

5.向量表示

本研究使用Mikolov等（2013）提出的Word2Vec作為詞嵌入的詞向量模型，將交互文本轉(zhuǎn)換為計算機能夠處理的向量表示方式。該詞向量模型所生成的詞向量含有語義信息，主要包含通過上下文預測中心詞的Continuous Bag-of-Word模型和通過中心詞預測上下文的Skip-Gram模型（Rong，2014），其所采用的層次Softmax和負采樣算法可提升語義表征性能。

由于本研究的交互文本數(shù)據(jù)集較小，訓練獲得的詞向量無法涵蓋所有詞語，因此采用中文類比推理數(shù)據(jù)集CA8作為詞向量（Li et al.，2018b），其共有1348468個中文詞語，詞向量的維度為300。研究收集到的交互文本數(shù)據(jù)集共有184680個詞，去重后的9079個詞中有7500個是語料庫中具有的，其余1579個未登錄詞經(jīng)檢查與語料分類無關，故使用全體向量的均值對其進行表示。

6.數(shù)據(jù)采樣

由于本研究的交互文本數(shù)據(jù)集中的五類文本在樣本量上存在較大差異，即協(xié)調(diào)類、問題類和無關信息類樣本的數(shù)量較少，因此針對該文本數(shù)據(jù)集的分類問題屬于不平衡數(shù)據(jù)分類問題。為避免由于訓練集樣本數(shù)據(jù)不平衡而產(chǎn)生分類誤差，研究采用合成少數(shù)類過采樣（Synthetic Minority Over-sampling Technique，SMOTE）與下采樣（Under-sampling）相結(jié)合的混合采樣方式，即通過增加數(shù)據(jù)集中少數(shù)類的數(shù)量、減少數(shù)據(jù)集中多數(shù)類的數(shù)量以達到數(shù)據(jù)集的平衡（Chawla et al.，2002）。該種采樣方式既減少了語義信息的損失，又使得訓練時間不至于過長（Batista et al.，2004）。

7.文本分類器模型

考慮到CNN模型在文本特征選取方面具有較大優(yōu)勢，而長短時記憶（Long Short-Term Memory，LSTM）模型可保留文本的序列信息且雙向長短時記憶（Bidirectional Long Short-Term Memory，Bi-LSTM）模型可保留文本序列的上下文信息，因此，研究選取基于深度神經(jīng)網(wǎng)絡的CNN、LSTM和Bi-LSTM模型作為在線協(xié)作學習交互文本的分類器模型。

（1）CNN模型

CNN模型由LeCun等（1998）提出并首先被用于圖像識別領域，其在圖像分類任務中具有良好的表現(xiàn)。CNN模型的基本組成包括輸入層、卷積層、池化層、全連接層和輸出層，其中卷積層和池化層有多個且一般采用交替設置的架構(gòu)，即一個卷積層后連接一個池化層，池化層后再連接一個卷積層。Kim（2014）最先將CNN模型應用于文本分類任務，并取得了較好的分類效果。

CNN模型的基本思想如下：假設詞xi∈Rk，即句子中的第i個詞是一個k維向量;首先對句子進行填充操作，填充后句子的長度變?yōu)閚，則單個句子可表示為X1：n=x1⊕x2⊕…⊕xn，其中的⊕表示向量連接操作，即整個句子的句向量為所含的每個詞的詞向量拼接而成的向量;之后，使用卷積核w∈Rhk對句子進行二維卷積操作，即使用卷積得到的h個詞產(chǎn)生一個新特征，例如卷積核w在詞Xi：i+h-1上卷積生成特征Ci，Ci=f（w·xi：i+h-1+b），其中b∈R是函數(shù)的偏置值，f為非線性的激活函數(shù);然后，設定卷積核w的步長為1，并將其應用于句子{x1：h，x2：h，…，xn-h+1：n }上，產(chǎn)生句子矩陣的特征圖c，c=[c1，c2，…，cn-h+1 ];最后，遍歷整個特征圖并進行最大池化操作，找到最大的c值作為特征，=max{c}作為特征與特定的卷積核對應。

（2）LSTM模型

Hochreiter等 （1997）提出的LSTM模型是RNN模型的一個變種，其因具有時序性且長期依賴問題較弱而被廣泛應用于時間序列類模型中。LSTM模型的基本思想如下：假設時間點為t，在整個時間序列內(nèi)輸入的序列X={x1，x2，…，xt}，即在文本任務中，X代表一條文本記錄，每個時間點的輸入表示一條文本記錄經(jīng)過分詞后的每個詞。在每個時間點t，模型的輸入包括當前輸入xt、上一時刻隱藏狀態(tài)的輸出ht-1和上一個記憶單元狀態(tài)ct-1;模型的輸出包括當前隱藏狀態(tài)的輸出ht和當前記憶單元狀態(tài)ct 。LSTM神經(jīng)單元主要通過控制記憶單元狀態(tài)ct對上一時刻和當前時刻的輸入進行遺忘和輸出，通過對遺忘門ft 、輸入門it和輸出門ot 等三個門控單元的設置，實現(xiàn)記憶單元ct對數(shù)據(jù)的輸入和遺忘，以此獲得分類結(jié)果。

（3）Bi-LSTM模型

Bi-LSTM模型是為彌補LSTM模型無法捕捉當前計算時刻后文語義信息的缺陷而提出的改進模型。Bi-LSTM模型通過連接反向的LSTM，使得模型既可以提取序列中當前時刻前文的語義信息，也可以提取序列中當前時刻后文的語義信息，從而實現(xiàn)對整個句子關鍵信息的提?。⊿chuster et al.，1997）。Bi-LSTM模型的每個LSTM單元的計算方法與LSTM模型一致，但其在得到前向和后向的單元輸出后，要做一個矩陣連接的操作，在求和并取平均值后連接一個輸出層以得到分類結(jié)果。

8.模型調(diào)參

在模型調(diào)參步驟中，主要使用了Python的sklearn工具包中的GridSearchCV函數(shù)進行網(wǎng)格搜索，即將欲調(diào)各參數(shù)的全部可能值放于一個字典中，然后遍歷所有可能的參數(shù)組合，通過對各類參數(shù)設置情形下模型的準確率進行比較以獲得最優(yōu)的參數(shù)組合，進而將其確定為本研究各模型的實際參數(shù)。

四、實驗與結(jié)果

1.實驗數(shù)據(jù)集

本研究基于筆者所在實驗室自主開發(fā)的在線協(xié)作學習平臺進行數(shù)據(jù)收集，一共招募了51個小組參加在線協(xié)作學習，每組人數(shù)為4人，同一小組的成員在不同的物理空間內(nèi)進行學習。每個小組的在線協(xié)作學習任務均相同，即圍繞“教育心理學”課程中“問題解決的策略”章節(jié)展開討論，具體包括問題解決的策略是什么、專家和新手解決問題有何差異、如何培養(yǎng)學生的問題解決能力、如何基于問題解決進行知識建構(gòu)、結(jié)構(gòu)不良問題的解決過程是什么等5個子任務。在開展協(xié)作學習活動之前，小組成員自由選擇四種角色（協(xié)調(diào)者、解釋者、總結(jié)者和信息搜集者）中的一種。每個小組在線協(xié)作學習的平均時長為2個小時。

在在線協(xié)作學習的過程中，51個小組共產(chǎn)生了16047條交互文本，每組平均約產(chǎn)生315條。為保證交互文本數(shù)據(jù)集服從真實在線協(xié)作學習情景下的數(shù)據(jù)分布以提高分類模型的泛化能力，本研究保留了全部原始數(shù)據(jù)。之后，將交互文本數(shù)據(jù)集分為訓練集和測試集，即分別選取每類數(shù)據(jù)中的80%作為訓練集，另20%作為測試集，再將五部分數(shù)據(jù)合并作為完整的訓練集和測試集。知識語義類、調(diào)節(jié)類、情感類、問題類和無關信息類等五類交互文本的分布情況如表2所示。

2.評價標準

本研究使用正確率（Precision）、召回率（Recall）、F1值和準確率（Accuracy）作為在線協(xié)作學習交互文本分類效果的評價指標，將二分類的評價標準在多分類中進行延伸，即在每一個類別中將本類別看作正類，其他類別看作負類。具體計算公式如下所示。

其中，TP表示正確分類的正類數(shù)量，F(xiàn)P表示錯誤分類的正類數(shù)量，TN表示正確分類的負類數(shù)量，F(xiàn)N表示錯誤分類的負類數(shù)量。Precision表示預測為正類樣本的準確性，即被預測為正類的樣本中實際正類的比例;Recall表示正類樣本被正確預測的比例，即所有正類樣本中被預測為正類的比例;F1表示在調(diào)和正確率和召回率之后，對分類器性能的綜合評判;Accuracy表示分類器的整體準確率。

3.實驗模型設置

實驗的計算機硬件環(huán)境為Intel酷睿 i7-8700 CPU、16G內(nèi)存，操作系統(tǒng)采用64位Ubuntu。采用Keras框架對三個基于深度神經(jīng)網(wǎng)絡的分類模型進行了搭建，算法的“epochs” 和“batch_size”分別設置為200和64。模型其他具體參數(shù)設置如下：（1）CNN模型。基于Kim（2014）等建立的CNN文本分類模型，使用64個大小為7×7的卷積核分別提取文本特征，經(jīng)過最大池化層處理后，使用 Softmax 函數(shù)對在線協(xié)作學習文本進行分類。（2）LSTM模型。使用 256個LSTM神經(jīng)單元進行語義學習（“dropout”設置為0.2），之后連接一個含有10個神經(jīng)單元的全連接層，最后使用Softmax 函數(shù)對在線協(xié)作學習文本進行分類（所采用的優(yōu)化方法為Adam）。（3）Bi-LSTM模型。分別使用100個LSTM神經(jīng)單元進行文本上下文語義的學習，之后連接一個Softmax 函數(shù)對在線協(xié)作學習文本進行分類（所采用的優(yōu)化方法為Adam）。

4.實驗結(jié)果與分析

利用訓練集數(shù)據(jù)對上述三個文本分類器模型進行訓練，獲得的分類模型在測試集上進行分類測試的各項指標如表3所示。

由表3可知，Bi-LSTM模型的整體準確率較CNN和LSTM模型高。Bi-LSTM模型在知識語義類、調(diào)節(jié)類、情感類和無關信息類交互文本上的F1值較另兩個模型高，相較CNN模型分別提高了1.33%、4.47%、4.24%和11.49%，相較LSTM模型分別提高了0.33%、4.28%、3.96%和11.39%。但Bi-LSTM模型在問題類交互文本上的分類效果不如CNN模型和LSTM模型，其F1值分別相差3.82%和3.08%。上述結(jié)果表明，Bi-LSTM模型可以更好地提取知識語義、調(diào)節(jié)類、情感類和無關信息類交互文本的語義信息，而在問題類交互文本的語義信息提取上還有待改進。

Bi-LSTM模型在訓練集和驗證集中的準確率（Training and Validation Accuracy）和Loss值（Training and Validation Loss）的變化曲線如圖2所示。可以看出，Bi-LSTM模型在訓練過程中，Loss值逐漸縮小，模型準確率逐漸升高至0.97，模型訓練過程表現(xiàn)良好。

圖2? ?訓練集和驗證集的準確率和Loss值變化趨勢圖

圖3為Bi-LSTM模型經(jīng)歸一化處理后的混淆矩陣分析結(jié)果，其橫坐標代表預測標簽（Predicted Label，即分類結(jié)果），縱坐標代表正確標簽（True Label，即實際類型），坐標中的0-4分別代表知識語義類、調(diào)節(jié)類、情感類、問題類和無關信息類等5種類型的在線協(xié)作學習交互文本，矩陣中的數(shù)值表示該類交互文本的召回率。從混淆矩陣分析結(jié)果可以看出，對角線上的分類預測情況較好，在知識語義類、調(diào)節(jié)類和情感類在線協(xié)作學習交互文本上的表現(xiàn)較優(yōu)，該結(jié)果同樣表明Bi-LSTM分類器具有較好的分類效果。

圖3? ? 混淆矩陣分析結(jié)果

五、討論與結(jié)論

本文使用Word2Vec作為詞向量，采用雙向長短時記憶（Bi-LSTM）、長短時記憶（LSTM）、卷積神經(jīng)網(wǎng)絡（CNN）等三種深度神經(jīng)網(wǎng)絡模型構(gòu)建文本分類器，提出了基于深度學習技術(shù)的在線協(xié)作學習交互文本分類方法。實驗結(jié)果表明雙向長短時記憶模型的分類效果最好，其整體準確率為77.42%，在知識語義類、調(diào)節(jié)類、情感類、問題類和無關信息類在線協(xié)作學習交互文本上的F1值分別達到85.80%、72.88%、83.03%、51.92%和37.13%。各文本分類器在問題類交互文本上的準確率較低，這主要是因為問題類交互文本的數(shù)量較少，即在本研究的在線協(xié)作學習環(huán)境中，涉及學習矛盾沖突和疑惑的交互文本數(shù)量較少致使分類模型在該類別的預測效果上不理想。此外，無關信息類交互文本的識別準確率也較低，這是由于無關信息類交互文本與協(xié)調(diào)類、知識語義類交互文本的特征類似，都是屬于就某一話題所進行的討論，且無關信息類話題的維度較廣，故難以對其進行準確分類。由于調(diào)節(jié)類與情感類交互文本在特征上也呈現(xiàn)出一定程度的交叉，故調(diào)節(jié)類交互文本的分類效果也有待進一步提升?？傊瑔栴}類和無關信息類交互文本的數(shù)量較少，造成了數(shù)據(jù)集不平衡的問題，這影響了各類分類器的分類效果，本研究所采用的混合采樣技術(shù)、多種分類模型也并不能很好地解決該問題。因此，如何解決在線協(xié)作學習交互文本分類中存在的不平衡數(shù)據(jù)集問題是后續(xù)研究的方向。

在線協(xié)作學習是一種重要的學習方式。對學習者在線協(xié)作學習過程中產(chǎn)生的交互文本進行精準地實時分類，是監(jiān)控和評價大規(guī)模在線協(xié)作學習效果的基礎，也是通過干預提升在線協(xié)作學習效果的前提。例如，依據(jù)對知識語義類交互文本的分析，能夠?qū)W習者的知識掌握情況進行評估;基于對協(xié)調(diào)類交互文本的分析可以有效地協(xié)調(diào)和干預學習過程，從而避免學習者由于任務協(xié)調(diào)不佳而導致的在線協(xié)作學習活動停滯和學習效果不佳等問題;利用問題類交互文本能夠知曉學習者所遇到的問題和困難，以便教師及時地提供支持，為學生搭建腳手架，從而提高在線協(xié)作學習的效果;基于情感類交互文本能夠?qū)υ诰€協(xié)作學習過程中出現(xiàn)的消極情緒進行干預;基于無關信息類交互文本可以對在線協(xié)作學習過程中出現(xiàn)的跑題現(xiàn)象進行預警和提示，讓學習者更加專注地進行學習。因此，構(gòu)建精準的在線協(xié)作學習交互文本的分類模型對于提升在線協(xié)作學習的效果具有重要意義和價值。

本研究主要存在以下三方面不足：一是研究中的交互文本數(shù)量較少且各類別交互文本的數(shù)量差距較大。在未來的研究中，將使用數(shù)據(jù)增強（Data Augmentation）等方法解決交互文本數(shù)據(jù)集較小的問題，同時還需解決在線協(xié)作學習交互文本分類中現(xiàn)實存在的不平衡數(shù)據(jù)集問題。二是由于研究所使用的Word2Vec詞向量相對固化，因而難以解決一詞多意、依據(jù)上下文動態(tài)轉(zhuǎn)換詞向量的問題。后續(xù)研究將使用BERT、ERNIE等預訓練語言模型生成語義更加準確的詞向量。三是研究所構(gòu)建的神經(jīng)網(wǎng)絡模型的結(jié)構(gòu)相對單一且較為簡單。在未來的研究中，將嘗試采用更為復雜有效的神經(jīng)網(wǎng)絡模型，并結(jié)合Attention、Transformer等算法來優(yōu)化神經(jīng)網(wǎng)絡的結(jié)構(gòu)，進一步提高在線協(xié)作學習交互文本分類的準確率。

參考文獻：

[1][加]琳達·哈拉西姆，肖俊洪（2015）.協(xié)作學習理論與實踐——在線教育質(zhì)量的根本保證[J].中國遠程教育，（8）：5-16，79.

[2]柴陽麗，陳向東，榮憲舉（2019）.共享監(jiān)控和調(diào)節(jié)視角下 CSCL 在線異步對話分析及改進策略——以 “研究性學習”課程為例[J].電化教育研究， 40（5）： 72-80，97.

[3]馮志偉（1997）.自然語言的計算機處理[J].中文信息，（4）：26-27.

[4]黃榮懷（2003）.計算機支持的協(xié)作學習——理論與方法[M].北京：人民教育出版社：13.

[5]郝祥軍，王帆，彭致君等（2019）.群體在線學習過程分析：學習者角色的動態(tài)轉(zhuǎn)換[J].現(xiàn)代遠距離教育，（3）：38-48.

[6]冷靜，郭日發(fā)（2018）.在線協(xié)作平臺中批判性思維話語分析研究[J].電化教育研究，39（2）：26-31.

[7]鄭蘭琴（2015）.協(xié)作學習的交互分析方法——基于信息流的視角[M].北京：人民郵電出版社：70.

[8]宗成慶，夏睿，張家俊（2019）.文本數(shù)據(jù)挖掘[M].北京：清華大學出版社：53.

[9]Batista， G. E.， Prati， R. C.， & Monard， M. C. （2004）. A Study of the Behavior of Several Methods for Balancing Machine Learning Training Data[J]. ACM SIGKDD Explorations Newsletter， 6（1）：20-29.

[10]Capponi， M. F.， Nussbaum， M.， & Marshall， G. et al. （2010）. Pattern Discovery for the Design of Face-to-Face Computer-Supported Collaborative Learning Activities[J]. Journal of Educational Technology & Society， 13（2）：40-52.

[11]Chawla， N. V.， Bowyer， K. W.， & Hall， L. O. et al. （2002）. SMOTE： Synthetic Minority Over-Sampling Technique[J]. Journal of Artificial Intelligence Research， 16（1）：321-357.

[12]Cover， T. M.， & Thomas， J. A. （2012）. Elements of Information Theory[M]. Hoboken： John Wiley & Sons： 54.

[13]Dillenbourg， P.， & Fischer， F. （2007）. Computer-Supported Collaborative Learning： The Basics[J]. Zeitschrift für Berufs-und Wirtschaftsp?dagogik， 21：111-130.

[14]Felbo， B.， Mislove， A.， & S?gaard， A. et al. （2017）. Using Millions of Emoji Occurrences to Learn Any-Domain Representations for Detecting Sentiment， Emotion and Sarcasm[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1708.00524.pdf.

[15]Hochreiter， S.， & Schmidhuber， J. （1997）. Long Short-Term Memory[J]. Neural Computation， 9（8）：1735-1780.

[16]Hou， H. T.， & Wu， S. Y. （2011）. Analyzing the Social Knowledge Construction Behavioral Patterns of an Online Synchronous Collaborative Discussion Instructional Activity Using an Instant Messaging Tool： A Case Study[J]. Computers & Education， 57（2）：1459-1468.

[17]Jang， B.， Kim， I.， & Kim， J. W. （2019）. Word2Vec Convolutional Neural Networks for Classification of News Articles and Tweets[J]. PLoS ONE， 14（8）：1-20.

[18]Joulin， A.， Grave， E.， & Bojanowski， P. et al. （2016）. Bag of Tricks for Efficient Text Classification[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1607.01759.pdf.

[19]Kim， Y. （2014）. Convolutional Neural Networks for Sentence Classification[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1408.5882.pdf.

[20]Kowsari， K.， Meimandi， K. J.， & Heidarysafa， M. et al. （2019）. Text Classification Algorithms： A Survey[J]. Information， 10（4）：67-75.

[21]Lai， S.， Xu， L.， & Liu， K. et al. （2015）. Recurrent Convolutional Neural Networks for Text Classification[C]// Twenty-Ninth AAAI Conference on Artificial Intelligence. Texas， USA：2267-2273.

[22]LeCun， Y. ， Bottou， L.， & Bengio， Y. et al. （1998）. Gradient-Based Learning Applied to Document Recognition[J]. Proceedings of the IEEE， 86（11）：2278-2324.

[23]Lee， S. W. Y.， & Tsai， C. C. （2011）. Identifying Patterns of Collaborative Knowledge Exploration in Online Asynchronous Discussions[J]. Instructional Science， 39（3）：321-347.

[24]Lewis， D. D. （1992）. An Evaluation of Phrasal and Clustered Representations on a Text Categorization Task[C]// Proceedings of the 15th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. Copenhagen： ACM： 37-50.

[25]Li， L.， Xiao， L.， & Jin， W. et al. （2018a）. Text Classification Based on Word2vec and Convolutional Neural Network[C]// International Conference on Neural Information Processing. Cham： Springer：450-460.

[26]Li， S.， Zhao， Z.， & Hu， R. et al. （2018b）. Analogical Reasoning on Chinese Morphological and Semantic Relations[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1805.06504.pdf.

[27]Liu， Q.， Zhang， S.， & Wang， Q. et al. （2017）. Mining Online Discussion Data for Understanding Teachers Reflective Thinking[J]. IEEE Transactions on Learning Technologies， 11（2）：243-254.

[28]Mikolov， T.， Chen， K.， & Corrado， G. et al. （2013）. Efficient Estimation of Word Representations in Vector Space[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1301.3781.pdf%5D.

[29]Ng， A. Y. （2004）. Feature Selection， L1 vs. L2 Regularization， and Rotational Invariance[C]// Proceedings of the Twenty-First International Conference on Machine Learning. Banff： ACM：78-86.

[30]Rafaeli， S.， & Sudweeks， F. （1997）. Networked Interactivity[J]. Journal of Computer-Mediated Communication， 2（4）：243.

[31]Rong， X. （2014）. Word2Vec Parameter Learning Explained[EB/OL]. [2019-12-12]. https：//arxiv.org/pdf/1411.2738.pdf.

[32]Schuster， M.， & Paliwal， K. K. （1997）. Bidirectional Recurrent Neural Networks[J]. IEEE Transactions on Signal Processing， 45（11）：2673-2681.

[33]Seide， F.， Li， G.， & Yu， D. （2011）. Conversational Speech Transcription Using Context-Dependent Deep Neural Networks[C]// Proceedings of the 12th Annual Conference of the International Speech Communication Association. Florence， Italy： ISCA：437-440.

[34]Sze， V.， Chen， Y. H.， & Yang， T. J. et al. （2017）. Efficient Processing of Deep Neural Networks： A Tutorial and Survey[J]. Proceedings of the IEEE， 105（12）：2295-2329.

[35]Tao， D.， & Zhang， J. （2018）. Forming Shared Inquiry Structures to Support Knowledge Building in a Grade 5 Community[J]. Instructional Science， 46（4）：563-592.

[36]Vargas-Calderón， V.， & Camargo， J. E. （2019）. Characterization of Citizens Using Word2Vec and Latent Topic Analysis in a Large Set of Tweets[J]. Cities， 92：187-196.

[37]Xie， K.， Di Tosto， G.， & Lu， L. et al. （2018）. Detecting Leadership in Peer-Moderated Online Collaborative Learning Through Text Mining and Social Network Analysis[J]. The Internet and Higher Education， 38：9-17.

[38]Yao， L.， Mao， C.， & Luo， Y. （2019）. Graph Convolutional Networks for Text Classification[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Hawaii： AAAI： 7370-7377.

[39]Zhang， J.， & Chen， M. （2019）. Idea Thread Mapper： Designs for Sustaining Student-Driven Knowledge Building Across Classrooms[C]//13th International Conference on Computer Supported Collaborative Learning. Lyon： ISLS：144-151.

[40]Zhang， W.， & Wang， J. （2015）. A Collective Bayesian Poisson Factorization Model for Cold-Start Local Event Recommendation[C]// Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Sydney： ACM：1455-1464.

收稿日期 2020-01-10責任編輯 譚明杰