趙瑞雪

摘 要：英語自動評分系統(tǒng)在信息化時代下得到長足發(fā)展，但現(xiàn)有研究成果對于文本特征的分析和提取依然沒有很大進展。針對這一問題，提出基于詞向量聚類的文本特征提取算法，并借助隨機森林模型對作文大賽中8個作文子集進行預(yù)測，并與人工評分結(jié)果進了加權(quán)分析，研究發(fā)現(xiàn)：首先，基于詞向量聚類的分析可以從單詞頻率、詞匯大小和分布位置3方面表征文本句式的多樣性與復(fù)雜性;其次，通過模塊化的評分思路對英語自動評分系統(tǒng)進行了4層架構(gòu)設(shè)計：契合度特征生成模塊、文本特征生成模塊、非文本特征生成模塊以及學(xué)習(xí)模型評估模塊;最后，將預(yù)測成果進行二次加權(quán)分析發(fā)現(xiàn)，隨機森林模型的英語自動評分效果較好，二次加權(quán)K值普遍在0.78以上，最高值為0.905，平均值為0.862，各項參數(shù)高于通用評分方法10%～18%，基于Bagging方法的隨機森林算法在獲取了精確的聚類向量特征后，可以在樣本數(shù)量不夠的情況下有效避免過度擬合誤差。該研究為人工智能背景下英語作文自動評分方向的研究提供一定參考和借鑒。

關(guān)鍵詞： 英語作文; 自動評分; 聚類分析

中圖分類號： TP 319

文獻標(biāo)志碼： A

Abstract： Automatic English scoring system has been paid more and more attention to and studied， but there is still no great breakthrough in the analysis and extraction of text features. In order to solve this problem， this paper puts forward a text feature extraction algorithm based on clustering analysis and the weighted analysis with artificial score results. The study found the following conclusions. Firstly， based on the word， the standard text diversity and complexity can be analyzed by the word frequency vector clustering， vocabulary size and distribution of sentence of three aspects. Secondly， the modular scoring approach is adopted to design a four-layer architecture of the automatic scoring system， i.e.， fit feature generation module， text feature generation module， non-text feature generation module and learning model evaluation module. Finally， a quadratic weighted analysis of the prediction results showed that the automatic English scoring effect of the random forest model was better. The quadratic weighted K value was generally above 0.78， the highest value was 0.905， the average value was 0.862， and the parameters were 10%～18% higher than the general scoring method. It is hoped that the research of this paper can provide some reference for the research of automatic scoring of English compositions under the background of artificial intelligence.

Key words： English composition; automatic grading; clustering analysis

0 引言

5G時代使得云計算的速率得到大幅度提升，隨著人工智能技術(shù)在各行各業(yè)的推廣和應(yīng)用，英語作文自動評分的處理和分析研究也開始了相關(guān)探索[1-2]。目前，國外一些發(fā)達國家開始采用自動評分系統(tǒng)軟件進行一些基礎(chǔ)性考試的閱卷和評分，并取得了一定效果。例如，美國杜克大學(xué)研發(fā)的IEA英語自動評分系統(tǒng)已經(jīng)被正式納入到托福和雅思考試中，大大提高了文章批改效率[3-4]。智能化的英語智能評分系統(tǒng)能夠極大提高英語批改效率，節(jié)約人力資源成本[5]。英語作文自動評分的算法研究方面，關(guān)于英語文本的表征一直是研究難題，傳統(tǒng)的作文評分方法在文本內(nèi)容的分析方面較為模糊，其重點在于詞匯本意的解讀，無法理解語句潛在的意思表達，因此會忽略一些關(guān)鍵作文信息。本文提出一種利用詞向量聚類的方式來對文本內(nèi)容特征進行提取，該聚類方法一方面可以充分評價文本的字面大意，另一方面可以對作文的題意符合程度進行模糊評價。此外，基于隨機森林學(xué)習(xí)模型對作文實現(xiàn)預(yù)測打分，利用國際上通用的英語語料庫對該英語自動評分系統(tǒng)進行評價，發(fā)現(xiàn)該自動評分系統(tǒng)所預(yù)測的分數(shù)進行二次加權(quán)后優(yōu)于目前國際上較為通用的評分系統(tǒng)，從而驗證了本文的研究成果。

1 文本內(nèi)容的詞匯聚類方法

英語作文寫作中的核心問題有兩個，第一個是詞匯意思的準(zhǔn)確表達，第二個是語句內(nèi)容與主題的契合程度[6]。本文依據(jù)目前較為通用的語料庫系統(tǒng)Word2vec模擬出詞匯向量，然后利用聚類方法對詞匯進行不同類別的詞匯向量分級，進而獲取作文的本文特征值。

1.2 詞匯向量的生成

目前較為流行的詞匯向量生成方式以人工神經(jīng)網(wǎng)絡(luò)模擬為主，這類型方法通過自編碼方式對英文文本的特征進行重新編碼，獲取不同詞匯的權(quán)重矩陣，然后通過神經(jīng)元函數(shù)進行激活判斷，這種方法的缺點是當(dāng)文本訓(xùn)練量大時會降低詞匯向量的生成效率[7-8]。本文提出基于Word2vec語料庫的訓(xùn)練方式來對詞匯向量進行表征，提高了訓(xùn)練的速度和效率，這種改進的訓(xùn)練方法可以同時調(diào)用兩種向量訓(xùn)練模型，分別為CRB模型和SKIP模型，模型結(jié)構(gòu)原理，如圖1所示。

對比兩種不同的訓(xùn)練模型發(fā)現(xiàn)，CRB模型是一個樹形結(jié)構(gòu)，通過預(yù)測上下文的詞意來預(yù)測當(dāng)前詞匯，而SKIP模型剛好相反，通過確定當(dāng)前詞匯來預(yù)測上下文的詞意。為了提高訓(xùn)練模型的效率，需要提高訓(xùn)練參數(shù)c值，本文的詞匯向量生成基于輸入層進行神經(jīng)網(wǎng)絡(luò)分析，然后通過投影層進行歸類，最后通過輸出層獲取歸一化的詞匯概率分布情況。這種通過量中訓(xùn)練模型進行正向和反向演示后，對樣本就能夠得到精確的區(qū)分度。

1.2 詞向量的聚類算法設(shè)計

英文單詞不同于漢字，由于其通過字母組合的方式，每個詞均可以通過詞向量的模式進行表示[9]。每一個英文句式內(nèi)都有多個重復(fù)出現(xiàn)的詞，這些詞共同構(gòu)成了詞向量的類別以及內(nèi)在含義。鑒于以上特點，本文提出利用K均值聚類算法，對英文作文中的詞向量進行聚類分析，聚類過程中需要考慮詞匯數(shù)量、語法、頻率以及分布位置等，將聚類文本分割成N維向量，每個向量為詞匯聚類后的某一類別。其具體算法流程如下：

1.3 聚類詞向量特征提取

經(jīng)過聚類后的詞向量具備一定的代表性特征，英文作文分析中假設(shè)經(jīng)過聚類算法后得到k個聚類文本，每個句子中的單詞均在這k個聚類文本中，每篇文本中的不同語義進行信息集合就能夠得到詞語的出現(xiàn)頻率、使用頻率等權(quán)重值。本文所處采用的自動評分系統(tǒng)中主要統(tǒng)計了詞向量的3個特征，包括單詞頻率、大小以及分布位置，其中分布位置是用于表達句子的復(fù)雜性和多樣性特征，例如通過一個語義語句中作者使用了多個詞語進行表述，代表該作者具備較好的英文功底。按照以上研究思路，本文對英文作文進行了文本特征提取和分類。

2 基于隨機森林的評分模型設(shè)計

2.1 模型總體設(shè)計

英語評分模型總體上分為四個模塊，分別為：契合度特征生成模塊、文本特征生成模塊、非文本特征生成模塊以及學(xué)習(xí)模型評估模塊。

契合度特征用于表征英語作文與考試論點的符合程度，本文采用如下方法進行契合度特征的生成：首先以單詞為單位，計算單詞出現(xiàn)的頻率F，然后計算該單詞的反向頻率TF，兩者的乘積為詞匯權(quán)重K，然后選取排名前10位的詞匯進行均值聚類特征提取，從而獲取該詞匯的頻率、個數(shù)和分布情況。文本特征的提取按照第1節(jié)的方法進行分析。非文本特征模塊中，剔除掉了詞匯向量的影響，而考慮文本的復(fù)雜程度例如語法特征和句式特征等。最后，利用隨機森林模型對以上三種特征進行預(yù)測評估，進而獲得評估分數(shù)。

2.2 數(shù)據(jù)預(yù)處理

選取數(shù)據(jù)來源于某作文評分比賽過程中所用到的作文數(shù)據(jù)，該作文共包含8個不同的作文子集以及得分點，同時該題目的得分情況有人工評分和寫作評分。作文水平為初中水平，字數(shù)一般在200～500字，預(yù)處理包括兩步驟：

首先，清洗關(guān)鍵數(shù)據(jù)。由于作文數(shù)據(jù)中存在一些錄入錯誤或者筆誤等，導(dǎo)致作文字數(shù)太少，作文得分不正常，這種數(shù)據(jù)應(yīng)進行清洗和剔除。

其次，大小寫統(tǒng)一。由于英文作文格式要求部分字母大小寫不同，這樣在機器評分過程中會認為是兩個不同單詞，本文通過將所有單詞轉(zhuǎn)化為小寫的方式進行替換。

2.3 數(shù)據(jù)特征的提取

數(shù)據(jù)特征的提取包含3方面，尤其數(shù)據(jù)特征的準(zhǔn)確性和分類效果某種程度上其重要性高于預(yù)測模型。本文基于文本特征、非本文特征和作文契合度特征對數(shù)據(jù)進行聚類分析和歸納。該數(shù)據(jù)特征的準(zhǔn)確輸入到模型中才能夠達到預(yù)想的訓(xùn)練效果。

2.4 隨機森林模型預(yù)測

選取隨機森林模型對特征數(shù)據(jù)進行預(yù)測。隨機森林屬于Bagging模型的一種衍生模型，這種模型具有自動采樣功能，通過對訓(xùn)練集合中的樣本進行有目的的放回和選取進而達到?jīng)Q策目的[10]。本質(zhì)上來說隨機森林模型是一種決策樹結(jié)構(gòu)，通過對樹形結(jié)構(gòu)的邊和節(jié)點進行甄別達到預(yù)測目的。本文的基本預(yù)算過程如下：

（1） 在作文集中隨機放回和抽取出x個樣本作文;

（2） 根據(jù)聚類算法所確定的聚類特征K提取n個特征，然后將第一步所抽取的n個樣本作文構(gòu)件決策樹;

（3） 重復(fù)決策樹構(gòu)造過程，形成隨機森林模型;

（4） 通過隨機森林形成的新數(shù)據(jù)，進行擬合和權(quán)重分析，獲取最終得分值。

隨機森林模型構(gòu)建過程中，關(guān)鍵的問題是對于子樹數(shù)量的確定、樹的深度確定以及樹的節(jié)點確定，只有建立合適的決策樹數(shù)量、節(jié)點和深度才能得到合理的模型。其關(guān)鍵算法如下：

RF= Random Forest Regressor（ metri=8，depth d=20，feather f=50，

sample a=500，jobs=0）

class Least_square：

def __init__（self）：

self.param = np.array（[]）

self.Y = np.array（[]）

least_instance = Least_square（）

param = least_instance.fit（X，Y）

result，var = least_instance.predict（X）

3 英語自動評分系統(tǒng)的評價

3.1 評價方法

為了驗證基于詞向量聚類的自動評分系統(tǒng)的打分效果，本文基于某作文評分比賽中所提供的標(biāo)準(zhǔn)數(shù)據(jù)作為研究對象，如表1所示。

表1中包含8個不同的作文集，不同作文集具有不同的文題和得分分布情況，每個子集中包含的論文一般為1 000～2 000篇，最低1 040篇，最高1 944篇。然后，利用自動評分系統(tǒng)和人工評分結(jié)果進行二次加權(quán)對比求得K值，若K=0，代表自動評分系統(tǒng)與人工評分系統(tǒng)的相關(guān)性為0，沒有關(guān)聯(lián)度，自動評分系統(tǒng)隨機性太大，不符合要求;若K=1，說明自動評分系統(tǒng)與人工評分系統(tǒng)具有完全一致性。因此，K值越高，代表自動評分系統(tǒng)的評分可信度越高。

3.2 評分效果驗證

基于詞向量聚類，對8個作文子集進行自動化評分，并與人工評分結(jié)果進行對比，采用二次加權(quán)算法求得加權(quán)值K，并與國際通用評分軟件對比，如表2所示。

從表2可以發(fā)現(xiàn)，基于隨機森林算法的作文子集評分結(jié)果中，其二次加權(quán)K值普遍在0.78以上，最高值為0.905，平均值為0.862。而采用國際通用的評分算法所獲取的加權(quán)K值其最低值為0.654，最高值0.755，平均值0.792。從預(yù)測結(jié)果上看，本文的計算方法明顯優(yōu)于現(xiàn)有的評分預(yù)測模型，高于通用算法成績10%～18%，基本可以達到與人工評分相匹配的效果。進一步分析作文樣本結(jié)構(gòu)發(fā)現(xiàn)，基于Bagging方法的隨機森林算法在獲取了精確的聚類向量特征后，可以在樣本數(shù)量不夠的情況下有效避免過度擬合誤差，從而降低方差值。，而常規(guī)的模型預(yù)測算法在樣本數(shù)量低于1 400篇時，其二次加權(quán)K值明顯降低，并且基本上低于0.7左右。

4 總結(jié)

針對目前通用的英語自動評分系統(tǒng)在文本內(nèi)容特征的分析較為模糊，本文提出基于詞向量聚類的方法對英文作文文本中的文本特征進行了重新分類和提取，并基于該文本特征開展了基于隨機森林模型的自動評分設(shè)計，結(jié)論如下：

（1） 基于詞向量聚類的思路，能夠從三個方面分析作文文本特征，首先是單詞頻率，其實是詞匯大小，最后是分布位置。其中，詞匯分布位置能夠充分表達句子的復(fù)雜多樣性，一個語義中作者使用了多個詞語進行表述，說該作者具備較好的英文功底。

（2） 通過模塊化的評分思路對英語自動評分系統(tǒng)進行了總體架構(gòu)設(shè)計，分別為：契合度特征生成模塊、文本特征生成模塊、非文本特征生成模塊以及學(xué)習(xí)模型評估模塊。

（3） 基于作文評分比賽中8個作文子集數(shù)據(jù)作為輸入?yún)?shù)，與人工評分結(jié)果進行二次加權(quán)分析，發(fā)現(xiàn)隨機森林模型的英語自動評分效果較好，二次加權(quán)K值普遍在0.78以上，最高值為0.905，平均值為0.862，各項參數(shù)高于通用評分方法10%～18%。

由于時間有限，本文關(guān)于評分模型的修正還需要進一步深入，今后的研究應(yīng)該著眼于多種學(xué)習(xí)模型如梯度提升樹模型、XGBoost模型等的優(yōu)缺點分析和融合度算法等。

參考文獻

[1]

陳春梅.人工智能在英語寫作中的應(yīng)用——項基于中國知網(wǎng)的統(tǒng)計與分析[J].樂山師范學(xué)院學(xué)報，2019，34（7）：105-111.

[2] 史舜威. 多特征智能批改模型的研究和應(yīng)用[D].北京：北京郵電大學(xué)，2019.

[3] Attali Y， Burstein J. Automated essay scoring with e-rater？ V.2[J]. The Journal of Technology， Learning and Assessment，2006， 4（3）： 3-30.

[4] Daigon A. Computer grading of English composition. The English Journal， 1966， 55（1）： 46-52.

[5] Landauer TK. Automatic essay assessment[J]. Assessment in education： Principles， policy & practice， 2003， 10（3）：295-308.

[6] 穆向妮.英語深度學(xué)習(xí)云平臺的設(shè)計與實現(xiàn)[J].微型電腦應(yīng)用，2019，35（8）：20-22.

[7] 王柳莎.基于K-均值聚類算法的英語教學(xué)崗位勝任能力評估系統(tǒng)設(shè)計[J].微型電腦應(yīng)用，2019，35（7）：128-130.

[8] 周明，賈艷明，周彩蘭，等.基于篇章結(jié)構(gòu)的英文作文自動評分方法[J].計算機科學(xué)，2019，46（3）：234-241.

[9] 李思言. “互聯(lián)網(wǎng)+”大學(xué)英語寫作形成性評估模型的構(gòu)建與驗證[D].哈爾濱：哈爾濱理工大學(xué)，2019.

[10] 劉瓊.基于MVC架構(gòu)的英語教學(xué)系統(tǒng)設(shè)計及應(yīng)用[J].微型電腦應(yīng)用，2018，34（11）：107-109.

（收稿日期： 2019.08.24）