劉毓 趙云閣

關(guān)鍵詞： 教學(xué)評(píng)價(jià); 詞典; word2vec; 支持向量機(jī); 核函數(shù); 情感分析

中圖分類號(hào)： TN911?34; TP391 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）06?0030?04

Abstract： A sentiment analysis method of Chinese short text based on teaching evaluation is proposed to improve the teaching quality of higher education in all aspects and the effectiveness of teaching evaluation from the perspective of supervising experts. In allusion to the strong professionality and feature sparseness for the teaching evaluation data of Chinese short text， a professional dictionary based on teaching evaluation is established. The word2vec language model is combined to train word vectors， so as to conduct dimension reduction for attribute features of teaching estimation data. The support vector machine （SVM） algorithm based on three kernels of the linear kernel， polynomial kernel and radial basis kernel is adopted to conduct sentiment classification for Chinese short text data of teaching evaluation， so as to judge the sentiment tendency of the evaluation. The experimental results show that the SVM based on the radial basis kernel function has the best sentiment classification performance， and can contribute to the improvement of teaching quality.

Keywords： teaching evaluation; dictionary; word2vec; support vector machine; kernel function; sentiment analysis

0 ?引 ?言

教學(xué)評(píng)價(jià)是依據(jù)教學(xué)目標(biāo)對(duì)教學(xué)過程及結(jié)果進(jìn)行價(jià)值判斷，并對(duì)教學(xué)方案提供決策服務(wù)的活動(dòng)，是對(duì)教學(xué)活動(dòng)現(xiàn)實(shí)的或者潛在的價(jià)值做出判斷的過程[1]。教學(xué)評(píng)價(jià)是各個(gè)學(xué)校中最復(fù)雜的工作之一，它需要將各方面因素和各種標(biāo)準(zhǔn)結(jié)合起來，以便為專業(yè)人士提供最終的評(píng)估結(jié)果?，F(xiàn)有的教學(xué)評(píng)價(jià)方法主要是基于客觀評(píng)價(jià)的打分機(jī)制[2]，而主觀評(píng)價(jià)中的文本信息作為教學(xué)評(píng)價(jià)的重要內(nèi)容，卻沒有得到有效利用。評(píng)價(jià)文本信息是教學(xué)評(píng)價(jià)中十分重要的一部分，這些文本信息是以半結(jié)構(gòu)化甚至非結(jié)構(gòu)化的形式呈現(xiàn)的，而現(xiàn)有的決策方法大多仍停留在人工統(tǒng)計(jì)和分析上，這無疑增加了分析的難度，無法高效地得到全面的教學(xué)分析結(jié)果。目前，解決此類問題較為理想的處理方法是文本挖掘中的情感分析[3?4]技術(shù)，其能夠有效地歸納總結(jié)教學(xué)評(píng)價(jià)文本信息，使教育工作者可以準(zhǔn)確獲得對(duì)教學(xué)各個(gè)評(píng)價(jià)指標(biāo)特征的評(píng)價(jià)意見，以輔助教學(xué)決策，全面提高高等教育教學(xué)質(zhì)量。情感分析（Sentiment Analysis）是文本挖掘和計(jì)算語言學(xué)的應(yīng)用，從文本中識(shí)別信息，對(duì)帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程[5]。目前，已有一些研究工作將情感分析方法用于教學(xué)評(píng)價(jià)文本信息。文獻(xiàn)[6]對(duì)來自在線課程的學(xué)生反饋英文文本意見進(jìn)行情感分析，確定情感與輟學(xué)率之間存在聯(lián)系。文獻(xiàn)[7]基于從Moodle上收集的學(xué)生英文評(píng)教信息，提出一種可以檢測(cè)學(xué)生在某些話題上的情感傾向的方法，為教師改進(jìn)教學(xué)方法提供支持。文獻(xiàn)[8]從大約1 000個(gè)西班牙語評(píng)論中，應(yīng)用基于詞典的方法、機(jī)器學(xué)習(xí)方法和混合方法，開發(fā)了一個(gè)稱為SentBuk的應(yīng)用程序，以檢索情感極性和情感變化。這些研究方法都是從學(xué)生的角度考慮，并且以英文文本分析為主，沒有從督導(dǎo)專家的角度對(duì)中文短文本教學(xué)評(píng)價(jià)信息進(jìn)行情感分析。督導(dǎo)專家的意見是評(píng)估教師教學(xué)水平和教學(xué)能力的主要因素，具有更強(qiáng)的專業(yè)性、準(zhǔn)確性和權(quán)威性，對(duì)其挖掘分析，以提高教學(xué)評(píng)價(jià)的有效性，從而提高高等教育教學(xué)質(zhì)量。本文提出中文短文本教學(xué)評(píng)價(jià)情感分析方法，從督導(dǎo)專家的角度考慮分析對(duì)教師的文本評(píng)價(jià)，建立教學(xué)評(píng)價(jià)專業(yè)詞典，并使用word2vec語言模型[9]，結(jié)合支持向量機(jī)[10]算法對(duì)中文教學(xué)評(píng)價(jià)短文本信息進(jìn)行情感分類，以提高情感分類性能，并為教學(xué)管理提供決策支持。

1 ?基于中文短文本教學(xué)評(píng)價(jià)的情感分析方法

為了實(shí)現(xiàn)中文短文本教學(xué)評(píng)價(jià)信息的有效挖掘和表達(dá)，本文提出基于中文短文本教學(xué)評(píng)價(jià)的情感分析方法。該方法首先建立教學(xué)評(píng)價(jià)專業(yè)詞典，對(duì)評(píng)價(jià)數(shù)據(jù)進(jìn)行預(yù)處理，隨后使用SVM對(duì)評(píng)價(jià)數(shù)據(jù)進(jìn)行情感極性分析。

1.1 ?建立教學(xué)評(píng)價(jià)專業(yè)詞典

詞典是文本情感分析的重要工具和基礎(chǔ)任務(wù)，詞典質(zhì)量的好壞直接影響情感分析的結(jié)果[11]。迄今為止，在中文文本情感分析中，尚未有完整的詞典能夠涵蓋所有詞匯[12]。在中文教學(xué)評(píng)價(jià)中，常會(huì)出現(xiàn)評(píng)價(jià)者使用的很多教學(xué)評(píng)價(jià)專業(yè)詞匯并不能被檢索到的現(xiàn)象，造成教學(xué)評(píng)估不全;同時(shí)，也常出現(xiàn)不同評(píng)價(jià)者使用不同的詞語來描述同一屬性特征的現(xiàn)象，造成語義混淆。這兩種現(xiàn)象既增加了專業(yè)人士的分析難度，又增加了教師得出相反性教學(xué)決策的風(fēng)險(xiǎn)。由于中文教學(xué)評(píng)價(jià)的專業(yè)特殊性，不能直接應(yīng)用廣泛中文情感分析的詞典。所以，本文使用HowNet詞典和哈爾濱工業(yè)大學(xué)信息檢索研究中心同義詞詞林?jǐn)U展版作為基礎(chǔ)詞典，應(yīng)用Bi?Gram，Tri?Gram語言模型以及人工標(biāo)注方法建立教學(xué)評(píng)價(jià)專業(yè)詞典，以提高詞匯檢索準(zhǔn)確率和全面性。

本文建立的教學(xué)評(píng)價(jià)專業(yè)詞典包含兩部分：第一部分針對(duì)在基礎(chǔ)詞典中檢索不到的教學(xué)評(píng)價(jià)專業(yè)詞匯，建立了教學(xué)評(píng)價(jià)特征詞詞典，特征詞包括教態(tài)、前排率、抬頭率、課堂設(shè)計(jì)、案例式教學(xué);第二部分針對(duì)同義詞，建立了教學(xué)評(píng)價(jià)同義詞詞典，示例見表1。

1.2 ?提取屬性特征

本文分析督導(dǎo)專家對(duì)教師的中文文本評(píng)價(jià)數(shù)據(jù)，字?jǐn)?shù)大多在10～150字之間，內(nèi)容稀疏、特征維度高。因此，結(jié)合word2vec語言模型，提取評(píng)價(jià)數(shù)據(jù)屬性特征，并進(jìn)行特征降維處理。

實(shí)驗(yàn)步驟如下：

1） 輸入教學(xué)評(píng)價(jià)文本數(shù)據(jù)。提取督導(dǎo)專家對(duì)教師的中文短文本評(píng)價(jià)數(shù)據(jù)，對(duì)文本進(jìn)行篩選，剔除無關(guān)文本（比如“今天調(diào)課”等），以產(chǎn)生評(píng)論語料庫。

2） 預(yù)處理。用結(jié)巴分詞對(duì)短文本進(jìn)行分詞，詞典方面選用HowNet詞典和哈爾濱工業(yè)大學(xué)信息檢索研究中心同義詞詞林?jǐn)U展版以及本文建立的教學(xué)評(píng)價(jià)專業(yè)詞典，去除停用詞，進(jìn)行詞性標(biāo)注（個(gè)別特殊詞語詞性進(jìn)行人工標(biāo)注）。

3） 屬性特征提取。使用第2.2節(jié)方法提取屬性特征詞，并定義特征權(quán)重。

4） 文本向量空間模型表示。將教學(xué)評(píng)價(jià)數(shù)據(jù)表示成高維空間中的向量，一個(gè)向量對(duì)應(yīng)一篇評(píng)價(jià)，向量的每一維對(duì)應(yīng)評(píng)價(jià)的一個(gè)屬性特征。

5） 分類器分類。分別應(yīng)用線性核、多項(xiàng)式核和徑向基核的SVM算法訓(xùn)練情感分類器，并對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類。

6） 性能評(píng)估。輸出分類結(jié)果并進(jìn)行分析。

2.4 ?結(jié)果與分析

核函數(shù)分別應(yīng)用線性核、多項(xiàng)式核和徑向基核的SVM作為分類器，應(yīng)用K折交叉驗(yàn)證法選取最優(yōu)參數(shù)，對(duì)測(cè)試數(shù)據(jù)進(jìn)行情感分類，以比較它們的分類性能。得到的實(shí)驗(yàn)結(jié)果如表3所示。

由表3可以看出，在選取SVM分類器最優(yōu)參數(shù)的情況下，多項(xiàng)式核和徑向基核的宏平均分類準(zhǔn)確率相對(duì)持平，線性核的宏平均分類準(zhǔn)確率較差;線性核和徑向基核的宏平均識(shí)別召回率較高，多項(xiàng)式核宏平均識(shí)別召回率較差;而徑向基核在宏平均準(zhǔn)確率和宏平均召回率都相對(duì)較高的情況下，宏平均綜合分類率最高，性能達(dá)到最佳。在這三種核函數(shù)中，徑向基核對(duì)中文短文本教學(xué)評(píng)價(jià)數(shù)據(jù)的分類表現(xiàn)效果最好，而且相對(duì)穩(wěn)定。因此，在運(yùn)用SVM對(duì)非結(jié)構(gòu)化文本數(shù)據(jù)進(jìn)行分類時(shí)，核函數(shù)可優(yōu)先考慮徑向基核。

3 ?結(jié) ?語

教學(xué)評(píng)價(jià)文本數(shù)據(jù)是教學(xué)評(píng)價(jià)中的重要內(nèi)容，本文提出基于中文短文本教學(xué)評(píng)價(jià)的情感分析方法，建立了教學(xué)評(píng)價(jià)專業(yè)詞典，為情感分析提供分類依據(jù);評(píng)估了督導(dǎo)專家所提供的非結(jié)構(gòu)化文本評(píng)價(jià)數(shù)據(jù)，和在線性核、多項(xiàng)式核和徑向基核下的支持向量機(jī)的情感分類性能，有效解決了教學(xué)評(píng)價(jià)中存在的非線性文本分類問題。本文通過挖掘分析對(duì)屬性特征進(jìn)行降維，以提取與教師評(píng)價(jià)最相關(guān)的特征，進(jìn)行情感分析，可以使教師準(zhǔn)確獲得評(píng)價(jià)的反饋信息，從而能及時(shí)調(diào)整自己的教學(xué)工作，以輔助教學(xué)決策，提高教學(xué)質(zhì)量。由于教學(xué)評(píng)價(jià)中短文本數(shù)據(jù)的特征稀疏性以及評(píng)價(jià)數(shù)據(jù)的質(zhì)量將直接影響情感分類的性能，因此，如何更好地提取出教學(xué)評(píng)價(jià)短文本數(shù)據(jù)中的隱含特征、降低分類性能對(duì)評(píng)價(jià)數(shù)據(jù)的依賴性，優(yōu)化分類算法，更好地提高教學(xué)質(zhì)量等是今后研究工作的重點(diǎn)。

參考文獻(xiàn)

[1] 劉佳.第四代評(píng)價(jià)理論視閾下高校教學(xué)評(píng)價(jià)制度的反思與重建[J].教育發(fā)展研究，2015，35（17）：56?61.

LIU Jia. On higher education assessment system in the perspective of the fourth assessment theory [J]. Research in educational development， 2015， 35（17）： 56?61.

[2] 龐國(guó)楹，劉俊，魏杰.高校教師教學(xué)評(píng)價(jià)系統(tǒng)指標(biāo)及其權(quán)重取值[J].軍事交通學(xué)院學(xué)報(bào)，2015，17（5）：83?86.

PANG Guoying， LIU Jun， WEI Jie. Index of teaching evaluation system and its weights in college [J]. Journal of Academy of Military Transportation， 2015， 17（5）： 83?86.

[3] CAMBRIA E， SCHULLER B， XIA Y， et al. New avenues in opinion mining and sentiment analysis [J]. IEEE intelligent systems， 2013， 28（2）： 15?21.

[4] LIU B. Sentiment analysis and opinion mining [M]. San Francisco： Morgan & Claypool， 2012.

[5] 楊立公，朱儉，湯世平.文本情感分析綜述[J].計(jì)算機(jī)應(yīng)用，2013，33（6）：1574?1578.

YANG Ligong， ZHU Jian， TANG Shiping. Survey of text sentiment analysis [J]. Journal of computer applications， 2013， 33（6）： 1574?1578.

[6] WEN M， YANG D， ROS? C P. Sentiment analysis in MOOC discussion forums： what does it tell us？ [C]// Proceedings of 7th International Conference on Educational Data Mining. [S.l.： s.n.]， 2014： 130?137.

[7] COLACE F， SANTO M D， GRECO L. SAFE： a sentiment analysis framework for e?learning [J]. International journal of emerging technologies in learning， 2014， 9（6）： 37?41.

[8] ORTIGOSA A， MARTIN J M， CARRO R M. Sentiment analysis in Facebook and its application to e?learning [M]. Computers in human behavior， 2014， 31： 527?541.

[9] SU Z， XU H， ZHANG D， et al. Chinese sentiment classification using a neural network tool： word2vec [C]// Proceedings of International Conference on Multi?sensor Fusion and Information Integration for Intelligent Systems. Beijing： IEEE， 2014： 1?6.

[10] PENG S， HU Q， CHEN Y， et al. Improved support vector machine algorithm for heterogeneous data [J]. Pattern recognition， 2015， 48（6）： 2072?2083.

[11] 王科，夏睿.情感詞典自動(dòng)構(gòu)建方法綜述[J].自動(dòng)化學(xué)報(bào)，2016，42（4）：495?511.

WANG Ke， XIA Rui. A survey on automatical construction methods of sentiment lexicons [J]. Acta Automatica Sinica， 2016， 42（4）： 495?511.

[12] 牛耘，張黎，王世泓，等.基于多層次語言特征的弱監(jiān)督評(píng)論傾向性分析[J].中文信息學(xué)報(bào)，2015，29（4）：80?88.

NIU Yun， ZHANG Li， WANG Shihong， et al. Weakly supervised sentiment analysis based on multi?level linguistic features [J]. Journal of Chinese information processing， 2015， 29（4）： 80?88.

[13] 魏晶晶，吳曉吟.電子商務(wù)產(chǎn)品評(píng)論多級(jí)情感分析的研究與實(shí)現(xiàn)[J].軟件，2013，34（9）：65?67.

WEI Jingjing， WU Xiaoyin. Research on multi?level sentiment analysis system of e?commerce product review and implementation [J]. Computer engineering & software， 2013， 34（9）： 65?67.

[14] TIAN Y J， SHI Y， LIU X H. Recent advances on support vector machines research [J]. Technological & economic development of economy， 2012， 18（1）： 5?33.

[15] LEE L H， WAN C H， RAJKUMAR R， et al. An enhanced support vector machine classification framework by using Euclidean distance function for text document categorization [J]. Applied intelligence， 2012， 37（1）： 80?99.

[16] CORANI G， BENAVOLI A. A Bayesian approach for comparing cross?validated algorithms on multiple data sets [J]. Machine learning， 2015， 100（2）： 285?304.