羅玉萍 潘慶先等

摘要：學生評教是高校普遍實行的一項管理制度，評教結(jié)果的有效性，即評教的質(zhì)量受到教師、學生、教學管理者的高度關(guān)注。該文利用語義分析技術(shù)對學生留言進行情感挖掘，建立基于知網(wǎng)的情感詞庫，并設(shè)置詞的極性權(quán)重；以3GWS工具進行分詞與詞性標注；對留言的情感褒貶程度進行計算，形成教師的評價摘要。以煙臺大學評教數(shù)據(jù)為實驗數(shù)據(jù)，驗證該方法科學、有效。

關(guān)鍵詞：學生評教；情感分析；學生留言；數(shù)據(jù)挖掘

中圖分類號：G434 文獻標識碼：A

隨著我國高等教育的大眾化，《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》明確指出提高質(zhì)量是當前高等教育的核心任務(wù)，是建設(shè)高等教育強國的基本要求。如何保證和提高高等教育教學質(zhì)量已成為高等學校深化教育教學改革的焦點和全社會關(guān)注的熱點。教育部《關(guān)于深化高校教師考核評價制度改革的指導意見》（教師[2016]7號）文件，對師德考核、教學業(yè)績、科研評價、社會服務(wù)在職稱中的作用、教師自身發(fā)展等提出了一系列具體措施。學生評教是教學工作考核評價的重要維度之一，是學生依據(jù)一定的評價指標對教師的教學態(tài)度、教學方法、教學內(nèi)容、教學效果等方面做出定性或定量的評價。“評價最重要的意圖不是為了證明，而是為了改進”，學生評教已經(jīng)成為高校普遍采用的教學評價與管理制度，成為了各高校內(nèi)涵發(fā)展的重要措施之一。

在我國，學生評教自20世紀七八十年代出現(xiàn)起，便受到學術(shù)界的廣泛關(guān)注，研究者們對學生評教的作用、中外比較、價值取向、評教工具、評教結(jié)果的有效性等展開了深入研究，其中結(jié)果的有效性被認為是研究的焦點，得到教師、學生、教學管理者的高度關(guān)注，研究者主要對學生的客觀評價進行統(tǒng)計與分析，而對學生評教中學生主觀留言的分析與挖掘基本沒有涉及，本文提出了基于情感挖掘的學生主觀留言傾向性分析模型，建立了基于知網(wǎng)的情感詞典庫，利用3GWS工具對留言進行分詞與詞性標注；通過對留言的情感褒貶程度計算，形成教師的評價摘要，并通過煙臺大學評教數(shù)據(jù)驗證其有效性、科學性。

一、學生評教的研究現(xiàn)狀

上世紀20年代初，美國在高校中開始學生評教活動。1984年，北京師范大學通過問卷的方式對教師的教學質(zhì)量進行評價，學生評教一度成為國內(nèi)外研究的熱點，并取得了豐碩的成果，對學生評教的研究基本分為基本理論研究和實踐研究兩個方面，基本理論的研究主要關(guān)注學生評教的權(quán)利、作用、意義、價值取向、中外比較與本土化等方面，其中梅萍等研究了近十年我國高校學生評教有效性問題；韓天學等研究了美國高校學生評教體系，并通過實例證實本土化的可行性；羅玉萍等研究了在普通高校開展學生評教的必要性及具體方法。實踐研究主要是關(guān)于學生評教的有效性研究，包括指標體系設(shè)置、評教工具的設(shè)計、評教結(jié)果的統(tǒng)計分析方法、結(jié)果的應(yīng)用等。其中潘慶先等利用關(guān)聯(lián)數(shù)據(jù)挖掘技術(shù)對學生評教的評價指標體系的權(quán)重進行設(shè)置；馬秀麟等從大數(shù)據(jù)挖掘的視角分析學生評教的有效性；譚征、潘慶先等利用中文文本挖掘技術(shù)建立了中文評教文本分類模型；傅龍等通過聽評課的方法實證研究了新教師與經(jīng)驗教師評價的方法；鄭燕林等分析了美國利用大數(shù)據(jù)分析技術(shù)進行教育評價的方法和路徑；羅玉萍等對學生評教工作的動員、分類評價、數(shù)據(jù)處理、結(jié)果與反饋等過程進行了研究并以煙臺大學為例證實其有效性。

隨著學生評教工作的普及與深入，評價結(jié)果的有效性越來越受到廣大教師、學生、教學管理者的關(guān)注。縱觀對學生評教結(jié)果有效性的研究，大部分都集中在客觀性評價的統(tǒng)計與處理上，其中潘慶先等采用了課程分類、學生分年級的方法，利用標準偏差來糾偏的數(shù)據(jù)處理技術(shù)對學生評教中客觀評價部分進行處理，并成功應(yīng)用于煙臺大學，得到了廣大教師的認可。

但對于學生主觀留言部分的研究很少有所涉及，學生留言是學生在評教過程中對教師的主觀評價，其中有褒獎之詞也有中肯之建議，作為學生評教中重要的組成部分，學生留言也是教師與學生進行交流的重要方式。對于學生留言的處理方式大部分高校將留言直接反饋給教師本人，并沒有對學生留言進行任何處理，也沒有在留言中挖掘有效信息。煙臺大學每學期學生留言約16萬條，期初采用人工過濾的方式，工作人員將所有留言進行分類，把留言分為：正常、不適合給老師看、上課遲到、接聽電話、要求換老師、普通話不標準等類別，分類后再將相關(guān)留言反饋給教師本人，發(fā)現(xiàn)異常情況后及時與相關(guān)學院主管教學領(lǐng)導聯(lián)系，這種做法保證了教師對教學的積極性，保護了教師不受學生不恰當言辭的傷害，也能夠發(fā)現(xiàn)教師教學過程中的優(yōu)點和不足，但這種做法所需人力較大。后來利用關(guān)鍵詞過濾技術(shù)將學生留言進行篩選過濾，這種做法雖然提高了效率，但容易受到關(guān)鍵詞庫的影響，容易遺漏有用的信息。

本文提出了對留言進行情感分析的方法，通過情感分析技術(shù)對每條留言進行情感計算，把學生留言以定量的方式表示其情感強度，設(shè)置強度閾值，達到閾值時，自動形成教師的評價摘要。

二、情感分析相關(guān)技術(shù)

情感分析又稱意見挖掘（Opinion Mining），旨在利用計算機技術(shù)研究人們針對物體、個人、事件、主題及其屬性的主觀意見和情感，對文本的觀點、情緒、情感極性做出判斷。情感分析是自然語言處理領(lǐng)域的一個重要話題，旨在對無結(jié)構(gòu)的主觀性文本進行分析、處理和歸納，最終形成方便機器理解和用戶使用的結(jié)構(gòu)化數(shù)據(jù)。情感分析是一個多學科綜合的領(lǐng)域，涉及語言學、統(tǒng)計學、心理學、機器學習、人工智能等領(lǐng)域的理論與方法。內(nèi)容涉及多層語言分析技術(shù)，如分詞、詞性標注、命名實體識別、句法分析、社會網(wǎng)絡(luò)構(gòu)建等。

文本情感分析分為兩個步驟，首先需要對文本來源進行處理，對文本進行主客觀分類，從主客觀混合的文本中將描述事實的客觀性文本與表達意見的主觀性文本區(qū)分開來，將主觀語言的文本抽取出來，過濾掉不帶情感色彩的文本。下一步是對主觀性文本的分析，主要包括文本情感極性分析和文本情感極性強度分析。

由于學生評教的留言基本都為中文，中文文本的情感分析過程包括了分詞、詞性標注、情感詞提取、情感詞典的構(gòu)建、情感極性判斷等過程。

（一）中文文本的分詞

中文分詞是指將組成句子的漢字序列用分隔符加以區(qū)分，切分成一個個單獨的詞，它是中文文本處理的基礎(chǔ)。經(jīng)過學者們?nèi)嗄甑难芯亢吞剿?，中文分詞已取得了長足的進步，分詞的準確率得到大幅提高，特別是在使用了機器學習和基于統(tǒng)計的方法后，中文分詞效果有了顯著的進步。

本文采用第三代智能分詞系統(tǒng)3GWS，3GWS是飛嘉華公司智能分詞系列的產(chǎn)品，它是在繼承優(yōu)秀研究成果ICTCLAS自由源代碼的基礎(chǔ)上，綜合統(tǒng)計方法、語義網(wǎng)絡(luò)、模式推理與語言進化論等領(lǐng)域的最新研究成果。其主要功能有漢語智能分詞、命名實體與新詞識別、詞性標注以及支持用戶自定義詞典。分詞界面如圖1所示。

（二）情感詞抽取

情感詞又稱極性詞、評價詞語，特指帶有情感傾向性的詞。一般情感詞有褒義和貶義兩類極性。情感詞抽取是情感分析的基礎(chǔ)，因此引起了學者的廣泛關(guān)注和研究。情感詞抽取目前主要分為基于語料庫和基于詞典的兩種研究方法?；谡Z料庫的情感詞抽取和判別主要是利用大語料庫的統(tǒng)計特性，優(yōu)點在于簡單易行?；谠~典的方法具有獲取情感詞全面、準確的優(yōu)點，但是由于存在一詞多義現(xiàn)象，構(gòu)建的情感詞典往往含有較多的歧義詞。

本文提出了基于詞性的情感詞抽取方法，提取留言中所關(guān)心的詞性，比如：形容詞、副詞、程度詞；為了形成自動摘要，本文把相關(guān)名詞和動詞與進行提取，建立了關(guān)心詞性表（見表1），表的內(nèi)容可以根據(jù)不同領(lǐng)域自行增減。

（三）詞語的情感極性

判別詞語的情感極性是文本情感分析的基礎(chǔ)，為了定量表示詞語的情感程度，通常用[-1，1]之間的某個小數(shù)作為情感權(quán)重，來表示詞語的褒貶程度。如果權(quán)重大于0，則表示詞語為褒義詞；情感權(quán)重小于0，則表示詞語為貶義詞。情感權(quán)重的絕對值越大則意味著詞語的褒貶程度越大。

詞語的情感極性判別主要有基于語料庫和基于詞典兩種方法?；谡Z料庫的方法主要是利用詞語之間的連詞以及統(tǒng)計特征來判別詞語的情感極性?；谠~典的方法是利用中文詞典知網(wǎng)提供的語義相似度或者層次結(jié)構(gòu)來判別詞語的情感極性。

本文采用基于知網(wǎng)的情感極性標注方法，褒義詞賦權(quán)為1，貶義詞賦權(quán)為-1，程度副詞按強度不同分別賦予2、1.5、0.8、0.5的權(quán)重，名詞、動詞賦權(quán)0，否定詞為“-1”。

（四）留言的情感分析

在情感分析的典型應(yīng)用中，產(chǎn)品評論的情感分析、新聞評論的情感分析、電影影評的情感分析被廣大研究者所關(guān)注，這些研究具有一定的商業(yè)價值和社會價值。產(chǎn)品評論的情感分析主要任務(wù)是獲取產(chǎn)品的特征或?qū)傩?，定位用戶的主觀性評論，抽取評論詞，判別用戶評論的褒貶。新聞評論的情感分析是對評論人的評論進行挖掘，可以了解民眾對新聞人物和新聞事件的總體評價，及時掌握當前的輿情信息，特別是熱點事件的輿情信息，在輿情控制中起到了重要作用。

本文提出了基于表達式的留言情感分析方法，將褒義詞、貶義詞的運算符設(shè)置為“+”，將程度副詞的運算符設(shè)置為“*”。留言的情感褒貶強度計算公式為：

其中qi為情感詞的權(quán)重，Ti為詞的運算符，o為學生留言的詞集合，“&”為字符連接運算符。通過上式得到留言褒貶強度的計算表達式，然后執(zhí)行表達式得到此留言的褒貶強度。

三、自動摘要技術(shù)

隨著互聯(lián)網(wǎng)的普及以及Web2.0技術(shù)的發(fā)展，數(shù)據(jù)量爆炸式地增長，海量的信息以及豐富的網(wǎng)絡(luò)應(yīng)用改變了人類的生活和生產(chǎn)方式。怎樣在過載的數(shù)據(jù)中挖掘出有用的信息，在成千上萬條文本數(shù)據(jù)中，提煉、精簡出關(guān)鍵信息，已經(jīng)成為文本挖掘中研究的熱點。章彥星等提出了一種基于特征的用戶評論自動摘要方法，能夠自動生成簡潔、全面的摘要。指出自動摘要過程主要包括4個步驟：（1）特征識別，從用戶評論中識別出被用戶評價的商品特征；（2）評論句分類，將用戶評論的句子按其評價的特征進行分類；（3）特征過濾，根據(jù)句子分類的結(jié)果過濾特征；（4）摘要生成，使用句子抽取的方法生成摘要。

目前文本自動文摘的研究對象主要是科技文獻和新聞等具有嚴謹?shù)恼Z言風格和文檔結(jié)構(gòu)、陳述客觀事實的文本，而學生留言往往是結(jié)構(gòu)松散、語言風格多樣化、內(nèi)容帶有主觀性的文本。本文借助情感分析方法與技術(shù)，提出了基于閾值的自動摘要方法，該方法通過記錄學生留言中詞的位置，當留言的情感程度達到閾值時，通過位置反推而形成評價摘要。

四、學生評教主觀留言的情感分析系統(tǒng)設(shè)計

本文以煙臺大學學生評教系統(tǒng)為實驗平臺，煙臺大學自2003年開展學生網(wǎng)上評教活動，每學期積累學生留言近16萬條，為該系統(tǒng)的分析與設(shè)計提供了有利保障。本系統(tǒng)以情感分析為基本理論，建立了基于情感挖掘的學生留言分析系統(tǒng)，系統(tǒng)框架如下頁圖2所示，系統(tǒng)以SQL2008為數(shù)據(jù)庫管理系統(tǒng)，建立了基于知網(wǎng)的情感詞庫，整個處理過程分為數(shù)據(jù)提取與預(yù)處理、分詞與詞性標注、傾向性分析、自動摘要等四個過程。

（一）基于知網(wǎng)的情感詞典

詞典是情惑分析的基礎(chǔ)，本系統(tǒng)采用知網(wǎng)的正面詞、負面詞、程度副詞為基礎(chǔ)，建立了情感字典表，表結(jié)構(gòu)如下頁表2所示，其中權(quán)重表示情感詞的褒貶程度，運算符在生成留言的情感計算表達式時來連接不同詞的權(quán)重。為適應(yīng)時代的發(fā)展，本系統(tǒng)建立了自適應(yīng)的字典庫，用戶可以根據(jù)應(yīng)用領(lǐng)域的特點自動增刪情感詞，其詞典維護界面如下頁圖3所示。

（二）留言提取與預(yù)處理

從數(shù)據(jù)庫中提取學生對教師的主觀留言，形成分詞軟件可識別的文件格式。對留言進行預(yù)處理，去除噪音能夠提高留言情感分析的精度，在預(yù)處理中一般去除重復性留言，去除沒有真正含義的留言比如“……”等，合理處理如“好好好好好好好”等類似留言。

（三）分詞與入庫

利用3GWS分詞系統(tǒng)，對學生留言進行分詞，并進行詞性標注。針對感興趣的情感詞性，比如：形容詞、副詞、名詞、動詞等入庫，并記錄該詞在評價中的位置。

（四）情感程度計算

利用字典庫中詞性的權(quán)重和運算符，根據(jù)分詞結(jié)果生成計算表達式，下面用一具體實例說明處理過程。

實例：學生留言為“老師教的很好，課程學得也輕松有趣”；

分詞后數(shù)據(jù)為：“老師/n教/v的/udel很，d好/a，/wd課程，n學，v得/ude3也/d輕松/a有趣，a”；

提取關(guān)心的詞人庫后如表3所示，其中教師編號為教師的唯一標識，行號代表學生留言的具體行號，詞語位置為該詞在留言中的位置，為自動摘要的反推提供依據(jù)。

生成的留言傾向性程度表達式為：Q=0+1.5*1+1+1+0，結(jié)果為3.5，表示此留言的情感強度為3.5。當超過閾值時，此留言就被當作自動摘要的候選項，可以通過表3中的詞語和位置反推摘要為：“老師教很好，課程學也輕松有趣”。

五、結(jié)束語

隨著高等教育大眾化的普及，內(nèi)涵式發(fā)展是各高校發(fā)展的內(nèi)在要求，提高教育教學質(zhì)量是促進內(nèi)涵發(fā)展的重要內(nèi)容；學生評教作為各高校普遍采用的教學評價方式，其結(jié)果的有效性將直接影響教師的教學積極性和教學管理的服務(wù)水平。本文提出了對學生主觀留言的情感分析方法，建立了基于知網(wǎng)的情感詞庫，通過對留言分詞、詞性標注、賦權(quán)等過程計算留言的情感褒貶強度，以煙臺大學學生評教數(shù)據(jù)為例，驗證了該方法科學有效。

學生評教是一多元化的過程，其中受到學生、教師、課程、環(huán)境等多種因素的影響，比如：同樣的“好”，不同學生可能表達不同的情感，對于評價嚴格的學生表達的是褒獎的程度很強的情感，而對于評價寬松的學生表達的是一般的情感；因此在今后的研究中要考慮評價用戶的情感信息，探索神經(jīng)網(wǎng)絡(luò)等機器學習的方法，以使評價結(jié)果更加客觀、科學、有效。