劉亞楠

（廣州番禺職業(yè)技術(shù)學(xué)院 財(cái)經(jīng)學(xué)院，廣東 廣州 511483）

引言

教學(xué)評(píng)價(jià)是評(píng)價(jià)主體對(duì)教學(xué)活動(dòng)所作的價(jià)值認(rèn)定和判斷活動(dòng)，具有強(qiáng)烈的目的性[1]。傳統(tǒng)針對(duì)教學(xué)評(píng)價(jià)內(nèi)容的分析方法依賴人工分析。然而，隨著學(xué)生和課程數(shù)量的逐年增多，導(dǎo)致評(píng)價(jià)數(shù)據(jù)爆發(fā)式增長。教學(xué)管理部門難以對(duì)課程評(píng)價(jià)數(shù)據(jù)進(jìn)行逐一分析，從而影響課程質(zhì)量的真實(shí)反映，不利于提高教學(xué)質(zhì)量。隨著人工智能技術(shù)的發(fā)展，通過計(jì)算機(jī)程序自動(dòng)地分析教學(xué)評(píng)價(jià)中的內(nèi)容是解決上述問題的有效手段，其中情感分析是最具代表性的技術(shù)之一。

情感分析最早由Nasukawa 等人[2]提出，旨在從文本內(nèi)容中提取出作者的情感或觀點(diǎn)。其技術(shù)分為：基于情感詞典的方法、基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法、基于深度學(xué)習(xí)的方法。其中，基于情感詞典的方法[3]以情感詞典為依據(jù)，通過構(gòu)造匹配規(guī)則來計(jì)算情感。基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法[4]利用特征提取算法如詞袋模型（Bag of Words, BOW）[5]從文本中提取統(tǒng)計(jì)學(xué)特征，再利用不同的分類算法判斷情感傾向，這種方式依賴于特征提取的好壞?；谏疃葘W(xué)習(xí)的方法是目前的主流方法。該類方法首先將文本進(jìn)行詞嵌入（Word Embedding）[6]，然后再利用不同的深度神經(jīng)網(wǎng)絡(luò)如卷積神經(jīng)網(wǎng)絡(luò)（CNN）[7]、長短時(shí)記憶網(wǎng)絡(luò)（LSTM）[8]等從中自動(dòng)地提取文本的隱含特征表示，其效果顯著優(yōu)于以往的情感分析算法。近年來，隨著諸如BERT[9]、XLNet[10]、T5[11]等以Transformer[12]為基礎(chǔ)的大型預(yù)訓(xùn)練模型的提出，在這些模型上進(jìn)行下游任務(wù)的微調(diào)是目前情感分析最先進(jìn)的技術(shù)[13]。

在BERT 等預(yù)訓(xùn)練模型的框架中，直接把文本作為一個(gè)整體建模，通過前置一個(gè)特殊的“[CLS]”字符來匯總整體的語義表示。這種方式能夠很好的處理具有單一情感純度的句子，如“老師講的太棒了”。然而，在教學(xué)評(píng)價(jià)情感分析的實(shí)際中，更多的是包含多種情感傾向的復(fù)雜情感句，如“這是第一個(gè)拿到成績的在線課程。對(duì)于毫無經(jīng)濟(jì)學(xué)和數(shù)學(xué)基礎(chǔ)的人來說，有些知識(shí)還是有些吃力。但老師講得深入淺出，非常受益”。在該例句中，既包含了情感無關(guān)句：“這是第一個(gè)拿到成績的在線課程”。負(fù)向情感句：“對(duì)于毫無經(jīng)濟(jì)學(xué)和數(shù)學(xué)基礎(chǔ)的人來說，有些知識(shí)還是有些吃力”。以及正向情感句：“但老師講得深入淺出，非常受益”?？傮w而言，該例句的情感由最后的轉(zhuǎn)折句決定，因此總體情感的正向的，如果直接對(duì)這種復(fù)雜情感句整體建模將增大模型學(xué)習(xí)的難度，從而導(dǎo)致模型在復(fù)雜情感判斷上效果不佳。

為解決上述問題，本文提出一種層次語義建模的情感分析方法BERT-HC。首先將復(fù)雜情感句拆分為具有相對(duì)單一情感的子句；其次利用BERT 獨(dú)立地提取各個(gè)子句的語義表征；最后為了過濾一些無關(guān)情感判斷的子句信息，引入基于Hard Concrete 分布[14]的門控機(jī)制。融合后的語義表示通過softmax 實(shí)現(xiàn)情感分類。實(shí)驗(yàn)結(jié)果表明：BERT-HC 在兩個(gè)數(shù)據(jù)集上的分類準(zhǔn) 確 率 和 F1 比 BERT、TextCNN、BiLSTM、BiLSTM+Att、HAN 等模型更優(yōu)。

1 BERT 原理

1.1 Transformer 編碼器結(jié)構(gòu)

BERT[9]是文本預(yù)訓(xùn)練領(lǐng)域最具代表性的工作，其網(wǎng)絡(luò)結(jié)構(gòu)基于Transformer[12]編碼器。其結(jié)構(gòu)見圖1。

如圖1 (a) 所示，Transformer 編碼器由N 個(gè)塊（Block）堆疊而成，每個(gè)塊由多頭注意力層、殘差歸一化層、前饋網(wǎng)絡(luò)層、殘差歸一化層按順序構(gòu)成。其中多頭注意力層的內(nèi)部結(jié)構(gòu)如圖1(b)所示。對(duì)于輸入X，令X=Q=K=V，其中Q、K、V 分別表示查詢矩陣、鍵矩陣和值矩陣。在多頭注意力層中，先將Q、K、V 拆分為h 個(gè)部分，分別對(duì)應(yīng)h 個(gè)抽頭。對(duì)于第i 個(gè)抽頭的輸出headi有：

其中WO為線性層的權(quán)重矩陣。

1.2 BERT

BERT[9]利用多層Transformer 編碼器來逐層提取輸入文本的特征。在預(yù)訓(xùn)練時(shí)，BERT 首先對(duì)輸入的文本進(jìn)行了處理，分別在句子的開頭和結(jié)尾添加了特殊的字符“[CLS]”和“[SEP]”，其中“[CLS]”通常用作輸入文本的整體語義表示。其次輸入序列在編碼層中進(jìn)行編碼，BERT 的編碼層包含三種類型的編碼：詞嵌入、段嵌入、位置嵌入。其中詞嵌入即從詞表中查詢?cè)~的向量表示，段嵌入用于區(qū)分句子對(duì)；位置嵌入則為輸入序列添加位置信息。最后通過多層Transformer 編碼器來提取輸入文本的語義信息。BERT 通過兩種自監(jiān)督任務(wù)進(jìn)行學(xué)習(xí)：遮蔽語言建模（Masked Language Model, MLM） 和 下 一 句 預(yù) 測（Next Sentence Prediction, NSP）。前者在輸入序列中隨機(jī)的將一部分字符替換為“[MASK]”，模型的訓(xùn)練目標(biāo)是要根據(jù)上下文語義來預(yù)測“[MASK]”位置的正確字符；后者則是要判斷輸入的句子對(duì)是否是連貫的，以挖掘句子間的邏輯關(guān)系。

2 BERT-HC

本文所設(shè)計(jì)的針對(duì)層次語義建模的情感分析模型BERT-HC 其結(jié)構(gòu)見圖2。

其中m 為子句的最大長度。將n 個(gè)子句輸入BERT 中，并取每個(gè)子句最后一層中“[CLS]”位置對(duì)應(yīng)的隱向量作為子句的特征表示，組成子句級(jí)語義特征X：

對(duì)于復(fù)雜情感句的情感分析而言，并不是所有子句都包含了情感信息，且最終的情感可能僅由部分子句決定?；趕oftmax 的注意力機(jī)制難以為不重要的信息分配精確的零權(quán)重，使得無法完全屏蔽不利于情感判斷的干擾信息。為解決這一問題，本文引入基于Hard Concrete 分布的門控機(jī)制，來學(xué)習(xí)精確的二元門控值。具體而言，首先利用線性變換對(duì)X 進(jìn)行降維：

其中Wγ為d×1 維的權(quán)重矩陣，bγ為偏置項(xiàng)。然后，利用Hard Concrete 分布估計(jì)每個(gè)子句對(duì)應(yīng)的二元門控值：

式(8)-(9)中，σ 為sigmoid 激活函數(shù)；u 服從(0,1)之間的均勻分布；τ=0.2，l=0.2，r=1.0 均為固定的參數(shù)。得到二元門控向量z 后，對(duì)門控值為1 的子句表示進(jìn)行平均池化操作，以產(chǎn)生最終的整體語義表示fmap：

最后，將fmap降維到分類維度上，并利用softmax預(yù)測其類別：

上式中T 為樣本數(shù)量。最后利用L0正則化項(xiàng)來稀疏化所學(xué)習(xí)的門控向量z：

其中λ 為正則項(xiàng)的權(quán)重，將在實(shí)驗(yàn)中搜索。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

首先本文構(gòu)造了教學(xué)評(píng)價(jià)情感分析數(shù)據(jù)集MOOC Review。數(shù)據(jù)爬取自中國大學(xué)慕課在線學(xué)習(xí)平臺(tái)，評(píng)價(jià)標(biāo)注為分為正面、中性、負(fù)面三類，其中正面11085 條、中性6274 條、負(fù)面12561 條，總計(jì)數(shù)據(jù)量為29920 條。此外，為了驗(yàn)證所提模型在其他領(lǐng)域公開數(shù)據(jù)集上的性能，本文還選用了譚松波酒店評(píng)價(jià)數(shù)據(jù)集進(jìn)行測試，該數(shù)據(jù)包含7000 條正向評(píng)論、3000 條負(fù)向評(píng)論，共計(jì)1 萬條數(shù)據(jù)。數(shù)據(jù)劃分則按照8:1:1 的比例劃分成訓(xùn)練集、驗(yàn)證集、測試集，具體見表1。

表1 數(shù)據(jù)集劃分

3.2 實(shí)驗(yàn)設(shè)置

本文在基于Pytorh 的深度學(xué)習(xí)框架中實(shí)現(xiàn)模型，所使用的BERT 預(yù)訓(xùn)練模型為bert-base-chinese。學(xué)習(xí)率設(shè)為2e-5，優(yōu)化器采用Adam；丟棄率設(shè)置為0.2；子句最大長度設(shè)置為30，最大子句數(shù)量為10；訓(xùn)練步數(shù)為50，訓(xùn)練時(shí)采用早停策略，最大容忍步數(shù)為5。評(píng)估指標(biāo)采用準(zhǔn)確率和Macro-F1 值。

3.3 對(duì)比模型

本文將BERT-HC 與目前一些主流的文本分類模型進(jìn)行比較，以下是所涉及模型的介紹。

(1) BiLSTM[8]：利用雙向LSTM 來建模整句模型的上下文語義信息。

(2) BiLSTM+Att[15]：該模型同樣利用雙向LSTM來建模整句模型的上下文語義信息，然后利用注意力機(jī)制匯總各個(gè)位置的表示以產(chǎn)生整體語義表示。

(3) TextCNN[16]：該模型利用不同大小的一維卷積核提取文本上下文特征，將不同卷積核后的輸出拼接作為整體表示。

(4) HAN[17]：層次語義表示模型，該模型利用雙向GRU 建模低層級(jí)的信息，再通過注意力進(jìn)行融合。

(5) BERT[9]：利用預(yù)訓(xùn)練模型的權(quán)重，在具體數(shù)據(jù)上進(jìn)行微調(diào)，“[CLS]”位置的隱向量作為整體表示。

(6) BERT-HAN：層次表示模型，利用BERT 對(duì)子句進(jìn)行編碼后，利用HAN 的注意力機(jī)制進(jìn)行融合。

3.4 對(duì)比結(jié)果與分析

BERT-HC 與對(duì)比模型在兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率（Acc.）與F1 值見表2。

表2 模型對(duì)比結(jié)果（%）

由表2 的結(jié)果可知，BERT-HC 在兩個(gè)數(shù)據(jù)集上均取得了最優(yōu)的結(jié)果，證明了BERT-HC 的有效性，該模型不僅適用于教學(xué)評(píng)價(jià)也適用于其它領(lǐng)域，具備一定的通用性。具體分析如下：第一，與現(xiàn)有的模型中最好的BERT 相比，在教學(xué)評(píng)價(jià)數(shù)據(jù)集MOOC 上準(zhǔn)確率提升了2.86%，F(xiàn)1 提升了2.27%；在酒店評(píng)價(jià)數(shù)據(jù)集HOTEL 上準(zhǔn)確率提升了1.45%，F(xiàn)1 提升了1.72%。第二，與采用注意力軟融合機(jī)制的模型BERT-HAN 相比，在MOOC 上準(zhǔn)確率提升了2.17%，F(xiàn)1 提升了1.64%；在HOTEL 上準(zhǔn)確率提升了0.95%，F(xiàn)1 提升了0.92%。第三，基于預(yù)訓(xùn)練的模型BERT、BERT-HAN、BERT-HC 比其它非預(yù)訓(xùn)練模型的效果要更好，說明了預(yù)訓(xùn)練有助于更準(zhǔn)確的語義建模。

3.5 參數(shù)影響

在BERT-HC 模型中，由于引入了一個(gè)額外的L0正則化項(xiàng)來控制二元門控向量的稀疏化程度，因此需要探究其權(quán)重系數(shù)λ 對(duì)結(jié)果的影響。將λ 設(shè)置為[0,0.2]區(qū)間中的值，步長為0.04，其結(jié)果見圖3。在搜索區(qū)間內(nèi)，MOOC 數(shù)據(jù)集上λ=0.08 時(shí)結(jié)果最好，HOTEL數(shù)據(jù)集上λ=0.12 時(shí)結(jié)果最好。

4 結(jié)論

準(zhǔn)確的教學(xué)評(píng)價(jià)分析，對(duì)優(yōu)化教學(xué)理念、教學(xué)模式和教學(xué)方式、提高教學(xué)質(zhì)量等具有重要意義。本文提出一種基于BERT 和Hard Concrete 門控機(jī)制的層次語義建模情感分析方法BERT-HC，該方法將評(píng)價(jià)文本層次化的建模，利用BERT 來捕捉更準(zhǔn)確的子句語義表示，并引入Hard Concrete 門控機(jī)制來使模型自動(dòng)地篩選與情感判斷相關(guān)的子句。在MOOC 和HOTEL 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，該方法與其它對(duì)比模型相比能夠更準(zhǔn)確的判斷教學(xué)評(píng)價(jià)的情感傾向。本文為復(fù)雜情感句的分析提供了一種新的研究思路。