國網(wǎng)青海省電力公司信息通信公司 謝浩榮 雷曉萍 秦 浩 王雪群 史正良

隨著我國電力市場化改革的不斷推進，電網(wǎng)經(jīng)營在滿足用戶用電需求的情形下，產(chǎn)生了大量結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)。對生成的海量數(shù)據(jù)進行情感等級分析和基本事件統(tǒng)計，有助于獲取電網(wǎng)用戶對電網(wǎng)政策的意見及對電網(wǎng)電力服務(wù)的滿意度信息。因而，可以搜集線上監(jiān)測系統(tǒng)和線下調(diào)查問卷、客戶訪談的非結(jié)構(gòu)化數(shù)據(jù)，構(gòu)造電網(wǎng)用戶需求反饋研究Grid-2數(shù)據(jù)集。非結(jié)構(gòu)化數(shù)據(jù)主要指中文文本，中文文本具有以下特點：

一是評論人/記錄人的專業(yè)理解與習慣不同，存在著錯填或誤填的情況；二是中文文本多數(shù)來說都是高維的，需要高維空間本征表示；三是中文文本存在相同語句表達確不是相同意思的情況即一詞多義現(xiàn)象。

中文文本情感分析主要有兩種方法：基于傳統(tǒng)的機器學習和現(xiàn)在流行的深度學習。如Lee等人結(jié)合樸素貝葉斯極大估計和支持向量機來進行中文文本的情感推斷，但是模型訓練需要依賴大量的有標簽監(jiān)督數(shù)據(jù)以及專家先驗知識，造成模型的泛化性較差；Aydin等人利用word2vec淺層神經(jīng)網(wǎng)絡(luò)的靜態(tài)詞向量技術(shù)與雙向長短期記憶網(wǎng)絡(luò) (BiLSTM)極強的雙向特征提取能力，在句子級別進行文本情感分類分析，取得了不錯的效果，但word2vec屬于靜態(tài)詞向量嵌入技術(shù)，無法表達一詞多義問題；Petets等人在2018年提出了ELMO動態(tài)詞向量方法，其利用了雙層雙向的長短期記憶模型來尋找詞向量的隱藏編碼，并能根據(jù)當前詞根的上下文來動態(tài)調(diào)整詞的特征，但其提取特征的能力還是偏弱；Radford等人采用參數(shù)超大的基于Transformer的GPT模型來進行文本特征提取，但是特征編碼過程中單方面考慮上文信息而忽略了詞根的下文信息，其特征提取的有效性還是不高；Bert模型的提出彌補了ELMO和GPT存在的問題[1-2]，其是以字為級別的向量編碼，通過參考上下文環(huán)境，進行語義提取，故不存在一詞多義的問題。本文利用預訓練Bert模型，在SST-2數(shù)據(jù)集上微調(diào)和語料關(guān)鍵詞，相似詞規(guī)則匹配方法對用戶需求反饋Grid-2數(shù)據(jù)集進行情感分類挖掘和梳理統(tǒng)計分析，并對分類和統(tǒng)計結(jié)果進行可視化。

1 基于Bert詞向量文本情感分類與用戶反饋需求基本統(tǒng)計

基于Bert詞向量中文文本情感分類與搜索引擎用戶需求事件統(tǒng)計的數(shù)據(jù)預處理和詞向量表示的模型流程如圖1所示，通過調(diào)查問卷、客服訪談與系統(tǒng)監(jiān)測的形式形成Grid-2分析數(shù)據(jù)集。經(jīng)過數(shù)據(jù)預處理分別送入文本情感分類及用戶反饋需求基本統(tǒng)計的通道中，最后將所得結(jié)果進行可視化展示。

圖1 整體結(jié)構(gòu)圖

1.1 Bert預訓練模型

Bert采用了融合語言能力更強的Transformer模型，通過其多頭自注意力機制對文本中的每個詞考慮其重要性程度，其特征表達能力更好，Bert情感分類模型如下所示，其中c1，c2，...，cn是模型的輸入，out1，out2，...，outn是模型的編碼輸出，softmax層作為情感分類類別的輸出層，本文中將文本情感分成積極、中性、負面三類[3]。

圖2 Bert情感分類模型流程圖

Bert輸入層由三個部分組成，ci由文本向量，詞向量和位置向量三個部分組成，句中每個句子的第1個向量是【CLS】標志，句中向量【SEP】標志用作不同句子的分隔符，本文是中文文本級別的情感分析，詞向量是詞的隨機靜態(tài)編碼[4-5]，文本向量的取值在模型訓練過程中自動學習，用于刻畫文本的全局語義信息，位置向量P記錄分詞在句子中的位置。

圖3 Bert詞初始向量化過程

位置編碼計算公式如下：

其中，pos表示位置，k表示所在維度，d表示文本向量編碼維度。

預訓練模型的Transformer結(jié)構(gòu)如圖4所示。Transformer結(jié)包括1個編碼器和1個解碼器，編碼器由6個Encoder堆疊組成，解碼器由6個Decoder連續(xù)堆疊而成。

圖4 Transformer結(jié)構(gòu)圖

Encoder由N=6個相同的layer組成，layer指的就是上圖左側(cè)的單元，這里是6個。每個Layer由兩個sub_layer組成，分別是多頭自注意力機制和全連接層。其中，每個sub_layer都加了殘差連接和正則化，因此可以將sub_layer的輸出表示為：

多頭注意力機制的計算過程分別如下所示：

其中，LN(.)是層正則化算子，Q，K，V分別是查詢矩陣，鍵矩陣，值矩陣，dk為平衡懲罰參數(shù)，WQi，WKi，WV>i均為線性變換矩陣，Concat(.)是矩陣連接算子，WO代表參數(shù)矩陣。

1.2 用戶反饋基本事件統(tǒng)計

通過采集的Grid-2數(shù)據(jù)集進行關(guān)鍵詞、相似詞匹配分析對用戶反饋相關(guān)的中文文本進行匹配，對相似詞進行分組計數(shù)統(tǒng)計，并生成詞頻表，共現(xiàn)詞表及語義網(wǎng)絡(luò)結(jié)構(gòu)圖。

2 試驗與試驗結(jié)果

2.1 試驗環(huán)境及數(shù)據(jù)集

本文試驗的開發(fā)環(huán)境Tensorflow 1.15，開發(fā)工具為Pycharm，開發(fā)語言為Python，使用NvidiaRTX 2060運行程序。采用的是開源的預訓練Bert模型，然后在SST-2數(shù)據(jù)集上做微調(diào)訓練，SST-2數(shù)據(jù)集包含6920 條訓練樣本，872 條驗證樣本，1821 條測試樣本，包含兩種情感分類。搜集的Grid-2數(shù)據(jù)集包含了30000多條國網(wǎng)用戶的評論文本，每條評論文本均不超過200個字符。

2.2 試驗評價標準

為驗證本文模型在中文文本情感分析中的有效性， 使用的評價標準有準確率（Precision）、召回率（Recall）和F1，其計算公式如下所示：

其中，p為真實標簽積極類，預測也為積極類的樣本數(shù)，n為真實標簽是消極類，預測為積極類的樣本數(shù)目，x是真實標簽為積極類，預測為消極類的樣本數(shù)。

2.3 試驗參數(shù)設(shè)置

試驗參數(shù)的設(shè)置對實驗結(jié)果具有很大的影響，經(jīng)過試驗對比后，模型參數(shù)取值如下：句子最大長度為200；隨機參數(shù)更新比例dropout率為0.4；損失函數(shù)為交叉熵函數(shù)；優(yōu)化器為Adamw，學習率為1E-6；訓練Epoch都設(shè)置為15，Batch_size都為16。

2.4 試驗分析及可視化

在SST-2數(shù)據(jù)集做微調(diào)生成混淆矩陣，計算精確度與召回率，與常見的情感分類算法作比較，并在Grid-2數(shù)據(jù)集上進行情感等級分類，將分類結(jié)果進行可視化。

圖5 SST-2混淆矩陣

表1 算法比較

由表1可以看出，Bert算法結(jié)合Finetune訓練的分類精度和分類召回率都比基于SVM的和雙向長短期記憶模型有所提升，驗證了模型的有效性。Bert模型提升了模型對中文文本的特征提取能力，采用詞的上下文語境來自監(jiān)督訓練來生成高質(zhì)量的詞向量，且由于采用預訓練的方式，可以節(jié)省大量的訓練算力資源，具有即插即用的優(yōu)良性能。

圖6 Grid-2國網(wǎng)數(shù)據(jù)集情感分類

將在SST-2數(shù)據(jù)集上微調(diào)的Bert模型運用到Grid-2數(shù)據(jù)集的情感分類任務(wù)當中，由分類結(jié)果可以知道有超過10000條的積極性評論，中性和消極評論各自約5000條。

表2 詞頻分布表

由表2可以看出“電力”“感謝”“價格”“穩(wěn)定”等詞頻數(shù)較高，說明電網(wǎng)用戶對國網(wǎng)電力價格政策總體上還是滿意的，由“繳費”“網(wǎng)上”等高頻關(guān)鍵詞來看，表明電網(wǎng)用戶對電網(wǎng)的電費支付信息化建設(shè)十分支持。

表3 熱詞共線分布表

由表3可知，國網(wǎng)電力用戶對電力價格，電力穩(wěn)定性比較關(guān)注，在人民生活水平逐漸提高的情況下，每月的用電量也逐漸上升，家庭用電與商用/工業(yè)用電巨大的價差也引起了居民的注意，對用電的穩(wěn)定性品質(zhì)提出了更大的要求。

3 結(jié)語

本文提出的結(jié)合Bert預訓練與Finetune微調(diào)的文本情感分析模型實現(xiàn)了電網(wǎng)中文文本的情感分類，利用Bert預訓練模型得到融合文本上下文的詞向量深度表征，使預訓練模型能更好地刻畫文本語義。在SST-2與Grid-2數(shù)據(jù)集上的實驗結(jié)果表明，本文提出的模型具有較好的效果。并利用統(tǒng)計分析手段對獲取的電力文本進行了關(guān)鍵詞頻統(tǒng)計和共現(xiàn)矩陣分析，初步探討了在大數(shù)據(jù)場景下的民眾對于國網(wǎng)電力政策的認同感和影響力，為將來國網(wǎng)政策的制定和市場化改革提供一定的參考信息。