邵小東 高松 劉帥 狄濤 梅雨婷 施旭 李禎壽 侯秋強 單雙呂

摘? 要：為了解消費者對卷煙產(chǎn)品不同屬性的情感信息，幫助煙草企業(yè)了解消費者評價及情感傾向，指導(dǎo)產(chǎn)品開發(fā)和市場營銷決策，該文利用爬蟲采集2010—2022年共18 205條卷煙消費者評價數(shù)據(jù)，基于預(yù)訓(xùn)練模型（BERT）和雙向長短時記憶網(wǎng)絡(luò)（Bi-LSTM）對文本進行特征提取，結(jié)合句法依賴樹獲取語義間關(guān)系，建立融合情感增強和句法特征的方面級情感分類模型BAGCN，將BAGCN模型的分類結(jié)果與其他4種方法進行對比。結(jié)果顯示，BAGCN模型在方面級情感分類效果最優(yōu)，準確率和F1值達到79.49%和75.26%，BAGCN的各模塊對最終的分類效果均有貢獻。通過方面級情感分析發(fā)現(xiàn)，消費者更關(guān)注卷煙產(chǎn)品的價格和口感屬性，對價格方面的評價多為消極情感，而口感方面的情感分布較為均衡，消費者對外觀和品控方面的評價相對積極。

關(guān)鍵詞：卷煙；消費者評價；方面級情感；預(yù)訓(xùn)練模型；SVM算法

中圖分類號：TP391.1? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2095-2945（2024）19-0001-07

Abstract： In order to understand consumers' emotional information about different attributes of cigarette products， help tobacco enterprises understand consumer evaluation and emotional tendency， and guide product development and marketing decisions， this paper uses crawlers to collect a total of 18 205 cigarette consumer evaluation data from 2010 to 2022， extracts the features of the text based on a pre-training model （BERT） and Bidirectional Long Short-Term Memory （Bi-LSTM） network， and combines syntactic dependency tree to obtain semantic relations. An aspect-level emotion classification model BAGCN which combines affective enhancement and syntactic features is established， and the classification results of BAGCN model are compared with the other four methods. The results show that BAGCN model has the best effect in aspect-level emotion classification， and the accuracy and F1 value reach 79.49% and 75.26% BAGCN. Through the aspect-level emotion analysis， it is found that consumers pay more attention to the price and taste attributes of cigarette products， and the evaluation of price is mostly negative emotion， while the emotional distribution of taste is more balanced. Consumers' evaluation on appearance and quality control is relatively positive.

Keywords： cigarette; consumer evaluation; aspect-level emotion; pre-training model; SVM algorithm

方面級情感分析（Aspect-Based Sentiment Analysis，ABSA）是一種細粒度的情感分類任務(wù)，目的在于預(yù)測文本中某個特定方面的情感極性[1]。近年來，隨著電子商務(wù)的快速發(fā)展，互聯(lián)網(wǎng)中產(chǎn)生了大量消費者對產(chǎn)品的評論數(shù)據(jù)，這些評論蘊含著用戶的情感傾向和態(tài)度信息。通過對這些評論進行分析和進一步挖掘，有利于深入地剖析消費者對產(chǎn)品的消費偏好和潛在需求。周法國等[2]提出一種基于情感詞典和深度學(xué)習(xí)結(jié)合的中文方面級情感模型。潘芳等[3]利用Transformer對中文在線課程評論方面情感分析進行研究。商容軒等[4]利用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)對政務(wù)APP中的評論進行傾向識別。王萍等[5]結(jié)合方面詞的位置權(quán)重和條件隨機場對醫(yī)療文本信息的方面級情感進行分析。方面級情感分析在各行業(yè)的市場營銷和品牌管理中應(yīng)用越來越廣泛，對企業(yè)進行目標市場定位、產(chǎn)品改進及品牌管理等方面具有重要意義。

隨著我國卷煙市場競爭加劇和經(jīng)濟水平的提高，消費者對卷煙產(chǎn)品需求逐漸呈高端化、個性化、多元化發(fā)展，相關(guān)煙草部門也開展了面向卷煙消費者評價的情感分類研究。金吉瓊等[6]利用向量空間和TF-IDF對電子煙市場的消費熱點進行挖掘。蘇凱等[7]利用關(guān)聯(lián)規(guī)則的方法分析了消費者斗煙產(chǎn)品市場的偏好性。楊春曉等[8]構(gòu)建了卷煙在線評論情感詞典，并基于指數(shù)表達式挖掘卷煙在線評論中的情感表達。王銳等[9]提取煙草領(lǐng)域的專有詞匯，并構(gòu)建了融合Bi-LSTM和注意力機制的卷煙評價情感分析模型。上述研究多采用基于統(tǒng)計學(xué)習(xí)或 Word2vec的方法構(gòu)建領(lǐng)域詞典和向量表示，尚存在以下問題：①基于統(tǒng)計學(xué)習(xí)或Word2vec無法解決詞語歧義問題。在卷煙的命名中，為強化當?shù)孛癖姷钠放谱院栏泻托判?，品牌商通常會用地名命名。例如，“玉溪”“泰山”等，這類詞語在不同語境下的含義不同，對詞向量表示有很大影響。②上述方法僅對整個卷煙消費評論句子預(yù)測整體情感極性，無法進行方面級的情感分析。以“軟中華口感很好，但價格實在太貴了”為例，該句包含“口感”和“價格”2個方面，具有不同的情感極性，僅僅預(yù)測整個句子的情感極性，顯然無法滿足煙草企業(yè)全面分析消費者情感的需求。

與上述研究的情感分析不同，方面級情感分析要求模型對同一事物的不同方面分別進行情感分類。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于預(yù)訓(xùn)練BERT模型[10]進行文本表示，再利用雙向長短時記憶網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，Bi-LSTM）等模型進行特征提取，成為當下廣泛使用的情感分類方法。在此基礎(chǔ)上，注意力機制[11]常被用于獲取詞語權(quán)重，作為Bi-LSTM模型的補充。但注意力機制不能捕捉方面詞與上下文之間的句法依賴關(guān)系，導(dǎo)致為方面詞分配錯誤的情感信息。為了緩解這個問題，一些基于依存樹的圖卷積網(wǎng)絡(luò)（Graph Convolution Network， GCN）[12]的方法被提出，其使用句法依賴樹對句子進行建模，并通過圖卷積計算來捕獲長距離的句法依賴關(guān)系。為此，通過爬蟲收集卷煙消費者評價方面級情感數(shù)據(jù)，利用預(yù)訓(xùn)練BERT和Bi-LSTM對評價文本上下文進行特征提取，結(jié)合句法依賴樹和GCN建模句間關(guān)系，構(gòu)建卷煙消費者評價方面級情感分析模型。旨在幫助煙草企業(yè)了解消費者對產(chǎn)品不同方面的情感傾向，進一步改善產(chǎn)品質(zhì)量以滿足消費者的需求。

1? 數(shù)據(jù)與方法

1.1? 數(shù)據(jù)集構(gòu)建

本文通過Python爬蟲采集煙悅網(wǎng)2010—2022年消費者的評論數(shù)據(jù)，共計56 724條。對評論數(shù)據(jù)進行編碼轉(zhuǎn)換、去除HTML標簽和無效符號，構(gòu)建初始的卷煙消費者評論語料。為了解消費者對卷煙不同方面的情感傾向，在卷煙領(lǐng)域情感詞典[8]基礎(chǔ)上，采用Jieba分詞對所有的評論語料進行分詞和詞頻統(tǒng)計，并結(jié)合專家意見構(gòu)建了卷煙消費者評價方面級和方面詞表，不同方面級包含的詞匯見表1。

采用字符串匹配的方式從初始語料中抽取包含方面詞的評論句，分別對方面詞的情感極性進行人工標注，標注樣例見表2。

為了確保人工標注的準確性和一致性，使用Kappa系數(shù)[13]檢驗評估不同標注者之間的標注差異，對標注差異較大的樣本進行重新標注或剔除。最后構(gòu)建含18 205條包含方面詞的卷煙消費者評價數(shù)據(jù)集，將數(shù)據(jù)集按8∶1∶1的比例隨機劃分為訓(xùn)練集、驗證集、測試集。各評價方面級情感的標注分布見表3。

1.2? 模型構(gòu)建

本文提出的BAGCN模型框架如圖1所示。BAGCN模型由BERT編碼層、特征提取層、特征融合層和分類層組成。

1.2.1? 問題定義

給定包含m個字符的卷煙消費者評論Sc={e， e，…，e}和包含n個方面詞集合St={e，e，…，et}，其中St是Sc的子序列。方面級情感分析的任務(wù)是預(yù)測給定方面詞的情感極性et∈{Positive，Negetive，O}，其中Positive，Negetive，O分別表示“積極”“消極”和“中性”情感。

1.2.2? 詞嵌入和Bi-LSTM特征提取層

本文采用預(yù)訓(xùn)練模型BERT獲得評論文本和方面詞中的語義表示，根據(jù)公式（1）將評論上下文和方面詞結(jié)合，輸入BERT模型得到表達式為E∈Rn×d，可以有效解決卷煙品牌一詞多義的問題。

E=BERT（[CLS]? 評論文本? [SEP]? 方面詞? [SEP]）。 （1）

為捕獲文本的上下文特征，將詞嵌入矩陣E∈Rn×d輸入Bi-LSTM提取語義信息。LSTM引入了特殊的門控機制，通過門結(jié)構(gòu)保留或丟棄信息，解決了傳統(tǒng)RNN存在的梯度消失或爆炸問題。LSTM結(jié)構(gòu)如圖2所示。

圖2中ft為遺忘門，決定前一時刻細胞中有多少信息需要傳遞到當前時刻；it為輸入門，用來控制當前時刻的信息保存到細胞單元的程度；Ct為記憶單元，用來記錄不同門結(jié)構(gòu)情況下細胞的狀態(tài);Ct和輸出門Ot計算得到當前時刻的輸出ht。具體計算過程如下

1.2.3? 注意力機制層

注意力機制可以根據(jù)詞語對情感表達的權(quán)重衡量不同詞語在情感分類中的重要性，從而進一步提高分類準確率。本文將Bi-LSTM 輸出層的上下文矩陣ht 通過注意力機制計算權(quán)重，如式（8）所示

同樣的，計算Bi-LSTM輸出層方面詞的特征矩陣注意力權(quán)重，得到Bi，j。最終將上下文注意力和方面詞注意力權(quán)重矩陣拼接作為該層輸入AttGCN網(wǎng)絡(luò)，如式（9）所示

將處理后的注意力矩陣A作為輸入，根據(jù)其相鄰的隱藏表示更新AttGCN第l層中的每個節(jié)點。

1.2.4? 句法特征和情感增強層

在方面級情感分析任務(wù)中，判斷方面詞的情感極性關(guān)鍵在于捕獲文本中方面詞的修飾和描述。本文在考慮上下文特征的基礎(chǔ)上，結(jié)合句法結(jié)構(gòu)信息和方面詞增強特征，以提高文本的特征表達能力。

首先，使用 HanLP獲得句法依賴樹（圖3），并根據(jù)句法依賴樹構(gòu)建鄰接矩陣D∈Rn×n。構(gòu)建規(guī)則為：若任意節(jié)點i，j之間句法有著依存關(guān)系，則Dij=Dji=1，否則 Dij=Dji=0。同時將單詞自身的依存關(guān)系設(shè)置為 Dij=1。

在此基礎(chǔ)上，選擇BosonNLP[14]作為情感詞典，構(gòu)建情感增強矩陣S∈Rn×n。如式（12）所示

Si，j=|BosonNLP（wi）|+|BosonNLP（wj）| ， （12）

式中：BosonNLP（wi）∈[-1，1]表示詞語在BosonNLP詞典經(jīng)過歸一化后的情感分數(shù)。同理，根據(jù)wi是否為方面詞構(gòu)建方面詞增強矩陣T∈Rn×n，將情感增強和方面詞增強的矩陣與鄰接矩陣D相結(jié)合，得到最終的 DepGCN輸入矩陣Gij為

Gij=Dij×（Sij+Tij+1） 。 （13）

1.2.5? Biaffine模塊和分類層

為了提高AttGCN和DepGCN的交互學(xué)習(xí)效率，本文采用Biaffine模塊[15]計算AttGCN和DepGCN間的特征表示，將最后一層的輸出進行平均池化和拼接后，得到最終的情感特征表示F。如式（14）所示

最后，將情感特征F輸入全連接層進行分類

p=softmax（WF+b）， （15）

式中：W、b分別為全連接層的權(quán)重矩陣和偏置項；p為情感概率分布，概率分布最大的值即為最終的情感分類結(jié)果。

1.3? 模型環(huán)境與參數(shù)

基于Ubuntu18.06系統(tǒng)搭建Python3.6編程環(huán)境，選擇Pytorch1.10構(gòu)建網(wǎng)絡(luò)模型，顯卡為 GeForce RTX 3080。詞嵌入模型選擇BERT-base-chinese，詞向量維度為768；使用學(xué)習(xí)率為 2×10-5的Adam優(yōu)化器進行優(yōu)化；GCN層數(shù)設(shè)置為2；L2正則化系數(shù)設(shè)置為10-5；訓(xùn)練樣本批次大小為32；Dropout丟棄率為0.3；訓(xùn)練輪數(shù)為20；選擇交叉熵損失作為損失函數(shù)。

1.4? 模型評估

通過調(diào)整參數(shù)設(shè)置使模型達到最佳分類效果，選擇準確率（Accuracy）和F1值作為評價指標評估模型的性能。同時，為了更好地對比本文模型的算法性能，選擇與情感詞典法、經(jīng)典的統(tǒng)計學(xué)習(xí)模型SVM、深度學(xué)習(xí)模型Bi-LSTM-Attention和SSGCN進行結(jié)果比較。

1）SVM算法[16]：一種經(jīng)典的機器學(xué)習(xí)算法，通過設(shè)定核函數(shù)尋找分類超平面，將不同類別的樣本分開，在早期情感分類領(lǐng)域得到了廣泛的應(yīng)用。

2）Bi-LSTM-Attention模型[17]：采用Word2vec詞嵌入，通過雙向LSTM來捕捉文本中的上下文信息，并利用注意力機制獲得方面詞上下文信息權(quán)重，具有很好的文本建模和特征提取能力。

3）SSGCN模型[18]：在句法依賴樹的基礎(chǔ)上，增強特定上下文詞與方面詞之間的關(guān)聯(lián)，并作為外部特征輸入GCN網(wǎng)絡(luò)，提高模型情感分類效果。

2? 結(jié)果與分析

2.1? 情感分類結(jié)果對比

BAGCN模型與對比模型的結(jié)果見表4。從表4可以看出，BAGCN模型在準確率和F1值上均高于其他對比模型。情感詞典法的F1值最低，說明通過情感詞典匹配的方式在泛化能力和語義理解中存在一定的局限性。Bi-LSTM-Attention和SSGCN模型在F1值上均高于SVM模型，表明深度學(xué)習(xí)方法可以更好地建模文本序列中的長距離依賴關(guān)系和關(guān)鍵信息，從而在情感分類任務(wù)上取得更好的性能。BAGCN相比Bi-LSTM-Attention、SSGCN模型的F1值分別提升了1.82%和1.23%，表明預(yù)訓(xùn)練BERT詞向量具有更好的文本表征能力，而圖卷積網(wǎng)絡(luò)則可以捕捉句法結(jié)構(gòu)信息，有利于提升方面級情感分類效果。

方面級情感的分類結(jié)果見表5。由表5可知，在標注樣本更少的情況下，外觀和品控方面的分類準確率和F1值均優(yōu)于口感和價格方面，推測是因為外觀和品控維度的情感描述和修飾比較簡單，比如“盒子很漂亮”“煙嘴細膩”等，這些修飾詞相對明確和直觀，更容易被模型識別。相比之下，口感和價格通常包含更多口語化的評價，比如“價格親民”“口感很順”等，這些修飾詞更加復(fù)雜和主觀，也容易受到煙民的個人口味偏好和評價標準的影響，導(dǎo)致分類準確率出現(xiàn)下降。

2.2? 消融實驗結(jié)果對比

針對Attention、Bi-LSTM、BERT和DepGCN模塊的消融實驗的結(jié)果見表6。由表6可知，在不同消融模塊下，模型的準確率和F1值均有所下降，證明了BAGCN中每個部分對情感分類結(jié)果均有貢獻。其中DepGCN、BERT、Bi-LSTM對模型性能的影響最為顯著，注意力機制可以更好地捕捉不同詞語之間的重要性，對模型的性能提升也有一定貢獻。

2.3? 消費者方面級情感分析

不同價位下消費者情感關(guān)注程度如圖4所示，圖4中價位-方面級對應(yīng)區(qū)域顏色代表消費者評論中出現(xiàn)的頻率占比，顏色越深代表消費者對該方面的關(guān)注度越高。可見，在低價位的卷煙市場中，價格是消費者最關(guān)注的因素，而對外觀和品控方面關(guān)注明顯較少。但隨著價位的提高，消費者對價格的關(guān)注度相對減少，口感、外觀、品控方面得到的關(guān)注度持續(xù)提升，說明消費者在購買高價位的卷煙品牌時對產(chǎn)品的整體品質(zhì)和形象均有著較高的期望。

消費者在不同方面級的情感分布隨價格變化情況如圖5所示，圖5中的數(shù)字代表該情感評價占整體情感的比例。可見，在低端價位的卷煙評價中，消費者在價格方面表達出的消極情感多于積極情感?？诟蟹矫鎰t因個人喜好不同，并未呈現(xiàn)出明顯的情感差異。在整個價格范圍內(nèi)，消費者對于卷煙產(chǎn)品的外觀和品控方面都是相對穩(wěn)定且積極的評價。因此，煙草企業(yè)在高價位的卷煙市場中應(yīng)該注重產(chǎn)品質(zhì)量和口感的提升，以滿足消費者的需求。同時，在低價位市場中，降低價格可以減少消費者對價格的負面情感，但企業(yè)也應(yīng)該注重提升產(chǎn)品的口感和外觀質(zhì)量，以提高消費者多方面滿意度。

根據(jù)消費者評論中不同方面修飾詞的頻率占比，利用Python中的Wordcloud庫生成的方面級評價詞云如圖6所示?？梢?，在價格方面，“不值”“漲價”“溢價”“貴”等消極的評價詞出現(xiàn)頻率更高。在口感方面，“清新”“柔順”“醇厚”“微甜”是常見的積極評價詞，而“苦”“沒勁”“干”代表大部分負面評價。在外觀方面，“精美”“上檔次”“好看”等積極評價詞詞頻明顯多于“垃圾”“老氣”等消極評價詞。在品控方面，“柔軟”“舒適”“滿意”等積極評價詞占主導(dǎo)地位，“太硬”“沒感覺”“差評”等消極詞匯出現(xiàn)的頻率較低。消費者在不同方面級修飾詞的頻率占比與本文模型識別的情感分布基本一致。

3? 結(jié)論

通過采集2010—2022年卷煙消費者評論數(shù)據(jù)，構(gòu)建卷煙消費者評價方面級數(shù)據(jù)集，建立融合情感增強和句法特征的方面級情感分類模型BAGCN，并與主流的SVM、 Bi-LSTM-Attention、SGCN等模型進行對比。研究結(jié)果表明，BAGCN模型在準確率和F1值上均高于其他對比模型，BAGCN模型在 F1值上相比SVM、BiLSTM-Attention和SGCN分別提高了5.91%、 1.82%和1.23%。其中，Attention、Bi-LSTM、BERT和DepGCN模塊均證明有利于提升情感分類效果。消費者情感分析結(jié)果表明，當購買低價位的卷煙時，消費者往往更加關(guān)注價格的變動，其表達出的消極情感多于積極情感。然而，消費者對于口感的要求因個人喜好不同而沒有明顯的情感差異。在外觀和品控方面，消費者的評價在整個價格范圍內(nèi)都相對穩(wěn)定，且評價大多數(shù)是積極的。本文模型可以幫助煙草企業(yè)了解消費者對產(chǎn)品的評價和情感傾向，有助于企業(yè)在產(chǎn)品開發(fā)和市場營銷方面做出更好的決策。

參考文獻：

[1] PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2016 task 5： Aspect based sentiment analysis[C]//ProWorkshop on Semantic Evaluation（SemEval-2016）. Association for Computational Linguistics，2016：19-30.

[2] 周法國，孫冬雪.融入情感和話題信息的中文方面級情感分析[J].計算機應(yīng)用研究，2022，39（12）：3614-3619，3625.

[3] 潘芳，張會兵，董俊超，等.基于高效Transformer的中文在線課程評論方面情感分析[J].計算機科學(xué)，2021，48（S1）：264-269.

[4] 商容軒，張斌，米加寧.基于BRNN的政務(wù)APP評論端到端方面級情感分析方法[J].數(shù)據(jù)分析與知識發(fā)現(xiàn)，2022，6（Z1）：364-375.

[5] 王萍，李璋寅，郭茹燕，等.面向醫(yī)療文本信息的方面級情感分析[J].武漢大學(xué)學(xué)報（理學(xué)版），2023，69（1）：60-68.

[6] 金吉瓊，劉鴻，鄭賽晶.基于在線評論文本挖掘技術(shù)的電子煙市場消費熱點分析[J].煙草科技，2019，52（12）：106-114.

[7] 蘇凱，付博，楊永鋒，等.基于互聯(lián)網(wǎng)數(shù)據(jù)的斗煙市場偏好性分析[J].煙草科技，2019，52（8）：106-113.

[8] 楊春曉，張鶴馨，黃家雯，等.卷煙在線評論的文本情感分析[J].中國煙草學(xué)報，2020，26（2）：92-100.

[9] 王銳，鄭新章，宗國浩，等.融合BiLSTM和注意力機制的卷煙消費者評價情感分類方法[J].煙草科技，2022，55（11）：106-112.

[10] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre-training of deep bidirectional transformers for language understanding[D]. arXiv，2018.

[11] MA D，LI S，ZHANG X，et al.Interactiv eattention networks for aspect-level sentiment classification[C]//Proceedings of the 26th International Joint Conference on Artificial Intelligence.2017： 4068-4074.

[12] ZHANG C， LI Q， SONG D. Aspect-based sentiment classification with aspect-specific graph convolutional networks[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing andthe 9th International Joint Conferenceon Natural Language Processing（EMNLP-IJCNLP），2019：4568-4578.

[13] COHEN J. A coefficient of agreement for nominal scales[J]. Educational and psychological measurement， 1960，20（1）：37-46.

[14] MIN K， MA C， ZHAO T， et al. BosonNLP：An ensemble approach for word segmentation and POS tagging[C]//Natural Language Processing and Chinese Computing： 4th CCF Conference， NLPCC 2015， Nanchang， China， October 9-13，2015，Proceedings 4. Springer International Publishing， 2015：520-526.

[15] DOZAT T， MANNING C D. Deep biaffine attention for neural dependency parsing[D].arXiv，2016.

[16] JIANG L， YU M， ZHOU M， et al. Target-dependent twitter sentiment classification[C]//Proceedings of the 49th annual meeting of the association for computational linguistics：human language technologies，2011：151-160.

[17] WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification[C]//Proceedings of the 2016 conference on empirical methods in natural language processing，2016：606-615.

[18] 李帥，徐彬，韓祎珂，等.SS-GCN：情感增強和句法增強的方面級情感分析模型[J].計算機科學(xué)，2023，50（3）：3-11.