任鵬飛,李 旸,王素格,3,李書琪, 閆婧濤

(1. 山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006;2. 山西財(cái)經(jīng)大學(xué) 金融學(xué)院,山西 太原 030006;3.山西大學(xué) 計(jì)算智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室,山西 太原 030006)

0 引言

文本情感分析是自然語言處理領(lǐng)域中一項(xiàng)重要的任務(wù),按照文本表示的語言粒度,實(shí)體級(jí)和方面級(jí)情感分析均屬于細(xì)粒度情感分類任務(wù),旨在判別給定目標(biāo)實(shí)體或者方面的情感極性(正面、負(fù)面、中性)。隨著Restaurant、Laptop和Twitter等領(lǐng)域英文數(shù)據(jù)集的發(fā)布[1-2],許多研究人員致力于方面級(jí)情感分析的研究[3]。在金融領(lǐng)域,涉及的金融情感主要聚焦在實(shí)體級(jí)層面,例如,“網(wǎng)絡(luò)借貸平臺(tái)選擇很重要,優(yōu)秀公司如京東金融、支付寶借唄、騰訊微粒貸,重點(diǎn)黑名單如小資錢包,涉嫌非法集資近五個(gè)億,平臺(tái)對(duì)外宣稱的資格證書和銀行存管全是假的”,該句子包括四個(gè)實(shí)體,對(duì)于前三個(gè)實(shí)體,其情感極性均為正面,而對(duì)于“小資錢包”實(shí)體,其情感極性為負(fù)面。然而,在金融領(lǐng)域的實(shí)體情感分析研究相對(duì)較少,劉宇瀚等人[4]結(jié)合字形特征與迭代學(xué)習(xí)方法研究金融領(lǐng)域命名實(shí)體識(shí)別,但僅識(shí)別金融領(lǐng)域的公司名、品牌名等實(shí)體,并未對(duì)實(shí)體的情感進(jìn)行判別。俞佳炳[5]提出了一種使用門控機(jī)制融合字詞嵌入的表示方法,建立了結(jié)合注意力機(jī)制的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的混合神經(jīng)網(wǎng)絡(luò)模型,但該模型并未引入金融實(shí)體和語句之間的關(guān)聯(lián)關(guān)系。

目前,金融領(lǐng)域的實(shí)體情感分析研究主要面臨三方面的挑戰(zhàn): 一是缺乏公開標(biāo)注的金融領(lǐng)域中文實(shí)體級(jí)情感分析數(shù)據(jù)集;二是金融實(shí)體專有名詞表達(dá)具有多樣性,一些分詞工具難以準(zhǔn)確地進(jìn)行分詞;三是金融領(lǐng)域的情感表達(dá)具有隱式性,例如,“高返平臺(tái)、暴雷”等。目前僅有2019CCF大數(shù)據(jù)與計(jì)算智能大賽下金融信息負(fù)面及主體判定賽題評(píng)測(cè)(1)https://www.datafountain.cn/competitions/353/datasets,該評(píng)測(cè)僅識(shí)別金融文本中情感極性為負(fù)面的實(shí)體,未對(duì)正面和中性情感極性的實(shí)體進(jìn)一步細(xì)分判定。針對(duì)這些問題,本文提出了一種基于實(shí)體與句子交互注意力機(jī)制的雙圖卷積網(wǎng)絡(luò)的金融實(shí)體情感識(shí)別方法(ASynSemGCN)。該方法首先利用預(yù)訓(xùn)練模型RoBERTa-wwm-ext[6],結(jié)合實(shí)體,對(duì)句子進(jìn)行初始表示,再通過多頭注意力機(jī)制建立實(shí)體與句子之間的交互信息表示,從而增強(qiáng)句子對(duì)實(shí)體情感極性判別的指導(dǎo)。在此基礎(chǔ)上,對(duì)句子的交互表示,分別利用語法圖卷積網(wǎng)絡(luò)(SynGCN)和語義圖卷積網(wǎng)絡(luò)(SemGCN),獲得實(shí)體的句法和語義深層表示,最后,將實(shí)體的深層表示、實(shí)體字級(jí)嵌入表示以及句子嵌入表示拼接,再通過全連接層對(duì)實(shí)體進(jìn)行情感極性識(shí)別。其中,SynGCN模塊主要是利用依存句法解析器的所有依賴弧的概率矩陣,豐富句子的語法知識(shí),SemGCN模塊主要是利用自注意力機(jī)制獲得注意力矩陣,進(jìn)而捕獲句子中每個(gè)詞的語義信息,獲得句子的語義表示。本文的主要貢獻(xiàn)如下:

(1) 利用注意力機(jī)制,建立實(shí)體和句子信息交互表示,增強(qiáng)實(shí)體的情感語義表示;

(2) 基于雙圖卷積網(wǎng)絡(luò),建立句子的句法和語義的深層表示,從而增強(qiáng)句子對(duì)實(shí)體的隱式情感表示;

(3) 構(gòu)建一個(gè)金融領(lǐng)域的中文實(shí)體情感分析數(shù)據(jù)集,并且在該數(shù)據(jù)集上驗(yàn)證了本文所提方法的有效性。

1 相關(guān)工作

目前,實(shí)體級(jí)情感分析任務(wù)的相關(guān)研究較少,而且與該任務(wù)相關(guān)的研究主要集中在方面級(jí)情感分析。早期的研究人員主要是利用情感詞典和人工標(biāo)注的特征進(jìn)行情感極性識(shí)別,而這些方法耗時(shí)費(fèi)力。近年來,神經(jīng)網(wǎng)絡(luò)模型被應(yīng)用于方面級(jí)情感分析中。Tang等人[7]使用兩個(gè)LSTM將方面與上下文進(jìn)行建模,以增強(qiáng)方面的信息表示。Liu等人[8]利用BiLSTM從正向和反向?qū)渥舆M(jìn)行編碼,并將它們進(jìn)行拼接,用于情感極性識(shí)別。然而,僅用LSTM并不能捕獲與方面相關(guān)的重要信息,因此,Wang等人[9]提出了基于注意力機(jī)制的ATAE-LSTM模型,該模型利用注意力機(jī)制對(duì)LSTM隱藏層輸出加權(quán)求和,進(jìn)而計(jì)算句子中每個(gè)詞對(duì)給定方面的重要性。Ma等人[10]提出了基于注意力機(jī)制的IAN模型,該模型利用LSTM對(duì)句子和方面進(jìn)行編碼,并使用注意力機(jī)制對(duì)它們進(jìn)行交互學(xué)習(xí),獲取與方面相關(guān)的語義特征。Fan等人[11]提出了一種多粒度注意機(jī)制,用于捕獲方面和其上下文間的語義交互信息。Wu等人[12]提出了一種方面-上下文交互表示結(jié)構(gòu),該結(jié)構(gòu)僅依賴一種注意力機(jī)制生成上下文和方面的序列到序列的表示。但是,在利用注意力機(jī)制進(jìn)行方面與句子交互時(shí),有可能丟失一些與方面項(xiàng)相關(guān)的詞語信息。為了增強(qiáng)方面與句子中詞的聯(lián)系,有學(xué)者將語法知識(shí)應(yīng)用于方面級(jí)情感分析,如Phan等人[13]引入句法相對(duì)距離,以降低與方面聯(lián)系較弱的無關(guān)詞的影響;Sun等[14]利用依賴樹表示句法結(jié)構(gòu)信息,用于縮短方面和句子中觀點(diǎn)詞的距離,使得句子中保留依賴信息;Liang等[15]利用依賴樹上的圖卷積網(wǎng)絡(luò)學(xué)習(xí)具有語法信息的方面表示。Li等[16]利用雙圖卷積網(wǎng)絡(luò)分別獲取方面的語法和語義表示,并融合方面的語法和語義表示對(duì)其情感極性進(jìn)行判別。

上述方法主要是針對(duì)較短長(zhǎng)度的實(shí)體進(jìn)行情感極性判別,并未考慮金融領(lǐng)域中不同實(shí)體和句子之間的依賴關(guān)系。由于金融領(lǐng)域中實(shí)體名稱較多,情感表達(dá)隱晦,分詞工具難以準(zhǔn)確進(jìn)行分詞,因此,為了增強(qiáng)實(shí)體的情感語義表示,本文建立句子和實(shí)體之間的關(guān)聯(lián)信息,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡(luò)的金融實(shí)體情感極性識(shí)別方法(ASynSemGCN)。

2 金融實(shí)體情感分析數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)收集和清洗

本文使用的數(shù)據(jù)來源于2019CCF大數(shù)據(jù)與計(jì)算智能大賽下金融信息負(fù)面及主體判定賽題(2)https://www.datafountain.cn/competitions/353/datasets,并對(duì)原始數(shù)據(jù)進(jìn)行了數(shù)據(jù)清洗和重新標(biāo)注。數(shù)據(jù)清洗過程如下:

(1) 數(shù)據(jù)去重: 若數(shù)據(jù)中包含給定實(shí)體且語句有重復(fù),則只保留一條信息。

(2) 刪除無關(guān)符號(hào): 若數(shù)據(jù)中存在網(wǎng)址、url標(biāo)簽、特殊符號(hào)(表情符號(hào)等)以及多余空格,將這些無關(guān)符號(hào)刪除。

(3) 刪除多余子詞: 若給定的語句中,存在實(shí)體列表中多余的子詞,將其刪除。例如,“旺旺貸跑路!深圳警方確定投資人被騙!”,實(shí)體列表為“旺貸、旺旺貸”,僅保留實(shí)體“旺旺貸”。

(4) 刪除與實(shí)體無關(guān)聯(lián)的語句: 例如,實(shí)體為“京東白條”,句子為“一個(gè)人蹲在角落里,靜靜的聽著歌回憶著曾經(jīng),眼淚悄然落下,才知道自己京東白條提現(xiàn)一勇敢互助感恩京東白條提現(xiàn)對(duì)話宜賓地震災(zāi)區(qū)受災(zāi)群眾京東白條怎么用新華社成都6月24日電記者吳光于康錦謙袁波距宜賓長(zhǎng)寧縣6.0級(jí)地震發(fā)生僅過去5天,6月22日夜,珙縣一場(chǎng)5.4級(jí)的地震讓人們?cè)俅螐乃瘔?mèng)中……”。該實(shí)例雖然包含“京東白條”,但句子的整體內(nèi)容實(shí)際與“京東白條”無關(guān),將這類數(shù)據(jù)刪除。

2.2 標(biāo)注過程及數(shù)據(jù)規(guī)模

按2.1節(jié)介紹的方法對(duì)原始數(shù)據(jù)進(jìn)行清洗處理后,再由兩名標(biāo)注者對(duì)每條語句及其對(duì)應(yīng)的實(shí)體情感進(jìn)行獨(dú)立標(biāo)注,且相互之間沒有交流,標(biāo)注完成后,若兩名標(biāo)注者標(biāo)注的數(shù)據(jù)有差異,則加入第三名標(biāo)注者商量討論,直至標(biāo)注結(jié)果一致。為了說明標(biāo)注實(shí)體情感的一致性,采用卡帕系數(shù)[17]衡量一致性指標(biāo)。本文標(biāo)注數(shù)據(jù)集的卡帕一致性為0.884 3,說明所標(biāo)注的金融實(shí)體情感分析數(shù)據(jù)集是可靠的。

數(shù)據(jù)集中的實(shí)體主要包括“螞蟻金服、小資錢包、京東白條、宜貸網(wǎng)、錢寶網(wǎng)、紅嶺創(chuàng)投、360金融、中弘控股、上海鼎夕金融信息服務(wù)有限公司、e租寶、河北幸福消費(fèi)金融公司、中國(guó)支付通、……”。這些實(shí)體主要是公司名和品牌名等。

標(biāo)注后的金融實(shí)體情感分析語料規(guī)模如表1所示。

表1 金融實(shí)體情感分析語料規(guī)模統(tǒng)計(jì)

部分標(biāo)注示例如表2所示。

表2 部分標(biāo)注示例

在表2中,金融實(shí)體情感極性為負(fù)面、正面、中性三類。對(duì)于Id為2的句子,“京東白條”僅給出定義,對(duì)于此類數(shù)據(jù),標(biāo)注為中性。

3 ASynSemGCN模型

由于不同的金融實(shí)體采用的情感表達(dá)有可能不同,并且一個(gè)句子還有可能包含多個(gè)實(shí)體,例如,“現(xiàn)如今網(wǎng)絡(luò)借貸平臺(tái)很多,京東金融深受用戶喜愛,而錢寶網(wǎng)、雅堂金融、唐小僧以及聯(lián)璧金融被業(yè)內(nèi)稱為四大高返平臺(tái),在唐小僧之前,錢寶網(wǎng)及雅堂金融已經(jīng)爆雷?！?該例子中涉及多個(gè)金融實(shí)體,包括京東金融、錢寶網(wǎng)、雅堂金融、唐小僧、聯(lián)璧金融,它們所在句子的情感表達(dá)有所不同,其情感極性也不盡相同。因此,實(shí)體所在句子對(duì)實(shí)體情感極性判別具有重要的指導(dǎo)作用,為此,本文將實(shí)體融入句子的表示中,建立兩者的交互表示,在此基礎(chǔ)上,利用雙圖卷積網(wǎng)絡(luò)對(duì)其進(jìn)一步深層表示,從而建立金融實(shí)體情感極性的判別模型。該模型總體框架包含四部分: 融入實(shí)體的句子嵌入表示、實(shí)體與句子交互表示、雙圖卷積網(wǎng)絡(luò)的句子深層表示、實(shí)體情感極性預(yù)測(cè)。總體模型框架如圖1所示。

3.1 融入實(shí)體的句子嵌入表示

RoBERTa-wwm-ext[6]是利用大量文本語料訓(xùn)練得到的一個(gè)預(yù)訓(xùn)練模型,可以生成序列的字向量。金融實(shí)體的專名較多,需要字向量的支持,因此,本文將金融實(shí)體情感極性識(shí)別任務(wù)的輸入設(shè)計(jì)為融入實(shí)體的句子,即將句子s與給定實(shí)體a進(jìn)行連接,作為RoBERTa-wwm-ext(RoBERTa)的輸入“[CLS]句子[SEP]實(shí)體[SEP]”,從而分別獲得句子字級(jí)嵌入表示H∈R(m+n+3)×d、實(shí)體字級(jí)嵌入表示Ha∈Rm×d和句子嵌入表示Hpool∈R1×d。其中,m和n分別是實(shí)體中字的個(gè)數(shù)和句子中字的個(gè)數(shù)。

3.2 實(shí)體與句子交互表示

為了進(jìn)一步刻畫實(shí)體與句子的關(guān)聯(lián)關(guān)系,本文采用多頭注意力機(jī)制[18]對(duì)實(shí)體字級(jí)嵌入表示和句子字級(jí)嵌入表示進(jìn)行交互表示。將實(shí)體作為注意力機(jī)制Query,句子作為注意力機(jī)制Key和Value,第i個(gè)頭注意力的句子表示如式(1)所示。

(1)

通過h個(gè)頭注意力的句子表示Hs如式(2)所示。

Hs=MultiHead(Q,K,V)

=Concat(head1,…,headh)WO

(2)

3.3 雙圖卷積網(wǎng)絡(luò)的句子嵌入表示

受文獻(xiàn)[16]的啟發(fā),依存語法和上下文語義均有利于金融實(shí)體的情感識(shí)別,為此,本文在實(shí)體與句子的交互表示的基礎(chǔ)上,利用SynGCN和SemGCN對(duì)句子進(jìn)行深層表示。

將句子表示向量Hs∈Rn×d作為語法圖和語義圖的初始結(jié)點(diǎn)表示,將依存句法解析器[19]的所有依賴弧的概率矩陣Msyn∈Rn×n作為SynGCN中邊的初始輸入。將自注意機(jī)制獲得句子中每個(gè)詞的注意力得分矩陣Msem∈Rn×n作為SemGCN中邊的初始輸入,具體計(jì)算如式(3)所示。

(3)

其中,WQ∈Rd×d和WK∈Rd×d表示可學(xué)習(xí)的參數(shù)矩陣,d表示輸入結(jié)點(diǎn)維度,自注意力頭數(shù)為1。利用SynGCN和SemGCN,分別得到網(wǎng)絡(luò)的第l層的第i個(gè)結(jié)點(diǎn)的隱層向量表示如式(4)、式(5)所示。

基于SynGCN和SemGCN的句子表示分別如下:

為了提升模型對(duì)實(shí)體情感極性識(shí)別的性能,本文引入了正交正則化因子和差分正則化因子。正交正則化的目的是讓句子中每個(gè)詞的注意力得分向量保持正交性,差分正則化的目的是學(xué)習(xí)SynGCN模塊和SemGCN模塊的差異特征。正交正則化因子Lort和差分正則化因子Ldif計(jì)算分別如式(6)、式(7)所示。

(6)

(7)

其中,I表示單位矩陣,下標(biāo)F表示Frobenius范數(shù)。

其中,W1和W2表示可訓(xùn)練參數(shù)。

利用包含實(shí)體的句子表示的式(8)和式(9),可以得到實(shí)體的句法和語義深層表示分別如式(10)、式(11)所示。

3.4 實(shí)體情感極性預(yù)測(cè)

池化操作如式(12)～式(14)所示。

其中,f(·)為池化函數(shù)。

連接操作后實(shí)體特征表示x,如式(15)所示。

(15)

對(duì)于實(shí)體表示x,將其輸入到線性層,再通過softmax函數(shù)獲得實(shí)體x情感極性概率,計(jì)算如式(16)所示。

(16)

其中,Wp和bp表示可學(xué)習(xí)的權(quán)重和偏置。

本文所提模型的最終損失由標(biāo)準(zhǔn)交叉熵Lcro、正交正則化子Lort、差分正則化子Ldif、其他參數(shù)θ損失之和確定。

(17)

其中,λ1,λ2,λ3表示正則化系數(shù),θ表示所有可訓(xùn)練模型參數(shù),Lcro表示標(biāo)準(zhǔn)交叉熵?fù)p失,計(jì)算如式(18)所示。

(18)

4 實(shí)驗(yàn)

為了驗(yàn)證本文提出的模型對(duì)金融實(shí)體情感極性判別的有效性,神經(jīng)網(wǎng)絡(luò)模型采用PyTorch深度學(xué)習(xí)框架編寫,運(yùn)行環(huán)境為Python 3.6.9。

4.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

采用第2節(jié)構(gòu)建的金融領(lǐng)域?qū)嶓w情感分析數(shù)據(jù)集,評(píng)價(jià)指標(biāo)為準(zhǔn)確率(Acc)和宏平均F1值(Ma-F1)。數(shù)據(jù)集中訓(xùn)練集、驗(yàn)證集和測(cè)試集的比例為8∶1∶1,統(tǒng)計(jì)情況如表3所示。

表3 數(shù)據(jù)集統(tǒng)計(jì)

4.2 對(duì)比模型

由于實(shí)體級(jí)情感分析方法較少,為了驗(yàn)證本文所提出方法的有效性,選擇以下與實(shí)體級(jí)情感分析相關(guān)的八種方面級(jí)情感分析方法進(jìn)行對(duì)比實(shí)驗(yàn)。

(1)ATAE-LSTM[9]: 利用LSTM對(duì)給定的句子和方面進(jìn)行編碼,再利用注意力機(jī)制對(duì)LSTM隱藏層輸出加權(quán)求和,獲得關(guān)注方面的特征。

(2)IAN[10]: 利用LSTM對(duì)句子和方面進(jìn)行編碼,再利用注意力機(jī)制對(duì)它們進(jìn)行交互學(xué)習(xí),獲得交互信息特征。

(3)TD-LSTM[7]: 利用兩個(gè)LSTM分別對(duì)方面與其左邊的句子、方面與其右邊的句子進(jìn)行編碼,預(yù)測(cè)方面的情感極性。

(4)TC-LSTM[7]: 利用兩個(gè)LSTM分別對(duì)方面與其左邊的句子、方面與其右邊的句子進(jìn)行編碼,并且拼接方面的向量表示,預(yù)測(cè)方面的情感極性。

(5)MemNet[20]: 多次利用注意力機(jī)制計(jì)算句子中每個(gè)詞和方面之間的得分,獲得與方面相關(guān)的特征。

(6)AOA[21]: 利用交叉注意力模塊,計(jì)算句子到方面和方面到句子之間的注意力權(quán)重。

(7)BERT-SPC[22]: 將句子和方面分別輸入到BERT預(yù)訓(xùn)練模型中,獲取各自的語義表示。

(8)DualGCN[16]: 利用雙圖卷積網(wǎng)絡(luò),獲得句子的句法和語義表示。

4.3 實(shí)驗(yàn)設(shè)置

本文模型利用RoBERTa對(duì)融合實(shí)體的句子進(jìn)行編碼,隱層向量維度為768,優(yōu)化器采用Adam。對(duì)于ATAE-LSTM,IAN,TD-LSTM,TC-LSTM,MemNet和AOA比較模型,本文利用已經(jīng)訓(xùn)練好的金融中文詞向量[23]進(jìn)行編碼, 隱層向量維度為300。全部模型的實(shí)驗(yàn)參數(shù)設(shè)置如表4所示。

表4 參數(shù)設(shè)置

4.4 比較實(shí)驗(yàn)結(jié)果與分析

利用4.2節(jié)中介紹的八種比較方法與本文方法在第4.1節(jié)介紹的數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表5所示。

表5 九種不同方法之間的比較實(shí)驗(yàn)結(jié)果

從表5可以看出:

(1) 本文提出的ASynSemGCN方法在Acc和Ma-F1值上均優(yōu)于其他對(duì)比方法,說明本文方法對(duì)金融領(lǐng)域?qū)嶓w情感可以進(jìn)行有效判別,同時(shí)也說明在金融領(lǐng)域中句子對(duì)判別實(shí)體情感的極性起到重要的作用。

(2) 基于RoBERTa詞向量的方法與基于Word2Vec向量的方法相比,其性能更好。這是由于RoBERTa是一種動(dòng)態(tài)的詞向量表示方法,該方法可以動(dòng)態(tài)地根據(jù)所給詞上下文生成詞向量,另外, RoBERTa詞向量維度為768維,可以包含更豐富的語義知識(shí),而基于Word2Vec詞向量的維度僅為300維,遠(yuǎn)低于RoBERTa,而且每個(gè)詞的詞向量都是固定的,不能根據(jù)詞的上下文來動(dòng)態(tài)生成。

(3) 本文方法和DualGCN-RoBERTa方法進(jìn)行對(duì)比,在Acc和Ma-F1值上分別提升了1.56和1.81個(gè)百分點(diǎn),說明了實(shí)體和句子之間注意力機(jī)制有利于捕獲實(shí)體和句子間的情感交互信息。此外進(jìn)一步實(shí)體字級(jí)嵌入表示信息的引入,也有利于增強(qiáng)不同實(shí)體對(duì)其情感極性的指導(dǎo)作用,進(jìn)而提升整體實(shí)體情感識(shí)別的性能。

4.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出模型的各個(gè)部件的性能,本節(jié)進(jìn)行消融實(shí)驗(yàn)。

DualGCN-RoBERTa: 在ASynSemGCN模型的基礎(chǔ)上,去除實(shí)體和句子間注意力機(jī)制和實(shí)體字級(jí)嵌入表示。

-attention: 在ASynSemGCN模型的基礎(chǔ)上,僅去除實(shí)體和句子間注意力機(jī)制。

-entity: 在ASynSemGCN模型的基礎(chǔ)上,僅去除實(shí)體字級(jí)嵌入表示。

-SemGCN: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語義的圖卷積網(wǎng)絡(luò)。

-SynGCN: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語法的圖卷積網(wǎng)絡(luò)。

-mutual: 在ASynSemGCN模型的基礎(chǔ)上,僅去除基于語法和基于語義的圖卷積網(wǎng)絡(luò)之間的交互模塊。

-pooled_output: 在ASynSemGCN模型的基礎(chǔ)上,僅去除句子的嵌入表示。

模型消融在金融領(lǐng)域?qū)嶓w情感分析數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果如表6所示。

表6 模型消融實(shí)驗(yàn)結(jié)果

由表6實(shí)驗(yàn)結(jié)果可以看出:

(1) 去除任一模塊,金融實(shí)體情感判別的Acc和Ma-F1指標(biāo)均會(huì)下降,說明所有模塊均有利于判別金融實(shí)體情感的極性。

(2) -attention方法和-entity方法,實(shí)體情感識(shí)別的Acc和Ma-F1相比本文的方法都下降了,說明交互注意力機(jī)制可以增強(qiáng)實(shí)體和句子間的信息交互表示,實(shí)體字級(jí)嵌入表示可以增強(qiáng)實(shí)體情感語義表示。

(3) -SemGCN和-SynGCN兩個(gè),相比于本文方法的實(shí)體情感識(shí)別的Acc和Ma-F1均有下降,說明SemGCN利用自注意力機(jī)制后獲得了注意力矩陣,可以捕獲句子中每個(gè)詞的語義信息,而豐富句子的語法知識(shí),增強(qiáng)實(shí)體和句子之間的關(guān)聯(lián),但是-SemGCN比-SynGCN下降更多,說明數(shù)據(jù)的語義信息比句法結(jié)構(gòu)更重要,這也驗(yàn)證了金融數(shù)據(jù)的實(shí)體情感表達(dá)更多是隱式表述,結(jié)構(gòu)性不強(qiáng)。

(4) -mutual方法和-pooled_output方法,相比于其他模塊,它們的實(shí)體情感識(shí)別的Acc和Ma-F1下降是最為明顯的,說明一方面在得到SemGCN和SynGCN表示后,對(duì)二者進(jìn)行交互可以充分融合句子語法和語義的信息表示,另一方面,實(shí)體所在句子不同,對(duì)實(shí)體情感極性判別指導(dǎo)作用不同,引入句子嵌入表示可以進(jìn)一步增強(qiáng)實(shí)體的情感語義表示。

4.6 注意力頭數(shù)對(duì)實(shí)體情感識(shí)別的影響

為了驗(yàn)證實(shí)體和句子之間信息交互的注意力頭數(shù)對(duì)金融實(shí)體情感極性識(shí)別的影響,本節(jié)針對(duì)不同注意力頭數(shù)進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表7所示。

表7 不同注意力頭數(shù)的實(shí)驗(yàn)結(jié)果比較

由表7實(shí)驗(yàn)結(jié)果可以看出,當(dāng)注意力的頭數(shù)為4時(shí),本文提出的模型判別金融實(shí)體情感性能達(dá)到最優(yōu)。當(dāng)頭數(shù)為3和6時(shí),模型性能會(huì)急劇下降,說明模型的頭數(shù)并不是越多越好,而是當(dāng)模型性能達(dá)到較好的效果后,增加頭數(shù)反而會(huì)降低模型的性能。

4.7 圖卷積層數(shù)對(duì)實(shí)體情感識(shí)別的影響

為了驗(yàn)證不同圖卷積網(wǎng)絡(luò)層數(shù)對(duì)金融實(shí)體情感判別性能的影響,將選擇層數(shù)1到層數(shù)4進(jìn)行對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表8所示。

表8 不同圖卷積網(wǎng)絡(luò)層數(shù)的實(shí)驗(yàn)結(jié)果比較

由表8實(shí)驗(yàn)結(jié)果可以看出,當(dāng)圖卷積網(wǎng)絡(luò)層數(shù)為3時(shí),本文提出模型的判別金融實(shí)體情感的Acc最高,性能達(dá)到最優(yōu)。相比于圖卷積網(wǎng)絡(luò)層數(shù)為4時(shí)模型,即使Ma-F1指標(biāo)略微有所下降,但是模型的復(fù)雜度有較大的降低,因此,本文所有實(shí)驗(yàn)均采用了3層圖卷積網(wǎng)絡(luò)。

4.8 實(shí)例可視化的分析

為了探究ASynSemGCN模型中注意力機(jī)制所關(guān)注的內(nèi)容,本文對(duì)句子1～3的注意力權(quán)重進(jìn)行了可視化,顏色越深,代表詞在句子中越重要,如表9所示。

表9 注意力機(jī)制可視化表

由表9可以看出,通過ASynSemGCN模型標(biāo)注句子1的極性正確,句子2和句子3標(biāo)注錯(cuò)誤。

從可視化結(jié)果可以看出,句子1中對(duì)于“京東金融”和“錢寶網(wǎng)”兩個(gè)實(shí)體,模型對(duì)“用戶喜愛”、“網(wǎng)絡(luò)借貸”“高返平臺(tái)”“爆雷”等詞匯顏色最深,因此,可以正確判斷“京東金融”實(shí)體情感極性為正面,“錢寶網(wǎng)”實(shí)體的情感極性為負(fù)面。而句子2和句子3,針對(duì)“京東金融”和“微時(shí)貸”兩個(gè)實(shí)體,模型關(guān)注句子中詞匯較為均勻,沒有重點(diǎn)強(qiáng)調(diào)信息,因此,錯(cuò)誤判斷情感極性為中性。說明模型在面對(duì)較短長(zhǎng)度的金融文本時(shí),缺乏對(duì)文本進(jìn)行深入分析的能力,之后將針對(duì)這一問題嘗試引入常識(shí)庫來增加句子外部知識(shí),以提高情感極性判別準(zhǔn)確率。

5 結(jié)束語

本文構(gòu)建了一個(gè)金融實(shí)體情感分析數(shù)據(jù)集,并提出了一種基于交互注意力的雙圖卷積網(wǎng)絡(luò)的金融實(shí)體情感極性識(shí)別方法(ASynSemGCN)。該方法首先利用預(yù)訓(xùn)練模型RoBERTa-wwm-ext,結(jié)合實(shí)體對(duì)句子進(jìn)行初始表示,并且利用多頭注意力機(jī)制獲取實(shí)體和句子之間的交互信息,提升了實(shí)體和句子之間的語義關(guān)聯(lián)程度。通過基于語法的圖卷積網(wǎng)絡(luò)(SynGCN)和基于語義的圖卷積網(wǎng)絡(luò)(SemGCN)分別獲得句子的句法和語義的深層表示。最后,將實(shí)體的深層表示、實(shí)體字級(jí)嵌入表示以及句子嵌入表示拼接,再通過全連接層獲得最終實(shí)體的情感極性。在未來的研究工作中,我們將引入金融常識(shí)庫豐富句子語義信息,進(jìn)一步提升金融實(shí)體的情感極性判別的準(zhǔn)確率。