高盛祥,熊 琨,余正濤,張 磊, 黃于欣

(1.昆明理工大學(xué) 信息工程與自動(dòng)化學(xué)院,昆明 650500;2.昆明理工大學(xué) 云南省人工智能重點(diǎn)實(shí)驗(yàn)室,昆明 650500)

0 引 言

因果關(guān)系識(shí)別是自然語(yǔ)言處理(natural language processing,NLP)的重要主題之一,其目標(biāo)是識(shí)別出自然語(yǔ)言文本之間的因果關(guān)聯(lián)信息。從漢越相關(guān)新聞文本中判斷出新聞事件間的因果關(guān)聯(lián)關(guān)系,能夠幫助人們了解局勢(shì)的變化,把握漢越動(dòng)態(tài)并及時(shí)應(yīng)對(duì),支撐相關(guān)交流及合作。

因果關(guān)系屬于深層語(yǔ)義問(wèn)題,通過(guò)跨語(yǔ)言建模因果關(guān)系的方法,超出了傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)模型的淺層語(yǔ)義理解范疇,這導(dǎo)致漢越跨語(yǔ)言文本之間的相關(guān)性計(jì)算難度較大。文獻(xiàn)[4]提出新聞事件句對(duì)類(lèi)型的轉(zhuǎn)變對(duì)因果關(guān)系有一定的約束作用,這是因?yàn)闈h越雙語(yǔ)新聞事件句對(duì)之間的因果關(guān)系通常依賴(lài)于事件句對(duì)之間隱含的深層次因果語(yǔ)義信息。

針對(duì)以上問(wèn)題,本文通過(guò)跨語(yǔ)言訓(xùn)練以統(tǒng)一跨漢越語(yǔ)言的文本語(yǔ)義空間,然后使用樹(shù)形長(zhǎng)短期記憶網(wǎng)絡(luò)(Tree-LSTM)處理得到更多的無(wú)關(guān)漢越句法的相似語(yǔ)義特征向量,最后建立注意力機(jī)制挖掘含因果邏輯的事件類(lèi)型相關(guān)性約束,提出了基于類(lèi)型矩陣轉(zhuǎn)移的漢越新聞事件因果關(guān)系識(shí)別方法。

1 相關(guān)工作

事件因果關(guān)系抽取可以依據(jù)語(yǔ)言類(lèi)型分為2類(lèi):①基于單語(yǔ)的因果關(guān)系抽取的方法,這類(lèi)方法不存在語(yǔ)義空間不統(tǒng)一的情況;②基于跨語(yǔ)言的因果關(guān)系識(shí)別的方法,這類(lèi)方法通常是在富資源文本中進(jìn)行識(shí)別抽取。

因果關(guān)系的研究工作在單語(yǔ)言方面主要可以分為以下3類(lèi)方法:基于規(guī)則的方法;基于機(jī)器學(xué)習(xí)的方法;基于深度學(xué)習(xí)的方法。基于規(guī)則的方法[5-6],它是利用語(yǔ)言學(xué)上的規(guī)則知識(shí)構(gòu)建模式匹配約束進(jìn)行因果關(guān)系的推斷,包括語(yǔ)法時(shí)態(tài)、修辭手法、語(yǔ)義特征、詞匯符號(hào)特征等方面定義好規(guī)則模板。這類(lèi)方法的缺點(diǎn)是由于自然語(yǔ)言語(yǔ)義表達(dá)包括詞匯、形態(tài)和句法等的變化靈活性,無(wú)法將因果關(guān)系的語(yǔ)言模式都窮盡,因而其準(zhǔn)確性和召回率較低?；跈C(jī)器學(xué)習(xí)的方法[7-9]從大量的標(biāo)注數(shù)據(jù)中自動(dòng)提取有用特征,并推斷因果關(guān)系。然而由于其特征是針對(duì)特定的模式和領(lǐng)域進(jìn)行設(shè)計(jì)的,該類(lèi)方法移植性較差且設(shè)計(jì)耗時(shí)等原因,在越南語(yǔ)上可用性極低。

隨著深度學(xué)習(xí)的流行,研究人員開(kāi)始使用基于深度神經(jīng)網(wǎng)絡(luò)的方法。基于深度學(xué)習(xí)的方法搭建數(shù)層隱含層來(lái)學(xué)習(xí)文本表示,具有強(qiáng)大的學(xué)習(xí)表征能力,不再限制于淺層特征且無(wú)須復(fù)雜的特征工程就可以直接捕捉文本深層次的隱含語(yǔ)義特征,因此,近年來(lái)因果任務(wù)多使用采用深度神經(jīng)網(wǎng)絡(luò)的模型。Nguyen等[10]使用卷積神經(jīng)網(wǎng)絡(luò)從句子中自動(dòng)提取特征進(jìn)行關(guān)系分析。Santos等[11]重新選擇了一種新的損失函數(shù)使用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)關(guān)系分類(lèi)。Li等[12]提出了一種面向知識(shí)的卷積神經(jīng)網(wǎng)絡(luò)提取因果關(guān)系。Li等[13]基于一種新的因果關(guān)系標(biāo)記方案將因果關(guān)系抽取表述為一個(gè)序列標(biāo)記問(wèn)題,提出一種神經(jīng)因果關(guān)系提取模型(SCITE)。

新聞事件因果關(guān)系的研究在漢、英等富資源語(yǔ)言平臺(tái)下環(huán)境下進(jìn)行,研究已經(jīng)趨于成熟,并取得了不錯(cuò)的成果[14-16]。Zhao等[17]提出了一種新的限制隱藏樸素貝葉斯模型來(lái)從文本中提取因果關(guān)系,優(yōu)點(diǎn)在于能夠處理特征之間的部分交互,從而避免了模型的過(guò)擬合問(wèn)題。Dasgupta等[18]提出了一種基于語(yǔ)言學(xué)的遞歸神經(jīng)網(wǎng)絡(luò)架構(gòu),能自動(dòng)從文本中提取因果關(guān)系。這些方法的前提是此類(lèi)語(yǔ)料較為豐富,通過(guò)大量的跨語(yǔ)言富資源語(yǔ)料文本,可以嫁接起跨語(yǔ)言文本之間的語(yǔ)義鴻溝。

2 漢越跨語(yǔ)言新聞事件因果關(guān)系識(shí)別模型

本文模型由3部分構(gòu)成:基于雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-LSTM)提取漢越文本語(yǔ)義特征的漢越聯(lián)合編碼器F;結(jié)構(gòu)化特征提取器C和結(jié)合文本特征;文本結(jié)構(gòu)特征和文本事件類(lèi)型特征的Attention層。此模型如圖1所示。

圖1 基于事件類(lèi)型轉(zhuǎn)移注意力的因果關(guān)系識(shí)別模型Fig.1 Causal relationship identification model based on event type diversion

模型使用F模塊作為漢越跨語(yǔ)言的主要特征提取層,將左右文本中單詞嵌入F,獲得左右2個(gè)文本最終的隱藏狀態(tài)HL、HR。其中,使用Bi-LSTM對(duì)輸入的漢越詞嵌入向量提取特征,輸出2個(gè)方向的隱藏狀態(tài)向量序列,越南語(yǔ)和漢語(yǔ)都存在與之相反的序列,不同于主流的正逆序列拼接再計(jì)算,注意力機(jī)制將分別依據(jù)2個(gè)事件類(lèi)型嵌入矩陣對(duì)2個(gè)方向的隱藏狀態(tài)序列計(jì)算注意力權(quán)重,減小2種語(yǔ)言的差異。使用Tree-LSTM網(wǎng)絡(luò)作為語(yǔ)義增強(qiáng)的特征提取層, 在提取句子特征時(shí)按照句子的句法結(jié)構(gòu),利用語(yǔ)法信息增加模型的分類(lèi)能力。將文本L和文本R中所有的單詞表示成漢越跨語(yǔ)言詞向量,然后將句對(duì)文本對(duì)特征進(jìn)行結(jié)構(gòu)化表示,使用Tree-LSTM網(wǎng)絡(luò)計(jì)算根節(jié)點(diǎn)的隱藏狀態(tài)htree-L、htree-R。文獻(xiàn)[19]的方法計(jì)算左右文本的基于句法的相似度信息向量hs。

h×=htree-L·htree-R

(1)

h+=|htree-L-htree-R|

(2)

hs=σ(W(×)·h×+W(+)·h++b(h))

(3)

(3)式中:W(×)、W(+)為對(duì)應(yīng)的權(quán)重參數(shù);b(h)為偏置項(xiàng)。

針對(duì)漢越的新聞事件句對(duì),利用新聞事件的文本事件類(lèi)型到另一新聞事件的文本事件類(lèi)型這一轉(zhuǎn)變過(guò)程,建立注意力機(jī)制。在漢越跨語(yǔ)言的新聞事件因果關(guān)系分析中,該注意力機(jī)制充分考慮到一條新聞事件文本在與另一條新聞事件文本存在因果關(guān)聯(lián)時(shí)的事件類(lèi)型的轉(zhuǎn)換知識(shí)。模型在處理漢越雙語(yǔ)事件句對(duì)時(shí),針對(duì)事件類(lèi)型建立注意力機(jī)制,為當(dāng)前句子融入事件類(lèi)型轉(zhuǎn)移相關(guān)的因果邏輯信息。同時(shí),整合Bi-LSTM提取的線性序列語(yǔ)義和Tree-LSTM提取的句法樹(shù)信息,就更容易對(duì)長(zhǎng)距離節(jié)點(diǎn)之間的語(yǔ)義搭配關(guān)系進(jìn)行學(xué)習(xí)。

給定左邊漢越新聞文本詞嵌入序列的隱藏狀態(tài)向量輸出矩陣HL,其中,hL,k為第k個(gè)隱藏狀態(tài)向量,HR、hR,k同理。

(4)

(5)

α=softmax(Wα[ββ′])

(6)

(6)式中:Wα(Wα∈R2d*2d)為β、β′相互融合的權(quán)重參數(shù)矩陣;α(αi∈Rn)為注意力機(jī)制的權(quán)重向量。αi的值決定了對(duì)應(yīng)新聞文本詞嵌入序列的第i個(gè)詞的隱藏狀態(tài)向量hL,k能保留多少信息。所以,α剔除了序列中模型認(rèn)為不重要的部分,篩選并保留對(duì)最終損失函數(shù)有利的信息。

基于事件類(lèi)型轉(zhuǎn)移的因果交互注意力機(jī)制下,注意力權(quán)重α加權(quán)得到的因果事件類(lèi)型轉(zhuǎn)移邏輯相關(guān)的語(yǔ)義特征向量為

S=αHL+[Wαα]HR

(7)

模型將上述得到的向量經(jīng)過(guò)平均池化(average pooling,ave)和最大池化(max pooling,max),轉(zhuǎn)換為固定長(zhǎng)度的向量V,計(jì)算式為

(8)

vs,max=maxSi,i=1,2,…,s

(9)

V=[vs,ave;vs,max]

(10)

將V輸入最終的多層感知器(MLP)分類(lèi)器以確定最終的因果關(guān)系。實(shí)驗(yàn)中,MLP是tanh激活和softmax輸出層,若代價(jià)函數(shù)為J(w,b),則因果關(guān)系概率p可由下式求得

y=softmax(WV+b)

(11)

p(y|P)=softmax(WV+b)

(12)

2.1 基于Bi-LSTM的漢越聯(lián)合編碼器F

本文參照文獻(xiàn)[4]中的方法訓(xùn)練漢越聯(lián)合編碼器F。F旨在學(xué)習(xí)跨語(yǔ)言提取漢越詞嵌入向量的特征,并抑制語(yǔ)言鑒別器Q,而訓(xùn)練有素的Q無(wú)法分辨出F提取特征的語(yǔ)種,這個(gè)特征可以看作是語(yǔ)種無(wú)關(guān)而事件類(lèi)型相關(guān)的。在F和Q之間有一個(gè)梯度反轉(zhuǎn)層,使F的參數(shù)在Q中都參與梯度更新。Q試圖為漢語(yǔ)輸出更高的分?jǐn)?shù),為越南語(yǔ)輸出更低的分?jǐn)?shù),因此,Q是對(duì)抗性的。訓(xùn)練F的模型如圖2所示。

圖2 基于漢越語(yǔ)言鑒別器的跨語(yǔ)言對(duì)抗訓(xùn)練Fig.2 Cross-language adversarial training based on Chinese-Vietnamese language discriminator

(13)

(14)

(15)

(16)

2.2 結(jié)構(gòu)化特征提取器C

Tree-LSTM在樹(shù)結(jié)構(gòu)上遞歸,但依然保留了LSTM的遺忘機(jī)制,可篩選出句法結(jié)構(gòu)中對(duì)結(jié)果有用的子樹(shù),剔除僅僅是一些可能沒(méi)有語(yǔ)言學(xué)意義的子序列,從而更容易對(duì)長(zhǎng)距離節(jié)點(diǎn)之間的語(yǔ)義搭配關(guān)系進(jìn)行學(xué)習(xí),以取得更好的分類(lèi)性能。

采用中文哈工大的LTP工具和越南語(yǔ)開(kāi)源句法分析工具VnCore NLP來(lái)構(gòu)建句法關(guān)系,漢越例句的句法表示如圖3所示。

圖3 越南語(yǔ)與中文例句句法圖Fig.3 Syntax diagram of Vietnamese and Chinese example sentences

圖3中,詞性標(biāo)簽用于輔助語(yǔ)義表示,如表1所示。

表1 句法關(guān)系標(biāo)簽

語(yǔ)法解析信息有助于模型獲取信息之間的交互關(guān)系,得到句法關(guān)系以后,將漢越句子的句法樹(shù)輸入Tree-LSTM,Tree-LSTM模型只在根節(jié)點(diǎn)上受到Label的監(jiān)督。Tree-LSTM子節(jié)點(diǎn)的狀態(tài)會(huì)不斷累加,給定一個(gè)Tree,對(duì)于節(jié)點(diǎn)j,cj表示其子節(jié)點(diǎn)的集合, Tree-LSTM的公式為

(17)

(18)

(19)

(20)

(21)

hj=oj⊙tanh(cj)

(22)

(17)—(22)式中:σ代表sigmoid函數(shù)符號(hào);b是偏置項(xiàng);U為子節(jié)點(diǎn)隱含值的權(quán)重;l表示第k個(gè)子節(jié)點(diǎn)的第l個(gè)子節(jié)點(diǎn);W表示不同單元內(nèi)的權(quán)重;⊙表示對(duì)應(yīng)元素相乘,模型中的任意一單元的子節(jié)點(diǎn)采用不同的參數(shù)矩陣。

當(dāng)輸入是一個(gè)語(yǔ)義重要的詞時(shí),參數(shù)W( j)下的輸入門(mén)ij接近于1;而當(dāng)輸入是一個(gè)語(yǔ)義相對(duì)不重要的詞時(shí),輸入門(mén)ij接近于0。Tree-LSTM中第j個(gè)節(jié)點(diǎn)包含記憶單元cj、隱藏單元hj、輸入門(mén)ij和輸出門(mén)oj。Tree-LSTM根據(jù)語(yǔ)法分析樹(shù)結(jié)構(gòu)構(gòu)建,每個(gè)節(jié)點(diǎn)依賴(lài)其他多個(gè)葉節(jié)點(diǎn)。

對(duì)于任意一個(gè)子節(jié)點(diǎn)k,其父節(jié)點(diǎn)j都有一個(gè)對(duì)應(yīng)的遺忘門(mén)fjk。Tree-LSTM網(wǎng)絡(luò)經(jīng)過(guò)逐級(jí)計(jì)算將樹(shù)根節(jié)點(diǎn)的隱含輸出作為句子的向量表示。

2.3 事件類(lèi)型轉(zhuǎn)移

從自然語(yǔ)言的因果關(guān)系中,可以發(fā)現(xiàn)事件類(lèi)型對(duì)因果關(guān)系模型的約束作用。如果事件e1是因事件,事件e2是由事件e1造成或引起的果事件,那么事件e1和e2之間除了語(yǔ)義關(guān)聯(lián)外還會(huì)存在不對(duì)稱(chēng)性。因?yàn)槭录1和e2是時(shí)間流水上的某些一連串動(dòng)作,所以存在先后之分。因事件必須發(fā)生在果事件之前,由事件e1導(dǎo)致了e2,即e1到e2存在一個(gè)時(shí)間的指向性,如表2所示。

表2 部分事件類(lèi)型對(duì)因果關(guān)系的影響

同時(shí),e1和e2作為事件也存在一個(gè)事件本身的指向性,表2中,訪問(wèn)事件極有可能引起經(jīng)濟(jì)上升事件,但與疾病、爭(zhēng)端沖突無(wú)關(guān);災(zāi)害事件極有可能引起經(jīng)濟(jì)的衰退下降、疾病發(fā)生等事件。依此,推斷由因到果的關(guān)系指向包含了一種事件類(lèi)型到另一種類(lèi)型的轉(zhuǎn)變,通過(guò)檢測(cè)到的事件類(lèi)型等信息,使因果關(guān)系分析模型更好地利用事件類(lèi)型轉(zhuǎn)移分析因果關(guān)聯(lián)關(guān)系。

表2中,“↑”表示引起;“↓”表示被引起;“”表示無(wú)關(guān)項(xiàng)。觀察表2,含有訪問(wèn)事件類(lèi)型的新聞文本與另一含交易事件類(lèi)型的新聞文本存在因果關(guān)系,外交訪問(wèn)易導(dǎo)致雙方經(jīng)濟(jì)貿(mào)易的上升,前者為因,后者為果,不可顛倒。

構(gòu)建由訪問(wèn)事件類(lèi)型到交易事件類(lèi)型的轉(zhuǎn)移矩陣,該矩陣預(yù)先定義的訪問(wèn)事件類(lèi)型矩陣與交易事件類(lèi)型矩陣通過(guò)矩陣運(yùn)算得到。每個(gè)事件類(lèi)型轉(zhuǎn)移矩陣,都代表了從一種事件類(lèi)型轉(zhuǎn)移到另一種事件類(lèi)型的某種因果邏輯信息,包含與當(dāng)前事件句對(duì)可能存在的前因后果事件指向性。這使得模型在識(shí)別事件句對(duì)的因果關(guān)系中能夠考慮到一條新聞事件文本在與另一條新聞事件文本存在因果關(guān)聯(lián)時(shí),所蘊(yùn)含的事件類(lèi)型的轉(zhuǎn)換知識(shí)。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集介紹

1)語(yǔ)種對(duì)抗訓(xùn)練。在中國(guó)和越南新聞網(wǎng)站基于相似主題和板塊爬取大量的漢越可比語(yǔ)料。漢語(yǔ)數(shù)據(jù)約21萬(wàn)條和越南語(yǔ)數(shù)據(jù)約11萬(wàn)條用于語(yǔ)言對(duì)抗訓(xùn)練。

2)漢越因果識(shí)別。漢越跨語(yǔ)言新聞數(shù)據(jù)集含有10個(gè)標(biāo)簽(9種預(yù)設(shè)事件類(lèi)型和1種其他)下的44 612條短文本事件句,其中,含因果關(guān)系的有24 528條,其余被視為不存在因果關(guān)系,作為訓(xùn)練集,2 736對(duì)因果事件作測(cè)試集,如圖4所示。預(yù)設(shè)事件類(lèi)型分別為訪問(wèn)(Visit)、會(huì)晤(Meet)、社會(huì)(Contact)、經(jīng)濟(jì)(Economic)、改革(Change)、交易(Transaction)、沖突(Conflict)、流行病(Epidemic)、災(zāi)難(Disaster)。

圖4 漢越新聞?wù)Z料統(tǒng)計(jì)Fig.4 Statistics of Chinese-Vietnamese news corpus

3.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)配置為window10、Python3.7、Pytorch0.4.0。Bi-LSTM網(wǎng)絡(luò)權(quán)重值的初始scale為0.05,學(xué)習(xí)率的初始值為1.0,梯度的最大范數(shù)為5,初始學(xué)習(xí)率可訓(xùn)練的epoch數(shù)為6,總共可訓(xùn)練的epoch數(shù)為10,隨機(jī)失活率為50%,學(xué)習(xí)速率的衰減速度為0.8。

Tree-LSTM網(wǎng)絡(luò)在參數(shù)設(shè)置方面, 隱藏層大小為50, 學(xué)習(xí)率為0.05、批尺度為25。模型參數(shù)以L2正則強(qiáng)度為10-4進(jìn)行正則化。為緩解過(guò)擬合現(xiàn)象,引入dropout用于事件檢測(cè)器的全連接層。采用自適應(yīng)矩估計(jì)Adam訓(xùn)練模型進(jìn)行優(yōu)化。

為驗(yàn)證本文方法的有效性,分別采用對(duì)比基線模型實(shí)驗(yàn)、預(yù)訓(xùn)練模塊消融實(shí)驗(yàn)、注意力機(jī)制的對(duì)比實(shí)驗(yàn)、事件類(lèi)型反向訓(xùn)練和句法消融實(shí)驗(yàn)進(jìn)行設(shè)計(jì)驗(yàn)證。

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

準(zhǔn)確率(Precision,P)、召回率(Recall,R)和F1值是因果關(guān)系任務(wù)的常用評(píng)價(jià)指標(biāo)。準(zhǔn)確率是所有的文本中正確檢測(cè)出事件類(lèi)型的比例,召回率是正確檢測(cè)出事件類(lèi)型的占實(shí)際含有事件類(lèi)型的文本的比例,F1是準(zhǔn)確率和召回率的綜合度量值,公式為

(23)

(24)

(25)

(23)—(25)式中:TP是所有含事件的文本中被正確檢測(cè)出數(shù)量;FP是檢測(cè)出事件的文本中錯(cuò)誤的和實(shí)際不含事件的數(shù)量;FN是檢測(cè)出不含事件而實(shí)際含事件的數(shù)量。

3.4 模型對(duì)比實(shí)驗(yàn)

實(shí)驗(yàn)評(píng)估4個(gè)模型,如表3所示。

表3 基線模型對(duì)比實(shí)驗(yàn)結(jié)果

表3中,各模型介紹如下。

Ours:本文提出的基于事件類(lèi)型轉(zhuǎn)移的漢越新聞事件因果關(guān)系識(shí)別模型;

TextCNN:Yoon K等[23]首次將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到文本分類(lèi)任務(wù),能夠較好地捕捉局部相關(guān)性。

BiGRU:BiGRU 是輸出由2個(gè)單向、方向相反 GRU 的狀態(tài)共同決定的神經(jīng)網(wǎng)絡(luò)模型[24],有利于文本深層次特征的提取。

Bi-LSTM-ATT:Zhou等[25]根據(jù)位置特征擴(kuò)充字向量特征,通過(guò)多層注意力機(jī)制,提高LSTM 模型輸入與輸出之間的相關(guān)性。

文本是天然的時(shí)序信息,循環(huán)神經(jīng)網(wǎng)絡(luò)更擅長(zhǎng)捕獲時(shí)序特征,通用的BiGRU網(wǎng)絡(luò)取得59.89%的因果關(guān)系準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)擅長(zhǎng)空間特征的學(xué)習(xí),集中于局部特征,而TextCNN模型較BiGRU提高了0.9百分點(diǎn)的準(zhǔn)確率,這表明TextCNN模型可能適合漢越雙語(yǔ)事件句對(duì)之間找到交互的信息。對(duì)于梯度消失和梯度爆炸有一定緩解。BiLSTM-ATT可以利用上下文相關(guān)信息捕獲句子的語(yǔ)義信息,額外的注意力機(jī)制為不同的特征分配不同權(quán)重,獲得了3.02百分點(diǎn)的準(zhǔn)確率提升。

近日，由全國(guó)打黑辦掛牌督辦的孟慶革等10人黑社會(huì)性質(zhì)組織團(tuán)伙案二審宣判：對(duì)孟慶革以組織、領(lǐng)導(dǎo)黑社會(huì)性質(zhì)組織罪等8項(xiàng)罪名數(shù)罪并罰，判處有期徒刑20年，同時(shí)領(lǐng)刑的還有其前妻、與其同居多年的小姨子，兒子、外甥、舅舅、前妻侄女等一幫手下干將。（2018年7月8日央視報(bào)道）

該場(chǎng)景中,本文模型在3項(xiàng)評(píng)價(jià)指標(biāo)中均取得最優(yōu)值,準(zhǔn)確率比次優(yōu)模型提升2.08百分點(diǎn)。這是因?yàn)锽iLSTM-ATT的注意力機(jī)制沒(méi)有利用事件相關(guān)信息,輸入文本的詞向量之間的權(quán)重分配依據(jù)文本自身;而本文中注意力機(jī)制基于事件類(lèi)型轉(zhuǎn)移整合句子的各部分權(quán)重,獲得不同語(yǔ)言新聞事件之間可能存在的因果關(guān)聯(lián)關(guān)系特征以及樹(shù)形LSTM提取的句法結(jié)構(gòu)化特征,強(qiáng)化了語(yǔ)義建模能力,準(zhǔn)確率達(dá)到了65.89%。這證明本文因果關(guān)系判別模型能夠獲取新聞事件深層次的語(yǔ)義信息,同時(shí)利用更多事件類(lèi)型特征信息判斷因果關(guān)系。

3.5 實(shí)驗(yàn)驗(yàn)證分析

3.5.1 對(duì)抗訓(xùn)練的漢越共享嵌入層對(duì)模型的影響

為了驗(yàn)證預(yù)訓(xùn)練的漢越共享嵌入層對(duì)事件因果的影響,設(shè)計(jì)實(shí)驗(yàn),將漢越共享嵌入層Bi-LSTM的參數(shù)隨機(jī)初始化(模型Ⅰ),實(shí)驗(yàn)結(jié)果如表4所示。

表4 預(yù)訓(xùn)練消融實(shí)驗(yàn)實(shí)驗(yàn)結(jié)果

表4顯示,去除預(yù)訓(xùn)練的參數(shù)塊后,因果關(guān)系的判斷性能在3項(xiàng)指標(biāo)上均出現(xiàn)下滑。這證明通過(guò)語(yǔ)種對(duì)抗訓(xùn)練后的共享特征提取器可以有效地拉近漢越文本表示的距離,對(duì)下游的任務(wù)有較好的提升。

3.5.2 類(lèi)型轉(zhuǎn)換注意力機(jī)制的對(duì)比模型

考慮通過(guò)由因到果的事件類(lèi)型變化來(lái)判斷關(guān)系是否具有起因和結(jié)果無(wú)關(guān)系,設(shè)置沒(méi)有類(lèi)型轉(zhuǎn)換注意力機(jī)制的對(duì)比模型(Ⅱ),實(shí)驗(yàn)結(jié)果如表5所示。

表5 注意力機(jī)制消融實(shí)驗(yàn)結(jié)果

表5表明,不含類(lèi)型轉(zhuǎn)換注意力機(jī)制的情況下,3項(xiàng)指標(biāo)均大幅下降,尤其是準(zhǔn)確率P,明顯不如類(lèi)型轉(zhuǎn)換注意力機(jī)制的模型。這證明,基于因果事件句對(duì)本身的事件類(lèi)型轉(zhuǎn)變信息建立注意力機(jī)制,可以捕獲跨越語(yǔ)言的句子間因果邏輯關(guān)系,使?jié)h越跨語(yǔ)言新聞事件因果關(guān)系識(shí)別模型效果進(jìn)一步得到提升。

3.5.3 因果關(guān)系識(shí)別受正確事件類(lèi)型影響

為了驗(yàn)證模型的因果關(guān)系識(shí)別受到正確的事件類(lèi)型信息的指導(dǎo),設(shè)計(jì)實(shí)驗(yàn),輸入模型的事件句對(duì)A、B,A為B的因事件,B為A的果事件,給模型錯(cuò)誤的事件類(lèi)型標(biāo)簽,也就是使用事件句對(duì)集合輸入漢越跨語(yǔ)言新聞因果關(guān)系模型(Ⅲ)。實(shí)驗(yàn)結(jié)果如表6所示。

表6 事件類(lèi)型調(diào)換對(duì)比實(shí)驗(yàn)結(jié)果

表6表明,即使句對(duì)確實(shí)存在因果關(guān)系,接受錯(cuò)誤事件類(lèi)型標(biāo)簽訓(xùn)練后模型(Ⅲ)的因果關(guān)系識(shí)別各項(xiàng)指標(biāo)也低于接受正確事件類(lèi)型標(biāo)簽的模型。這種差異強(qiáng)化了A和B之間的因果關(guān)聯(lián)信息表征,再次說(shuō)明了正確的事件類(lèi)型標(biāo)簽信息有助于因果關(guān)系的識(shí)別。

3.5.4 樹(shù)結(jié)構(gòu)網(wǎng)絡(luò)對(duì)模型的影響

本文的因果關(guān)系模型可以只基于循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制,在刪除樹(shù)結(jié)構(gòu)網(wǎng)絡(luò)后,重新實(shí)驗(yàn)得到未利用句法信息的因果關(guān)系判斷模型(Ⅳ),對(duì)比結(jié)果如表7所示。

表7 句法消融實(shí)驗(yàn)結(jié)果

表7表明,在刪除樹(shù)結(jié)構(gòu)網(wǎng)絡(luò)后,因果關(guān)系模型只基于Bi-LSTM的特征提取和注意力機(jī)制,因果關(guān)系的判斷性能在準(zhǔn)確率、召回和F1值上均出現(xiàn)下滑,證明不論漢語(yǔ)還是越南語(yǔ)的句法信息都加強(qiáng)了模型對(duì)句子語(yǔ)義的理解能力,有助于模型因果關(guān)系識(shí)別能力的提升。

每個(gè)消融模塊去掉后,F1都明顯下降,這是因?yàn)镕1的值是由準(zhǔn)確率及召回率決定的,部分消融實(shí)驗(yàn)的結(jié)果是準(zhǔn)確率下降較多,召回率下降相對(duì)較少導(dǎo)致的F1值下降,如模型(Ⅱ)、(Ⅲ)結(jié)果所示,部分消融實(shí)驗(yàn)是由于準(zhǔn)確率下降,但召回率下降相對(duì)更明顯導(dǎo)致的F1值下降,如模型(Ⅰ)、(Ⅳ)結(jié)果所示。從結(jié)果上來(lái)看,給模型錯(cuò)誤的事件類(lèi)型標(biāo)簽會(huì)導(dǎo)致準(zhǔn)確率下降最多,召回率下降些許而導(dǎo)致F1下降到0.613 7,因此,在本文的因果關(guān)系識(shí)別中,正確事件類(lèi)型的重要程度最高。

4 結(jié)束語(yǔ)

本文提出了基于類(lèi)型矩陣轉(zhuǎn)移的漢越新聞因果關(guān)系識(shí)別的神經(jīng)網(wǎng)絡(luò)模型,有效地結(jié)合了基于對(duì)抗訓(xùn)練漢越共享嵌入層獲取的語(yǔ)義特征、樹(shù)形LSTM提取并計(jì)算出相似度語(yǔ)義信息分類(lèi)事件句對(duì)的因果關(guān)系對(duì)。其中,基于對(duì)抗訓(xùn)練所獲取的語(yǔ)義特征緩解了漢越語(yǔ)義空間不統(tǒng)一的問(wèn)題,具有相似度語(yǔ)義信息分類(lèi)事件句對(duì)的因果關(guān)系對(duì)也能較好緩解漢越語(yǔ)法結(jié)構(gòu)上的差異性和局限性。實(shí)驗(yàn)結(jié)果表明,提出的方法在漢越跨語(yǔ)言新聞事件因果關(guān)系的識(shí)別上取得了較好的效果,且所加的每個(gè)模塊均對(duì)模型性能有所提升。