張亞君,譚紅葉,2

(1. 山西大學(xué) 計算機(jī)與信息技術(shù)學(xué)院,山西 太原 030006;2. 山西大學(xué) 計算智能與中文信息處理教育部重點實驗室,山西 太原 030006)

0 引言

事件抽取(Event Extraction)任務(wù)是從文本中檢測事件類型以及識別對應(yīng)的事件論元。事件抽取可以提供有價值的結(jié)構(gòu)化信息,不僅能夠應(yīng)用到知識庫構(gòu)建、機(jī)器自動問答、文本摘要與生成等任務(wù)中,而且能夠為金融、法律、醫(yī)療等領(lǐng)域提供輔助智能。因此,事件抽取受到眾多學(xué)者的關(guān)注。

事件抽取分為句子和篇章兩種級別的任務(wù)。以前的方法大多關(guān)注句子級別的事件抽取[1-6],即從單個句子中抽取事件及其論元。然而現(xiàn)實中的文本通常是由多句子構(gòu)成的篇章,事件的論元分散在不同句子中,句子級別的模型不能對其進(jìn)行建模。

如表1給出了篇章級事件抽取的實例。該實例是由多個句子組成的股份回購事件,該事件中的論元角色回購方 “恒逸石化”出現(xiàn)在第1句和第2句中,論元角色交易金額 “上限10億元”和論元角色每股交易價格“上限15元/股”出現(xiàn)在第2句及第3句中。如果不考慮事件元素間的相互關(guān)系,將不能很好地針對該事件進(jìn)行信息抽取。

表1 篇章級事件抽取實例

因此,許多學(xué)者開始面向篇章級的事件抽取方法進(jìn)行研究[7-13]。對于事件元素候選識別,大多數(shù)模型將其當(dāng)作序列標(biāo)注任務(wù)來解決,如Zheng等人[8]、Xu等人[9]利用Transformer[14]對句子編碼,使用條件隨機(jī)場(CRF)進(jìn)行序列標(biāo)注,但是這類方法沒有利用論元角色本身的先驗信息,忽略了論元角色語義信息和論元間的重要聯(lián)系。對于論元分散問題,研究者嘗試?yán)貌煌椒ㄕ峡缇湫畔?。如Yang等人[7]對關(guān)鍵句子識別事件類型及其對應(yīng)論元,再從鄰近句中尋找事件相關(guān)的論元;Zheng等人[8]將句子位置信息和事件元素信息融合,得到實體篇章級表示;Xu等人[9]通過圖神經(jīng)網(wǎng)絡(luò)對句子和事件元素間的關(guān)系建模,但是上述方法仍然缺少對句內(nèi)事件元素間的句法依存信息建模,對篇章級事件元素間關(guān)系建模不夠全面。

為了解決上述問題,本文提出了一種基于閱讀理解和圖神經(jīng)網(wǎng)絡(luò)的篇章級事件抽取方法。該方法首先通過構(gòu)建包含角色釋義信息的問題融入先驗信息,把事件元素候選識別當(dāng)作閱讀理解任務(wù)來解決;然后基于圖神經(jīng)網(wǎng)絡(luò)對事件元素的句內(nèi)直接依存關(guān)系或間接依存關(guān)系和句間相同元素關(guān)系建模,獲取聚合篇章的表示;最終進(jìn)行事件類型和論元分配。在百度金融數(shù)據(jù)集(DuEE-fin)上驗證了本文所提方法有效性,與最好基線相比F1值提升了3.8%,取得顯著效果,在中國金融數(shù)據(jù)集(ChinFinAnn)上的實驗也取得了最好效果。

1 相關(guān)工作

事件抽取是自然語言處理領(lǐng)域的一項基本任務(wù),一直受到研究者的關(guān)注。

之前大多學(xué)者關(guān)注的是句子級別的事件抽取。例如,基于深度學(xué)習(xí)方法,Chen等人[1]使用卷積神經(jīng)網(wǎng)絡(luò)流水線模型,分別進(jìn)行觸發(fā)詞識別和論元識別;Nguyen等人[2]使用循環(huán)神經(jīng)網(wǎng)絡(luò)聯(lián)合模型同時提取觸發(fā)詞和論元;Xiao等人[3]通過圖卷積網(wǎng)絡(luò)來對圖信息進(jìn)行建模,從而聯(lián)合抽取多個事件觸發(fā)詞和論元;Du等人[5]以問答的方式端到端地提取事件。但上述方法都是針對單句進(jìn)行事件抽取,很難滿足篇章級事件抽取的需求。

近期篇章級事件抽取成為研究熱點。該任務(wù)主要面臨兩個挑戰(zhàn): ①事件論元分散在不同的句子中; ②一個篇章中可能包含多個事件。針對這兩個挑戰(zhàn),Yang等人[7]從中心句識別事件類型及其論元,并從相鄰句中分別找到事件的其他論元填充到事件記錄表中;Zheng等人[8]提出的端到端DOC2EDAG模型,使用Transformer來融合句子和事件元素的表示,生成有向無環(huán)圖實現(xiàn)事件抽取。Xu等人[9]提出GIT模型,通過卷積神經(jīng)網(wǎng)絡(luò),對句子和事件元素間的關(guān)系進(jìn)行建模,生成帶有追蹤器的有向無環(huán)圖進(jìn)行事件抽取。Yang等人[10]提出的DE-PPN模型,通過限制記錄查詢的數(shù)量來并行生成事件記錄。Huang等人[11]提出的SCDEE模型基于圖注意力網(wǎng)絡(luò),利用事件元素關(guān)聯(lián)和句子關(guān)聯(lián)構(gòu)建圖表示。Huang等人[12]使用深度價值網(wǎng)絡(luò)(DVN)捕捉跨事件依賴,同時進(jìn)行事件元素抽取、事件共指和事件元素共指。最近Zhu等人[13]提出的基于剪枝完全圖的端到端PTPCG模型,以非自回歸的方式加速對事件記錄的解碼,取得了有競爭力的效果。但上述方法仍存在篇章級事件元素間關(guān)系建模不全面的問題,因此本文通過句法依存信息有效對篇章級事件元素關(guān)系進(jìn)一步建模。

機(jī)器閱讀理解作為一種通用方法[15],成為處理不同問題的范式。許多自然語言處理任務(wù)的基本技術(shù),如關(guān)系抽取[16]、命名實體識別[17]、事件抽取[5-6]、指代消解[18]等,都可以通過使用閱讀理解方法取得很好的效果。但是Du等人[5]和Liu等人[6]提出的閱讀理解模型針對的是句子級別的事件抽取,因此本文通過構(gòu)建問題,使用BERT編碼[19]基于序列標(biāo)注方式來回答句子中的事件元素答案,有效利用角色先驗信息,同時提取篇章級文檔中論元角色的所有事件元素。

2 模型與方法

本文模型結(jié)構(gòu)如圖1所示,主要包含: 事件識別、事件元素候選識別、圖結(jié)構(gòu)、論元分配等4個模塊。各模塊的主要功能如下:

圖1 本文所提模型框架示意圖

(1) 事件識別模塊: 通過BERT得到句子編碼,并進(jìn)行多標(biāo)簽分類以識別事件類型。

(2) 事件元素候選識別模塊: 通過結(jié)合事件對應(yīng)的論元角色信息,根據(jù)不同模板構(gòu)建問題,基于閱讀理解方法預(yù)測出篇章中的事件元素片段。

(3) 圖結(jié)構(gòu)模塊: 使用圖神經(jīng)網(wǎng)絡(luò)對篇章級事件元素間的關(guān)系建模,得到事件元素的特征表示。

(4) 論元分配模塊: 通過特征相似度構(gòu)建事件元素組合,對組合分配事件類型,對論元角色分配事件元素。

2.1 事件識別

由于一個篇章可以有多個不同類型的事件,所以我們把事件識別作為多標(biāo)簽分類任務(wù),利用整個篇章的表示來進(jìn)行事件分類。

u=BERT(s)

(1)

其中事件查詢向量Q∈T×dm和W*∈2×dm是可訓(xùn)練參數(shù),T表示事件類型的數(shù)目,P為篇章表示,R為事件類型的概率分布。

通過argmax函數(shù)取R中的每行最大值索引位置形成事件識別的最終結(jié)果列表Otype,計算如式(4)所示。

事件類型檢測的損失函數(shù)如式(5)所示。

2.2 事件元素候選識別

該模塊通過閱讀理解的方式來進(jìn)行事件元素候選識別。輸入是事件類型識別結(jié)果Otype,輸出是實體集合E。

對于識別到的事件oi,(oi∈Otype),利用該事件類型已知的角色信息(事件類型及其對應(yīng)論元角色示例如表2所示),具體使用以下3個模板構(gòu)建問題。

表2 事件類型及其論元示例

模板1直接使用論元角色作為問題,如披露時間、發(fā)行價格。

模板2基于論元角色及其所屬的類型(時間、地點、數(shù)量和其他)形成疑問句作為問題。

模板3利用論元角色的詳細(xì)語義信息形成問題。

具體示例如表3所示。

根據(jù)不同模板構(gòu)建問題q后,分別結(jié)合篇章D中的每一句話s作為預(yù)訓(xùn)練模型BERT的輸入。具體輸入形式如式(6)所示。

input=[CLS]+q+[SEP]+s+[SEP]

(6)

對輸入input通過預(yù)訓(xùn)練模型BERT得到對問題和文本的表示,計算如式(7)～式(8)所示。

其中,U∈n×d,n為整個輸入的長度,d為向量的維度。

由于一個論元角色可能對應(yīng)多個不同的論元(如高管變動事件中,高管姓名角色通常對應(yīng)多個不同的論元),因此,不同于計算答案開始和結(jié)束位置的閱讀理解任務(wù)(即抽取類閱讀理解任務(wù)),得到句子序列表示s′后,利用條件隨機(jī)場(CRF)對每個字符進(jìn)行BIO序列標(biāo)注,來預(yù)測句子的標(biāo)簽。

使用論元對應(yīng)的角色作為標(biāo)簽,結(jié)合CRF來得到損失Lner,具體計算如式(9)所示。

其中,ys是篇章D中句子s的黃金標(biāo)簽。在解碼階段,我們使用維特比算法使用最大化概率解碼預(yù)測序列得到事件元素標(biāo)注結(jié)果,從而識別出對應(yīng)位置的片段,構(gòu)成事件元素集合E。

2.3 圖結(jié)構(gòu)

我們通過圖神經(jīng)網(wǎng)絡(luò)對篇章D中的事件元素構(gòu)建異構(gòu)圖G,建模篇章級表示。

為了獲取事件元素間的關(guān)系,我們構(gòu)建了兩種邊:

(1)句內(nèi)關(guān)系邊如果一個句子中兩個事件元素存在直接或者間接的依存句法關(guān)系時,則在兩個事件元素間構(gòu)建連邊。這是因為如果事件元素間存在直接的依存關(guān)系,或者存在多跳的間接依存關(guān)系,則這些事件元素很可能屬于同一事件。

(2)句間事件元素邊如果同一個事件元素出現(xiàn)在多個句子中,則在該事件元素間構(gòu)建連邊。構(gòu)建句間事件元素邊有助于從全局角度對長距離論元進(jìn)行建模。

構(gòu)建異構(gòu)圖G之后,使用多層圖卷積網(wǎng)絡(luò)來建模事件元素間的交互。具體運(yùn)算如式(10)所示。

2.4 論元分配

該模塊對得到的事件元素進(jìn)行組合,并對這些組合匹配事件類型,對組合中的事件元素分配論元角色。我們使用與Zhu等人[13]類似的論元角色分配方法,具體包含兩個步驟:

(11)

(2) 對組合匹配對應(yīng)的事件類型,對組合中事件元素分配論元角色。將識別到的事件類型oi,(oi∈Otype)與組合集C執(zhí)行笛卡爾積,得到所有的事件類型組合對{,(ck∈C)}。對組合對中ck的所有候選事件元素,通過事件相關(guān)的前饋網(wǎng)絡(luò)作為分類器得到可能的論元角色。

訓(xùn)練損失計算如式(12)所示。

(12)

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與實驗設(shè)置

本文采用的是百度發(fā)布的金融領(lǐng)域篇章級事件抽取數(shù)據(jù)集DuEE-fin[20]和中國金融數(shù)據(jù)集ChinFinAnn[8]。DuEE-fin數(shù)據(jù)集包含11 900個篇章,事件類型包括股東減持、股東增持、企業(yè)收購、企業(yè)融資、股份回購等13種事件類型。其中測試集是在線評估的(1)https://aistudio.baidu.com/aistudio/competition/detail/46/0/task-definition。ChinFinAnn數(shù)據(jù)集包括32 040個篇章,涉及股份凍結(jié)(EF)、股份回購(ER)、股份減持(EU)、股份增持(EO)、股份質(zhì)押(EP)等5類金融領(lǐng)域股權(quán)活動事件。實驗中訓(xùn)練集、驗證集、測試集的比例為8∶1∶1。

預(yù)處理使用斯坦福發(fā)布的自然語言處理工具Stanza對數(shù)據(jù)分詞、依存句法分析等進(jìn)行預(yù)處理。

實驗設(shè)置使用BERT-base-Chinese預(yù)訓(xùn)練語言模型進(jìn)行事件檢測和事件元素候選識別,使用與Zhu等人[13]相同的詞匯表。使用Adam優(yōu)化器,學(xué)習(xí)速度為5e-4,最小批次大小為64,進(jìn)行100個epoch的訓(xùn)練,并在驗證集上選擇F1得分最高的檢查點在測試集上進(jìn)行預(yù)測,其中DuEE-fin在線評測得出測試集分?jǐn)?shù)。

3.2 實驗結(jié)果

3.2.1 對比實驗

實驗中,選取的基線模型主要有:

DCFEE[7]包含兩個模型。DCFEE-O只從一個文檔中提取一條記錄,而DCFEE-M在單句抽取的基礎(chǔ)上得到包含大多數(shù)事件及其論元,再從中心句的鄰近句中進(jìn)行論元補(bǔ)全。其事件元素候選識別使用BiLSTM+CRF進(jìn)行。

Doc2EDAG[8]將記錄構(gòu)造為論元鏈(DAG),并使用自回歸方法提取最終結(jié)果。其事件元素候選識別通過Transformer+CRF進(jìn)行。

GIT[9]是Doc2EDAG的變體,利用GCN圖神經(jīng)網(wǎng)絡(luò)進(jìn)一步對事件元素進(jìn)行編碼,并在DAG生成中添加更多特征。

PTPCG[13]是Doc2EDAG的快速輕量級改進(jìn)模型。在事件元素候選識別階段,該方法通過正則表達(dá)式來匹配更多的金額、日期、比率實體來增強(qiáng)識別效果,使用BiLSTM+CRF進(jìn)行序列標(biāo)注實現(xiàn)識別。

實驗采用具體評價指標(biāo)為: 準(zhǔn)確率P(Precision)、召回率R(Recall)和F1值。

事件抽取整體結(jié)果如表4和表5所示(結(jié)果使用模板3來構(gòu)建問題)。

表4 ChinFinAnn事件抽取整體實驗結(jié)果 (單位: %)

表5 DuEE-fin事件抽取整體實驗結(jié)果 (單位: %)

從整體實驗結(jié)果可以看出,本文模型在DuEE-fin數(shù)據(jù)集上召回率R和F1值均取得了最好的分?jǐn)?shù),在線測試中,比次優(yōu)模型PTPCG的召回率和F1值分別提高4.5%和3.8%,說明利用論元角色的先驗信息和篇章級事件元素間關(guān)系對系統(tǒng)性能提升有明顯作用。盡管準(zhǔn)確率略P低于GIT模型,但是取得了和其他模型性能具有競爭力的效果。模型在ChinFinAnn數(shù)據(jù)集上整體性能上(Overall)效果最好,并且在4類事件中取得了最高值。

事件元素候選識別結(jié)果如表6和表7所示。在DuEE-fin數(shù)據(jù)集上除了與基線模型比較,Our-model-mrc將預(yù)訓(xùn)練語言模型BERT作為編碼器進(jìn)行序列標(biāo)注,不使用閱讀理解框架效果就得到了明顯的提升,說明預(yù)訓(xùn)練語言模型的有效性,Our-model在此上基礎(chǔ)上使用閱讀理解方式,通過引入論元角色的先驗信息,使得模型更加聚焦文本中的事件元素,取得了最好的效果。在ChinFinAnn數(shù)據(jù)集上。本文提出模型也取得了最好的效果。

表6 DuEE-fin事件元素候選識別結(jié)果 (單位: %)

表7 ChinFinAnn事件元素候選識別結(jié)果 (單位: %)

3.2.2 消融實驗

我們在DuEE-fin數(shù)據(jù)集上深入分析不同問題模板、圖神經(jīng)模塊及其不同邊對性能的影響。

不同問題模板對性能的影響在驗證集上的實驗結(jié)果如表8所示。模板1的問題生成策略只考慮了論元本身的語義信息,但是不同事件中相同的論元角色的語義可能有著很大的區(qū)別。模板2對論元角色的類型進(jìn)行進(jìn)一步描述,使得模型能夠聚焦文本中事件元素的類型。模板3使用自然語言的形式對不同事件類型中的論元角色語義進(jìn)行描述,使得模型更準(zhǔn)確地聚焦與問題相關(guān)的事件元素,實驗結(jié)果表明模板3的效果更好。

表8 不同問題模板對性能影響 (單位: %)

圖神經(jīng)模塊及其不同關(guān)系邊對系統(tǒng)性能的影響在驗證集上的實驗結(jié)果如表9所示。結(jié)果表明圖模塊有著重要作用,完全去除圖模塊降低1.6%的性能,表明圖模塊能夠聚合篇章級信息表示。去除句內(nèi)依存關(guān)系邊,系統(tǒng)性能降低1%;去除句間事件元素關(guān)系邊,系統(tǒng)性能降低0.8%。說明了兩種關(guān)系邊對篇章級事件抽取的有效性。

表9 圖神經(jīng)模塊對性能影響 (單位: %)

3.2.3 案例分析

為了進(jìn)一步說明本文所提方法的效果,表10中的實例展示了兩個股票減持事件,其中論元角色包括減持方、交易完成時間、披露時間等?；贚STM+CRF的PTPCG模型沒有識別出股票代碼(“430630”“1019370”)和股票簡稱(“福萊轉(zhuǎn)債”),而本文模型能正確識別是因為通過閱讀理解模型加入了論元角色的先驗信息。PTPCG模型沒有正確識別出減持方“阮澤云”對應(yīng)事件中的披露時間“7月13日晚間”,而本文模型對句子2進(jìn)行依存關(guān)系連邊如圖2(灰色部分為候選事件元素識別結(jié)果)所示,其中“7月13日晚間”通過(“7月13日晚間”“稱”“占”“收到”“通知”“女士”“女士”“阮澤云”)多跳有向依存關(guān)系與“阮澤云”建立連邊,有效建模屬于同一事件的事件元素。PTPCG模型沒有正確識別減持方“阮澤云”對應(yīng)事件中減持部分占總股份比例,而本文通過圖結(jié)構(gòu)的句間候選元素邊,有效建?！叭顫稍啤迸c“1019370”“7.03%”的長距離關(guān)系。

圖2 實例句內(nèi)依存信息

表10 實例分析

4 結(jié)束語

為了在篇章級事件抽取中有效利用論元角色的先驗信息,獲得篇章級的事件元素表示,本文嘗試使用閱讀理解框架來進(jìn)行事件元素候選識別,通過不同的問題構(gòu)建模板形成問答,從而引入論元角色的先驗信息,在上下文中回答相應(yīng)的問題抽取事件元素;然后通過圖神經(jīng)網(wǎng)絡(luò)進(jìn)行篇章級聚合表示,在句內(nèi)利用句法直接依存關(guān)系或者間接依存關(guān)系、句間事件元素聯(lián)系構(gòu)邊。實驗結(jié)果證明了方法的有效性。

雖然閱讀理解方式做篇章級事件元素抽取有著更好的效果,但由于對每個事件論元角色構(gòu)建問答,導(dǎo)致樣本數(shù)量擴(kuò)充,使得運(yùn)行效率低下。樣本構(gòu)建、運(yùn)行效率和將閱讀理解作為統(tǒng)一框架將是下一步的研究方向。