朱少華 李培峰,? 朱巧明

?

基于MLN的中文事件觸發(fā)詞推理方法

朱少華1,2李培峰1,2,?朱巧明1,2

1.蘇州大學(xué)自然語言處理實驗室, 蘇州 215006; 2.蘇州大學(xué)計算機科學(xué)與技術(shù)學(xué)院, 蘇州 215006; ?通信作者, E-mail: pfli@suda.edu.cn

現(xiàn)有的中文事件觸發(fā)詞抽取方法大多數(shù)采用特征工程和觸發(fā)詞擴展方法, 無法利用同一文檔中各個觸發(fā)詞實例之間的內(nèi)在關(guān)系。為了解決上述問題, 基于馬爾科夫邏輯網(wǎng)絡(luò)(MLN), 利用核心詞素, 訓(xùn)練語料中觸發(fā)詞實例填充真假事件的概率, 以及觸發(fā)詞實例間的關(guān)系等信息來推導(dǎo)測試集中缺乏有效上下文信息和低可信度的觸發(fā)詞實例。在ACE 2005中文語料上的實驗結(jié)果表明, 與基準系統(tǒng)相比, 該方法在觸發(fā)詞識別和事件類型分類階段F1值分別提高3.65%和2.51%。

觸發(fā)詞抽取; 馬爾科夫邏輯網(wǎng)絡(luò); 觸發(fā)詞推理

作為信息抽取的一個關(guān)鍵部分, 事件抽取任務(wù)是識別預(yù)定義的事件類型的實例及其論元(參與者和屬性), 包括兩個子任務(wù): 1)觸發(fā)詞抽取, 用于探測事件實例及其類型; 2)論元抽取, 用于探測事件的論元及其角色。觸發(fā)詞抽取又分為兩部分: 1)觸發(fā)詞識別, 用于識別事件的觸發(fā)詞; 2)事件類型分類, 賦予每個抽取觸發(fā)詞實例一個事件類型。本文工作聚焦在觸發(fā)詞抽取方面。

為了更好地理解ACE評估中的中文事件抽取任務(wù), 下面列出本文所涉及的部分概念。

事件(Event): 在真實世界中已經(jīng)、可能或?qū)⒁l(fā)生的事情, 一般包括時間、地點和人物等角色, 如出生、地震和車禍等事件。

事件實例(Event Mention): 在文檔中描述一個事件的句子或子句。

事件類型(Event Type): 事件的類別, 如Attack (攻擊)和Injure (受傷)等。

觸發(fā)詞(Trigger): 用于標識事件的謂詞(又稱為錨), 是事件的基本要素之一。如“生于”、“出生”就是Be-Born (出生)事件的觸發(fā)詞。事件識別關(guān)鍵就是識別事件的觸發(fā)詞。

觸發(fā)詞實例(Trigger Mention): 觸發(fā)詞在句子中的提及。

論元(Argument): 與相關(guān)事件的實體實例, 是構(gòu)成事件的基本要素之一。

角色(Role): 表述論元和事件的關(guān)系, 如出生事件中的角色有人物、出生地點、出生時間等。

E1是一個事件實例, 事件類型是Transport (運送), 包括觸發(fā)詞“逃離”及相應(yīng)論元“米洛舍維奇”和“貝爾格勒”, 兩個論元在該事件實例中擔(dān)任的角色分別是“Artifact”和“Origin”。本文所有例子全部取自ACE2005中文語料庫[1]。

E1:(Artifact)被迫(Movement: Transport)(Origin)。

現(xiàn)有的中文觸發(fā)詞抽取大多采用特征工程方法, 通常采用句子級別的特征, 并且假設(shè)各個實例相互獨立, 無法利用同一文檔中各個觸發(fā)詞實例之間的一致性關(guān)系。本文基于馬爾科夫邏輯網(wǎng)絡(luò), 利用觸發(fā)詞或核心詞素同指一致性和相關(guān)一致性等推理規(guī)則, 學(xué)習(xí)訓(xùn)練語料中候選觸發(fā)詞填充真假事件的概率和觸發(fā)詞實例間的關(guān)系, 從而進行中文觸發(fā)詞推理。

1 相關(guān)工作

絕大多數(shù)的事件抽取研究聚焦在英文。早期的研究側(cè)重在句子級別抽取[2-4], 后來轉(zhuǎn)向運用更高級別的信息, 比如文檔[5-6]、跨文檔[7]、跨事件[8]和跨實體[9]信息。

相比于在英文觸發(fā)詞抽取上的大量研究, 只有少量研究是關(guān)于中文觸發(fā)詞抽取的。從研究方法上而言, 中文事件抽取主要從特征選擇和觸發(fā)詞擴展兩個方面入手。

在特征選擇方面, Tan等[10]提出一種局部特征選擇方法, 并運用多層模板來提高中文事件抽取系統(tǒng)的性能; Chen等[11]根據(jù)中文觸發(fā)詞可能位于某個詞內(nèi)的特點, 從詞匯、句法、語義和相鄰信息等多個角度抽取特征, 用于中文事件抽取; Fu等[12]提出一個特征加權(quán)方法, 用于對各種特征進行權(quán)重的重新分配, 并用于觸發(fā)詞的識別和事件分類; Wang[13]把各種特征(如項頻度、句子位置和長度、標題詞覆蓋率、語義角色標注等)組合起來, 選擇信息化最大的句子作為事件的候選; Chen等[14]把字符信息、語義角色標注信息、觸發(fā)詞概率信息、零指代信息、觸發(fā)詞一致性信息和論元一致性信息等特征用于中文事件抽取。

在觸發(fā)詞擴展方面, Chen等[15]采用自舉方法分別在英文和中文語料上進行事件抽取的聯(lián)合訓(xùn)練, 嘗試從跨語言事件抽取中利用聯(lián)合訓(xùn)練來提高中文和英文事件抽取性能; Ji[16]從中英平行語料庫入手, 在英文中利用中英翻譯來擴展中文觸發(fā)詞; Qin 等[17]則用“同義詞詞林”來擴展中文事件觸發(fā)詞; Li等[18-19]根據(jù)中文詞組的組合語義學(xué)原理, 分別從動詞構(gòu)詞結(jié)構(gòu)和形態(tài)結(jié)構(gòu)兩個方面入手, 識別在訓(xùn)練語料中不出現(xiàn)的未知觸發(fā)詞, 并結(jié)合篇章級別的一致性進行事件識別。

除特征選擇和觸發(fā)詞擴展兩種方法外, 部分研究采用推理方法進行觸發(fā)詞抽取。Chklovski等[20]利用詞-句匹配模板抽取具有事件關(guān)系的資源, 并將抽取的結(jié)果整理成一個稱為“VerbOcean”的知識庫; Pantel等[21]通過 Espresso 算法進行自動模板的構(gòu)建, 在給定少量關(guān)系實例的情況下, 通過機器學(xué)習(xí)方法進行迭代擴展, 最終得到大量的關(guān)系模板。

2 中文觸發(fā)詞推理

基于特征工程的方法假定各個實例之間相互獨立, 無法利用實例之間的內(nèi)在聯(lián)系。馬爾科夫邏輯可以利用實例之間的內(nèi)在一致性進行觸發(fā)詞推理。

2.1 馬爾科夫邏輯網(wǎng)絡(luò)

馬爾科夫邏輯網(wǎng)絡(luò)(Markov Logic Network, MLN)[22]是一門基于一階邏輯和馬爾科夫網(wǎng)絡(luò)的統(tǒng)計關(guān)系學(xué)習(xí)語言。一個一階知識庫可以視為在可能域上的強約束集合: 如果一個域違反即使一條規(guī)則, 則該規(guī)則概率為0。MLN的基本思想是軟化這些約束: 當(dāng)一個域違反知識庫中的一條規(guī)則時, 概率會變小但是并非不可能。違反規(guī)則的域越少, 這條規(guī)則成立的可能性就越大。

一個MLN可以看做構(gòu)建馬爾科夫網(wǎng)絡(luò)的模板。給定不同的常量集合, 會產(chǎn)生不同的網(wǎng)絡(luò)。在這樣一個網(wǎng)絡(luò)中, 狀態(tài)x的概率為

其中,為歸一化因子; 每一條規(guī)則下的不同常量組合對應(yīng)一條子句,w為第條子句的權(quán)值,f()為第條子句的特征, 如果第條子句為真, 則f=1, 否則f=0。

MLN已經(jīng)成功應(yīng)用到自然語言處理中, 如信息抽取、指代消解、語義解析、實體解析, 取得不錯的效果。

MLN推理主要包括謂詞說明和推理公式, 表1為本文定義的謂詞。另外, 本文只有一個查詢謂詞Event(tri1, label1, doc1), 即觸發(fā)詞tri1在doc1文檔中對應(yīng)的事件類型為label1(0或1)。

表1 謂詞及其說明

本文利用事件類型一致性(規(guī)則(1))、觸發(fā)詞同指一致性(規(guī)則(2))、核心詞素同指一致性(規(guī)則(3))、相關(guān)事件一致性(規(guī)則(4))等觸發(fā)詞推理規(guī)則對觸發(fā)詞進行推理。

2.2 事件類型一致性推理

觸發(fā)詞抽取的兩個模塊在系統(tǒng)級別也存在一致性。本文利用觸發(fā)詞識別和事件類型分類的一致性來恢復(fù)真觸發(fā)詞。也就是說, 如果一個觸發(fā)詞實例被事件類型分類模塊識別為一個特定類型的事件, 那么它必然被觸發(fā)詞識別模塊識別為真觸發(fā)詞。

事件類型一致性推理(規(guī)則(1)) 如果一個候選觸發(fā)詞tri1在文檔doc1中, 且在分類器中分類為某一類事件evType1的概率很高, 而在觸發(fā)詞識別中被分類為假觸發(fā)詞(未觸發(fā)事件), 則可以認為該候選觸發(fā)詞tri1有很高的概率為真觸發(fā)詞(label1推理為1)。

EvType(tri1, +evType1, doc1) => Event(tri1, label1, doc1), (1)

其中, “+”表示針對每個事件類型, MLN都要從訓(xùn)練集中學(xué)習(xí)出一個獨立的權(quán)值。

2.3 觸發(fā)詞同指一致性推理

漢語作為話題結(jié)構(gòu)的語言, 在同一文檔中, 相同觸發(fā)詞觸發(fā)的事件大多數(shù)情況下相同[23](同指事件)?，F(xiàn)有的中文觸發(fā)詞抽取大多采用特征工程方法。該方法假設(shè)各個實例相互獨立, 無法利用同一文檔中相同觸發(fā)詞實例之間的同指一致性關(guān)系。以E2和E3為例。

E2: 美國與北韓3號在吉隆坡結(jié)束飛彈(EM1)。

E3:(EM2)的氣氛嚴肅。

E2和E3出現(xiàn)在同一文檔中。很明顯, E2中的觸發(fā)詞實例“會談”由于其上下文存在時間、地點和會談?wù)叩冉巧? 相對較容易被識別為Meet (會見)事件; E3中的相同觸發(fā)詞實例“會談”卻由于缺乏有效的上下文信息而往往難以被識別。在同一文檔內(nèi)提及的觸發(fā)詞實例往往有語義上的一致性: 如果該觸發(fā)詞的其中一個實例觸發(fā)了一個事件, 那么該文檔內(nèi)其他的實例有很高概率觸發(fā)同類事件。所以, 可以從富信息的事件實例推斷出貧信息的事件實例。

觸發(fā)詞同指一致性推理(規(guī)則(2)) 候選觸發(fā)詞tri1和tri2相同, 且它們在同一文檔doc1中, 如果 tri1觸發(fā)了事件, 那么tri2也觸發(fā)事件。

SameTri(tri1, tri2, doc1)^Event(tri1, +label1, doc1)

=>Event(tri2, +label2, doc1)。 (2)

2.4 核心詞素同指一致性推理

形態(tài)結(jié)構(gòu)相似的觸發(fā)詞也具有話題內(nèi)一致性。在E4中存在3個事件實例(EM1, EM2, EM3), 3個觸發(fā)詞實例“擔(dān)任”、“出任”和“升任”雖然不相同, 但是它們具有相同的核心詞素“任”以及相同的形態(tài)結(jié)構(gòu)。核心詞素是在中文動詞或者名詞中占據(jù)主導(dǎo)語義的元素, 例如觸發(fā)詞“新婚”的核心詞素為“婚”。這3個觸發(fā)詞都指向相同的事件類型Start-Position (任新職), 它們具有語義上的一致性。在同一文檔內(nèi)提及的具有相同核心詞素且觸發(fā)詞形態(tài)結(jié)構(gòu)一樣的觸發(fā)詞實例往往有語義上的一致性: 如果該觸發(fā)詞的其中一個實例觸發(fā)了事件, 那么該文檔內(nèi)其他的含有相同核心詞素且觸發(fā)詞形態(tài)結(jié)構(gòu)一樣的實例有很高概率觸發(fā)事件。

E4: 武紹祖26歲的時候就(EM1)全國學(xué)聯(lián)主席, 后來又(EM2)國務(wù)院副總理王震的秘書, 1985年更是(EM3)國防科工委政委。

核心詞素同指一致性推理(規(guī)則(3)) 兩個相同形態(tài)結(jié)構(gòu)的候選觸發(fā)詞所對應(yīng)的核心詞素hm1和hm2相同, 且它們在同一文檔doc1中, 如果核心詞素為hm1的觸發(fā)詞觸發(fā)了事件, 那么核心詞素為hm2的觸發(fā)詞也觸發(fā)事件。

SameHM(hm1, hm2, doc1)^Event(hm1, +label1, doc1)

=>Event(hm2, +label2, doc1)。 (3)

2.5 相關(guān)事件一致性推理

在同一文檔中, 相關(guān)觸發(fā)詞觸發(fā)的事件具有一致性。雖然Die和Injure這兩個子類同屬于Life (生活)大類, Attack子類屬于Conflict (沖突)大類, 但這三類事件具有很強的相關(guān)性。圖1顯示當(dāng)Attack事件發(fā)生時, 其他事件發(fā)生的概率?？梢钥闯? Attack事件與Injure事件以及Die事件聯(lián)系非常緊密, 同一文檔中, 當(dāng)Attack事件發(fā)生時, Die事件發(fā)生的概率是55%, Injure事件發(fā)生的概率是43%。例如E5。

E5: 而在警方和安全部隊(EM1)伊斯坦堡的溫拉尼約監(jiān)獄的時候,(EM2)(EM3)和第3名朝著軍警沖去的自焚囚犯。

E5中有3個事件實例, 包括兩個Attack事件(EM1, EM2)和一個死亡Die事件(EM3)。Attack, Die和Injure這三類事件往往具有相關(guān)性: 當(dāng)其中一類事件發(fā)生時, 往往會發(fā)生相關(guān)事件。

相關(guān)事件一致性推理(規(guī)則(4)) 兩個觸發(fā)詞所對應(yīng)的核心詞素分別為hm1和hm2, 且在同一文檔doc1中, 在doc1中核心詞素為hm1的候選觸發(fā)詞觸發(fā)事件的個數(shù)與核心詞素為hm1的候選觸發(fā)詞的總數(shù)的比值的類型為type1, 如果核心詞素為hm1的 候選觸發(fā)詞觸發(fā)了事件, 那么核心詞素為hm2的候選觸發(fā)詞也觸發(fā)事件。

SameDoc(hm1, hm2, +type1, doc1)^Event(hm1,

+label1, doc1) => Event(hm2, +label2, doc1)。 (4)

除Attack, Die和Injure這三類事件有很強的相關(guān)性外, Merge-Org (合并)、Start-Org (創(chuàng)立)、End-Org (倒閉)和Declare-Bankruptcy (破產(chǎn))這4個事件類型也有很強的相關(guān)性, 因為它們同屬于Business事件大類。另外, 屬于同一大類的事件類型間也存在相關(guān)性(Movement事件大類除外), 推理規(guī)則(4)同樣應(yīng)用于每個事件大類進行推理。

2.6 實現(xiàn)方法

本文首先采用Li等[18]的觸發(fā)詞抽取系統(tǒng)的結(jié)果作為推理依據(jù), 采用以下兩種方法實現(xiàn)。

1)對于事件類型一致性推理, 在觸發(fā)詞識別時, 找出在測試集中分類為0的測試樣本, 形成集合S1。然后構(gòu)造33個二元分類器對集合S1進行分類。如果一個候選觸發(fā)詞在33個二元分類器中全部劃分為0, 則該候選觸發(fā)詞為假觸發(fā)詞; 否則選取分類概率最高的類別作為推理時的類別, 形成數(shù)據(jù)集S2。在S2中, 一個候選觸發(fā)詞在觸發(fā)詞識別時分類的概率為P1, 在33個二元分類器中最高概率為P2, 選擇P2大于P1的候選觸發(fā)詞集合作為推理的測試集。推理訓(xùn)練集為基準系統(tǒng)中的事件類別為1~33的觸發(fā)詞。

2)對于觸發(fā)詞同指一致性、核心詞素同指一致性、相關(guān)事件一致性推理, 首先提取出候選推理訓(xùn)練測試集。相關(guān)事件一致性推理流程如圖2所示。

首先, 從基準系統(tǒng)訓(xùn)練集中選取目標事件的觸發(fā)詞對應(yīng)的核心詞素, 形成集合, 再從訓(xùn)練測試集中選取出符合條件的候選觸發(fā)詞。然后, 對這些候選觸發(fā)詞進行過濾, 規(guī)則如下: 候選觸發(fā)詞的核心詞素必須包含在中, 且通過HowNet①計算候選觸發(fā)詞和對應(yīng)核心詞素的語義相似度, 大于閾值的候選觸發(fā)詞集合最終成為候選推理訓(xùn)練測試集。接著, 在候選推理測試集中設(shè)置一個閾值(該閾值從開發(fā)集中學(xué)習(xí)得到), 概率大于等于的分類結(jié)果認為可信, 小于的認為不可信?？尚挪糠謱⒆鳛榱硗庖徊糠值耐评淼淖C據(jù), 不可信部分需要利用推理機制來重新識別, 即作為推理測試集。同時, 還需要建立可信的候選觸發(fā)詞與不可信的候選觸發(fā)詞間的聯(lián)系。最后, 利用推理訓(xùn)練集和各種證據(jù), 學(xué)習(xí)一個模型用于推理。觸發(fā)詞同指一致性和核心詞素同指一致性兩條推理規(guī)則的候選推理訓(xùn)練測試集從基準系統(tǒng)的訓(xùn)練測試集中直接抽取即可得到, 隨后的過程與相關(guān)事件一致性推理過程相同。

在相關(guān)事件一致性推理的MLN推理規(guī)則中有證據(jù)謂詞SameDoc(hm1, hm2, type1, doc1), 其中type1是這樣得來的: 在doc1中核心詞素為hm1的候選觸發(fā)詞觸發(fā)事件個數(shù)與核心詞素為hm1的候選觸發(fā)詞總數(shù)的比值為ratio, 根據(jù)ratio可以將type1劃分為類, 當(dāng)ratio為0時(表示核心詞素為hm1的候選觸發(fā)詞未能觸發(fā)任何事件), type1劃分為0 類, 然后將(0, 1]的值均分為?1類。例如: 選取為3時, 將(0, 1]中的值均分為2類, 當(dāng)ratio為0時, type1劃分為0類; 當(dāng)ratio∈(0, 0.5]時, type1劃分為1類; 當(dāng)ratio∈(0.5, 1]時, type1分類為2類。如圖3所示, 在開發(fā)集中本文選取的從2到7, 當(dāng)為6時F1值提升最多, 所以本文采用的為6。

3 實驗

3.1 實驗設(shè)置

本實驗采用ACE 2005中文語料, 該語料包含633篇中文文檔, 包含8個事件大類和33個事件子類。我們選取632篇文檔進行實驗, 觸發(fā)詞實例總共3332個, 隨機選取其中的566篇作為訓(xùn)練集, 剩余的66篇作為測試集, 并且選取訓(xùn)練集中的33篇作為開發(fā)集。

本實驗采用準確率(Precision)、召回率(Recall)及F1值作為評測標準, 基準系統(tǒng)使用Stanford的最大熵分類器②, 參數(shù)使用默認值; 推理階段, 使用華盛頓大學(xué)MLN工具Alchemy①; 推理方式使用MC-SAT。MC-SAT是一種使用有效的可滿足性解決者來進行下一次采樣的切片采樣馬爾科夫鏈蒙特卡洛算法。

本文的實驗以Li等[18]的自動觸發(fā)詞抽取系統(tǒng)作為基準系統(tǒng)。該基準系統(tǒng)采用Chen等[11]的特征集, 在觸發(fā)詞識別和事件類型分類時加入以下更加精煉的特征。

1)句法特征: 候選觸發(fā)詞到句法樹根節(jié)點的路徑。

2)最近的實體信息: 在候選觸發(fā)詞左邊和右邊的句法/物理上最近的實體類型和實體。

3)依存特征: 候選觸發(fā)詞的主語和賓語(當(dāng)它們?yōu)閷嶓w時)。

由于存在大量未知的觸發(fā)詞, 在此基礎(chǔ)上又提出通過組合語義學(xué)和形態(tài)結(jié)構(gòu)來擴充觸發(fā)詞。但是這種擴充方法會引入大量的假觸發(fā)詞, 所以采用觸發(fā)詞過濾機制過濾掉盡可能多的假觸發(fā)詞。本實驗使用過濾后的系統(tǒng)作為基準系統(tǒng)。

3.2 實驗結(jié)果及分析

表2為基準系統(tǒng)以及加入推理機制后的觸發(fā)詞抽取結(jié)果。與基準系統(tǒng)相比, 本文的推理機制對觸發(fā)詞識別和事件類型分類的F1值分別提高3.65%和2.51%。

表2 觸發(fā)詞識別和事件類型分類推理結(jié)果

說明: 括號內(nèi)數(shù)值為提升部分。

由表2可看出, 實驗最終提升的總體性能并不是幾種推理方法提升性能的簡單加和, 這是因為幾種推理方法中有相互重疊的部分。比如, 核心詞素同指一致性推理和相關(guān)事件一致性推理。

經(jīng)過MLN推理后, 觸發(fā)詞識別和事件類型分類的準確率都下降了, 這是因為在推理的時候引入許多噪聲, 將本來不是觸發(fā)詞的推理成觸發(fā)詞。召回率都有不小的提升, 說明在分類器階段有很多真觸發(fā)詞錯分為假觸發(fā)詞, 而推理方法將它們重新恢復(fù)成真觸發(fā)詞。

加入事件類型一致性推理后, 觸發(fā)詞識別和事件類型分類的F1值在基準系統(tǒng)上分別提升0.92%和1.09%, 后者比前者提升多的原因是, 在觸發(fā)詞識別中推理出來的真觸發(fā)詞在事件類型分類中都被正確分類。

加入觸發(fā)詞同指一致性推理后, 觸發(fā)詞識別和事件類型分類的F1值都提升不多。這是因為MLN推理規(guī)則要求兩個觸發(fā)詞相同, 并且必須在同一文檔中, 這種約束過于嚴格, 導(dǎo)致符合條件的推理樣本過少。

加入核心詞素同指一致性推理后, 觸發(fā)詞識別和事件類型分類的F1值分別在基準系統(tǒng)上提升1.15%和0.69%。這是因為在觸發(fā)詞同指一致性推理基礎(chǔ)上, MLN推理規(guī)則放寬了約束, 只要求兩個觸發(fā)詞有相同的核心詞素且在同一文檔中, 使得符合條件的推理樣本數(shù)增加很多。例如E4中3個觸發(fā)詞實例“擔(dān)任”、“出任”和“升任”的核心詞素相同, 可以由觸發(fā)詞實例“擔(dān)任”觸發(fā)了事件推理得到“出任”和“升任”也觸發(fā)了事件。

提升最多的推理規(guī)則是相關(guān)事件一致性推理規(guī)則, 觸發(fā)詞識別和事件類型分類的F1值分別提升2.12%和0.95%。這是因為同一文檔中事件之間具有相關(guān)性, 某一類事件的發(fā)生通常伴隨著另外一類或幾類事件的發(fā)生。

相關(guān)事件一致性推理中包含Attack, Die和Injure類相關(guān)事件一致性、Business大類相關(guān)事件一致性和非Movement大類相關(guān)事件一致性推理。

加入Attack, Die和Injure類相關(guān)事件一致性推理后, 在全部類型事件和這三類事件中, 觸發(fā)詞識別性能分別提升0.97%和2.34%, 這是因為這三類事件之間有相關(guān)性。例如在同一文檔中, 語義為“攻擊”的觸發(fā)詞出現(xiàn)時, 語義為“受傷”和“死亡”的觸發(fā)詞出現(xiàn)的概率就很大。而在全部類型事件和這三類事件中, 事件類型分類性能僅分別提升0.23%和0.35%, 這是因為有些觸發(fā)詞語義很豐富。例如觸發(fā)詞“射”可能觸發(fā)Attack類型事件, 也可能觸發(fā)Die或Injure類型事件, 造成分類不準確, 從而降 低了F1值。

加入Business大類相關(guān)事件一致性推理后, 在全部類型事件中, 觸發(fā)詞識別和事件類型分類的F1值分別提升1.15%和0.89%, 在這一大類事件中分別提升12.08%和12.36%。在全部類型事件中提升較少, 在這一大類事件中提升很多, 一方面是因為在測試集中Business大類事件的數(shù)目較少, 另一方面是因為這一大類下的子類事件之間有相關(guān)性。例如在同一文檔中, 語義為“設(shè)立”的觸發(fā)詞出現(xiàn)時, 語義為“合并”的觸發(fā)詞出現(xiàn)的概率就比較大。

加入非Movement大類相關(guān)事件一致性推理后, 在全部事件類型中, 觸發(fā)詞識別和事件類型分類分別提升0.67%和0.52%, 在非Movement大類事件的所有事件類型下, 分別提升0.45%和0.59%, 提升程度并不明顯。這是因為在有些文檔中, 事件類型之間的相關(guān)性并不明顯。例如在同一文檔下, 出現(xiàn)Attack類型事件的同時也會出現(xiàn)Start-Org類型事件, 因此降低了事件類型之間的相關(guān)性, 從而影響推理效果。

4 總結(jié)

本文的主要工作是運用馬爾科夫邏輯進行觸發(fā)詞推理, 恢復(fù)部分分類階段未抽取出的觸發(fā)詞實例, 并加入事件類型一致性、觸發(fā)詞同指一致性、核心詞素同指一致性和相關(guān)事件一致性推理規(guī)則。實驗結(jié)果表明, 系統(tǒng)性能在基準系統(tǒng)的基礎(chǔ)上分別提高3.65%和2.51%。

在下一步的研究中, 我們將考慮基于MLN的跨文檔觸發(fā)詞抽取, 同時也考慮運用MLN構(gòu)建一個聯(lián)合模型, 進行觸發(fā)詞抽取和論元抽取。

[1]Linguistic Data Consortium. ACE (automatic content extraction) Chinese annotation guidelines for events, version 5.5.1 [EB/OL]. (2009?09?08)[2014–03–04]. http://www.ldc.upenn.edu/Projects/ACE

[2]Ahn D. The stages of event extraction // Proceedings of COLING/ACL 2006 Workshop on Annotating and Reasoning about Time and Events. Sydney, 2006: 1?8

[3]Grishman R, Westbrook D, Meyers A. NYU’s English ACE 2005 system description // Proceedings of ACE 2005 Evaluation Workshop. Journal on Satisfiability, 2005, 51(11): 1927-1938

[4]Hardy H, Kanchakouskaya V, Strzalkowski T. Automatic event classification using surface text features // Proceedings of AAAI 2006 workshop on Event Extraction and Synthesis. Boston, 2006: 36?41

[5]Finkel J, Grenager T, Manning C. Incorporating non-local information into information extraction sys-tems by Gibbs sampling // Proceedings of the 43rd Annual Meeting of the Association for Computa-tional Linguistics. Ann Arbor, 2005: 363?370

[6]Patwardhan S, Riloff E. A unified model of phrasal and sentential evidence for information extraction // Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing. Singapore, 2009: 151?160

[7]Ji Heng, Grishman R. Refining event extraction through cross-document inference // Proceedings of ACL. Columbus, 2008: 254?262

[8]Liao Shasha, Grishman R. Using document level cross-event inference to improve event extraction // Proceedings of ACL. Uppsala, 2010: 789?797

[9]Hong Yu, Zhang Jian, Ma Bin, et al. Using cross-entity inference to improve event extraction // Pro-ceedings of the 49rd Annual Meeting of the Associa-tion for Computational Linguistics. Portland, 2011: 1127?1136

[10]Tan Hongye, Zhao Tiejun, Zheng Jiaheng, et al. Identification of Chinese event and their argument roles // Proceedings of the 2008 IEEE 8th Interna-tional Conference on Computer and Information Technology Workshops. Sydney, 2008: 14?19

[11]Chen Zheng, Ji Heng. Language specific issue and feature exploration in Chinese event extraction // Proceedings of 2009 Annual Conference of the North American Chapter of the ACL (NAACL 2009). Boulder, 2009: 209?212

[12]Fu Jianfeng, Liu Zongtian, Zhong Zhaoman, et al. Chinese event extraction based on feature weighting. Information Technology Journal, 2010, 9(1): 184? 187

[13]Wang Wei. Chinese news event 5W1H semantic elements extraction for event ontology population // Proceedings of WWW 2012. Beijing, 2012: 197?202

[14]Chen C, Ng V. Joint modeling of Chinese event extraction with rich linguistic features // Procee-dings of COLING 2012. Mumbai, 2012: 529?544

[15]Chen Zheng, Ji Heng. Can one language bootstrap the other: a case study on event extraction // Procee-dings of NAACL HLT Workshop on Semi-Super-vised Learning for Natural Language Processing. Boulder, 2009: 66?74

[16]Ji Heng. Cross-lingual predicate cluster acquisition to improve bilingual event extraction by inductive learning // Proceedings of NAACL HLT Workshop on Unsupervised and Minimally Supervised Lear-ning of Lexical Semantics. Boulder, 2009: 27?35

[17]Qin Bing, Zhao Yanyan, Ding Xiao, et al. Event type recognition based on trigger expansion. Tsinghua Science and Technology, 2011, 15(3): 251?258

[18]Li Peifeng, Zhou Guodong, Zhu Qiaoming, et al. Employing compositional semantics and discourse consistency in Chinese event extraction // Procee-dings of EMNLP 2012. Jeju Island, 2012: 1006? 1016

[19]Li Peifeng, Zhou Guodong, Zhu Qiaoming, et al. Employing morphological structures and sememes for Chinese event extraction // Proceedings of COLING 2012. Mumbai, 2012: 1619?1634

[20]Chklovski T, Pantel P. Global path-based refinement of noisy graphs applied to verb semantics // Proceedings of IJCNLP 2005. Berlin, Springer, 2005: 792?803

[21]Pantel P, Pennacchiotti M. Espresso: leveraging generic patterns for automatically harvesting seman-tic relations // Proceedings of COLING-ACL 2006. Sydney, 2006: 113?120

[22]Richardson M, Domingos P. Markov logic networks. Machine Learning, 2006, 62(1/2): 107?136

[23]Li Peifeng, Zhu Qiaoming, Zhou Guodong. Emp-loying event inference to improve semi-supervised Chinese event extraction // COLING’2014. Dublin, 2014: 2161?2171

A Chinese Event Trigger Inference Approach Based on Markov Logic Networks

ZHU Shaohua1,2, LI Peifeng1,2,?, ZHU Qiaoming1,2

1. Natural Language Processing Lab, Soochow University, Suzhou 215006; 2. School of Computer Science and Technology, Soochow University, Suzhou 215006; ? Corresponding author, E-mail: pfli@suda.edu.cn

Previous Chinese argument extraction approaches mainly focus on feature engineering and trigger expansion, which cannot exploit inner relation between trigger mentions in same document. To address this issue, the authors bring forward a novel trigger inference mechanismbased on Markov logic network. Head morpheme, the probabilities of a trigger mention fulfilling true and pseudo events from the training set and the relationships between trigger mentions are used to infer those trigger mentions with lack of effective context information or low confidences in testing set. Experimental results on the ACE 2005 Chinese corpus show that the proposed approach outperforms the baseline, with the F1 improvements of 3.65% and 2.51% in trigger identification and event type classification respectively.

trigger extraction; Markov logic network; trigger inference

10.13209/j.0479-8023.2016.012

TP391

2015-06-19;

2015-08-19; 網(wǎng)絡(luò)出版日期: 2015-09-30

國家自然科學(xué)基金(61472265, 61331011)和江蘇省前瞻性聯(lián)合研究項目(BY2014059-08)資助

① http://www.keenage.com

②http://nlp.stanford.edu/software/classifier.shtml

① http://alchemy.cs.washington.edu