鄭志蘊,徐亞媚,李 倫,張行進,李 鈍

(鄭州大學 計算機與人工智能研究院,鄭州 450001)

1 引 言

關(guān)系抽取是自然語言處理和知識圖構(gòu)建的一項重要任務(wù),又叫做實體關(guān)系抽取,旨在從非結(jié)構(gòu)化文本數(shù)據(jù)中識別出給定實體之間的關(guān)系類型[1],并抽取文本中的(實體e1,關(guān)系r,實體e2)結(jié)構(gòu)化三元組信息.關(guān)系抽取主要應(yīng)用在文本摘要[2]、問答[3]、知識庫構(gòu)建[4]、網(wǎng)絡(luò)搜索[5]等領(lǐng)域.

有監(jiān)督的方法在關(guān)系抽取任務(wù)中已取得顯著的成果[6],但是該方法需要手動標記大量數(shù)據(jù)來訓練模型,不僅耗費時間,而且成本也很高,在大規(guī)模的關(guān)系抽取任務(wù)中具有限制性.遠程監(jiān)督方法的出現(xiàn)緩解了上述問題[7],該方法通過將文本語料庫與巨型知識圖譜對齊,自動生成大規(guī)模帶標注的數(shù)據(jù)集.該方法基于如下假設(shè):如果兩個實體e1和e2在一個已知的知識庫中存在某個關(guān)系R,那么所有提到這兩個實體的句子都會以某種方式表達這種關(guān)系R.例如,已知在知識庫中存在三元組關(guān)系實例(new_york,contains,chenango),則包含這兩個實體new_york和chenango的所有句子都會被標注為contains關(guān)系.在句子“presidentbushyesterdaydeclaredadisasterineightupstatenew_yorkcountieshithardbytheflooding:broome,chenango,delaware,herkimer,montgomery,otsego,sullivanandulstercounties.”中,包含上述兩個實體,所以會被標記為contains關(guān)系.但是,并非所有提到new_york和chenango的句子都會表達contains關(guān)系.顯然,由于遠程監(jiān)督的假設(shè)過于絕對,大量的訓練數(shù)據(jù)被錯誤的標記.

因此,許多研究人員利用基于at-least-one假設(shè)的多實例學習(Multi-Instance Learning,MIL)[8]來緩解噪聲問題.該假設(shè)規(guī)定:若兩個實體之間存在關(guān)系r,則句子包中至少會有一個句子能夠表達出關(guān)系r.MIL是進行句子包級的訓練和測試,其中句子包是具有相同三元組的句子的集合.后續(xù)很多研究者都是在MIL的基礎(chǔ)上進行關(guān)系抽取的改進,這些方法通常分兩類[9]:一類是強策略方法,直接將嘈雜的句子從句子包中分離出來.另一種是軟策略方法,試圖對句子施加不同的權(quán)重,以減少有噪聲的句子的影響.

然而,這些方法忽略關(guān)系之間存在的相關(guān)性,例如,在表1中,句子實例S2的實體SteveJobs可以是實體Apple的創(chuàng)建者(founder)和主要股東(major_shareholders),這些關(guān)系的目標實體詞是相同的,出現(xiàn)重疊關(guān)系,增強這些關(guān)系之間的語義關(guān)聯(lián)有利于提高關(guān)系抽取的效率.同時,大量研究人員使用混合神經(jīng)網(wǎng)絡(luò)在句子層面捕捉特征,并使用位置特征(Position Feature,PF)[10]來獲取單詞的位置信息.但是,該方法只記錄當前單詞與句子中目標實體之間的距離,沒有考慮距離關(guān)系的重要性,導致句子信息的缺乏,影響關(guān)系提取的準確性.

表1 表達多個關(guān)系的實體對Table 1 Entity pairs that express multiple relation

為解決上述問題,本文提出融合位置特征注意力和關(guān)系增強機制的遠程監(jiān)督關(guān)系抽取模型(Distantly Supervised Relation Extraction with Position Feature Attention and Relation Enhancement,PARE).在單詞層面,提出基于高斯分布的位置特征注意力機制,通過高斯分布函數(shù)對非實體詞和實體詞之間的位置關(guān)系進行建模,來為句子中的單詞分配權(quán)重;在句子層面,本文使用分段卷積神經(jīng)網(wǎng)絡(luò)捕捉句子的局部特征,使用詞級注意力捕捉重要詞的特征;在關(guān)系層面,為充分捕獲重疊關(guān)系之間豐富的語義相關(guān)性,提出關(guān)系增強機制來處理關(guān)系向量,對可能的關(guān)系進行編碼,同時保留目標關(guān)系表示,以幫助識別實體對.

本文的主要貢獻總結(jié)如下:

1)為充分利用詞間的位置關(guān)系信息,捕獲句子特征,本文提出一種以高斯分布為基礎(chǔ)的位置特征注意力機制,對非實體詞和實體詞之間的位置關(guān)系進行建模,為句子中的單詞分配權(quán)重.同時使用分段卷積神經(jīng)網(wǎng)絡(luò)和詞級注意力捕獲句子的多維度信息.

2)為得到重疊實體關(guān)系之間的語義關(guān)聯(lián),本文提出以多頭自注意力為基礎(chǔ)的關(guān)系增強機制,重新編碼關(guān)系向量.

3)本文在NYT10公開數(shù)據(jù)集上進行實驗,結(jié)果表明,與基線模型相比,模型PARE具有更好的性能和更高的準確率.

2 相關(guān)工作

在關(guān)系抽取中,大量的結(jié)構(gòu)化數(shù)據(jù)源缺乏顯式標注的文本,比如Freebase等大型公共知識庫.遠程監(jiān)督關(guān)系抽取方法為充分利用知識庫和非結(jié)構(gòu)化文本提供一種有效的解決方案,啟發(fā)式地將給定的知識庫與文本對齊,利用自動生成的帶標注的數(shù)據(jù)來完成關(guān)系抽取.

由于不依賴帶標注的文本,遠程監(jiān)督關(guān)系抽取方法受到廣泛的關(guān)注,研究者們提出各種類型的模型.Mintz等[7]聚合一個包中所有實例的特征,并將其送入分類器進行模型訓練,但該方法導致錯誤標注問題.Riedel等人[8]提出at-least-one假設(shè)來緩解遠程監(jiān)督的強假設(shè).Hoffmann等人[11]引入概率的、圖形化的模型來選擇句子,并允許重疊關(guān)系.

深度神經(jīng)網(wǎng)絡(luò)可以自動學習低維文本特征,在關(guān)系抽取中得到普遍應(yīng)用.Zeng等人[12]使用分段卷積神經(jīng)網(wǎng)絡(luò)(Piecewise Convolutional Neural Networks,PCNN)自動學習文本特征,并使用MIL方法進行實例的選擇.Lin等人[13]使用PCNN學習句子的局部特征,并使用句子級注意力機制減少噪聲句子對選擇有效實例的影響.Feng等人[14]改進句子級注意機制,根據(jù)句子向量的相關(guān)性對句子向量進行排序和組合,選擇無噪聲句子作為包向量,來完全消除有噪聲句子的影響.Fei等人[15]提出一個端到端神經(jīng)模型,通過圖注意力模型對實體之間的關(guān)系圖進行建模,來解決重疊實體對的問題.Chen等人[16]提出一種新的神經(jīng)網(wǎng)絡(luò)方法,模型首先抽取所有可能的關(guān)系,然后對每個目標關(guān)系抽取所有可能的實體對,同時將這兩個過程打包成一個聯(lián)合模型,來解決重疊實體對的問題.

研究人員還將注意力機制與長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)相結(jié)合,以提高關(guān)系提取的性能[17].Tran等人[18]在LSTM和PCNN的混合神經(jīng)網(wǎng)絡(luò)模型中加入注意力機制,抽取了句子不同方面的特征,同時提高模型的抗噪能力.Zhou等人[19]提出分層的選擇性注意網(wǎng)絡(luò),首先對實體對中所有句子進行粗粒度的句級注意力來選擇最相關(guān)的句子,然后使用PCNN和基于LSTM的詞級注意力來構(gòu)建句子向量,最后使用細粒度的注意力將結(jié)果聚合成句子向量來預測關(guān)系.上述方法通過融合不同神經(jīng)網(wǎng)絡(luò)的特征,更好地捕捉句子中的多維度的語義特征.然而,它們沒有充分考慮非實體詞到實體詞的距離關(guān)系的重要性.Zhang等人[20]提出一種位置感知注意力機制,融合位置嵌入和單詞特征來形成注意力矩陣.Wang等人[9]提出位置特征注意力,通過計算目標實體對的所有位置組合來獲得加權(quán)的句子表示.Li等人[21]提出一種使用高斯函數(shù)的位置注意力,以減少低噪聲對模型的影響.

與上述方法不同的是,本文提出位置特征注意力與關(guān)系增強機制,并將其融入兩種神經(jīng)網(wǎng)絡(luò)中,在單詞層面利用了單詞位置所蘊含的豐富信息,在句子層面捕獲到多個維度的語義特征,在關(guān)系的層面充分捕獲重疊關(guān)系之間豐富的語義相關(guān)性.

3 模 型

本節(jié)將具體介紹PARE的關(guān)系抽取方法,模型圖如圖1所示.給定包含l個句子的句包B={S1,S2,…,Sl},包含n個單詞的句子S= {w1,w2,…,wi,…,wn},其中wi是句子S中的第i個單詞,并將關(guān)系標記為R= {r1,r2,…,rk},k是關(guān)系的總數(shù).模型首先通過詞嵌入和位置嵌入得到文本的輸入特征向量,然后利用位置特征注意力重新分配句子中詞的權(quán)重;其次,利用PCNN和詞級注意力得到句子的特征向量;然后,本文提出關(guān)系增強機制來捕捉關(guān)系之間的語義關(guān)聯(lián);最后,通過句級注意力機制得到包向量,將其輸入到全連通網(wǎng)絡(luò)中來預測關(guān)系.

圖1 PARE模型圖Fig.1 PARE model

3.1 嵌入層

文本語句無法直接被神經(jīng)網(wǎng)絡(luò)編碼,所以需要將文本語句轉(zhuǎn)化成向量表示,主要包含詞嵌入和位置嵌入兩部分.

1)詞嵌入

詞嵌入將句子中每個單詞映射到一個低維的實值向量中,來捕獲單詞的句法和語義.給定一個句子S={w1,w2,…,wi,…,wn},通過查找預先訓練好的詞向量矩陣E∈|v|×dw,每個單詞wi被轉(zhuǎn)換為dw維實值向量.其中|v|表示詞匯表的長度,dw為詞嵌入的維數(shù).

2)位置嵌入

本文使用位置特征記錄當前非實體單詞到兩個目標實體單詞e1和e2的相對距離,從而捕獲句子實體間的結(jié)構(gòu)信息.例如,在句子“intokyo,ontheedgesoftheakihabaraneighborhood,knownaselectrictownforitsconcentrationofelectronicsstores.”中,單詞“neighborhood”到e1(tokyo)和e2(akihabara)的相對距離分別為7和1,每個單詞的相對距離都被映射到一個dp維實值向量中.

所有的單詞的詞嵌入和位置嵌入連接起來共同組成該句子的向量表示X∈n×d,其中,n表示句子中單詞的數(shù)量,d=dw+2dp.

3.2 位置特征注意力

Vilis等人[21]使用以高斯分布為原理的高斯嵌入來獲取單詞向量,本文在此基礎(chǔ)上提出以高斯分布為基礎(chǔ)的位置特征注意力,來計算單詞的重要性權(quán)重,從而充分利用單詞之間的位置關(guān)系信息.

位置注意力機制原理如下:

在句子向量Xi中,首先收集句子中每個單詞和目標實體e1之間的距離,并將其標記為d1,每個單詞與目標實體e2之間的距離標記為d2,其中d1和d2是離散距離序列.

然后使用高斯函數(shù)來建模單詞之間的位置關(guān)系,高斯函數(shù)的公式如式(1)所示,本文實驗使用μ= 0和σ= 0.5.將距離序列d1和d2映射到函數(shù)G(X)中,x是單詞與目標實體的距離值,得到對應(yīng)的高斯序列值G1和G2.

(1)

利用softmax函數(shù)將序列值G1和G2的和歸一化,以求出最終的結(jié)果,計算公式如式(2)所示:

α=softmax(G1+G2)

(2)

最后,對句子中的單詞向量進行加權(quán),得到新的向量表示,計算公式如式(3)所示:

X′i=Xi·α

(3)

3.3 句級特征提取

本節(jié)使用兩種不同的神經(jīng)網(wǎng)絡(luò)模型從包含目標實體的句子中提取語義特征:1)使用PCNN挖掘每個句子的詞相特征和實體之間的結(jié)構(gòu)信息;2)使用基于長短期記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory,BiLSTM)的詞級注意力機制挖掘句子的重要詞特征.

1)PCNN

在關(guān)系抽取中,由于句子中重要信息的位置不固定,通常使用卷積操作實現(xiàn)局部特征信息的抽取.卷積操作是權(quán)重矩陣和句子向量之間的操作.

通過卷積操作層,得到結(jié)果句子向量C={c1,c2,…,cm},其中c∈m×(n+f-1),m是過濾器個數(shù),n是句子的長度,f是滑動窗口大小.

為進一步抽取最重要的特征,捕獲句子的結(jié)構(gòu)信息和細粒度特征,PCNN采用分段池化操作,根據(jù)目標實體對e1和e2的位置將實例分成3個片段,并對每段執(zhí)行最大池化操作[22],計算公式如式(4)所示:

pij=max(cij),1≤i≤m,1≤j≤3

(4)

其中cij為每個特征向量ci根據(jù)目標實體對的位置分成的3部分.

將每個過濾器的輸出pi={pi1,pi2,pi3}連接起來形成p1:m,并采用雙曲正切函數(shù)來進行輸出,計算如式(5)所示:

Sic=tanh(p1:m)

(5)

其中Sic∈3m是句子Si的局部特征向量.

2)詞級注意力

在關(guān)系抽取任務(wù)中,識別出重要單詞有助于提高模型的性能.本文采用詞級注意機制來挖掘句子的重要詞特征[19].

首先使用BiLSTM處理句子向量,得到矩陣H=[h1,h2,…,hn],其中H∈d×n,d為隱藏單元的數(shù)量,n是單詞的個數(shù).

然后,輸出向量H的加權(quán)和構(gòu)成句子的向量表示sia,計算如式(6)～式(8)所示:

M=tanh(H)

(6)

α=softmax(wTM)

(7)

Sia=HαT

(8)

其中,Sia∈d是句子Si的重要單詞特征向量.

本文利用PCNN和詞級注意力兩種方式,得到包B中第i個句子Si的兩種不同句子向量Sic和Sia.將Sic和Sia連接起來,形成一個新的向量Si,如式(9)所示:

Si=[sia:sic]

(9)

其中,句子向量Si∈3m+d.

3.4 關(guān)系增強

為捕獲重疊實體對關(guān)系之間的語義關(guān)聯(lián),本文提出以多頭注意力為基礎(chǔ)的關(guān)系增強機制,首先利用詞嵌入將關(guān)系映射到向量中,然后使用多頭自注意力機制對關(guān)系向量進行編碼,得到語義信息更加豐富的可能關(guān)系向量與目標關(guān)系向量,以幫助識別實體對.

1)詞嵌入

首先使用相同的詞嵌入矩陣E∈dw,將關(guān)系映射為Ri.所有關(guān)系向量形成關(guān)系向量矩陣R∈k×dw,其中k是關(guān)系的數(shù)量,dw是詞嵌入的維度.

2)多頭自注意力機制

為捕捉向量的深層全局結(jié)構(gòu)特征,研究者人員提出自注意力機制[23].該機制通過相似度公式計算向量之間的相似度,并獲得對應(yīng)的相似度權(quán)重向量.

在本文中,為獲得重疊關(guān)系之間的語義相關(guān)性,模型使用多頭自注意力機制,模型結(jié)構(gòu)如圖2所示,其中h表示該機制中的并行頭部的數(shù)量.

圖2 多頭自注意力機制Fig.2 Multi-headed self-attention model

多頭注意力機制的原理如下:

首先使用縮放點積來計算相似性分數(shù),經(jīng)過權(quán)重的分配得到結(jié)果A,計算如式(10)～式(12)所示:

(10)

α=softmax(score)

(11)

A(query,key,value)=α·value

(12)

多頭注意力的每個平行頭部的計算如式(13)所示:

(13)

最后,連接每個頭部的輸出,來獲得包含豐富語義信息的向量矩陣,如式(14)所示:

MutiHead(query,key,value)=WM[head1,head2,…,headh]

(14)

本文把向量R與向量S拼接形成Rs,令query=key=value=Rs,計算過程如式(15)所示:

R′=MultiHead(Rs,Rs,Rs)

(15)

其中,R′∈k×dw是關(guān)系增強向量矩陣.

3.5 句級注意力

本文使用句級注意力機制來動態(tài)突出重要的句子實例.句級注意力機制原理如式(16)～式(18)所示:

ei=S′iAr

(16)

(17)

(18)

3.6 輸出層

本文模型使用softmax函數(shù)來計算條件概率p(r|S,θ),它表示在給定參數(shù)θ的情況下,將特征向量S劃分為相應(yīng)的關(guān)系r的概率.計算如式(19)～式(20)所示:

(19)

o=Ms+d

(20)

其中k為關(guān)系的個數(shù),o是上述網(wǎng)絡(luò)的輸出,d∈k是一個偏置向量,M是關(guān)系類型的向量矩陣.

3.7 優(yōu)化目標函數(shù)

本文用交叉熵對句子集合S定義目標函數(shù),如式(21)所示:

(21)

其中,n表示句子包的數(shù)量,θ是模型所有的參數(shù),包括詞向量、位置嵌入、關(guān)系增強、卷積操作、詞級注意機制和分類器的參數(shù).本文采用隨機梯度下降法來最小化目標函數(shù).

在訓練過程中,對輸出層采用dropout算法[24]來防止過擬合.

4 實驗與評估

本章首先介紹實驗中使用的NYT10數(shù)據(jù)集和相應(yīng)的評價指標.然后將本文的方法與基線關(guān)系抽取方法的性能進行對比,并展示它在不同大小的數(shù)據(jù)集上的表現(xiàn).

4.1 數(shù)據(jù)集評估指標

NYT10數(shù)據(jù)集常被用于遠程監(jiān)督關(guān)系抽取任務(wù),最初由文獻[8]提出,并被眾多研究人員廣泛使用[25,26].該數(shù)據(jù)集是通過將Freebase中的實體對與《紐約時報》語料庫對齊生成的.首先使用斯坦福命名的實體識別工具來識別場景中的實體.然后使用Freebase中的三元組實例來標記句子.該數(shù)據(jù)集中有53個關(guān)系類型,包括特殊關(guān)系NA,表明句子沒有表達任何關(guān)系.2005～2006年的句子作為訓練集使用,2007年之后的句子作為測試集使用.

本文使用精確率-召回率(Precision-Recall,P-R)曲線,平均精確率P@N以及AUC值作為評估指標.

4.2 實驗設(shè)置

本文采用與Lin等人[13]相同的參數(shù)設(shè)置來訓練模型,使用三折交叉驗證法對模型進行調(diào)整[27],實驗使用的參數(shù)如表2所示.

表2 實驗參數(shù)表Table 2 Experimental parameters

4.3 實驗比較

4.3.1 與基線算法的P-R曲線比較

為驗證本文模型的性能,將其與以下工作進行比較.

1)Mintz[7]是傳統(tǒng)的基于特征的遠程監(jiān)督模型,聚合一個包中所有實例的特征,并將其送入分類器進行模型訓練.

2)Hoffmann[11]是傳統(tǒng)的基于特征的遠程監(jiān)督模型,在MIL思想的基礎(chǔ)上,提出“at-least-one”假設(shè).

3)PCNN+MIL[12]將MIL融合到PCNN中以解決標簽錯誤問題.

4)PCNN+ATT[13]使用句子級注意力自動為句子向量分配權(quán)重,以緩解錯誤標記的問題.

5)HSAN[19]使用一種分層選擇性注意力網(wǎng)絡(luò),來降低計算成本并捕獲關(guān)鍵詞特征.

6)PCNN+PATT+SBA[21]使用位置注意機制來減少噪聲詞的影響.

7)MrMep[16]提取所有可能的關(guān)系和目標關(guān)系,并將這兩個過程打包成一個聯(lián)合模型,來解決重疊實體對的問題.

圖3展示本文模型與基線模型的P-R曲線對比結(jié)果.

圖3 本文模型與基線模型的P-R曲線對比結(jié)果Fig.3 P-R curves of the model in our paper and the baseline model

由圖3可得:

1)基于神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取模型比基于特征的模型具有更好的性能,這表明基于特征的模型在捕捉深層語義信息方面較弱,不適合大規(guī)模數(shù)據(jù)的關(guān)系提取.

2)HSAN優(yōu)于PCNN+ATT和PCNN+MIL模型,結(jié)果表明混合神經(jīng)網(wǎng)絡(luò)模型可以抽取句子多維度的特征,從而提高關(guān)系抽取的性能.

3)PARE模型性能優(yōu)于HSAN、PCNN+PATT+SBA和MrMep模型,說明本文提出的關(guān)系增強機制與位置注意力提高關(guān)系抽取的準確率.

4.3.2 不同句子數(shù)量的影響

本文使用平均準確度P@N展示不同模型的關(guān)系提取性能.實驗結(jié)果示于表3中.

表3 不同句子數(shù)量實體對的P@N值Table 3 P-R curves of the model in our paper and the benchmark model

從表3可以看出:

1)PARE模型的P@N值超過基線模型PCNN-ATT,與PCNN-ATT模型相比增加19%.

2)PARE模型的P@N值超過模型HSAN、PCNN-PATT-SBA和MrMep.這表明,關(guān)系增強機制增強了關(guān)系之間的語義關(guān)聯(lián),位置特征注意力機制充分利用了單詞之間的位置信息,這兩個模塊為關(guān)系抽取提供了更多維度的語義特征.

4.3.3 消融實驗

本節(jié)設(shè)計消融實驗,來更好地說明PARE模型中每個模塊的貢獻.PA表示PARE模型缺省關(guān)系增強模塊,RE表示PARE模型缺省位置特征注意力模塊.結(jié)果如圖4所示.

圖4 消融實驗結(jié)果Fig.4 Ablation experiment results

從圖4中可以得到:

1)PARE模型的性能高于模型HSAN.這表明,在混合神經(jīng)網(wǎng)絡(luò)中增加關(guān)系增強機制與位置特征注意力可以捕獲更多維度的語義特征.

2)PA模型比HSAN模型取得了更好的效果,表明本文提出的位置增強機制通過高斯分布對句子中的單詞重新分配權(quán)重,提高模型的抗噪能力.

3)RE模型的性能高于模型HSAN,表明使用多頭自注意力機制來捕獲關(guān)系之間的相關(guān)性有助于提高關(guān)系提取的準確率.

4.3.4 AUC值

將本文算法的AUC值與CNN+ATT、PCNN+ATT和HSAN算法進行比較,結(jié)果如表4所示.

表4 不同模型的AUC值Table 4 AUC values of different models

由表4中可以觀察到,與基線方法相比,PARE方法的性能有很高的提升.

4.3.5 多頭注意力機制中頭部數(shù)量的影響

在關(guān)系增強機制中,多頭注意機制中頭部的數(shù)量也會影響關(guān)系相關(guān)性的捕獲.因此,本節(jié)使用不同數(shù)量的頭部進行進一步的實驗分析,結(jié)果如表5所示.

表5 不同頭部數(shù)量的P@N值Table 5 P@N values of different numbers of heads

由表4可得,隨著頭部數(shù)量的增加,模型的性能并非持續(xù)上升,當頭部數(shù)量為8時,模型效果取得最優(yōu).

5 總 結(jié)

本文提出融合位置特征注意和關(guān)系增強機制的遠程監(jiān)督關(guān)系提取模型,在混合神經(jīng)網(wǎng)絡(luò)中加入位置特征注意力,以充分利用單詞之間的位置關(guān)系信息;為捕捉重疊關(guān)系間的關(guān)聯(lián)性,本文提出以多頭自注意力為基礎(chǔ)的關(guān)系增強機制來重新編碼關(guān)系向量.實驗表明,本文模型的性能相比于基線模型有較大改進.