田生偉 胡 偉 禹 龍 吐爾根·依布拉音 趙建國 李 圃

(1新疆大學(xué)軟件學(xué)院, 烏魯木齊 830008)(2新疆大學(xué)信息科學(xué)與工程學(xué)院, 烏魯木齊 830046)(3新疆大學(xué)中國語言學(xué)院, 烏魯木齊 830046)

事件(event)作為知識表示的一種重要形式，在自然語言處理領(lǐng)域受到廣泛關(guān)注.事件時序關(guān)系是指事件發(fā)生時其在時間上的先后順序關(guān)系，是事件間的一種語義關(guān)系.孫輝[1]結(jié)合統(tǒng)計機器學(xué)習(xí)方法和計算語言學(xué)知識，構(gòu)造出基于OTC語料庫(Timebank語料庫和Opinion語料庫的合集)的英文事件時序關(guān)系識別模型.Tourille 等[2]通過對THYME[3]語料庫分析，利用Bi-LSTM模型抽取醫(yī)學(xué)事件時序關(guān)系，實驗結(jié)果表明該模型能夠有效學(xué)習(xí)過去和將來的語義信息.鄭新等[4]通過構(gòu)造全局優(yōu)化模型，提出了一種基于全局優(yōu)化的中文事件時序關(guān)系的推理方法，該模型將事件時序關(guān)系看成整數(shù)線性規(guī)劃問題.

LSTM作為一種序列化模型，將維吾爾語文本視為有序詞序列，可充分考慮文本有序性和詞匯關(guān)聯(lián)性，更加符合自然語言表現(xiàn)形式.Tang 等[5]通過構(gòu)建基于LSTM模型來解決語義關(guān)系分類問題，實驗結(jié)果表明，與LSTM相比，Bi-LSTM能挖掘更豐富的語義信息，并具有充分利用上下文信息的能力.Zhou 等[6]提出基于注意力機制的Bi-LSTM模型，將其應(yīng)用于雙語情感分析，從而驗證了注意力機制在LSTM模型中應(yīng)用的有效性.

目前，事件時序關(guān)系研究主要針對中文和英文等大語種，而關(guān)于維吾爾語等小語種的研究則相對較少.TimeML標(biāo)注體系中提出了13種時序關(guān)系的分類方案，本文將事件時序關(guān)系劃分為間斷前后關(guān)系、不間斷前后關(guān)系以及重疊關(guān)系3類.在維吾爾語事件時序關(guān)系識別任務(wù)中采用結(jié)合注意力機制的Bi-LSTM模型，將維吾爾語事件時序關(guān)系的識別問題轉(zhuǎn)化為對事件時序關(guān)系的三分類問題.

1 事件相關(guān)定義

定義1事件是指在特定時間和環(huán)境下發(fā)生、由若干角色參與、表現(xiàn)出動作特征的一件事情[7].圖1中描述了4個事件，分別為報道事件、火災(zāi)事件、死亡事件和受傷事件.

譯文：

據(jù)土耳其媒體29日報道，土耳其東南部馬爾丁省的一個敘利亞難民營當(dāng)天發(fā)生火災(zāi)，造成3人死亡、6人受傷。

圖1事件觸發(fā)詞舉例

據(jù)新疆地震局預(yù)測……圖2泛指事件舉例

定義4候選事件對(candidate event pair)是指對維吾爾語文本中所有事件按照組對規(guī)則進行組對后的事件對.

假設(shè)給定維吾爾語文本中的事件集合為E={e1,e2,…,en}.按照一定的規(guī)則對事件集合中的事件進行組對，從而構(gòu)成候選事件對〈ei,ej;y〉.其中，y∈{0,1,2}為候選事件對的標(biāo)簽，0表示事件ei和事件ej為間斷前后關(guān)系，1表示事件ei和事件ej為不間斷前后關(guān)系，2表示事件ei和事件ej為重疊關(guān)系.圖3中共描述了火災(zāi)事件、死亡事件、受傷事件、事故事件(火災(zāi))4個事件，分別用e1，e2，e3，e4表示，分析可知構(gòu)成的候選事件對為〈e1,e2;1〉，〈e1,e3;1〉，〈e2,e3;2〉等.

譯文：

今天上午，安徽合肥某小區(qū)居民樓發(fā)生一起大火，共造成1人死亡，6人受傷，目前事故原因正在進一步調(diào)查中。

圖3候選事件對舉例

2 維吾爾語事件時序關(guān)系識別模型

本文采用結(jié)合注意力機制的Bi-LSTM模型來完成維吾爾語事件時序關(guān)系的識別.識別過程如圖4所示.

圖4 維吾爾語事件時序關(guān)系識別過程框架圖

2.1 候選事件對抽取

將已標(biāo)注事件的實驗語料進行事件提取，并按照一定的規(guī)則對其進行兩兩組對，判斷組對的時序關(guān)系.然后，按照定義4，貼上對應(yīng)的標(biāo)簽.具體的抽取步驟如下：

① 將實驗語料中每篇語料所提取出來的事件放入對應(yīng)的事件列表Li(i=1,2,…,N)中，其中N為實驗語料的總數(shù).

② 循環(huán)遍歷事件列表Li并移除泛指事件.

③ 將步驟②中剩余事件進行兩兩組對，構(gòu)成事件對〈ej,ek〉(j=1,2,…,n-1;k=j+1,…,n)，其中n為移除泛指事件后事件列表中的剩余事件總數(shù).然后，判斷事件ej和事件ek所具有的時序關(guān)系，貼上對應(yīng)的標(biāo)簽，構(gòu)成候選事件對〈ej,ek;y〉,并將其放入候選事件對集合E中.

④ 循環(huán)步驟②和步驟③，直至得到所有語料的候選事件對，并將其放入候選事件對集合E中.

2.2 事件間規(guī)則特征抽取

根據(jù)實驗組維吾爾語語言學(xué)家總結(jié)的維吾爾語語言特點及事件時序關(guān)系特性，抽取了13項事件間規(guī)則特征.

1) 事件類別(EType):事件類別反映了事件所屬類型.參照國際事件標(biāo)注體系A(chǔ)CE(包含阿拉伯語、漢語、英語3種語言)以及實驗組維吾爾語語言專家給出的事件結(jié)構(gòu)特點，劃分了8個大類、35個小類.若事件類別相同則特征值取1，否則取0.

2) 事件子類別(ESubType):事件子類別進一步定義了事件所屬的類別.與事件類別相似，若事件子類別相同則特征值取1，否則取0.

3) 事件極性(EPolarity):事件極性有Positive和Negative兩種.若根據(jù)上下文信息分析該事件已經(jīng)發(fā)生或正在發(fā)生，則對應(yīng)的事件極性為Positive；否則，事件極性為Negative.若事件極性相同則特征值取1，否則取0.

4) 事件時態(tài)(ETense):事件時態(tài)描述了事件為過去發(fā)生的事件還是現(xiàn)在發(fā)生的事件或者將來發(fā)生的事件.若事件時態(tài)相同則特征值取1，否則取0.

5) 事件間前后關(guān)系(EBeAfter):事件間前后關(guān)系指事件對應(yīng)的觸發(fā)詞在文本中出現(xiàn)的先后順序.假設(shè)有候選事件對〈ei,ej;1〉，若事件ei對應(yīng)的觸發(fā)詞出現(xiàn)在前則特征值取1，否則特征值取0.

6) 事件間依存關(guān)系(EDependce): 事件間依存關(guān)系是根據(jù)句法分析得到的依存關(guān)系表.若2個事件出現(xiàn)在同一個句子中，則具有依存關(guān)系，特征值取1；否則不具有依存關(guān)系，特征值取0.

7) 事件觸發(fā)詞類型(EIndType):事件觸發(fā)詞類型包括泛指事件、本句事件和非本句事件.事件觸發(fā)詞類型不同時2個事件的時序關(guān)系為重疊關(guān)系的可能性較大，而事件觸發(fā)詞類型相同時2個事件的時序關(guān)系為前后關(guān)系的可能性較大，故事件觸發(fā)詞類型對判別2個事件的時序關(guān)系有重要意義.若事件觸發(fā)詞類型相同則特征值取1，否則取0.

8) 觸發(fā)詞詞性(ECharacter):觸發(fā)詞詞性能反映了事件的信息.若事件觸發(fā)詞詞性相同，則特征值取1，否則特征值取0.根據(jù)語料統(tǒng)計知，事件觸發(fā)詞中接近90%的觸發(fā)詞詞性為名詞和動詞.

9) 觸發(fā)詞語義角色(ESemRole):語義角色是指名詞和動詞組成語義結(jié)構(gòu)后，名詞在該語義結(jié)構(gòu)中所擔(dān)任的角色.觸發(fā)詞語義角色能較好地反映事件語義信息.若候選事件對觸發(fā)詞語義角色相同則特征值取1，否則特征值取0.

10) 觸發(fā)詞句法結(jié)構(gòu)(ESynStruct):句法結(jié)構(gòu)是維語語法重要的組成部分，反映了詞在維語文本中所擔(dān)任的成分.若候選事件對觸發(fā)詞句法結(jié)構(gòu)相同，則特征值取1，否則特征值取0.

11) 事件間間隔事件數(shù)目(ENumber):經(jīng)實驗統(tǒng)計可知，實驗語料中超過60%的候選事件對間隔的事件數(shù)為[0,2].因此，若候選事件對間隔的事件數(shù)目在此區(qū)間內(nèi)則特征值取1，否則特征值取0.

12) 觸發(fā)詞格語法(ECaGrammar):格語法體現(xiàn)出名詞性短語在篇章語句中的句法功能，在語法形式上具有獨立性，是維吾爾語語言的重要特征之一.若候選事件對對應(yīng)觸發(fā)詞的格語法相同，則特征值取1，否則特征值取0.

13) 事件間相對距離(ERelDistance):事件間相對距離是指候選事件對對應(yīng)觸發(fā)詞在文本中間隔詞或其他符號的個數(shù).通過語料統(tǒng)計可知，實驗語料中超過60%的候選事件對間的相對距離為[0,50].若候選事件對間相對距離在此區(qū)間內(nèi)則特征值取1，否則特征值取0.

2.3 維吾爾語事件時序關(guān)系識別

圖5 結(jié)合注意力機制的Bi-LSTM維吾爾語事件時序關(guān)系識別模型

2.3.1 Bi-LSTM模型

LSTM模型[9]通過特殊設(shè)計的門控機制來避免長期依賴問題.本文利用Gers等[10]提出的LSTM變體形式，通過門控單元從記憶模塊內(nèi)收集激活值，更新記憶細(xì)胞的狀態(tài).

LSTM模型在處理事件句詞序列時往往忽略下文信息.Bi-LSTM模型包含一個前向LSTM模型和一個后向LSTM模型，前向LSTM模型捕獲某一時刻的前文特征信息，后向LSTM模型捕獲某一時刻的后文特征信息[11].將這2個上下文信息相加，則t(t=1,2,3,…,N)時刻的輸出為

ht=hb,t+hf,t

(1)

式中，ht，hb,t，hf,t分別為Bi-LSTM模型、前向LSTM模型和后向LSTM模型在t時刻的輸出.

2.3.2 注意力機制

本文根據(jù)對應(yīng)事件觸發(fā)詞設(shè)計注意力機制，以此來增強模型獲得對應(yīng)事件句的事件語義信息的能力，則事件ek所在事件句的事件語義特征表達(dá)為

(2)

βk=softmax(WMMk)

(3)

rk=βkHk

(4)

(5)

式中，Mk∈R2d×m為事件句詞序序列經(jīng)過模型后的語義表示；Wh,w∈R2d×2d為Hk和Wk結(jié)合后的權(quán)重矩陣；WM∈R2d為Mk對應(yīng)的權(quán)重矩陣；Wp和Wx分別表示模型訓(xùn)練時rk和hm的權(quán)重矩陣.Rockt?schel等[12]證明將Wxhm放入最終的事件句表達(dá)時，能夠挖掘事件句隱含的事件語義信息.

2.3.3softmax層

softmax層分類公式為

(6)

3 實驗結(jié)果與分析

3.1 語料準(zhǔn)備

實驗中選取天山網(wǎng)、人民網(wǎng)等維語網(wǎng)頁作為語料來源.利用網(wǎng)絡(luò)爬蟲下載網(wǎng)頁，經(jīng)過去重、去噪等操作篩選出包含事件描述的新聞報道文本，作為實驗語料.本實驗共標(biāo)注了300篇語料，統(tǒng)計發(fā)現(xiàn)其中包含1 361條為間斷前后關(guān)系，993條為不間斷前后關(guān)系，829條為重疊關(guān)系.按照2.1節(jié)中的樣本構(gòu)建方法，生成3 183條樣本數(shù)據(jù).

3.2 實驗評價標(biāo)準(zhǔn)

本文對模型性能的評價標(biāo)準(zhǔn)為準(zhǔn)確率、召回率及衡量模型整體性能的F值.假設(shè)間斷前后關(guān)系、不間斷前后關(guān)系以及重疊關(guān)系的準(zhǔn)確率分別為Pi，Pn和Po，召回率分別為Ri，Rn和Ro，在測試樣本中的分布比例分別為A,B,C.則事件時序關(guān)系模型性能的準(zhǔn)確率Pm、召回率Rm、F值分別為

Pm=PiA+PnB+PoC

(7)

Rm=RiA+RnB+RoC

(8)

(9)

3.3 實驗設(shè)計

為保證實驗結(jié)果的穩(wěn)定性，所有實驗均將樣本數(shù)據(jù)隨機打亂，然后采用十折交叉驗證，取10次結(jié)果的平均值作為最終結(jié)果，參數(shù)設(shè)置如下：學(xué)習(xí)率為0.01；每一次迭代訓(xùn)練時批處理樣本數(shù)為15；模型訓(xùn)練達(dá)到最優(yōu)的迭代次數(shù)為55；詞向量維度為150；Bi-LSTM隱藏層節(jié)點數(shù)為150.

3.3.1 語義特征對實驗性能的影響

2.2節(jié)抽取的特征主要是事件類型、事件極性以及事件句法結(jié)構(gòu)等基于事件間內(nèi)部結(jié)構(gòu)的特征，缺少對整個事件句的語義考慮.本節(jié)探討了基于詞向量和結(jié)合注意力機制的Bi-LSTM模型生成的事件語義特征對事件時序關(guān)系識別的影響.分別將表1中的2類特征作為softmax層的輸入，驗證語義特征對事件時序關(guān)系識別的影響，實驗結(jié)果見表1.

由表1可知，在去掉事件語義特征、僅包含事件間規(guī)則特征條件下的準(zhǔn)確率、召回率、F值較包含全部特征的準(zhǔn)確率、召回率、F值分別為下降了23.39%，21.80%，22.57%.由此證明了引入事件語義特征的有效性.這是因為時序關(guān)系是事件間的一種語義關(guān)系，事件間規(guī)則特征僅考慮了事件間內(nèi)部結(jié)構(gòu)特點，缺乏對整個事件句的語義信息考慮；而結(jié)合注意力機制的Bi-LSTM模型能夠充分考慮事件句的全局語義信息，挖掘事件句隱含的事件語義特征.

表1 事件語義特征對事件時序關(guān)系識別的影響 %

3.3.2 詞向量維度對實驗性能的影響

不同維度的詞向量蘊含的語義信息不同.理論上，維度越大的詞向量所蘊含的語義信息越豐富.故本文選擇的詞向量維度u=10，50，100，150，200.實驗結(jié)果見表2.

表2 詞向量維度對實驗結(jié)果的影響 %

由表2可知，詞向量維度越大，反映模型性能的準(zhǔn)確率、召回率、F值越高.u=150時模型性能達(dá)到最優(yōu)，準(zhǔn)確率為89.42%，召回率為86.70%，F(xiàn)值為88.03%.與u=150時相比，u=200時準(zhǔn)確率、召回率及F值分別下降了10.19%， 6.90%和8.52%.究其原因在于，維度過高的詞向量雖然包含更加豐富的語義信息，但是也包含了干擾信息和噪音，易產(chǎn)生過擬合現(xiàn)象，導(dǎo)致模型對數(shù)據(jù)的泛化能力降低[13]，影響模型的學(xué)習(xí)能力.

3.3.3 特征有效性驗證

結(jié)合維吾爾語語言特點及事件時序關(guān)系特性，抽取出13項事件間規(guī)則特征，并對其進行有效性驗證，結(jié)果見表3.

由表3可知，在去掉某一項規(guī)則特征之后，剩余12項規(guī)則特征和語義特征融合之后模型的準(zhǔn)確率、召回率、F值與包含全部特征時的準(zhǔn)確率、召回率、F值相比均下降.由此證明了13項事件間規(guī)則特征在維吾爾語事件時序關(guān)系識別性能上的有效性.

3.3.4 與其他循環(huán)神經(jīng)網(wǎng)絡(luò)模型的性能對比

在維吾爾語事件時序關(guān)系識別上，為驗證本文模型的有效性，將本文提出的模型與傳統(tǒng)LSTM模型[9]、LSTM模型[10]以及Bi-LSTM模型進行對比實驗，結(jié)果見表4.

表3 特征有效性驗證 %

表4 4種循環(huán)神經(jīng)網(wǎng)絡(luò)性能對比 %

由表4可知，LSTM模型在維吾爾語事件時序關(guān)系識別性能上優(yōu)于傳統(tǒng)LSTM模型，這是因為LSTM模型充分利用前一時刻細(xì)胞狀態(tài)的信息，能夠更加有效地挖掘事件句所隱含的深層語義信息.Bi-LSTM模型關(guān)于維吾爾語事件時序關(guān)系識別的實驗性能優(yōu)于LSTM模型，這是因為LSTM模型的序列信息從前向后依次傳播，并不包含從后向前的傳播過程，這種單向機制僅包含事件句詞匯序列當(dāng)前時刻的前文信息，而對后文信息并未涉及；而Bi-LSTM模型在LSTM模型基礎(chǔ)上增加了一個反向LSTM模型，正向LSTM模型用于捕獲上文的特征信息，反向LSTM模型用于捕獲下文的特征信息，從而可捕獲文本全局上下文信息.本文提出的結(jié)合注意力機制的Bi-LSTM維吾爾語事件時序關(guān)系識別的實驗性能優(yōu)于上述循環(huán)神經(jīng)網(wǎng)絡(luò)模型，這是因為前者利用Bi-LSTM模型提取出給定事件句所隱含的深層語義信息，同時根據(jù)事件觸發(fā)詞設(shè)計注意力機制，得到該事件句所隱含的事件語義特征表達(dá).

3.3.5 與其他模型的性能對比

在自然語言處理領(lǐng)域，SVM和CNN是2種常見模型.為充分驗證本文方法的有效性，將本文方法與SVM和CNN進行性能對比，結(jié)果見表5.

由表5可知，3種模型中，SVM模型的準(zhǔn)確率、召回率、F值最低.這是因為SVM為淺層機器學(xué)習(xí)算法，其挖掘數(shù)據(jù)特征的能力與本文模型和CNN相比相對較弱，后面2種模型能夠捕捉數(shù)據(jù)中更加復(fù)雜的數(shù)據(jù)分布，有效學(xué)習(xí)文本中更高層的特征表示.本文模型的準(zhǔn)確率、召回率及F值最高.這是因為淺層CNN模型利用局部卷積思想，只能捕獲文本序列的局部特征，缺乏對全局上下文信息的考慮[14]；而本文模型不僅能捕獲事件句全局上下文語義信息，還能捕獲事件句隱含的事件語義信息.

表5 幾種模型性能對比 %

4 結(jié)論

1) 基于維吾爾語語言特點及事件時序關(guān)系特性，利用結(jié)合注意力機制的Bi-LST模型挖掘維吾爾語事件句隱含的事件語義特征.

2) 根據(jù)事件間內(nèi)部結(jié)構(gòu)特點，抽取13項事件間規(guī)則特征，通過特征融合，完成維吾爾語事件時序關(guān)系識別任務(wù).

3) 通過與傳統(tǒng)LSTM模型、LSTM模型、Bi-LSTM模型進行對比實驗，驗證了本文模型在挖掘事件語義信息方面的有效性.

4) 通過與SVM模型和CNN模型的相比，驗證了本文模型在挖掘深層語義信息和復(fù)雜數(shù)據(jù)內(nèi)部結(jié)構(gòu)的優(yōu)勢.

參考文獻(References)

[1] 孫輝. 事件時序關(guān)系識別的研究與實現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)計算機科學(xué)與技術(shù)學(xué)院，2010.

[2] Tourille J, Ferret O, Neveol A, et al. Neural architecture for temporal relation extraction: A Bi-LSTM approach for detecting narrative containers [C] //Procofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(ShortPapers). Vancouver, Canada, 2017: 224-230. DOI:10.18653/v1/p17-2035.

[3] Styler W, Bethard S, Finan S, et al. Temporal annotation in the clinical domain [C] //The52ndAnnualMeetingoftheAssociationforComputationalLinguistics. Baltimore, Maryland, USA, 2014: 143-154.

[4] 鄭新, 李培峰, 朱巧明. 基于全局優(yōu)化的中文事件時序關(guān)系推理方法[J]. 中文信息學(xué)報, 2016,30(5): 129-135.

Zheng Xin,Li Peifeng,Zhu Qiaoming.Global inference for temporal relations between Chinese events[J].JournalofChineseInformationProcessing,2016,30(5):129-135.(in Chinese)

[5] Tang D, Qin B,Feng X, et al. Effective LSTMs for target-dependent sentiment classification [C] //ProcofCOLING2016. Osaka, Japan, 2016: 3298-3307.

[6] Zhou X, Wan X, Xiao J. Attention-based LSTM network for cross-lingual sentiment classification [C] //Proceedingsofthe2016ConferenceonEmpiricalMethodsinNaturalLanguageProcessing. Austin, Texas, USA, 2016: 247-256. DOI:10.18653/v1/d16-1024.

[7] 付劍鋒. 面向事件的知識處理研究[D].上海：上海大學(xué)計算機學(xué)院,2010.

[8] 鐘軍, 禹龍, 田生偉,等. 基于雙層模型的維吾爾語突發(fā)事件因果關(guān)系抽取[J]. 自動化學(xué)報, 2014,40(4):771-779. DOI: 10.3724/SP.J.1004.2013.00771.

Zhong Jun,Yu Long,Tian Shengwei,et al.Causal relation extraction of Uyghur emergency events based on cascaded model[J].ActaAutomaticaSinica,2014,40(4):771-779. DOI: 10.3724/SP.J.1004.2013.00771. (in Chinese)

[9] Hochreiter S, Schmidhuber J. Long short-term memory[J].NeuralComputation, 1997,9(8): 1735-1780.

[10] Gers F A, Schmidhuber J. Recurrent nets that time and count [C] //ProcofIEEE-INNS-ENNSIntJointConfonNeuralNetworks. Como, Italy, 2000: 189-194.

[11] Melamud O, Goldberger J, Dagan I. Context2vec: Learning generic context embedding with bidirectional LSTM[C]//Proceedingsofthe20thSIGNLLConferenceonComputationalNaturalLanguageLearning. Berlin, Germany, 2016:51-61. DOI:10.18653/v1/k16-1006.

[12] Rockt?schel T, Grefenstette E, Hermann K M, et al. Reasoning about entailment with neural attention [C] //ProcofIntConfonLearningRepresentations. San Juan, Puerto Rico, 2016:1-9.

[13] 李敏, 禹龍, 田生偉,等. 基于深度學(xué)習(xí)的維吾爾語名詞短語指代消解[J]. 自動化學(xué)報, 2017(11):1984-1992. DOI: 10.16383/j.aas.2017.c160330.

Li Min,Yu Long,Tian Shengwei,et al. Coreference resolution of Uyghur noun phrases based on deep learning[J].ActaAutomaticaSinica,2017(11):1984-1992. DOI: 10.16383/j.aas.2017.c160330.(in Chinese)

[14] 田生偉, 周興發(fā), 禹龍,等. 基于雙向LSTM的維吾爾語事件因果關(guān)系抽取[J]. 電子與信息學(xué)報, 2018,40(1)：200-208. DOI: 10.11999/JEIT170402.

Tian Shengwei,Zhou Xingfa,Yu Long,et al.Causal relation extraction of Uyghur events based on bidirectional long short-term memory model[J].JournalofElectronicsandInformationTechnology,2018,40(1)：200-208. DOI: 10.11999/JEIT170402. (in Chinese)