宋 洋，王厚峰

(北京大學(xué) 計算語言學(xué)教育部重點實驗室，北京 100871)

?

共指消解研究方法綜述

宋 洋，王厚峰

(北京大學(xué) 計算語言學(xué)教育部重點實驗室，北京 100871)

共指消解作為自然語言處理中的一個重要問題一直受到學(xué)術(shù)界的重視。二十多年來，基于規(guī)則的和基于統(tǒng)計的不同方法被提出，在一定程度上推進(jìn)了該問題研究的發(fā)展，并取得了大量研究成果。該文首先介紹了共指消解問題的基本概念，并采用形式化的方法對該問題做了描述；然后，針對國內(nèi)外近年來在共指消解研究中的方法進(jìn)行了總結(jié)；之后，對共指消解中重要的特征問題進(jìn)行了分析與討論；最后，歷數(shù)了共指消解的各種國際評測，并對未來可能的研究方向進(jìn)行了展望。

共指消解；指代消解；有指導(dǎo)學(xué)習(xí)；無指導(dǎo)學(xué)習(xí)

1 引言

共指消解[1-2]是自然語言處理的重要問題，它的有效解決對于機(jī)器翻譯、信息抽取、關(guān)系抽取、自動文摘以及問答系統(tǒng)等應(yīng)用都有重要意義。在機(jī)器翻譯中，有效的共指消解尤其是代詞消解將幫助機(jī)器翻譯提高準(zhǔn)確率。例如，對于英文中的代詞“they”，在英漢機(jī)器翻譯系統(tǒng)中根據(jù)其實際所指向的不同實體的性別，可以翻譯成為“他們”、“她們”或“它們”。而對于信息抽取任務(wù)，在識別出共指的名詞短語之后，將有利于挖掘出更多有用的實體信息與屬性信息，關(guān)系抽取亦是如此。對于自動文摘以及問答系統(tǒng)，共指消解也能夠在語言生成時起到重要地作用。例如，對于采用相同名詞短語作為主語的連續(xù)若干個句子，如果將除首句以外的其他句子的主語選擇性地用代詞來進(jìn)行替換，則既能保持文字的通順和連貫，又減少了一些不必要的表述，使文字的適讀性得到增強(qiáng)。

1.1 問題定義

共指消解有很多不同定義，但這些定義的實質(zhì)都是相同的。這里沿用國際著名評測ACE(Automatic Content Extraction，自動內(nèi)容抽取)的定義： 所謂共指消解即為文本中的表述(Mention，或稱為指稱語)確定其在真實世界中所指向的實體(Entity)的過程。這里，實體是一個抽象的概念，而其在文本中的具體體現(xiàn)則是各種不同或相同的表述。表述主要分為3類： 普通名詞短語、專有名詞和代詞(本文不討論事件共指問題，也即不把動詞看作表述)。從語言學(xué)的觀點看，表述還可以有很多其他更細(xì)致的分類，例如,縮略語、別名以及同位語等，甚至還有中文中經(jīng)常出現(xiàn)的省略語指代(即零形指代)?？紤]如下幾個例子。

例1 [張三]對人很熱情，大家都叫[他][張哥]。[張哥]是一名醫(yī)生，[他]工作非常認(rèn)真負(fù)責(zé)，同時，[他]也是[一個好父親]。

例2 [美利堅合眾國總統(tǒng)][巴拉克·奧巴馬]將于11月15日至18日對中國進(jìn)行國事訪問。

例3 兩會閉幕后，今年下半年將召開[中國共產(chǎn)黨第十八屆全國代表大會]。目前，[十八大]的各項準(zhǔn)備工作正有條不紊地進(jìn)行。

這3個例子中包含了很多前面提到的各種表述實例，比如例1中，[他]表示代詞，[張三]表示專有名詞，[張哥]可以看作是別名，[一個好父親]是普通名詞短語；例2中,[美利堅合眾國總統(tǒng)]與[巴拉克·奧巴馬]構(gòu)成同位語；例3中,[十八大]是[中國共產(chǎn)黨第十八屆全國代表大會]的縮略語。

共指消解問題的一個相關(guān)問題是指代消解。指代消解從定義上來說，是指為文本中出現(xiàn)的回指成分(Anaphora)確定其先行語(Antecedent)的過程。從廣義地角度講，指代消解與共指消解這兩個問題可以看成是同一個問題。

1.2 形式化表示

假設(shè)文本中全部指稱語(即候選表述)構(gòu)成集合A={m1,m2,...,mN}，則共指關(guān)系實際上是集合A上的一個等價關(guān)系。等價關(guān)系的定義如下：

設(shè)A不是空集，R是A×A的子集，若R是自反的、對稱的和傳遞的，則稱R為A上的等價關(guān)系。

文本中名詞短語間的共指關(guān)系在沒有其他約束的情況下，可以看作是等價關(guān)系。非空集合A上的等價關(guān)系R，決定了A的一個劃分。同樣地，集合A上的一個劃分確定了A的元素間的一個等價關(guān)系。

共指消解問題可以看作是集合A的劃分問題。假設(shè)集合A包含有N個元素(即N個候選表述)，那么集合A的劃分問題實際上就是N個元素的劃分問題。對于N個元素來說，如果劃分的等價類數(shù)目為m，則全部的劃分?jǐn)?shù)S(n,m)=S(n-1,m-1)+m*S(n-1,m)，此亦被稱為第二類Stirling數(shù)，如式(1)所示。

同時，m的取值范圍可以從1取到N，因此N個元素的全部可能的劃分?jǐn)?shù)目是隨著N的增長而呈指數(shù)增長的，如式(2)所示。

現(xiàn)實中，針對共指消解問題，很少有研究者從搜索最優(yōu)的等價類劃分的角度來考慮，因為這樣做會使得問題的復(fù)雜度太高。因此，無論是提出分類模型還是聚類模型解決共指問題時，大多都基于問題本身提煉了一系列的限制條件，以降低問題的復(fù)雜度，使得共指問題在一個合理的可接受的時間范圍內(nèi)可以求解。

2 共指消解研究方法

2.1 基于規(guī)則的方法

2.1.1 基于句法結(jié)構(gòu)的方法

Hobbs[3]提出的Hobbs算法是最早的代詞消解算法之一。該算法主要基于句法分析樹進(jìn)行相關(guān)搜索，它包含兩種算法： 一種方法是完全基于句法知識的，也稱樸素Hobbs算法；另一種既考慮句法知識又考慮語義知識。該算法不僅是一個具體的算法，同時更是一個理論模型，具體的算法流程和示例可以參見相關(guān)文獻(xiàn)[2-3]。

Haghighi和Klein[4]采用了豐富的句法語義知識作為規(guī)則，在MUC和ACE數(shù)據(jù)集上的實驗結(jié)果顯示該方法超過了大部分無指導(dǎo)學(xué)習(xí)方法，并達(dá)到了有指導(dǎo)學(xué)習(xí)方法同樣的效果。

2.1.2 基于語篇結(jié)構(gòu)的方法

中心理論(Center Theory)[5]是由Grosz等人提出的一種局部篇章連貫性理論。該理論主要關(guān)注篇章結(jié)構(gòu)中的焦點轉(zhuǎn)移、表述形式選擇以及話語一致性等問題。它的主要目標(biāo)是跟蹤句子中實體的焦點變化。由于共指消解中所研究的代詞消解問題往往就是尋找代詞所指向的某個焦點實體，因此，中心理論一經(jīng)提出便常用于代詞消解研究。

Brennan等[6]提出了一種基于中心理論的代詞消解算法，即BFP算法(該算法以其3位作者Brennan、Friedman和Pollard姓氏的首字母來命名)，其能夠用來尋找給定句子中代詞所指向的先行語，具體流程為： 順序遍歷所有可能的候選先行語，選擇能夠同時滿足詞匯句法(Morphosyntactic)、約束(Binding)和類型標(biāo)準(zhǔn)(Sortal criteria)的那個表述作為先行語。

Poesio等[7]采用一種參數(shù)化的方法來實際檢驗中心理論，其算法表明，在進(jìn)行代詞消解優(yōu)選性考察時，回指中心的唯一性約束是極其重要的。他們同時認(rèn)為，由于原始的中心理論對于什么是話語(Utterance)以及如何計算實體排序等問題均沒有明確回答，需要根據(jù)具體的語言環(huán)境而有所設(shè)定。

2.1.3 基于突顯性計算的方法

Lappin和Leass[8]提出RAP(Resolution of Anaphora Procedure)算法，該算法采用句法信息來識別第三人稱代詞和具有反身特征與共指特征的先行語，其先通過槽文法(Slot Grammar)進(jìn)行句子分析，再使用句法知識計算候選先行語的突顯性，最后選擇突顯性打分最高的作為先行語。

Kennedy和Boguraev[9]對RAP算法進(jìn)行了簡化。他們首先通過淺層分析得到必要的文法信息(主要是詞性標(biāo)注結(jié)果和句法功能標(biāo)識)；再根據(jù)所得到的各種句法信息對各候選先行語計算突顯性(采用加權(quán)求和的方式，為不同句法特征賦予不同的權(quán)值)；然后通過突顯性得分來確定先行語。

1998年Mitkov[10]提出了一種“有限知識”的指代消解方法。該方法只需要利用語法信息(獲得句子的詞性標(biāo)注結(jié)果)，結(jié)合一些指示性特征(如是否為限定性名詞短語或名詞短語是否重復(fù)出現(xiàn)等)來計算候選先行語的突顯性，再經(jīng)過一些諸如性別、單復(fù)數(shù)等一致性檢驗后，選取最佳候選作為先行語。

近年來，斯坦福大學(xué)自然語言處理研究小組的Raghunathan等人[11]提出了一種基于多遍過濾的共指消解方法，他們基于準(zhǔn)確率由高到低構(gòu)建了多個篩子(Sieve)用于為文本中出現(xiàn)的不同表述選取可能的先行語，同時每層過濾均基于之前得到的共指結(jié)果來進(jìn)行，該方法保證了準(zhǔn)確率較高的特征能夠在消解過程中被強(qiáng)化，并且聚類結(jié)果中不同表述的屬性信息可以在不同的篩子中得到共享。盡管方法很簡單，但是他們的系統(tǒng)在CoNLL-2011的英文共指消解評測中獲得了最佳的結(jié)果[12]，甚至超出了很多基于統(tǒng)計機(jī)器學(xué)習(xí)方法的系統(tǒng)。

2.2 基于學(xué)習(xí)的方法

基于機(jī)器學(xué)習(xí)的共指消解方法的核心在于距離準(zhǔn)則的學(xué)習(xí)(Distance Metric Learning)，這里所指的“距離”，既可以是表述對之間的距離，也可以是實體與表述之間的距離，不同的定義方式與相應(yīng)的消解粒度以及解決問題的框架有關(guān)。更詳細(xì)的又分為有指導(dǎo)的學(xué)習(xí)模型與無指導(dǎo)的學(xué)習(xí)模型，其差別就在于學(xué)習(xí)“距離”準(zhǔn)則時是否有訓(xùn)練數(shù)據(jù)的參與。另外，一些半指導(dǎo)(或者稱為弱指導(dǎo))的學(xué)習(xí)模型(例如，自訓(xùn)練、互訓(xùn)練)也曾被應(yīng)用于共指消解研究[13]，但本文并不特別討論這部分內(nèi)容。

2.2.1 有指導(dǎo)的學(xué)習(xí)模型

有指導(dǎo)的共指消解學(xué)習(xí)模型，可以依照不同的范式進(jìn)行劃分。這里以消解粒度及消解框架來進(jìn)行劃分，包括表述對模型、實體—表述模型、表述排序模型以及實體排序模型，如圖1所示。當(dāng)然，不同的消解粒度對無指導(dǎo)的學(xué)習(xí)模型和基于規(guī)則的共指消解方法都是適用的。為了清晰地描述有指導(dǎo)的共指消解問題的解決框架，本文以表述對模型為例進(jìn)行詳細(xì)介紹，其余后續(xù)的模型除了消解粒度不同外，在很多方面與表述對模型都參考了同樣的處理策略。

圖1 有指導(dǎo)的共指消解學(xué)習(xí)模型分類

表述對模型： 最常見的共指消解框架即表述對模型，該模型將共指消解問題看成是表述對之間的二元分類問題。表述即實體在文本中的具體表現(xiàn)形式，而共指消解則是確定文本中的不同表述分別指向哪些實體的過程。最樸素的解決方案就是判斷任意兩個表述共指或不共指，然后基于所有的表述對二元分類結(jié)果生成最終的共指聚類結(jié)果。表述對模型的共指消解框架如圖2所示，具體消解流程如下。

圖2 表述對共指消解模型框架

? 表述檢測： 共指消解的第一步是表述檢測(也被稱為指稱語檢測，英文即Mention Detection或Anaphoricity Determination)，即識別出文本中可能產(chǎn)生共指的全部候選表述(候選表述來自于全部的名詞短語集合的某個子集)。一般的方法包括基于規(guī)則的方法[12，14]、基于學(xué)習(xí)的方法[15-16]以及規(guī)則和統(tǒng)計相結(jié)合的方法[17]。至于究竟采取何種辦法，與選擇的語料庫有關(guān)，有些共指數(shù)據(jù)集(如ACE數(shù)據(jù))標(biāo)注了僅含有單一表述的實體(Singleton Entity)，則采用基于學(xué)習(xí)的方法進(jìn)行表述檢測可能會取得較好的效果并有助于后續(xù)共指消解任務(wù)結(jié)果的提升；另一些數(shù)據(jù)集(如MUC和OntoNotes)則未標(biāo)注單一表述實體，因此采用基于規(guī)則的方法在盡量提高表述識別召回率的情況下，方能夠?qū)ψ罱K的共指消解任務(wù)的實驗效果起到積極的作用。

? 訓(xùn)練(或測試)實例(表述對)構(gòu)建： 即從訓(xùn)練語料(或測試語料)中構(gòu)建用于分類器的輸入實例。在訓(xùn)練語料上構(gòu)建二元分類的訓(xùn)練實例時，需要考慮如何構(gòu)建正例和負(fù)例。最樸素的表述對實例構(gòu)建方式來自于McCarthy和Lehnert[18]，該方法將文本中任何兩個不在同一實體(或被稱為共指鏈)中的表述構(gòu)成負(fù)例，任何兩個位于同一實體中的表述構(gòu)成正例。由于這種方法產(chǎn)生的訓(xùn)練實例數(shù)量巨大，而且負(fù)例數(shù)量遠(yuǎn)遠(yuǎn)大于正例數(shù)量，會嚴(yán)重影響機(jī)器學(xué)習(xí)算法的效率同時產(chǎn)生嚴(yán)重的不平衡問題，因此后來很少被采用。一些研究人員采用一些特殊的用于實例構(gòu)建的規(guī)則來降低正負(fù)例的不平衡，使模型訓(xùn)練更趨合理。Soon等[19]采用的方法是將文本中的每一個表述mi與其前面最近的一個共指的表述mj(j

? 特征抽?。?詳細(xì)的共指消解特征的介紹參見第3節(jié)。

? 成對分類： 即表述對的二元分類模型。當(dāng)前用于表述對二元分類的機(jī)器學(xué)習(xí)算法主要有樸素貝葉斯(Na?ve Bayes)[23]、決策樹(Decision Tree)[18-19,21]、最大熵(Maximum Entropy)[24-25]以及支持向量機(jī)(Support Vector Machine)[26-27]等。

? 結(jié)果生成(也被稱為表述聚類)： 在獲得了所有表述對的二元分類結(jié)果后(通常來說該二元分類結(jié)果不一定必須是0-1取值，也可以是取1時的共指概率結(jié)果)，需要對其進(jìn)行進(jìn)一步處理以獲取實體聚類結(jié)果。常見的聚類結(jié)果生成方法包括： 最近最先(Closest-First)，即在所有滿足共指條件(如共指概率大于某給定閾值)的候選先行語中選擇與當(dāng)前表述最近的那個；最優(yōu)最先(Best-First)，即在所有候選先行語當(dāng)中選擇與當(dāng)前表述相互共指的可能性最大的那個(如共指概率大于某給定閾值里最大的那個)；以及傳遞性約束(3個表述中的任意兩對共指，則第3對也共指)。在表述對模型的共指消解框架下強(qiáng)化傳遞性約束的具體方法包括關(guān)聯(lián)聚類[28-30]、圖劃分[31-32]以及譜聚類[33]等。

? 評測： 共指消解的各種評價方法可參考相關(guān)論文[34-36]。

實體—表述模型： 與表述對模型不同，實體—表述模型[26，37]能夠整合已經(jīng)形成的實體(或共指鏈，即當(dāng)前已有的共指聚類結(jié)果)。該模型訓(xùn)練一個分類器，用以判斷當(dāng)前表述mi是否與其前面已經(jīng)形成的某個實體ck共指。在訓(xùn)練實例構(gòu)建上，該模型與表述對模型有本質(zhì)的不同，其實例構(gòu)建方式為將當(dāng)前表述mi與其前面已形成的實體中相互共指的ck構(gòu)成正例，將ck中與mi最接近的一個表述之間出現(xiàn)的所有表述所在的實體構(gòu)成負(fù)例。在特征抽取方式上，與表述對模型只刻畫兩個表述之間的特征不同，實體—表述模型需要考慮表述與已形成實體間的特征，而實體是由表述聚類而成的，因此只需要將所有表述對層次的特征刻畫到實體一層就可以了，例如，之前的表述對層面的二元特征{不出現(xiàn)(False)，出現(xiàn)(True)}刻畫到實體一層則體現(xiàn)為{均不出現(xiàn)(None)，大部分不出現(xiàn)(Most-False)，大部分出現(xiàn)(Most-True)，全部出現(xiàn)(All)}。表述對模型下常用的機(jī)器學(xué)習(xí)方法也可以直接遷移到實體—表述模型中來使用。值得注意的是，與表述對模型完全不同的是，實體—表述模型中實體聚類結(jié)果會通過測試過程自然而然的產(chǎn)生。這是源于特殊的測試實例構(gòu)建方式。首先，表述是按其在文本中出現(xiàn)的順序從左到右依次處理的；其次，對于每一個表述mi，測試實例基于該表述與前面按序處理過程中已經(jīng)形成的實體ck進(jìn)行構(gòu)建。在結(jié)果生成方面，也可以選擇最近最先或最優(yōu)最先，分別是選擇所有與當(dāng)前表述mi共指的實體中最近的一個或最優(yōu)的一個。

表述排序模型： 表述對模型中針對某一表述mi，在考慮其他可能候選先行語mj的時候是獨立進(jìn)行的，也就是獨立判斷不同表述對的共指結(jié)果，而不能針對表述mi同時考慮所有其他候選表述。表述排序模型將排序?qū)W習(xí)應(yīng)用于候選先行語的選擇中，針對每一個表述mi，構(gòu)建訓(xùn)練實例時，令與其真實共指的表述的排序值(例如，設(shè)定為2)高于其他與其不發(fā)生共指的表述的排序值(例如，設(shè)定為1)?；谶@樣的思想，Yang等[38]首先提出了基于競爭的雙候選模型(Twin-candidate Model)，該模型針對給定表述mi同時考察兩個候選先行語以確定哪一個與給定表述mi共指的可能性更大，經(jīng)過對所有可能的雙候選對進(jìn)行考察后確定mi的候選先行語，詳細(xì)的算法描述可參見相關(guān)文獻(xiàn)[38-39]。Rahman和Ng[26]擴(kuò)展了Yang等人的思路，將雙候選模型拓展為基于全部候選先行語的排序選擇，并采用排序支持向量機(jī)(RankSVM)[40]完成候選先行語的排序?qū)W習(xí)。有關(guān)該模型的表述檢測、實例構(gòu)建以及結(jié)果生成部分可參考表述對模型中的相應(yīng)介紹。

實體排序模型： 為了組合實體—表述模型與表述排序模型的優(yōu)點，提出了實體排序模型。該模型類似于實體—表述模型，只不過為當(dāng)前表述確定其所共指的某個實體的時候，采用的不是分類學(xué)習(xí)算法而是排序?qū)W習(xí)算法，即為當(dāng)前表述mi在之前按序處理形成的多個實體(或共指鏈)中尋找排序值得分最高的那個。Rahman和Ng[26]采用排序支持向量機(jī)實現(xiàn)了該模型。模型中的其他部分可參照之前介紹的3個模型中的相應(yīng)內(nèi)容來理解。Rahman和Ng在其論文[41]中指出，在采用基本一致的共指特征條件下，不同模型的效果為： 實體排序模型>表述排序模型>實體—表述模型>表述對模型。

2.2.2 無指導(dǎo)的學(xué)習(xí)模型

無指導(dǎo)的學(xué)習(xí)模型用于共指消解問題有其本質(zhì)的優(yōu)勢，因為它克服了有指導(dǎo)的學(xué)習(xí)模型中需要大量人工標(biāo)注訓(xùn)練語料的問題。作為篇章一級的自然語言處理任務(wù)，共指消解的標(biāo)注工作的復(fù)雜性要遠(yuǎn)遠(yuǎn)大于句子一級的詞性標(biāo)注(POS Tagging)、命名實體識別(NER)以及句法分析(Parsing)等任務(wù)。因此無指導(dǎo)的學(xué)習(xí)模型用于共指消解問題有著重要的研究意義，以下介紹一些主要的工作。

Cardie和Wagstaf[42]用特征向量來刻畫每個候選表述，然后采用凝聚式的層次聚類HAC(Hierarchical Agglomerative Clustering)來對這些表述進(jìn)行迭代式地合并，不過其中的距離準(zhǔn)則函數(shù)和特征權(quán)重均通過啟發(fā)式的方法指定。

Wagstaf和Cardie[43]提出了一種約束聚類算法應(yīng)用于共指消解任務(wù)。該算法規(guī)定了兩種約束“必須鏈接(Must-Link)”和“不能鏈接(Cannot-Link)”，分別限制了哪些候選表述必須共指和必須不共指。在他們的實驗中，大部分約束都是“不能鏈接”類型的，主要實現(xiàn)了一些語言學(xué)約束，比如性別、單復(fù)數(shù)以及語義類別一致性等。

Haghighi和Klein[44]采用非參數(shù)貝葉斯模型將共指消解問題刻畫成實體生成表述的過程，其基本模型描述了實體如何生成表述的中心詞，但為了解決較為特殊的代詞消解問題以及候選先行語的優(yōu)選問題，該算法將代詞模型以及突顯度模型結(jié)合到表述的整個生成過程中，同時，由于采用了非參數(shù)貝葉斯方法，該模型不需要預(yù)先指定實體(聚類)類別數(shù)，全部實體的個數(shù)是通過推斷過程自動產(chǎn)生的。

周俊生等[32]采用基于圖的方法對共指消解問題進(jìn)行建模，將共指消解過程轉(zhuǎn)化為圖劃分過程，使得每一對名詞短語并不是孤立地進(jìn)行共指判斷，而是充分考慮多個待消解項之間的相關(guān)性。同時，引入有效的模塊函數(shù)作為圖聚類的目標(biāo)函數(shù)，從而自動確定合適的聚類數(shù)目，實現(xiàn)名詞短語等價類的自動劃分。實驗結(jié)果表明，該算法是一種有效可行的無監(jiān)督共指消解方法。

Ng[45]提出了期望最大化的聚類算法用于共指消解，并與改進(jìn)的非參數(shù)貝葉斯模型進(jìn)行了比較，取得了更好的效果。

Poon和Domingos[46]采用聯(lián)合無指導(dǎo)的馬爾科夫邏輯網(wǎng)絡(luò)框架解決共指消解問題，該方法將共指的傳遞性約束結(jié)合到實體—表述模型中，并采用基于規(guī)則方法獲得的3個重要特征(中心詞匹配、同位語和謂語主格)來指示共指。實驗結(jié)果顯示，該模型的實驗效果能夠與部分有指導(dǎo)的模型相媲美。

Haghighi和Klein[47]采用生成模型分別刻畫了實體類型、實體以及表述的生成過程，并基于3者的聯(lián)合概率分布進(jìn)行近似的參數(shù)估計和求解。實驗結(jié)果顯示他們的模型甚至超出了Rahman和Ng[26]的有指導(dǎo)的實體排序模型。

3 共指消解特征分析

對于共指消解問題來說，無論是基于規(guī)則的方法還是基于學(xué)習(xí)的方法，如何選擇特征往往對于問題的有效解決起著至關(guān)重要的作用。共指消解的特征大體可以分為兩類： 一類是優(yōu)先型特征(Preferences)；另一類是約束型特征(Constraints)。前者包括字符串匹配優(yōu)先、近距離優(yōu)先以及句法平行優(yōu)先等等，后者包括性別一致性約束、單復(fù)數(shù)一致性約束以及語義類別一致性約束等。這種區(qū)分方式的主要依據(jù)是共指特征的指示性強(qiáng)弱。本文從語言學(xué)的角度出發(fā)，將共指特征分為詞法特征、語法特征、距離和位置特征以及語義特征，如表1所示。由于實體與表述之間的特征可以由實體中的每個表述與當(dāng)前表述之間的特征來刻畫，因此表1只介紹表述(mi與mj且j

表1 共指消解常用特征

續(xù)表

表1所示的特征均被視為平面特征(Flat Features)。近年來，隨著支持向量機(jī)中的核方法研究的不斷深入，各種基于表述間句法結(jié)構(gòu)的結(jié)構(gòu)化特征(Structured Features)被以核(Kernel)的形式提出來，Yang等[48]和孔芳等[49-50]分別將這樣的思想應(yīng)用在了中英文代詞消解和中文的零形指代問題上。

盲目地擴(kuò)大特征規(guī)模并不一定能有效地提高共指消解系統(tǒng)的性能。事實上，當(dāng)系統(tǒng)的語料規(guī)模受限時，并不是選用的特征越多得到的效果越好。對于機(jī)器學(xué)習(xí)方法這種情況更加突出。因為語料受限決定了可以構(gòu)建的訓(xùn)練實例受限，這時如果特征越多將導(dǎo)致特征空間中的各種相關(guān)參數(shù)訓(xùn)練就越不充分，從而出現(xiàn)數(shù)據(jù)稀疏的情況，使得訓(xùn)練得到的機(jī)器學(xué)習(xí)模型的泛化能力較差，影響實驗效果。因此，有效地基于機(jī)器學(xué)習(xí)模型進(jìn)行特征選擇就顯得尤為重要了。Hoste和Daelemans[51]采用反向消除和雙向爬山的方法進(jìn)行共指消解的特征選擇，取得了不錯的效果。Bengtson和Roth[20]研究了各種特征對于共指消解任務(wù)的貢獻(xiàn)，提出了即使在很弱的分類器下，如果采用合理的特征組合方式依然能夠達(dá)到不錯的實驗結(jié)果。Saha等[52]將基于遺傳算法的多目標(biāo)優(yōu)化技術(shù)應(yīng)用于共指消解問題，實現(xiàn)了基于不同評測準(zhǔn)則目標(biāo)優(yōu)化的特征選擇，實驗結(jié)果表明效果提升顯著。

4 共指消解評測

最早開始的共指消解評測是消息理解系列會議MUC(Message Understanding Conference)，該會議由美國國防高級研究計劃委員會(DARPA)資助。MUC主要包括信息抽取相關(guān)的評測任務(wù)。從1987年到1998年，該會議一共舉辦了7屆。共指消解相關(guān)的任務(wù)出現(xiàn)在1995年舉行的MUC6和1998年舉行的MUC7中，當(dāng)時提供的評測語料庫全部為英文。

從2000年開始，由美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)組織的自動內(nèi)容抽取(Automatic Content Extraction，ACE)評測會議取代了之前的MUC系列會議。ACE評測的主要任務(wù)之一是實體檢測與跟蹤。該任務(wù)將篇章中出現(xiàn)的各種表述指向其對應(yīng)的實體，本文所采用的共指消解定義正是來源于ACE評測中該任務(wù)的定義。從2003年開始，ACE評測提供了中文語料的共指消解任務(wù)，開啟了中文共指消解國際評測的先河。ACE評測一直持續(xù)到2008年，從2009年開始被TAC(Text Analysis Conference)評測所取代，共指消解任務(wù)也過渡到KBP(Knowledge Base Population，即基于維基百科的實體鏈接)任務(wù)。

2010年的SemEval國際評測增加了多語言共指消解任務(wù)，其采用OntoNotes 2.0數(shù)據(jù)集。該數(shù)據(jù)集不同于ACE評測所使用的ACE數(shù)據(jù)集，主要區(qū)別在于OntoNotes數(shù)據(jù)集不包含單表述實體(即單一表述的實體聚類，Singleton Entity)，而ACE是包含的。這也就導(dǎo)致了ACE標(biāo)注了大量指稱表述，而OntoNotes僅標(biāo)注那些發(fā)生共指關(guān)系的表述。

2011年的自然語言處理國際著名評測CoNLL舉辦了英文的共指消解評測，采用了更新版本的OntoNotes 4.0數(shù)據(jù)。除了不包含單表述實體以外，該數(shù)據(jù)集中對于同位語以及謂語主格(Predicate Nominative)也均不看作為共指關(guān)系。同時，事件名詞與動詞的共指關(guān)系也做了標(biāo)注。在這次評測中，排名前三的系統(tǒng)分別來自斯坦福大學(xué)Lee等的系統(tǒng)[12]、加泰羅尼亞理工大學(xué)Sapena等的系統(tǒng)[53]以及伊利諾伊香檳分校Chang等的系統(tǒng)[54]。Lee等的系統(tǒng)[12]采用基于規(guī)則并層層篩選的方法取得了第一名的好成績，他們以準(zhǔn)確率由高到低構(gòu)建了一系列的篩子迭代地為不同的表述選取先行語，分別基于MUC、B-cubed和CEAF-E 3項評測指標(biāo)獲得了59.57%、68.31%和45.48%的F值，3項指標(biāo)的平均F值為57.79%，同時針對表述檢測子任務(wù)獲得了準(zhǔn)確率66.81%、召回率75.07%以及F值70.70%。Sapena等的系統(tǒng)[53]首先基于決策樹C4.5學(xué)習(xí)共指特征權(quán)重，然后采用松弛標(biāo)記(Relaxation Labeling)的方法迭代地為每個表述(Mention)標(biāo)記其所屬實體(Entity)，分別基于3項評測指標(biāo)獲得了59.55%、67.09%和41.32%的F值，平均F值為55.99%，同時針對表述檢測子任務(wù)獲得了準(zhǔn)確率28.19%、召回率92.39%以及F值43.20%。Chang等的系統(tǒng)[54]基于一個單獨訓(xùn)練的成對共指消解模型，采用整數(shù)線性規(guī)劃(Integer Linear Programming)技術(shù)執(zhí)行最優(yōu)最先聚類(Best-First Clustering)，其在3項評測指標(biāo)中分別獲得了57.15%、68.79%和41.94%的F值，平均F值為55.96%，同時在表述檢測子任務(wù)上獲得了準(zhǔn)確率61.96%、召回率68.08%以及F值64.88%。

2012年的CoNLL依舊舉辦了共指消解評測，這次的任務(wù)采用了OntoNotes 5.0的數(shù)據(jù)集，并同時提供英文、中文以及阿拉伯文的語料進(jìn)行多語言的共指消解評測，以研究不同語言的共指消解研究的差別與共性。

在英文任務(wù)中，巴西里約熱內(nèi)盧天主教大學(xué)Fernandes的系統(tǒng)[55]獲得了第一名的成績。他們采用潛共指樹(Latent Coreference Trees)結(jié)構(gòu)以及基于熵的特征選擇(Entropy Guided Feature Induction)方法，在最大間隔結(jié)構(gòu)化感知器(Large Margin Structure Perceptron)的框架下進(jìn)行共指消解學(xué)習(xí)與推斷，分別基于MUC、B-cubed和CEAF-E 3項評測指標(biāo)獲得了70.51%、71.24%和48.37%的F值，三項指標(biāo)的平均F值為63.37%，同時針對指稱表述檢測子任務(wù)獲得了準(zhǔn)確率83.45%、召回率72.75%以及F值77.73%。來自德國海德堡理論研究所的Martschat等的系統(tǒng)[56]采用基于圖的方法，將文本中的表述看作圖中的節(jié)點，將表述間的不同共指特征所表示的關(guān)系看作邊，并嘗試采用譜聚類和貪心聚類進(jìn)行共指消解，在3項評測指標(biāo)上分別獲得了66.97%、70.36%和46.60%的F值，3項指標(biāo)的平均F值為61.31%，同時針對表述檢測子任務(wù)上獲得了準(zhǔn)確率76.10%、召回率74.23%以及F值75.15%。來自斯圖加特大學(xué)Bjorkelund等的系統(tǒng)[57]采用Resolver Stacking的方法將BF(Best-First，最優(yōu)最先)、PCF(Pronoun Closest First，代詞最近最先)和AMP(AverageMaxProb，最大化平均概率)3種共指推斷方法進(jìn)行層疊組合，同時在識別候選表述的時候基于一個分類器針對代詞(比如it、you和we)進(jìn)行特殊的指代性(Referential)判斷，實驗結(jié)果顯示他們的系統(tǒng)在三項評測指標(biāo)上分別獲得了67.58%、70.26%和45.87%的F值，平均F值為61.24%，同時在表述檢測子任務(wù)獲得了準(zhǔn)確率77.09%、召回率73.75%以及F值75.38%。

在中文任務(wù)中，獲得前三名的系統(tǒng)分別來自于德州大學(xué)達(dá)拉斯分校Chen等的系統(tǒng)[58]、哈爾濱工業(yè)大學(xué)Yuan等的系統(tǒng)[59]以及斯圖加特大學(xué)Bjorkelund等的系統(tǒng)[57]。Chen等的系統(tǒng)[58]借鑒了2011年斯坦福大學(xué)Lee等的方法，將多層篩選的規(guī)則化模型應(yīng)用在了中文共指消解任務(wù)上，并取得了第一名的好成績，分別基于MUC、B-cubed和CEAF-E三項評測指標(biāo)獲得了62.21%、73.55%和50.97%的F值，3項指標(biāo)的平均F值為62.24%，同時針對表述檢測子任務(wù)獲得了準(zhǔn)確率72.16%、召回率71.12%以及F值71.64%。Yuan等的系統(tǒng)[59]依然是主要借鑒了2011年斯坦福大學(xué)Lee等的方法，他們將規(guī)則和統(tǒng)計相結(jié)合的方法應(yīng)用在表述檢測和共指消解的多個相關(guān)任務(wù)中，在3項評測指標(biāo)上分別取得了60.33%、72.90%和48.83%的F值，平均F值為60.69%，同時針對表述檢測子任務(wù)獲得了準(zhǔn)確率64.09%、召回率72.75%以及F值68.15%。Bjorkelund等的系統(tǒng)[57]采用了他們在英文任務(wù)中相同的框架和思路，同時結(jié)合中文語言中的一些特殊性作為規(guī)則特征，他們在3項評測指標(biāo)上分別取得了58.61%、73.10%和48.19%的F值，平均F值為59.97%，同時針對表述檢測子任務(wù)獲得了準(zhǔn)確率63.54%、召回率69.45%以及F值66.37%。

5 當(dāng)前研究趨勢

近年來，在學(xué)術(shù)界的共同努力下，共指消解研究取得了不錯的成績，越來越多的科研人員開始關(guān)注這一領(lǐng)域的研究。以下從模型構(gòu)建以及共指特征等角度分別介紹共指消解任務(wù)的當(dāng)前研究趨勢。

模型構(gòu)建： 共指消解問題是由實體表述檢測和共指消解兩個子任務(wù)共同組成的，特別適合使用多任務(wù)的聯(lián)合學(xué)習(xí)與聯(lián)合推斷框架。Denis和Baldridge[60]采用整數(shù)線性規(guī)劃聯(lián)合推斷名詞短語的指代性檢測(即表述檢測)和共指消解。在ACE數(shù)據(jù)上，該方法使得MUC評測準(zhǔn)則的F值提高了3.7%～5.3%。針對類似的問題，Rahman和Ng[26]采用排序支持向量機(jī)(RankSVM)模型聯(lián)合學(xué)習(xí)篇章新表述檢測(Discourse-New Detection)和共指消解，獲得了比獨立學(xué)習(xí)兩個子任務(wù)更好的效果。

基于表述對模型的共指消解問題，在表述檢測已經(jīng)執(zhí)行的情況下，通常分為成對分類和表述聚類兩個子任務(wù)(如2.2.1節(jié)所述)。因此基于這兩個子任務(wù)的聯(lián)合模型也大量應(yīng)用在共指消解問題上。Finkel和Manning[28]與Chang等[54]利用整數(shù)線性規(guī)劃技術(shù)，基于預(yù)測得到的表述對共指概率值，分別采取傳遞性約束(Transitivity Constraints)和最優(yōu)最先約束(Best-First Constraints)，針對成對分類和表述聚類進(jìn)行聯(lián)合推斷，取得了很好的效果。但這種聯(lián)合推斷框架的劣勢在于，預(yù)測表述對間共指概率值的特征權(quán)重是通過單獨學(xué)習(xí)得到的。為了使學(xué)得的特征權(quán)重更加準(zhǔn)確，F(xiàn)inley和Joachims[61]、McCallum和Wellner[62]以及Song等人[63]分別采用有指導(dǎo)的聚類框架、條件模型以及馬爾科夫邏輯網(wǎng)絡(luò)實現(xiàn)了將成對分類和基于傳遞性約束的表述聚類進(jìn)行聯(lián)合學(xué)習(xí)的過程。

共指特征： 近年來，規(guī)則方法用于共指消解的實驗效果越來越好，而大量機(jī)器學(xué)習(xí)方法對共指消解問題的效果提升越發(fā)有限，因此更多的學(xué)者開始關(guān)注如何基于深層次的語言知識以及背景知識來進(jìn)行共指消解研究。

獲取深層次的語言知識及背景知識可以通過以下幾種途徑。首先，基于常規(guī)知識庫。這種方法需要借助一些已有的知識詞典，例如，英文的WordNet，中文的《現(xiàn)代漢語語法信息詞典》和HowNet等；其次，從大規(guī)模語料庫中挖掘模式信息。這種方法主要是根據(jù)一些已有模板，然后在大規(guī)模語料庫上統(tǒng)計各種信息。例如，Bergsma[64]在一個經(jīng)依存分析的語料庫上獲取了大量的共指信息，實現(xiàn)了名詞短語的性別和單復(fù)數(shù)信息的自動提取。Yang和Su[65]利用從語料庫中挖掘的模板信息來增強(qiáng)共指消解。Ponzetto和Strube[25]同時采用WordNet、Wikipedia以及語義角色信息構(gòu)建多種語義特征用于共指消解問題。Rahman和Ng[66]采用YAGO、FrameNet、名詞對特征、動詞對特征以及更為廣泛的背景知識來強(qiáng)化共指消解；最后一種方法是將互聯(lián)網(wǎng)看成是一個巨大的語料庫，利用搜索引擎返回的各個查詢得到的Snippets或結(jié)果數(shù)來計算相關(guān)信息，例如，利用返回結(jié)果數(shù)來計算兩個名詞短語間的互信息來考察其關(guān)聯(lián)程度等[67]。

相關(guān)任務(wù)： 隨著共指消解研究的深入開展，與之相似或相關(guān)的其他任務(wù)的研究也隨之被帶動。例如，命名實體消歧(或?qū)嶓w鏈接)任務(wù)。繼ACE評測之后的TAC評測有一項KBP(Knowledge Base Population)任務(wù)，是基于跨文檔的實體消歧任務(wù)，近年來有關(guān)該問題的研究工作成果顯著[68-69]。另一項相關(guān)任務(wù)是事件共指消解。當(dāng)前的語料庫大多都來自于新聞?wù)Z料，其中的句子包含有大量關(guān)于新聞事件的描述，因此如何實現(xiàn)基于事件的共指消解，就顯得尤為重要。事件共指消解任務(wù)研究已經(jīng)取得了一定的進(jìn)展[70-71]。此外，共指消解也是很多其他自然語言處理任務(wù)的基礎(chǔ)，例如，文本摘要、信息抽取、關(guān)系抽取以及觀點挖掘等任務(wù)。

6 結(jié)論與展望

當(dāng)前大多數(shù)自然語言處理任務(wù)脫胎于規(guī)則模型，并轉(zhuǎn)進(jìn)到統(tǒng)計機(jī)器學(xué)習(xí)為主的解決框架。共指消解問題也不例外。但例外的是，在經(jīng)過了十余年基于機(jī)器學(xué)習(xí)框架下的共指消解研究之后，人們發(fā)現(xiàn)，基于規(guī)則的系統(tǒng)依然能夠取得一致的甚至是更好的效果。導(dǎo)致這一問題的根源在于共指問題的形式化表示與其真正的語言學(xué)本質(zhì)相去甚遠(yuǎn)。當(dāng)然，任何一種方法都有其不足之處： 基于規(guī)則的系統(tǒng)不能從大量已標(biāo)注數(shù)據(jù)中獲得良好的支持，使得系統(tǒng)的泛化能力一般；基于統(tǒng)計機(jī)器學(xué)習(xí)的系統(tǒng)并不善于精確地解決問題。因此，未來的共指消解研究必然會沿著規(guī)則與統(tǒng)計相結(jié)合的思路一直走下去。一方面需要尋找更新更有效的特征來強(qiáng)化共指判斷，另一方面在現(xiàn)有特征的基礎(chǔ)上，需要考慮如何將篇章一級的計算模型融合到規(guī)則與統(tǒng)計相結(jié)合的系統(tǒng)當(dāng)中去，以解決當(dāng)前的形式化表示過于簡單且脫離實際的問題。

[1] 郎君, 秦冰, 劉挺, 等. 篇章共指消解研究綜述[J]. 漢語語言與計算學(xué)報, 2007, 17(4):227-253.

[2] 王厚峰. 指代消解的基本方法和實現(xiàn)技術(shù)[J]. 中文信息學(xué)報, 2002, 16(6):9-17.

[3] J.R. Hobbs. Resolving pronoun references[J]. Journal of Lingua , 1978, 44:311-338.

[4] A. Haghighi, D. Klein. Simple coreference resolution with rich syntactic and semantic features[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:1152-1161.

[5] B. Grosz, A. Joshi, S. Weinstein. Centering: A framework for modelling the local coherence of discourse[J]. Journal of Computational Linguistics, 1995, 21(2):203-225.

[6] Susan E. Brennan, Marilyn W. Friedman, Carl Pollard. A centering approach to pronouns[C]//Proceedings of the 25th Annual Meeting of the Association for Computational Linguistics (ACL), 1987:155-162.

[7] M. Poesio, R. Stevenson, Barbara Di Eugenio, et al. Centering: A parametric theory and its instantiations [J]. Journal of Computational Linguistics, 2004, 30(3):309-363.

[8] S. Lappin, H.J. Leass. An algorithm for Pronominal Anaphora Resolution[J]. Journal of Computational Linguistics, 1994, 20(4):535-561.

[9] C. Kennedy, B. Boguraev. Anaphora for everyone: Pronominal anaphora resolution without a parser[C]//Proceedings of the 16th International Conference on Computational Linguistics(COLING), 1996:113-118.

[10] R. Mitkov. Robust pronoun resolution with limited knowledge[C]//Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics (COLING-ACL), 1998:869-875.

[11] K. Raghunathan, H. Lee, S. Rangarajan,et al. A multi-pass sieve for coreference resolution[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2010.

[12] H. Lee, Y. Peirsman, A. Chang, et al. Stanford’s multi-pass sieve coreference resolution system at the conll-2011 shared task[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:28-34.

[13] V. Ng, C. Cardie. Bootstrapping coreference classifiers with multiple machine learning algorithms[C]//Proceedings of the 2003 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2003:113-120.

[14] O. Uryupina, S. Saha, A. Ekbal, et al. Multi-metric optimization for coreference: The unitn / iitp / essex submission to the 2011 conll shared task[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:61-65.

[15] V. Ng. Graph-cut-based anaphoricity determination for coreference resolution[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies(HLT-NAACL), 2009:575-583.

[16] Guodong Zhou, Fang Kong. Global learning of noun phrase anaphoricity in coreference resolution via label propagation[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:978-986.

[17] 孔芳，朱巧明，周國棟. 中英文指代消解中待消解項識別的研究[J]. 計算機(jī)研究與發(fā)展, 2012，49(5):1072-1085.

[18] J. McCarthy, W. Lehnert. Using decision trees for coreference resolution[C]//Proceedings of the 14th International Joint Conference on Artificial Intelligence, 1995.

[19] Wee Meng Soon, Hwee Tou Ng, Chung Yong Lim. A machine learning approach to coreference resolution of noun phrases[J]. Computational Linguistics, 2001, 27(4):521-544.

[20] E. Bengtson, D. Roth. Understanding the value of features for coreference resolution[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008.

[21] V. Ng, C. Cardie. Improving machine learning approaches to coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2002:104-111.

[22] C. Gasperi. Active learning for anaphora resolution[C]//Proceedings of the NAACL HLT 2009 Workshop on Active Learning for Natural Language Processing, 2009.

[23] Niyu Ge, J. Hale, E. Charniak. A statistical approach to anaphora resolution[C]//Proceedings of the ACL 1998 Workshop on Very Large Corpora, 1998.

[24] Xiaoqiang Luo, A. Ittycheriah, Hongyan Jing, et al. A mention-synchronous coreference resolution algorithm based on the bell tree[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2004:135-142.

[25] S. P. Ponzetto, Michael Strube. Exploiting semantic role labeling, wordnet and wikipedia for coreference resolution[C]//Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics(HLT-NAACL), 2006:192-199.

[26] A. Rahman, V. Ng. Supervised models for coreference resolution[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2009:968-977.

[27] Y. Versley, A. Moschitti, M. Poesio, et al. Coreference systems based on kernels methods[C]//Proceedings of the 22nd International Conference on Computational Linguistics(COLING), 2008:961-968.

[28] J.R.Finkel, C.D. Manning. Enforcing transitivity in coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2008:45-48.

[29] Shujian Huang, Yabing Zhang, Junsheng Zhou, et al. Coreference resolution using markov logic networks[C]//Proceedings of the 10th International Conference Computational Linguistics and Intelligent Text Processing(CICLing), 2009.

[30] 劉未鵬，周俊生，黃書劍，等.基于有監(jiān)督關(guān)聯(lián)聚類的中文共指消解[J]. 計算機(jī)科學(xué),2009, 36(9):182-185.

[31] C. Nicolae, G. Nicolae. Bestcut: A graph algorithm for coreference resolution[C]//Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2006:275-283.

[32] 周俊生，黃書劍，陳家駿，等. 一種基于圖劃分的無監(jiān)督漢語指代消解算法[J]. 中文信息學(xué)報, 2007, 21(2):77-82.

[33] 謝永康，周雅倩，黃萱菁. 一種基于譜聚類的共指消解方法[J]. 中文信息學(xué)報, 2009, 23(3):10-16.

[34] Marc B. Vilain, John D. Burger, John S. Aberdeen, et al. A model-theoretic coreference scoring scheme[C]//Proceedings of the Sixth Message Understanding Conference(MUC), 1995:45-52.

[35] A.Bagga, B.Baldwin. Algorithms for scoring coreference chains[C]//Proceedings of the First International Conference on Language Resources and Evaluation Workshop on Linguistics Coreference, 1998:563-566.

[36] Xiaoqiang Luo. On coreference resolution performance metrics[C]//Proceedings of the joint conference on human language technology and empirical methods in natural language processing(HLT-EMNLP),2005: 25-32.

[37] Xiaofeng Yang, Jian Su, Jun Lang, et al. An entity-mention model for coreference resolution with inductive logic programming[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2008:843-851.

[38] Xiaofeng Yang, Guodong Zhou, Jian Su, et al. Coreference resolution using competition learning approach[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2003:176-183.

[39] Xiaofeng Yang, Jian Su, Chew Lim Tan. A twin-candidate model for learning-based anaphora resolution[J]. Computational Linguistics, 2008, 34(3):327-356.

[40] T. Joachims. Optimizing search engines using clickthrough data[C]//Proceedings of the ACM Conference on Knowledge Discovery and Data Mining (KDD), 2002.

[41] A.Rahman, V. Ng. Narrowing the modeling gap: A cluster-ranking approach to coreference resolution[J]. Journal of Artificial Intelligence Research(JAIR), 2011:469-521.

[42] C. Cardie, K. Wagstaff. Noun phrase coreference as clustering[C]//Proceedings of the 1999 Conference on Empirical Methods in Natural Language Processing (EMNLP), 1999.

[43] K. Wagstaff, C. Cardie. Clustering with instance-level constraints[C]//Proceedings of the Seventeenth International Conference on Machine Learning (ICML), 2000:1103-1110.

[44] A. Haghighi, D. Klein. Unsupervised coreference resolution in a nonparametric bayesian model[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2007, 45:848.

[45] Vincent Ng. Unsupervised models for coreference resolution[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008:640-649.

[46] H. Poon, P. Domingos. Joint unsupervised coreference resolution with markov logic[C]//Proceedings of the 2008 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2008:650-659.

[47] A.Haghighi, D. Klein. Coreference resolution in a modular, entity-centered model[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (HLT-NAACL), 2010:385-393.

[48] Xiaofeng Yang, Jian Su, Chew Lim Tan. Kernel-based pronoun resolution with structured syntactic knowledge[C]//Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics(ACL), 2006:41-48.

[49] Fang Kong, Guodong Zhou. A tree kernel-based unified framework for chinese zero anaphora resolution[C]//Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2010:882-891.

[50] 孔芳，周國棟. 基于樹核函數(shù)的中英文代詞消解[J]. 軟件學(xué)報, 2012, 23(5):1085-1099.

[51] Véronique H. Optimization Issues in Machine Learning of Coreference Resolution[D]. PhD thesis, University of Antwerp, 2005.

[52] S. Saha, A. Ekbal, O. Uryupina, et al. Single and multi-objective optimization for feature selection in anaphora resolution[C]//Proceedings of 5th International Joint Conference on Natural Language Processing(IJCNLP), 2011:93-101.

[53] E. Sapena, Lluís Padró, J. Turmo. Relaxcor participation in conll shared task on coreference resolution[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:35-39.

[54] K. Chang, R. Samdani, A. Rozovskaya, et al. Inference protocols for coreference resolution[C]//Proceedings of the Fifteenth Conference on Computational Natural Language Learning: Shared Task, 2011:40-44.

[55] E. Fernandes, Cícero dos Santos, Ruy Milidiú. Latent structure perceptron with feature induction for unrestricted coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012:41-48.

[56] S. Martschat, Jie Cai, S. Broscheit, et al. A multigraph model for coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012:100-106.

[57] Anders Bj?rkelund, Richárd Farkas. Data-driven multilingual coreference resolution using resolver stacking[C]//Proceedings of the Joint Conference on EMNLP and CoNLL - Shared Task, 2012: 49-55.

[58] Chen Chen, Vincent Ng. Combining the best of two worlds: A hybrid approach to multilingual coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL - Shared Task, 2012:56-63.

[59] Bo Yuan, Qingcai Chen, Yang Xiang, et al. A mixed deterministic model for coreference resolution[C]//Proceedings of the Joint Conference on EMNLP and CoNLL Shared Task, 2012: 76-82.

[60] Pascal Denis, Jason Baldridge. Joint determination of anaphoricity and coreference resolution using integer programming[C]//Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (HLT-NAACL), 2007:236-243.

[61] T. Finley, T. Joachims. Supervised clustering with support vector machines[C]//Proceedings of the International Conference on Machine Learning (ICML), 2005:217-224,.

[62] A. McCallum, B. Wellner. Conditional models of identity uncertainty with application to noun coreference[C]//Proceedings of Neural Information Processing Systems (NIPS), 2004:905-912.

[63] Yang Song, Jing Jiang, Wayne Xin Zhao, et al. Joint learning for coreference resolution with markov logic[C]//Proceedings of the conference on Empirical Methods in Natural Language Processing and Natural Language Learning (EMNLP-CoNLL), 2012:1245-1254.

[64] S. Bergsma. Automatic acquisition of gender information for anaphora resolution[C]//Proceedings of the Canadian Conference on Artificial Intelligence, 2005:342-353.

[65] Xiaofeng Yang, Jian Su. Coreference resolution using semantic relatedness information from automatically discovered patterns[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2007.

[66] A. Rahman, V. Ng. Coreference resolution with world knowledge[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2011:814-824.

[67] M. Poesio, R. Mehta, A. Maroudas, et al. Learning to resolve bridging references[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics(ACL), 2004:143-150.

[68] Heng Ji, Ralph Grishman. Knowledge base population: Successful approaches and challenges[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics(ACL), 2011:1148-1158.

[69] S. Singh, A. Subramanya, F. Pereira, et al. Large-scale cross-document coreference using distributed inference and hierarchical models[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2011.

[70] C. A. Bejan, M. Titsworth, A. Hickl, et al. Nonparametric bayesian models for unsupervised event coreference resolution[C]//Proceedings of Neural Information Processing Systems (NIPS), 2009:73-81.

[71] Zheng Chen, Heng Ji. Graph-based event coreference resolution[C]//Proceedings of the Annual Meeting of the Association for Computational Linguistics (ACL), 2009:54-57.

A Survey of Coreference Resolution Research Methods

SONG Yang, WANG Houfeng

(Key Laboratory of Computational Linguistics (Ministry of Education), Peking University, Beijing 100871, China)

Coreference resolution, as a challenging issue, has been noted by NLP researchers for a long time. In recent twenty years, many kinds of advanced NLP techniques have been applied on this problem, and some of them have achieved significant improvements. In this paper, we first introduce some basic concepts and formalized this isuse. Then we summarize different research strategies adopted by researchers in recent decades. We highlight the feature engineering, which lies in the core of coreference resolution. Finally we describe the recent evaluations for this task and discusssome key issues and prospects in the future.

coreference resolution; anaphora resolution; supervised learning; unsupervised learning

宋洋(1986—)，博士，中級工程師，主要研究領(lǐng)域為自然語言處理。E?mail：ysong@pku．edu．cn王厚峰(1965—)，博士，教授，主要研究領(lǐng)域為語篇分析，情感挖掘，問答系統(tǒng)，語言知識庫。E?mail：wanghf@pku．edu．cn

1003-0077(2015)01-0001-12

2013-03-09 定稿日期： 2013-05-15

國家自然科學(xué)基金(61370117,61333018);國家社科重大項目(12&ZD227)

TP391

A