阮光冊(cè) 涂世文 田 欣 張 莉
(1.華東師范大學(xué)經(jīng)濟(jì)與管理學(xué)部信息管理系 上海 200241;2.上??萍及l(fā)展有限公司 上海 200235)
準(zhǔn)確獲取指定作者的發(fā)文信息是文獻(xiàn)計(jì)量、科學(xué)計(jì)量、科學(xué)評(píng)價(jià)等領(lǐng)域研究的基礎(chǔ),也是情報(bào)學(xué)研究的重要問(wèn)題。隨著世界科學(xué)研究的蓬勃發(fā)展,各類學(xué)術(shù)文獻(xiàn)數(shù)量正以驚人的速度增長(zhǎng)。STM(Scientific Technical and Medical,簡(jiǎn)稱STM,國(guó)際科學(xué)、技術(shù)和醫(yī)學(xué)出版商協(xié)會(huì))報(bào)告顯示[1],2018年,全球范圍內(nèi)的研究人員數(shù)量達(dá)到710萬(wàn),且每年以3%~4%的速度持續(xù)增長(zhǎng)。在學(xué)術(shù)文獻(xiàn)數(shù)據(jù)庫(kù)中,作者的名稱屬性通常是識(shí)別和區(qū)分學(xué)術(shù)文獻(xiàn)實(shí)體最常用的標(biāo)識(shí)符,但相較于模糊匹配和邏輯檢索功能在文獻(xiàn)數(shù)據(jù)庫(kù)中的廣泛應(yīng)用,對(duì)英文數(shù)據(jù)庫(kù)的作者檢索則受到作者同名、重名以及人名處理標(biāo)準(zhǔn)不一致等問(wèn)題的困擾,影響了檢索結(jié)果的精度。
人名消歧屬于自然語(yǔ)言處理的研究范疇,科技文獻(xiàn)的人名消歧問(wèn)題存在于各種語(yǔ)言中。就科技文獻(xiàn)的人名消歧來(lái)說(shuō),其目的是準(zhǔn)確獲取指定作者的發(fā)文信息,其核心問(wèn)題是判斷出現(xiàn)在不同文獻(xiàn)中相同的作者名是否指向同一個(gè)人。解決該問(wèn)題相對(duì)簡(jiǎn)單的方法是為每一個(gè)科研工作者提供一個(gè)唯一的標(biāo)識(shí)符,如ORCID,但由于涉及隱私政策等原因,在網(wǎng)絡(luò)化和數(shù)字圖書(shū)館快速發(fā)展的今天,采用唯一標(biāo)識(shí)碼的方法已無(wú)法有效解決海量科技文獻(xiàn)數(shù)據(jù)增長(zhǎng)的問(wèn)題。利用自動(dòng)化方式進(jìn)行人名消歧是目前研究的方向,主要的做法是采用某種規(guī)則或者算法,將同名作者加以區(qū)分,將無(wú)歧義的信息呈現(xiàn)給用戶[2]。然而,在實(shí)際研究中,由于作者英文署名存在多種形式使得構(gòu)建的模型排歧精度不高、可擴(kuò)展性欠佳等諸多問(wèn)題有待進(jìn)一步解決。
為此,本文以學(xué)術(shù)文獻(xiàn)增量式人名消歧為研究對(duì)象,解決新增學(xué)術(shù)文獻(xiàn)論文歸屬問(wèn)題。首先提取學(xué)術(shù)文獻(xiàn)中的多種特征數(shù)據(jù),借助語(yǔ)言模型BERT進(jìn)行語(yǔ)義特征抽取,將融合了文獻(xiàn)外部特征和文本內(nèi)部語(yǔ)義特征的數(shù)據(jù)輸入XGBoost集成模型進(jìn)行相似度匹配,通過(guò)計(jì)算,將新增文獻(xiàn)分配給同名作者中相似度最高的作者,完成學(xué)術(shù)文獻(xiàn)的增量消歧。最后,本文使用DBLP學(xué)術(shù)搜索平臺(tái)的學(xué)術(shù)文獻(xiàn)數(shù)據(jù)進(jìn)行實(shí)驗(yàn),獲得了較好的實(shí)驗(yàn)結(jié)果。
科技文獻(xiàn)作者同名消歧問(wèn)題屬于命名實(shí)體消歧的范疇[3]。自從Bagga和Baldwin首次提出跨文本的同指消歧(Co-Reference)[4]之后,人名共指的研究逐漸引起了學(xué)界的關(guān)注。2001年,數(shù)字圖書(shū)館聯(lián)合會(huì)議就作者消歧問(wèn)題展開(kāi)討論,研究解決數(shù)字參考文獻(xiàn)檢索系統(tǒng)中作者同名問(wèn)題。
作者同名消歧本質(zhì)上是一個(gè)聚類或分類問(wèn)題,一般包括特征抽取、相似度計(jì)算、消歧處理等步驟。
基于文獻(xiàn)特征的人名消歧是最早被使用的研究方法,利用學(xué)術(shù)文獻(xiàn)的元數(shù)據(jù),將對(duì)同名作者有著較大區(qū)分度的特征提取出來(lái),然后采用特征組合和構(gòu)造的方式,選擇并保留有效特征,借助模型實(shí)現(xiàn)對(duì)同名作者的分類,進(jìn)而實(shí)現(xiàn)消歧[2]。在特征提取時(shí),作者的個(gè)人信息或論文的題錄信息是常用的消歧特征。實(shí)踐研究表明,選擇有效的特征能準(zhǔn)確辨識(shí)作者的真實(shí)情況。如使用文獻(xiàn)的合作者信息進(jìn)行人名消歧[5],或?qū)⒆髡吆驼撐念}錄的多個(gè)概念特征進(jìn)行組合,作為消歧特征組,通過(guò)構(gòu)建相似度矩陣,借助聚類算法進(jìn)行消歧[6]。除了學(xué)術(shù)文獻(xiàn)基本元數(shù)據(jù)外,有學(xué)者[7]將論文的主題作為消歧特征提取,融合合作者信息、姓名關(guān)聯(lián)信息等多特征,實(shí)現(xiàn)人名消歧。
根據(jù)對(duì)所使用特征處理方式的不同,人名消歧的方法又可以進(jìn)一步劃分為無(wú)監(jiān)督的消歧方法、有監(jiān)督的消歧方法和半監(jiān)督的消歧方法。無(wú)監(jiān)督的人名消歧基本思路為:將所選特征轉(zhuǎn)化為一組數(shù)值,通過(guò)計(jì)算,將相似度比對(duì)結(jié)果滿足閾值要求的論文歸屬為同一作者。采用的算法包括:K均值算法[8]、基于密度的聚類算法[9]、凝聚層次聚類算法(HAC)[10]以及各種改進(jìn)算法等等。由于無(wú)監(jiān)督方法使用非標(biāo)注的文獻(xiàn)數(shù)據(jù),借助選取的特征值計(jì)算各文獻(xiàn)間的相似度,面對(duì)大量文獻(xiàn)時(shí),運(yùn)算效率會(huì)有所下降,且聚類文獻(xiàn)與現(xiàn)實(shí)中作者的對(duì)應(yīng)關(guān)系也存在問(wèn)題。雖有學(xué)者提出了多階段的聚類策略[11],一定程度上提高了無(wú)監(jiān)督聚類的準(zhǔn)確率,但實(shí)體對(duì)應(yīng)關(guān)系問(wèn)題依然極大地限制了其使用場(chǎng)景。有監(jiān)督的方法利用標(biāo)注好的訓(xùn)練數(shù)據(jù)集來(lái)學(xué)習(xí)分類模型,其做法為:總結(jié)已知作者發(fā)文、所屬單位等特征,依據(jù)這些特征對(duì)新出現(xiàn)論文進(jìn)行判斷,決定歸屬。文獻(xiàn)[12]采用隨機(jī)森林和DBSCAN 聚類的方法,在USPTO專利數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),獲得了較好的人名消歧效果。有監(jiān)督方法效率與精度較高,不足的地方在于需要大量標(biāo)注好的樣本,有時(shí)需要專業(yè)人員耗費(fèi)大量的時(shí)間對(duì)數(shù)據(jù)進(jìn)行標(biāo)注,限制了其在大型數(shù)據(jù)庫(kù)中的應(yīng)用。結(jié)合非監(jiān)督和監(jiān)督算法的優(yōu)點(diǎn),研究人員開(kāi)始嘗試采用將少量標(biāo)注數(shù)據(jù)與大量無(wú)標(biāo)注數(shù)據(jù)相結(jié)合[13],通過(guò)訓(xùn)練模型,進(jìn)行人名消歧。然而,半監(jiān)督的方法需要人工定義規(guī)則,以實(shí)現(xiàn)數(shù)據(jù)標(biāo)注[14],在處理大規(guī)模數(shù)據(jù)集的人名消歧任務(wù)時(shí),仍存在不足。
考慮到學(xué)術(shù)文獻(xiàn)數(shù)據(jù)中可利用的信息有限,研究者嘗試整合外部的資源和知識(shí)來(lái)達(dá)到數(shù)據(jù)增強(qiáng)的效果。該類方法的一般思路是:結(jié)合外部公開(kāi)的資源和知識(shí)庫(kù),通過(guò)創(chuàng)建新的規(guī)則和類別,將待消歧的姓名與現(xiàn)實(shí)世界中人物信息中區(qū)分度較強(qiáng)且準(zhǔn)確的社會(huì)屬性建立聯(lián)系,從而獲得更豐富的人物特征,并基于這些社會(huì)屬性進(jìn)行分類,從而實(shí)現(xiàn)消歧的目的。文獻(xiàn)[15]通過(guò)獲取包含作者文章的Web網(wǎng)頁(yè),判斷兩個(gè)待消歧作者的文獻(xiàn)是否同時(shí)出現(xiàn)在一篇Web文檔中,從而區(qū)分人名。然而,借助外部資源獲取額外的信息,客觀上會(huì)影響文獻(xiàn)檢索的效率,此外如何避免外部信息所帶來(lái)的噪音,也是該方法面臨的難題。
目前,一些研究開(kāi)始探討對(duì)學(xué)術(shù)論文所包含的語(yǔ)義特征進(jìn)行計(jì)算,對(duì)同一作者的研究成果進(jìn)行辨識(shí),從而實(shí)現(xiàn)對(duì)著者姓名的消歧。如文獻(xiàn)[16]利用語(yǔ)義分析技術(shù)對(duì)機(jī)構(gòu)知識(shí)庫(kù)進(jìn)行作者人名消歧,而文獻(xiàn)[17]則使用生物神經(jīng)網(wǎng)絡(luò)層級(jí)時(shí)序記憶( Hierarchical Temporal Memory,HTM) 對(duì)論文摘要進(jìn)行信息表示,實(shí)現(xiàn)作者人名消歧。
綜上所述,對(duì)于學(xué)術(shù)文獻(xiàn)作者姓名消歧問(wèn)題,現(xiàn)有的多種研究方法均存在各自的優(yōu)勢(shì)與不足。本文以增量式人名消歧場(chǎng)景作為研究對(duì)象,將BERT預(yù)訓(xùn)練語(yǔ)言模型引入作者人名消歧的研究,借助深度學(xué)習(xí)強(qiáng)大的語(yǔ)義特征提取和表示能力,解決英文文獻(xiàn)作者消歧的問(wèn)題。本文旨在探索深度學(xué)習(xí)方法在解決姓名歧義問(wèn)題時(shí)的可用性并評(píng)價(jià)其消歧效果。
人名增量消歧本質(zhì)上是一個(gè)分類問(wèn)題。傳統(tǒng)的基于機(jī)器學(xué)習(xí)的分類方法主要是通過(guò)將文本表示為特征向量,利用特征對(duì)文本進(jìn)行降維,選擇算法模型(如:SVM,樸素貝葉斯等)實(shí)現(xiàn)分類。這種基于詞袋模型的分類方法對(duì)特征工程的依賴度較高,在復(fù)雜任務(wù)及大數(shù)據(jù)量的情況下,從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)抽象的、高層次的全局特征的能力不強(qiáng),使得分類模型的泛化能力較差。相對(duì)于機(jī)器學(xué)習(xí)方法,深度學(xué)習(xí)方法能夠從大規(guī)模無(wú)標(biāo)注語(yǔ)料中學(xué)習(xí)詞的語(yǔ)義和句法信息,通過(guò)組合多個(gè)非線性模型,將文本數(shù)據(jù)轉(zhuǎn)化為更高層次的知識(shí)表示[18],在無(wú)需大量特征工程的情況下,從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)文本特征并刻畫(huà)出文本的內(nèi)在信息,提高分類的效果。
在學(xué)術(shù)文獻(xiàn)不斷動(dòng)態(tài)增長(zhǎng)的情景下,無(wú)法依靠人工方式建立分類特征。基于此,本文以深度學(xué)習(xí)框架為核心,在較少的人工干預(yù)情況下,利用詞向量方法對(duì)特定應(yīng)用情境下的語(yǔ)義特征進(jìn)行提取,快速高效的從歷史數(shù)據(jù)中學(xué)習(xí)高層次知識(shí)表達(dá),實(shí)現(xiàn)科技文獻(xiàn)增量式人名消歧方法。
2.1科技文獻(xiàn)的元數(shù)據(jù)特征分析科技文獻(xiàn)的元數(shù)據(jù)因類型不同而異,文獻(xiàn)[19]按照是否涉及文獻(xiàn)內(nèi)容將科技文獻(xiàn)元數(shù)據(jù)分為文獻(xiàn)的內(nèi)部特征和外部特征。基于這一分類方式,本文選擇進(jìn)行人名消歧的文獻(xiàn)元數(shù)據(jù)如表1所示。
表1 用于作者名消歧的文獻(xiàn)元數(shù)據(jù)
依據(jù)文獻(xiàn)[19],本文選擇作者、合作者、作者單位、期刊名、發(fā)表時(shí)間等元數(shù)據(jù)作為科技文獻(xiàn)外部特征進(jìn)行消歧計(jì)算。這些特征不涉及(或較少涉及)科技文獻(xiàn)的內(nèi)容,屬于文獻(xiàn)的外部標(biāo)識(shí),在實(shí)踐應(yīng)用中,本文采用特征相似性匹配的分析方法,通過(guò)閾值,判斷學(xué)者與新增科技文獻(xiàn)之間的歸屬問(wèn)題。相對(duì)應(yīng)的,關(guān)鍵詞、標(biāo)題和摘要等內(nèi)部特征,其具有較強(qiáng)的文本語(yǔ)義屬性,本文采用語(yǔ)義表征學(xué)習(xí)模型BERT對(duì)其進(jìn)行計(jì)算,構(gòu)建蘊(yùn)含文獻(xiàn)語(yǔ)義信息的特征向量,識(shí)別學(xué)者與待歸屬文獻(xiàn)之間的語(yǔ)義關(guān)聯(lián)。
2.2融合多特征增量式人名消歧方法設(shè)計(jì)學(xué)術(shù)檢索平臺(tái)的科技文獻(xiàn)數(shù)量龐大,數(shù)據(jù)處于增量式更新?tīng)顟B(tài),且新增文獻(xiàn)的規(guī)模以及更新時(shí)間無(wú)法確定。在數(shù)據(jù)不斷動(dòng)態(tài)增長(zhǎng)的情景下,如果仍舊采用全局人名消歧的方法,不僅聚類計(jì)算的時(shí)間復(fù)雜度非常高,同時(shí)聚類也將耗費(fèi)大量的計(jì)算資源,為此,在性能和速度上往往讓人難以接受。
在實(shí)踐應(yīng)用過(guò)程中,科技文獻(xiàn)作者人名增量消歧的過(guò)程,是在已經(jīng)擁有一批消歧文獻(xiàn)數(shù)據(jù)基礎(chǔ)上進(jìn)行的,其核心思路是快速、準(zhǔn)確的將新增學(xué)術(shù)文獻(xiàn)分配給已有作者。傳統(tǒng)上,圖書(shū)館或科研管理機(jī)構(gòu)在進(jìn)行作者人名規(guī)范時(shí),采用將人名與機(jī)構(gòu)名相結(jié)合的方式進(jìn)行作者分配,但受到機(jī)構(gòu)名變更、簡(jiǎn)稱重名等問(wèn)題的干擾,分配結(jié)果仍需要大量的人工進(jìn)行識(shí)別,使得這種方法不僅費(fèi)時(shí),準(zhǔn)確率也無(wú)法保障。
為實(shí)現(xiàn)增量式人名消歧,本文首先構(gòu)建了兩個(gè)文獻(xiàn)集:現(xiàn)有作者檔案文獻(xiàn)集和新增學(xué)術(shù)文獻(xiàn)集。實(shí)驗(yàn)步驟為:通過(guò)機(jī)器學(xué)習(xí),從現(xiàn)有作者檔案文獻(xiàn)集中,計(jì)算出“作者—文獻(xiàn)”的特征向量模型,然后利用該模型對(duì)新增學(xué)術(shù)文獻(xiàn)進(jìn)行匹配計(jì)算,將符合閾值的文獻(xiàn)分配給已有作者。如果新增文獻(xiàn)的作者不在現(xiàn)有作者檔案文獻(xiàn)集中,則新建其檔案,加入現(xiàn)有作者檔案文獻(xiàn)集。
本文提出的融合文獻(xiàn)內(nèi)容外部特征的人名增量式消歧方法實(shí)現(xiàn)流程如圖1所示。
由圖1所示,本文的方法分成兩大過(guò)程,即:特征學(xué)習(xí)和增量式消歧。其中,特征學(xué)習(xí)是本文方法的核心,借助機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法,從現(xiàn)有作者檔案文獻(xiàn)集中學(xué)習(xí)一個(gè)特征向量模型,步驟為:構(gòu)建已明確作者歸屬的“作者-文獻(xiàn)”集,首先,生成正負(fù)樣本集,其中,正樣本集為正確歸屬文獻(xiàn)的數(shù)據(jù)集合,負(fù)樣本為非正確文獻(xiàn)歸屬的數(shù)據(jù)集合。對(duì)于負(fù)樣本集,本文以隨機(jī)方式,從現(xiàn)有已明確作者歸屬的文獻(xiàn)集中選取同名作者,并將作者對(duì)應(yīng)的歸屬文獻(xiàn)進(jìn)行隨機(jī)的錯(cuò)亂重排;隨后,抽取正負(fù)樣本集中文獻(xiàn)的外部特征(見(jiàn)表1),并對(duì)文獻(xiàn)內(nèi)部特征采用BERT模型計(jì)算向量;最后,將獲得的文獻(xiàn)外部特征與BERT獲得向量特征融合為一個(gè)特征序列,輸入XGBoost模型進(jìn)行訓(xùn)練。
圖1 增量式人名消歧義方法流程圖
對(duì)于增量式消歧部分,首先提取新增文獻(xiàn)的外部特征,并采用BERT模型對(duì)文獻(xiàn)內(nèi)部特征進(jìn)行向量計(jì)算,生成一個(gè)新增文獻(xiàn)特征序列,借助XGBoost訓(xùn)練好的模型對(duì)新增學(xué)術(shù)文獻(xiàn)的特征序列進(jìn)行分類計(jì)算,預(yù)測(cè)作者歸屬,將新增文獻(xiàn)分配給各種特征維度上最為相似的作者,進(jìn)而完成增量式人名消歧。
2.3學(xué)術(shù)文獻(xiàn)內(nèi)部語(yǔ)義特征提取方法人名消歧方法常用論文的標(biāo)題、關(guān)鍵詞以及論文合作者等作為文獻(xiàn)作者的研究方向,進(jìn)而實(shí)現(xiàn)人名消歧[17]。關(guān)鍵詞和標(biāo)題雖然可以反映論文的主題信息,但受限于關(guān)鍵詞的規(guī)范性以及主題粒度大小不一的問(wèn)題,仍然無(wú)法完整地表達(dá)論文的核心思想。目前,一些研究已經(jīng)開(kāi)始使用摘要作為消歧特征之一,具體做法是通過(guò)對(duì)摘要進(jìn)行分詞和去停用詞等預(yù)處理后,抽取特征詞描述文獻(xiàn)的主題,其本質(zhì)是將長(zhǎng)文本信息轉(zhuǎn)換為詞的形式[8-9],一定程度上損失了語(yǔ)義信息。為此,本文選擇BERT語(yǔ)言模型,借助該模型對(duì)句子級(jí)別文本的語(yǔ)義表示能力,最大限度的保留摘要文本的上下文語(yǔ)義信息。
BERT(Bidirectional Encoder Representations from Transformers)模型[20]是Google AI團(tuán)隊(duì)在2018年開(kāi)源的自然語(yǔ)言處理模型,該模型的主要特點(diǎn)是利用兩個(gè)方向的上下文信息獲得文本深層次的語(yǔ)義,是一種新的自然語(yǔ)言文本表征方法。相對(duì)于Word2Vec等其它廣泛使用的詞向量技術(shù),BERT模型通過(guò)遮蔽語(yǔ)言模型(Masked Language Model)和下一句預(yù)測(cè)兩個(gè)預(yù)訓(xùn)練任務(wù),在大規(guī)模的語(yǔ)料集上進(jìn)行無(wú)監(jiān)督的預(yù)訓(xùn)練,再以預(yù)訓(xùn)練模型為基礎(chǔ),通過(guò)模型微調(diào)(Fine-tuning)實(shí)現(xiàn)下游文本語(yǔ)義分析任務(wù)。BERT預(yù)訓(xùn)練模型在無(wú)監(jiān)督環(huán)境下,能夠?qū)W習(xí)到語(yǔ)料庫(kù)中的語(yǔ)言先驗(yàn)知識(shí),可以在標(biāo)注語(yǔ)料稀缺的場(chǎng)景下完成訓(xùn)練任務(wù)。在預(yù)訓(xùn)練過(guò)程中,BERT結(jié)合了語(yǔ)料庫(kù)中的語(yǔ)言先驗(yàn)知識(shí),使得模型在文本特征的提取和表示方面明顯具備優(yōu)勢(shì)。在解決一詞多義問(wèn)題方面,BERT模型通過(guò)詞匯間上下文關(guān)系,記錄了文獻(xiàn)中詞匯的語(yǔ)義信息,可以較好的解決不同語(yǔ)境下的詞義問(wèn)題。
2.4基于XGBoost的文獻(xiàn)匹配增量消歧可以認(rèn)為是一個(gè)新增文獻(xiàn)與已有作者的匹配問(wèn)題,其本質(zhì)上是一種分類問(wèn)題。為了實(shí)現(xiàn)新增文獻(xiàn)與已有作者的匹配,首先需要提取已經(jīng)明確了文獻(xiàn)與作者匹配關(guān)系的數(shù)據(jù)集的特征,借助機(jī)器學(xué)習(xí)方法,構(gòu)建模型;隨后,提取新增文獻(xiàn)的特征,并將其輸入已構(gòu)建好的模型中,通過(guò)計(jì)算,實(shí)現(xiàn)新增文獻(xiàn)與已有作者的匹配。
本文選擇極端梯度提升算法XGBoost[21]進(jìn)行特征計(jì)算,并構(gòu)建模型。XGBoost是基于CART回歸樹(shù)的一種boosting集成算法,其核心思想是通過(guò)建立多棵回歸樹(shù),使樣本預(yù)測(cè)盡可能接近樣本的真實(shí)值,在實(shí)踐中,算法具有一定的泛化能力。XGBoost算法在訓(xùn)練大數(shù)量時(shí),可以通過(guò)同層節(jié)點(diǎn)的并行化計(jì)算方式,提高計(jì)算效率。
科技文獻(xiàn)元數(shù)據(jù)會(huì)有一些缺失值,如摘要和關(guān)鍵詞等,這就使得數(shù)據(jù)具有稀疏性。XGBoost模型在訓(xùn)練數(shù)據(jù)時(shí),首先對(duì)沒(méi)有缺失值的數(shù)據(jù)進(jìn)行分裂,然后計(jì)算缺失值最佳的分裂方案,這使得該模型對(duì)缺失值并不敏感,具有較好地處理稀疏型數(shù)據(jù)的能力。
為獲得更好的模型預(yù)測(cè)能力,本文在模型訓(xùn)練時(shí)采用交叉驗(yàn)證的形式提高消歧的效果。
2.5方法評(píng)估本文使用加權(quán)F1 值 (weighted f1-score) 作為模型評(píng)估度量。
對(duì)于單一作者的情況,模型的準(zhǔn)確率、召回率和F1 值的計(jì)算規(guī)則如下:
對(duì)于有多個(gè)作者的情況,其準(zhǔn)確率為單一作者的準(zhǔn)確率乘以單個(gè)作者的F1值。同理,多個(gè)作者的召回率和F1值均為單個(gè)作者的F1值加權(quán)后的結(jié)果。其計(jì)算方式如下:
WeightedF1=
3.1樣本的構(gòu)建本文以DBLP(https://dblp.uni-trier.de/db/)學(xué)術(shù)搜索平臺(tái)中的學(xué)術(shù)文獻(xiàn)數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù),首先獲取論文數(shù)據(jù),并對(duì)其進(jìn)行了預(yù)先的消歧和標(biāo)注,實(shí)現(xiàn)“作者-文獻(xiàn)”的關(guān)聯(lián),構(gòu)建現(xiàn)有作者檔案文獻(xiàn)集,為確保數(shù)據(jù)集的準(zhǔn)確性,本文選取帶有ORCID的作者,構(gòu)建“文獻(xiàn)-作者”數(shù)據(jù)集,作為學(xué)術(shù)文獻(xiàn)同名作者消歧的預(yù)訓(xùn)練和效果檢驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)如表2所示。
表2 數(shù)據(jù)集概覽
通過(guò)檢索,文本共獲取實(shí)際作者11 420個(gè),共計(jì)107 002篇論文。由于存在同名情況,共獲得109個(gè)作者名。實(shí)驗(yàn)中,本文選擇了全部作者的101 797篇論文作為模型訓(xùn)練,并隨機(jī)選擇了1 542個(gè)實(shí)際作者的5 205篇論文作為測(cè)試集。
如圖1所示,本文在模型訓(xùn)練時(shí),為提高模型的分類效果,將訓(xùn)練集劃分為正、負(fù)兩個(gè)樣本集合。其中負(fù)樣本集的作用是提高模型的分類效果,負(fù)樣本集的生成流程如下所示:
(1)選取訓(xùn)練集中發(fā)表文獻(xiàn)數(shù)量大于6篇的作者,構(gòu)建“作者-文獻(xiàn)”集合;
(2)在“作者-文獻(xiàn)”集合中,隨機(jī)選取若干個(gè)同名作者的集合,并隨機(jī)抽取集合中每位作者20%的文獻(xiàn),對(duì)這些文獻(xiàn)的作者與文獻(xiàn)隨機(jī)錯(cuò)亂重排,形成負(fù)樣本。
3.2數(shù)據(jù)預(yù)處理本文選擇科技文獻(xiàn)的元數(shù)據(jù)包括作者名、合作者、作者單位、期刊(會(huì)議)名、論文標(biāo)題、發(fā)表時(shí)間、論文關(guān)鍵詞和摘要信息。由于科技文獻(xiàn)的來(lái)源不同,這些元數(shù)據(jù)的格式也不同,為此,在特征提取前,需要對(duì)其進(jìn)行專門的處理。具體處理思路如下所示:
a.機(jī)構(gòu)名、期刊(會(huì)議)名。對(duì)于這些短文本數(shù)據(jù),本文采用常規(guī)的處理方法,首先去除文本中的特殊字符,并將所有內(nèi)容轉(zhuǎn)換為小寫格式。
b.作者名。由于不同文獻(xiàn)對(duì)作者名的格式要求不同,使得文獻(xiàn)集合中作者名存在多種格式,如作者“Wang Ping”,會(huì)存在“Wang P”“Ping Zhang”“WANG PING”等多種形式,為此,需要對(duì)其進(jìn)行處理并統(tǒng)一格式。本文采用字典映射的方式對(duì)其進(jìn)行處理,首先構(gòu)建標(biāo)準(zhǔn)作者名格式,隨后將文獻(xiàn)中的作者名映射為標(biāo)準(zhǔn)格式。對(duì)于一些姓名前后顛倒的形式,本文采用統(tǒng)計(jì)字母?jìng)€(gè)數(shù)的方式,對(duì)共現(xiàn)字符數(shù)相同的姓名進(jìn)行規(guī)范格式的映射。通過(guò)人為檢測(cè),字典映射方法基本可以準(zhǔn)確的實(shí)現(xiàn)作者名的關(guān)聯(lián)。
c.論文發(fā)表時(shí)間。發(fā)表時(shí)間預(yù)處理需要解決的問(wèn)題是字段缺失和少量的錯(cuò)誤數(shù)據(jù)。由于人為的錯(cuò)誤,少數(shù)論文發(fā)表年份為錯(cuò)誤數(shù)據(jù),如“2030年”。對(duì)于缺失數(shù)據(jù)和錯(cuò)誤數(shù)據(jù),本文采用的策略是,如果該作者有多篇論文,則以該作者所有論文發(fā)表時(shí)間的中位數(shù)進(jìn)行填充,如果該作者僅有一篇論文,則使用數(shù)據(jù)集中所有論文發(fā)表時(shí)間的中位數(shù)進(jìn)行填充。
d.論文標(biāo)題和摘要信息。預(yù)處理的目的是降低文本的維度,主要采用詞形歸一化處理,使用NLTK工具進(jìn)行了詞形還原。
預(yù)處理完成后,每篇文獻(xiàn)形成如下數(shù)據(jù)表示:
Article: {year, author, coauthor, orgs, title, venue, keywords, abstract}
3.3文獻(xiàn)元數(shù)據(jù)的特征提取本文實(shí)現(xiàn)人名消歧,需要構(gòu)建文獻(xiàn)內(nèi)外部元數(shù)據(jù)的交叉特征集,具體的操作如下:
a. 時(shí)間元數(shù)據(jù)的特征。時(shí)間是科技文獻(xiàn)的重要特征,可以反映作者的研究主題和特點(diǎn)??紤]到學(xué)者在一個(gè)連續(xù)時(shí)間內(nèi)的研究成果具有一定相似性的特征,消歧模型構(gòu)建時(shí),本文采用了多個(gè)時(shí)間統(tǒng)計(jì)策略,具體為:
year:{yeareraly,yearnewest,yearmean,yearstd,yearmedien}
上述的統(tǒng)計(jì)策略分別表示某位作者發(fā)表第一篇文獻(xiàn)的時(shí)間,最新論文發(fā)表的時(shí)間,發(fā)表論文時(shí)間的均值、標(biāo)準(zhǔn)差和中位數(shù)。對(duì)于新增文獻(xiàn),分別與同名作者的5個(gè)時(shí)間統(tǒng)計(jì)特征進(jìn)行比對(duì),計(jì)算時(shí)間序列上匹配程度。
b. 作者、單位、期刊名等元數(shù)據(jù)的特征。本文發(fā)現(xiàn)這一類特征采用簡(jiǎn)單的匹配方式就可獲得較好的效果,為此,本文在實(shí)驗(yàn)中采用相等匹配和集合匹配兩種方法。
相等匹配即為字符串完全相等。對(duì)于作者、期刊名等元數(shù)據(jù),通過(guò)規(guī)范化處理,對(duì)完全相同的元數(shù)據(jù)則認(rèn)為匹配成功。
集合匹配主要針對(duì)作者所在單位。由于作者單位元數(shù)據(jù)存在格式不一致的問(wèn)題,在實(shí)驗(yàn)中,本文發(fā)現(xiàn)有的作者單位是簡(jiǎn)略的信息,而有些是非常完整的信息。如:簡(jiǎn)略的形式為“*** University”,而完整的形式為“*** University *** Department,*** Street”。為此,實(shí)驗(yàn)中,首先對(duì)作者單位元數(shù)據(jù)按照空格分詞,形成詞匯集;在匹配時(shí),將新增文獻(xiàn)的作者單位與已有作者的單位進(jìn)行比對(duì),計(jì)算兩個(gè)集合交集與最短集合長(zhǎng)度之間的比值,如果達(dá)到一定的閾值,則認(rèn)為匹配成功。
c. 文獻(xiàn)內(nèi)部元數(shù)據(jù)的特征。人名消歧選取的文獻(xiàn)內(nèi)部元數(shù)據(jù)包括:摘要、標(biāo)題和關(guān)鍵字。為了更好地獲取這些元數(shù)據(jù)的語(yǔ)義特征,本文借助BERT模型將文獻(xiàn)的這些元數(shù)據(jù)轉(zhuǎn)換成一個(gè)帶有語(yǔ)義信息的向量。假設(shè)文獻(xiàn)a={ abstract, title, keywords },使用BERT模型將a轉(zhuǎn)換為向量va,則某位作者的文獻(xiàn)向量集合即為{va1,va2,…van},其中n為該作者的發(fā)文總量。對(duì)于新增文獻(xiàn),其向量表示為vb,論文歸屬問(wèn)題及轉(zhuǎn)換為vb和向量集合文獻(xiàn)的相似度計(jì)算。
在構(gòu)建文獻(xiàn)內(nèi)部特征向量時(shí),使用PyTorch深度學(xué)習(xí)框架實(shí)現(xiàn)的BERT模型(https://pypi.org/project/sentence-transformers/)來(lái)進(jìn)行語(yǔ)義特征表示,實(shí)驗(yàn)中,將元數(shù)據(jù)轉(zhuǎn)換為一個(gè)768維的數(shù)值型向量表示。在匹配計(jì)算時(shí),關(guān)鍵字、標(biāo)題和摘要分別轉(zhuǎn)化為5個(gè)統(tǒng)計(jì)特征,即最小值、最大值、均值、標(biāo)準(zhǔn)差和中位數(shù)。以摘要為例,圖2顯示了文獻(xiàn)a和文獻(xiàn)b的摘要經(jīng)過(guò)BERT語(yǔ)義向量表示后的結(jié)果。
圖2 學(xué)術(shù)文獻(xiàn)摘要BERT語(yǔ)義向量表示
圖3顯示了文獻(xiàn)a和文獻(xiàn)b的摘要相似度計(jì)算結(jié)果。
圖3 學(xué)術(shù)文獻(xiàn)摘要相似度特征
最后,將外部特征和內(nèi)部特征融合后的結(jié)果輸入XGBoost進(jìn)行模型訓(xùn)練。
3.4作者匹配根據(jù)上文對(duì)文獻(xiàn)內(nèi)外部特征提取完成后,基于構(gòu)建的正負(fù)樣本,本文使用XGBoost(https://pypi.org/project/xgboost/)模型完成特征的融合和作者匹配。
具體匹配的步驟為,首先將樣本數(shù)據(jù)輸入XGBoost,通過(guò)調(diào)參,完成模型的訓(xùn)練;隨后,對(duì)于新增文獻(xiàn),先將新增文獻(xiàn)作者與現(xiàn)有作者進(jìn)行匹配,獲得一些列同名作者;隨后采用XGBoost對(duì)新增文獻(xiàn)的特征與同名作者的文獻(xiàn)特征進(jìn)行相似度計(jì)算;最后輸出匹配分?jǐn)?shù)最高的作者ID作為新增文獻(xiàn)的所屬作者。
3.5結(jié)果對(duì)比為了評(píng)估模型的效果,本文對(duì)比了多組實(shí)驗(yàn)的結(jié)果,實(shí)驗(yàn)具體設(shè)置如下:
a.BERT語(yǔ)義特征和學(xué)術(shù)文獻(xiàn)基本特征的方法,本文方法。
b.Word2Vec(使用gensim包完成)特征的SVM分類方法,簡(jiǎn)化表示為 Word2Vec + SVM。
c.Word2Vec特征的XGBoost分類方法,簡(jiǎn)化表示為 Word2Vec + XGBoosts。
d.對(duì)比文獻(xiàn)[17]提出的基于SDR的人名消歧方法。
具體的實(shí)驗(yàn)結(jié)果如表3所示。
表3 增量消歧實(shí)驗(yàn)結(jié)果
從表3中幾種方法在測(cè)試集上的指標(biāo)數(shù)值可見(jiàn),本文提出的方法表現(xiàn)出較好的效果, F1取得了95.6%的分值,高于其他模型的性能表現(xiàn)。相比于基于Word2vec+XGBoost的方法,本文方法提高了約7%,相比于Word2vec+SVM的方案,本文方法提高了約6%。
此外,對(duì)比文獻(xiàn)[17]的實(shí)驗(yàn)結(jié)果,雖然基于SDR方法的準(zhǔn)確值更高,但是召回率和F1值方面來(lái)看,本文的方法更優(yōu)。且文獻(xiàn)[17]采用的是數(shù)據(jù)量小(實(shí)驗(yàn)數(shù)據(jù)為19個(gè)作者的88篇論文),因此從總體上來(lái)看,本文方法具有一定的合理性。
增量消歧,需要快速且準(zhǔn)確地將文獻(xiàn)分配給系統(tǒng)中已有作者,這是學(xué)術(shù)文獻(xiàn)數(shù)據(jù)庫(kù)在進(jìn)行更新時(shí)最亟待解決的問(wèn)題。本文提出了一種融合多特征的相似度匹配方法實(shí)現(xiàn)增量式人名消歧研究,借助BERT自然語(yǔ)言處理模型和XGBoost分類模型進(jìn)行相似度匹配,將新增文獻(xiàn)分配給相似度得分最高的作者。通過(guò)實(shí)驗(yàn)對(duì)比,本文方法獲得了較好的增量式人名消歧效果。
然而,該文的研究也存在一些改進(jìn)的地方,如:
a.本文選取了科技文獻(xiàn)的多個(gè)元數(shù)據(jù),形成了多特征融合的消歧模型,但在實(shí)際應(yīng)用中,如何設(shè)定每個(gè)特征的權(quán)重值,合理分配外部特征匹配和內(nèi)部語(yǔ)義特征所占的比重,進(jìn)一步提高模型的準(zhǔn)確率,是實(shí)踐應(yīng)用中需要解決的問(wèn)題。
b.本研究?jī)H限于對(duì)英文語(yǔ)言的學(xué)術(shù)文獻(xiàn)作者同名消歧,對(duì)跨語(yǔ)言的同名作者消歧并未涉略。因?yàn)椴煌Z(yǔ)言之間的名字形式不一致,跨語(yǔ)言學(xué)術(shù)文獻(xiàn)同名作者消歧更具有挑戰(zhàn),同時(shí)也是進(jìn)行多來(lái)源學(xué)術(shù)文獻(xiàn)組織和管理的難題,今后會(huì)對(duì)這方面逐步開(kāi)展研究。