關(guān)鍵詞：水利領(lǐng)域；命名實(shí)體識(shí)別；數(shù)據(jù)增強(qiáng)；機(jī)器閱讀理解

中圖分類號(hào)：ＴＰ３９１．１；ＴＶ２１ 文獻(xiàn)標(biāo)志碼：Ａ ｄｏｉ：１０．３９６９／ ｊ．ｉｓｓｎ．１０００－１３７９．２０２４．０９．０２３

引用格式：朱永明，邢丹艷．基于數(shù)據(jù)增強(qiáng)的ＭＲＣ 水利領(lǐng)域命名實(shí)體識(shí)別模型研究［Ｊ］．人民黃河，２０２４，４６（９）：１５６－１６０．

隨著我國(guó)水利信息技術(shù)的發(fā)展，水利行業(yè)積累了大量數(shù)據(jù)，然而這些數(shù)據(jù)沒有被有效利用。水利知識(shí)涵蓋范圍廣，涉及河流、湖泊、水庫等多種管理對(duì)象，以及水旱災(zāi)害防御、水資源管理、水土保持等多種業(yè)務(wù)，知識(shí)來源有結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)化數(shù)據(jù)［１］ 。自然語言處理技術(shù)具有強(qiáng)大的語義處理能力，可以將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，充分發(fā)掘數(shù)據(jù)的價(jià)值，實(shí)現(xiàn)水利信息資源的高效利用。命名實(shí)體識(shí)別是信息處理的基礎(chǔ)，通過命名實(shí)體識(shí)別技術(shù)可以充分利用文本中的寶貴信息。水利領(lǐng)域命名實(shí)體識(shí)別是指識(shí)別水利文本中具有特定意義的實(shí)體，包括河流（ＲＩＶ）、湖泊（ＬＡＫ）、水庫（ＲＥＳ）、水電站（ＨＹＤ）、大壩（ＤＡＭ）等?？蒲腥藛T利用命名實(shí)體識(shí)別技術(shù)識(shí)別出重要信息，這些信息可以服務(wù)于水利智能問答系統(tǒng)構(gòu)建［２］ 、水利知識(shí)圖譜構(gòu)建［３］ 等。

神經(jīng)網(wǎng)絡(luò)具有自動(dòng)提取特征、能夠找到更深層次和更加抽象的特征的優(yōu)點(diǎn)，因此基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別在各個(gè)領(lǐng)域逐漸得到廣泛應(yīng)用。劉雪梅等［４］ 基于水利工程巡檢文本，利用ＢＥＲＴ－ＢｉＬＳＴＭＣＲＦ模型智能識(shí)別巡檢文本中的風(fēng)險(xiǎn)事件、工程等實(shí)體。顧干暉等［５］ 利用ＢＥＲＴ 預(yù)訓(xùn)練語言模型對(duì)自建水利文本語料進(jìn)行訓(xùn)練，并引入ＦｒｅｅＬＢ 增強(qiáng)訓(xùn)練模型的泛化能力，最后通過條件隨機(jī)場(chǎng)（ＣＲＦ）識(shí)別水利實(shí)體。段浩等［１］ 在２０２１ 年提出了水利綜合知識(shí)體系的描述方法，使用ＢｉＬＳＴＭ－ＣＲＦ 模型識(shí)別非結(jié)構(gòu)化和半結(jié)構(gòu)化實(shí)體。伴隨著ＣｈａｔＧＰＴ、文心一言、訊飛星火等大模型的出現(xiàn)，學(xué)者們陸續(xù)把研究重心放到大模型上。清華大學(xué)開源了一個(gè)具有６２ 億參數(shù)的支持中英雙語對(duì)話的語言模型ＣｈａｔＧＬＭ － ６Ｂ。百川智能公司基于Ｔｒａｎｓｆｏｒｍｅｒ 結(jié)構(gòu)在大約１．２ 萬億ｔｏｋｅｎｓ 上訓(xùn)練了一個(gè)具有７０ 億參數(shù)的大規(guī)模預(yù)訓(xùn)練語言模型ｂａｉｃｈｕａｎ－７Ｂ。學(xué)者們針對(duì)各個(gè)領(lǐng)域任務(wù)微調(diào)這些大模型，取得了不錯(cuò)的效果。然而，已有方法在預(yù)測(cè)精度和適應(yīng)性上還有提升空間，沒有充分利用水利文本中一些潛在特征信息，比如詞匯特征信息和實(shí)體類型標(biāo)簽特征信息。本文以ＭＲＣ 模型為主架構(gòu)，結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)，提出ＭＲＣ－ＷＬＥ 命名實(shí)體識(shí)別模型，基于水利文本數(shù)據(jù)集驗(yàn)證ＭＲＣ－ＷＬＥ 模型的有效性，以期更好地服務(wù)于水利智能問答系統(tǒng)、水利知識(shí)圖譜構(gòu)建等。

１相關(guān)理論介紹

１．１機(jī)器閱讀理解（ＭＲＣ）

ＭＲＣ 是一種自然語言處理技術(shù)，讓機(jī)器能夠理解文本內(nèi)容并回答問題，針對(duì)某一問題在文本中提取答案所在片段，即預(yù)測(cè)答案所在片段的開始位置和結(jié)束位置。

ＭＲＣ 步驟如下：１）將傳統(tǒng)的命名實(shí)體識(shí)別數(shù)據(jù)集的標(biāo)注格式轉(zhuǎn)換為三元組格式（ Ｑｕｅｒｙ， Ａｎｓｗｅｒ，Ｃｏｎｔｅｘｔ）。對(duì)于每種實(shí)體類型都用一個(gè)自然語言問題進(jìn)行描述，將Ｃｏｎｔｅｘｔ（文本）與Ｑｕｅｒｙ（實(shí)體類型描述）進(jìn)行拼接，若有ｍ 種實(shí)體類型，則構(gòu)造ｍ 種實(shí)體類型描述，從而生成ｍ 條新文本。２）用預(yù)訓(xùn)練模型對(duì)生成的文本進(jìn)行編碼。３）通過２ 個(gè)全連接層識(shí)別每條文本中實(shí)體的頭和尾，譯碼匹配采用就近原則，頭位置索引找離它最近的尾位置索引，從而構(gòu)造出一個(gè)實(shí)體。

１．２長(zhǎng)短期記憶網(wǎng)絡(luò)（ＬＳＴＭ）

ＬＳＴＭ［６－８］ 對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)（ＲＮＮ）進(jìn)行了一定改進(jìn)，主要用來解決長(zhǎng)距離依賴問題。ＬＳＴＭ 在ＲＮＮ 的基礎(chǔ)上增加了門控機(jī)制和一個(gè)單元狀態(tài)（ｃｅｌｌ ｓｔａｔｅ），用來獲得長(zhǎng)期的序列狀態(tài)，其結(jié)構(gòu)見圖１。

１．３ＢＥＲＴ模型

傳統(tǒng)的ｗｏｒｄ２ｖｅｃ 無法處理一詞多義問題。ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍ?ｅｒｓ）［９］ 模型采用捕捉語義能力更強(qiáng)的雙向編碼器Ｔｒａｎｓｆｏｒｍｅｒ 進(jìn)行訓(xùn)練，可以獲得每一層文本雙向特征信息，有效解決一詞多義問題。Ｔｒａｎｓｆｏｒｍｅｒ 是一種新的序列建模方法，采用ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ 機(jī)制替代傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（ＣＮＮ）或ＲＮＮ，這種機(jī)制能夠更好地捕捉序列中的依賴關(guān)系。Ｔｒａｎｓｆｏｒｍｅｒ 具有可并行計(jì)算、長(zhǎng)距離依賴建模等性能，目前被廣泛應(yīng)用于自然語言處理的各個(gè)下游任務(wù)，并取得較好的效果。

ＢＥＲＴ模型的輸入根據(jù)下游任務(wù)確定，模型結(jié)構(gòu)見圖２，其可將中文字符用向量表示。

圖２ 中以“［ＣＬＳ］小浪底水庫庫區(qū)［ＳＥＰ］”為例，［ＣＬＳ］用于標(biāo)記文本的開頭，［ＳＥＰ］表示文本結(jié)尾，Ｅ表示字符的向量表示，Ｔ 表示Ｔｒａｎｓｆｏｒｍｅｒ。

３ＭＲＣ－ＷＬＥ模型性能測(cè)試及評(píng)價(jià)

３．１測(cè)試數(shù)據(jù)

采用中國(guó)水利水電科學(xué)研究院在中國(guó)工程科技知識(shí)中心水利專業(yè)知識(shí)服務(wù)系統(tǒng)開放的水利標(biāo)注數(shù)據(jù)測(cè)試ＭＲＣ－ＷＬＥ 模型的性能，其中：水利文本數(shù)據(jù)共４ ９１９條，命名實(shí)體類型共１０ 類。１０ 類命名實(shí)體概況見表１。水利領(lǐng)域命名實(shí)體識(shí)別實(shí)驗(yàn)中使用隨機(jī)分層抽樣的方式將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，三者數(shù)據(jù)量比例為８∶１∶１。

３．２設(shè)置訓(xùn)練參數(shù)及評(píng)價(jià)指標(biāo)

水利領(lǐng)域命名實(shí)體識(shí)別實(shí)驗(yàn)使用的編程語言為Ｐｙｔｈｏｎ，深度學(xué)習(xí)框架為Ｐｙｔｏｒｃｈ、Ｔｒａｎｓｆｏｒｍｅｒｓ，批數(shù)據(jù)量為８，訓(xùn)練次數(shù)為１０ 次，學(xué)習(xí)率為２×１０^－５，損失函數(shù)采用交叉熵?fù)p失函數(shù)。評(píng)價(jià)模型時(shí)選用微平均Ｆ１ 值作為主要評(píng)價(jià)指標(biāo)，以精準(zhǔn)度（Ｐｒｅｃｉｓｉｏｎ） 和召回率（Ｒｅｃａｌｌ）作為輔助評(píng)價(jià)指標(biāo)。

３．３模型測(cè)試和評(píng)價(jià)結(jié)果

為更好地評(píng)價(jià)模型的性能，引入ＢＥＲＴ －ＣＲＦ、ＢＥＲＴ － ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － ＢｉＬＳＴＭ － ＣＲＦ、ＢＥＲＴ －ＢｉＬＳＴＭ－ ＣＲＦ － Ｗｏｒｄ、ＢＥＲＴ － Ｃａｓｃａｄｅ、ＣｈａｔＧＬＭ － Ｐ －Ｔｕｎｉｎｇ 模型作為對(duì)照。模型的評(píng)價(jià)指標(biāo)對(duì)比見表２，可以看出，ＭＲＣ－ＷＬＥ 模型的評(píng)價(jià)指標(biāo)值整體高于其他模型的。

各模型的優(yōu)缺點(diǎn)如下：ＢＥＲＴ－ＣＲＦ 和ＢＥＲＴ－ＢｉＬ?ＳＴＭ－ＣＲＦ 模型不能很好地利用文本信息，識(shí)別實(shí)體的時(shí)候會(huì)出現(xiàn)實(shí)體斷鏈現(xiàn)象。ＢＥＲＴ－Ｃａｓｃａｄｅ 模型是基于多任務(wù)學(xué)習(xí)方法的命名實(shí)體識(shí)別模型，其任務(wù)是抽取實(shí)體和判斷實(shí)體類型，該模型雖縮減了標(biāo)簽詞表規(guī)模，但是先抽取實(shí)體會(huì)出現(xiàn)實(shí)體傳播錯(cuò)誤問題，導(dǎo)致后續(xù)判斷實(shí)體類型錯(cuò)誤。ＢＥＲＴ－ＣＲＦ－Ｗｏｒｄ 和ＢＥＲＴＢｉＬＳＴＭ－ＣＲＦ－Ｗｏｒｄ 模型雖然同時(shí)對(duì)字符和詞匯進(jìn)行編碼，有效地利用字符級(jí)信息和詞匯級(jí)信息，但是分詞工具不能完全適用于水利領(lǐng)域，因此會(huì)造成實(shí)體詞匯錯(cuò)誤傳播，進(jìn)而容易造成識(shí)別錯(cuò)誤。ＣｈａｔＧＬＭ －Ｐ －Ｔｕｎｉｎｇ 模型是對(duì)ＣｈａｔＧＬＭ－６Ｂ 基座大模型進(jìn)行領(lǐng)域微調(diào)，具有強(qiáng)大的對(duì)話能力，因此ＣｈａｔＧＬＭ－Ｐ－Ｔｕｎｉｎｇ 模型能根據(jù)指令從文本中抽取出完整的實(shí)體。ＭＲＣＷＬＥ模型針對(duì)每種實(shí)體類型都生成一條新文本，在每一條文本中只識(shí)別Ｑｕｅｒｙ 對(duì)應(yīng)的實(shí)體，并且該模型能夠利用實(shí)體類型的先驗(yàn)知識(shí)，很好地解決實(shí)體易混淆問題。此外，ＭＲＣ－ＷＬＥ 模型同時(shí)對(duì)字符和詞匯進(jìn)行編碼，提高了模型識(shí)別實(shí)體邊界的準(zhǔn)確率，召回更多的實(shí)體。

不同模型識(shí)別不同實(shí)體的微平均Ｆ１ 值見圖５。相較于其他模型，ＭＲＣ－ＷＬＥ 模型識(shí)別湖泊、人名、機(jī)構(gòu)、大壩、水利術(shù)語、水庫實(shí)體類型的Ｆ１ 值最高。原因是這些實(shí)體內(nèi)部都有一定的構(gòu)成規(guī)則，比如湖泊類型的實(shí)體大部分以湖結(jié)尾，ＭＲＣ－ＷＬＥ 模型引入實(shí)體類型嵌入，輸入一定的指令，能較好地將實(shí)體識(shí)別出來。此外，所有模型識(shí)別ＯＴＨ 的Ｆ１ 值都為０％，這可能與該類型實(shí)體數(shù)量較少且構(gòu)成規(guī)律比較復(fù)雜有關(guān)。

為研究詞匯特征信息和實(shí)體類型標(biāo)簽特征信息對(duì)模型的影響，基于數(shù)據(jù)集對(duì)ＭＲＣ－ＷＬＥ 模型進(jìn)行消融實(shí)驗(yàn)，評(píng)價(jià)指標(biāo)見表３。與ＭＲＣ－ＷＬＥ 模型相比，去掉詞嵌入模塊（ － Ｗｏｒｄ）、實(shí)體類型標(biāo)簽嵌入模塊（－Ｌａｂｌｅ）后微平均Ｆ１ 值都有所降低，去掉詞嵌入模塊（－Ｗｏｒｄ） 的降幅較大。與ＭＲＣ 模型相比，ＭＲＣＷＬＥ模型的微平均Ｆ１ 值提高了０．８５％。

４結(jié)論

本文針對(duì)水利領(lǐng)域命名實(shí)體識(shí)別提出了一種基于數(shù)據(jù)增強(qiáng)的ＭＲＣ 模型，在編碼層引入詞匯特征信息和實(shí)體類型標(biāo)簽特征信息，通過學(xué)習(xí)字符與字符、詞匯與詞匯、詞匯與實(shí)體類型標(biāo)簽之間的內(nèi)在相關(guān)性，獲得文本語義特征信息，提高了水利領(lǐng)域命名實(shí)體邊界和類型識(shí)別的準(zhǔn)確性?；跈C(jī)器閱讀理解的方法可以較好地引入知識(shí)信息，今后將引入部首、字形、拼音等多粒度語言學(xué)特征信息，將多任務(wù)學(xué)習(xí)納入機(jī)器閱讀理解框架，以提升模型識(shí)別長(zhǎng)實(shí)體的能力。