李亮德 王秀娟 康孟珍 華凈 樊夢涵

摘要： 當(dāng)前農(nóng)業(yè)實體識別標(biāo)注數(shù)據(jù)稀缺，部分公開的農(nóng)業(yè)實體識別模型依賴手工特征，實體識別精度低。雖然有的農(nóng)業(yè)實體識別模型基于深度學(xué)習(xí)方法，實體識別效果有所提高，但是存在模型推理延遲高、參數(shù)量大等問題。本研究提出了一種基于知識蒸餾的農(nóng)業(yè)實體識別方法。首先，利用互聯(lián)網(wǎng)的海量農(nóng)業(yè)數(shù)據(jù)構(gòu)建農(nóng)業(yè)知識圖譜，在此基礎(chǔ)上通過遠(yuǎn)程監(jiān)督得到弱標(biāo)注語料。其次，針對實體識別的特點，提出基于注意力的BERT層融合模型（BERT-ALA），融合不同層次的語義特征；結(jié)合雙向長短期記憶網(wǎng)絡(luò)（BiLSTM）和條件隨機場CRF，得到BERT-ALA+BiLSTM+CRF模型作為教師模型。最后，用BiLSTM+CRF模型作為學(xué)生模型蒸餾教師模型，保證模型預(yù)測耗時和參數(shù)量符合線上服務(wù)要求。在本研究構(gòu)建的農(nóng)業(yè)實體識別數(shù)據(jù)集以及兩個公開數(shù)據(jù)集上進(jìn)行實驗，結(jié)果顯示，BERT-ALA+BiLSTM+CRF模型的macro-F1相對于基線模型BERT+ BiLSTM+CRF平均提高1%。蒸餾得到的學(xué)生模型BiLSTM+CRF的macro-F1相對于原始數(shù)據(jù)訓(xùn)練的模型平均提高3.3%，預(yù)測耗時降低了33%，存儲空間降低98%。試驗結(jié)果驗證了基于注意力機制的BERT層融合模型以及知識蒸餾在農(nóng)業(yè)實體識別方面具有有效性。

關(guān)鍵詞： 遠(yuǎn)程監(jiān)督；農(nóng)業(yè)知識圖譜；農(nóng)業(yè)問答系統(tǒng)；實體識別；知識蒸餾；深度學(xué)習(xí)；BERT；雙向長短期記憶網(wǎng)絡(luò)

中圖分類號： TP391??????????? 文獻(xiàn)標(biāo)志碼： A???????????? 文章編號： 202012-SA001

引用格式：李亮德, 王秀娟, 康孟珍, 華凈, 樊夢涵. 基于語義融合與模型蒸餾的農(nóng)業(yè)實體識別[J]. 智慧農(nóng)業(yè)(中英文), 2021, 3 (1): 118-128.

Citation:LI Liangde, WANG Xiujuan, KANG Mengzhen, HUA Jing, FAN Menghan. Agricultural named entity recognition based on semantic aggregation and model distillation[J]. Smart Agriculture, 2021, 3 (1): 118-128. (

1? 引? 言

隨著農(nóng)業(yè)互聯(lián)網(wǎng)的發(fā)展與農(nóng)業(yè)從業(yè)人員的新老更替，需要進(jìn)行農(nóng)業(yè)知識的快速傳播和應(yīng)用，以解決農(nóng)業(yè)技術(shù)人員不足的問題。目前，互聯(lián)網(wǎng)上的農(nóng)業(yè)知識技術(shù)問答主要由人工專家來完成，這樣不僅效率低，而且受技術(shù)專家資源稀缺的限制。如果計算機能夠理解用戶輸入的農(nóng)業(yè)問題，通過建立農(nóng)業(yè)知識圖譜來進(jìn)行智能回答，將大大提高農(nóng)業(yè)知識問答效率。

農(nóng)業(yè)智能問答系統(tǒng)包括信息抽取［1］、知識圖譜構(gòu)建、問句理解和基于知識庫的問答四個環(huán)節(jié)。信息抽取用于理解問題并基于農(nóng)業(yè)知識圖譜回答問題，對于農(nóng)業(yè)智能問答系統(tǒng)至關(guān)重要。命名實體識別［2］是指識別出文本中的實體指稱項及其類別，是自然語言處理中一項基礎(chǔ)任務(wù)。基于農(nóng)業(yè)實體識別可抽取文本中關(guān)鍵信息，構(gòu)建農(nóng)業(yè)知識圖譜，實現(xiàn)農(nóng)業(yè)知識結(jié)構(gòu)化，進(jìn)而基于知識圖譜進(jìn)行農(nóng)業(yè)知識問答?；ヂ?lián)網(wǎng)上儲存著大量的非結(jié)構(gòu)化農(nóng)業(yè)文本，如何將這些雜亂無章的農(nóng)業(yè)文本轉(zhuǎn)化成結(jié)構(gòu)化的農(nóng)業(yè)知識，構(gòu)建農(nóng)業(yè)知識圖譜，是實現(xiàn)農(nóng)業(yè)智能問答系統(tǒng)的重要環(huán)節(jié)。

農(nóng)業(yè)知識數(shù)據(jù)特別是標(biāo)注數(shù)據(jù)難以獲取，有關(guān)農(nóng)業(yè)知識圖譜構(gòu)建以及信息抽取的研究相對較少。已有研究的農(nóng)業(yè)實體識別方案往往需要大量的訓(xùn)練數(shù)據(jù)訓(xùn)練，因此應(yīng)用這些方案時，需要人工標(biāo)注實體識別數(shù)據(jù)，成本很高。使用的模型也存在需要手工提取特征、實體識別效果不佳等問題；或者沒有考慮實際線上對預(yù)測耗時、模型大小的要求，停留在實驗驗證階段。李貫峰和張鵬［3］使用詞典來實現(xiàn)實體識別，構(gòu)建了基于農(nóng)業(yè)本體的web知識抽取模型，因為web知識庫難以覆蓋所有的農(nóng)業(yè)實體，因此存在著召回率低的缺點。王春雨和王芳［4］用條件隨機場［5］來進(jìn)行命名實體識別。但這種方法需要手工構(gòu)造特征且模型容量低，難以完成復(fù)雜的實體識別任務(wù)。印度的Malarkodi等［6］應(yīng)用了條件隨機場模型，輸入一些句法詞匯特征，同樣存在依賴手工構(gòu)造特征的問題。劉曉?。?］使用了基于密集連接的雙向長短記憶網(wǎng)絡(luò)（Dense Connected Bi-directional Long Short-Term Memory，DC-LSTM）+ （Conditional Random Field，CRF）架構(gòu)進(jìn)行面向農(nóng)業(yè)領(lǐng)域的命名實體識別研究。由于這是一種多層的密集連接的結(jié)構(gòu)，推理耗時長、模型參數(shù)量多，難以在線上進(jìn)行實際使用。Biswas等［8］利用WordNet［9］進(jìn)行農(nóng)業(yè)實體識別，該方法本質(zhì)上與詞典匹配差別不大，但是利用WordNet詞的相關(guān)性，擴(kuò)充了詞典。

目前，無論是基于條件隨機場等傳統(tǒng)方法，還是基于深度學(xué)習(xí)［10］的實體識別模型，都是數(shù)據(jù)驅(qū)動的，需要海量的標(biāo)注數(shù)據(jù)作為支撐。在農(nóng)業(yè)領(lǐng)域缺乏大量現(xiàn)成的標(biāo)注數(shù)據(jù)情況下，直接套用通用領(lǐng)域的實體識別方案難以奏效。因此，本研究提出了一種基于遠(yuǎn)程監(jiān)督［11］的農(nóng)業(yè)領(lǐng)域數(shù)據(jù)標(biāo)注方案，以解決農(nóng)業(yè)實體識別標(biāo)注數(shù)據(jù)稀缺的問題。

遠(yuǎn)程監(jiān)督的思想由Mintz于第47屆計算語言協(xié)會年會上（Association for Computational Linguistics）上首次提出，通過將知識庫與文本對齊來自動構(gòu)建大量訓(xùn)練數(shù)據(jù)，減少模型對人工標(biāo)注數(shù)據(jù)的依賴，增強模型跨領(lǐng)域適應(yīng)能力，被大量運用在關(guān)系抽取領(lǐng)域［12］。遠(yuǎn)程監(jiān)督提出的動機是解決關(guān)系抽取標(biāo)注數(shù)據(jù)難以獲取的問題，而農(nóng)業(yè)實體識別數(shù)據(jù)存在標(biāo)注數(shù)據(jù)難以獲取的問題，因此本文將遠(yuǎn)程監(jiān)督的思想遷移到實體識別領(lǐng)域。通用領(lǐng)域具有一詞多義性質(zhì)，在通用領(lǐng)域給遠(yuǎn)程監(jiān)督帶來很大的噪聲。但是，在農(nóng)業(yè)等專有領(lǐng)域，雖然存在漏標(biāo)注的情況，但是詞的語義固定，整體上噪聲比較小，因此遠(yuǎn)程監(jiān)督是可行的方案，可以很好地規(guī)避農(nóng)業(yè)領(lǐng)域缺乏標(biāo)注數(shù)據(jù)的問題。

本研究采用目前在自然語言處理領(lǐng)域流行的大規(guī)模預(yù)訓(xùn)練模型基于轉(zhuǎn)換器的雙向編碼表征（Bidirectional Encoder Representations from Transformers，BERT）［13］，一方面，預(yù)訓(xùn)練模型在海量互聯(lián)網(wǎng)數(shù)據(jù)上的訓(xùn)練，模型容量大，能夠擬合復(fù)雜的實體識別任務(wù)；另一方面，農(nóng)業(yè)實體識別標(biāo)注數(shù)據(jù)比較稀缺，而預(yù)訓(xùn)練模型基于大規(guī)模語料訓(xùn)練的，包含了很多基礎(chǔ)的語言知識，在大規(guī)模預(yù)訓(xùn)練模型的基礎(chǔ)上進(jìn)行微調(diào)，農(nóng)業(yè)實體識別模型也包含了這部分基礎(chǔ)的語言知識。此外，本研究還結(jié)合農(nóng)業(yè)實體識別的特點，提出了基于注意力的層融合機制（Attention-Based Layer Aggregation）對BERT做出改進(jìn)。

在線問答系統(tǒng)需要時間和空間復(fù)雜度低的模型。前面提出了基于BERT的模型，但是BERT因為參數(shù)量大導(dǎo)致推理耗時高，很難滿足實時推理需求。模型蒸餾［14］是將訓(xùn)練好的復(fù)雜模型推廣“知識”能力遷移到一個結(jié)構(gòu)更為簡單的網(wǎng)絡(luò)中，或者通過簡單的網(wǎng)絡(luò)去學(xué)習(xí)復(fù)雜模型中的“知識”。其中，訓(xùn)練好的復(fù)雜模型稱為教師模型，而學(xué)習(xí)的簡單模型稱為學(xué)生模型。本研究考慮到模型上線對于預(yù)測耗時和模型大小的要求，用BiLSTM + CRF［15］作為學(xué)生模型，蒸餾前面得到的基于BERT的系列模型。

2? 研究方法

2.1整體架構(gòu)

本研究提出的農(nóng)業(yè)實體識別架構(gòu)主要包括了弱標(biāo)注［16］語料構(gòu)建模塊、模型訓(xùn)練模塊以及線上推理模塊（圖1）。

其中，弱標(biāo)注語料構(gòu)建模塊采用了遠(yuǎn)程監(jiān)督的思想，分為兩個階段：一是農(nóng)業(yè)知識圖譜構(gòu)建階段，爬取互聯(lián)網(wǎng)的農(nóng)業(yè)資源，過濾得到農(nóng)業(yè)實體，構(gòu)建農(nóng)業(yè)知識圖譜；二是數(shù)據(jù)弱標(biāo)注階段，通過前向最大匹配標(biāo)注出文本里面的農(nóng)業(yè)實體，用于模型訓(xùn)練。其中，模型訓(xùn)練模塊又包含了兩個階段：一是教師模型訓(xùn)練階段，用弱標(biāo)注數(shù)據(jù)去訓(xùn)練本文提出的教師模型；二是模型蒸餾階段［14］，用參數(shù)量少的模型作為學(xué)生模型蒸餾教師模型。線上推理模塊接受用戶端發(fā)送的文本，合并詞典、學(xué)生模型的結(jié)果，返回給用戶端。

2.2數(shù)據(jù)來源

目前農(nóng)業(yè)領(lǐng)域缺乏開源的中文農(nóng)業(yè)知識圖譜和農(nóng)業(yè)實體識別語料?；影倏?、百度百科都是開源的中文百科網(wǎng)站，包含了大量農(nóng)業(yè)方面的實體和知識，很多農(nóng)業(yè)網(wǎng)站上相關(guān)的農(nóng)業(yè)知識也與百科網(wǎng)站上相同，不同的百科網(wǎng)站里面農(nóng)業(yè)方面的知識類似?？紤]到互動百科比其他百科類網(wǎng)站以及開源的農(nóng)業(yè)信息網(wǎng)站更容易爬取，本研究選擇爬取互動百科數(shù)據(jù)，建立農(nóng)業(yè)知識圖譜，用于構(gòu)建農(nóng)業(yè)知識圖譜以及標(biāo)注實體識別訓(xùn)練語料。將互動百科數(shù)據(jù)庫下的農(nóng)業(yè)實體對應(yīng)的文檔進(jìn)行分句，得到農(nóng)業(yè)實體識別語料。

2.3基于遠(yuǎn)程監(jiān)督的農(nóng)業(yè)命名實體識別語料標(biāo)注

將遠(yuǎn)程監(jiān)督思想用在實體識別領(lǐng)域，是假設(shè)一個句子中的某個詞與知識圖譜里面的某個實體對應(yīng)的名稱或者別稱相同，那么這個詞就對應(yīng)知識圖譜里面的實體。遠(yuǎn)程監(jiān)督的思想存在兩方面的問題：首先，對于一詞多義的實體會存在標(biāo)注錯誤，例如把Apple手機的“蘋果”對應(yīng)到水果的“蘋果”，但是一詞多義在農(nóng)業(yè)等專業(yè)領(lǐng)域的文本里面是可以忽略的；其次，對于不在農(nóng)業(yè)知識圖譜里面的實體，存在漏標(biāo)注。通過遠(yuǎn)程監(jiān)督方法對文本進(jìn)行弱標(biāo)注可以分為兩個階段：一是爬取互聯(lián)網(wǎng)上多人協(xié)作的寫作系統(tǒng)（Wiki）建立農(nóng)業(yè)知識圖譜，通過對Wiki本體的標(biāo)簽信息應(yīng)用規(guī)則匹配，推斷出實體的類型，過濾得到實體類型為作物、病害、農(nóng)藥等的實體，構(gòu)建農(nóng)業(yè)知識圖譜；二是對語料進(jìn)行弱標(biāo)注，將農(nóng)業(yè)知識圖譜的實體用前綴樹［17］保存起來，作為詞典，對文本中的句子進(jìn)行前向最大匹配，從而得到實體弱標(biāo)注的結(jié)果。例如句子“怎樣進(jìn)行番茄分苗”通過前向最大匹配，就可以得到番茄兩字對應(yīng)農(nóng)業(yè)知識圖譜里面“番茄”這個實體，番茄實體的類別是作物（crop）。進(jìn)而生成標(biāo)簽O（“怎”） O（“樣”） O（“進(jìn)”） O（“行”） B_crop （“番”） I_crop （“茄”）O（“分”） O（“苗”）。其中，O （other）表示非實體，B（begin）表示實體開始位置，I（interior）表示實體內(nèi)部以及結(jié)束位置，crop表示實體類型為作物類型。B_crop I_crop表示類型為作物的實體，分別對應(yīng)于實體的開始和結(jié)束的位置，在句子中為第4和第5個詞（“番茄”）。

2.4教師模型

深度學(xué)習(xí)模型+條件隨機場［15,18,19］是命名實體識別領(lǐng)域的主流模型［15］。深度學(xué)習(xí)模型指具有BiLSTM［20］和BERT［13］一類的模型，用于提取文本的語義特征，得到詞到每個實體類別的概率；條件隨機場用于計算各個實體類別的轉(zhuǎn)移概率，結(jié)合生成概率和轉(zhuǎn)移概率，進(jìn)行end2end的訓(xùn)練。

2.4.1BERT模型

BERT模型是谷歌AI團(tuán)隊于2018年發(fā)布的預(yù)訓(xùn)練模型，在11種不同自然語言處理驗證任務(wù)中創(chuàng)造了最佳成績。簡單來說，BERT在大量文本語料上使用自監(jiān)督的方式訓(xùn)練了一個通用的語言理解模型，然后在這個模型上設(shè)置輕量級的下游任務(wù)接口去執(zhí)行特定的自然語言處理任務(wù)。BERT模型結(jié)構(gòu)如圖2所示。

BERT模型主要包含三個部分：輸入層、多轉(zhuǎn)換器（transformer encoder），以及輸出層。輸入層由詞嵌入（token-embedding）、位置嵌入（position-embedding）和段嵌入（segment-embedding）組成。詞嵌入是將文本分為詞，將詞轉(zhuǎn)化為向量；位置嵌入是將詞的位置信息編碼為特征向量，從而讓模型獲取到詞的位置信息；段嵌入用于區(qū)分模型輸入的兩個句子。Transformer encoder［21］通過自注意力機制（self attention），實現(xiàn)詞與詞的相互交互，獲得句子的語義表征。輸出層在句子的語義表征基礎(chǔ)上，根據(jù)下游任務(wù)來定具體的結(jié)構(gòu)。BERT訓(xùn)練分為預(yù)訓(xùn)練階段和微調(diào)階段兩個階段。在預(yù)訓(xùn)練階段采用自監(jiān)督的訓(xùn)練，主要任務(wù)是Masked Language Model，也即隨機掩蓋句子里面的某些詞，預(yù)測這些詞，這個過程無需標(biāo)注語料，可以直接通過互聯(lián)網(wǎng)上的海量文本獲??；在微調(diào)階段，針對特定任務(wù)，設(shè)置不同的輸出層和目標(biāo)函數(shù)，利用少量標(biāo)注數(shù)據(jù)進(jìn)一步更新模型參數(shù)，即可完成針對特定領(lǐng)域的模型訓(xùn)練。

2.4.2長短記憶網(wǎng)絡(luò)

長短記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)［20］用門機制去改善循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的梯度消失問題，雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bi-directional Long Short-Term Memory，BiLSTM）由兩個單向的LSTM網(wǎng)絡(luò)構(gòu)成，兩個網(wǎng)絡(luò)中一個隨時間正向傳播，另一個隨時間逆向傳播。對于文本序列而言，BiLSTM能有效的捕獲上下文信息，在實體識別等序列標(biāo)注任務(wù)上有效。

2.4.3條件隨機場

條件隨機場（Conditional Random Field，CRF）模型［5］是一種概率無向圖模型，可以解決序列標(biāo)注任務(wù)。給定觀察序列X的條件下求Y，Y隱狀態(tài)序列的概率為P（Y|X）。在命名實體識別上使用的CRF主要是CRF線性鏈，建模的數(shù)學(xué)公式下所示。

P(y|x)=1/(Z(x)) exp ??????????????????????????? (∑_(k=1)^K?〖w_k f_k (y,x〗)) （1）

Z(x)=∑_y?〖exp∑_(k=1)^K?w_k 〗 f_k (y,x)? （2）其中，f_k是特征函數(shù)；w_k是特征函數(shù)的權(quán)重；Z(x)是歸一化因子。模型在預(yù)測的時候使用維特比算法，這是一種動態(tài)規(guī)劃算法，在給定觀察序列X和參數(shù)的條件下，求出最大的標(biāo)記序列Y的概率。

2.4.4深度學(xué)習(xí)模型+條件隨機場

深度學(xué)習(xí)模型本質(zhì)上是把深度模型視為文本特征提取器，得到文本特征后，通過全連接層后得到詞到實體類別的得分，記為P，輸入到CRF層中。CRF層包含一個轉(zhuǎn)移矩陣A，表示兩個標(biāo)簽的轉(zhuǎn)移得分。模型對句子x標(biāo)簽等于y打分，打分經(jīng)過softmax后得到概率，表達(dá)式如下所示。

score(x,????????????????????????????????????? y)=∑_(i=1)^n?P_(i,???????????????????????????? ??????? y_i ) +∑_(i=1)^(n+1)?A_(y_(i-1),????????????????????????????????????? y_i ) （3）

P(y|x)=(exp ?????????????????????????????????? (score(x,??????????????????????????????????????? ??? y)))/(∑_(y^')?〖exp ?????????????????????????????????????? (score(x,??????????????????? ??????????????????????????? y^' ))〗) （4）

可以看出，整個句子的打分等于各個位置的打分之和，每個位置的打分由深度學(xué)習(xí)模型的輸出P以及轉(zhuǎn)移得分A決定。模型訓(xùn)練時，最大化對數(shù)損失函數(shù)即可。

深度模型可以是BERT、BiLSTM、空洞卷積神經(jīng)網(wǎng)絡(luò)（Iterated Dilated Convolutional Neural Network，IDCNN）等。目前在實體識別領(lǐng)域用的最多的是BERT和BiLSTM。BiLSTM+CRF 2016年由Dong等［22］提出，用于通用領(lǐng)域命名實體識別；BERT+CRF由Souza等［19］提出，用于葡萄牙語的命名實體識別；但是BERT的transformer的自注意力機制會破壞BERT的相對位置信息［23］。為解決BERT相對位置信息抽取能力不足的問題，一種方法是用BERT+BiLSTM［22］作為深度模型，BERT+BiLSTM+CRF由Jiang等［24］提出，用于通用領(lǐng)域的命名實體識別。BERT起到提供動態(tài)詞向量的作用，BiLSTM用于建模相對位置信息。因此，本研究設(shè)置了三種基線模型BiLSTM + CRF［22］、BERT + CRF［19］和BERT + BiLSTM + CRF［24］來進(jìn)行農(nóng)業(yè)實體識別實驗，進(jìn)而選擇出試驗效果較好的模型作為教師模型，蒸餾輕量化的學(xué)生模型。這三種基線模型在其他領(lǐng)域都被驗證有效。

2.4.5基于注意力的BERT層融合模型機制

實體識別任務(wù)對于底層的語法、語義特征需求比較大，對于上層語義特征的需求反而沒有那么強烈。BERT是一個多層transformer［21］的特征提取器，BERT-base模型一共包含了12層。多層transformer一方面減慢模型的推理速度。另一方面，Jawahar等［25］在ACL 2019發(fā)表的論文指出，BERT的低層網(wǎng)絡(luò)學(xué)習(xí)到了短語級別的信息表征，BERT的中層網(wǎng)絡(luò)學(xué)習(xí)到了豐富的語言學(xué)特征，而BERT的高層網(wǎng)絡(luò)則學(xué)習(xí)到了豐富的語義信息特征。對于通用領(lǐng)域的實體識別而言，模型專注于頂層語義特征而忽視了實體識別任務(wù)亟需的底層特征。對于垂直領(lǐng)域，如農(nóng)業(yè)的實體識別而言，判別實體的邊界比判別實體的類別更難，因為垂直領(lǐng)域?qū)嶓w含義相對通用領(lǐng)域的判別容易一些。因此底層特征包含的短語級別的信息表征對于判別實體邊界更重要，僅僅考慮頂層的高層語義信息顯然不合理。另外一方面，本研究遠(yuǎn)程監(jiān)督得到的標(biāo)注數(shù)據(jù)的量有限，直接取高層的信息容易導(dǎo)致過擬合。因此，本研究提出一種基于注意力的BERT層融合機制。BERT模型包含多層transformer encoder，不同大小的BERT模型transformer encoder層數(shù)不同，一般有12、24、48三種，將BERT的層數(shù)記為L，做基于注意力機制的層融合，其中α和γ都是可訓(xùn)練的參數(shù)，如公式（5）和公式（6）所示。

h=γ∑_(i=1)^N?〖w_i h_i 〗 （5）

w_i=(exp ????????????????????????????????? (α_i))/(∑exp ???????????????????????????????? (α_j))??? （6）其中，h為BERT模型中間層輸出；w為每一層的權(quán)重。

本研究將基于注意力的BERT層融合模型命名為BERT-ALA（Attention Based Layer Aggregation for BERT），后面的試驗統(tǒng)一用這個名稱，此機制可以應(yīng)用在任意基于BERT的模型中。將BERT-ALA應(yīng)用在BERT+BiLSTM+CRF中，得到BERT-ALA+BiLSTM+CRF，主要結(jié)構(gòu)如圖3所示。BERT模型不同層的輸出通過一組可以學(xué)習(xí)的權(quán)重參數(shù)加權(quán)得到最后的特征表示，再送入后續(xù)的BiLSTM以及CRF里面進(jìn)行實體識別。

2.5模型蒸餾

模型蒸餾［14］就是將訓(xùn)練好的復(fù)雜模型推廣能力“知識”遷移到一個結(jié)構(gòu)更為簡單的網(wǎng)絡(luò)中，或者通過簡單的網(wǎng)絡(luò)去學(xué)習(xí)復(fù)雜模型中的“知識”。前面提出了基于BERT的幾種模型，但是BERT因為參數(shù)量大導(dǎo)致推理耗時高，很難滿足實時推理需求。因此，本研究用BiLSTM+CRF作為學(xué)生模型，蒸餾前面提出的教師模型。相對于傳統(tǒng)模型蒸餾只是蒸餾最后一層的輸出而言，本研究還蒸餾了教師模型中間的BiLSTM層。蒸餾的損失函數(shù)一共分為3項，目標(biāo)函數(shù)表達(dá)如下。

(loss=α_1 MSEloss(h_BiLSTM (T),h_BiLSTM (S) )+@α_2 CEloss(h_CRF (T),h_CRF (S) )+)

α_3 CRFloss(y_true,h_CRF (S))? （7）其中，S表示學(xué)生模型；T表示教師模型； 表示model的layer層（BiLSTM層，CRF層）輸出。因此，蒸餾損失的3項分別表示為：（1）學(xué)生模型BiLSTM層輸出擬合教師模型BiLSTM層的輸出，擬合損失是平均平方誤差MSE；（2）學(xué)生模型CRF層輸出的概率分布，與教師模型CRF層輸出的概率分布求交叉熵；（3）原來的CRF損失［15］。其中，由CRF層輸出概率與真實的實體識別標(biāo)簽計算得到。

2.6模型推理

在推理階段，接受用戶端文本輸入后，包含三個階段的流程。

（1）通過詞典匹配得到句子里面的農(nóng)業(yè)類型實體S1。

（2）通過學(xué)生模型預(yù)測得到句子里面的農(nóng)業(yè)實體S2。

（3）模型和詞典得到的標(biāo)注結(jié)果用求并集的方法聚合，返回給用戶端；對于在S2而不在S1中的實體，是詞典中還不存在的，返回人工專家復(fù)查，得到新詞加入詞典，以提高詞典的覆蓋率。

3? 試驗驗證與分析

3.1評價指標(biāo)

試驗指標(biāo)采用精確匹配模式，被實體識別模型識別出來的稱為mention，mention和ground truth里面的實體都表示為（start，end，type）的形式，start和end表示mention或者entity的邊界，type表示類型。對于實體識別領(lǐng)域來說，TP、FP和FN的定義如下。

（1）True Positive（TP）：農(nóng)業(yè)實體識別模型識別出來的mention，與ground truth里面的實體能對應(yīng)上；

（2）False Positive（FP）：農(nóng)業(yè)實體識別模型識別出來的mention，與ground truth里面的實體不能對應(yīng)上，這里也包含了邊界識別正確，但是類型識別錯誤的情況；

（3）False Negative（FN）：ground truth里面存在的entity，沒有被農(nóng)業(yè)實體識別模型識別出來。

根據(jù)上面定義的TP、FP和FN可以計算Precision、Recall和F1分?jǐn)?shù)值，分別表示準(zhǔn)確率、召回率以及F1分?jǐn)?shù)值如下。

Precison=TP/(TP+FP)?? （8）

Recall=TP/(TP+FN)? （9）

F1= (2×Precision×Recall)/(Precision+Recall)??? （10）

實體包含多種類型，不同類型的實體分別計算實體識別的F1，然后計算整體的F1，整體F1采用macro-F1［26］的方式計算，是各個類別F1的平均，公式如下所示。

macroF1= (∑_(i=1)^c?〖F1_i 〗)/2?? （11）

3.2試驗設(shè)計

本研究選取了農(nóng)業(yè)和醫(yī)學(xué)兩個領(lǐng)域，總共三個數(shù)據(jù)集來進(jìn)行實驗驗證。選取醫(yī)學(xué)領(lǐng)域的原因是因為醫(yī)學(xué)領(lǐng)域與農(nóng)業(yè)領(lǐng)域一樣，都屬于特定領(lǐng)域，另外，醫(yī)學(xué)領(lǐng)域?qū)嶓w識別相對農(nóng)業(yè)領(lǐng)域數(shù)據(jù)研究的比較多，容易獲取開源的實驗識別標(biāo)注數(shù)據(jù)。第一個數(shù)據(jù)集是本研究構(gòu)建的數(shù)據(jù)集，后面兩個數(shù)據(jù)集是公開的數(shù)據(jù)集。

數(shù)據(jù)一：從互動百科獲取的農(nóng)業(yè)領(lǐng)域文本，按照句子進(jìn)行切分。采用基于遠(yuǎn)程監(jiān)督的方式構(gòu)建訓(xùn)練集，驗證集由人工標(biāo)注。其中包含作物實體4662個，疾病實體695個。訓(xùn)練集和測試集的比例是8:2，訓(xùn)練集有10,277條數(shù)據(jù)，測試集有2532條數(shù)據(jù)。數(shù)據(jù)集已經(jīng)在數(shù)據(jù)建模和數(shù)據(jù)分析競賽平臺kaggle上開源（https://www.kaggle.com/supportvectordevin/agriculture-pedia.）。

數(shù)據(jù)二：來源于訊飛開放平臺的“農(nóng)業(yè)問答數(shù)據(jù)處理挑戰(zhàn)賽”里面的實體識別任務(wù)（http://challenge.xfyun.cn/topic/info?type=agriculture.）［25］，標(biāo)注出農(nóng)作物、病蟲害和農(nóng)藥的命名實體標(biāo)簽。數(shù)據(jù)集包含病蟲害實體100,660個，農(nóng)藥實體250,740，作物實體5796個。訓(xùn)練集包含15,624個樣本，測試集包含3906個樣本。

數(shù)據(jù)三：醫(yī)學(xué)領(lǐng)域數(shù)據(jù)，來源于ccks 2017的task 2，面向電子病歷的命名實體識別（Clinical Named Entity Recognition，CNER）（https://github.com/zjy-ucas/ChineseNER）。即對于給定的一組電子病歷文檔（純文本文件），任務(wù)的目標(biāo)是識別并抽取出與醫(yī)學(xué)臨床相關(guān)的實體名字。數(shù)據(jù)集包含癥狀和體征實體12,821個、檢查和檢驗實體17,655個、疾病和診斷實體4560個、治療實體4940個、身體部位實體17,556個。訓(xùn)練集包含10,787個樣本，測試集包含2697個樣本。

模型超參數(shù)方面，LSTM+CRF的詞向量采用fast text Chinese word embedding［27］，LSTM隱含層數(shù)量是128。訓(xùn)練方面，采用Adam優(yōu)化器［28］，BERT層學(xué)習(xí)速率為10-5，其他層為10-3，batch size是32，每個batch采用batch內(nèi)部最長的句子做padding，以減少內(nèi)存消耗，但是最長截斷長度設(shè)置為64。

3.3基線模型對比驗證

在三個數(shù)據(jù)集上，測試了三種基線模型的macro-F1，結(jié)果如表1所示。

分析驗證結(jié)果得到三個結(jié)論。

（1）關(guān)于數(shù)據(jù)一的結(jié)果表明，遠(yuǎn)程監(jiān)督的訓(xùn)練集訓(xùn)練的模型在人工標(biāo)注的測試集上表現(xiàn)良好，證明了通過遠(yuǎn)程監(jiān)督構(gòu)建數(shù)據(jù)集的有效性。

（2）引入大規(guī)模預(yù)訓(xùn)練模型BERT相對于BiLSTM能顯著提高模型的表現(xiàn)；相對于數(shù)據(jù)一的macro-F1提高7.75%，數(shù)據(jù)二的marco-F1提高13.39%，數(shù)據(jù)三是醫(yī)療實體識別數(shù)據(jù)，提升相對小一些，為1.64%。

（3）在BERT后面加入BiLSTM，能在一定程度上緩解BERT相對位置捕獲不強的缺陷，在數(shù)據(jù)一上，macro-F1相對于BERT+CRF提高了0.71%；在數(shù)據(jù)二上，提高了0.36%；在數(shù)據(jù)三上，提高了0.69%。

3.4基于注意力的BERT層融合機制有效性驗證

針對BERT+CRF和BERT+BiLSTM+CRF兩個BERT系模型，分別用層融合機制改進(jìn)BERT，驗證結(jié)果是否對實體識別結(jié)果有提高。結(jié)果如表2所示。

驗證結(jié)果表明，基于注意力的層融合機制在三個數(shù)據(jù)集上都能提高實體識別的效果。說明層融合機制在實體識別領(lǐng)域具有一定普適性。BERT-ALA+CRF和BERT-ALA+BiLSTM+CRF相對于基準(zhǔn)模型分別有大約1%的macro-F1的提高。

BERT-ALA+BiLSTM+CRF在所有模型里面的效果最好，所以被選擇為教師模型，指導(dǎo)蒸餾部分的學(xué)生模型學(xué)習(xí)。本研究主要是將BERT-ALA+BiLSTM+CRF應(yīng)用在農(nóng)業(yè)實體識別領(lǐng)域。

3.5模型蒸餾效果驗證

通過模型蒸餾的方法得到的教師模型是BERT-ALA+BiLSTM+CRF，學(xué)生模型是BiLSTM+CRF。與教師模型相比，學(xué)生模型的時間和空間復(fù)雜度都有改善。本研究用預(yù)測1000個樣本的平均耗時表示模型的預(yù)測耗時，用于比較學(xué)生模型時間復(fù)雜度的改善；模型大小用模型占據(jù)的存儲空間表示，用于驗證學(xué)生模型空間復(fù)雜度的提高。由于這兩個指標(biāo)與數(shù)據(jù)無關(guān)，因此本研究在3個數(shù)據(jù)進(jìn)行實驗后取平均值。結(jié)果表明，蒸餾后的學(xué)生模型相對于教師模型每預(yù)測千個樣本的耗時減少了33%，模型大小減少了98%，時間復(fù)雜度和空間復(fù)雜度都有了很大的改善，更加適用于線上預(yù)測場景。

本研究測試了蒸餾得到學(xué)生模型相對于用標(biāo)注數(shù)據(jù)訓(xùn)練的同等模型的效果提高，maro-F1指標(biāo)的對比結(jié)果如表3所示。

驗證結(jié)果表明，采用模型蒸餾的訓(xùn)練方法，相對于訓(xùn)練數(shù)據(jù)訓(xùn)練的同等模型，學(xué)生模型學(xué)到了更多的暗知識。蒸餾得到的學(xué)生模型在數(shù)據(jù)一上，macro-F1提高了3.1%。在數(shù)據(jù)二上，提高了4.09%，在數(shù)據(jù)三上，提高了2.82%。

3.6學(xué)生模型效果展示

本研究主要應(yīng)用場景是農(nóng)業(yè)實體識別，因此以番茄為例，選取了幾個番茄的百問百答［27］問句以及回答，驗證最終線上蒸餾的學(xué)生模型效果，句子及其識別的結(jié)果如下。

提問1：番茄病毒病癥狀及防治方法是什么？

識別結(jié)果：｛'mention':'番茄病毒病', 'type':'disease', 'offset':0｝

提問2：番茄筋腐病是怎樣產(chǎn)生的，如何防止？

識別結(jié)果：｛'mention':'番茄筋腐病', 'type'：'disease', 'offset':0｝

提問3：癥狀：番茄細(xì)菌性斑疹病主要危害葉、莖、花、葉柄和果實。

識別結(jié)果：｛'mention':'番茄細(xì)菌性斑疹病', 'type':'disease', 'offset':3｝

上述提問1、2和3的實體都能完整識別出來。其中，提問2和3中的實體“番茄筋腐病”和“番茄細(xì)菌性斑疹病”都沒有出現(xiàn)在詞典中，也就是不存在于標(biāo)注數(shù)據(jù)中，但是模型能識別成功，驗證了模型具有良好的泛化性能。

4? 結(jié)? 論

本研究提出用遠(yuǎn)程監(jiān)督構(gòu)建農(nóng)業(yè)實體識別數(shù)據(jù)，標(biāo)注數(shù)據(jù)存在漏標(biāo)注的問題?；诼?biāo)注的句子遠(yuǎn)比標(biāo)注正確的句子少的假設(shè)，解決的思路是用弱標(biāo)注的數(shù)據(jù)訓(xùn)練一個初級版本的實體識別模型，再用實體識別模型選擇訓(xùn)練集里面一些置信度低的結(jié)果，返回來進(jìn)行校正，最后用校正后的數(shù)據(jù)對基礎(chǔ)版本模型進(jìn)行微調(diào)。

（1）主要研究了農(nóng)業(yè)領(lǐng)域的實體識別問題。針對農(nóng)業(yè)領(lǐng)域缺乏實體識別標(biāo)注數(shù)據(jù)的問題，提出爬取互聯(lián)網(wǎng)開源數(shù)據(jù)庫“互動百科”構(gòu)建農(nóng)業(yè)知識圖譜，遠(yuǎn)程監(jiān)督實現(xiàn)實體識別數(shù)據(jù)弱標(biāo)注的方案。

（2）針對過往研究使用的模型識別效果不佳、依賴手工特征的問題，結(jié)合農(nóng)業(yè)實體識別的特點，提出了基于注意力層融合機制的BERT-ALA+BiLSTM+CRF模型，在3個數(shù)據(jù)集上都取得了最優(yōu)的效果，驗證了層融合機制的有效性。本研究的目的主要是將這個模型應(yīng)用在農(nóng)業(yè)實體識別領(lǐng)域。

（3）針對基于BERT的模型預(yù)測耗時長的問題，用BiLSTM+CRF模型作為學(xué)生模型提出的蒸餾BERT-ALA+BiLSTM+CRF模型，大大降低了線上模型的時間復(fù)雜度和空間復(fù)雜度，使得訓(xùn)練后的模型在移動端應(yīng)用成為可能。

本研究提出的實體識別方法在解決農(nóng)業(yè)領(lǐng)域?qū)嶓w識別問題方面實現(xiàn)了農(nóng)業(yè)智能化究方法，還可以拓展應(yīng)用到其他標(biāo)注數(shù)據(jù)缺失的垂直領(lǐng)域?qū)嶓w識別場景，如醫(yī)學(xué)、教育、軍事等。

致? 謝

感謝中國農(nóng)業(yè)科學(xué)院蔬菜與花卉研究所賀超興研究員為本研究提供意見。

參考文獻(xiàn)：

[1]??? COWIE J, LEHNERT W. Information extraction[J]. Communications of the ACM, 1996, 39(1): 80-91.

[2]??? LAMPLE G, BALLESTEROS M, SUBRAMANIAN S, et al. Neural architectures for named entity recognition[C]// The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: Association for Computational Linguistics, 2016: ID N16-1030.

[3]??? 李貫峰, 張鵬. 一個基于農(nóng)業(yè)本體的 Web 知識抽取模型[J]. 江蘇農(nóng)業(yè)科學(xué), 2018, 46(4): 201-205.LI G, ZHANG P. A web knowledge extraction model based on agricultural ontology[J]. Jiangsu Agricultural Sciences, 2018, 46 (4): 201-205.

[4]??? 王春雨, 王芳. 基于條件隨機場的農(nóng)業(yè)命名實體識別研究[J]. 河北農(nóng)業(yè)大學(xué)學(xué)報, 2014, 37(1): 132-135.WANG C, WANG F. Research on agricultural named entity recognition based on conditional random field[J]. Journal of Hebei Agricultural University, 2014, 37 (1): 132-135.

[5]??? TSENG H, CHANG P-C, ANDREW G, et al. A conditional random field word segmenter for sighan bakeoff 2005[C]// Proceedings of the fourth SIGHAN workshop on Chinese language Processing. San Diego, USA: Association for Computational Linguistics, 2005.

[6]??? MALARKODI C, LEX E, DEVI S L J. Named entity recognition for the agricultural domain[J]. Research in Computing Science, 2016, 117(1): 121-132.

[7]??? 劉曉俊. 面向農(nóng)業(yè)領(lǐng)域的命名實體識別研究[D]. 合肥: 安徽農(nóng)業(yè)大學(xué), 2019.LIU X. Research on named entity recognition for agriculture[D]. Hefei: Anhui Agricultural University, 2019.

[8]??? BISWAS P, SHARAN A, VERMA S. Named entity recognition for agriculture domain using word net[J]. IInternational Journal of Computer & Mathematical Sciences 2016, 5(10): 29-36.

[9]??? MILLER G A. WordNet: An electronic lexical database[M]. Massachusetts: MIT press, 1998.

[10]? LI J, SUN A, HAN J, et al. A survey on deep learning for named entity recognition[J]. IEEE Transactions on Knowledge Data Engineering, 2020 (99): 1.

[11]? MINTZ M, BILLS S, SNOW R, et al. Distant supervision for relation extraction without labeled data[C]// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. San Diego, USA: Association for Computational Linguistics, 2009: 1003-1011.

[12]? ZENG D, LIU K, CHEN Y, et al. Distant supervision for relation extraction via piecewise convolutional neural networks[C]// Proceedings of the 2015 conference on empirical methods in natural language processing. Lisbon, Portugal: Association for Computational Linguistics, 2015: 1753-1762.

[13]? DEVLIN J, CHANG M-W, LEE K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[C]// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. San Diego, USA: Association for Computational Linguistics, 2018.

[14]? POLINO A, PASCANU R, ALISTARH D. Model compression via distillation and quantization[EB/OL]. 2018. arXiv:1802.05668.

[15]? HUANG Z, XU W, YU K. Bidirectional LSTM-CRF models for sequence tagging[EB/OL]. 2015. arXiv:1508.01991.

[16]? ZHOU Z. A brief introduction to weakly supervised learning[J]. National Science Review, 2018, 5(1): 44-53.

[17]? 米嘉. 大規(guī)模中文文本檢索中的高性能索引研究[D]. 北京: 中國科學(xué)院, 2005.MI J. Research on high performance index in large scale Chinese text retrieval[D]. Beijing: Chinese Academy of Sciences, 2005.

[18]? LUO L, YANG Z, YANG P, et al. An attention-based BiLSTM-CRF approach to document-level chemical named entity recognition[J]. Bioinformatics, 2018, 34(8): 1381-1388.

[19]? SOUZA F, NOGUEIRA R, LOTUFO R. Portuguese named entity recognition using BERT-CRF[EB/OL]. 2019. arXiv:1909.10649.

[20]? GREFF K, SRIVASTAVA R K, KOUTN?K J, et al. LSTM: A search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 28(10): 2222-2232.

[21]? VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems. New York, US: Carran Associates Inc., 2017: 6000-6010.

[22]? DONG C, ZHANG J, ZONG C, et al. Character-based LSTM-CRF with radical-level features for Chinese named entity recognition[C]//International Conference on Computer Processing of Oriental Languages National CCF Conference on Natural Language Processing and Chinese Computing. Berlin, German: Springer, 2016: 239-250.

[23]? YAN H, DENG B, LI X, et al. Tener: Adapting transformer encoder for name entity recognition[EB/OL]. 2019. arXiv:1911.04474.

[24]? JIANG S, ZHAO S, HOU K, et al. A BERT-BiLSTM-CRF model for chinese electronic medical records named entity recognition[C]// 2019 12th International Conference on Intelligent Computation Technology and Automation. Piscataway, New York, USA: IEEE, 2019: 166-169.

[25]? JAWAHAR G, SAGOT B, SEDDAH D. What does BERT learn about the structure of language?[C]// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. San Diego, USA: Association for Computational Linguistics, 2019.

[26]? OPITZ J, BURST S. Macro F1 and Macro F1[EB/OL]. 2019. arXiv:1911.03347.

[27]? GRAVE E, BOJANOWSKI P, GUPTA P, et al. Learning word vectors for 157 languages[C]// Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC 2018). Miyazaki, Japan: European Language Resources Association (ELRA) , 2018.

[28]? KINGMA D P, BA J J A P A. Adam: A method for stochastic optimization[EB/OL]// 3rd International Conference on Learning Representations. Ithaca, NY: arXiv. org. 2015: 13.

Agricultural Named Entity Recognition Based on Semantic Aggregation and Model Distillation

LI Liangde1,2, WANG Xiujuan1,3, KANG Mengzhen1,2*, HUA Jing1,4, FAN Menghan1,2

（1.The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China;2.School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 100049, China;3.Beijing Engineering Research Center of Intelligent Systems and Technology, Beijing 100190, China;4.Qingdao Smart AgriTech.,Ltd, Qingdao 266000, China）

Abstract: With the development of smart agriculture, automatic question and answer (Q&A) of agricultural knowledge is needed to improve the efficiency of agricultural information acquisition. Agriculture named entity recognition plays a key role in automatic Q&A system, which helps obtaining information, understanding agriculture questions and providing answer from the knowledge graph. Due to the scarcity of labeled ANE data, some existing open agricultural entity recognition models rely on manual features, can reduce the accuracy of entity recognition. In this work, an approach of model distillation was proposed to recognize agricultural named entity data. Firstly, massive agriculture data were leveraged from Internet, an agriculture knowledge graph (AgriKG) was constructed. To overcome the scarcity of labeled named agricultural entity data, weakly named entity recognition label on agricultural texts crawled from the Internet was built with the help of AgriKG. The approach was derived from distant supervision, which was used to solve the scarcity of labeled relation extraction data. Considering the lack of labeled data, pretraining language model was introduced, which is fine tuned with existing labeled data. Secondly, large scale pretraining language model, BERT was used for agriculture named entity recognition and provided a pretty well initial parameters containing a lot of basic language knowledge. Considering that the task of agriculture named entity recognition relied heavily on low-end semantic features but slightly on high-end semantic features, an Attention-based Layer Aggregation mechanism for BERT(BERT-ALA) was designed in this research. The aim of BERT-ALA was to adaptively aggregate the output of multiple hidden layers of BERT. Based on BERT-ALA model, Bidirectional LSTM (BiLSTM) and conditional random field (CRF) were coupled to further improve the recognition precision, giving a BERT-ALA+BiLSTM+CRF model. Bi-LSTM improved BERT's insufficient learning ability of the relative position feature, while conditional random field models the dependencies of entity recognition label. Thirdly, since BERT-ALA+BiLSTM+CRF model was difficult to serve online because of the extremely high time and space complexity, BiLSTM+CRF model was used as student model to distill BERT-ALA+BiLSTM+CRF model. It fitted the BERT-ALA+BiLSTM+CRF model's output of BiLSTM layer and CRF layer. The experiment on the database constructed in the research, as well as two open datasets showed that (1) the macro-F1 of the BERT-ALA + BiLSTM + CRF model was improved by 1% compared to the baseline model BERT + BiLSTM + CRF, and (2) compared with the model trained on the original data, the macro-F1 of the distilled student model BiLSTM + CRF was increased by an average of 3.3%, the prediction time was reduced by 33%, and the storage space was reduced by 98%. The experimental results verify the effectiveness of the BERT-ALA and knowledge distillation in agricultural entity recognition.

Key words: distant supervision; agriculture knowledge graph; agriculture Q&A system; named entity recognition; knowledge distillation;deep learning; BERT; Bi-LSTM