楊寧 楊林楠 陳健

摘要：聯(lián)合收割機(jī)作為一種有效的機(jī)械化收割設(shè)備，可以極大地提高農(nóng)作物的收獲效率。然而在進(jìn)行收割作業(yè)時(shí)不可避免地會(huì)發(fā)生一些機(jī)械故障，由于駕駛員缺乏專門的維修經(jīng)驗(yàn)，無法確定故障發(fā)生的原因以及出現(xiàn)故障后應(yīng)該如何維修機(jī)器，導(dǎo)致嚴(yán)重影響農(nóng)作物的收獲，甚至還可能引發(fā)安全事故。由于知識(shí)圖譜能夠利用圖數(shù)據(jù)庫將專家知識(shí)等非結(jié)化數(shù)據(jù)進(jìn)行規(guī)范化的存儲(chǔ)，所以在故障診斷問答領(lǐng)域，知識(shí)圖譜有著良好的應(yīng)用前景，基于此提出一套面向聯(lián)合收割機(jī)故障診斷領(lǐng)域知識(shí)圖譜的構(gòu)建方法。根據(jù)專家知識(shí)明確知識(shí)圖譜中所需要的實(shí)體和實(shí)體關(guān)系類型，利用RoBERTa-wwm-ext預(yù)訓(xùn)練模型融合雙向門控循環(huán)單元（BiGRU）和Transformer編碼器的實(shí)體抽取模型對(duì)非結(jié)構(gòu)化文本進(jìn)行實(shí)體抽?。焕肦oBERTa-wwm-ext預(yù)訓(xùn)練模型融合循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型對(duì)抽取的實(shí)體進(jìn)行實(shí)體審核；在實(shí)體審核完成后使用RoBERTa-wwm-ext預(yù)訓(xùn)練模型融合雙向門控循環(huán)單元（BiGRU）和注意力機(jī)制的關(guān)系抽取模型對(duì)頭實(shí)體和尾實(shí)體之間存在的實(shí)體關(guān)系進(jìn)行抽取；將抽取到的實(shí)體和實(shí)體關(guān)系組成三元組，利用三元組構(gòu)建知識(shí)圖譜，從而可以利用知識(shí)圖譜實(shí)現(xiàn)智能問答。

關(guān)鍵詞：聯(lián)合收割機(jī)；知識(shí)圖譜；預(yù)訓(xùn)練模型；故障診斷；雙向門控循環(huán)單元

中圖分類號(hào)：S225

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 06-0170-08

收稿日期：2022年11月27日

修回日期：2023年1月6日

*基金項(xiàng)目：國家重點(diǎn)研發(fā)計(jì)劃（2021YFD1000205）

第一作者：楊寧，男，1997年生，山東濱州人，碩士研究生；研究方向?yàn)樽匀徽Z言處理。E-mail： 804141529@qq.com

通訊作者：楊林楠，男，1964年生，云南保山人，博士，教授；研究方向?yàn)檗r(nóng)業(yè)信息化。E-mail： lny5400@163.com

Construction techniques for knowledge graphs in the field of combine harvester fault

diagnosis and their question and answer applications

Yang Ning^{1， 2， 3}， Yang Linnan^{1， 2， 3}， Chen Jian^{1， 2， 3}

（1. School of Big Data， Yunnan Agricultural University， Kunming， 650201， China; 2. Agricultural Big Data Engineering Research Center of Yunnan Province， Kunming， 650201， China; 3. Green Agricultural Product Big Data Intelligent Information Processing Engineering Research Center， Kunming， 650201， China）

Abstract： As an effective mechanized harvesting equipment， the combine harvester can greatly improve the harvesting efficiency of crops. However， it is inevitable that some mechanical failures will occur during harvesting operations. Since the driver lacks specialized maintenance experience， he does not know the cause of the failure and how to repair the machine when the failure occurs. This will seriously affect the harvest of crops， and even it may also cause safety accidents. Since knowledge graphs can use graph databases to store unstructured data such as expert knowledge in a standardized manner， knowledge graphs have good application prospects in the field of fault diagnosis question and answer. Based on this， a set of knowledge graphs for combine harvester fault diagnosis is proposed. Firstly， the entities and entity relationship types required in the knowledge graph are clarified based on expert knowledge， the entity extraction model of the Bidirectional Gated Recurrent Unit （BiGRU） and the Transformer encoder is combined with the RoBERTa-wwm-ext pre-training model to extract entities from unstructured text. Secondly， the RoBERTa-wwm-ext pre-training model is again used to fuse the recurrent neural network （RNN） model to conduct entity review of the extracted entities. Thirdly， after the entity review is completed， the RoBERTa-wwm-ext pre-training model is used to extract the entity relationships existing between the head entity and the tail entity， by combining the relationship between the Bidirectional Gated Recurrent Unit （BiGRU） and the attention mechanism. Finally， the extracted entities and entity relationships are formed into triples， and the triples are used to build a knowledge graph， so that the knowledge graph can be used to implement intelligent question and answer.

Keywords： combine harvester; knowledge graph; pre-training model; fault diagnosis; bidirectional gated recurrent unit

0 引言

知識(shí)圖譜其本質(zhì)是將結(jié)構(gòu)化的知識(shí)存入知識(shí)庫，用來對(duì)物理世界中的相互關(guān)系及其概念進(jìn)行描述?！皩?shí)體—關(guān)系—實(shí)體”的三元組類型，以及相關(guān)“屬性—值對(duì)”是構(gòu)成知識(shí)圖譜的基本組成單位，實(shí)體之間通過關(guān)系相互聯(lián)結(jié)，構(gòu)成了網(wǎng)狀的知識(shí)結(jié)構(gòu)^[1]。

知識(shí)圖譜自誕生以來在問答領(lǐng)域^[2]就得到了廣泛的應(yīng)用。王寅秋等^[3]利用專業(yè)的醫(yī)療知識(shí)圖譜，讓公眾能夠在醫(yī)療社區(qū)中更便利、更準(zhǔn)確地獲取有價(jià)值的信息。曹明宇等^[4]針對(duì)成人中常見的原發(fā)性肝癌，從知識(shí)庫中抽取知識(shí)三元組構(gòu)建了原發(fā)性肝癌的知識(shí)圖譜，在此基礎(chǔ)上實(shí)現(xiàn)了能夠有效回答原發(fā)性肝癌相關(guān)的藥物、疾病及表征等問題。

借鑒知識(shí)圖譜在問答領(lǐng)域的成功應(yīng)用，國內(nèi)外也已經(jīng)有相關(guān)文獻(xiàn)將知識(shí)圖譜引入到故障診斷問答領(lǐng)域。薛蓮等^[5]提出了一種磁懸浮軸承故障領(lǐng)域知識(shí)圖譜構(gòu)建方法，對(duì)磁懸浮故障領(lǐng)域的故障診斷具有一定的指導(dǎo)意義。吳闖等^[6]提出了一套面向航空發(fā)動(dòng)機(jī)潤滑系統(tǒng)的故障知識(shí)圖譜構(gòu)建方法，實(shí)現(xiàn)了潤滑系統(tǒng)故障知識(shí)智能問答和故障歸因分析應(yīng)用。然而針對(duì)聯(lián)合收割機(jī)故障診斷的知識(shí)圖譜構(gòu)建方法及其問答應(yīng)用還尚未有研究。

聯(lián)合收割機(jī)在出廠的時(shí)候，從事研發(fā)和測(cè)試的相關(guān)人員會(huì)根據(jù)研發(fā)和測(cè)試的數(shù)據(jù)編寫大量有關(guān)聯(lián)合收割機(jī)故障診斷的文本數(shù)據(jù)，可以利用這些非結(jié)構(gòu)化的文本數(shù)據(jù)結(jié)合知識(shí)圖譜構(gòu)建技術(shù)從中抽取實(shí)體以及實(shí)體之間的關(guān)系組成三元組來構(gòu)建知識(shí)圖譜。因此，提出一套面向聯(lián)合收割機(jī)故障診斷知識(shí)圖譜的構(gòu)建及應(yīng)用流程。

1 聯(lián)合收割機(jī)故障診斷領(lǐng)域知識(shí)圖譜總體構(gòu)建流程

如圖1所示，面向聯(lián)合收割機(jī)故障診斷知識(shí)圖譜的構(gòu)建主要分為兩層。第一層為數(shù)據(jù)層，主要以權(quán)威的故障診斷書籍以及專業(yè)的論文作為數(shù)據(jù)來源構(gòu)建起原始語料庫。第二層為構(gòu)建層，構(gòu)建知識(shí)圖譜主要分為兩種，一種是自底向上的構(gòu)建方法在構(gòu)建通用知識(shí)圖譜時(shí)比較合適，另一種是自頂向下的構(gòu)建方法在構(gòu)建垂直行業(yè)知識(shí)圖譜時(shí)較為適用^[7]。由于在故障診斷領(lǐng)域是較為專業(yè)的垂直領(lǐng)域，所以本文采用自頂向下的構(gòu)建方法。為了減小實(shí)體抽取誤差對(duì)實(shí)體關(guān)系抽取的影響，相較于傳統(tǒng)自頂向下構(gòu)建知識(shí)圖譜方法，本文在實(shí)體抽取和關(guān)系抽取之間加入實(shí)體審核任務(wù)，用來規(guī)避一些不規(guī)范的實(shí)體。

2 本體構(gòu)建

本體是一個(gè)數(shù)據(jù)模型，表示一組概念以及一個(gè)域中這些概念之間的關(guān)系^[8]。在構(gòu)建對(duì)某一專業(yè)領(lǐng)域的圖譜時(shí)，應(yīng)根據(jù)專家知識(shí)先行構(gòu)建該圖譜的本體，為后續(xù)的實(shí)體抽取和關(guān)系抽取提供規(guī)范。本體構(gòu)建主要包括規(guī)定實(shí)體類型、規(guī)定實(shí)體關(guān)系類型、確定頭實(shí)體和尾實(shí)體。

對(duì)聯(lián)合收割機(jī)故障診斷知識(shí)圖譜規(guī)定的實(shí)體類型為故障部位、故障名稱、故障原因以及故障維修。關(guān)系類型及其頭、尾實(shí)體如表1所示。構(gòu)建完成的本體可視化結(jié)構(gòu)如圖2所示。

3 實(shí)體抽取

3.1 實(shí)體抽取模型

在知識(shí)圖譜中每個(gè)節(jié)點(diǎn)都是由實(shí)體構(gòu)成，因此在構(gòu)建知識(shí)圖譜時(shí)需要利用實(shí)體抽取模型參照構(gòu)建的實(shí)體類型對(duì)相關(guān)領(lǐng)域的非結(jié)構(gòu)化文本進(jìn)行實(shí)體抽取。在深度學(xué)習(xí)技術(shù)出現(xiàn)之前，像隱馬爾可夫（HMM）、最大熵隱馬爾可夫（EMHMM）大部分都是基于線性統(tǒng)計(jì)模型來實(shí)現(xiàn)的實(shí)體抽取的。隨著近幾年深度學(xué)習(xí)的不斷發(fā)展，基于端到端的實(shí)體抽取模型不斷地被提出，其中最為經(jīng)典的是由Huang等^[9]提出的BiLSTM+CRF模型，并在實(shí)體抽取中取得了不錯(cuò)的成績(jī)。后來又有研究人員將以BERT為代表的預(yù)訓(xùn)練模型加入BiLSTM+CRF中，使得實(shí)體抽取的效果得到了進(jìn)一步的提升，也使得BERT+BiLSTM+CRF成為目前主流的實(shí)體抽取模型。

本文針對(duì)聯(lián)合收割故障診斷領(lǐng)域的實(shí)體抽取對(duì)BERT+BiLSTM+CRF模型進(jìn)行了改進(jìn)，提出了RoBERTa-wwm-ext+BiGRU+Multi-Head-Self-Attention+CRF模型。模型圖如圖3所示，該模型主要利用的是RoBERTa-wwm-ext預(yù)訓(xùn)練模型作為詞嵌入層，將Transformer的編碼器層融合雙向門控循環(huán)單元（BiGRU）作為的上下文編碼器，最后利用條件隨機(jī)場(chǎng)（CRF）作為解碼器進(jìn)行實(shí)體的輸出。

3.2 詞嵌入層

RoBERTa預(yù)訓(xùn)練模型是Liu等^[10]沿著BERT預(yù)訓(xùn)練模型的訓(xùn)練思路，針對(duì)BERT在訓(xùn)練中存在的不足之處進(jìn)行了改進(jìn)從而提出的一種新的預(yù)訓(xùn)練模型，通過使用動(dòng)態(tài)掩碼策略、調(diào)整優(yōu)化器參數(shù)和使用更大的字符編碼等方法使得RoBERTa預(yù)訓(xùn)練模型的性能要比BERT預(yù)訓(xùn)練模型更加優(yōu)秀。RoBERTa-wwm-ext是根據(jù)Cui等^[11]提出的全詞遮蔽（WWM）策略使用中文數(shù)據(jù)集重新訓(xùn)練RoBERTa所得到的一種新的預(yù)訓(xùn)練模型。全詞遮蔽策略是對(duì)詞語作遮蔽語言訓(xùn)練，因?yàn)橹形牡脑~語由多個(gè)字符組成，直接遮蔽單個(gè)字符可能會(huì)導(dǎo)致語義信息的丟失。通過使用全詞遮蔽策略，能夠更好地捕捉中文詞語的完整語義，從而提高模型在中文自然語言處理任務(wù)中的表現(xiàn)。

3.3 位置編碼器

在自然語言中，每一句話都是由單詞構(gòu)成，單詞在句子中出現(xiàn)的位置不同代表的語義信息也就不同。Transformer不同于時(shí)序類的神經(jīng)網(wǎng)絡(luò)，其通過自注意力機(jī)制來獲取句子中詞與詞之間的關(guān)系，但是自注意力機(jī)制無法獲取詞在句子中位置信息，故需要在詞向量進(jìn)入Transformer編碼器前加入位置編碼器，這樣就可以將詞匯在不同位置產(chǎn)生語義信息添加到詞嵌入的張量中去，彌補(bǔ)了信息的缺失。位置編碼器主要使用的絕對(duì)位置編碼，是由sin函數(shù)和cos函數(shù)的線性變換來提供給模型位置信息，計(jì)算如式（1）、式（2）所示。其中，pos代表當(dāng)前字符在序列中位置，從1到序列長(zhǎng)度的范圍內(nèi)取值；i代表嵌入向量的維度的索引；d_model代表嵌入向量的維度，即每個(gè)元素在嵌入空間中的表示維度；PE（pos，2i）代表絕對(duì)位置編碼中的正弦函數(shù)部分，在位置pos和維度2i上的正弦值；PE（pos，2i+1）代表絕對(duì)位置編碼中的余弦函數(shù)部分，表示在位置pos和維度2i+1上的余弦值。這些變量在絕對(duì)位置編碼的公式中通過正弦和余弦的運(yùn)算，為序列中的每個(gè)位置pos的每個(gè)維度i提供了一個(gè)獨(dú)特的編碼值，以便模型能夠理解輸入序列中不同位置的元素。

PE（pos，2i）=sinpos10 000^2id_model（1）

PE（pos，2i+1）=cospos10 000^2id_model（2）

3.4 上下文編碼層

上下文編碼層主要是由Transformer的編碼器層和雙向門控循環(huán)單元（BiGRU）組成。Transformer編碼器對(duì)于句子語義信息能夠進(jìn)行很好的挖掘，融合雙向循環(huán)門控單元對(duì)目標(biāo)詞的上下文進(jìn)行區(qū)分，兩者相互融合使得獲取的詞向量更加符合語義信息。

在Transformer編碼器中主要是利用多頭自注意力來獲取單詞在句子中的語義信息。多頭自注意力的計(jì)算規(guī)則是一個(gè)詞的詞向量X_t={x₁，x₂，x₃，x₄，…}，其中x_i是輸入序列的第i個(gè)元素，根據(jù)規(guī)定的頭數(shù)平均分割，每一個(gè)分割下來的向量進(jìn)行三個(gè)線性變換乘以三個(gè)不同的權(quán)重矩陣W^q、W^k、W^v得到三個(gè)形狀相同但數(shù)值不同的向量Q_i（query）、K_i（key）、V_i（value），將Q_i與所有的鍵K_j的轉(zhuǎn)置做點(diǎn)積運(yùn)算，然后除以一個(gè)縮放系數(shù)d_k，d_k是鍵K_j的維度。再使用softmax處理，這里的softmax函數(shù)將計(jì)算每個(gè)注意力分?jǐn)?shù)的指數(shù)，然后對(duì)它們進(jìn)行歸一化，使它們的和等于1，最后與V_j做張量乘法，這里的V_j值向量序列的第j個(gè)元素，最后將每個(gè)分割下來的向量再重新拼接，拼接后的向量就是經(jīng)過多頭注意力計(jì)算后的詞向量。在這里需要注意當(dāng)Q、K、V的來源相同時(shí)才是自注意力機(jī)制。計(jì)算圖如圖4所示。計(jì)算公式如式（3）所示。

Attention（Q，K，V）=softmaxQ_i·K^T_jd_k·V_j（3）

在深度學(xué)習(xí)網(wǎng)絡(luò)中往往會(huì)出現(xiàn)退化和訓(xùn)練困難的問題，因此Transformer編碼器加入了殘差網(wǎng)絡(luò)和層歸一化，優(yōu)化了在訓(xùn)練過程存在的梯度消失和訓(xùn)練困難的問題。

由于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）在時(shí)間方向進(jìn)行反向傳播更新梯度參數(shù)時(shí)會(huì)流經(jīng)tanh節(jié)點(diǎn)和矩陣乘機(jī)節(jié)點(diǎn)。y=tanh（x）的導(dǎo)數(shù)為dydx=1-y²，根據(jù)其導(dǎo)數(shù)可知，當(dāng)導(dǎo)數(shù)的值小于1時(shí)，隨著x的值在正數(shù)方向不斷增加，導(dǎo)數(shù)的值是越來越接近于0的，這就意味著如果梯度經(jīng)過tanh節(jié)點(diǎn)過多的話，導(dǎo)數(shù)的值就會(huì)慢慢趨近于0，從而出現(xiàn)梯度消失的現(xiàn)象，一旦出現(xiàn)梯度消失，權(quán)重參數(shù)將無法進(jìn)行更新，這也是傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)無法學(xué)習(xí)到長(zhǎng)時(shí)序依賴的主要原因之一。當(dāng)梯度經(jīng)過矩陣乘機(jī)節(jié)點(diǎn)時(shí)梯度會(huì)隨著時(shí)間步的增加呈現(xiàn)出指數(shù)級(jí)別的增長(zhǎng)，當(dāng)梯度過于龐大時(shí)就會(huì)出現(xiàn)非數(shù)值，導(dǎo)致神經(jīng)網(wǎng)絡(luò)無法進(jìn)行學(xué)習(xí)，從而引發(fā)梯度爆炸。長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）通過引進(jìn)輸入門、遺忘門和輸出門在一定程度緩解了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)所帶來的問題^[12]。門控循環(huán)單元（GRU）作為L(zhǎng)STM的改進(jìn)版本，不僅具有LSTM的優(yōu)勢(shì)而且還減少了計(jì)算成本和參數(shù)。GRU計(jì)算圖如圖5所示，由于沒有記憶單元，只有一個(gè)隱藏狀態(tài)h參與門控循環(huán)單元在時(shí)間上的傳播，所以門控循環(huán)單元只設(shè)置了重置門r和更新門z，降低了計(jì)算成本。重置門是決定在多大程度上“忽略”過去的隱藏信息，更新門則是對(duì)新增的信息進(jìn)行加權(quán)。門控循環(huán)單元計(jì)算如式（4）～式（7）所示，其中h～是新的隱藏狀態(tài)。由于單向的門控循環(huán)單元只能學(xué)習(xí)到上文的信息，而沒有辦法學(xué)習(xí)到下文的信息，然而利用雙向的門控循環(huán)單元不僅可以學(xué)習(xí)到上文的信息也可以學(xué)習(xí)到下文的信息，提高了模型對(duì)實(shí)體的抽取精度。

z=σ（x_tW^（z）_x+h_t-1W^（z）_h+b^（z））（4）

r=σ（x_tW^（r）_x+h_t-1W^（r）_h+b^（r））（5）

h～=tanh（x_tW_x+（r⊙h_t-1）W_h+b）（6）

h_t=（1－z）⊙h_t-1+z⊙h～（7）

式中：x_t——輸入矩陣；

h_t——隱藏狀態(tài)矩陣；

h_t-1——前一個(gè)隱藏狀態(tài)矩陣；

W_x——輸入狀態(tài)權(quán)重矩陣；

W_h——隱藏狀態(tài)權(quán)重矩陣；

b——輸出偏置項(xiàng)。

3.5 解碼層

條件隨機(jī)場(chǎng)（CRF）是一種給定輸入隨機(jī)變量X，求解條件概率P（y|x）的概率無向圖模型。因?yàn)殡[馬爾可夫模型（HMM）存在觀察獨(dú)立假設(shè)和隱馬爾可夫鏈，所以對(duì)于序列標(biāo)注問題不是很合理。最大熵模型（EM）在進(jìn)行序列標(biāo)注的時(shí)候會(huì)出現(xiàn)標(biāo)簽偏離的情況。條件隨機(jī)場(chǎng)是在這兩個(gè)模型的基礎(chǔ)上提出的一種判別生成模型，不僅打破了隱馬爾可夫模型的兩個(gè)假設(shè)而且還對(duì)最大熵模型存在標(biāo)簽偏差的問題進(jìn)行了修正，使模型在序列標(biāo)注問題上可以做到全局的歸一化，對(duì)標(biāo)簽進(jìn)行更好的預(yù)測(cè)。建模公式如式（8）所示，給定一個(gè)序列s=[s₁，s₂，…，s_T]其對(duì)應(yīng)標(biāo)簽序列為y=[y₁，y₂，…，y_T]，Y_（s）代表所有有效標(biāo)簽的序列，y的概率是由式（8）計(jì)算得出的。在式（8）中f（y_t-1，y_t，s）是計(jì)算y_t-1到y(tǒng)_t的轉(zhuǎn)化分?jǐn)?shù)，來最大化P（y|s），使用維特比算法找到最優(yōu)的標(biāo)簽路徑輸出，e代表指數(shù)函數(shù)。

P（y|s）=∑Tt=1e^f（y_t-1，y_t，s）∑Y_（s）y∑Tt=1e^f（y′_t-1，y′_t，s）（8）

3.6 試驗(yàn)與分析

根據(jù)構(gòu)建的聯(lián)合收割機(jī)故障診斷語料庫，采用BIO標(biāo)記，利用YEEDA^[13]實(shí)體標(biāo)記工具共標(biāo)記實(shí)體8 159個(gè)，“故障部位”4 147個(gè)實(shí)體、“故障原因”1 514個(gè)實(shí)體，“故障維修”1 014個(gè)實(shí)體、“故障名稱”1 484個(gè)實(shí)體。實(shí)體標(biāo)注結(jié)果如表2所示。實(shí)體抽取模型中超參數(shù)的參數(shù)配置如表3所示。

將實(shí)體抽取數(shù)據(jù)集按照8∶2的比例來劃分訓(xùn)練集和測(cè)試集，參照混淆矩陣用精確率P（Precision），召回率R（Recall）和F₁值（F₁-measure）作為評(píng)價(jià)指標(biāo)。其計(jì)算如式（9）～式（11）所示。

P=TPTP+FP（9）

R=TPTP+FN（10）

F₁=2×P×RP+R（11）

式中：TP——模型預(yù)測(cè)為正類的正樣本；

FP——模型預(yù)測(cè)為正類的負(fù)樣本；

FN——模型預(yù)測(cè)為負(fù)類的正樣本。

為了驗(yàn)證RoBERTa-wwm-ext+BiGRU+Multi-Head-Self-Attention+CRF模型優(yōu)于傳統(tǒng)的BERT+BiLSTM+CRF模型，所以本文進(jìn)行了模型對(duì)比試驗(yàn)，模型對(duì)比結(jié)果如表4所示。從模型對(duì)比結(jié)果可知，RoBERTa-wwm-ext+BiGRU+Multi-Head-Self-Attention+CRF的準(zhǔn)確率、召回率和F₁值均優(yōu)于傳統(tǒng)的BERT+BiLSTM+CRF模型。

4 實(shí)體審核

4.1 實(shí)體審核模型

因?yàn)閷?shí)體關(guān)系抽取任務(wù)會(huì)用到實(shí)體抽取的結(jié)果，所以實(shí)體抽取結(jié)果的好壞會(huì)影響實(shí)體關(guān)系抽取結(jié)果的好壞，因?yàn)閷?shí)體抽取模型抽取實(shí)體的準(zhǔn)確度并不能達(dá)到100%所以會(huì)存在一些實(shí)體抽取的誤差，所以我們?cè)趯?shí)體抽取任務(wù)和實(shí)體關(guān)系抽取任務(wù)之間加入實(shí)體審核任務(wù)，目的就是為了減小這個(gè)誤差對(duì)實(shí)體關(guān)系抽取的影響。在審核的過程中模型主要是根據(jù)字符本身的組合方式來進(jìn)行判別，實(shí)際上，這是一種不需要獲取長(zhǎng)時(shí)序關(guān)系的文本分類任務(wù)。再加上RNN循環(huán)神經(jīng)網(wǎng)絡(luò)模型的參數(shù)較少，計(jì)算比較簡(jiǎn)單，對(duì)于獲取短時(shí)序本文關(guān)系的效果和性能都能達(dá)到很好的均衡，所以選用RNN循環(huán)神經(jīng)網(wǎng)絡(luò)來解決短文本分類任務(wù)。實(shí)體審核模型架構(gòu)如圖6所示，該模型主要包含詞嵌入層和循環(huán)神經(jīng)網(wǎng)絡(luò)層。

每條文本在經(jīng)過實(shí)體抽取后會(huì)將抽取出來的實(shí)體保存為文本類型的文件，用于實(shí)體審核模型的輸入。例如一段文本‘通常作物產(chǎn)量愈高前進(jìn)速度就愈慢否則易發(fā)生堵塞或超負(fù)荷現(xiàn)象。當(dāng)實(shí)體抽取模型能夠準(zhǔn)確地抽取出文本中所存在的故障名稱實(shí)體為“堵塞”和“超負(fù)荷”時(shí)，就會(huì)通過實(shí)體審核進(jìn)入下一個(gè)環(huán)節(jié)，反之將由人工根據(jù)本文重新進(jìn)行提取后進(jìn)入下一個(gè)環(huán)節(jié)。

4.2 實(shí)體審核數(shù)據(jù)集與數(shù)據(jù)分析

實(shí)體審核數(shù)據(jù)集樣例如表5所示，實(shí)體審核數(shù)據(jù)集樣本分析如表6所示。根據(jù)表6可知，實(shí)體審核數(shù)據(jù)樣本的平均長(zhǎng)度是5.11，長(zhǎng)度中位數(shù)是4.0，因此實(shí)體審核數(shù)據(jù)集屬于短文本，使用RNN循環(huán)神經(jīng)網(wǎng)絡(luò)就可以達(dá)到很好的分類效果。

4.3 RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

存在一個(gè)環(huán)路是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）最主要的特征，通過這個(gè)環(huán)路數(shù)據(jù)就可以不斷地得到循環(huán)，正是循環(huán)神經(jīng)網(wǎng)絡(luò)存在這樣的特征，才使得循環(huán)神經(jīng)網(wǎng)絡(luò)在記住過去數(shù)據(jù)信息的同時(shí)還可以更新數(shù)據(jù)。如圖7所示，通過展開RNN層的循環(huán)，將其轉(zhuǎn)化成了從左向右延伸的長(zhǎng)神經(jīng)網(wǎng)絡(luò)，每個(gè)時(shí)刻的RNN層前面是輸入后面是輸出，據(jù)此可以計(jì)算出當(dāng)前時(shí)刻的輸出，計(jì)算如式（12）所示。在式（12）中，首先執(zhí)行矩陣的乘積運(yùn)算，然后使用tanh函數(shù)變換它們的和，其結(jié)果就是時(shí)刻t的輸出h_t，這個(gè)h_t有兩個(gè)不同的流向，向上輸出到下一個(gè)計(jì)算層，向右輸出到下一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)層?，F(xiàn)在的出處h_t是由前一個(gè)輸出h_t-1計(jì)算出來的，這就說明RNN的狀態(tài)h是通過式（12）來更新的。

h_t=tanh（h_t-1W_h+x_tW_x+b）（12）

4.4 試驗(yàn)與分析

將3 000條實(shí)體審核數(shù)據(jù)按照8∶2的比例來劃分訓(xùn)練集和測(cè)試集，訓(xùn)練的損失值和準(zhǔn)確值如圖8、圖9所示。從圖8可以看出，基于RoBERTa-wwm-ext預(yù)訓(xùn)練模型融合循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)體審核模型的準(zhǔn)確率可以達(dá)到98.20%，具有很好的實(shí)體審核效果。

5 實(shí)體關(guān)系抽取

5.1 實(shí)體關(guān)系抽取模型

實(shí)體關(guān)系抽取是在已完成實(shí)體識(shí)別的基礎(chǔ)上，檢索實(shí)體間所存在的關(guān)系，目前主流的抽取方法主要是基于規(guī)則和監(jiān)督學(xué)習(xí)的方法^[14]。基于規(guī)則的抽取方法雖然抽取的準(zhǔn)確度較高但是存在覆蓋率低和移植困難等問題?；诒O(jiān)督學(xué)習(xí)方法旨在通過標(biāo)注部分相關(guān)數(shù)據(jù)集去訓(xùn)練一個(gè)關(guān)系抽取模型。本文模型架構(gòu)如圖10所示。

本文所使用的是基于監(jiān)督學(xué)習(xí)的方法，通過改進(jìn)模型來提高實(shí)體關(guān)系抽取的準(zhǔn)確度。基于注意力機(jī)制的雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（BiLSTM）關(guān)系抽取算法是由Zhou等^[15]在2016年自然語言處理處理（Natural Language Processing，NLP）領(lǐng)域的國際頂級(jí)會(huì)議Association for Computational Linguistics（ACL）上提出的。本文在此模型的基礎(chǔ)上加入了預(yù)訓(xùn)練模型，將雙向長(zhǎng)短期記憶網(wǎng)絡(luò)換成了雙向門控循環(huán)單元，不僅極大地提高了實(shí)體關(guān)系的抽取準(zhǔn)確率，而且計(jì)算成本更低。

5.2 注意力機(jī)制

當(dāng)人們?nèi)ビ^察新事物的時(shí)候，大腦會(huì)把焦點(diǎn)聚焦在事物中比較重要的地方，不需要從頭到尾觀察一遍事物后，才能有判斷結(jié)果，注意力機(jī)制的提出正是基于這樣的理論。注意力機(jī)制最早是由Mnih等^[16]在計(jì)算機(jī)視覺領(lǐng)域提出，Bahdanau等^[17]首次將注意力機(jī)制應(yīng)用在自然語言處理領(lǐng)域，使機(jī)器翻譯的效果得到了提升。2017年，文獻(xiàn)[18]在機(jī)器翻譯任務(wù)中使用了注意力機(jī)制取得良好的效果。注意力機(jī)制的計(jì)算規(guī)則是詞向量H={h₁，h₂，h₃，…，h_n}經(jīng)過tanh激活函數(shù)計(jì)算以后乘以權(quán)重矩陣W得到相似值，利用softmax函數(shù)將相似值歸一化，詞向量H再和歸一化后的相似值相乘得到經(jīng)過注意力計(jì)算后的詞向量。計(jì)算公式如式（13）～式（16）所示。

M=tanh（H）（13）

S=M·W（14）

a=softmax（S）（15）

F_att=H·a^T（16）

5.3 試驗(yàn)與分析

將構(gòu)建好的500條關(guān)系抽取數(shù)據(jù)集按照8∶2的比例劃分出訓(xùn)練集、測(cè)試集，實(shí)體關(guān)系抽取數(shù)據(jù)集樣例如表7所示，模型超參數(shù)配置如表8所示。

為了驗(yàn)證本文實(shí)體關(guān)系抽取模型的有效性和準(zhǔn)確性，本文選取了傳統(tǒng)的BERT+BiLSTM+Attention模型進(jìn)行對(duì)比試驗(yàn)，如表9所示。結(jié)果表明本文的關(guān)系抽取模模型的準(zhǔn)確率、召回率和F₁值均優(yōu)于傳統(tǒng)的關(guān)系抽取模型。

6 圖譜構(gòu)建

將抽取到的實(shí)體和實(shí)體關(guān)系以三元組的形式存入到Neo4j圖數(shù)據(jù)庫中，構(gòu)建起聯(lián)合收割機(jī)故障診斷知識(shí)圖譜。圖譜的可視化數(shù)據(jù)如圖11所示。

7 智能問答

7.1 意圖分析

意圖識(shí)別是進(jìn)行知識(shí)問答的開始，也是機(jī)器人理解用戶語義的前提，其主要任務(wù)是準(zhǔn)確判斷用戶有什么樣的需求，根據(jù)用戶所提出的問題進(jìn)行歸類，本質(zhì)上也是一項(xiàng)文本分類任務(wù)。意圖槽不同所對(duì)應(yīng)的意圖也就不相同，意圖分類的準(zhǔn)確性也會(huì)直接影響到標(biāo)簽的識(shí)別和條件體、目標(biāo)體的識(shí)別，因此一個(gè)好的意圖識(shí)別方法對(duì)實(shí)現(xiàn)知識(shí)問答尤為重要。意圖識(shí)別的方法主要包括基于監(jiān)督學(xué)習(xí)的方法和基于規(guī)則詞典的方法，由于缺乏相關(guān)的訓(xùn)練語料，本文將選擇基于關(guān)鍵字和規(guī)則的問題方式來進(jìn)行意圖識(shí)別。

7.2 基于詞典規(guī)則的意圖分類

基于詞典規(guī)則的意圖識(shí)別方法需要構(gòu)建規(guī)則模板以及類別信息來對(duì)用戶的意圖進(jìn)行分類^[19]。意圖不同所匹配的領(lǐng)域字典也會(huì)不同，當(dāng)接收到用戶的意圖后，會(huì)根據(jù)意圖和詞典的匹配程度或者重合程度來進(jìn)行判斷。雖然基于詞典規(guī)則的意圖識(shí)別方法會(huì)存在人力物力耗費(fèi)大、難以維護(hù)和移植性較差等缺點(diǎn)，但是在小規(guī)模的數(shù)據(jù)集上構(gòu)造相對(duì)容易，識(shí)別準(zhǔn)確度高，對(duì)于缺乏訓(xùn)練語料的小樣本數(shù)據(jù)來說效果很好。

7.3 應(yīng)用

利用Python編程語言中內(nèi)置的服務(wù)器訪問模塊，訪問服務(wù)器。將對(duì)話接口接入到智能問答應(yīng)用中，用戶只需要下載相對(duì)應(yīng)的手機(jī)應(yīng)用輸入想問的問題，如果數(shù)據(jù)庫中存在能夠回答相關(guān)問題的答案，機(jī)器人便會(huì)實(shí)現(xiàn)智能問答。

8 結(jié)論

1） 聯(lián)合收割機(jī)在進(jìn)行收割作業(yè)時(shí)容易發(fā)生機(jī)械故障，針對(duì)這個(gè)問題借鑒了知識(shí)圖譜在故障診斷領(lǐng)域的成功經(jīng)驗(yàn)，提出一套面向聯(lián)合收割機(jī)故障診斷的知識(shí)圖譜構(gòu)建方法和流程。

2） 以專業(yè)的聯(lián)合收割機(jī)維修書籍和論文為原始語料，構(gòu)建起13萬字的命名實(shí)體識(shí)別數(shù)據(jù)集，3 000條實(shí)體審核數(shù)據(jù)集，500條實(shí)體關(guān)系數(shù)據(jù)集，為后續(xù)的模型研究提供可靠的數(shù)據(jù)的支撐。

3） 未來還將進(jìn)一步提高模型的抽取精度，建立更加可靠的農(nóng)機(jī)故障診斷知識(shí)圖譜，更好地服務(wù)于廣大農(nóng)機(jī)駕駛員朋友。

參 考 文 獻(xiàn)

[1]劉嶠， 李楊， 段宏， 等. 知識(shí)圖譜構(gòu)建技術(shù)綜述[J]. 計(jì)算機(jī)研究與發(fā)展， 2016， 53（3）： 582-600.

Liu Qiao， Li Yang， Duan Hong， et al. Knowledge graph construction techniques [J]. Journal of Computer Research and Development， 2016， 53（3）： 582-600.

[2]王智悅， 于清， 王楠， 等. 基于知識(shí)圖譜的智能問答研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用， 2020， 56（23）： 1-11.

Wang Zhiyue， Yu Qing， Wang Nan， et al. Survey of intelligent question answering research based on knowledge graph [J]. Computer Engineering and Applications， 2020， 56（23）： 1-11.

[3]王寅秋， 虞為， 陳俊鵬. 融合知識(shí)圖譜的中文醫(yī)療問答社區(qū)自動(dòng)問答研究[J]. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2023， 7（3）： 97-109.

Wang Yinqiu， Yu Wei， Chen Junpeng. Automatic question-answering in Chinese medical Q & A community with knowledge graph [J]. Data Analysis and Knowledge Discovery， 2023， 7（3）： 97-109.

[4]曹明宇， 李青青， 楊志豪， 等. 基于知識(shí)圖譜的原發(fā)性肝癌知識(shí)問答系統(tǒng)[J]. 中文信息學(xué)報(bào)， 2019， 33（6）： 88-93.

Cao Mingyu， Li Qingqing， Yang Zhihao， et al. A question answering system for primary liver cancer based on knowledge graph [J]. Journal of Chinese Information Processing， 2019， 33（6）： 88-93

[5]薛蓮， 姚新文， 鄭啟明， 等. 高鐵列控車載設(shè)備故障知識(shí)圖譜構(gòu)建方法研究[J]. 鐵道科學(xué)與工程學(xué)報(bào)， 2023， 20（1）： 34-43.

Xue Lian， Yao Xinwen， Zheng Qiming， et al. Research on construction method of fault knowledge graph of CTCS on-board equipment [J]. Journal of Railway Science and Engineering， 2023， 20（1）： 34-43.

[6]吳闖， 張亮， 唐希浪， 等. 航空發(fā)動(dòng)機(jī)潤滑系統(tǒng)故障知識(shí)圖譜構(gòu)建及應(yīng)用[J]. 北京航空航天大學(xué)學(xué)報(bào)， 2024（2）： 1-14.

Wu Chuang， Zhang Liang， Tang Xilang， et al. Construction and application of fault knowledge graph for aero-engine lubrication system [J]. Journal of Beijing University of Aeronautics and Astronautics， 2024（2）： 1-14.

[7]瞿智豪， 胡建鵬， 黃子麒， 等. 工業(yè)設(shè)備故障處置知識(shí)圖譜構(gòu)建與應(yīng)用研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2023， 59（24）： 309-318.

Qu Zhihao， Hu Jianpeng， Huang Ziqi， et al. Research on construction and application of knowledge graph for industrial equipment fault disposal [J]. Computer Engineering and Applications， 2023， 59（24）： 309-318.

[8]譚玲， 鄂海紅， 匡澤民， 等. 醫(yī)學(xué)知識(shí)圖譜構(gòu)建關(guān)鍵技術(shù)及研究進(jìn)展[J]. 大數(shù)據(jù)， 2021， 7（4）： 80-104.

Tan Ling， E Haihong， Kuang Zemin， et al. Key technologies and research progress of medical knowledge graph construction [J]. Big Data Research， 2021， 7（4）： 80-104.

[9]Huang Z， Xu W， Yu K. Bidirectional LSTM-CRF models for sequence tagging [J]. arXiv Preprint arXiv： 1508.01991， 2015.

[10]Liu Y， Ott M， Goyal N， et al. RoBERTa： A robustly optimized BERT pretraining approach [J]. arXiv Preprint arXiv： 1907.11692， 2019.

[11]Cui Y， Che W， Liu T， et al. Pre-training with whole word masking for Chinese bert [C]. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2021， 29 （13）： 3504.

[12]Hochreiter S， Schmidhuber J. Long short-term memory [J]. Neural Computation， 1997， 9（8）： 1735-1780.

[13]Yang J， Zhang Y， Li L， et al. YEDDA： A lightweight collaborative text span annotation tool [J]. arXiv Preprint arXiv： 1711.03759， 2017.

[14]王傳棟， 徐嬌， 張永. 實(shí)體關(guān)系抽取綜述[J]. 計(jì)算機(jī)工程與應(yīng)用， 2020， 56（12）： 25-36.

Wang Chuandong， Xu Jiao， Zhang Yong. Survey of entity relation extraction [J]. Computer Engineering and Applications， 2020， 56（12）： 25-36.

[15]Zhou P， Shi W， Tian J， et al. Attention-based bidirectional long short-term memory networks for relation classification [C]. Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （volume 2： Short papers）， 2016： 207-212.

[16]Mnih V， Heess N， Graves A， et al. Recurrent models of visual attention [J]. Advances in Neural Information Processing Systems， 2014， 3.

[17]Bahdanau D， Cho K， Bengio Y. Neural machine translation by jointly learning to align and translate [J]. arXiv Preprint arXiv： 1409.0473， 2014.

[18]Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need [J]. Advances in Neural Information Processing Systems， 2017， 30.

[19]羅承天， 葉霞. 基于知識(shí)圖譜的推薦算法研究綜述[J]. 計(jì)算機(jī)工程與應(yīng)用， 2023， 59（1）： 49-60.

Luo Chengtian， Ye Xia. Survey on knowledge graph-based recommendation methods [J]. Computer Engineering and Applications， 2023， 59（1）： 49-60.