肖發(fā)龍，吳岳忠，沈雪豪，何震凱，秦?zé)?/p>

(1.湖南工業(yè)大學(xué)軌道交通學(xué)院，湖南省株洲市412007；2.湖南旭瑞智能技術(shù)有限公司，湖南省株洲市412007；3.國(guó)網(wǎng)江蘇省電力有限公司儀征市供電公司，江蘇省揚(yáng)州市211400)

0 引 言

隨著社會(huì)用電量不斷提升，對(duì)電網(wǎng)運(yùn)行穩(wěn)定性和智能化程度提出了更高的要求，傳統(tǒng)的人工巡檢診斷工作模式由于人力成本高、診斷方式單一、數(shù)據(jù)管理不集中等問(wèn)題，已經(jīng)不完全滿足實(shí)時(shí)、高效的電力設(shè)備診斷要求。因此，變電站巡檢工作面臨嚴(yán)峻挑戰(zhàn)，利用智能設(shè)備代替人工巡檢成為必然趨勢(shì)[1]。變電站電力設(shè)備在運(yùn)行時(shí)一旦發(fā)生故障，可能會(huì)導(dǎo)致大規(guī)模大面積停電，給國(guó)民經(jīng)濟(jì)和工業(yè)生產(chǎn)帶來(lái)不可估量的損失。所以，保障電力供應(yīng)安全就成為了保障國(guó)家戰(zhàn)略性能源安全的重要組成部分，尤其是保障電力系統(tǒng)的穩(wěn)定運(yùn)行要以提高電網(wǎng)的智能化程度為主攻方向。智能巡檢是保障電網(wǎng)和電力設(shè)備安全、穩(wěn)定、經(jīng)濟(jì)運(yùn)行的重要服務(wù)手段，是實(shí)現(xiàn)電網(wǎng)智能化的關(guān)鍵[2]。隨著5G網(wǎng)絡(luò)、大數(shù)據(jù)、互聯(lián)網(wǎng)、人工智能等高新技術(shù)的迅速發(fā)展，文本、圖像、視頻等多模態(tài)信息的數(shù)據(jù)呈指數(shù)增長(zhǎng)，大量的數(shù)據(jù)信息和知識(shí)貼近人們對(duì)事物的認(rèn)知。通過(guò)整合海量、多源、異構(gòu)的故障診斷大數(shù)據(jù)，用于增強(qiáng)視覺(jué)場(chǎng)景的語(yǔ)義理解，結(jié)合這些信息進(jìn)行有效的知識(shí)表達(dá)和知識(shí)推理，可以實(shí)現(xiàn)對(duì)變電站智能巡檢的分析和決策。

當(dāng)前目標(biāo)檢測(cè)算法[3]的核心是從獲取的圖像或視頻中找到特定的目標(biāo)主體，利用視覺(jué)設(shè)備提取目標(biāo)圖像并檢測(cè)，得到待診斷設(shè)備的狀況?；跈C(jī)器視覺(jué)的設(shè)備故障診斷技術(shù)發(fā)展至今，已經(jīng)在機(jī)械制造、航空航天、運(yùn)輸和工業(yè)生產(chǎn)等多領(lǐng)域得到廣泛應(yīng)用。近年來(lái)，基于深度網(wǎng)絡(luò)模型的目標(biāo)檢測(cè)算法大多只是通過(guò)堆疊的多層卷積和非線性運(yùn)算進(jìn)行特征提取。文獻(xiàn)[4]提出以多層卷積神經(jīng)網(wǎng)絡(luò)作為缺陷圖像特征提取的骨架網(wǎng)絡(luò)，融合注意力機(jī)制原理，進(jìn)一步提升缺陷圖像特征的可辨識(shí)性，增強(qiáng)了變電設(shè)備缺陷圖像檢測(cè)的準(zhǔn)確性與魯棒性；文獻(xiàn)[5]基于刻度變體特征的圖像識(shí)別對(duì)目標(biāo)進(jìn)行特征提取，應(yīng)用局部二進(jìn)制模式[6](local binary patterns,LBP)提取目標(biāo)表面缺陷特征；文獻(xiàn)[7]提出一種更快的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(faster region-based convolutional neural networks,Faster R-CNN)[8]結(jié)合特征金字塔和可變性多層卷積的目標(biāo)檢測(cè)方法，擴(kuò)展了Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入圖片中不同尺度語(yǔ)義信息的讀取，提升了網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)能力；文獻(xiàn)[9]改進(jìn)了YOLOv4骨干網(wǎng)，解決了電力設(shè)備目標(biāo)檢測(cè)的定位難題，用于電力設(shè)備表面缺陷檢測(cè)；文獻(xiàn)[10]通過(guò)改進(jìn)YOLOv4算法提高網(wǎng)絡(luò)對(duì)缺陷特征的提取能力，并用于檢測(cè)航空發(fā)動(dòng)機(jī)部件表面缺陷。然而，上述研究大多是識(shí)別設(shè)備的缺陷，并未考慮提取缺陷特征之后的工作，在更高智能化和自主性診斷方面有待提升。

將知識(shí)圖譜技術(shù)[11]與視覺(jué)檢測(cè)算法相結(jié)合為智能巡檢領(lǐng)域提供了一種新的高效決策方法。文獻(xiàn)[12]提出一種基于注意力機(jī)制的雷達(dá)領(lǐng)域知識(shí)推薦方法，通過(guò)學(xué)習(xí)雷達(dá)知識(shí)多模態(tài)融合的特征表示，實(shí)現(xiàn)雷達(dá)技術(shù)知識(shí)的推薦；文獻(xiàn)[13]提出一種聯(lián)合學(xué)習(xí)框架，將知識(shí)圖譜中可解釋規(guī)則的歸納與規(guī)則引導(dǎo)神經(jīng)推薦模型的構(gòu)建相結(jié)合，促進(jìn)2個(gè)模塊在產(chǎn)生有效和可解釋的建議方面相輔相成；文獻(xiàn)[14]提出了文本增強(qiáng)知識(shí)圖譜嵌入模型，來(lái)執(zhí)行對(duì)實(shí)體、關(guān)系和文本的推論，該模型不僅非常適合建模其潛在特征的交互，而且非常適合在圖表中的實(shí)體之間建模路徑；文獻(xiàn)[15]提出一種便于知識(shí)圖譜檢索的挖掘框架，用于大型知識(shí)圖譜的在線挖掘，并提出知識(shí)圖譜中的有界搜索；文獻(xiàn)[16]提出了一種半自動(dòng)知識(shí)圖譜構(gòu)建技術(shù),并將其應(yīng)用于電網(wǎng)設(shè)備系統(tǒng)。

變電站設(shè)備的運(yùn)行信息結(jié)構(gòu)復(fù)雜、模態(tài)多樣，如何表達(dá)和存儲(chǔ)豐富的先驗(yàn)知識(shí)，并將其自然地與視覺(jué)檢測(cè)算法相結(jié)合，輔助模型做智能決策，是本文解決的關(guān)鍵問(wèn)題。為了實(shí)現(xiàn)在無(wú)人值守變電站環(huán)境下及時(shí)診斷設(shè)備是否發(fā)生故障，并針對(duì)故障完成智能決策，本文提出基于深度學(xué)習(xí)和知識(shí)圖譜的多模態(tài)語(yǔ)義模型，利用知識(shí)圖譜以三元組的形式對(duì)先驗(yàn)知識(shí)進(jìn)行表征和存儲(chǔ)，對(duì)變電站設(shè)備運(yùn)行信息知識(shí)建模，通過(guò)基于深度學(xué)習(xí)的設(shè)備診斷檢測(cè)算法對(duì)設(shè)備及故障進(jìn)行識(shí)別定位與分析決策，提升變電站運(yùn)行過(guò)程中的感知水平和運(yùn)維效率，保障人身和設(shè)備安全，助力變電站智慧物聯(lián)體系建設(shè)。本文的主要貢獻(xiàn)：一是利用知識(shí)圖譜對(duì)采集的信息進(jìn)行統(tǒng)一表征和存儲(chǔ)，構(gòu)建變電站設(shè)備及設(shè)備故障的知識(shí)圖譜庫(kù)；二是利用YOLOv4檢測(cè)算法對(duì)無(wú)人值守變電站設(shè)備進(jìn)行實(shí)時(shí)檢測(cè)，將視覺(jué)檢測(cè)方法和知識(shí)圖譜相結(jié)合，使得機(jī)器具備與人類似的聯(lián)想能力，指導(dǎo)精準(zhǔn)開(kāi)展隱患排查；三是提出設(shè)備四診法(望—視覺(jué)檢測(cè)，聞—拾音檢測(cè)，問(wèn)—知識(shí)圖譜查詢，切—紅外檢測(cè))，實(shí)現(xiàn)變電站設(shè)備智能故障診斷。

1 模型設(shè)計(jì)

1.1 總體設(shè)計(jì)

為了實(shí)現(xiàn)在變電站場(chǎng)景中對(duì)設(shè)備及故障語(yǔ)義理解進(jìn)而達(dá)到智能故障診斷目的，本文提出了基于深度學(xué)習(xí)和知識(shí)圖譜的多模態(tài)語(yǔ)義模型，模型總體框架如圖1所示，主要包含兩部分：多模態(tài)知識(shí)圖譜構(gòu)建及應(yīng)用和YOLOv4目標(biāo)檢測(cè)算法應(yīng)用。實(shí)現(xiàn)流程：首先，利用知識(shí)圖譜對(duì)采用四診法采集的多模態(tài)場(chǎng)景信息和互聯(lián)網(wǎng)信息中變電站設(shè)備的語(yǔ)義描述信息、屬性信息和空間位置信息等進(jìn)行統(tǒng)一表征和存儲(chǔ)；其次，通過(guò)YOLOv4檢測(cè)算法對(duì)變電站場(chǎng)景中設(shè)備進(jìn)行實(shí)時(shí)檢測(cè)；最后，再結(jié)合知識(shí)圖譜進(jìn)一步輔助檢測(cè)模型去判別設(shè)備類別及是否發(fā)生故障，并提出相應(yīng)防護(hù)措施及建議，實(shí)現(xiàn)一站式智能化決策。

1.2 知識(shí)圖譜構(gòu)建

要達(dá)到模型對(duì)變電站運(yùn)行場(chǎng)景信息的表示和存儲(chǔ)，其難點(diǎn)在于如何以統(tǒng)一的形式編碼包括圖像、視頻及文本等數(shù)據(jù)的信息知識(shí)。變電站設(shè)備故障知識(shí)圖譜由于其數(shù)據(jù)具有一定的領(lǐng)域性，故采用自頂向下的知識(shí)圖譜構(gòu)建技術(shù)完成本體模型及數(shù)據(jù)層的構(gòu)建。從變電站場(chǎng)景和互聯(lián)網(wǎng)絡(luò)中采集到的文本、圖像、視頻、音頻等數(shù)據(jù)選擇其中置信度較高的信息，添加進(jìn)知識(shí)庫(kù)里，用于描述變電站設(shè)備的概念及其相互關(guān)系，然后利用圖數(shù)據(jù)庫(kù)以網(wǎng)絡(luò)化的模式存儲(chǔ)數(shù)據(jù)，實(shí)現(xiàn)知識(shí)圖譜的構(gòu)建，使知識(shí)圖譜查詢能像人一樣去聯(lián)想，成為增強(qiáng)模型智能化及自主故障診斷的關(guān)鍵。變電站設(shè)備故障知識(shí)圖譜構(gòu)建流程如圖2所示。

圖2 知識(shí)圖譜構(gòu)建流程Fig.2 Construction process of knowledge graph

應(yīng)用知識(shí)圖譜的主要目的就是輔助識(shí)別變電站在運(yùn)行過(guò)程中各設(shè)備已存在的問(wèn)題或潛在危險(xiǎn)，找出危險(xiǎn)形成的原因，并提出相應(yīng)措施及建議，從而提高電力系統(tǒng)運(yùn)行的安全性。其中本體規(guī)則的構(gòu)建是構(gòu)建變電站設(shè)備故障知識(shí)圖譜的重要任務(wù)。變電站設(shè)備本體的構(gòu)建包涵了概念類別層次定義、概念屬性關(guān)系定義等步驟。本體概念類別劃分主要是對(duì)設(shè)備故障類型進(jìn)行類別劃分與定義，按照其內(nèi)部元素構(gòu)成可分為以下幾類：設(shè)備類、部件類、故障原因類、建議及措施類。概念屬性關(guān)系定義能夠使得本體更加細(xì)化，進(jìn)而形成具有良好結(jié)構(gòu)的分類層次體系，每個(gè)故障類由設(shè)備、部件、故障原因、建議及措施構(gòu)成，都能被抽象成實(shí)體與實(shí)體狀態(tài)形式描述，從而形成定義準(zhǔn)確、結(jié)構(gòu)清晰的變電站設(shè)備概念框架。

數(shù)據(jù)層的構(gòu)建是用來(lái)對(duì)已搭建好的本體框架進(jìn)行內(nèi)容填充。知識(shí)圖譜的數(shù)據(jù)層通常采用三元組的形式<實(shí)體，關(guān)系，實(shí)體>描述實(shí)體和實(shí)體間的關(guān)系，例如：變壓器上套管有裂紋損傷，變壓器與套管的關(guān)系用三元組可以表示為<變壓器，部件，套管>，套管與裂紋損傷的關(guān)系用三元組可以表示為 <套管，故障，裂紋損傷>。每一個(gè)實(shí)體或概念都用節(jié)點(diǎn)來(lái)表示，而節(jié)點(diǎn)間的關(guān)系或?qū)傩杂眠厑?lái)聲明，通過(guò)點(diǎn)與邊可將變電站場(chǎng)景內(nèi)設(shè)備實(shí)體和關(guān)系構(gòu)成用網(wǎng)絡(luò)化形式的語(yǔ)義圖表示，能有效、直觀地表示場(chǎng)景中設(shè)備-部件或本體-狀態(tài)的關(guān)系。首先對(duì)已采集的信息進(jìn)行整理，完成對(duì)輸入語(yǔ)句的分詞和標(biāo)注，通過(guò)詞向量(word to vector,word2vec)和翻譯嵌入(translating embeddings，TransE)分別對(duì)標(biāo)注語(yǔ)料進(jìn)行預(yù)訓(xùn)練，生成詞向量并根據(jù)詞向量的余弦相似度來(lái)確定實(shí)體語(yǔ)義相似程度，實(shí)現(xiàn)實(shí)體語(yǔ)義的對(duì)齊和消歧。然后將預(yù)訓(xùn)練得到的詞向量輸入到基于transformer的雙向編碼表示條件隨機(jī)場(chǎng)(bidirectional encoder representations from transformers conditional random fields，BERT-CRF)模型中進(jìn)行領(lǐng)域命名實(shí)體識(shí)別，識(shí)別出信息中的關(guān)鍵實(shí)體以及實(shí)體狀態(tài)，將抽取出來(lái)的實(shí)體映射到之前構(gòu)建好的知識(shí)本體概念節(jié)點(diǎn)當(dāng)中，從而建立起實(shí)體之間關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)本體框架與數(shù)據(jù)層之間的映射，在BERT層獲取當(dāng)前詞的上下文信息，在CRF層對(duì)上下文之間的關(guān)聯(lián)關(guān)系進(jìn)行更精準(zhǔn)地推斷。最后，將當(dāng)前流行的實(shí)體關(guān)系抽取模型BERT與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進(jìn)行組合，同時(shí)引入注意力機(jī)制，構(gòu)建基于BERT-CNN-Attention(bidirectional encoder representations from transformers-convolutional neural networks-attention)的實(shí)體關(guān)系抽取模型分析句法中不同詞的關(guān)系結(jié)構(gòu)，抽取實(shí)體間的關(guān)系。

通過(guò)以上流程，將變電站設(shè)備信息轉(zhuǎn)化為結(jié)構(gòu)化的三元組數(shù)據(jù)。由于文本數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)都是來(lái)源于互聯(lián)網(wǎng)，必然不可避免地包含著重復(fù)的信息，因此可通過(guò)三元組篩選模塊，避免信息的重復(fù)添加。然后，根據(jù)定義的概念框架，將三元組知識(shí)聯(lián)結(jié)起來(lái)，結(jié)構(gòu)化數(shù)據(jù)以圖的形式存儲(chǔ)在Neo4j圖數(shù)據(jù)庫(kù)中，直觀準(zhǔn)確地反映變電站設(shè)備信息之間的聯(lián)系，最終形成知識(shí)圖譜。同時(shí)利用圖查詢語(yǔ)言，可以快速查出需要的數(shù)據(jù)，輔助智能變電站設(shè)備診斷及后續(xù)知識(shí)圖譜的應(yīng)用開(kāi)發(fā)。

1.3 YOLOv4檢測(cè)模型

YOLO[17-19]檢測(cè)網(wǎng)絡(luò)是一種實(shí)現(xiàn)回歸功能的檢測(cè)算法，最大的優(yōu)勢(shì)是檢測(cè)快，目前在諸多領(lǐng)域檢測(cè)中都獲得了不錯(cuò)的成績(jī)。在YOLO模型中圖像被劃分為大小為S×S的網(wǎng)格，每個(gè)網(wǎng)格生成B個(gè)候選框，每個(gè)候選框通過(guò)網(wǎng)絡(luò)得到相應(yīng)的邊界框，最終形成S×S×B個(gè)邊界框，目標(biāo)物體由落入所在網(wǎng)格負(fù)責(zé)檢測(cè)。YOLOv4是在YOLO模型的基礎(chǔ)上進(jìn)一步改進(jìn)得到的,主要有3個(gè)方面改進(jìn)：1)利用跨階段局部網(wǎng)絡(luò)[20](cross stage partial network,CSPNet)將Darknet53修改為CSPDarknet53，進(jìn)一步促進(jìn)了底層信息的融合，實(shí)現(xiàn)了更強(qiáng)的特征提取能力；2)利用空間金字塔池化[21](spatial pyramid pooling,SPP)在最后輸出時(shí)添加4種不同的最大池化(max-pooling)操作，進(jìn)一步提取和融合特征，卷積核大小分別為(1×1)、(5×5)、(9×9)、(13×13)；3)將特征金字塔網(wǎng)絡(luò)[22](feature pyramid network,FPN)的結(jié)構(gòu)修改為路徑聚合網(wǎng)絡(luò)[23](path aggregation network,PANet)，即在自底向上的結(jié)構(gòu)基礎(chǔ)上增加一個(gè)自頂向下的結(jié)構(gòu)。

YOLOv4相較于之前的網(wǎng)絡(luò)模型，在平均準(zhǔn)確率(mean average precision,MAP)和每秒傳輸幀數(shù)(frames per second,FPS)上應(yīng)用了CNN領(lǐng)域最優(yōu)秀的優(yōu)化方法，達(dá)到最優(yōu)平衡。如圖3所示，YOLOv4使用CSPdarknet53作為主干特征提取網(wǎng)絡(luò)去獲得有效特征層，之后使用了空間金字塔池化的結(jié)構(gòu)，對(duì)經(jīng)過(guò)3次卷積后的特征進(jìn)行最大池化，以增加網(wǎng)絡(luò)的感受野，利用路徑聚合網(wǎng)絡(luò)完成上采樣、下采樣、卷積、特征層融合等操作，提高目標(biāo)缺陷的特征提取能力，最后Yolo Head對(duì)獲得的3個(gè)特征層進(jìn)行解碼預(yù)測(cè)。YOLOv4的損失函數(shù)由完全交并比(complete intersection over union,CIOU)誤差作為回歸框預(yù)測(cè)誤差。損失函數(shù)可分為回歸框預(yù)測(cè)誤差Lloc、置信度誤差Lconf和分類誤差Lcls。

圖3 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of YOLOv4

損失函數(shù)由式(1)所示：

L=Lloc+Lconf+Lcls

(1)

回歸框預(yù)測(cè)誤差Lloc為：

(2)

(3)

(4)

式中：IOU(A,B)為預(yù)測(cè)框A和真實(shí)框B的交并比；ρ2(Actr,Bctr)為預(yù)測(cè)框和真實(shí)框的中心點(diǎn)的歐式距離，其中Actr、Bctr分別代表了預(yù)測(cè)框和真實(shí)框的中心點(diǎn)；m為同時(shí)包含預(yù)測(cè)框和真實(shí)框的最小封閉區(qū)域的對(duì)角線距離；wgt和hgt分別為真實(shí)框的寬、高；w和h分別為預(yù)測(cè)框的寬、高。

置信度誤差Lconf為：

(5)

分類誤差Lcls為：

(6)

2 實(shí)驗(yàn)和評(píng)估

2.1 實(shí)驗(yàn)環(huán)境配置

本文的實(shí)驗(yàn)環(huán)境如表1所示，部分網(wǎng)絡(luò)參數(shù)說(shuō)明如表2所示。

表1 實(shí)驗(yàn)環(huán)境配置Table 1 Configuration of experimental environment

表2 網(wǎng)絡(luò)參數(shù)說(shuō)明Table 2 network parameters

2.2 數(shù)據(jù)集制作

數(shù)據(jù)集的采集包括了在變電站內(nèi)實(shí)際拍攝和使用Python程序爬取的變電站檢修記錄和圖像。為了保證圖像質(zhì)量，將爬取圖像的寬度和高度都設(shè)置為至少大于500。數(shù)據(jù)采集好之后，首先對(duì)采集的檢修數(shù)據(jù)進(jìn)行清洗和整理，共獲得1 436條設(shè)備故障數(shù)據(jù)，通過(guò)分析內(nèi)部元素，將變電站設(shè)備共分為5個(gè)大類(變壓器、開(kāi)關(guān)設(shè)備、防雷設(shè)備、電力電纜、配電設(shè)備)、24個(gè)部件(繼電器、母線、避雷針、絕緣子、呼吸器等)、19種故障類型(裂紋損傷、矽膠變色、掉落、脫落、螺絲松動(dòng)、滲油污臟、脫漆銹蝕、斷股、燒毀、指示異常等)和相應(yīng)的措施及建議。然后對(duì)采集的圖像數(shù)據(jù)進(jìn)行人工篩選，主要去除重復(fù)、模糊、不一致的圖像，經(jīng)過(guò)篩選后選取824張高質(zhì)量圖像作為初始數(shù)據(jù)集，并將這些圖像的大小統(tǒng)一處理為416×416像素。為了更好地適應(yīng)復(fù)雜的變電站場(chǎng)景，采用離線數(shù)據(jù)增強(qiáng)方法對(duì)數(shù)據(jù)集進(jìn)一步擴(kuò)充，形成包含4 120張圖像的數(shù)據(jù)集。數(shù)據(jù)增強(qiáng)用于模擬變電站中的復(fù)雜場(chǎng)景，比如：陰天、暴雨、白霧等，這些天氣因素會(huì)根據(jù)光照強(qiáng)弱不同，使設(shè)備圖像灰度發(fā)生變化，對(duì)檢測(cè)造成很大的干擾。圖像數(shù)據(jù)獲取后，需要通過(guò)labelImg工具對(duì)各類圖像標(biāo)注，將數(shù)據(jù)集中的圖像轉(zhuǎn)換為PASCAL VOC格式，并生成XML文件，如圖4所示。將圖像數(shù)據(jù)集以8∶1∶1的比例隨機(jī)劃分3 296張圖像作為訓(xùn)練集，412張圖像作為驗(yàn)證集，412張圖像作為測(cè)試集。

圖4 圖像標(biāo)注示意圖 Fig.4 Schematic diagram of image annotation

2.3 目標(biāo)檢測(cè)實(shí)驗(yàn)指標(biāo)

本實(shí)驗(yàn)結(jié)果的評(píng)估標(biāo)準(zhǔn)主要有精度P、檢測(cè)速度FPS、召回率R、精度均值PmA。

(7)

(8)

(9)

(10)

式中：TP為將正類劃分為正類的數(shù)量；FP為將負(fù)類誤報(bào)為正類的數(shù)量；FN為將正類誤報(bào)為負(fù)類的數(shù)量；PA為平均精度，是衡量每個(gè)樣本分類器的性能指標(biāo)；N(class)表示樣本總數(shù)。

2.4 實(shí)驗(yàn)結(jié)果與分析

本文通過(guò)對(duì)比不同檢測(cè)算法在變電站巡檢環(huán)境下的性能表現(xiàn)，選擇能夠更好適應(yīng)實(shí)際巡檢環(huán)境的模型，如表3所示。

從表3結(jié)果來(lái)看，對(duì)比Faster R-CNN、分層協(xié)作多智能體強(qiáng)化學(xué)習(xí)與技能發(fā)現(xiàn)(hierarchical corperative mluti-agent reinforcement learning with skill discovery，HSD)、豐富的特征引導(dǎo)細(xì)化網(wǎng)絡(luò)(guided refinement network，EFGRnet)、YOLOv3這4種算法，YOLOv4在檢測(cè)速度上有良好的優(yōu)勢(shì)，54幀/s的檢測(cè)速度可以滿足變電站巡檢工作需求。在目標(biāo)檢測(cè)工作中召回率與檢測(cè)準(zhǔn)確率往往會(huì)相互權(quán)衡，變電站場(chǎng)景下各設(shè)備大小差異大，存在相互遮擋的情況，檢測(cè)難度進(jìn)一步增加，很容易造成檢測(cè)不準(zhǔn)確、漏檢。YOLOv4在召回率上與其他4種模型差異不大，在檢測(cè)精度上是最優(yōu)的，使模型達(dá)到最優(yōu)平衡。圖5展示了YOLOv4網(wǎng)絡(luò)在測(cè)試圖像上的部分檢測(cè)結(jié)果。

表3 各算法檢測(cè)性能對(duì)比Table 3 Comparison of detection performance of the algorithms

圖5 YOLOv4網(wǎng)絡(luò)在測(cè)試圖像上的部分檢測(cè)結(jié)果Fig.5 Partial detection results of YOLOv4 network on the test images

圖6展示了局部變電站設(shè)備故障知識(shí)圖譜：圖譜中包含了5類設(shè)備的結(jié)構(gòu)化信息，以及與設(shè)備相關(guān)的部件、故障原因、措施建議等信息。圖7所示為在知識(shí)圖譜中查詢?cè)O(shè)備分類及診斷的規(guī)則：利用知識(shí)圖譜結(jié)構(gòu)化網(wǎng)絡(luò)化存儲(chǔ)知識(shí)的特性，使用Neo4j Cypher在知識(shí)圖譜中對(duì)檢測(cè)識(shí)別的目標(biāo)實(shí)體與狀態(tài)進(jìn)行查詢，返回實(shí)體變電站和與之相關(guān)的實(shí)體及屬性，完成故障診斷任務(wù)。

圖6 變電站設(shè)備故障知識(shí)圖譜(局部)Fig.6 Graph of substation fault knowledge (part)

圖7 知識(shí)圖譜查詢Fig.7 Knowledge graph query

診斷分析如表4所示，結(jié)合深度學(xué)習(xí)與知識(shí)圖譜，對(duì)4例故障事件進(jìn)行分析。首先，通過(guò)視覺(jué)檢測(cè)得到初步的檢測(cè)結(jié)果；其次，將檢測(cè)結(jié)果作為查詢知識(shí)圖譜的輸入；最后，通過(guò)執(zhí)行Cypher查詢，返回診斷分析結(jié)果。

表4 診斷分析記錄Table 4 Diagnostic analysis records

3 結(jié) 論

為了實(shí)現(xiàn)更加智能化和自主性的變電站巡檢，本文研究了基于深度學(xué)習(xí)和知識(shí)圖譜的多模態(tài)語(yǔ)義模型，在原有目標(biāo)檢測(cè)網(wǎng)絡(luò)YOLOv4架構(gòu)基礎(chǔ)之上，引入知識(shí)圖譜對(duì)輸入的多模態(tài)信息進(jìn)行統(tǒng)一表征和存儲(chǔ)，使得模型具備與人類相似的聯(lián)想能力，將YOLO目標(biāo)檢測(cè)算法與知識(shí)圖譜相結(jié)合，進(jìn)而達(dá)到對(duì)變電站場(chǎng)景中物體視覺(jué)理解的目的。

未來(lái)的工作一方面繼續(xù)增強(qiáng)其診斷能力，完善拾音檢測(cè)和紅外檢測(cè)的功能，完全實(shí)現(xiàn)應(yīng)用四診法診斷變電站設(shè)備的潛在問(wèn)題，提升模型的智能診斷能力；另一方面將模型部署到巡檢機(jī)器人上，結(jié)合激光傳感器獲取的室內(nèi)場(chǎng)景柵格地圖，使巡檢機(jī)器人同時(shí)具備在變電站場(chǎng)景自主導(dǎo)航和對(duì)設(shè)備自主決策處理故障診斷的能力。