李昊,王杉,耿玉杰,王黎,孫文昌,苗純?cè)?/p>
(1.國(guó)網(wǎng)山東省電力公司青島供電公司 電力調(diào)度控制中心,青島266002;2.國(guó)網(wǎng)山東省電力公司 電力調(diào)度控制中心,濟(jì)南250001;3.山東大學(xué)(青島)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,青島266237)
在電力領(lǐng)域,傳統(tǒng)的廠站一次接線圖圖紙繪制和管理工作對(duì)電網(wǎng)工作人員有很高的要求,如需要對(duì)電網(wǎng)歷史及當(dāng)前廠站設(shè)備非常熟悉且有豐富的工作經(jīng)驗(yàn)等,其面臨著兩方面的問(wèn)題:①缺乏科學(xué)可校核的參考標(biāo)準(zhǔn),很有可能導(dǎo)致廠站接線圖缺乏規(guī)范,進(jìn)而含有潛在風(fēng)險(xiǎn)。②由于網(wǎng)絡(luò)新建、舊線改造、方式變更、檢修等原因?qū)е轮鹘泳€的元件組成、連接方式經(jīng)常發(fā)生變化,要做到廠站接線圖的實(shí)時(shí)更新需要付出高昂的人工成本和管理成本。針對(duì)以上問(wèn)題,其對(duì)自動(dòng)化的需求越來(lái)越迫切。
電網(wǎng)主接線圖是電力系統(tǒng)分析的基礎(chǔ),其廣泛用于電力系統(tǒng)中,如潮流計(jì)算、短路電流計(jì)算、可靠性分析、電網(wǎng)調(diào)度自動(dòng)化等??紤]到高昂的人工管理成本,不少學(xué)者開(kāi)發(fā)了電力系統(tǒng)專(zhuān)用的圖形編輯軟件,使得電氣工程圖生成效率大大提高,但其仍然依靠人工編輯,并且大部分圖形的生成、維護(hù)和更新都還是人工進(jìn)行,電力工作人員使用CAD等繪圖軟件繪制人工維護(hù)的廠站一次接線圖,并進(jìn)行人工校核,導(dǎo)致圖紙繪制及一次接線圖和人工一次接線圖的校核缺乏規(guī)范性。因此,廠站接線圖自動(dòng)檢測(cè)、維護(hù)和智能校驗(yàn)仍然是國(guó)內(nèi)外眾多學(xué)者不斷深入研究的課題。
針對(duì)現(xiàn)存問(wèn)題,本文提出了一種廠站接線圖自動(dòng)檢測(cè)、識(shí)別和校核算法,實(shí)現(xiàn)了廠站一次接線圖的自動(dòng)校核。算法分為2部分:①對(duì)廠站接線圖中的元器件、文字和拓?fù)潢P(guān)系等利用改進(jìn)的深度學(xué)習(xí)和數(shù)字圖像處理相關(guān)的檢測(cè)和分類(lèi)算法進(jìn)行目標(biāo)定位和識(shí)別。②基于圖匹配算法對(duì)電子廠站一次接線圖和人工維護(hù)的廠站一次接線圖進(jìn)行元器件和拓?fù)潢P(guān)系匹配校核。
本文研究的內(nèi)容突破了傳統(tǒng)人工識(shí)別、人工校核的方式,基于人工智能和數(shù)字圖像處理技術(shù)實(shí)現(xiàn)廠站一次接線圖的自動(dòng)識(shí)別、自動(dòng)校核,對(duì)接線圖中電器元件的名稱、坐標(biāo)、拓?fù)溥B接關(guān)系等進(jìn)行精準(zhǔn)識(shí)別和校核。本文研究的內(nèi)容不僅可以應(yīng)用于廠站接線圖的自動(dòng)識(shí)別、自動(dòng)校核,也可以為其他領(lǐng)域的線路圖識(shí)別、校核任務(wù)提供思路。本文研究?jī)?nèi)容成果投入運(yùn)行后,可以有效地提高圖紙繪制速度、準(zhǔn)確度和標(biāo)準(zhǔn)化程度,廣泛應(yīng)用到調(diào)控云的基礎(chǔ)數(shù)據(jù)輸入,為電力行業(yè)引入計(jì)算機(jī)領(lǐng)域的前沿技術(shù),促進(jìn)電力智能化的發(fā)展,切合泛在電力物聯(lián)網(wǎng)的建設(shè)要求。
本文的主要貢獻(xiàn)如下:①將目標(biāo)檢測(cè)和識(shí)別算法應(yīng)用到了電力廠站一次接線圖上,并且提出了一種多尺度融合的改進(jìn)方式,實(shí)現(xiàn)了較高的檢測(cè)和識(shí)別準(zhǔn)確率;②基于改進(jìn)的圖匹配算法對(duì)廠站一次接線圖和人工維護(hù)的廠站一次接線圖進(jìn)行匹配校核,解決了接線圖電器元件標(biāo)號(hào)順序的問(wèn)題,實(shí)現(xiàn)了較高的匹配校核準(zhǔn)確率;③標(biāo)注了一個(gè)小型電力廠站一次接線圖電器元件數(shù)據(jù)集。
關(guān)于電力圖紙的自動(dòng)繪制,早期的大多研究?jī)?nèi)容集中在基于地理信息技術(shù)平臺(tái)的圖形自動(dòng)生成算法方面,主要是基于數(shù)據(jù)庫(kù)或空間數(shù)據(jù)引擎,實(shí)現(xiàn)數(shù)據(jù)搜索,進(jìn)行拓?fù)浞治龊蛨D形自動(dòng)繪制[1]。部分學(xué)者以典型接線形式的圖形編排為依據(jù),提出了一種根據(jù)設(shè)備連接信息自動(dòng)生成接線圖的經(jīng)驗(yàn)方法,即借助于Oracle數(shù)據(jù)庫(kù)提供的一套基于結(jié)構(gòu)查詢語(yǔ)言(SQL)的方案和函數(shù)(Oracle Spatial)的網(wǎng)絡(luò)分析功能,對(duì)公共信息模型(CIM)數(shù)據(jù)中有關(guān)設(shè)備信息進(jìn)行提取、編排實(shí)現(xiàn)廠站圖的生成[2],該方法有利于系統(tǒng)集成,但模板匹配算法依賴性強(qiáng),不易擴(kuò)展。后來(lái)又有部分學(xué)者提出了基于存量圖形自動(dòng)生成廠站接線圖的原理。從基于CIM/G的拓?fù)浞治龀霭l(fā),給出了存量圖形特征識(shí)別、特征提取及建立圖形特征庫(kù)的方法,結(jié)合特征評(píng)估,獲取廠站接線圖特征單元,并在特征單元的基礎(chǔ)上完成廠站接線圖的生成與繪制[3]。部分學(xué)者提出了通過(guò)采用節(jié)點(diǎn)布局的數(shù)學(xué)模型和線路走線尋路的函數(shù)算法來(lái)實(shí)現(xiàn)圖形布局[4],該算法可保證線路完全不相交,但這使得線路嚴(yán)重彎折,有時(shí)甚至無(wú)法完成連線工作。
國(guó)內(nèi)的幾大電力自動(dòng)化系統(tǒng)供應(yīng)商在廠站一次接線圖自動(dòng)生成和校核方面都進(jìn)行了一定的嘗試,但能夠成熟應(yīng)用的產(chǎn)品不多見(jiàn)。河北電網(wǎng)曾率先研發(fā)了一種基于典型接線方式的智能系統(tǒng)來(lái)實(shí)現(xiàn)廠站圖自動(dòng)生成的軟件[5]?;趶S站主接線圖是有規(guī)范的且接線類(lèi)型有限,朱永利等[5]提出了一種表示廠站拓?fù)浣Y(jié)構(gòu)的框架,接線圖的整體布局思想為:先畫(huà)面上下劃分,分割軸線作為主變中心;之后布置母線,再布置變壓器,最后布置線路等的布局,基于經(jīng)驗(yàn)規(guī)則歸納了20多種常見(jiàn)的接線類(lèi)型,并利用這些規(guī)則進(jìn)行各種接線類(lèi)型母線和相關(guān)的特殊支路(如母聯(lián)、旁母、分段)的處理;主變布置有十幾種規(guī)則[5]。遺憾的是,該方法沒(méi)有考慮到變電站的數(shù)據(jù)統(tǒng)一建模,同時(shí),其是基于經(jīng)驗(yàn)進(jìn)行預(yù)知的布局布線,是一種窮舉試錯(cuò)的智能繪圖方法,然而由于變電站規(guī)模不一,拘泥于細(xì)節(jié)的接線方式十分繁多,該方法的規(guī)則數(shù)量十分龐大。之后,華中科技大學(xué)將SVG圖形格式引入到了變電站圖形系統(tǒng)中,改進(jìn)了朱永利等[5]的方法,并取得了很好的效果,但仍需要在作圖過(guò)程中定義圖元之間的連接關(guān)系,工作量依然很大。
經(jīng)過(guò)多年的發(fā)展,各研究機(jī)構(gòu)已經(jīng)開(kāi)始嘗試將人工智能技術(shù)和圖像處理技術(shù)應(yīng)用于工程設(shè)計(jì)圖紙的分析與處理。例如,黃若航[6]利用基于Inception ResNetV2和Faster R-CNN算法的深度學(xué)習(xí)網(wǎng)絡(luò),對(duì)經(jīng)過(guò)預(yù)處理的熱力管道工程設(shè)計(jì)圖進(jìn)行特征提取、目標(biāo)定位和目標(biāo)分類(lèi),得到一個(gè)基于工程圖紙?jiān)?shù)據(jù)集的目標(biāo)檢測(cè)模型,之后利用光學(xué)字符識(shí)別技術(shù)(OCR)對(duì)目標(biāo)檢測(cè)模型識(shí)別出的圖紙區(qū)域進(jìn)行數(shù)據(jù)提取。同時(shí),電力系統(tǒng)基于人工智能技術(shù)已做出多種技術(shù)創(chuàng)新,并取得了一定的效果。例如,尹思宇[7]在智能變電站的建設(shè)中,為解決海量電力設(shè)備紅外圖像數(shù)據(jù)的智能檢測(cè)問(wèn)題,對(duì)紅外圖像進(jìn)行預(yù)處理,分離出存在缺陷的電力設(shè)備,以深度學(xué)習(xí)為理論基礎(chǔ)提出了一種基于深度學(xué)習(xí)的電力設(shè)備紅外圖像缺陷識(shí)別分類(lèi)的算法,進(jìn)一步證明了基于人工智能的廠站一次接線圖自動(dòng)生成、自動(dòng)校核技術(shù)的可行性。
為了實(shí)現(xiàn)人工維護(hù)的廠站一次接線圖自動(dòng)校核,需要先進(jìn)行廠站一次接線圖的自動(dòng)識(shí)別,再進(jìn)行匹配校核。實(shí)現(xiàn)廠站一次接線圖的自動(dòng)識(shí)別,又分為接線圖中的電器元件識(shí)別,接線圖中的文字信息識(shí)別,接線圖中的連接線識(shí)別、拓?fù)溥B接關(guān)系識(shí)別3部分。具體流程如圖1所示。
圖1 廠站一次接線圖識(shí)別流程Fig.1 Identification flowchart of primary wiring diagram of plant and station
電器元件的識(shí)別是圖紙拓?fù)潢P(guān)系識(shí)別的基礎(chǔ),其準(zhǔn)確率關(guān)乎廠站接線圖自動(dòng)生成和自動(dòng)校核的精度。針對(duì)廠站一次接線圖中電器元件的檢測(cè)識(shí)別問(wèn)題,經(jīng)過(guò)分析發(fā)現(xiàn),圖紙中各電器元件有以下特征:具有規(guī)定的形狀且接線圖中常出現(xiàn)的有17種類(lèi)別;部分電器元件過(guò)小且形狀相似度極高;分布位置不定、方向不定、大小不一。要想做到廠站接線圖的準(zhǔn)確識(shí)別,要求模型能夠精確找到元件所在位置并準(zhǔn)確識(shí)別其類(lèi)別。
2.1.1 基于YOLO的目標(biāo)檢測(cè)算法
本文先采用One-Stage檢測(cè)的深度學(xué)習(xí)模型YOLOv3[8]來(lái)進(jìn)行元器件的檢測(cè)識(shí)別。由于廠站接線圖的分辨率過(guò)大,直接將其作為網(wǎng)絡(luò)輸入會(huì)導(dǎo)致小目標(biāo)的檢測(cè)效果較差。針對(duì)此問(wèn)題,本文考慮將廠站接線圖切割成4份后進(jìn)行目標(biāo)檢測(cè)。將廠站接線圖輸入網(wǎng)絡(luò),利用darknet-53[8-9]深層網(wǎng)絡(luò)來(lái)提取目標(biāo)的特征,引入3個(gè)不同尺度的特征圖預(yù)測(cè)應(yīng)對(duì)目標(biāo)形狀的變化問(wèn)題,優(yōu)化提升目標(biāo)檢測(cè)準(zhǔn)確率和位置精度,再將4份檢測(cè)的結(jié)果進(jìn)行拼接,得到電器元件的類(lèi)別和坐標(biāo)等屬性信息。其坐標(biāo)信息公式如下:
式中:tx、ty、tw和th為模型的預(yù)測(cè)輸出;cx和cy為網(wǎng)格單元的坐標(biāo);σ表示Sigmoid函數(shù);pw和ph表示預(yù)測(cè)前bounding box的大??;bx、by、bw和bh為預(yù)測(cè)得到的bounding box中心的坐標(biāo)和尺寸。
對(duì)于超大分辨率的廠站接線圖來(lái)說(shuō),由于元件眾多且大小相差較大,直接使用YOLOv3來(lái)進(jìn)行檢測(cè)效果欠佳,故而進(jìn)一步考慮基于多尺度融合的檢測(cè)算法。
2.1.2 基于Faster R-CNN的多尺度融合檢測(cè)算法
Faster R-CNN[10]作為一種Two-Stage目標(biāo)檢測(cè)算法,先使用特征提取網(wǎng)絡(luò)提取輸入圖像的特征圖,用于RPN(Region Proposal Network)和全連接層共享。再使用RPN網(wǎng)絡(luò)生成候選區(qū)域。在Faster R-CNN算法中,ROI(Region of Interest)池化層收集輸入的特征圖和候選區(qū)域,綜合這些信息后對(duì)候選區(qū)域提取特征圖,送入全連接層判定目標(biāo)類(lèi)別。最后利用候選區(qū)域的特征圖計(jì)算候選區(qū)域的類(lèi)別,并通過(guò)回歸獲得檢測(cè)框的精確位置。
對(duì)于超大分辨率的廠站接線圖,為使算法適用于不同尺度的電器元件,本文提出了一種多尺度融合的檢測(cè)算法。使用整張接線圖和其分割4份后的小圖構(gòu)建的數(shù)據(jù)集分別訓(xùn)練出對(duì)應(yīng)的Faster R-CNN模型,即大圖模型和小圖模型。對(duì)于大型的電器元件,大圖模型有更好的檢測(cè)效果,而對(duì)于細(xì)小型電器元件,則容易出現(xiàn)錯(cuò)檢和漏檢的現(xiàn)象。通過(guò)計(jì)算兩者結(jié)果的交并比(IoU)來(lái)融合2種模型檢測(cè)的結(jié)果,使用小圖模型檢測(cè)后的細(xì)粒度的結(jié)果去彌補(bǔ)大圖模型的錯(cuò)檢和漏檢,有效實(shí)現(xiàn)了對(duì)廠站接線圖中大小不一的電器元件的精準(zhǔn)檢測(cè)和識(shí)別。圖2對(duì)目標(biāo)檢測(cè)的模型框架進(jìn)行了展示。
廠站接線圖中的信息復(fù)雜,字符信息是接線圖中信息提取的重中之重。廠站接線圖中的文字信息字體多樣、長(zhǎng)度不同、位置多變、方向不定,字符也不局限于字母和數(shù)字,還有各種器件標(biāo)識(shí)、說(shuō)明等,個(gè)別地方也會(huì)出現(xiàn)線條密集、字符與線條黏連等情況,想要利用通用的光學(xué)文字識(shí)別模型直接來(lái)檢測(cè)廠站接線圖中的文字信息難度極大,效果不佳。因此,需要研究針對(duì)廠站接線圖的特定光學(xué)文字識(shí)別模型,以提升文字信息的識(shí)別準(zhǔn)確率。
圖2 廠站接線圖多尺度融合檢測(cè)算法Fig.2 Multi-scale fusion detection algorithm for wiring diagram of plant and station
圖3 廠站接線圖文字識(shí)別流程Fig.3 Text recognition process of wiring diagram of plant and station
廠站接線圖光學(xué)文字識(shí)別的流程如圖3所示。先對(duì)廠站接線圖進(jìn)行圖片預(yù)處理,使圖片有助于后續(xù)的文字識(shí)別,再進(jìn)行文字檢測(cè)定位,獲取圖片中所有的文本框的位置坐標(biāo),之后進(jìn)行識(shí)別前處理和文字識(shí)別部分,最終對(duì)識(shí)別的內(nèi)容進(jìn)行后處理,以提高識(shí)別的準(zhǔn)確率。
2.2.1 基于Two-Stage的文字識(shí)別算法
先采用Advanced EAST[11]模型對(duì)文本區(qū)域進(jìn)行檢測(cè),再采用Tesseract OCR[12]模型對(duì)檢測(cè)出的文本區(qū)域中的文本信息進(jìn)行識(shí)別,即文字檢測(cè)和文字識(shí)別相分離的兩階段算法。由于廠站接線圖是大分辨率圖片,采用分割為4份的做法來(lái)提高文字識(shí)別的準(zhǔn)確率。在識(shí)別出結(jié)果后再進(jìn)行合并。
Advanced EAST以VGG16[13]作為網(wǎng)絡(luò)結(jié)構(gòu)的骨干來(lái)提取特征圖,之后將提取的特征圖采用U-Net[14]的算法進(jìn)行合并,最終輸出檢測(cè)出文本框的置信度和坐標(biāo)信息。Advanced EAST算法對(duì)于長(zhǎng)文本和方向不定的文本區(qū)域有著較好的檢測(cè)效果。
Tesseract OCR識(shí)別過(guò)程分為2步:?jiǎn)巫智懈詈头诸?lèi)任務(wù)。對(duì)檢測(cè)出的文本區(qū)域內(nèi)的文本通過(guò)字符單元分割出單個(gè)字符。之后對(duì)每個(gè)字符進(jìn)行分析,采用自適應(yīng)分類(lèi)器對(duì)分割出的字符進(jìn)行分類(lèi)。實(shí)現(xiàn)了對(duì)廠站接線圖中擁有字體多樣、長(zhǎng)度不一、方向不定等特點(diǎn)文本的準(zhǔn)確識(shí)別效果。
2.2.2 基于端到端的文字識(shí)別算法
端到端的文字識(shí)別模型融合文本檢測(cè)和文本識(shí)別2個(gè)過(guò)程,簡(jiǎn)化文字識(shí)別的處理過(guò)程,同時(shí)加快識(shí)別速度。采用Attention-OCR[15]進(jìn)行端到端的文字識(shí)別。在廠站接線圖輸入到Attention-OCR網(wǎng)絡(luò)之前,對(duì)文字區(qū)域使用Cascade R-CNN[16]模型進(jìn)行文字分割。
Cascade R-CNN作為兩階段R-CNN檢測(cè)的多級(jí)擴(kuò)展,通過(guò)級(jí)聯(lián)不同的IoU閾值檢測(cè)模型挑選對(duì)應(yīng)質(zhì)量的樣本進(jìn)行訓(xùn)練和回歸。使用Cascade R-CNN進(jìn)行廠站接線圖的文本區(qū)域檢測(cè),并根據(jù)其檢測(cè)出的結(jié)果分割出廠站接線圖中的文字用于Attention-OCR的文本識(shí)別。Attention-OCR主要利用了spatial attention[17]進(jìn)行端到端的文字識(shí)別。通過(guò)卷積網(wǎng)絡(luò)提取特征并融合為一個(gè)大的特征矩陣f。計(jì)算圖片中文本的spatial attention值αt,其值越大代表該區(qū)域?yàn)槲淖謪^(qū)域的概率越大。通過(guò)αt抽取特征矩陣f中的文本區(qū)域特征,后續(xù)送入循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)進(jìn)行文本識(shí)別。
不同時(shí)間進(jìn)行空間位置的加權(quán)公式如下:
式中:i和j為空間位置;t為RNN的時(shí)間維度;c表示特征圖的通道;ut,c為根據(jù)注意力模型給出的權(quán)重對(duì)不同位置的特征加權(quán)后的特征向量,作為模型的輸入。
網(wǎng)絡(luò)在時(shí)刻t的預(yù)測(cè)輸出字符最終為ct,其推導(dǎo)過(guò)程如下:
式中:xt為RNN在時(shí)刻t的輸入;ct-1為前一刻的預(yù)測(cè)字符;st為時(shí)刻t的RNN隱藏層的值;^ot為結(jié)合RNN輸出ot和注意力特征向量ut的時(shí)刻t的預(yù)測(cè)輸出;Wc為時(shí)刻t-1 RNN權(quán)重矩陣;Wo為時(shí)刻t RNN權(quán)重矩陣;Wu為注意力特征向量的權(quán)重矩陣。最終通過(guò)計(jì)算得出預(yù)測(cè)的字符ct。
由于廠站接線圖的分辨率過(guò)大,影響算法的處理速度和精度,同樣對(duì)廠站接線圖進(jìn)行分割處理。將圖片分別切成4份和9份,由于圖片切割成4份后的切割處容易造成文本信息的缺失,而切割為9份則計(jì)算耗時(shí)較長(zhǎng)。為了提高識(shí)別的準(zhǔn)確率和速度,如圖4所示,考慮使用切成9份后的第2、4、5、6、8這5張圖片的信息來(lái)進(jìn)行彌補(bǔ)。具體為使用Attention-OCR對(duì)5張圖片進(jìn)行文字識(shí)別,根據(jù)其識(shí)別的結(jié)果和切割處的文本進(jìn)行交并比的判斷來(lái)決定是否添加該圖片的信息,以對(duì)切割處遺失的信息進(jìn)行增補(bǔ)。
得到初步識(shí)別結(jié)果后,根據(jù)先驗(yàn)知識(shí)對(duì)結(jié)果進(jìn)行后處理,以提高識(shí)別的準(zhǔn)確率。
圖4 廠站接線圖文字識(shí)別分割Fig.4 Text recognition segmentation of wiring diagram of plant and station
在之前的基礎(chǔ)之上,可以得到廠站接線圖中所有電器元件的個(gè)體信息,但是元件與元件之間的連接關(guān)系卻無(wú)法得到,想要獲取整幅圖像的拓?fù)潢P(guān)系,需要依據(jù)元件之間的連接關(guān)系,因此,需要進(jìn)行連接線識(shí)別及拓?fù)潢P(guān)系識(shí)別來(lái)找到元件與元件之間的聯(lián)系,完成廠站接線圖的識(shí)別任務(wù)。
關(guān)于廠站接線圖拓?fù)潢P(guān)系識(shí)別的工作,主要思想為:利用OpenCV的輪廓跟蹤技術(shù)[18],檢測(cè)出每段連接線所連元件,進(jìn)而得到每個(gè)元件的連接關(guān)系。使用數(shù)字圖像處理技術(shù),并與目標(biāo)檢測(cè)技術(shù)相結(jié)合,對(duì)廠站接線圖進(jìn)行拓?fù)溥B接關(guān)系檢測(cè)。
首先,對(duì)目標(biāo)檢測(cè)的結(jié)果進(jìn)行提取,將廠站接線圖目標(biāo)檢測(cè)獲取到的各電器元件的位置、種類(lèi)等信息保存至文件中。然后,對(duì)文件進(jìn)行預(yù)處理,為區(qū)分開(kāi)多個(gè)同種類(lèi)部件,對(duì)同名元件賦予id屬性,并提取出各元件的位置和種類(lèi)信息。
之后對(duì)廠站接線圖進(jìn)行圖像預(yù)處理。使用高斯濾波平滑處理去除廠站接線圖中的無(wú)用信息和噪聲。通過(guò)灰度轉(zhuǎn)換將廠站接線圖由三通道圖像轉(zhuǎn)換為單通道圖像,提升對(duì)接線圖的處理速度。最終通過(guò)二值化處理使線條輪廓更加清晰,提高后續(xù)檢測(cè)的精確度及效率。其中,高斯濾波平滑處理中高斯函數(shù)的公式如下:
式中:(x,y)代表像素值的坐標(biāo)信息;θ為正態(tài)分布的標(biāo)準(zhǔn)偏差。
對(duì)廠站接線圖數(shù)據(jù)的特征進(jìn)行預(yù)處理即去除圖像中的目標(biāo)元件,只保留除圖元外的其他像素信息,以便后續(xù)提取出元件間連接線的輪廓信息。
針對(duì)電力廠站接線圖像素信息的特點(diǎn),使用輪廓跟蹤算法,將提取后的各輪廓坐標(biāo)信息保存。同時(shí),對(duì)保存的各輪廓進(jìn)行篩選判斷,只保留與目標(biāo)元件連接的連接線輪廓信息。即比較輪廓信息和提取的目標(biāo)檢測(cè)的結(jié)果,只保留符合如下公式條件的輪廓坐標(biāo)信息,并刪去進(jìn)行判斷后不包含任何坐標(biāo)信息的輪廓:
式中:xmin、xmax、ymin和ymax為目標(biāo)檢測(cè)的坐標(biāo)信息;x和y為各輪廓坐標(biāo)信息。
最終根據(jù)提取的連接線外輪廓坐標(biāo)信息和電器元件的種類(lèi)、位置信息,解析出各連接線的連接關(guān)系,將連接線的連接關(guān)系轉(zhuǎn)換為元件的拓?fù)溥B接關(guān)系。
本模塊將廠站一次接線圖和人工維護(hù)的廠站一次接線圖的拓?fù)錂z測(cè)結(jié)果進(jìn)行提取,將元件的連接關(guān)系進(jìn)行抽象,抽象成2張無(wú)向圖,再通過(guò)子圖同構(gòu)匹配算法對(duì)2張無(wú)向圖進(jìn)行匹配,得到2張圖的映射關(guān)系,來(lái)對(duì)手工圖的錯(cuò)誤進(jìn)行核驗(yàn)。同時(shí),通過(guò)提取拓?fù)錂z測(cè)時(shí)的線條輪廓序號(hào)來(lái)確定每個(gè)元件連接的相對(duì)位置關(guān)系,從而解決了2張圖在拓?fù)潢P(guān)系檢測(cè)時(shí)的序號(hào)命名問(wèn)題。最終將子圖匹配算法與節(jié)點(diǎn)遍歷匹配方法的結(jié)果進(jìn)行對(duì)比,驗(yàn)證本文方法具有更高的準(zhǔn)確率。
2.4.1 子圖匹配算法
將2張圖抽象化為無(wú)向圖后再進(jìn)行匹配,最常見(jiàn)的方法是將2張圖中的節(jié)點(diǎn)進(jìn)行遍歷,并根據(jù)節(jié)點(diǎn)值進(jìn)行一一匹配,這種遍歷方法在數(shù)據(jù)規(guī)模較大時(shí),時(shí)間開(kāi)銷(xiāo)過(guò)大,并且不能很好地反映2張圖之間的拓?fù)潢P(guān)系。
在對(duì)廠站一次接線圖進(jìn)行核驗(yàn)時(shí),使用的是子圖匹配算法,子圖匹配是無(wú)向圖中一種常見(jiàn)且實(shí)用的查詢方法,其優(yōu)勢(shì)是:可以很好地利用節(jié)點(diǎn)間的連接關(guān)系,并可以大大減少遍歷所需的時(shí)間消耗。這里采用的子圖匹配算法是VF2算法[19],其是一種子圖同構(gòu)算法,子圖同構(gòu)算法用于識(shí)別圖中節(jié)點(diǎn)對(duì)之間的結(jié)構(gòu)關(guān)系,屬于精確匹配。Foggia等[20]對(duì)Ullmann、SD、Nauty、VF和VF2等算法進(jìn)行了比較,認(rèn)為VF2算法對(duì)稀疏圖或小型圖的效率較高,對(duì)于二維網(wǎng)狀的規(guī)則圖,VF2算法的效率明顯高于其他算法。由于廠站接線圖的結(jié)構(gòu)屬于規(guī)則圖,本文采用VF2算法會(huì)有更好的效率[21]。VF2算法通過(guò)在深度優(yōu)先的搜索過(guò)程中利用高效剪枝的方法實(shí)現(xiàn)了子圖匹配,最優(yōu)情況下時(shí)間復(fù)雜度為Θ(N2),最差情況下時(shí)間復(fù)雜度為Θ(N!N)[22]。
由于原始的VF2算法對(duì)于檢測(cè)結(jié)果沒(méi)有很好的容忍度,需要檢測(cè)精度足夠高時(shí)才會(huì)有效,對(duì)VF2算法進(jìn)行改進(jìn),將查詢圖劃分為若干個(gè)不同的子圖,將劃分的子圖分別與原圖進(jìn)行匹配。其中,劃分的子圖數(shù)量取決于前一步的拓?fù)潢P(guān)系識(shí)別得到的拓?fù)潢P(guān)系條目數(shù)。
2.4.2 接線圖校核過(guò)程
1)將2張圖(target與query)拓?fù)浣Y(jié)構(gòu)檢測(cè)的結(jié)果進(jìn)行提取,將不同的元件命名為不同的節(jié)點(diǎn),根據(jù)節(jié)點(diǎn)間的連接關(guān)系抽象為2張無(wú)向圖。
2)將query圖劃分為若干個(gè)子圖,所有子圖合并為一整個(gè)查詢圖集(querySet)。
3)提取在拓?fù)潢P(guān)系檢測(cè)中得到的線條輪廓序號(hào),分別確定每個(gè)元件的相對(duì)位置關(guān)系。
4)使用VF2算法對(duì)querySet中的每一個(gè)子圖與target圖進(jìn)行一一匹配,根據(jù)匹配的子圖數(shù)計(jì)算2張圖的匹配率。
5)將匹配率與最初設(shè)定好的匹配率閾值進(jìn)行比較,若超過(guò)則手工圖無(wú)誤;若未得到2張圖的映射關(guān)系或匹配率未達(dá)到閾值,則手工圖有誤,2張圖不匹配。
2.4.3 分析與總結(jié)
本模塊主要對(duì)2張圖的拓?fù)潢P(guān)系進(jìn)行匹配,來(lái)輔助手工圖的核驗(yàn)工作,其中使用了VF2算法來(lái)對(duì)2張接線圖進(jìn)行圖匹配。本文對(duì)算法進(jìn)行了改進(jìn),解決了原VF2算法對(duì)數(shù)據(jù)容忍度差的問(wèn)題;提取了拓?fù)錂z測(cè)時(shí)的線條輪廓序號(hào)信息來(lái)確定每個(gè)元件的相對(duì)位置關(guān)系;解決了2張圖中元件序號(hào)命名不統(tǒng)一的問(wèn)題。最終將該方法與傳統(tǒng)的遍歷方法進(jìn)行對(duì)比,可以看出準(zhǔn)確率有明顯提升。
本文的數(shù)據(jù)集是選取某供電公司部分變電站的一次接線圖和人工維護(hù)的一次接線圖作為研究樣本。
數(shù)據(jù)集共有93張變電站一次接線圖,其中電子圖79張,人工圖14張,在圖5和圖6中展示了電子圖和人工圖的樣例。對(duì)數(shù)據(jù)集圖片進(jìn)行人工標(biāo)注,標(biāo)注為pascal voc格式。標(biāo)注的內(nèi)容是廠站一次接線圖中的電器元件類(lèi)型和電器元件位置。通過(guò)數(shù)據(jù)標(biāo)注軟件labelImg對(duì)圖片中各類(lèi)電器元件進(jìn)行標(biāo)記框選,整理為xml文件作為接線圖圖片訓(xùn)練的標(biāo)簽。標(biāo)注類(lèi)別共17類(lèi),分別為避雷器(blq)、變壓器(byq)、電抗(dk)、電力電感器(dldgq)、斷路器(dlq)、電容(dr)、刀閘(dz)、隔離手車(chē)1(glsc1)、隔離手車(chē)2(glsc2)、接地(jd)、接地刀閘(jddz)、母線(mx)、電壓互感器(pt)、熔斷器(rdq)、所變(sb)、手車(chē)開(kāi)關(guān)(sckg)、忽略部件(ignore)。數(shù)據(jù)集大約共有11 500個(gè)標(biāo)注框。
圖6 人工圖示例Fig.6 Example of manual wiring diagram
標(biāo)注好的數(shù)據(jù)集,廠站一次接線圖分辨率過(guò)大需要做分割處理,因此對(duì)于數(shù)據(jù)集中的接線圖,采取分割圖片及其對(duì)應(yīng)xml文件的方法構(gòu)建出新的分割圖數(shù)據(jù)集。其中,分割圖數(shù)據(jù)集共有316張電子圖和56張人工圖,類(lèi)別是和接線圖相同的17類(lèi)。因此,數(shù)據(jù)集可以分為2部分,即接線圖原圖數(shù)據(jù)集和分割圖數(shù)據(jù)集,以便應(yīng)用于改進(jìn)的檢測(cè)算法中。
實(shí)驗(yàn)環(huán)境包括:Ubuntu 16.04.6 LTS操作系統(tǒng)、NVIDIA TITAN XP 顯 卡、12196MiB 顯 存、CUDA10.1、OpenCV2.4.9等。
廠站一次接線圖中的電器元件識(shí)別部分分別采用基于Paddle深度學(xué)習(xí)框架的YOLOv3算法和基于Tensorflow框架的Faster R-CNN模型。
對(duì)于廠站一次接線圖中的電子圖,采用2種數(shù)據(jù)集的形式,分別為接線圖原圖數(shù)據(jù)集和每張接線圖分割為4份后的分割圖數(shù)據(jù)集。對(duì)于YOLOv3,直接使用分割圖的數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練集244張,測(cè)試集72張。對(duì)于Faster R-CNN模型,先采用原圖數(shù)據(jù)集進(jìn)行訓(xùn)練,其中訓(xùn)練集63張,測(cè)試集16張;再采用多尺度融合的檢測(cè)算法,使用分割圖的數(shù)據(jù)集訓(xùn)練出小圖模型,并將兩者的結(jié)果進(jìn)行融合。
由于電子圖和人工圖略有差異,為了提高核驗(yàn)的效果,需對(duì)模型進(jìn)行finetune,使其更加適用于人工圖的電器元件檢測(cè)。對(duì)于大圖模型,采用11張人工圖作為訓(xùn)練集,3張作為測(cè)試集。對(duì)于小圖模型,采用44張分割的人工圖作為訓(xùn)練集,12張作為測(cè)試集。在基于訓(xùn)好的電子圖的模型權(quán)重條件下,使用較少的人工圖數(shù)據(jù)集進(jìn)行finetune。為了防止過(guò)擬合,使用更低的學(xué)習(xí)率0.0001進(jìn)行訓(xùn)練。
在訓(xùn)練的過(guò)程中,初始學(xué)習(xí)率設(shè)為0.001,momentum設(shè)為0.9。YOLOv3使用darknet-53的預(yù)訓(xùn)練權(quán)重,F(xiàn)aster R-CNN選擇ResNet101的預(yù)訓(xùn)練權(quán)重。YOLOv3在迭代140 000 epoch后,loss趨于穩(wěn)定。Faster R-CNN在迭代100 000 epoch后,loss趨于穩(wěn)定,數(shù)值在0.3左右,finetune迭代70 000 epoch后loss穩(wěn)定在0.3左右。表1為YOLOv3和Faster R-CNN實(shí)驗(yàn)結(jié)果的對(duì)比,采取的評(píng)判標(biāo)準(zhǔn)是檢測(cè)準(zhǔn)確率。將IoU大于0.5且類(lèi)名正確的樣本視為正樣本,通過(guò)計(jì)算正樣本和總樣本的比作為檢測(cè)準(zhǔn)確率。其中,17種待識(shí)別的器件在數(shù)據(jù)集中的數(shù)量分布并不均衡,表1中的平均檢測(cè)準(zhǔn)確率是通過(guò)計(jì)算測(cè)試集中圖片的所有種類(lèi)器件正樣本和總樣本中的比得來(lái)的。雖然YOLOv3的檢測(cè)準(zhǔn)確率結(jié)果中有7種器件優(yōu)于Faster R-CNN融合算法,如隔離手車(chē)、所變、電壓互感器等器件,但這些器件在接線圖中出現(xiàn)的頻率并不高,所以YOLOv3的檢測(cè)效果并不如Faster R-CNN融合算法。根據(jù)得出的平均檢測(cè)準(zhǔn)確率結(jié)果可以看出,多尺度融合后的Faster R-CNN算法效果最佳。
廠站一次接線圖中的文字、數(shù)字識(shí)別部分分別采用了2種方法。兩階段的識(shí)別方法有Advanced EAST和Tesseract OCR。端到端的識(shí)別方法有Attention-OCR方法。
首先,采用Advanced EAST模型和Tesseract OCR模型。采用標(biāo)注文本框的數(shù)據(jù)集訓(xùn)練基于Keras框架的Advanced EAST模型;獲取出接線圖文字區(qū)域圖片,通過(guò)jTessBoxEditor對(duì)文字圖片中的每個(gè)字符進(jìn)行標(biāo)注,使用Tesseract OCR構(gòu)建接線圖的專(zhuān)屬字庫(kù)。
然后,采用端到端的Attention-OCR方法,其基于Tensorflow框架,其中Cascade R-CNN采用ResNet101-FPN作為骨干網(wǎng)絡(luò),預(yù)訓(xùn)練權(quán)重來(lái)自ICDAR2017RCTW[23]數(shù)據(jù)集。Attention-OCR使用InceptionV4[24]作為骨干網(wǎng)絡(luò),預(yù)訓(xùn)練模型由ImageNet數(shù)據(jù)集得來(lái),之后通過(guò)多個(gè)包含不規(guī)則多方向的文本數(shù)據(jù)集(如LSVT、COCO-Text、ICDAR2017等)訓(xùn)練模型。
表2為2種方法的結(jié)果對(duì)比。文本區(qū)域檢測(cè)采用目標(biāo)檢測(cè)的評(píng)判標(biāo)準(zhǔn),以IoU大于0.5的樣本判斷為正樣本。文本識(shí)別部分以每一個(gè)字符的準(zhǔn)確率作為評(píng)判標(biāo)準(zhǔn)??梢钥闯觯瑹o(wú)論是文本區(qū)域檢測(cè)還是文本識(shí)別,Attention-OCR方法的效果都要優(yōu)于Advanced EAST和 Tesseract-OCR 的結(jié)果。
表2 文字識(shí)別實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Comparison of text recognition experiment results
廠站一次接線圖拓?fù)潢P(guān)系識(shí)別主要采用的是圖像處理技術(shù),其拓?fù)潢P(guān)系識(shí)別的準(zhǔn)確率較為依靠電器元件識(shí)別的準(zhǔn)確率。對(duì)于電子圖和人工圖,在進(jìn)行圖像預(yù)處理的過(guò)程中選擇了更加適用自身的不同參數(shù)。對(duì)每張測(cè)試圖片的拓?fù)潢P(guān)系進(jìn)行人工標(biāo)注,在對(duì)測(cè)試圖片進(jìn)行拓?fù)潢P(guān)系準(zhǔn)確率計(jì)算后得出準(zhǔn)確率約為87.7%。其具體情況如表3所示。
表3 拓?fù)潢P(guān)系識(shí)別測(cè)試結(jié)果Table 3 Test results of topological relation recognition
人工維護(hù)的廠站一次接線圖自動(dòng)校核技術(shù)采用的是子圖匹配算法,選用的子圖匹配算法是VF2算法。由于子圖匹配算法本身存在對(duì)數(shù)據(jù)容忍度差的問(wèn)題,因此對(duì)算法進(jìn)行了一定程度的改進(jìn)。通過(guò)自動(dòng)校核技術(shù)來(lái)對(duì)接線圖及其對(duì)應(yīng)的人工圖的人工校驗(yàn)提供輔助,輸入為2張圖的拓?fù)潢P(guān)系識(shí)別結(jié)果,輸出為2張圖的匹配率。這里沒(méi)有使用改進(jìn)前的VF2算法的匹配結(jié)果,因?yàn)樵璙F2算法用于拓?fù)潢P(guān)系匹配時(shí),只能用于判斷查詢圖是否為目標(biāo)圖的子圖。由于拓?fù)潢P(guān)系識(shí)別不能完全精準(zhǔn)地還原2張圖的拓?fù)潢P(guān)系,一旦有一個(gè)節(jié)點(diǎn)不匹配,VF2算法輸出的結(jié)果便是0,這也是對(duì)VF2算法進(jìn)行改進(jìn)的原因之一。從測(cè)試數(shù)據(jù)中挑選出4組清晰且完好的測(cè)試圖,分別對(duì)這4組數(shù)據(jù)進(jìn)行測(cè)試,分別使用遍歷的方法及改進(jìn)的VF2算法2種方法,通過(guò)計(jì)算匹配的子圖數(shù)與總子圖數(shù)的比例得到其對(duì)應(yīng)的匹配率,結(jié)果如表4所示??梢钥闯?,改進(jìn)的VF2算法在8組數(shù)據(jù)上的匹配率均在50%以上,明顯高于遍歷方法匹配的結(jié)果。將匹配的閾值設(shè)定為0.6,即匹配率超過(guò)該閾值則判定這一組電子圖與人工圖正確匹配,否則將判定為錯(cuò)誤匹配。此時(shí),改進(jìn)的VF2算法對(duì)于廠站一次接線圖的自動(dòng)校核對(duì)數(shù)據(jù)有更好的穩(wěn)定性和更好的準(zhǔn)確率,其準(zhǔn)確率為62.5%,而遍歷方法的準(zhǔn)確率較低只有25%(即8組結(jié)果中只有2組的匹配率高于閾值0.6)。
將電子圖和人工圖的匹配結(jié)果可視化,綠色框表示匹配部分,未匹配的元件在原圖中用紅框的形式標(biāo)出,匹配可視化結(jié)果如圖7和圖8所示。
表4 兩種方法的匹配率結(jié)果Table 4 Matching rate results of two methods
圖7 電子圖匹配結(jié)果Fig.7 Matching results of electronic wiring diagram
圖8 人工圖匹配結(jié)果Fig.8 Matching results of manual wiring diagram
1)本文實(shí)現(xiàn)了廠站一次接線圖的自動(dòng)識(shí)別和自動(dòng)校核,極大提高了電力廠站一次接線圖繪制和管理工作的自動(dòng)化程度。
2)對(duì)廠站一次接線圖中電器元件的目標(biāo)檢測(cè)、文字識(shí)別和拓?fù)潢P(guān)系檢測(cè)均可達(dá)到較高的準(zhǔn)確率。
3)改進(jìn)的VF2算法相比于節(jié)點(diǎn)遍歷的匹配方法,可以提高37.5%的準(zhǔn)確率,大大降低了人工干預(yù)的成本。
目前,對(duì)于廠站一次接線圖的自動(dòng)識(shí)別和自動(dòng)校核工作仍有些許不足。對(duì)接線圖電器元件的目標(biāo)識(shí)別和文字識(shí)別仍需繼續(xù)提高準(zhǔn)確率。對(duì)接線圖的拓?fù)潢P(guān)系識(shí)別及自動(dòng)核驗(yàn)需要加快對(duì)圖片的處理速度,提高廠站一次接線圖的自動(dòng)識(shí)別和自動(dòng)校核的效率。未來(lái)將及時(shí)關(guān)注最新的目標(biāo)檢測(cè)、文本檢測(cè)和文本識(shí)別等算法的發(fā)展,改進(jìn)方法提高檢測(cè)和識(shí)別的準(zhǔn)確率。對(duì)于拓?fù)潢P(guān)系識(shí)別和自動(dòng)核驗(yàn),將繼續(xù)改進(jìn)算法提高對(duì)檢測(cè)結(jié)果的容忍度,提高識(shí)別和核驗(yàn)的效率。