許文濤
(中國南方電網(wǎng)有限責任公司超高壓輸電公司柳州局,廣西 柳州 545000)
無人機遙感技術(shù)的興起,為輸電線路巡檢帶來了新的機遇。無人機遙感具有便捷、靈活、低成本、多角度、高時空分辨率的特點,能大幅降低地面人工巡檢的勞動強度和作業(yè)風險,顯著降低數(shù)據(jù)獲取成本[1-2]。但是如何從海量數(shù)據(jù)中快速提取有價值的信息,成為擺在我們面前亟需解決的問題。
隨著人工智能新時代的開啟,深度學習為計算機視覺領(lǐng)域帶來了革命性的進步,為解決該問題提供了方案[3]。
深度學習不需要人工設(shè)計提取特征,可以較好地應(yīng)對背景復(fù)雜、場景多變、目標特征多樣化的電力巡檢可見光圖像,高度契合電力巡檢中海量可見光圖像智能化處理的需求,通過引入深度學習方法,可以實現(xiàn)目標的智能識別,進而實現(xiàn)線路設(shè)備的缺陷檢測[4]。
因此,研發(fā)基于無人機遙感與深度學習算法的輸電線路智能巡檢平臺,不僅是“新基建”的迫切要求,而且將使老舊線路煥發(fā)出新的活力,因而具有重要意義和巨大的市場潛力。
根據(jù)國網(wǎng)(運檢/4)305—2014《國家電網(wǎng)公司架空輸電線路運維管理規(guī)定》,架空線路設(shè)備缺陷管理系統(tǒng)規(guī)定了878種缺陷。由于部分類型的缺陷根據(jù)危害等級被劃分為3種(如絕緣子自爆缺陷根據(jù)損壞程度不同被分為一般、嚴重、危急3種),統(tǒng)計出包括基礎(chǔ)、桿塔、導(dǎo)地線、絕緣子、金具、接地裝置、通道環(huán)境、附屬設(shè)施等在內(nèi)的8類共499種缺陷,分布如表1所示[5]。
表1 線路巡檢常見缺陷統(tǒng)計
從表1缺陷類型分布看,桿塔、金具、絕緣子類缺陷較多,占缺陷總量的68%?;诳梢姽鈭D像,使用圖像處理的方法進行架空線路的缺陷檢測可以覆蓋約90%的缺陷[5],僅有30余種缺陷難以根據(jù)可見光圖像確定。隨著無人機遙感技術(shù)和深度學習算法的發(fā)展,國內(nèi)外在輸電線路缺陷檢測領(lǐng)域已經(jīng)開展了大量的研究,取得了不少研究成果。
Yolo系列模型經(jīng)過不斷改進,已推出多個版本,但其結(jié)構(gòu)均是由輸入層、Backbone、Neck(自Yolov3增加該層)、Head和Prediction(輸出層)組成[6]。
在Yolov5 的官方代碼中,給出了Yolov5s.pt、Yolov5m.pt、Yolov5l.pt、Yolov5x.pt四個權(quán)重模型,其中,Yolov5s網(wǎng)絡(luò)是Yolov5系列中深度最小、特征圖寬度最小的網(wǎng)絡(luò),其檢測速度最快,但精度也相對較低[7];其他三種結(jié)構(gòu)則是對網(wǎng)絡(luò)加深加寬,精度提升的同時速度降低。用戶可以根據(jù)需要選擇合適的模型。
在輸入層,Yolov5首先對圖像進行Mosaic增強,通過隨機縮放、裁剪、排布等方式,豐富了數(shù)據(jù)集,提升了小目標的檢測效果。
其次,Yolov5將初始錨框的計算嵌入到代碼中,使得在每次訓(xùn)練時,程序可以自適應(yīng)地計算不同訓(xùn)練集中的最佳錨框值。
最后,Yolov5改進了圖像填充算法,算法根據(jù)圖片的長寬比自適應(yīng)地計算需要添加的像素數(shù),從而縮減了黑邊的范圍,降低了信息冗余,提高了推理速度。
在Backbone層中,Yolov5首先采用切片操作,即Focus結(jié)構(gòu),在減小圖像長寬的同時增加了圖像通道個數(shù)[8]。
進而,Yolov5繼承了Yolov4的CSPDarknet53 結(jié)構(gòu),但分別在Backbone和Neck中使用兩種不同的CSP結(jié)構(gòu)。在Backbone中引入殘差組件,而在Neck中,則使用Convolution-Batch Normalization-LeakyReLU組件。
在Neck層中,一方面,Yolov5采用了CSP結(jié)構(gòu),加強了網(wǎng)絡(luò)特征融合的能力;另一方面,采用了FPN(Feature Pyramid Network)+PAN結(jié)構(gòu),F(xiàn)PN層自頂向下傳達強語義特征,而特征金字塔則自底向上傳達強定位特征,兩兩聯(lián)手,從不同的主干層對不同的檢測層進行參數(shù)聚合。
與之前的版本類似,Yolov5最終輸出為三個不同尺度的特征圖,對于不同尺寸的目標識別具有較好的魯棒性。Yolov5采用GIOU_Loss作為定位損失函數(shù),采用加權(quán)nms的方式,提高了被遮擋物體的檢出率。
基于2020年7月至9月無人機巡檢獲取的500 kV輸電線路共362張缺陷照片開展研究,照片像素數(shù)為5 472×3 078,這些照片已經(jīng)過專業(yè)檢修人員和同類缺陷識別軟件的篩選。由于無人機影像較大,考慮到硬件配置和計算效率,將影像進行四等分裁剪,裁剪后獲得1 448張圖像。
本文利用lableImg軟件對這些照片進行了樣本的標注,共獲取絕緣子類缺陷樣本1 056個,導(dǎo)線類缺陷260個,金具類缺陷328個,桿塔上有鳥巢圖片471個。為擴充樣本數(shù)量,增強特征學習能力,使用Mosaic增強模塊對樣本進行了旋轉(zhuǎn)、顏色空間變換、模糊和鏡像變換。通過上述數(shù)據(jù)預(yù)處理,剔除沒有目標信息的圖像,得到了共3 696張缺陷圖片,用于后續(xù)模型的訓(xùn)練和預(yù)測。
本文采用的運行環(huán)境為Windows10系統(tǒng),64位,處理器為Intel(R)Xeon(R)Silver 4210 CPU@2.20 GHz/2.19 GHz,內(nèi)存32 GB,主頻3.0 GHz,顯卡為GPU NVIDIA GeForce RTX 2080Ti,顯存11 GB。本文缺陷檢測算法研究選用的CUDA版本是10.2,集成開發(fā)環(huán)境是VSCode,使用Python3.7和Pytorch深度學習框架開發(fā)。
輸電線路主要缺陷智能識別軟件為網(wǎng)絡(luò)版,系統(tǒng)采用B/S架構(gòu)和分用戶管理的方式,基于Cesium開源三維可視化引擎、PostgreSQL數(shù)據(jù)庫管理系統(tǒng)和Pytorch深度學習框架構(gòu)建基于無人機影像深度學習算法的輸電線路主要缺陷智能識別軟件。系統(tǒng)具有無人機光學圖像樣本制作、模型分布式訓(xùn)練、模型測試、缺陷診斷和確認以及檢測報告生成等功能,可識別桿塔、絕緣子、金具等主要缺陷[9]。
平臺架構(gòu)如圖1所示。系統(tǒng)同時具備三維GIS功能(如三維可視化、數(shù)據(jù)庫管理系統(tǒng)、空間分析等)和無人機遙感圖像處理功能(如數(shù)據(jù)預(yù)處理、基于深度學習算法的輸電線路缺陷檢測),可以生成訓(xùn)練報告、測試報告和缺陷識別結(jié)果評估報告。
圖1 系統(tǒng)架構(gòu)圖
平臺選擇Yolo5s模型進行輸電線路缺陷檢測,訓(xùn)練數(shù)據(jù)和驗證數(shù)據(jù)的比例為9:1,每次輸入網(wǎng)絡(luò)中圖像的數(shù)量為16,初始學習參數(shù)為0.01,迭代次數(shù)為500次,IoU閾值設(shè)為0.5。絕緣子自爆類缺陷訓(xùn)練結(jié)果如圖2所示。
圖2 絕緣子自爆類缺陷訓(xùn)練結(jié)果
采用前述模型和軟件識別出的缺陷結(jié)果如圖3所示。其中絕緣子類缺陷包括絕緣子自爆、傘裙損壞和放電燒傷;金具類缺陷包括防振錘銹蝕、損壞,線夾銹蝕,接線管彎曲;導(dǎo)線類缺陷包括導(dǎo)線跳股、纏繞不合格等。
圖3 不同類型缺陷識別結(jié)果
本文對不同缺陷類型的識別精度進行了分析。表2列出了不同類型缺陷的識別精度和識別召回率。
表2 缺陷檢測結(jié)果
從表2可以看出,整體缺陷平均識別精度均值達93%,鳥巢識別精度最高,為96%,絕緣子類缺陷識別精度為90%,略低于金具類缺陷和導(dǎo)線類缺陷的識別精度,這是因為絕緣子缺陷相對較小,在進行多尺度特征提取的過程中容易漏掉,因此提高絕緣子自爆、燒傷等小目標缺陷識別精度是后續(xù)的重要工作。
本文基于Yolov5目標檢測算法和無人機巡檢獲取的可見光照片,實現(xiàn)了輸電線路絕緣子、金具、導(dǎo)線等主要缺陷的智能識別。研究表明,使用文中模型對輸電線路主要缺陷識別的平均精度均值可達93%,平均召回率96%。
本文提出了可泛化的輸電線路多缺陷檢測模型,研發(fā)了基于無人機影像深度學習算法的輸電線路主要缺陷智能識別軟件,為開展輸電線路的快速智能巡檢、缺陷檢測模型的擴展和優(yōu)化提供了基礎(chǔ)平臺。
Yolov5是一種輕量級的深度學習算法,在今后的工作中,可以將訓(xùn)練好的模型嵌入到移動端,乃至無人機平臺,實現(xiàn)邊緣計算,以進一步提高檢測效率。基于可見光圖像開展深度學習缺陷檢測算法研究,在實際工程應(yīng)用中,激光點云數(shù)據(jù)對于通道類缺陷(如樹障等)檢測具有優(yōu)勢,紅外圖像對于溫度異常更為敏感,采用無人機搭載多種傳感器,同步獲取多源遙感數(shù)據(jù),研發(fā)相應(yīng)的缺陷檢測算法,有望實現(xiàn)一站式輸電線路智能缺陷檢測。