李 斌 屈璐瑤 朱新山 郭志民 田楊陽

基于多尺度特征融合的絕緣子缺陷檢測

李 斌1屈璐瑤1朱新山1郭志民2田楊陽2

（1. 智能電網(wǎng)教育部重點實驗室（天津大學） 天津 300072 2. 國網(wǎng)河南省電力公司電力科學研究院 鄭州 450000）

絕緣子缺陷檢測對于保障電網(wǎng)安全穩(wěn)定運行具有重要意義。由于絕緣子缺陷區(qū)域的像素信息少、形狀尺寸不一，造成識別效果不佳問題。為解決此問題，提出了一種基于多尺度特征融合的絕緣子缺陷檢測網(wǎng)絡(luò)（MSD2Net）。在該網(wǎng)絡(luò)中，采用殘差注意力網(wǎng)絡(luò)用于獲取不同分辨率的絕緣子缺陷特征，設(shè)計了基于反卷積和多分支檢測的多尺度特征融合網(wǎng)絡(luò)將深層特征圖與淺層特征圖逐步融合，生成更加豐富的圖像語義信息，用于實現(xiàn)目標的分類與位置回歸，并結(jié)合Focal損失和高斯非極大抑制方法進一步提升檢測效果。在變電站絕緣子缺陷數(shù)據(jù)集和輸電線路CPLID公開數(shù)據(jù)集上進行測試，結(jié)果表明所提方法具有較好的檢測性能與泛化能力。

智能巡檢 絕緣子 缺陷檢測 特征融合

0 引言

隨著電力系統(tǒng)規(guī)模的不斷擴大，電力設(shè)備的智能運維得到廣泛關(guān)注[1]。變電站作為電力系統(tǒng)的樞紐，在電能的傳輸與分配環(huán)節(jié)中發(fā)揮了重要作用，變電站中關(guān)鍵設(shè)備的運行狀態(tài)直接決定了電網(wǎng)的安全穩(wěn)定運行[2-3]。絕緣子大多長時間暴露在戶外，往往容易出現(xiàn)破損、掉串、腐蝕等缺陷，絕緣子的絕緣強度將會下降[4-5]。若不能及時發(fā)現(xiàn)此類缺陷而繼續(xù)帶電運行，極易發(fā)展為永久性故障，從而為電網(wǎng)安全穩(wěn)定運行帶來重大隱患[6]，因此絕緣子是變電站日常維護工作中的重點巡檢對象。隨著計算機圖像處理技術(shù)的飛速發(fā)展，智能巡檢機器人得到了廣泛應(yīng)用，變電站已逐步實現(xiàn)了智能化巡檢和無人值守[7]。為了提高巡檢機器人的檢測效率、降低運維成本，高效準確的檢測算法至關(guān)重要。

在傳統(tǒng)圖像處理領(lǐng)域，絕緣子缺陷檢測主要依賴手工提取圖像中絕緣子的輪廓[8]、顏色[9]、小波系數(shù)[10]等特征，再使用分類器對提取到的特征進行訓練。該類方法需要特定的檢測條件和先驗知識，普適性和魯棒性較差，加之需要人為設(shè)定閾值提取特征信息，容易引入誤差和干擾。

隨著卷積神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，深度學習的方法被應(yīng)用在絕緣子及其他電力設(shè)備檢測算法中[11-12]。卷積神經(jīng)網(wǎng)絡(luò)可以自動學習獲得兼具有效性和魯棒性的特征，同時對分類器進行優(yōu)化，從而提高了檢測器的精度。目前主流的目標檢測模型主要分為三類：第一類是無錨框目標檢測模型，代表算法有FCOS（fully convolutional one-stage, object detector）[13]、VFNet（Varifocal Net)[14]等。該類算法不需設(shè)置錨框，檢測流程更加簡單，但是仍然存在計算量大、檢測精度不夠理想等問題。第二類是兩階段目標檢測模型，代表算法有R-CNN(Region-convolutional neutral network)[15]、Faster R-CNN[16]等。該類算法針對絕緣子的具體位置，采用預(yù)先提取候選區(qū)域的方法進行訓練。文獻[17-18]在Faster R-CNN算法框架下對輸電線路航拍絕緣子缺陷以及典型金具進行識別與定位，提升了電力設(shè)備狀態(tài)檢測效果。但兩階段算法網(wǎng)絡(luò)結(jié)構(gòu)復雜，引入大量參數(shù)，使得檢測速度較慢，難以滿足算法實時性的要求。第三類是單階段目標檢測模型，代表算法有YOLO(you only look once)[19]、SSD(single shot detector)[20]和Retinanet[21]等。該類算法無需預(yù)先提取候選區(qū)域，直接對網(wǎng)絡(luò)進行端到端的訓練，具有網(wǎng)絡(luò)結(jié)構(gòu)簡單、參數(shù)少、實時性好等優(yōu)勢。文獻[22]采用K-means++聚類算法改進YOLOv3，實現(xiàn)絕緣子缺陷的快速定位。文獻[23]結(jié)合SSD網(wǎng)絡(luò)的優(yōu)勢和兩階段微調(diào)策略進行訓練，成功檢測絕緣子狀態(tài)，文獻[24]采用遷移學習的方法改進SSD網(wǎng)絡(luò)，實現(xiàn)小樣本絕緣子缺陷智能化檢測。除主流檢測方法外；文獻[25]基于改進的LeNet5網(wǎng)絡(luò)提出一種基于反饋機制的絕緣子狀態(tài)檢測方法；文獻[26]采用基于層次多任務(wù)的深度學習算法實現(xiàn)了絕緣子缺片檢測；文獻[27]提出基于對抗自編碼的絕緣子缺陷檢測方法，通過潛在空間點蝕產(chǎn)生偽缺陷樣本，但檢測結(jié)果對噪聲較為敏感?；谏疃葘W習的絕緣子缺陷檢測算法取得了優(yōu)于傳統(tǒng)算法的檢測效果，作為主流的目標檢測網(wǎng)絡(luò)，SSD兼具Faster R-CNN和YOLO的優(yōu)勢，具有較高的檢測精度與識別速度，對絕緣子缺陷進行實時監(jiān)測成為可能[28]。

本文分析了絕緣子缺陷檢測過程中面臨的技術(shù)難題，為了解決絕緣子缺陷像素信息少。檢測精度低的問題，本文在SSD網(wǎng)絡(luò)基礎(chǔ)上進行了改進，基于殘差注意力的特征提取網(wǎng)絡(luò)獲取有效的絕緣子缺陷特征，減少特征信息丟失。為了緩解缺陷形狀尺寸各異、識別精度不高的問題，設(shè)計了多尺度特征融合網(wǎng)絡(luò)，充分利用不同尺度的特征信息，提高檢測精度。此外，本文通過采用Focal損失和高斯非極大抑制方法緩解了正負樣本不均衡和重疊目標漏檢的影響，進一步提升了絕緣子缺陷檢測效果。

1 絕緣子缺陷檢測存在的問題

由于變電站巡檢機器人檢測時所處位置限制，絕緣子及其缺陷在圖像中所占據(jù)的像素信息一般較少[29]，對于這種尺寸較小的識別目標，其特征容易隨著卷積神經(jīng)網(wǎng)絡(luò)的逐層下采樣產(chǎn)生信息丟失問題，識別難度較大。SSD的特征提取網(wǎng)絡(luò)VGGNet（visual geometry group network）僅為卷積神經(jīng)網(wǎng)絡(luò)的簡單堆疊，容易造成信息失真和梯度消失現(xiàn)象。因此有必要采用更加有效的特征提取網(wǎng)絡(luò)，在保證特征信息可靠傳播的同時，提取絕緣子缺陷更有辨識度的特征。

在不同的角度和距離下，圖像中絕緣子的形態(tài)和尺寸不同，缺陷的形狀和顏色各異[30]，因此，單一特征圖的信息難以匹配每個樣本。特征提取網(wǎng)絡(luò)所提取的淺層特征圖分辨率較高，包含了更多的位置和細節(jié)信息，但由于經(jīng)過的卷積較少，其語義性相對較低，噪聲相對較多；深層特征圖含有較強的語義信息，但是分辨率很低，對細節(jié)的感知能力較差[31]，故對不同層次的特征圖采取有效的融合策略，能夠獲得更加完整的特征信息，提升特征表達能力。SSD網(wǎng)絡(luò)通過VGGNet提取了38×38、19×19、10×10、5×5、3×3、1×1六種不同尺度的特征圖直接輸入檢測模塊，未將深層語義信息與淺層結(jié)構(gòu)信息進行有效融合，忽略了上下文特征信息的關(guān)聯(lián)。同時，SSD網(wǎng)絡(luò)的檢測模塊為無分支的卷積層，結(jié)構(gòu)相對簡單，致使分類損失和回歸損失的梯度合并后一起回傳，相互干擾，多尺度特征未得到有效利用，識別精度仍有待提升。

目前，大量研究針對整串絕緣子進行識別，尚未對單片絕緣子的缺陷狀態(tài)檢測提出有效方法。此外，在實際巡檢場景下，絕緣子缺陷遠遠小于圖像背景所占比例，在圖像中能夠匹配缺陷的正樣本十分有限，使得數(shù)據(jù)集中正樣本和負樣本存在嚴重的不均衡現(xiàn)象；加之背景復雜程度不同，數(shù)據(jù)集中簡單易分的樣本與復雜難分的樣本之間數(shù)量相差較大，大大降低了模型的泛化能力[32]。絕緣子分布相對密集，目標框彼此間存在遮擋問題，SSD網(wǎng)絡(luò)的非極大值抑制（Non-Maximum Suppression, NMS）方法易錯誤舍棄目標檢測框，產(chǎn)生漏檢現(xiàn)象。

本文針對以上問題，在SSD網(wǎng)絡(luò)基礎(chǔ)上進行改進，提出一種基于多尺度特征融合的絕緣子缺陷檢測網(wǎng)絡(luò)，通過殘差注意力特征提取網(wǎng)絡(luò)提取絕緣子缺陷的多尺度特征，利用特征融合網(wǎng)絡(luò)將多尺度特征有效融合，并采用Focal損失和高斯非極大抑制方法進一步提升檢測效果。

2 基于多尺度特征融合的絕緣子缺陷檢測網(wǎng)絡(luò)

多尺度特征融合網(wǎng)絡(luò)（Multi-Scale Defect Detection Network, MSD2Net）架構(gòu)設(shè)計方案如圖1所示，由特征提取網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)構(gòu)成，其中特征融合網(wǎng)絡(luò)包含反卷積特征融合模塊和多分支檢測模塊，形成不對稱沙漏的網(wǎng)絡(luò)結(jié)構(gòu)，并通過跨層連接實現(xiàn)多尺度特征融合。

2.1 基于殘差注意力的絕緣子特征提取網(wǎng)絡(luò)

針對SSD的特征提取網(wǎng)絡(luò)VGGNet存在的對小尺寸目標不夠敏感、特征信息失真等問題，MSD2Net網(wǎng)絡(luò)在Resnest 50[33]的基礎(chǔ)上，增加另外兩層卷積作為特征提取網(wǎng)絡(luò)，以提取出絕緣子更有辨識度的特征。Resnest 50與VGGNet相比，引入了殘差結(jié)構(gòu)和多通道注意力模塊，殘差結(jié)構(gòu)能夠避免梯度消失和信號失真，多分支注意力模塊不僅能夠增強特征圖組間的相互作用，還能夠給不同通道特征賦予權(quán)重，篩選出更關(guān)鍵的信息，從而提取出更有效的多尺度特征。

特征提取網(wǎng)絡(luò)的輸入圖像尺寸為300×300，如圖1所示，Conv1～Conv5為Resnest 50網(wǎng)絡(luò)的五個卷積階段，Conv6和Conv7為本文增加的兩層卷積層。在Conv2～Conv5中采用了多通道注意力模塊，該模塊將不同特征圖按對應(yīng)元素相加成一個特征圖小組，通過全局平均池化后得到的特征向量表示各個通道的權(quán)重，再經(jīng)過非線性處理以及后續(xù)的Softmax操作后與通道對應(yīng)元素相乘得到該組的輸出，從而自適應(yīng)地判別特征圖不同通道的重要程度。在Resnest 50的基礎(chǔ)上，本文增加兩層尺寸為3×3、通道數(shù)為256的卷積層，以分別提取尺寸為5×5和3×3的特征圖，繼續(xù)挖掘絕緣子缺陷圖像的深層語義信息。

圖1 MSD2Net網(wǎng)絡(luò)架構(gòu)

2.2 基于反卷積和多分支檢測的特征融合網(wǎng)絡(luò)

為適應(yīng)巡檢圖像中不同尺寸和形狀的絕緣子缺陷，MSD2Net采用基于反卷積和多分支檢測的特征融合網(wǎng)絡(luò)。該網(wǎng)絡(luò)采用可學習的反卷積層自適應(yīng)調(diào)整上采樣的參數(shù)，實現(xiàn)跨特征層的信息交互，并通過多分支檢測結(jié)構(gòu)分別進行目標分類和邊框位置回歸，可實現(xiàn)更好的檢測效果。

圖2為SSD和MSD2Net特征處理對比示意圖，可以看出SSD網(wǎng)絡(luò)將VGGNet提取的特征圖直接輸入檢測環(huán)節(jié)，缺少特征融合操作。MSD2Net網(wǎng)絡(luò)通過反卷積特征融合模塊，將特征提取網(wǎng)絡(luò)的Conv3～Conv6的輸出特征圖分別跨層與同尺寸的反卷積層Deconv1～Deconv4輸出特征圖連接并融合，實現(xiàn)深層語義信息與淺層細節(jié)信息的交互，之后送入檢測環(huán)節(jié)。多尺度特征融合網(wǎng)絡(luò)采用反卷積代替?zhèn)鹘y(tǒng)的雙線性插值作為上采樣方法，能夠動態(tài)調(diào)整輸出特征。反卷積過程是先按照一定比例在尺寸為的輸入特征圖中通過插入零值來擴大尺寸，再通過尺寸為的卷積核處理獲得尺寸為的輸出特征圖，從而實現(xiàn)從低分辨率到高分辨率的映射。輸入與輸出特征圖的尺寸關(guān)系為

圖2 SSD和MSD2Net結(jié)構(gòu)對比示意圖

式中，和為輸入和輸出特征圖的尺寸；為滑動步長；為卷積核尺寸；為填充像素個數(shù)。

反卷積特征融合模塊的具體操作如圖2所示，尺寸為×的深層特征圖經(jīng)過尺寸為2×2、通道數(shù)為256的反卷積層處理后分辨率擴大到兩倍，經(jīng)過尺寸為1×1的卷積層以調(diào)整深層和淺層特征圖的通道數(shù)一致，再經(jīng)過BN層以削弱不同批次數(shù)據(jù)差異帶來的干擾。BN層作為具有可學習參數(shù)的網(wǎng)絡(luò)層，其作用是將輸入數(shù)據(jù)批量標準化，具體計算過程如式（2）和式（3）所示。

經(jīng)過上述反卷積操作處理的深層特征圖，與尺寸為2×2并且經(jīng)過卷積處理的淺層特征圖進行逐元素相加，最后經(jīng)過BN層和ReLU非線性激活層得到融合后的特征。重復該過程，完成其他尺寸的特征融合，共生成40×40、20×20、10×10、5×5和3×3五種不同分辨率的特征圖，分別送入五組檢測模塊，進一步提升特征的表達能力。

MSD2Net網(wǎng)絡(luò)中共有五個檢測模塊，每個模塊具體結(jié)構(gòu)如圖3所示。首先，融合特征圖依次通過兩層尺寸為1×1的卷積層，再由尺寸為1×1、3×3、5×5卷積分別處理以增強對不同尺度特征的適應(yīng)性。將得到的多尺度特征矩陣以拼接方式聚合，再經(jīng)過尺寸為1×1的卷積層處理以調(diào)整通道數(shù)與初始輸入通道數(shù)一致，與捷徑連接合并后輸入ReLU層。將處理后的特征圖輸入兩條結(jié)構(gòu)對稱的支路，完成特征的進一步抽象處理。通過四層通道數(shù)為256的卷積繼續(xù)提取深層語義信息，提高模型擬合能力，再由通道數(shù)為（2×9）卷積和（4×9）的卷積分別進行目標類別和位置信息輸出。其中，2為類別數(shù)，9為每點放置錨框個數(shù)，4為每個錨框位置信息的數(shù)量。同時，將五個檢測模塊中對應(yīng)支路的卷積共享參數(shù)，分類分支和回歸分支之間不共享參數(shù)，能夠在提高運行速度的同時，避免不同類別損失的相互影響。

2.3 計及正負樣本平衡因子的損失函數(shù)

目標檢測網(wǎng)絡(luò)常選擇與標注框交并比（Intersection Over Union, IOU）最大的先驗框作為正樣本，而將IOU小于設(shè)定閾值的先驗框全部作為負樣本，正負樣本數(shù)量嚴重不平衡。如果直接采用式（4）所示的交叉熵損失作為分類損失，大量的負樣本會淹沒正樣本的回歸過程，使網(wǎng)絡(luò)整體難以快速準確地擬合正樣本，影響檢測結(jié)果。

圖3 多分支檢測模塊

在常用的位置回歸損失中，L1損失函數(shù)在訓練后期很難收斂到更高的精度，L2損失函數(shù)在訓練初期不穩(wěn)定，而Smooth L1結(jié)合L1和L2損失的優(yōu)點，在邊框位置回歸中可以達到更好的收斂效果[35]。本文采用Smooth L1損失計算每個邊框的位置回歸損失，如式（7）所示。

式中，為位置參數(shù)。

2.4 高斯非極大抑制

在網(wǎng)絡(luò)檢測環(huán)節(jié)，需要根據(jù)設(shè)定的閾值過濾掉不符合條件的檢測框，最終輸出正常絕緣子片與帶缺陷絕緣子片的定位結(jié)果。常用的非極大值抑制算法通常將檢測框按置信度得分排序，保留得分最高的檢測框，并篩除與該框的IOU大于設(shè)定閾值的檢測框。這種方法存在如下的問題：紅色框和黃色框是當前的檢測結(jié)果，選中得分最高的紅色框，黃色框會因為與其重疊面積較大而被誤刪。絕緣子遮擋示意如圖4所示。

圖4 絕緣子遮擋示意圖

為解決上述問題，本文采用高斯非極大抑制方法，即

對于其他檢測框，先計算其和的IOU，然后將該IOU值作為高斯函數(shù)的輸入，再與原先的置信度得分相乘作為最后的分數(shù)。由式（8）可知，與的IOU越大，檢測框的得分下降越多。此時，再刪除分數(shù)高于設(shè)定閾值的檢測框，能夠緩解與有重疊部分的檢測框被錯誤舍棄的問題。

3 檢測方法的性能評估

3.1 不同巡檢場景下的數(shù)據(jù)增強

為減少復雜背景的干擾，提高缺陷檢測精度，同時解決缺陷樣本數(shù)量較少的問題，本文構(gòu)建變電場景下絕緣子缺陷數(shù)據(jù)集。不同場景的數(shù)據(jù)集如圖5所示。在真實場景的變電巡檢圖片中提取出絕緣子串，并在提取后的圖像中批量式生成模擬缺陷。由于完整的絕緣子串圖片往往長寬比過大，但神經(jīng)網(wǎng)絡(luò)的輸入圖像限制為正方形，為避免圖像變形過大對檢測精度的影響，以原始圖片的短邊作為邊長的正方形為滑動窗口進行檢測。設(shè)提取出的絕緣子圖片長為、寬為，則將圖片均勻分割為個正方形，=[/]，分割后圖像為邊長為的正方形，實際圖片中的范圍在[88, 1 461]。

此外，為驗證本文方法在不同巡檢場景中的泛化性能，在公開的輸電場景數(shù)據(jù)集CPLID[36]（Chinese power line insulator dataset）上進行了驗證。由于該數(shù)據(jù)集絕緣子串的形狀角度大體相同，缺陷位置單一且固定，且樣本個數(shù)較少，容易導致網(wǎng)絡(luò)陷入過擬合。因此通過缺陷樣本合成對該數(shù)據(jù)集進行數(shù)據(jù)增強，部分原圖與合成效果如圖5所示。

參考PASCAL VOC[37]數(shù)據(jù)集的構(gòu)建方法，嚴格按照標注規(guī)范利用LabelImg軟件對上述兩種數(shù)據(jù)集分別進行標注。將標注后數(shù)據(jù)集按照4:1的比例劃分為訓練集和測試集，變電場景中訓練集包含 1 688個樣本，測試集包含422個樣本；輸電場景中訓練集包含679個樣本，測試集包含169個樣本。圖像輸入網(wǎng)絡(luò)前被縮放至尺寸300×300，并采用隨機旋轉(zhuǎn)、鏡像翻轉(zhuǎn)、色域變換等數(shù)據(jù)增強方法，減少模型的過擬合情況。

3.2 模型訓練

為了驗證本文算法可行性，采用Pytorch1.9.0深度學習框架，Pycharm2020.3軟件，CUDA11.2開發(fā)環(huán)境，Ubuntu 20.04.2 LTS操作系統(tǒng)完成模型的訓練和測試。實驗硬件配置為Intel Core i7-11700K 8核16線程的CPU、NVDIA GeForce RTX-3070 GPU。

參考設(shè)備條件以及網(wǎng)絡(luò)需求，設(shè)置網(wǎng)絡(luò)訓練batchsize為8，采用動量參數(shù)為0.9的隨機梯度下降方法優(yōu)化網(wǎng)絡(luò)訓練，能夠在加快收斂的同時尋找更佳的最優(yōu)解。學習率設(shè)置如圖6a所示，采用預(yù)熱策略在前500次迭代逐漸線性增加至1×10-3，使得模型前期能夠快速學習，當損失值無法繼續(xù)下降時，在第33 700和42 600次迭代處將學習率衰減至1×10-4和1×10-5，進一步搜索最優(yōu)點。訓練過程中的總損失隨迭代次數(shù)變化情況如圖6b所示，隨著訓練迭代次數(shù)的增加，模型損失值在不斷減小，整個網(wǎng)絡(luò)趨于收斂，擬合效果較為理想。同時可以看出，迭代次數(shù)為33 700學習率發(fā)生變化時，損失曲線在出現(xiàn)收斂趨勢后繼續(xù)下降，表明學習率調(diào)整有效。同時，圖6c中在驗證集和測試集上的平均精度隨迭代次數(shù)的變化曲線表明，訓練中未出現(xiàn)明顯的過擬合現(xiàn)象，測試結(jié)果具有合理性。

式中，為準確率；為召回率；為類別個數(shù)。

3.3 檢測結(jié)果與分析

3.3.1 改進策略的效果驗證

為了評估每個改進策略的有效性，對所提算法的不同策略在變電場景數(shù)據(jù)集進行測試，實驗結(jié)果見表1，VGG代表VGG16網(wǎng)絡(luò)，Resnest代表增加兩層卷積的Resnest 50網(wǎng)絡(luò)，MSFF代表本文所提特征融合網(wǎng)絡(luò)，F(xiàn)L代表Focal損失，GNMS代表高斯非極大抑制?？梢钥闯觯瑢SD的特征提取網(wǎng)絡(luò)VGG16替換成加深的Resnest50，mAP值提升了1.1%，其原因在于殘差模塊緩解了信號失真問題，多分支注意力模塊增強特征圖組之間的信息交互，篩選出更關(guān)鍵的信息。

表1 MSD2Net加入的不同策略效果對比

Tab.1 Comparison of different strategies added in MSD2Net

在此基礎(chǔ)上，多尺度融合網(wǎng)絡(luò)的加入，使mAP值提升了2.2%。其原因在于，反卷積融合模塊實現(xiàn)了深層特征與淺層特征的融合，向檢測模塊提供更加完整的特征信息，而劃分分支的檢測模塊避免不同類別損失的相互影響。在此基礎(chǔ)上，F(xiàn)ocal損失的加入，使mAP值提升了0.9%。其原因在于該損失使網(wǎng)絡(luò)重點關(guān)注正樣本，緩解了正負樣本數(shù)量不平衡的問題。在此基礎(chǔ)上，加入高斯非極大抑制，mAP值提升了0.3%，其原因在于緩解了檢測框被錯誤舍棄的問題。

最后，完整的MSD2Net網(wǎng)絡(luò)在結(jié)果列表中獲得了最佳性能94.3%，較SSD網(wǎng)絡(luò)提升了4.5%。綜上所述，每個改進策略都具有有效性，有助于檢測網(wǎng)絡(luò)性能的提高。

3.3.2 與其他檢測方法對比

本文針對構(gòu)建的變電場景數(shù)據(jù)集和公開的輸電場景CPLID數(shù)據(jù)集，分別采用SSD網(wǎng)絡(luò)和本文所提MSD2Net網(wǎng)絡(luò)進行測試，部分測試效果如圖7和圖8所示。圖中，綠色邊界框表示正常絕緣子片，紅色邊界框表示缺陷絕緣子片，邊界框上方的值為網(wǎng)絡(luò)檢測該類別的置信度。

圖7 變電場景數(shù)據(jù)集檢測結(jié)果對比

從對比結(jié)果可以看出，本文提出的網(wǎng)絡(luò)可以在絕緣子片處于不同數(shù)量和不同拍攝角度的情況下，有效檢測出絕緣子和缺陷目標，而SSD網(wǎng)絡(luò)的檢測結(jié)果出現(xiàn)了漏檢、多檢和錯檢等情況，進一步驗證了本文算法的有效性。

此外，基于變電場景數(shù)據(jù)集，將本文所提網(wǎng)絡(luò)與改進前的SSD網(wǎng)絡(luò)、其他經(jīng)典單階段網(wǎng)絡(luò)YOLOv3和RetinaNet、兩階段網(wǎng)絡(luò)Faster R-CNN及無錨框網(wǎng)絡(luò)VFNet進行對比，各類目標的檢測精度指標AP值和總平均精度指標mAP值見表2。

圖8 輸電場景CPLID數(shù)據(jù)集檢測結(jié)果對比

表2 變電場景數(shù)據(jù)集下不同網(wǎng)絡(luò)檢測精度對比

Tab.2 Detection accuracy comparison of different networks under substation scene dataset

由表2數(shù)據(jù)可知，改進前的SSD網(wǎng)絡(luò)精度較低，mAP值為89.8%，YOLOv3的mAP值為90.9%，稍高于SSD。其原因在于，YOLOv3選擇DarkNet53作為特征提取網(wǎng)絡(luò)，與VGG16相比包含殘差模塊，卷積層數(shù)增多，并且使用特征金字塔結(jié)構(gòu)融合三種不同尺寸的特征，有助于檢測精度的提高。RetinaNet網(wǎng)絡(luò)測得的mAP值為90.4%，相比SSD略有提高，比YOLOv3稍低。其原因在于，RetinaNet同樣使用了殘差結(jié)構(gòu)和特征金字塔結(jié)構(gòu)，但參數(shù)量相比YOLOv3大大減少。Faster R-CNN的mAP值達到93.7%，高于除MSD2Net外的其他網(wǎng)絡(luò)。其原因在于，F(xiàn)aster R-CNN作為兩階段算法結(jié)構(gòu)復雜，參數(shù)量大，能夠在第二階段對第一階段的結(jié)果進行精調(diào)，往往測試精度高于單階段算法，但檢測速度過慢。VFNet的mAP值為90.3%，略高于SSD，相對低于其他算法。其原因在于，雖然VFNet和RetinaNet結(jié)構(gòu)類似，但該網(wǎng)絡(luò)未設(shè)定錨框，將每一點作為樣本，導致樣本個數(shù)過多，對檢測精度造成不良影響。本文提出的MSD2Net網(wǎng)絡(luò)在結(jié)果列表中獲得了最佳性能94.3%，缺陷絕緣子片識別效果明顯提升，AP值達到97.3%，較改進前的SSD網(wǎng)絡(luò)提高7.4%。正常絕緣子片AP值也達到最佳精度90.9%，驗證了MSD2Net網(wǎng)絡(luò)的有效性。

輸電場景CPLID數(shù)據(jù)集下不同網(wǎng)絡(luò)檢測精度對比見表3，在輸電場景數(shù)據(jù)集下，由于復雜背景的影響，測試結(jié)果相比變電場景下總體精度較低，本文提出的MSD2Net網(wǎng)絡(luò)仍然達到了相對最佳的性能，mAP值為91.2%。由于缺陷部分尺寸與絕緣子串尺寸相差較大，F(xiàn)aster R-CNN在該場景下識別絕緣子串目標精度較高，但缺陷精度很低，僅為32.4%，導致總平均精度僅有66.2%，可能原因是Faster R-CNN作為兩階段算法，在當前場景下候選區(qū)域選擇不佳，對尺寸差別較大的多目標識別效果產(chǎn)生不良理想。可以看出本文所提網(wǎng)絡(luò)在背景較為復雜、目標尺寸差距較大的場景下依然獲得了相對最高的檢測精度，具有較強的適應(yīng)性。

表3 輸電場景CPLID數(shù)據(jù)集下不同網(wǎng)絡(luò)檢測精度對比

Tab.3 Detection accuracy comparison of different networks under transmission scene CPLID dataset

4 結(jié)論

絕緣子缺陷像素信息少、形態(tài)尺寸各異等原因可能造成識別效果不佳，本文設(shè)計了一種基于多尺度特征融合的MSD2Net絕緣子缺陷檢測網(wǎng)絡(luò)。通過基于殘差注意力的特征提取網(wǎng)絡(luò)增強特征圖組間的相互作用，提取了不同分辨率的絕緣子缺陷特征；通過基于反卷積和多分支檢測的特征融合網(wǎng)絡(luò)自適應(yīng)調(diào)整上采樣參數(shù)并隔離不同類別的損失，提高了特征融合的質(zhì)量；并通過Focal損失和高斯非極大抑制方法緩解了正負樣本不均衡和重疊目標漏檢問題。在變電站絕緣子缺陷數(shù)據(jù)集和CPLID公開數(shù)據(jù)集上進行測試，所提方法的平均檢測精度達到了94.3%和91.2%，驗證了本文方法能夠有效識別電力巡檢圖像中絕緣子及其缺陷。后續(xù)將進一步驗證MSD2Net網(wǎng)絡(luò)在其他場景數(shù)據(jù)集的適應(yīng)性。

[1] 蒲天驕, 喬驥, 韓笑, 等. 人工智能技術(shù)在電力設(shè)備運維檢修中的研究及應(yīng)用[J]. 高電壓技術(shù), 2020, 46(2): 369-383.

Pu Tianjiao, Qiao Ji, Han Xiao, et al. Research and application of artificial intelligence in operation and maintenance for power equipment[J]. High Voltage Engineering, 2020, 46(2): 369-383.

[2] 李奎, 高志成, 武一, 等. 基于統(tǒng)計回歸和非線性Wiener過程的交流接觸器剩余壽命預(yù)測[J]. 電工技術(shù)學報, 2019, 34(19): 4058-4070.

Li Kui, Gao Zhicheng, Wu Yi, et al. Remaining lifetime prediction of AC contactor based on statistical regression and nonlinear Wiener process[J]. Transactions of China Electrotechnical Society, 2019, 34(19): 4058-4070.

[3] 袁歡, 孫正可, 王露縉, 等. 基于姿態(tài)感知系統(tǒng)的隔離開關(guān)故障診斷[J]. 高電壓技術(shù), 2022, 48(1): 47-57.

Yuan Huan, Sun Zhengke, Wang Lujin, et al. Fault diagnosis of disconnector based on attitude sensing system[J]. High Voltage Engineering, 2022, 48(1): 47-57.

[4] Han S, Hao Ru, Lee J. Inspection of insulators on high-voltage power transmission lines[J]. IEEE Transactions on Power Delivery, 2009, 24(4): 2319-2327.

[5] 屠幼萍, 孫佑飛, 彭慶軍, 等. 霧霾環(huán)境下自然積污絕緣子的污穢顆粒粒徑分布特性[J]. 高電壓技術(shù), 2014, 40(11): 3318-3326.

Tu Youping, Sun Youfei, Peng Qingjun, et al. Particle size distribution characteristics of naturally polluted insulators under the fog-haze environment[J]. High Voltage Engineering, 2014, 40(11): 3318-3326.

[6] 呂玉坤, 趙偉萍, 龐廣陸, 等. 典型傘型瓷及復合絕緣子積污特性模擬研究[J]. 電工技術(shù)學報, 2018, 33(1): 209-216.

Lü Yukun, Zhao Weiping, Pang Guanglu, et al. Simulation of contamination deposition on typical shed porcelain and composite insulators[J]. Transactions of China Electrotechnical Society, 2018, 33(1): 209-216.

[7] 周立輝, 張永生, 孫勇, 等. 智能變電站巡檢機器人研制及應(yīng)用[J]. 電力系統(tǒng)自動化, 2011, 35(19): 85-88, 96.

Zhou Lihui, Zhang Yongsheng, Sun Yong, et al. Development and application of equipment inspection robot for smart substations[J]. Automation of Electric Power Systems, 2011, 35(19): 85-88, 96.

[8] Zhao Zhenbing, Liu Ning, Wang Le. Localization of multiple insulators by orientation angle detection and binary shape prior knowledge[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2015, 22(6): 3421-3428.

[9] Lin J, Han J, Chen F, et al. Defects detection of glass insulator based on color image[J]. Power System Technology, 2011, 35(1): 127-133.

[10] Murthy V S, Tarakanath K, Mohanta D K, et al. Insulator condition analysis for overhead distribution lines using combined wavelet support vector machine (SVM)[J]. IEEE Transactions on Dielectrics and Electrical Insulation, 2010, 17(1): 89-99.

[11] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設(shè)備紅外目標檢測模型[J]. 電工技術(shù)學報, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[12] 趙振兵, 段記坤, 孔英會, 等. 基于門控圖神經(jīng)網(wǎng)絡(luò)的栓母對知識圖譜構(gòu)建與應(yīng)用[J]. 電網(wǎng)技術(shù), 2021, 45(1): 98-106.

Zhao Zhenbing, Duan Jikun, Kong Yinghui, et al. Construction and application of bolt and nut pair knowledge graph based on GGNN[J]. Power System Technology, 2021, 45(1): 98-106.

[13] Tian Zhi, Shen Chunhua, Chen Hao, et al. FCOS: fully convolutional one-stage object detection[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019: 9626-9635.

[14] Zhang Haoyang, Wang Ying, Dayoub F, et al. VarifocalNet: an IoU-aware dense object detector[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021: 8510-8519.

[15] Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 2014: 580-587.

[16] Ren Shaoqing, He Kaiming, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[17] 侯春萍, 章衡光, 張巍, 等. 輸電線路絕緣子自爆缺陷識別方法[J]. 電力系統(tǒng)及其自動化學報, 2019, 31(6): 1-6.

Hou Chunping, Zhang Hengguang, Zhang Wei, et al. Recognition method for faults of insulators on transmission lines[J]. Proceedings of the CSU-EPSA, 2019, 31(6): 1-6.

[18] 趙振兵, 李延旭, 甄珍, 等. 結(jié)合KL散度和形狀約束的Faster R-CNN典型金具檢測方法[J]. 高電壓技術(shù), 2020, 46(9): 3018-3026.

Zhao Zhenbing, Li Yanxu, Zhen Zhen, et al. Typical fittings detection method with faster R-CNN combining KL divergence and shape constraints[J]. High Voltage Engineering, 2020, 46(9): 3018-3026.

[19] Redmon J, Divvala S, Girshick R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA. IEEE, : 779-788.

[20] Liu Wei, Anguelov D, Erhan D, et al. SSD: single shot multibox detector[C]//European Conference on Computer Vision, Amsterdam, the Netherlands, 2016: 21-37.

[21] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42(2): 318-327.

[22] 王卓, 王玉靜, 王慶巖, 等. 基于協(xié)同深度學習的二階段絕緣子故障檢測方法[J]. 電工技術(shù)學報, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[23] Miao Xiren, Liu Xinyu, Chen Jing, et al. Insulator detection in aerial images for transmission line inspection using single shot multibox detector[J]. IEEE Access, 2019, 7: 9945-9956.

[24] 馬鵬, 樊艷芳. 基于深度遷移學習的小樣本智能變電站電力設(shè)備部件檢測[J]. 電網(wǎng)技術(shù), 2020, 44(3): 1148-1159.

Ma Peng, Fan Yanfang. Small sample smart substation power equipment component detection based on deep transfer learning[J]. Power System Technology, 2020, 44(3): 1148-1159.

[25] 張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經(jīng)網(wǎng)絡(luò)絕緣子狀態(tài)檢測方法[J]. 電工技術(shù)學報, 2019, 34(16): 3311-3321.

Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[26] 徐建軍, 黃立達, 閆麗梅, 等. 基于層次多任務(wù)深度學習的絕緣子自爆缺陷檢測[J]. 電工技術(shù)學報, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[27] Zhang Dongkai, Gao Shibin, Yu Long, et al. DefGAN: defect detection GANs with latent space pitting for high-speed railway insulator[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-10.

[28] 王旭紅, 李浩, 樊紹勝, 等. 基于改進SSD的電力設(shè)備紅外圖像異常自動檢測方法[J]. 電工技術(shù)學報, 2020, 35(增刊1): 302-305, 306.

Wang Xuhong, Li Hao, Fan Shaosheng, et al. Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection[J]. Transactions of China Electrotechnical Society, 2020, 35(S1): 302-305, 306.

[29] 左國玉, 馬蕾, 徐長福, 等. 基于跨連接卷積神經(jīng)網(wǎng)絡(luò)的絕緣子檢測方法[J]. 電力系統(tǒng)自動化, 2019, 43(4): 101-106.

Zuo Guoyu, Ma Lei, Xu Changfu, et al. Insulator detection method based on cross-connected convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(4): 101-106.

[30] Gao Zishu, Yang Guodong, Li En, et al. Novel feature fusion module-based detector for small insulator defect detection[J]. IEEE Sensors Journal, 2021, 21(15): 16807-16814.

[31] Jeong J, Park H, Kwak N. Enhancement of SSD by concatenating feature maps for object detection[J]. arXiv preprint arXiv: 1705.09587, 2017.

[32] Li Buyu, Liu Yu, Wang Xiaogang. Gradient harmonized single-stage detector[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 8577-8584.

[33] Zhang H, Wu C, Zhang Z, et al. Resnest: split-attention networks[J]. arXiv preprint arXiv: 2004.08955, 2020.

[34] Lin T Y, Goyal P, Girshick R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision, Venice, Italy, 2017 : 2999-3007.

[35] Zhu Xinshan, Li Shuoshi, Gan Yongdong, et al. Multi-stream fusion network with generalized smooth L1loss for single image dehazing[J]. IEEE Transactions on Image Processing, 2021, 30: 7620-7635.

[36] Tao Xian, Zhang Dapeng, Wang Zihao, et al. Detection of power line insulator defects using aerial images analyzed with convolutional neural networks[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2020, 50(4): 1486-1498.

[37] Everingham M, Eslami S M A, Gool L, et al. The pascal visual object classes challenge: a retrospective[J]. International Journal of Computer Vision, 2015, 111(1): 98-136.

Insulator Defect Detection Based on Multi-Scale Feature Fusion

Li Bin1Qu Luyao1Zhu Xinshan1Guo Zhimin2Tian Yangyang2

（1. Key Laboratory of Smart Grid of Ministry of Education Tianjin University Tianjin 300072 China 2. State Grid Henan Electric Power Research Institute Zhengzhou 450000 China）

Defective insulators in substations pose a major risk to the safe and stable operation of the power grid. To promote intelligent operation and maintenance of substations, efficient and accurate insulator defect detection algorithms are of great significance. Aiming at the problem that insulator defect regions are poor in pixel information, and distinct in shapes and sizes, a multi-scale defect detection network (MSD2Net) was proposed.

First, this paper analyzes the main challenge currently faced in insulator defect detection. Secondly, to accommodate insufficient pixel information of insulator defects, the model is improved based on SSD detector, replacing ResNet with the attentional feature extraction network. Thirdly, to detect targets at different scales, the feature fusion network is designed, and a deconvolution structure is used to enhance its automatic learning ability. In addition, MSD2Net uses Focal loss as the classification loss and Gaussian non-maximum suppression as the post-processing method, which further improves the detection performance.

For the model experiment, a defective insulator dataset in substation scenarios is produced by image processing methods. To enhance the diversity of the dataset, data augmentation operations are adopted such as color transformation, random crop, and random flip. Based on the dataset, the MSD2Net achieves a mean average precision (mAP) of 94.3%. Compared with the baseline network SSD and the classic single-stage network RetinaNet, MSD2Net improves the mAP value by 4.5% and 3.9%, respectively. In addition, when tested on the public Chinese power line insulator dataset (CPLID), the mAP of MSD2Net reaches 91.2%, higher than the SSD and VFNet models by 2.7% and 7.9%. The results show that the proposed model in this paper can effectively identify insulators and their defects in power inspection images.

The following conclusions can be drawn from the experimental analysis: ①The attention-based backbone network can reduce the loss of information and enhance the information interaction between feature map groups, thus extracting more critical information. ②The deconvolution fusion module realizes the fusion of deep and shallow features, thereby providing more complete feature information to the detection module. ③Focal Loss makes the network focus on positive samples and therefore alleviates the imbalance of positive and negative samples. At the same time, Gaussian non-maximum suppression mitigates the effects of the missed detection of overlapping targets.

Intelligent inspection tour, insulator, defect detection, feature fusion

10.19595/j.cnki.1000-6753.tces.212052

TM 216

李 斌 男，1976年生，教授，博士生導師，主要研究方向為智能電網(wǎng)保護與控制等。E-mail：binli@tju.edu.cn

朱新山 男，1977年生，副教授，碩士生導師，主要研究方向為深度學習與圖像處理。E-mail：xszhu@tju.edu.cn（通信作者）

國家電網(wǎng)公司科技項目（面向智能電網(wǎng)運維場景的視聽覺主動感知與協(xié)同認知技術(shù)研究及應(yīng)用）（5600-202046347A-0-0-00）。

2021-12-17

2022-01-10

（編輯 郭麗軍）