茍軍年 杜愫愫 劉 力

基于改進掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的輸電線路絕緣子自爆檢測

茍軍年 杜愫愫 劉 力

（蘭州交通大學自動化與電氣工程學院 蘭州 730070）

由于背景復雜、目標所占像素比例較小，掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask R-CNN）模型對輸電線路絕緣子缺陷檢測能力不足，該文提出一種改進的Mask R-CNN模型。具體地，首先，在特征提取網(wǎng)絡(luò)中引入卷積注意力模塊（CBAM），分別從通道和空間提升小目標特征保持性；其次，使用全局交并比（GIoU）計算目標間的相似度，提升定位準確性；最后，使用Tversky損失計算掩膜分支的損失，以提升不平衡樣本下的檢測效果。使用某輸電運檢中心無人機巡檢作業(yè)所得具有自爆缺陷的絕緣子照片作為數(shù)據(jù)集對該模型進行驗證，實驗結(jié)果表明，與原始Mask R-CNN模型相比，該方法的平均精確率AP50:90、AP50和AP75分別提升至0.56、0.79和0.72；與三種經(jīng)典目標檢測算法相比，該算法具有較高的檢測精度，模型的分割性能有一定提升，且比原始模型具有更好的魯棒性，可以滿足電力巡檢中準確性和快速性的要求。

絕緣子缺陷檢測 掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò) 卷積注意力模塊 特征融合 全局交并比 Tversky損失

0 引言

絕緣子長期掛網(wǎng)于惡劣環(huán)境中容易出現(xiàn)自爆缺陷，若不及時進行更換，輸電線路由于爬距減小極易發(fā)生單相接地或相間短路故障，嚴重時甚至導致電網(wǎng)大規(guī)模停電。傳統(tǒng)人工巡檢效率低下，不能及時準確地反映線路設(shè)備的運行狀況，一旦設(shè)備發(fā)生故障，往往造成巨大損失；同時在一些跨越江河和山區(qū)的地段，線路巡檢成為盲區(qū)。使用無人機采集圖像進行巡檢可以減少環(huán)境因素帶來的影響，速度快、效率高，降低了巡檢人員的作業(yè)負擔，現(xiàn)已被廣泛應用于輸電線路巡檢。

目前，針對絕緣子目標和缺陷檢測的研究通?；趥鹘y(tǒng)視覺方法或深度學習方法[1]。申澤浩[2]利用圖像閾值分割方法從原圖中提取絕緣子串后，對其進行最小二乘法擬合，并利用絕緣子片的等距分布特點定位絕緣子掉串位置；Ren Ruoxu等[3]使用Otsu法和圖割算法，結(jié)合熱力圖特點，較為準確地得到絕緣子缺陷輪廓區(qū)域。此類利用圖像分割或圖像匹配的檢測方法由于光線不同、背景復雜、角度多樣，使有效分割絕緣子區(qū)域較為困難，并影響最終檢測效果。據(jù)此，傳統(tǒng)機器學習方法依賴絕緣子結(jié)構(gòu)的人工設(shè)計特征進行檢測，考慮到絕緣子串具有明顯的閉合輪廓，翟永杰等[4]提取絕緣子的局部特征訓練分類器，再針對絕緣子獨特的骨架結(jié)構(gòu)設(shè)計特征描述子來識別絕緣子，但算法適用場景單一；趙振兵等[5]利用卷積獲取圖像特征，再輸入支持向量機（Support Vector Machine, SVM）進行絕緣子缺陷分類，特征可靠性較高，但檢測速度難以滿足工業(yè)實時性要求。由于人員操作主觀性較強，傳統(tǒng)機器學習無法設(shè)置統(tǒng)一的算法評判標準，張倩等[6]提出改進型卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）模型對絕緣子狀態(tài)進行檢測，模仿人類認知過程，在LeNet_5網(wǎng)絡(luò)基礎(chǔ)上引入隨機配置網(wǎng)絡(luò)分類器，添加反饋機制，采用交替優(yōu)化策略更新網(wǎng)絡(luò)參數(shù)，而狀態(tài)評價指標則基于熵理論設(shè)置，整個算法提供了新的特征設(shè)計與指標設(shè)置思路，具有一定指導意義，且結(jié)果表明該方法檢測準確率較傳統(tǒng)方法而言有所提升，但網(wǎng)絡(luò)構(gòu)建較復雜，圖像質(zhì)量還不夠高。

使用深度學習方法訓練神經(jīng)網(wǎng)絡(luò)學習目標特征，與傳統(tǒng)算法相比，其特征表達能力更為優(yōu)異，已在絕緣子缺陷檢測上有所應用。針對已有單階段與雙階段目標檢測算法，結(jié)合實際巡檢環(huán)境與所獲圖像特征，對算法進行改進。陳明等[7]在YOLOv3中加入金字塔特征注意網(wǎng)絡(luò)，提升了絕緣子的定位準確率；針對紅外圖像對比度低、目標特征相近等特點，鄭含博等[8]加入Mosaic數(shù)據(jù)增強技術(shù)，增強圖像多樣性，將PANet（path aggregation network）融合到原特征金字塔（Feature Pyramid Network, FPN）結(jié)構(gòu)中，改善目標特征相似性對特征提取與融合階段造成的干擾，損失函數(shù)的優(yōu)化讓模型具備更優(yōu)的收斂速度和精度，結(jié)果表明，改進模型分類精度較高；李瑞生等[9]使用SSD（single shot multibox detector）檢測輸電線路銷釘丟失，在網(wǎng)絡(luò)中加入殘差結(jié)構(gòu)和一種多層級特征融合策略來提高模型魯棒性，該模型對絕緣子破裂與污穢具有突出的檢測效果；郝帥等[10]為改善復雜背景對目標檢測造成的干擾，在YOLOv5基礎(chǔ)上引入注意力機制，并針對多尺度特征信息設(shè)計融合模塊，結(jié)果表明改進算法可以實現(xiàn)輸電線路缺陷的有效檢測。

雙階段算法并不一味追求檢測速率，檢測準確率被視為算法研究重點。目前雙階段算法基于大量錨框回歸得到目標框，也有文獻指出級聯(lián)協(xié)同定位算法也可視作該領(lǐng)域算法[11]。針對圖像中絕緣子被遮擋的問題，易繼禹等[12]調(diào)整Faster R-CNN（faster region-convolutional neural network）候選區(qū)域比例來進一步提升模型檢測精確度；趙振兵等[13]為解決尺度特征融合的有效性，在Cascade R-CNN模型基礎(chǔ)上提出神經(jīng)架構(gòu)搜索獲取空洞卷積提升特征提取的多尺度性，解決輸電線路金具檢測率低的問題；徐建軍等[11]提出基于層次多任務(wù)深度學習的絕緣子自爆缺陷檢測模型，使用基于卷積神經(jīng)網(wǎng)絡(luò)的分類網(wǎng)絡(luò)，有效區(qū)分航拍圖像中自爆絕緣子和正常絕緣子，結(jié)果表明，該模型具有較強的分類能力；王卓等[14]針對航拍圖像復雜背景干擾絕緣子檢測問題，提出協(xié)同深度學習的二階段絕緣子故障檢測方法，將全卷積網(wǎng)絡(luò)（Fully Convolutional Network, FCN）與YOLOv3算法相協(xié)同，首先利用FCN實現(xiàn)絕緣子目標的初步分割，避免背景區(qū)域?qū)^緣子故障檢測的干擾，然后構(gòu)建YOLOv3模型進行絕緣子故障檢測，實驗結(jié)果表明，該方法能有效抑制背景干擾，較原始YOLOv3算法檢測精度有所提升，但級聯(lián)模型參數(shù)量較大，網(wǎng)絡(luò)訓練耗時較長。

出于安全考慮，無人機與電力線路的距離有所限制，巡檢圖像中絕緣子像素占比較少，其缺陷部分相對整張圖片而言更是微小，所以絕緣子缺陷檢測屬于小目標檢測，同時復雜的背景也增加了檢測難度。通過改進小目標的特征提取方式可以提高網(wǎng)絡(luò)的語義提取能力，兼具檢測精度和效率[15]。伍錫如等[16]對掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Region-Convolutional Neural Network, Mask R-CNN）主干特征層與特征金字塔間的卷積操作進行優(yōu)化，保證了絕緣子形態(tài)的完整性。趙文清等[17]在Faster R-CNN特征提取階段引入擠壓激勵網(wǎng)絡(luò)，使模型更關(guān)注與目標相關(guān)的特征通道，提高了絕緣子的檢測準確率。

本文針對無人機巡檢圖像中絕緣子缺陷檢測這一特定情況，提出一種基于改進Mask R-CNN的輸電線路絕緣子缺陷檢測算法，其步驟為：①特征提取，將卷積注意力模塊（Convolutional Block Attention Nodule, CBAM）引入主干特征提取網(wǎng)絡(luò)中；②特征融合，對多尺度特征融合網(wǎng)絡(luò)進行了優(yōu)化；③目標檢測，使用全局交并比（Generalized Intersection over Union, GIoU）指標衡量兩個檢測框的相似度；④目標分割，使用Tversky損失衡量掩膜分支的預測結(jié)果。結(jié)果顯示，與原模型對比，所提方法在檢測效果上有一定提升。

1 Mask R-CNN檢測框架

Mask R-CNN算法基于Faster R-CNN框架，增加基于FCN的語義分割分支，在目標檢測的同時進行語義分割，其基本框架如圖1所示。該模型使用ResNet101提取主干特征，F(xiàn)PN融合高低層特征，通過區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network, RPN）輸出目標建議框的集合，創(chuàng)造性地提出感興趣區(qū)域?qū)R（Region of Interest Alignment, ROI Align），使目標建議框的集合產(chǎn)生特定大小的特征圖，很好地解決了感興趣區(qū)域池化（Region of Interest Pooling, ROI Pooling）在映射和池化過程中兩次量化造成的區(qū)域不匹配問題，最后使用兩個全連接層得到分類和邊界框預測結(jié)果，并用一個全卷積網(wǎng)絡(luò)得到掩膜預測結(jié)果。研究表明，一味地堆疊神經(jīng)網(wǎng)絡(luò)的層數(shù)并不能提升網(wǎng)絡(luò)的特征學習能力，反而可能導致梯度彌散或梯度爆炸。Mask R-CNN在特征提取時使用了ResNet101殘差網(wǎng)絡(luò)[18]，該結(jié)構(gòu)引入短路連接，允許保留淺層網(wǎng)絡(luò)一定比例的輸出，直接與底層特征相融合，保證特征信息的完整性。此過程中網(wǎng)絡(luò)只學習輸入、輸出的差別，最終朝恒等映射的方向收斂，有效簡化了網(wǎng)絡(luò)層數(shù)增加導致的訓練困難[19]。

圖1 Mask R-CNN檢測框架

在RPN網(wǎng)絡(luò)得到目標的建議框之后，需要將其處理為統(tǒng)一大小并送入全連接層處理。Faster R-CNN根據(jù)預選框坐標信息，使用ROI Pooling將特征圖中對應區(qū)域固定為統(tǒng)一尺寸，以便進行后續(xù)分類和包圍框回歸操作，由于預選框坐標可能存在浮點數(shù)，進行上述映射前需進行取整操作，而對所提取的ROI進行池化操作也會涉及量化取整處理，這兩次數(shù)據(jù)處理后得到的候選框和模型預選位置有一定偏差，影響最終分割準確度。為解決量化操作帶來的“不匹配問題”，Mask R-CNN提出ROI Align方法，采用雙線性插值算法，保留浮點型坐標，計算每個采樣點的像素值，將預選框與圖像中的候選區(qū)域逐像素點匹配，該方法原理如圖2所示，通過對與采樣點相鄰的格點進行雙線性插值，得到的值。具體插值過程為

2 改進的Mask R-CNN網(wǎng)絡(luò)框架

2.1 融合注意力機制的特征提取網(wǎng)絡(luò)

對絕緣子缺陷這類小目標而言，檢測時期望網(wǎng)絡(luò)能更多關(guān)注缺陷區(qū)域整體輪廓和邊緣，以實現(xiàn)更加精準的定位，這就要求網(wǎng)絡(luò)能夠自適應地關(guān)注有效特征。近年來，注意力機制廣泛應用于圖像處理領(lǐng)域，其核心思想是獲取特征重要性的差異，及時更新特征圖的權(quán)重占比，將計算資源投入更重要的任務(wù)，從而高效完成任務(wù)[20]。根據(jù)注意力權(quán)重施加位置和方式不同，將注意力機制分為通道域、空間域，對于特征圖所含信息而言，通道和像素點間蘊含豐富的語義信息，因此本文使用CBAM[21]對特征圖的通道和空間注意力信息進行融合，通過特征權(quán)值在通道域和空間域進行篩選，獲得目標所含顯著性特征。CBAM結(jié)構(gòu)如圖3所示，前半部分為通道注意力（Channel Attention, CA）模塊，后半部分為空間注意力（Spatial Attention, SA）模塊，其總體特征處理過程為

圖3 CBAM結(jié)構(gòu)

輸入圖像經(jīng)ResNet101特征提取后可得到圖像分別壓縮2次、3次、4次及5次后包含目標不同尺度特征的結(jié)果，稱為基礎(chǔ)特征層C(=2, 3, 4, 5)。本文將CBAM加入4和5，以提升模型對感興趣語義信息的提取能力。

2.2 多尺度特征增強

基礎(chǔ)特征層C(=2, 3, 4, 5)的分辨率不同，其中蘊含的語義信息也有所差異。由于低層信息和高層信息的互補性，F(xiàn)PN融合低層細節(jié)特征和高層語義信息，采用金字塔式的層級結(jié)構(gòu)對所獲取的低分辨率特征圖進行上采樣，利用橫向連接，與對應尺度的有效特征層進行融合。

加入注意力機制的主干特征提取網(wǎng)絡(luò)所獲特征層仍具有圖像金字塔特征信息的局限性，每次融合將非相鄰尺度特征信息進行稀釋[22]，忽略尺度跨度較大的信息，使得分割階段所用特征圖不夠完整，導致分割精度不高，因此必須保證特征融合可生成兼具高語義信息與位置信息的多尺度特征。為提高低層信息的利用率，Liu Shu等提出PANet[23]，增加并行“自底向上”路徑促進信息的流動。借助該融合思想，在FPN中引入一條并行的自底而上路徑和一個特征融合模塊，在有效融合多尺度特征信息的同時提升全局特征表達能力。特征融合過程如圖4所示。特征層P(=2, 3, 4, 5)由自上而下路徑得到，N(=2, 3, 4, 5)是新增自底向上路徑進一步增強所得。新增路徑中，利用一個淺層N和更深層P+1融合生成第N+1層，其中2與2相同，N經(jīng)步長為2的3×3卷積進行下采樣，此時通過橫向連接與P+1逐元素相加，在不改變特征圖層數(shù)的前提下，經(jīng)3×3卷積和ReLU處理，消除融合階段下采樣操作可能產(chǎn)生的特征混疊效應[24]。據(jù)此過程進行迭代生成N+1用于后續(xù)的子網(wǎng)絡(luò)，使小目標特征在特征提取時不易被網(wǎng)絡(luò)過濾。此時所得特征層N所含信息均基于相鄰層，利用特征融和模塊賦予每個特征層圖像全局語義信息。

融合模塊采用1×1卷積和3×3卷積串行組成。在輸入該模塊前，對N進行尺度縮放，調(diào)整為同一分辨率并行輸入，1×1卷積保證各輸入特征層的維度相同，在此基礎(chǔ)上進行特征融合；3×3卷積在不增加模型深度的前提下，進行細小特征提取。再次反向尺度操作恢復所需各個尺度特征層，此時便可得到包含場景全局語義信息的有效特征層。

2.3 使用GIoU衡量檢測框相似度

由于航拍場景的特殊性，絕緣子分布有所交疊且所處背景復雜，通常在目標定位階段借助非極大值抑制算法對檢測框進行篩選，根據(jù)交并比（Intersection over Union, IoU）函數(shù)選擇置信度最高的候選框作為檢測結(jié)果。這種方法對于非密集場景下的定位有出色的效果，而根據(jù)單閾值設(shè)置IoU對檢測框進行濾除[25]并未考慮目標重疊的情況，當屬于同一類的多個物體非常靠近時，算法只會保留置信度最高的候選框，從而造成目標漏檢。

IoU由錨點框A和相應實例框B計算所得，即

式（6）用于衡量兩個目標的重合度，對應值越大則說明此時定位效果越好。該指標用于表示兩個相交矩形框間的距離，對于不相交的矩形框，IoU值始終為0，無法描述目標的相對位置。為得到更一般的目標間距離與位置，實現(xiàn)重疊目標的有效定位，將其替換為全局交并比，該指標為

式中，C為能夠包含任意兩個框A、B的最小矩形框。IoU和GIoU兩者計算方式對比如圖5所示，GIoU解決了傳統(tǒng)IoU只根據(jù)兩個框自身信息進行計算而導致非重疊場景下目標漏檢問題，以及忽視目標相對位置而導致模型檢測性能不佳問題。通過引入最小外接矩形框C，增加衡量兩目標間重疊形式和重疊程度的信息，不僅可以準確刻畫目標間的距離，而且可以更為有效地表示錨點框和實例框間的重疊，即使在無重疊情況下，也可保證保留下的實例框的準確性，提升模型的定位性能。

圖5 IoU與GioU計算方式對比

2.4 分割損失函數(shù)優(yōu)化

式中，為預測值（prediction）；為真值（ground truth）；|∩|為真正例（True Positive, TP），|-|為假正例（False Positive, FP），|-|為假反例（False Negtive, FN），此處，正例代表缺陷絕緣子，反例代表正常絕緣子；、分別為FP和FN的控制因子，訓練過程中只需調(diào)整控制因子，以權(quán)衡FP和FN，使模型在不均衡樣本條件下更關(guān)注FN，提升網(wǎng)絡(luò)學習的魯棒性，本文將其分別設(shè)置為0.3和0.7。優(yōu)化后的Mask R-CNN輸出單元損失函數(shù)為

改進后的Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

3 實驗結(jié)果分析

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集源于國網(wǎng)某輸電運檢中心無人機作業(yè)班巡檢作業(yè)，其中含有帶缺陷的絕緣子圖像共792張。通過翻轉(zhuǎn)變換、模糊處理、加噪處理、對比度增強、色度增強、銳度增強等方法擴充數(shù)據(jù)集，最終生成絕緣子缺陷圖像3 006張，其中70%作為訓練集，10%作為驗證集，20%作為測試集。數(shù)據(jù)擴充后生成的圖像如圖7所示，并利用Labelme進行缺陷部分標注。

3.2 網(wǎng)絡(luò)訓練

網(wǎng)絡(luò)訓練使用Keras深度學習框架，腳本語言使用Python3.7.6，且均基于Intel Core i5—9400@2.90GHz CPU和6GB運行內(nèi)存的NVIDIA RTX1660Ti硬件配置完成。為減少訓練時間，提高模型辨識準確率，訓練過程采用遷移學習思想[28]，利用COCO（common objects in context）數(shù)據(jù)集預訓練權(quán)重，學習率設(shè)置為0.001，動量值為0.9。為保證硬件資源與訓練時間可得到充分利用，采用凍結(jié)與解凍相結(jié)合策略進行模型訓練，前20個epoch（1個epoch為使用訓練集中的全部樣本訓練一次）用于凍結(jié)主干網(wǎng)絡(luò)，將更多資源投入后續(xù)網(wǎng)絡(luò)的訓練，且保證遷移學習不會破壞預訓練權(quán)重；然后解凍訓練130個epoch得到最終模型，考慮航拍圖像的像素與尺寸，統(tǒng)一設(shè)置批大小為2。

模型改進前后對應訓練損失函數(shù)和驗證損失函數(shù)如圖8所示。黑色線條為原Mask R-CNN結(jié)果曲線，紅色線條表示改進模型曲線，橫坐標為模型迭代次數(shù)，均設(shè)置迭代150個epoch，縱坐標為損失函數(shù)值。由圖8a可知，前20個epoch的凍結(jié)訓練使網(wǎng)絡(luò)收斂速度明顯提升，損失函數(shù)值驟降，之后損失值平穩(wěn)下降，兩者均在迭代30個epoch后開始收斂，最終約穩(wěn)定在0.139，從收斂情況可看出本文提出模型的訓練效果較理想。圖8b驗證了損失函數(shù)可衡量所得模型的泛化能力，由于改進后模型參數(shù)量較原模型有所增加，其驗證損失相較于原算法收斂速度較慢，在迭代120個epoch后開始收斂，最終約穩(wěn)定在0.128，可證明改進模型具有良好的數(shù)據(jù)擬合能力。

3.3 缺陷檢測結(jié)果

判定網(wǎng)絡(luò)性能往往依據(jù)模型所得預測框和人工標注真實框的匹配度，根據(jù)匹配度差異可將檢測結(jié)果分為TP、TN、FP以及FN，在本文中真反例（True Negtive, TN）代表正常絕緣子，據(jù)此得到查準率（Precision, P）和查全率（Recall, R）指標，分別反映模型對目標的分類能力和檢測能力。以查全率為橫坐標，查準率為縱坐標繪制-曲線可作為模型綜合評價指標，曲線下所圍成的面積稱為平均精確率（Average Precision, AP），即

式中，()為-曲線。

本文通過使用相同輸電線路巡檢數(shù)據(jù)集，選擇單目標場景中存在干擾、目標與背景顏色相近、目標傾斜三種常見情形和雙目標場景的巡檢圖像進行測試，并通過消融實驗驗證改進方法的有效性。不同改進策略下的分割精度對比結(jié)果見表1，以AP50:95、AP50和AP75為主要評價指標。其中，AP50:95表示計算以0.05為步長，IoU在0.5～0.95之間變化的AP平均值；AP50和AP75分別表示IoU為0.50和0.75時計算所得AP。由表1可知，改進網(wǎng)絡(luò)檢測性能指標均較原始網(wǎng)絡(luò)有所提升，相比原網(wǎng)絡(luò)，AP50:95提升至0.56，AP50提升至0.79，AP75則提升到0.72；且各模塊均可有效提升模型分割精度，尤其GIoU指標的替換和使用Tversky損失作為掩膜損失這兩部分改進，具有較為突出的效果。

表1 不同改進的網(wǎng)絡(luò)實測指標

Tab.1 Measured indexes of different improved networks

一般而言，模型性能的要求隨IoU閾值的增大而提高，AP50可反映模型對目標的綜合檢測能力，AP75則更能體現(xiàn)模型對目標邊界框的回歸能力。為進一步證明改進算法針對輸電線路絕緣子自爆缺陷檢測的優(yōu)越性，分別得到AP50和AP75條件下，改進前后模型的-曲線進行更為直觀的比較，如圖9所示。曲線包圍所得面積越大，則說明對應算法具有更優(yōu)的分類及檢測性能?？梢钥闯觯倪M后算法對應的曲線均處于外側(cè)，由此可證明本文方法的有效性，其性能優(yōu)于原始算法。

本文改進模型與原始模型對絕緣子自爆缺陷檢測結(jié)果如圖10所示。通過視覺對比，原模型在背景與目標顏色相近時能較好地完成檢測，但仍會出現(xiàn)誤檢現(xiàn)象，本文方法在單目標檢測場景所得檢測框更完整，分割實例掩膜也更準確，尤其對于目標邊緣細節(jié)部分處理更平滑，分割效果有所改善；對于多目標檢測場景，也可以準確檢測并分割完整實例掩碼?？梢暬Y(jié)果驗證了改進后Mask R-CNN對巡檢圖像中缺陷絕緣子檢測的有效性。

結(jié)合評價指標和檢測效果圖進一步分析得到以下結(jié)論：絕緣子通常處于較為復雜的自然環(huán)境，由于周圍輸電線路構(gòu)件和背景與絕緣子的高似然性，對絕緣子檢測具有一定的影響。如圖10中絕緣子周圍分布輸電線與鐵架這一場景，由于線路鐵架與絕緣子骨架相近，采用原始模型出現(xiàn)誤檢現(xiàn)象；又由于絕緣子顏色與其背景色彩極為相似，對模型判斷產(chǎn)生了誤導，從而造成漏檢現(xiàn)象。改進后模型可在一定程度上避免外界高似然結(jié)構(gòu)的干擾，實現(xiàn)絕緣子缺陷部分的有效檢測，這從一定程度上驗證了所改進模塊的有效性，尤其CBAM對目標特征的有效提取及GIoU指標對候選框的有效選擇，在一定程度上改善了小目標及樣本不均對檢測帶來的影響。

3.4 不同算法檢測結(jié)果比較

為進一步驗證本文算法的檢測性能，將所提算法與三種經(jīng)典目標檢測算法Faster R-CNN、YOLOX及CenterNet進行對比，針對相同的輸電線路缺陷絕緣子數(shù)據(jù)集和環(huán)境配置進行對比實驗。各算法性能指標見表2，可視化檢測結(jié)果如圖11所示。選取兩種特殊場景圖像進行對比分析：①存在多故障目標。此時，CenterNet和YOLOX出現(xiàn)漏檢現(xiàn)象，F(xiàn)aster R-CNN和本文算法均可準確檢測缺陷目標，但本文算法檢測精度更高，且檢測框包圍部分更加準確；②目標存在部分遮擋。四種算法均準確定位目標，本文算法檢測精度最高，且目標置信度較其他算法有所提升。綜上所述，較高的精度值表明本文算法可實現(xiàn)準確的定位與分割，可視化分析則體現(xiàn)檢測結(jié)果與實際目標之間較高的貼合性，且算法可有效濾除背景干擾，對輸電線路缺陷絕緣子檢測效果明顯提升。

表2 不同算法檢測指標對比

Tab.2 Comparison of detection indexes of different algorithms

圖11 各算法檢測結(jié)果對比

針對改進前后Mask R-CNN性能，在比較檢測精度之余，引入?yún)?shù)量和GFLOPs作為模型復雜度衡量指標。其中，參數(shù)量用于衡量模型計算內(nèi)存資源的消耗；GFLOPs為每秒10億次的浮點運算，反映模型訓練的計算復雜度。改進前后指標對比見表3。從表3可看出，由于改進過程中網(wǎng)絡(luò)規(guī)模的變化，改進后模型計算量和參數(shù)量有所增加，但均為小幅度增長，而檢測精度與改進前模型相比，有較為顯著的提升，因此，本文算法在保證足夠?qū)崟r性的前提可完成高精度檢測。

表3 改進前后Mask R-CNN指標對比

Tab.3 Comparison of Mask R-CNN indicators before and after improvement

4 結(jié)論

本文提出了一種改進Mask R-CNN算法，在特征提取階段加入CBAM，并通過增加特征融合路徑和總體特征融合模塊完成絕緣子特征有效融合；在定位與分割階段利用GIoU進行檢測框有效濾除，利用Tversky損失函數(shù)緩解數(shù)據(jù)集不平衡對模型的干擾。實驗結(jié)果表明，改進網(wǎng)絡(luò)可有效解決輸電線路絕緣子小目標缺陷特征提取及目標高度重疊場景的檢測，提升了算法的性能，且具有較強泛化能力。

[1] 趙振兵, 翟永杰, 張珂, 等. 電力視覺技術(shù)[M]. 北京: 中國電力出版社, 2020.

[2] 申澤浩. 航拍架空輸電線路絕緣子缺陷檢測方法研究[D]. 天津: 天津工業(yè)大學, 2020.

[3] Ren Ruoxu, Hung T, Tan K C. A generic deep-learning-based approach for automated surface inspection[J]. IEEE Transactions on Cybernetics, 2018, 48(3): 929-940.

[4] 翟永杰, 王迪, 趙振兵. 基于目標建議與結(jié)構(gòu)搜索的絕緣子識別方法[J]. 華北電力大學學報(自然科學版), 2016, 43(4): 66-71, 78.

Zhai Yongjie, Wang Di, Zhao Zhenbing. Recognition method of insulator based on object proposals and structure research[J]. Journal of North China Electric Power University (Natural Science Edition), 2016, 43(4): 66-71, 78.

[5] Zhao Zhenbing, Xu Guozhi, Qi Yincheng, et al. Multi-patch deep features for power line insulator status classification from aerial images[C]//2016 International Joint Conference on Neural Networks (IJCNN), Vancouver, BC, Canada, 2016: 3187-3194.

[6] 張倩, 王建平, 李帷韜. 基于反饋機制的卷積神經(jīng)網(wǎng)絡(luò)絕緣子狀態(tài)檢測方法[J]. 電工技術(shù)學報, 2019, 34(16): 3311-3321.

Zhang Qian, Wang Jianping, Li Weitao. Insulator state detection of convolutional neural networks based on feedback mechanism[J]. Transactions of China Electrotechnical Society, 2019, 34(16): 3311-3321.

[7] 陳明, 趙連飛, 苑立民, 等. 基于特征選擇YOLOv3網(wǎng)絡(luò)的紅外圖像絕緣子檢測方法[J]. 紅外與激光工程, 2020, 49(增刊2): 262-267.

Chen Ming, Zhao Lianfei, Yuan Limin, et al. Insulator detection method based on feature selection YOLOv3 network[J]. Infrared and Laser Engineering, 2020, 49(S2): 262-267.

[8] 鄭含博, 李金恒, 劉洋, 等. 基于改進YOLOv3的電力設(shè)備紅外目標檢測模型[J]. 電工技術(shù)學報, 2021, 36(7): 1389-1398.

Zheng Hanbo, Li Jinheng, Liu Yang, et al. Infrared object detection model for power equipment based on improved YOLOv3[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1389-1398.

[9] 李瑞生, 張彥龍, 翟登輝, 等. 基于改進SSD的輸電線路銷釘缺陷檢測[J]. 高電壓技術(shù), 2021, 47(11): 3795-3802.

Li Ruisheng, Zhang Yanlong, Zhai Denghui, et al. Pin defect detection of transmission line based on improved SSD[J]. High Voltage Engineering, 2021, 47(11): 3795-3802.

[10] 郝帥, 楊磊, 馬旭, 等.基于注意力機制與跨尺度特征融合的YOLOv5輸電線路故障檢測[J/OL]. 中國電機工程學報: 1-12 [2022-08-09]. http://kns.cnki. net/kcms/detail/11.2107.tm.20220126.1718.008.html.Hao Shuai, Yang Lei, Ma Xu, et al. YOLOv5 Transmission Line Fault Detection Based on Attention Mechanism and Cross-scale Feature Fusion[J/OL]. Proceedings of the CSEE: 1-12 [2022-08-09]. http://kns.cnki.net/kcms/detail/11.2107.tm.20220126.1718.008.html.

[11] 徐建軍, 黃立達, 閆麗梅, 等. 基于層次多任務(wù)深度學習的絕緣子自爆缺陷檢測[J]. 電工技術(shù)學報, 2021, 36(7): 1407-1415.

Xu Jianjun, Huang Lida, Yan Limei, et al. Insulator self-explosion defect detection based on hierarchical multi-task deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1407-1415.

[12] 易繼禹, 陳慈發(fā), 龔國強. 基于改進Faster RCNN的輸電線路航拍絕緣子檢測[J]. 計算機工程, 2021, 47(6): 292-298, 304.

Yi Jiyu, Chen Cifa, Gong Guoqiang. Aerial insulator detection of transmission line based on improved faster RCNN[J]. Computer Engineering, 2021, 47(6): 292-298, 304.

[13] 趙振兵, 熊靜, 李冰, 等. 基于改進Cascade R-CNN的典型金具及其部分缺陷檢測方法[J]. 高電壓技術(shù), 2022, 48(3): 1060-1067.

Zhao Zhenbing, Xiong Jing, Li Bing, et al. Typical fittings and its partial defect detection method based on improved Cascade R-CNN[J]. High Voltage Engineering, 2022, 48(3): 1060-1067.

[14] 王卓, 王玉靜, 王慶巖, 等. 基于協(xié)同深度學習的二階段絕緣子故障檢測方法[J]. 電工技術(shù)學報, 2021, 36(17): 3594-3604.

Wang Zhuo, Wang Yujing, Wang Qingyan, et al. Two stage insulator fault detection method based on collaborative deep learning[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3594-3604.

[15] 孫備, 左震, 吳鵬, 等. 面向無人艇環(huán)境感知的改進型SSD目標檢測方法[J]. 儀器儀表學報, 2021, 42(9): 52-61.

Sun Bei, Zuo Zhen, Wu Peng, et al. Object detection for environment perception of unmanned surface vehicles based on the improved SSD[J]. Chinese Journal of Scientific Instrument, 2021, 42(9): 52-61.

[16] 伍錫如, 邱濤濤, 王耀南. 改進Mask R-CNN的交通場景多目標快速檢測與分割[J]. 儀器儀表學報, 2021, 42(7): 242-249.

Wu Xiru, Qiu Taotao, Wang Yaonan. Multi-object detection and segmentation for traffic scene based on improved Mask R-CNN[J]. Chinese Journal of Scientific Instrument, 2021, 42(7): 242-249.

[17] 趙文清, 程幸福, 趙振兵, 等. 注意力機制和Faster RCNN相結(jié)合的絕緣子識別[J]. 智能系統(tǒng)學報, 2020, 15(1): 92-98.

Zhao Wenqing, Cheng Xingfu, Zhao Zhenbing, et al. Insulator recognition based on attention mechanism and Faster RCNN[J]. CAAI Transactions on Intelligent Systems, 2020, 15(1): 92-98.

[18] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.

[19] 蔣弘毅, 王永娟, 康錦煜. 目標檢測模型及其優(yōu)化方法綜述[J]. 自動化學報, 2021, 47(6): 1232-1255.

Jiang Hongyi, Wang Yongjuan, Kang Jinyu. A survey of object detection models and its optimization methods[J]. Acta Automatica Sinica, 2021, 47(6): 1232-1255.

[20] 張宸嘉, 朱磊, 俞璐. 卷積神經(jīng)網(wǎng)絡(luò)中的注意力機制綜述[J]. 計算機工程與應用, 2021, 57(20): 64-72.

Zhang Chenjia, Zhu Lei, Yu Lu. Review of attention mechanism in convolutional neural networks[J]. Computer Engineering and Applications, 2021, 57(20): 64-72.

[21] Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]//Computer Vision - ECCV 2018, Munich, Germany, 2018: 3-19.

[22] 史彩娟, 陳厚儒, 葛錄錄, 等. 注意力殘差多尺度特征增強的顯著性實例分割[J]. 圖學學報, 2021, 42(6): 883-890.

Shi Caijuan, Chen Houru, Ge Lulu, et al. Salient instance segmentation via attention residual multi-scale feature enhancement[J]. Journal of Graphics, 2021, 42(6): 883-890.

[23] Liu Shu, Qi Lu, Qin Haifang, et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 2018: 8759-8768.

[24] 文韜, 周稻祥, 李明. Mask R-CNN中特征不平衡問題的全局信息融合方法[J]. 計算機工程, 2021, 47(3): 256-260, 268.

Wen Tao, Zhou Daoxiang, Li Ming. Global information fusion method for feature imbalance problem in mask R-CNN[J]. Computer Engineering, 2021, 47(3): 256-260, 268.

[25] 侯志強, 劉曉義, 余旺盛, 等. 使用GIoU改進非極大值抑制的目標檢測算法[J]. 電子學報, 2021, 49(4): 696-705.

Hou Zhiqiang, Liu Xiaoyi, Yu Wangsheng, et al. Object detection algorithm for improving non-maximum suppression using GIoU[J]. Acta Electronica Sinica, 2021, 49(4): 696-705.

[26] 曹潔, 何智棟, 余萍, 等. 數(shù)據(jù)不平衡分布下軸承故障診斷方法[J/OL]. 吉林大學學報(工學版): 1-10 [2021-08-19]. DOI:10.13229/j.cnki.jdxbgxb20210374.

Cao Jie, He Zhidong, Yu Ping, et al. Bearing fault diagnosis method under unbalanced data distribution[J].Journal of Jilin University (Engineering and Technology Edition): 1-10 [2021-08-19]. DOI:10.13229/j.cnki. jdxbgxb20210374.

[27] Salehi S S M, Erdogmus D, Gholipour A. Tversky loss function for image segmentation using 3D fully convolutional deep networks[C]//MLMI 2017: Machine Learning in Medical Imaging, Quebec City, QC, Canada, 2017: 379-387.

[28] 周宸, 高偉, 郭謀發(fā). 基于YOLOv4模型的玻璃絕緣子自爆缺陷識別方法[J]. 電氣技術(shù), 2021, 22(5): 38-42, 49.

Zhou Chen, Gao Wei, Guo Moufa. Recognition method of self-explosion defects of glass insulators based on YOLOv4 model[J]. Electrical Engineering, 2021, 22(5): 38-42, 49.

Transmission Line Insulator Self-Explosion Detection Based on Improved Mask Region-Convolutional Neural Network

Gou Junnian Du Susu Liu Li

（School of Automation and Electrical Engineering Lanzhou Jiaotong University Lanzhou 730070 China）

Transmission lines occupy a relatively large proportion in the power system, in order to ensure the safe and stable operation of the power system, it is necessary to regularly inspect the transmission lines, among them, insulators in the transmission line play the role of insulation and support, due to the long-term hanging and working outdoors, prone to self-explosion defects, resulting in short-circuit faults on the line, and even large-scale power outages. With the development of artificial intelligence, the use of unmanned aerial vehicles (UAV) for line inspection, and then based on deep learning target detection methods for insulator defect detection has become an intelligent inspection method with great development potential. Due to the different shooting angles of the UAV, the insulators of the lines obtained by the inspection are different, and the environment in which the insulators are located is different, which results in the occlusion phenomenon of some insulators, to overcome these problems, this paper proposes to make relevant improvements on the basis of the two-stage target detection algorithm Mask region-convolutional neural network (Mask R-CNN), to ensure the detection speed and improve the detection rate of defective insulators by the algorithm.

For the insulator defects belonging to the category of small target detection, theconvolutional block attention module (CBAM) attention mechanism is introduced in the backbone feature extraction network, so that the network can focus on the defect contour and obtain more interesting high-semantic information in the process of extracting the semantic information of the defect part. Then, in order to improve the limitations of semantic information still possessed by the feature layer, the parallel "bottom-up" path and feature fusion module are added to the original feature fusion network to promote the flow of information and global feature fusion. Once more, with the help of Generalized Intersection over Union(GIoU) to accurately characterize the distance between targets, the positioning performance of the model can be effectively improved when the targets overlap. Conclusively, the part of the original algorithmic loss function is replaced with the Tversky Loss function to alleviate the effect of sample imbalance on model training.

Based on the defective insulator dataset obtained by the UAV operation class of a transmission and transportation inspection center of the State Grid, the training of the improved network is carried out, and the model training effect is obtained from the convergence of the loss curve, and the generalization ability of the model is also improved. By using the improved model for defect detection and comparing the visual positioning results, the proposed algorithm avoids the interference of the high likelihood structure around the target to a certain extent, which realizes the effective detection of the insulator defect part, and improves the impact of small targets and sample unevenness on the detection. Compared with the original algorithm, the AP50:95of the proposed algorithm is increased to 0.56, AP50to 0.79, and AP75to 0.72. Finally, the performance of the algorithm is comprehensively compared, and the-curves of the improved before and after models under the conditions of AP50and AP75are compared, and it can be obtained that the corresponding curves of the improved algorithm are on the outside of the original algorithm curve, which shows the effectiveness of the proposed method, and the performance is better than that of the original algorithm.

Insulator defect detection, mask region-convolutional neural network (Mask R-CNN), convolutional block attention module (CBAM), feature fusion, generalized intersection over union (GIoU), Tversky loss

10.19595/j.cnki.1000-6753.tces.220783

TM755；TP389

茍軍年 男，1977年生，副教授，碩士生導師，研究方向為CT圖像重建、機器視覺和基于深度學習的圖像處理。E-mail：junnian@mail.lzjtu.com（通信作者）

杜愫愫 女，1997年生，碩士研究生，研究方向為機器視覺和基于深度學習的圖像處理。E-mail：dssssd1201@sina.com

國家自然科學基金資助項目（72171106, 61863023）。

2022-05-10

2022-06-10

（編輯 李冰）