張 濤，高 紳，陳萬培，楊欽榕，韓 恒，陳舒涵

(揚州大學 信息工程學院，江蘇 揚州 225009)

0 引言

伴隨著國家經(jīng)濟發(fā)展水平和人民生活水平的提高，電網(wǎng)規(guī)模也在不斷擴大，如何保障電網(wǎng)安全可靠地運行開始被廣泛地關(guān)注。輸電線路是連接國家電力網(wǎng)絡的部件[1]，而輸電線間隔棒作為輸電線路的重要金具，能夠保持多分類子導線間距，保證線路的電力運輸能力，防止導線間的鞭擊、抑制微風振動和次檔距振蕩等。因此，對輸電線間隔棒的檢測是電力網(wǎng)絡運檢維護、保障電力安全的必要程序之一。

目前，電力設備的維護檢查一般通過人工巡檢的方式完成，由于架空線路和輸電隧道架設的特殊性,線路巡查通常會對巡檢人員的生命安全造成一定威脅[2]。借助無人機和監(jiān)控攝像頭的圖像識別技術(shù)，代替人工進行安全檢查已經(jīng)成為目前較為有效的巡查方案[3]?，F(xiàn)有的檢測方式存在很多問題，在無人機拍攝電力部件的過程中，由于距離因素，這些電力部件距離無人機較遠[4]，在圖像上顯示的尺寸較??；監(jiān)控攝像頭只有錄像和視頻監(jiān)控功能，無法對所需要的檢測目標進行智能化識別分析。這些方式都需要進一步借助人工完成最后的故障檢測分析，降低了自動化程度的同時，也延長了故障的修復時間。

卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)是一類包含卷積且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡，是深度學習(Deep Learning)的代表算法之一[5-6]。深度學習算法的發(fā)展和硬件運算水平的提高，使CNN逐漸應用在計算機視覺和自然語言處理等領(lǐng)域。作為計算機視覺重要的研究分支，基于CNN的目標檢測算法在許多層面上都超越了傳統(tǒng)圖像處理算法[2]。文獻[7]中使用自建的ImageNet輸電線路多目標圖像數(shù)據(jù)集，通過優(yōu)化Fater-RCNN神經(jīng)網(wǎng)絡的Loss函數(shù)對圖像進行識別定位，但對小目標的識別準確率不高，實時性得不到保證；文獻[8]調(diào)整Faster-RCNN網(wǎng)絡結(jié)構(gòu)卷積核大小和圖像的旋轉(zhuǎn)變換等數(shù)據(jù)增強方法擴充數(shù)據(jù)集，取得了93.72%的平均準確率；文獻[9]利用實際采集的絕緣子圖像構(gòu)建數(shù)據(jù)集，使用改進的Fater-RCNN網(wǎng)絡模型在Dropout=0.6取得82.80%的準確率。以SSD[10]，yolo[11]為代表的one-stage目標檢測算法在保持較高識別準確率的前提下，其檢測速度明顯快于Fater-RCNN[12]等基于感興趣區(qū)域(Region of Interest，RoI)的two-stage目標檢測算法，可以滿足實時性要求，因此更適合在工業(yè)現(xiàn)場和機器人系統(tǒng)中進行應用。

基于Fater-RCNN神經(jīng)網(wǎng)絡的目標檢測模型雖取得不俗的識別準確率，但存在檢測速度過慢問題，不能滿足檢測結(jié)果實時響應的要求。因此,在SSD算法的基礎(chǔ)上，使用全卷積神經(jīng)網(wǎng)絡DarkNet代替原先的VGG-16網(wǎng)絡，避免池化造成關(guān)鍵位置信息的丟棄，同時引入注意力機制，增強特征圖的語義信息，進一步提高網(wǎng)絡特征提取能力和算法檢測精度。

1 相關(guān)技術(shù)理論和算法

1.1 SSD

SSD[10]在2015年由Liu Wei等人提出，引入多參考和多分辨率檢測技術(shù)，提取網(wǎng)絡不同尺度的特征，然后組合進行回歸和分類。對比R-CNN[13-14]系列，顯著提高了one-stage檢測器的檢測精度，特別是對一些小目標；采用了全連接的VGG-16作為特征提取網(wǎng)絡，將全連接層FC6和FC7轉(zhuǎn)換成卷積層Conv6和Conv7，實現(xiàn)了端到端，且易和多種主流的backbone融合；借鑒Fater-RCNN的anchor機制，針對不同尺寸的特征圖，分別生成4～6個不同大小和不同長寬比的anchor框作為邊框回歸的預選框，實現(xiàn)多尺度檢測。SSD網(wǎng)絡結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡結(jié)構(gòu)Fig.1 SSD network structure

1.2 池化

經(jīng)典的CNN如LeNet5[15]，Alexnet[16],VGG[17]，類似于降采樣的方式，在卷積層輸出后引入池化層，以減少參數(shù)矩陣的尺寸，降低信息冗余，從而減少最后全連接層的參數(shù)量，提升模型尺度不變性和旋轉(zhuǎn)不變性，防止過擬合。SSD融合使用VGG-16神經(jīng)網(wǎng)絡，采用最大池化方式進行降維壓縮，加快運算速度。池化過程中會損失一部分關(guān)鍵的位置信息，某種程度上雖然實現(xiàn)了一定的平移不變性，但丟失了圖像之間精確的空間相對關(guān)系。最大池化過程示意如圖2所示。

圖2 最大池化Fig.2 Maximum pooling

1.3 注意力機制

與人類選擇性視覺注意力機制類似，深度學習中的注意力機制模仿人類觀察事物，是一種將內(nèi)部經(jīng)驗和外部感覺對齊從而增加部分區(qū)域的觀察精細度的過程，能夠忽略無關(guān)信息而關(guān)注重點信息，捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性，減少對外部信息的依賴，降低信息冗余。2014年Google DeepMind團隊，在循環(huán)神經(jīng)網(wǎng)絡(RNN)中加入注意力機制[16]，在圖像分類實驗中取得良好的效果。Spatial Transformer Networks模型[17]利用注意力機制，變換圖片的空間信息，在壓縮保留關(guān)鍵信息的同時，減少運算量，提升識別準確率。SEnet[18]引入通道注意力機制，得到不同信道的注意力權(quán)重，增強對關(guān)鍵通道域的注意力。

（一）國外研究進展。美國按診斷相關(guān)分類預付制或按病種預付制，病種的輕重程度及有無并發(fā)癥等。支付標準以全國醫(yī)院對該類疾病治療的平均成本為依據(jù)。它總括了入院管理費用、檢查費用和給藥費用。日本全國統(tǒng)一價，兩年調(diào)整一次，醫(yī)療服務總量不變，確定醫(yī)療費用總體調(diào)整幅度，日本的醫(yī)療總費用中有四分之一來自政府撥款。英國的RPI-X模型，（RPI代表通貨彭脹率，X為監(jiān)管者規(guī)定的一段時間內(nèi)生產(chǎn)效率增長百分比。）美國采取的最高限價模型與英國略有不同，公式為Pi+1=P1×(1+RPI-X),（P為公共事業(yè)價格指數(shù)，其余與上同）〔1〕

2 本文算法

本文提出的輸電線間隔棒目標檢測算法在標準SSD算法基礎(chǔ)上結(jié)合DenseNet-s-32全卷積網(wǎng)絡，為了保證檢測精度，最大程度保留圖片的原始信息，使用步長為2的卷積代替Max pooling，引入注意力機制，增強輸出特征層的語義信息。完整算法結(jié)構(gòu)如圖3所示。

圖3 注意力機制算法流程Fig.3 Attention mechanism algorithm flow

2.1 基于DenseNet的特征提取網(wǎng)絡

與ResNet[15]模型思路一致，DenseNet[16]建立前面所有層與后面層的密集連接(Dense Connection)，每個層都會接受前面所有層作為額外的輸入，實現(xiàn)特征復用，提升運算效率。網(wǎng)絡采用常見的分層模塊化結(jié)構(gòu)模型，主干網(wǎng)絡由一個Stem Block和一個四階段特征提取模塊組成。階段一和階段二使用卷積核大小為：2×2，步長為2的最大池化方式進行下采樣；階段三和階段四使用w/o池化方式，使用卷積核為：1×1，步長為1的卷積進行下采樣。考慮到最大池化過程中會損失一部分關(guān)鍵的位置信息，丟失了圖像之間精確的空間相對關(guān)系，這里使用卷積核為1×1的卷積代替階段一和階段二的最大池化，完整的網(wǎng)絡結(jié)構(gòu)由表1所示。

表1 DenseNet網(wǎng)絡結(jié)構(gòu)Tab.1 DenseNet network structure

2.2 注意力(Attention)機制

引入注意力機制結(jié)構(gòu)模型借以捕獲通道維度中的特征相關(guān)性。具體來說，對于某一通道的特征，通過對所有通道進行加權(quán)求和來更新權(quán)重，其中權(quán)重由相應2個通道之間的特征相似性來決定。注意力網(wǎng)絡很容易添加到CNN中，增強輸出檢測特征圖的感受野和語義信息，提高與檢測目標相關(guān)特征通道的權(quán)重，抑制或是忽略無關(guān)的通道信息。在注意力網(wǎng)絡結(jié)構(gòu)中，首先，對輸入結(jié)構(gòu)的特征圖X(C×H×W)使用1×1×1卷積進行特征映射，降低信息冗余，映射之后得到3個相同特征尺度(C×H×W)的特征圖α，β和γ,再對α，β和γ進行降維，三者降維后的向量尺度分別為α′=(C×HW)，β′=(HW×C),γ′=(C×HW)，對α′，β′使用向量點乘得到Catt=C×C，經(jīng)過Softmax計算通道的權(quán)重系數(shù)后與γ′做點乘運算，最后得到新的特征圖Y。圖3為注意力機制算法流程。X表示輸入的特征圖，Y表示通道更新后輸出的特征圖。本文分別在SSD網(wǎng)絡的block(3)，Conv7、Conv8_2、Conv9_2、Conv10_2五種尺度的輸出特征層引入注意力機制網(wǎng)絡結(jié)構(gòu)，更新這5個層的特征圖，詳細如圖4所示。

圖4 基于改進SSD的間隔棒目標檢測算法結(jié)構(gòu)Fig.4 Structure of the spacer bar object detection algorithm based on improved SSD

3 實驗分析

本文實驗使用Pytorch1.3.1深度學習框架，搭配NVIDIA GeForce GTX 2080Ti顯卡進行訓練。

3.1 數(shù)據(jù)集

目前暫無公開的數(shù)據(jù)集用于輸電線路間隔棒的目標檢測，借助網(wǎng)絡、無人機和監(jiān)控設備等途徑，搜集間隔棒故障圖片，通過數(shù)據(jù)增強方式，按照VOC2007數(shù)據(jù)集格式處理取得了750張間隔棒(Spacer)數(shù)據(jù)集，包含正常(Normal)，歪斜(Skew)2類目標，以11∶4劃分訓練集和測試集?？紤]到數(shù)據(jù)集樣本不足夠大，直接訓練會導致網(wǎng)絡不易收斂，導致檢測效果不夠好，因此結(jié)合VOC2012通用數(shù)據(jù)集組合成包含23類17 875張圖片的大數(shù)據(jù)集對網(wǎng)絡進行訓練。

3.2 實驗過程

針對Faster RCNN、SSD和mSSD，以及本文提出的SSD改進算法模型在同一測試集進行對比試驗，使用平均準確率(mAP)和識別速率作為網(wǎng)絡性能衡量指標,得到如表2所示的識別結(jié)果，部分實驗結(jié)果如圖5、圖6和圖7所示。

表2 不同算法平均識別準確率和識別速率Tab.2 Average recognition accuracy and recognition rate of different algorithms

圖5 檢測前Fig.5 Before detection

圖6 檢測中Fig.6 During detection

圖7 檢測后Fig.7 After detection

由表2可見，F(xiàn)aster RCNN的平均準確率為82.5%，識別速率為16幀/秒；SSD算法的平均準確率為83.4%，識別速率為47幀/秒；文獻[4]提出的mSSD算法的平均準確率為89.6%，識別速率為38幀/秒；本文提出的算法平均準確率為91.2%，識別速率為40幀/秒。其中Faster RCNN的平均準確率和識別速率最低，本文算法的平均識別準確率最高，識別速率略遜與SSD，下降了7幀/秒，這是因為在模型中加入了注意力機制網(wǎng)絡，導致了計算量的增加，但仍可以滿足間隔棒故障實時檢測要求。

4 結(jié)束語

以SSD目標檢測算法為基礎(chǔ)，提出了針對輸電線路間隔棒故障的目標檢測算法。原backbone網(wǎng)絡VGG-16池化層會造成部分關(guān)鍵信息的丟失，提出使用改進的DenseNet-32卷積神經(jīng)網(wǎng)絡替換VGG-16，降低池化帶來的精度損失，提升網(wǎng)絡深度，引入注意力機制網(wǎng)絡結(jié)構(gòu)進一步增強輸出檢測特征圖的語義信息。本文提出的算法在平均準確率為91.2%情況下，檢測速率達到40幀/秒，可以滿足間隔棒故障實時檢測的現(xiàn)實要求。未來進一步工作是將該算法部署到終端設備上，做到輸電線路的實時現(xiàn)場檢測。