程海燕 翟永杰 陳瑞

關鍵詞： 卷積神經(jīng)網(wǎng)絡; 深度學習; Faster R?CNN; 航拍圖像; 絕緣子識別; 智能電網(wǎng)

中圖分類號： TN911.73?34; TP391 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）02?0098?05

Faster R?CNN based recognition of insulators in aerial images

CHENG Haiyan， ZHAI Yongjie， CHEN Rui

（North China Electricity Power University， Baoding 071003， China）

Abstract： In order to solve the problems of poor applicability and low recognition efficiency in traditional insulator recognition methods， a method of auto?recognition of insulators in power grid inspection aerial images is proposed combining with the thought of deep convolutional neural network. The insulator recognition system is established by applying the Faster R?CNN framework and combining with the database of power grid inspection aerial images， so as to automatically recognize the insulators in aerial images， and analyze the influence of different models and parameters on recognition accuracy. The experimental results show that in comparison with the traditional aerial insulator identification method， the proposed method has higher recognition accuracy rate and efficiency by using the deep convolutional neural network to learn and recognize aerial insulators， and can well recognize all kinds of insulators with its greatly?improved recognition performance.

Keywords： convolutional neural network; deep learning; faster R?CNN; aerial images; insulator recognition; smart grid

0 ?引 ?言

電網(wǎng)巡檢是保證輸電線路安全、可靠運行的重要途徑。近年來，使用無人機進行電力巡檢，繼而對航拍圖像進行信息處理或部件識別是智能電網(wǎng)建設的研究熱點之一。絕緣子是輸電線路中的重要設備，受外界環(huán)境影響容易受損，繼而引發(fā)電力事故[1]。因此對絕緣子進行狀態(tài)檢測尤為重要，而絕緣子狀態(tài)檢測的前提是絕緣子識別。傳統(tǒng)的絕緣子圖像識別包括圖像濾波處理、特征提取和目標識別等步驟，特征的提取規(guī)則根據(jù)人工設計。文獻[2]依據(jù)絕緣子顏色信息標示出絕緣子位置，文獻[3]提取絕緣子的圖像邊緣，進而識別絕緣子。文獻[4?5]利用絕緣子串的特有形狀定位絕緣子。文獻[6]基于絕緣子的紋理特征進行定位。文獻[7]通過建立絕緣子標準圖庫，利用ASIFT算法進行匹配實現(xiàn)絕緣子識別。雖然上述方法在一定范圍內(nèi)能夠識別出絕緣子，但存在兩個主要問題：

1） 都是人工設計特征進行提取，依賴于研究者的經(jīng)驗，缺乏對問題的泛化能力，而且主要針對特定類別的絕緣子進行識別，在復雜背景和干擾條件下普遍存在適用性較低的問題。

2） 識別過程分多個階段進行，實現(xiàn)過程較復雜，整體優(yōu)化不易實現(xiàn)，因此制約了目標識別的效率。

近期，基于深度卷積神經(jīng)網(wǎng)絡的目標識別取得良好的效果。與傳統(tǒng)方法不同，深度學習不需要進行人工特征提取，算法自動學習獲得目標特征，適用性強、目標識別效率更高。相比深度學習其他目標識別方法，F(xiàn)aster R?CNN[8]的識別準確率更高、運行速度更快。因此，本文利用Faster R?CNN框架，結(jié)合航拍絕緣子圖像數(shù)據(jù)集，構(gòu)建絕緣子識別系統(tǒng)，自動識別電網(wǎng)巡檢航拍圖像中不同類型的絕緣子，并分析了不同參數(shù)對識別精確度的影響。

1 ?Faster R?CNN

1.1 ?Faster R?CNN結(jié)構(gòu)

Faster R?CNN包含兩個網(wǎng)絡：區(qū)域建議網(wǎng)絡RPN （Region Proposal Network）和Fast R?CNN[9]檢測器，利用RPN生成目標建議框送到Fast R?CNN檢測網(wǎng)絡中，用于圖像分類和定位修正，最終得到檢測結(jié)果，其結(jié)構(gòu)圖如圖1所示。

RPN為全卷積網(wǎng)絡，采用滑動窗口遍歷卷積，提取特征，將每個卷積映射位置編碼為一個低維特征向量。每個窗口中心位置對應k個不同尺度和高寬比的錨點（anchor，即參數(shù)化后的目標建議框），同時采樣。分類層和回歸層對該區(qū)域的類別得分和邊界框位置進行修正，輸出一組可能包含目標的矩形區(qū)域建議框。

Fast R?CNN把RPN生成的目標建議框映射到CNN的最后一層卷積特征圖上，通過計算預先標記的實際邊界框與目標區(qū)域建議框的重疊率得到感興趣區(qū)域RoIs（Regions of Interest）;接著采用RoI池化層為每個建議框提取固定尺寸的特征向量;再利用全連接層得到RoI特征向量，對Softmax分類器和邊框回歸聯(lián)合訓練，從而對目標置信度分值和檢測位置進行微調(diào)。

1.2 ?訓練Faster R?CNN

訓練過程采用RPN同F(xiàn)ast R?CNN交替訓練的方式，即先訓練RPN，再用生成的目標建議區(qū)域訓練Fast R?CNN。在最后一個卷積層輸出的卷積特征圖上，采用3×3的滑動窗口實現(xiàn)建議框的提取，在每個滑動窗口位置采用3種不同尺度和3種不同高寬比（1∶1，2∶1，1∶2）生成9 個anchor框?qū)Π繕说拇翱谖恢眠M行預測。經(jīng)過分類層和回歸層對該區(qū)域的類別得分和邊界框位置進行修正。最后分類和回歸總損失為：

[L（{pi}，{ti}）=1NclsiLcls（pi，p*i）+λ1Nregip*iLreg（ti，t*i）] ? （1）

[Lcls（pi，p*i）=-log[p*ipi+（1-p*i）（1-pi）]] ? （2）

[Lreg（ti，t*i）=i∈{x，y，w，h}smoothL1ti-t*i] （3）

[smoothL1（x）=0.5x2， ? ? ? ? ?x<1x-0.5 ， ? 其他 ] （4）

式中：[Ncls]為批處理大小;[Nreg]為anchor框的位置數(shù);[i]是anchor的索引;[pi]是anchor [i]屬于某個目標的預測概率。當anchor為正樣本時，[p*i=1]，否則[p*i=0];[ti]表示預測的邊界框的4個參數(shù)化坐標向量;[t*i]是與正anchor對應的實際邊界框的坐標向量，默認取[λ=10];[Lcls]和[Lreg]分別為分類損失和回歸損失。

采用RPN生成的建議框去訓練Fast R?CNN檢測網(wǎng)絡，訓練過程采用端到端的反向傳播算法和隨機梯度下降法。RPN和Fast R?CNN單獨訓練，沒有實現(xiàn)卷積層共享。再利用上一步訓練的Fast R?CNN重新初始化RPN，固定共享卷積層，僅微調(diào)RPN的特有層，保持共享的卷積層固定，用RPN提取的目標建議框微調(diào)Fast R?CNN的特有層，這樣，兩個網(wǎng)絡共享相同的卷積層，構(gòu)成一個統(tǒng)一的網(wǎng)絡。

2 ?基于Faster R?CNN的絕緣子識別

基于Faster R?CNN的電網(wǎng)巡檢航拍圖像中絕緣子識別過程包括兩個階段，網(wǎng)絡訓練階段和識別測試階段。訓練階段用自建圖像數(shù)據(jù)庫對具有初始參數(shù)的卷積神經(jīng)網(wǎng)絡進行訓練，得到目標識別模型，測試階段將測試樣本輸入訓練好的識別模型得到識別結(jié)果。整個流程包含以下幾個步驟：

1） 構(gòu)建絕緣子圖像數(shù)據(jù)集，得到絕緣子邊界框標注值;

2） 訓練Faster R?CNN，得到最終識別模型;

3） 對新樣本進行檢測識別。

2.1 ?訓練絕緣子識別網(wǎng)絡

2.1.1 ?構(gòu)建絕緣子圖像數(shù)據(jù)集

Faster R?CNN是經(jīng)過特定的圖像數(shù)據(jù)集和相應的標注進行預處理的，不適用于直接為其他圖像數(shù)據(jù)集執(zhí)行目標檢測。目前沒有公開的絕緣子圖像數(shù)據(jù)庫，需要自己構(gòu)建數(shù)據(jù)庫。本系統(tǒng)數(shù)據(jù)庫來源于某電網(wǎng)公司提供的電網(wǎng)巡檢航拍圖像，包含不同背景、不同材質(zhì)、不同電壓等級及不同角度下的各種類型的絕緣子，圖像大小統(tǒng)一縮放到256×256像素，把它們作為圖像樣本，圖2為部分圖像樣本。系統(tǒng)采用 VOC2007 數(shù)據(jù)集格式，對絕緣子進行相應標注。

2.1.2 ?訓練模型

模型訓練部分，RPN與Fast R?CNN交替訓練。用預訓練好ImageNet VGG?16模型初始化RPN。在訓練過程中隨機梯度下降法中mini?batches由一幅圖像樣本構(gòu)成，在該圖像中隨機采樣256個anchor 框，正負anchors的比例為1∶1。與已知標注框重疊區(qū)域大于0.7的anchor標記為正anchor，即前景，重疊區(qū)域小于0.3的標定為負anchor，即背景。對正anchor標簽為1，負anchor標簽為0。這些帶標簽的樣本和標注框的坐標被用于RPN的有監(jiān)督的訓練。

采用上一步生成的建議框去訓練Fast R?CNN檢測網(wǎng)絡，它同樣由預訓練的ImageNet VGG?16模型進行初始化。在訓練過程中，mini?batches由2幅圖像樣本構(gòu)成，每個圖像生成64個感興趣區(qū)域RoIs。在反向傳播過程中經(jīng)過RoI池化層時，進行反向傳播的計算。利用得到的Fast R?CNN網(wǎng)絡再次初始化RPN，固定卷積層參數(shù)，僅微調(diào)RPN的特有層;再保持共享的卷積層參數(shù)固定，用RPN微調(diào)Fast R?CNN的特有層，得到統(tǒng)一的識別模型。

2.2 ?檢測和識別絕緣子

使用VGG?16模型學習絕緣子特征，訓練Faster R?CNN模型進行絕緣子識別，同時訓練網(wǎng)絡參數(shù)，訓練好的模型可直接用于絕緣子識別。進行絕緣子識別時，輸入一幅圖像，輸出即為帶標識框的識別結(jié)果，完全實現(xiàn)端到端識別。

3 ?實驗結(jié)果與分析

絕緣子識別方法在容天超算工作站SCW4000上運行，其操作系統(tǒng)為Ubuntu 14.04.3位，顯卡Nvidia Tesla K40C，共2片GPU， 單片GPU存儲器容量12 GB，開發(fā)環(huán)境Matlab R2014a。

實驗過程訓練集含5 000張圖像樣本，測試集含500張圖像。采用精確度均值（Average Precision，AP）來衡量識別效果，精確度為標記正確的絕緣子邊界框個數(shù)與標記出的所有邊界框個數(shù)之比。首先研究不同深度卷積網(wǎng)絡對絕緣子識別系統(tǒng)性能的影響，然后分析了不同參數(shù)對AP的影響，最后將Faster R?CNN方法與基于選擇性搜索算法進行目標區(qū)域建議的SPPnet[10]方法進行比較。

3.1 ?不同卷積層深度對絕緣子識別系統(tǒng)的影響

為了研究不同卷積層深度對絕緣子識別系統(tǒng)的影響，本文分別采用具有5個卷積層的ZF模型[11]和具有13個卷積層的VGG?16模型[12]作為共享卷積層進行對比實驗。訓練時，前30 000次迭代學習率為0.001，后面的10 000次迭代學習率是0.000 1，動量為0.9，權(quán)重衰減為0.000 5，比較結(jié)果如表1所示。

從表1可以看出，與ZF模型相比，采用VGG?16模型訓練網(wǎng)絡耗時長，測試速率慢，但隨著網(wǎng)絡模型深度的增加，AP值從89.49%提高到90.5%，提高了1個百分點，這是因為VGG?16模型選擇比較小的卷積核和步長，網(wǎng)絡精度高，對其他數(shù)據(jù)集具有很好的泛化能力。因此本系統(tǒng)采用VGG?16模型作為卷積網(wǎng)絡。圖3給出了采用VGG?16模型進行卷積運算的部分識別結(jié)果。

從圖3可以看出，被識別出來的絕緣子形式各樣，包含不同材質(zhì)（玻璃、陶瓷）、不同顏色（藍色、綠色、灰色等）、不同背景（綠地、森林，田野等）、不同尺度和角度，存在不同程度的模糊和遮擋情況，且輸入的測試圖像尺寸各異。和人工設計的特征只能識別某個特定類型絕緣子相比，由于深度學習自動學習絕緣子特征，對各種類型的絕緣子均能實現(xiàn)自動識別，其適用范圍更加廣泛，通用性更強。

3.2 ?不同批尺寸對AP的影響

表2為其他參數(shù)固定時改變批尺寸的測試集上實驗結(jié)果，為縮短訓練時間，最大迭代次數(shù)為20 000次。Faster R?CNN采用隨機梯度下降法進行訓練，每個樣本進行一次迭代更新，從表2可以看出，在一定范圍內(nèi)，批尺寸越大，訓練的樣本就越多。

3.3 ?不同訓練樣本數(shù)量對識別系統(tǒng)性能的影響

訓練樣本數(shù)量對卷積神經(jīng)網(wǎng)絡的識別效果影響很大。采用不同訓練樣本數(shù)量訓練Faster R?CNN模型，RPN和Fast R?CNN階段批尺寸分別為256和128，最大迭代次數(shù)為40 000次，其他參數(shù)不變，對測試集進行測試，系統(tǒng)性能對比如表3所示。

觀察表3發(fā)現(xiàn)，隨著訓練樣本數(shù)量的增加，系統(tǒng)訓練耗時增加，但AP 值明顯提高，由1 000個樣本的71.3%提高到5 000個樣本的90.5%，提高了19個百分點，測試一張圖像的平均耗時均為0.21 s，測試速率基本保持不變，這說明增加訓練樣本數(shù)量確實會提高系統(tǒng)識別精確度，而且該系統(tǒng)識別速度快，幾乎可以實現(xiàn)實時識別。

圖4給出采用不同訓練樣本數(shù)量對應的模型進行測試的部分識別結(jié)果?？梢钥闯?，隨著樣本數(shù)量的增加，識別出的絕緣子位置更加精確，包圍框內(nèi)絕緣子占比更大。

3.4 ?不同識別方法比較

SPPnet[11]網(wǎng)絡采用選擇性搜索 （Selective Search，SS）算法生成目標區(qū)域建議，SS是Faster R?CNN提出之前最常用的生成目標區(qū)域建議的算法。為了驗證本文所提方法對絕緣子識別具有優(yōu)勢，將之與SPPnet網(wǎng)絡進行比較。使用VGG?16模型，根據(jù)AP最大時對應的模型參數(shù)，對測試集分別采用Faster R?CNN與SPPnet進行識別，比較結(jié)果如表4所示。

可以看出，F(xiàn)aster R?CNN方法的識別精確度比SPPnet高，這主要是由于RPN比SS產(chǎn)生的目標區(qū)域建議框更加精準。Faster R?CNN將特征抽取、目標建議提取、邊框回歸和分類都整合在了一個網(wǎng)絡中，所有過程都通過GPU完成，檢測速度遠遠超過了SPPnet。

4 ?結(jié) ?論

本文采用Faster R?CNN深度卷積神經(jīng)網(wǎng)絡構(gòu)建絕緣子識別模型，通過建立絕緣子航拍圖像數(shù)據(jù)集，完成模型的訓練和效果的驗證。通過實驗驗證，基于Faster R?CNN的絕緣子識別方法是有效的，可以識別圖像中不同類型的絕緣子，其識別速度可以達到每張約220 ms，精確度達到90.5%，能克服傳統(tǒng)絕緣子識別方法適用性受限、效率低的問題。但是，由于樣本不完備，對于絕緣子之間存在遮擋的情況識別效果并不理想，需要進一步收集更有效的圖像樣本，這也是后續(xù)需要解決的問題。

參考文獻

[1] 仝衛(wèi)國，苑津莎，李寶樹.圖像處理技術(shù)在直升機巡檢輸電線路中的應用綜述[J].電網(wǎng)技術(shù)， 2010，34（12）： 204?208.

TONG Weiguo， YUAN Jinsha， LI Baoshu. Application of image processing in patrol inspection of overhead transmission line by helicopter [J]. Power system technology， 2010， 34（12）： 204?208.

[2] 林聚財，韓軍，陳舫明，等.基于彩色圖像的玻璃絕緣子缺陷診斷[J].電網(wǎng)技術(shù)，2011，35（1）：127?133.

LIN Jucai， HAN Jun， CHEN Fangming， et al. Defects detection of glass insulators based on color images [J]. Power system technology， 2011， 35（1）： 127?133.

[3] 趙振兵，金思新，劉亞春.基于NSCT的航拍絕緣子圖像邊緣提取方法[J].儀器儀表學報，2012，33（9）：2045?2052.

ZHAO Zhenbing， JIN Sixin， LIU Yachun. Aerial insulator image edge extraction method based on NSCT [J]. Chinese journal of scientific instrument， 2012， 33（9）： 2045?2052.

[4] 趙振兵，王樂.一種航拍絕緣子串圖像自動定位方法[J].儀器儀表學報，2014，35（3）：558?565.

ZHAO Zhenbing， WANG Le. Aerial insulator string image automatic location method [J]. Chinese journal of scientific instrument， 2014， 35（3）： 558?565.

[5] 張晶晶，韓軍，趙亞博，等.形狀感知的絕緣子識別與缺陷診斷[J].中國圖象圖形學報，2014，19（8）：1194?1201.

ZHANG Jingjing， HAN Jun， ZHAO Yabo， et al. Insulator recognition and defects detection based on shape perceptual [J]. Journal of image and graphics， 2014， 19（8）： 1194?1201.

[6] 楊翠茹.基于紋理特征的絕緣子檢測方法[J].電氣技術(shù)，2010，11（7）：46?48.

YANG Cuiru. A detection method for insulators based on texture features [J]. Electrical engineering， 2010， 11（7）： 46?48.

[7] 苑津莎，崔克彬，李寶樹.基于ASIFT算法的絕緣子視頻圖像的識別與定位[J].電測與儀表，2015，52（7）：106?112.

YUAN Jinsha， CUI Kebin， LI Baoshu. Identification and location of insulator video images based on ASIFT algorithm [J]. Electrical measurement & instrumentation， 2015， 52（7）： 106?112.

[8] REN S， HE K， GIRSHICK R， et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis & machine intelligence， 2017， 39（6）： 1137?1149.

[9] GIRSHICK R. Fast R?CNN [C]// Proceedings of International Conference on Computer Vision. Santiago： IEEE， 2015： 1440?1448.

[10] HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2014： 346?361.

[11] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks [C]// Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2014， 8689： 818?833.

[12] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [C]// Proceedings of International Conference on Learning Representations. [S.l.： s.n.]， 2015： 1?14.