崔克彬，潘 鋒

(華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003)

1 引言

輸電線路故障是造成電網(wǎng)大面積停電事故的重要原因之一，線路運(yùn)維是保證電力系統(tǒng)安全的重要環(huán)節(jié)。絕緣子是輸電線路上的重要部分，材質(zhì)主要為陶瓷、玻璃和復(fù)合材料。輸電線路可能因?yàn)榻^緣子老化被擊穿，不及時(shí)發(fā)現(xiàn)將造成重大電力事故。目前使用飛行器進(jìn)行輸電線路巡檢已成為常規(guī)巡檢方式，通過圖像處理對(duì)航拍圖像中的絕緣子自動(dòng)定位，將提高電力維護(hù)和檢修的效率[1]。

故障絕緣子精確定位是實(shí)現(xiàn)故障判斷的前提，為滿足自動(dòng)化檢測(cè)和高精度識(shí)別的要求，深度學(xué)習(xí)中的目標(biāo)識(shí)別方法是個(gè)不錯(cuò)的選擇，通過大量的樣本優(yōu)化訓(xùn)練模型，可以高效地檢測(cè)出故障絕緣子的位置。現(xiàn)實(shí)中難以獲得大量的故障絕緣子樣本，需要對(duì)有限的樣本進(jìn)行擴(kuò)增，GAN(Generative Adversarial Network)[2]模型是一種擴(kuò)增樣本的有效方法。本文嘗試改進(jìn)CycleGAN(Cycle-consistent Generative Adversarial Network)[3]，并比較通過其他GAN模型生成的樣本，利用絕緣子識(shí)別的驗(yàn)證性實(shí)驗(yàn)來驗(yàn)證本文方法的有效性。

Figure 1 Global architecture

2 研究現(xiàn)狀

隨著深度學(xué)習(xí)的發(fā)展，目標(biāo)檢測(cè)在工業(yè)生產(chǎn)中得到廣泛應(yīng)用。相較于傳統(tǒng)檢測(cè)算法，深度學(xué)習(xí)可以隨著訓(xùn)練樣本的增加提升精確度，降低漏檢率。文獻(xiàn)[4]提出結(jié)合注意力機(jī)制的Faster-RCNN(Faster Regions-Convolutional Neural Network)絕緣子識(shí)別方法。文獻(xiàn)[5]提出一種改進(jìn)的YOLOv3(You Only Look Once,version 3)絕緣子串定位與狀態(tài)識(shí)別方法。文獻(xiàn)[6]提出改進(jìn)的Mask-RCNN絕緣子識(shí)別方法。上述方法都需要在大量的訓(xùn)練樣本前提下，才能保證識(shí)別物體的精確度。傳統(tǒng)的數(shù)據(jù)擴(kuò)增方法有旋轉(zhuǎn)、裁剪等，這些方法與GAN的不同之處在于，GAN是基于輸入的隨機(jī)噪聲圖像來學(xué)習(xí)生成樣本，內(nèi)容變化無法預(yù)測(cè)，傳統(tǒng)的旋轉(zhuǎn)方法則是圖像像素點(diǎn)整體位移。

自GAN被提出，其在圖像處理領(lǐng)域的拓展應(yīng)用非常廣泛，如高分辨率圖像生成[7]、手寫體漢字生成[8]、視頻預(yù)測(cè)[9]和人臉生成[10]等，用GAN預(yù)測(cè)視頻下一幀或生成圖像時(shí)需要大量數(shù)據(jù)，以獲得較好的訓(xùn)練效果。

針對(duì)傳統(tǒng)GAN需要大量數(shù)據(jù)的問題，本文在CycleGAN網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn),針對(duì)CycleGAN在產(chǎn)生絕緣子時(shí)出現(xiàn)的歪扭問題，將圖像輸入到2個(gè)子生成器生成圖像，即經(jīng)過第1個(gè)子生成器的訓(xùn)練生成絕緣子輪廓，將生成的絕緣子輪廓輸入到第2個(gè)子生成器，在輪廓邊界的限制下生成圖像顏色，從而在生成圖像的同時(shí)保持真實(shí)圖像的形狀。

3 輪廓監(jiān)督的CycleGAN模型

本文選取CycleGAN為基礎(chǔ)模型，該模型整體流程為：從原始數(shù)據(jù)集X(無故障絕緣子數(shù)據(jù)集)中取一個(gè)數(shù)據(jù)x用生成器G生成數(shù)據(jù)y′，同理，從原始數(shù)據(jù)集Y(故障絕緣子數(shù)據(jù)集)中取數(shù)據(jù)y輸入到生成器F，生成x′。x″由y′經(jīng)過生成器F生成得到,先后通過生成器G和生成器F，x″與原始數(shù)據(jù)x之差用于規(guī)范化生成的圖像。整體結(jié)構(gòu)如圖1所示，先后分為生成對(duì)抗網(wǎng)絡(luò)模型和SSD(Single Shot Detector)[11]目標(biāo)檢測(cè)模型，用GAN擴(kuò)增數(shù)據(jù)集后對(duì)擴(kuò)增的樣本記上標(biāo)記，并按比例放入原始數(shù)據(jù)的訓(xùn)練集和測(cè)試集中，進(jìn)行SSD模型訓(xùn)練，其中每一層都是卷積核大小不同的卷積操作，每一層都將作為最后測(cè)試提取特征的預(yù)測(cè)框。模型訓(xùn)練好后，對(duì)故障絕緣子圖進(jìn)行故障定位測(cè)試。

該模型包含2個(gè)生成器G和F，2個(gè)鑒別器DX與DY，訓(xùn)練中X風(fēng)格圖像生成Y風(fēng)格圖像和反方向生成同步進(jìn)行，G和F同步訓(xùn)練，生成器G的生成方向?yàn)閺腦到Y(jié)，生成器F生成方向?yàn)閺腨到X。損失函數(shù)如式(1)所示：

L(G,F,DX,DY)=LGAN(G,DY,X,Y)+

LGAN(F,DX,Y,X)+LcGAN(x,y,z)+

λLcyc(G,F)+L1(x,yc)

(1)

其中，λ表示可調(diào)參數(shù)，在CycleGAN訓(xùn)練過程中，若總的損失函數(shù)值過大，則調(diào)小該值，若總體損失函數(shù)值過小，則調(diào)大該數(shù)值。X和Y分別表示兩類不同風(fēng)格的原始數(shù)據(jù)集，x表示取自X集合中的元素，y表示取自Y集合中的元素。LcGAN(x,y,z)表示絕緣子圖像和生成的輪廓圖像之間的一種映射，x表示無故障絕緣子圖像，y表示原始故障絕緣子圖像,z為隨機(jī)向量噪聲；L1(x,yc)其中x表示原始絕緣子圖像，yc表示絕緣子對(duì)應(yīng)的輪廓圖像，通過對(duì)原始圖像預(yù)處理提取輪廓得到，該損失函數(shù)用于規(guī)范和校正生成圖像的絕緣子輪廓。

式(1)右側(cè)前2部分相互對(duì)稱，其中第1項(xiàng)如式(2)所示:

LGAN(G,DY,X,Y)=Ey～Pdata(y)[lnDY(y)]+

Ex～Pdata(x)[ln(1-DY(G(x)))]

(2)

DX鑒別真實(shí)圖像，DY(G(x))表示鑒別器DY鑒別生成器G生成的樣本G(x)。鑒別器用于區(qū)別真?zhèn)?，鑒別器鑒別輸入圖像時(shí)，結(jié)果為1表示鑒別其為原始數(shù)據(jù)集中的圖像，為0表示鑒別輸入圖像為生成圖像，鑒別器會(huì)出現(xiàn)誤判，即模型訓(xùn)練程度較好時(shí)，生成器生成的圖像輸入鑒別器后的輸出為0.5，則鑒別器鑒別該圖像一半概率為真，一半概率為假。通過訓(xùn)練鑒別器識(shí)別真實(shí)樣本和生成樣本，提高其識(shí)別真假的水平，而生成器則不斷生成質(zhì)量更好的樣本。鑒別器和生成器二者互相對(duì)抗與學(xué)習(xí)，最終達(dá)到平衡，即生成器無法再生成更好的樣本，此時(shí)鑒別器鑒別生成樣本為真的概率為0.5。

式(1)右側(cè)第4項(xiàng)為循環(huán)一致性損失，具體展開如式(3)所示：

Lcyc(G,F)=Ex～Pdata(x)[‖F(xiàn)(G(x))-x‖1]+

Ey～Pdata(y)[‖G(F(y))-y‖1]

(3)

其中，F(xiàn)(G(x))表示圖像先經(jīng)過生成器G，生成的圖像作為生成器F的輸入，這樣可以生成類似于原始數(shù)據(jù)集X的X′，X′用來衡量與X的差距，即生成的分布是否符合原始圖像的分布。

CycleGAN每次生成圖像后都要反向生成，通過重新生成圖像x″來計(jì)算x″與原始圖像的逐像素差距，從而使生成的圖像接近原始圖像，使圖像質(zhì)量得到提升，但是圖像多樣性受到約束。本文模型借鑒了CycleGAN中的重建圖像步驟，生成輪廓后再生成圖像，用輪廓作為中介通過生成2次的圖像方法來擴(kuò)大與原始圖像的差異，利于生成不同的缺陷絕緣子圖像。

原始圖像y經(jīng)過生成器G生成圖像G(y)，將G(y)作為反向生成器F的輸入，生成圖像F(G(y))，鑒別器DY鑒別結(jié)果。修改生成器后的損失函數(shù)如式(4)所示：

LGAN(G,DY,X,Y)=Ey～pdata(y)[lnDY(y)]+

Ex～pdata(x)[ln(1-DY(F(G(y))))]

(4)

此外，將隨機(jī)噪聲向量z輸入生成網(wǎng)絡(luò)G,生成輸出圖像G(x,z)。使用LcGAN(x,y,z)來訓(xùn)練生成器G生成黑白輪廓圖像，其定義如式(5)所示：

LcGAN(x,y,z)=Ex,y[lnD(x,y)]+

Ex,z[ln(1-D(x,G(x,z)))]

(5)

L1(x,yc)為絕緣子圖像x轉(zhuǎn)換到輪廓圖像yc過程中的任務(wù)損失，由圖像各個(gè)位置所需輪廓決定其稀疏性。改進(jìn)后的CycleGAN的網(wǎng)絡(luò)其余部分未做修改，有2個(gè)生成器和2個(gè)鑒別器，1個(gè)生成器由1個(gè)生成輪廓的子生成器和1個(gè)生成圖像色彩的子生成器構(gòu)成。如圖2所示，生成器模型結(jié)構(gòu)參考神經(jīng)網(wǎng)絡(luò)風(fēng)格轉(zhuǎn)換[12]，使用2個(gè)步長(zhǎng)為2的卷積層，9個(gè)殘差塊[13]及2個(gè)步長(zhǎng)為0.5的卷積層。通過卷積操作，圖像尺寸逐漸變小，深度逐漸變深。接著進(jìn)行步長(zhǎng)為0.5的卷積操作，其圖像尺寸變大，最終圖像大小和輸入圖像相等。使用IN(Instance Normalization)[14]對(duì)圖像進(jìn)行歸一化，IN可以產(chǎn)生更高像素的圖像。與BN(Batch Normalization)[15]相比，IN分別針對(duì)每個(gè)通道和每個(gè)空間維度進(jìn)行計(jì)算。生成器中使用了殘差塊，通過將卷積后的信息與輸入信息相加，可以更好地得到原始樣本的潛在特征。

鑒別器架構(gòu)類似于將全卷積神經(jīng)網(wǎng)絡(luò)FCN(Fully Convolutional Network)[16]應(yīng)用到生成對(duì)抗網(wǎng)絡(luò)中，經(jīng)過4次步長(zhǎng)為2的卷積后，在最后一層通過卷積生成一維輸出。

Figure 2 Structure of generator model

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及設(shè)備

本文實(shí)驗(yàn)硬件為Intel(R)Core(TM)i7，使用圖形處理單元(NVIDIA GTX1060)、CUDA9.0和CUDNN 7.0 對(duì)訓(xùn)練過程進(jìn)行加速，使用的深度學(xué)習(xí)框架為PyTorch。實(shí)驗(yàn)數(shù)據(jù)集為泰迪杯競(jìng)賽絕緣子數(shù)據(jù)集，通過旋轉(zhuǎn)裁剪得到2 500幅圖像，在SSD訓(xùn)練時(shí)使用的框架為PyTorch，1 200幅用作訓(xùn)練，800幅用于測(cè)試，400幅用于驗(yàn)證，使用的圖像標(biāo)注工具為L(zhǎng)abelImg。

4.2 GAN樣本擴(kuò)增實(shí)驗(yàn)

從實(shí)驗(yàn)結(jié)果來看，CycleGAN生成的樣本總體質(zhì)量較高，部分絕緣子盤片存在扭曲形變，且存在樣本生成單一的問題。DCGAN(Deep Convolutional Generative Adversarial Network)生成的圖像具有絕緣子的輪廓，生成圖像細(xì)節(jié)相對(duì)CycleGAN生成圖像的模糊。由于改進(jìn)的CycleGAN在生成圖像輪廓的基礎(chǔ)上再生成圖像顏色，生成的絕緣子串整體平直，不存在原始CycleGAN生成的絕緣子串歪扭(圖4第2行第4列)的現(xiàn)象，達(dá)到了擴(kuò)增樣本的目的。CycleGAN生成的樣本如圖3所示。DCGAN[17]生成的樣本如圖4所示。改進(jìn)的CycleGAN部分測(cè)試樣例生成樣本如圖5所示。

Figure 3 Samples generated by CycleGAN

Figure 4 Samples generated by DCGAN

Figure 5 Samples generated by modified CycleGAN

CycleGAN通過訓(xùn)練能夠?qū)W習(xí)到原始數(shù)據(jù)的分布，訓(xùn)練之初生成器G中生成的圖像離真實(shí)圖像樣本的分布很遠(yuǎn)，隨著訓(xùn)練的進(jìn)行，生成器G的生成數(shù)據(jù)也逐漸逼近真實(shí)數(shù)據(jù)的分布。CycleGAN的訓(xùn)練損失曲線如圖6所示。

Figure 6 Loss curves of CycleGAN

CycleGAN模型在初始時(shí)刻，循環(huán)一致性損失很高，表明經(jīng)過一個(gè)方向轉(zhuǎn)換后的圖像很難反方向轉(zhuǎn)換回來。在迭代50次時(shí)，循環(huán)一致性損失下降并靠近0.5。在第100個(gè)迭代輪次時(shí)，訓(xùn)練損失曲線下降緩慢，此后不再有較明顯且持續(xù)的下降，表示此刻的訓(xùn)練效果最優(yōu)。

4.3 評(píng)價(jià)指標(biāo)

用基于深度學(xué)習(xí)的SSD目標(biāo)檢測(cè)模型分別對(duì)原始數(shù)據(jù)和擴(kuò)增后的數(shù)據(jù)進(jìn)行訓(xùn)練測(cè)試，SSD訓(xùn)練檢測(cè)模型時(shí)使用VGG16預(yù)訓(xùn)練作為初始訓(xùn)練模型。數(shù)據(jù)擴(kuò)增的部分由不同的GAN訓(xùn)練后各自生成。

對(duì)生成的圖像使用廣義霍夫變換進(jìn)行圖像輪廓定位，廣義霍夫變換是一種傳統(tǒng)的目標(biāo)檢測(cè)算法，通過表的形式保存輪廓邊緣坐標(biāo)，可處理任何形狀的圖形。

4.4 SSD目標(biāo)檢測(cè)模型故障絕緣子定位實(shí)驗(yàn)

SSD目標(biāo)檢測(cè)模型采用多尺度檢測(cè)的方法，因?yàn)闄z測(cè)速度較快，經(jīng)SSD訓(xùn)練后的模型可以剪枝以應(yīng)用到嵌入式設(shè)備中，其在工業(yè)界應(yīng)用前景較好。在訓(xùn)練時(shí)，設(shè)置學(xué)習(xí)率為0.001，最大迭代次數(shù)為7萬次，批處理大小設(shè)置為4。在訓(xùn)練時(shí)每保存一次模型，就將該模型用于測(cè)試生成圖像。為生成的質(zhì)量較好的圖像打上標(biāo)簽，加入到SSD目標(biāo)檢測(cè)的訓(xùn)練集中，擴(kuò)增的絕緣子數(shù)據(jù)集中掉串絕緣子與正常絕緣子的比例為9∶1，絕緣子掉串檢測(cè)結(jié)果如圖7所示。

Figure 7 Detection of cracked insulator

4.5 實(shí)驗(yàn)結(jié)果評(píng)估

檢測(cè)結(jié)果如表1和表2所示，原始數(shù)據(jù)集經(jīng)過旋轉(zhuǎn)操作，擴(kuò)增的數(shù)據(jù)集經(jīng)過SSD訓(xùn)練，此時(shí)SSD算法的識(shí)別率為18.2%，誤檢率為20.2%。CycleGAN擴(kuò)增后的數(shù)據(jù)集訓(xùn)練的SSD模型，故障絕緣子識(shí)別率為21.6%，誤檢率為21.8%；DCGAN擴(kuò)增后的數(shù)據(jù)集訓(xùn)練的SSD檢測(cè)模型，故障絕緣子識(shí)別率為27.5%，誤檢率為26.8%；改進(jìn)的CycleGAN擴(kuò)增后的數(shù)據(jù)集訓(xùn)練的SSD模型，絕緣子故障識(shí)別率為29.1%，誤檢率為26.2%。不同故障類型的識(shí)別結(jié)果如表1所示，DCGAN、CycleGAN和改進(jìn)的CycleGAN模型擴(kuò)增原始數(shù)據(jù)集，對(duì)于提升SSD目標(biāo)檢測(cè)模型的故障識(shí)別率有效。改進(jìn)的CycleGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD檢測(cè)模型，在掉串故障下的識(shí)別率為24.7%，DCGAN和CycleGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD檢測(cè)模型，在掉串故障下的識(shí)別率分別為22.5%和17.8%。對(duì)斷裂故障，改進(jìn)的CycleGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD檢測(cè)模型的識(shí)別率為4.3%，DCGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD檢測(cè)模型的識(shí)別率為5%，CycleGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD檢測(cè)模型的識(shí)別率為3.75%。由于斷裂故障屬于細(xì)小特征，因而檢測(cè)效果不好。本文所用的輪廓監(jiān)督的CycleGAN擴(kuò)增的數(shù)據(jù)集訓(xùn)練得到的SSD模型，掉串識(shí)別率高于CycleGAN擴(kuò)增數(shù)據(jù)集后訓(xùn)練得到的SSD模型的，提升了38.4%，比DCGAN擴(kuò)增數(shù)據(jù)集后訓(xùn)練得到的SSD模型的識(shí)別率高了10%。

Table 1 Detection results of different kinds of cracked insulator

當(dāng)故障絕緣子為表面破損，或絕緣子因被鐵塔遮擋而只顯示不連續(xù)的段時(shí)，此時(shí)對(duì)絕緣子故障位置的檢測(cè)容易發(fā)生漏檢。如圖8所示為絕緣子串檢測(cè)。由于在給絕緣子串打標(biāo)簽時(shí)，易將背景(鐵塔)和絕緣子串一起標(biāo)記進(jìn)去，因此會(huì)出現(xiàn)絕緣子串誤檢，但隨著訓(xùn)練迭代的進(jìn)行，卷積層不斷提取到絕緣子串特征，絕緣子串誤檢率會(huì)逐漸下降。

Table 2 Detection results on different datasets

Figure 8 Detetction of insulator string

5 結(jié)束語(yǔ)

針對(duì)絕緣子目標(biāo)檢測(cè)圖像需要大量樣本和實(shí)際樣本不足的問題，本文提出了一種改進(jìn)的CycleGAN絕緣子圖像生成方法，通過修改CycleGAN的損失函數(shù)學(xué)習(xí)缺陷絕緣子圖像的模式分布來生成混肴圖像，采用生成的圖像對(duì)原始數(shù)據(jù)集進(jìn)行擴(kuò)增。該方法在原始圖像中隨機(jī)添加噪聲構(gòu)成圖像，沒有明確的建圖規(guī)則。在真實(shí)采集的圖像數(shù)據(jù)上進(jìn)行測(cè)試，得到以下結(jié)論：

(1)基于改進(jìn)的CycleGAN的圖像生成方法生成的圖像并非與樣本保持完全一致(由隨機(jī)噪聲生成的圖像與原始圖像逐像素相同概率很低)，兩者在外形輪廓相似的情況下有所差異，這使得增強(qiáng)后的缺陷絕緣子圖像具有多樣性特征。

(2)相比于傳統(tǒng)的GAN模型，基于改進(jìn)的CycleGAN模型，在圖像生成的多樣性和真實(shí)度上有了明顯提升。DCGAN生成的圖像，由于沒有規(guī)則制約生成圖像的輪廓，通過人眼判斷其真實(shí)度不如改進(jìn)的CycleGAN模型的，誤檢率也較高。

(3)在生成對(duì)抗網(wǎng)絡(luò)模型訓(xùn)練時(shí)，當(dāng)訓(xùn)練集中2幅圖像的絕緣子之間長(zhǎng)寬比相差較大時(shí)，生成的絕緣子圖像給人的真實(shí)感不夠理想。絕緣子上的破損在訓(xùn)練時(shí)易和灰塵混肴，不利于檢測(cè)。