郭 瑜, 童麗娜，倪旭明

(國網(wǎng)金華供電公司,浙江 金華 321000)

0 引言

近年來，電力系統(tǒng)的安全性及穩(wěn)定性在行業(yè)的關(guān)注度逐步提升，在這種背景下，安全可靠的電力通信網(wǎng)應(yīng)勢而生。一般情況下，電力通信網(wǎng)需要挖掘大量有著極高冗余度且支離破碎的信息[1-2]，有這些信息作為基礎(chǔ)才能進(jìn)行故障診斷工作，甚至輔助完成網(wǎng)絡(luò)故障的預(yù)測。

現(xiàn)階段電力通信網(wǎng)所采用的主要方法有以下幾種：故障依賴關(guān)系[3-4]、貝葉斯網(wǎng)絡(luò)[5]、模糊邏輯推理[6]、關(guān)聯(lián)規(guī)則[7]，但是所采用的這些方法基本上都是在原有的經(jīng)驗基礎(chǔ)上開展或者依賴于專家豐富的知識儲備，往往會浪費(fèi)大量的資源和時間。就因為如此，找到擁有自學(xué)習(xí)能力且對先驗知識依賴性比較小的方法就顯得尤為關(guān)鍵。神經(jīng)網(wǎng)絡(luò)很符合以上要求，它具備推理、自學(xué)習(xí)、記憶等優(yōu)勢，能夠高效完成復(fù)雜的數(shù)據(jù)關(guān)系推理，因而被廣泛應(yīng)用于電力通信網(wǎng)故障診斷工作[8]。文獻(xiàn)[9]建立的是BP神經(jīng)網(wǎng)絡(luò)模型，通過對期望及實際輸出差值的記錄，并進(jìn)行一定的調(diào)整，對各神經(jīng)元之間的權(quán)重進(jìn)行反向調(diào)節(jié)，從而完成故障診斷和定位。文獻(xiàn)[10]建立的是模糊神經(jīng)網(wǎng)絡(luò)故障診斷模型，通過模糊故障報警信息然后再開展神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方式開展工作。文獻(xiàn)[11]建立的SOM-BP改進(jìn)模型，經(jīng)過驗證能夠有效提升故障診斷的精確性。文獻(xiàn)[12]建立的多子域模型，將整體網(wǎng)格劃分成細(xì)小的子域，然后逐個進(jìn)行神經(jīng)網(wǎng)絡(luò)故障診斷，從而實現(xiàn)最終診斷功能。上述模型都有著比較好的效果，但是傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)對故障標(biāo)簽數(shù)據(jù)有著非常大的數(shù)量需求，且在網(wǎng)絡(luò)訓(xùn)練時都是采用的有監(jiān)督學(xué)習(xí)方式，而在現(xiàn)實的電力通信網(wǎng)中，想要獲取大量的故障標(biāo)簽數(shù)據(jù)還是有很大的難度，所以，在電力通信網(wǎng)中利用無監(jiān)督學(xué)習(xí)方式進(jìn)行故障診斷是順勢而為、大勢所趨[13-16]。

隨著人工智能的迅猛發(fā)展，深度學(xué)習(xí)技術(shù)實現(xiàn)飛躍式發(fā)展，在多個領(lǐng)域得到廣泛的應(yīng)用，并且獲得顯著的效果。深度學(xué)習(xí)與上述機(jī)器學(xué)習(xí)算法相比較，能夠從數(shù)據(jù)當(dāng)中自動提取與組合輸入特征，有效規(guī)避人工干預(yù)造成的主觀性；其次，一些學(xué)者從數(shù)學(xué)上證明了其無窮擬合能力的完備性，現(xiàn)階段已成為各個領(lǐng)域的研究熱點[17-18]。目前一些常規(guī)的深度學(xué)習(xí)模擬已經(jīng)在電力通訊診斷中進(jìn)行應(yīng)用，例如堆棧自編碼器、長短期記憶網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)等，并且取得良好的應(yīng)用效果。聶曉音等人考慮自編碼棧式相關(guān)性和稀疏性，提出一種電力通訊網(wǎng)絡(luò)故障診斷方法；李帥基于卷積神經(jīng)網(wǎng)絡(luò)，構(gòu)建電力通訊故障診斷模型，最終實現(xiàn)故障診斷。雖然已有的研究已經(jīng)在自建數(shù)據(jù)集上取得了較高的識別精度，但多數(shù)傳統(tǒng)深度學(xué)習(xí)模型主要針對文本語音數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，較少涉及電力系統(tǒng)測量數(shù)據(jù)，且上述大部分模型將懲罰權(quán)重添加至損失函數(shù)當(dāng)中，雖然使不穩(wěn)定樣本的召回率得到一定程度的改善，但造成穩(wěn)定樣本的查準(zhǔn)率降低，并未有效提高模型整體故障診斷的水平[19-20]。

綜上所述，基于機(jī)器學(xué)習(xí)算法的自身優(yōu)勢和電力通訊網(wǎng)告警數(shù)據(jù)的特點，本文提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信網(wǎng)故障診斷方法，較好地實現(xiàn)電力通信故障的診斷和定位。

1 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)原理

1.1 卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中較為常見的智能算法，具有較強(qiáng)的特征提取能力，廣泛應(yīng)用于視頻和音頻智能識別領(lǐng)域，其組成結(jié)果如圖1所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

由圖1可知，卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、池化層及全連接層構(gòu)成。卷積層主要作用是通過不斷訓(xùn)練得到損失函數(shù)最優(yōu)的卷積核，進(jìn)而實現(xiàn)數(shù)據(jù)特征的自動提??；卷積層內(nèi)所得到的主要特征被池化層提取，并對其進(jìn)行時間降維操作。卷積層和池化層不斷的堆積疊加從而構(gòu)成深度網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)過層層抽象得到更高級別的序列特征。

圖1中輸入模型為：

X=[x1,x2,…,xt,…，xs]T

(1)

式中,X∈Rs×d表示輸入?yún)?shù)；d表示特征值的個數(shù)；s表示輸入?yún)?shù)的長度；Xt為時刻t特征向量的表達(dá)式，且維度為d。

卷積層是序列數(shù)據(jù)通過卷積運(yùn)算映射形成，其表達(dá)式為：

(2)

卷積層中最為有用的序列特征信息通過池化運(yùn)算進(jìn)行捕捉，從而形成池化層，其表達(dá)式為：

(3)

式中,pool(·)為池化運(yùn)算，一般情況分為全局最大池化與最大池化，前者可以將最用用的全局時序信息捕獲，序列長度縮減至1，如式(4)所示，一般在最后一次出現(xiàn)池化層時運(yùn)用；后者能夠?qū)⑿蛄虚L度減少至原來的一半，如式(5)所示：

global-maxpool(Z)=max(z[:])

(4)

maxpool(z)=max(z[2k-1],z[2k])

(5)

式中,z[:]為取出向量z所包含的所有參數(shù)；z[k]表示可取出向量Z第k個參數(shù)；z[·]為數(shù)組切片。

全連接層的結(jié)構(gòu)和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)一樣，由多層隱含層構(gòu)。全局時序特征在全連接層得到進(jìn)一步抽象組合，最終輸出：

afc=fr(ap_lastWfc+b)

(6)

式中,Wfc∈Rnfc表示全連接層權(quán)值矩陣，其中b表示偏置；nfc表示隱含單元的數(shù)量。fr(z)同樣為ReLU激活函數(shù)。

針對二分類問題，其輸出單元的個數(shù)為1，通過全連接輸出的結(jié)果為：

(7)

為了實現(xiàn)參數(shù)的更新，本文選用的損失函數(shù)為：

τ=L(x,y)=∑iyilog(pi)

(8)

其中：

式中，C表示分類任務(wù)的類別數(shù)量。

1.2 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)原理

卷積神經(jīng)網(wǎng)絡(luò)中激活函數(shù)是重要的組成部分之一，由上文介紹可知卷積層與池化層在得到新的特征向量之后，一般情況下會通過一個非線性函數(shù)來將輸出結(jié)果進(jìn)行映射，從而改善線性操作所帶來的表達(dá)能力不足現(xiàn)象。

飽和與不飽和非線性激活函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)兩種主要的激活函數(shù)類型。Softplus和ReLU激活函數(shù)函數(shù)是常見的不飽和非線性激活函數(shù)，雙曲正切函數(shù)Tanh和Sigmoid函數(shù)是常見的飽和非線性激活函數(shù)。在實際應(yīng)用的過程中，不飽和非線性激活函數(shù)呈現(xiàn)出較慢的收斂速度和梯度彌散進(jìn)而致使網(wǎng)絡(luò)不收斂的現(xiàn)象。目前ReLU激活函數(shù)是卷積神經(jīng)網(wǎng)絡(luò)使用最為廣泛的激活函數(shù)，該函數(shù)能夠使小于零的數(shù)據(jù)強(qiáng)制置零，保持大于零的值不變，具有較好的稀疏性，更加符合生物學(xué)原理。ReLU函數(shù)在實際應(yīng)用過程中計算簡單，可以有效改善卷積神經(jīng)網(wǎng)絡(luò)不收斂的現(xiàn)象，并且具有更好的收斂速度和識別效果。Softplus激活函數(shù)和ReLU相比不具有稀疏性，是ReLU近似光滑的表示方式。

針對上述對比分析，本文結(jié)合ReLU和Softplus兩個激活函數(shù)的特點，提出一種改進(jìn)激活函數(shù)，使其同時具備光滑性與稀疏性，改進(jìn)激活函數(shù)表達(dá)式為：

(9)

改進(jìn)激活函數(shù)的圖形如圖2所示。由圖2可知，激活函數(shù)改進(jìn)之后能夠?qū)⒇?fù)數(shù)值強(qiáng)制置零，從而使激活函數(shù)的稀疏性得到保證；運(yùn)用Softplus激活函數(shù)來對整數(shù)部分的數(shù)值進(jìn)行計算，因此改進(jìn)激活函數(shù)在具備稀疏性的同時也具備良好的光滑特性。激活函數(shù)改進(jìn)后卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其中卷積層與池化層選用ReLU激活函數(shù)，全連接層選用改進(jìn)后的激活函數(shù)。

圖2 改進(jìn)激活函數(shù)圖

圖3 改進(jìn)激活函數(shù)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

2 告警數(shù)據(jù)預(yù)處理

電力通信網(wǎng)當(dāng)中的告警信息多數(shù)與網(wǎng)絡(luò)運(yùn)行狀態(tài)息息相關(guān)，通過對告警信息進(jìn)行分析，能夠找到網(wǎng)絡(luò)故障的根源。通常情況下告警信息存在缺失、重復(fù)、含噪音和時間不同步等問題。因此系統(tǒng)在對告警信息進(jìn)行故障診斷分析之前必須對其進(jìn)行進(jìn)行預(yù)處理操作，主要包含數(shù)據(jù)清洗及及統(tǒng)一、信息時間同步、數(shù)據(jù)加權(quán)編碼三部分。

2.1 告警數(shù)據(jù)清洗及統(tǒng)一

選取和故障診斷相關(guān)度較高的告警信息字段，并且去除原始告警數(shù)據(jù)庫中重復(fù)的字段。定義告警開始時間、告警的名稱、告警的類型、告警的級別和告警源為標(biāo)準(zhǔn)告警格式，對不同專業(yè)網(wǎng)管告警信息進(jìn)行統(tǒng)一化處理。

2.2 告警信息時間同步

針對故障時刻所發(fā)生的故障信息，采用滑動時間窗口的方法對告警信息時間進(jìn)行同步，最終形成告警事務(wù)表。

2.3 告警數(shù)據(jù)加權(quán)編碼

2.3.1 告警數(shù)據(jù)加權(quán)

由歷史告警和故障數(shù)據(jù)可以知道不同告警類型和信息對于故障診斷和判定的重要程度是不一樣的，故對于所有告警通過告警類型和級別進(jìn)行加權(quán)操作，從而來體現(xiàn)其對故障診斷和判定的影響程度。

本文提出一種基于小波神經(jīng)網(wǎng)絡(luò)模型來對告警信息進(jìn)行加權(quán)操作，該模型如圖4所示。

圖4 小波神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型

假設(shè)訓(xùn)練樣本為P組，輸入層和輸出層的單元數(shù)分別為N、M，則輸出為：

(10)

輸出值的標(biāo)誤差表達(dá)式為：

(11)

通過對模型不斷的訓(xùn)練，從而找到合適的位移因子、尺度因子和連接權(quán)，使輸入層(告警信息)與輸出層(告警權(quán)值)呈現(xiàn)出更好的對應(yīng)關(guān)系，從而完成對告警信息的加權(quán)操作。

為了統(tǒng)一量綱，選取歸一化方式對權(quán)值進(jìn)行處理，最終得到各故障所對應(yīng)的歸一化加權(quán)值。

2.3.2 告警數(shù)據(jù)編碼

故障點定位和故障類型判斷是電力通訊網(wǎng)故障診斷的主要任務(wù)，故在實際故障判斷過程中各故障狀態(tài)矩陣所對應(yīng)的故障標(biāo)簽是二維的，故在上述權(quán)值的基礎(chǔ)上運(yùn)用二值化編碼的方式對各種告警所對應(yīng)的告警事務(wù)進(jìn)行編碼操作，利用狀態(tài)故障特征矩陣將電力通訊網(wǎng)絡(luò)拓?fù)潢P(guān)系與故障狀態(tài)之間的關(guān)系表征出來。

3 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信網(wǎng)故障診斷模型

3.1 診斷模型結(jié)構(gòu)設(shè)計

為了能夠有效提取電力通信故障特征，本文運(yùn)用如圖5所示的診斷模型結(jié)構(gòu)。其中Input為輸入層；Conv為卷積層；Maxpooling為池化層；FC為全連層，使用改進(jìn)激活函數(shù)(g(x))；3Conv·32/ReLU表示卷積核尺寸大小為3，卷積核整體個數(shù)為64，激活函數(shù)為ReLU函數(shù)；Output為輸出層sofamax為分類層。整體診斷模型結(jié)構(gòu)自下向上進(jìn)行，電力通信數(shù)據(jù)經(jīng)過預(yù)處理后進(jìn)入輸出層，各卷積層后均與池化層相連接，最后經(jīng)過全連接層輸出診斷結(jié)果。

圖5 故障診斷模型結(jié)構(gòu)圖

3.2 故障診斷實現(xiàn)流程

3.2.1 開發(fā)環(huán)境搭建

目前Tensorflow、Torch、Caffe和Theano等機(jī)器學(xué)習(xí)框架已經(jīng)成熟應(yīng)用于各個領(lǐng)域，并且取得良好的應(yīng)用效果，運(yùn)用上述機(jī)器學(xué)習(xí)框架能夠快速高效得到卷積神經(jīng)網(wǎng)絡(luò)分類結(jié)果。本文選用tensorflow1.0框架和pycharm搭建集成開發(fā)環(huán)境，利用python平臺軟件來完成基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信故障診斷。

3.2.2 故障診斷實現(xiàn)流程

在開發(fā)環(huán)境搭建的基礎(chǔ)上，通過圖6所示的流程來完成電力通信網(wǎng)絡(luò)的故障診斷。

圖6 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信故障診斷圖

由圖6可知，基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信故障診斷的主要步驟為：

1)電力通信告警數(shù)據(jù)采集，并進(jìn)行標(biāo)準(zhǔn)化、去重和加權(quán)編碼操作，形成故障狀態(tài)矩陣集合；

2)將故障矩陣集合進(jìn)行樣本轉(zhuǎn)換處理，形成灰度圖片；

3)構(gòu)建神經(jīng)網(wǎng)絡(luò)，對兩類標(biāo)簽輸入樣本進(jìn)行訓(xùn)練；

4)通過卷積池化提取故障特征，并且將全連接層輸出的結(jié)果與實際值進(jìn)行對比，得到兩者誤差值；

5)判斷網(wǎng)絡(luò)是否收斂，如收斂則進(jìn)行步驟7)，反之進(jìn)入步驟6)；

6)將步驟4)所算的誤差值反饋至網(wǎng)絡(luò)的各層，并修正各層階段的權(quán)值，之后轉(zhuǎn)入步驟5)，再次計算網(wǎng)絡(luò)輸出值與真實值的誤差，直到模型收斂結(jié)束；

7)通過損失函數(shù)值對網(wǎng)絡(luò)是否滿足要求進(jìn)行判定，滿足則進(jìn)入步驟8)，反之進(jìn)入步驟4)，對模型參數(shù)進(jìn)行調(diào)整修改；

8)故障診斷結(jié)果輸出。

4 算例仿真及分析

4.1 實驗仿真環(huán)境介紹

核心路由器與SDH設(shè)備是電力通信網(wǎng)的核心組成部分，本試驗仿真在現(xiàn)有資源的基礎(chǔ)上搭建電力通信網(wǎng)絡(luò)故障場景，如圖7所示，在Python平臺搭建Tensorflow1.0深度學(xué)習(xí)框架對故障場景采集的數(shù)據(jù)進(jìn)行處理和模型訓(xùn)練，從而驗證上述故障診斷方法。

圖7 電力通信網(wǎng)絡(luò)測試拓?fù)鋱D

4.2 告警數(shù)據(jù)預(yù)處理

根據(jù)第1節(jié)介紹的方法，對告警數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗及及統(tǒng)一、信息時間同步、數(shù)據(jù)加權(quán)編碼，從而形成故障狀態(tài)矩陣。統(tǒng)一的部分告警數(shù)據(jù)如表1所示。

由表1可以看出，統(tǒng)一告警數(shù)據(jù)主要包含告警級別、告警名稱、告警源、告警事件和告警類別五項，

表1 統(tǒng)一的告警數(shù)據(jù)部分表

其中告警級別主要分為緊急、重要和次要3個級別，告警數(shù)據(jù)主要由通訊告警、設(shè)備告警和安全告警3種類別。

實際故障判斷過程中各故障狀態(tài)矩陣所對應(yīng)的故障標(biāo)簽是二維的，由圖7可知，本文所搭建的電力通信測試拓?fù)鋱D中包含12個站點，定義故障站點的標(biāo)簽集合為{A1，A2，…，A12}，并對其進(jìn)行編碼，編碼結(jié)果如表2所示。

本仿真試驗選取6中故障類型進(jìn)行分析研究，其標(biāo)簽集為{C1,C2，…,C6}，并對故障類型進(jìn)行編碼，如表3所示。

本文電網(wǎng)通信故障診斷不僅要對故障進(jìn)行定位還要判定故障的具體類型，故是多標(biāo)簽分類問題。對表1和表2兩維標(biāo)簽分別進(jìn)行獨(dú)立卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，訓(xùn)練過程中，學(xué)習(xí)率設(shè)定為0.001，迭代次數(shù)設(shè)定為30,最小批次大小設(shè)定為64，最終得到故障診斷結(jié)果。

4.3 實驗仿真結(jié)果分析

選用貝葉斯算法、卷積神經(jīng)網(wǎng)絡(luò)、改進(jìn)卷積神經(jīng)

表2 故障站點編碼與標(biāo)簽表

表3 故障類型編碼與標(biāo)簽表

網(wǎng)絡(luò)進(jìn)行試驗仿真模擬，訓(xùn)練過程中貝葉斯算法在迭代17次時達(dá)到最大準(zhǔn)確率(91.3%)，之后保持持平狀態(tài)；卷積神經(jīng)網(wǎng)絡(luò)在迭代22次時達(dá)到最大準(zhǔn)確率(95.6%)之后保持持平狀態(tài)；改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)在迭代26次達(dá)到最大準(zhǔn)確率(99.1%)之后保持持平狀態(tài)，模擬訓(xùn)練及標(biāo)準(zhǔn)差計算得到診斷準(zhǔn)確率和標(biāo)準(zhǔn)差，如表4所示。

表4 不同仿真試驗結(jié)果

由表4能夠看出：在精度方面，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)最高，平均準(zhǔn)確率高達(dá)99.1%，貝葉斯算法的平均準(zhǔn)確率最低，常規(guī)卷積神經(jīng)網(wǎng)絡(luò)位于兩者之間；在穩(wěn)定性方面，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)算法準(zhǔn)確率標(biāo)準(zhǔn)差最低，僅為0.915%，穩(wěn)定性最好，而貝葉斯算法準(zhǔn)確率標(biāo)準(zhǔn)差最高，穩(wěn)定性相對較差，但在仿真過程中改進(jìn)神經(jīng)網(wǎng)絡(luò)算法較其他兩種算法迭代次數(shù)較高，整體迭代的時間較長。

5 結(jié)束語

基于機(jī)器學(xué)習(xí)算法的自身優(yōu)勢和電力通訊網(wǎng)告警數(shù)據(jù)的特點，本文提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的電力通信網(wǎng)故障診斷方法，通過研究主要得到以下結(jié)論：

1)對卷積神經(jīng)網(wǎng)絡(luò)當(dāng)中的激活函數(shù)進(jìn)行改進(jìn)，使其同時具備光滑性與稀疏性，提升激活函數(shù)的收斂性及收斂速度；

2)提出小波神經(jīng)網(wǎng)絡(luò)模型，得到不同告警類型和信息對于故障診斷和判定的重要程度，進(jìn)一步提升故障診斷的準(zhǔn)確率；

3)仿真試驗驗證表明：改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)具備較高的準(zhǔn)確率和穩(wěn)定性。