奚鑫澤，邢超，覃日升，劉輝，周鑫，和鵬，孟賢

（1.云南電網(wǎng)有限責(zé)任公司電力科學(xué)研究院，云南昆明 650217；2.廣西大學(xué)，電氣工程學(xué)院，廣西南寧 530004）

0 引言

隨著泛在電力物聯(lián)網(wǎng)的快速發(fā)展，分布式能源與非線性負(fù)載集成到電網(wǎng)中，如大量的固態(tài)開關(guān)設(shè)備、電力電子開關(guān)、非線性負(fù)載等接入容易導(dǎo)致電網(wǎng)的電壓、電流畸變嚴(yán)重，電能質(zhì)量問題嚴(yán)峻，甚至已經(jīng)對電網(wǎng)設(shè)備的穩(wěn)定運行造成影響[1-3]。因此，對電能質(zhì)量擾動類型進(jìn)行精準(zhǔn)辨識是電能質(zhì)量優(yōu)化控制的關(guān)鍵[4]。

當(dāng)前電網(wǎng)環(huán)境復(fù)雜，各類新能源的并網(wǎng)造成電壓信號嚴(yán)重畸變，電能質(zhì)量擾動（Power Quality Disturbance，PQD）識別技術(shù)亟需開展深入研究。準(zhǔn)確識別PQD，需提前獲取PQD 的擾動特征，近年來，很多時頻分析的方法被用在PQD 領(lǐng)域[5-8]。文獻(xiàn)[9-10]將小波分解應(yīng)用在電能質(zhì)量擾動特征提取上，但小波基難以準(zhǔn)確選取，影響擾動識別的準(zhǔn)確性。文獻(xiàn)[11-12]將稀疏分解應(yīng)用在電能質(zhì)量擾動參數(shù)檢測上，但稀疏字典的構(gòu)造缺乏自適應(yīng)性。文獻(xiàn)[13-14]通過S 變換構(gòu)造PQD 信號的時頻矩陣，進(jìn)而構(gòu)造PQD 的時域與頻域特征進(jìn)行擾動辨識，但S 變換中窗參數(shù)的選取缺乏理論依據(jù)，難以獲取最佳時頻分辨率，影響擾動識別精度。

現(xiàn)有的時頻分析方法難以自適應(yīng)獲取PQD 特征。近年來，大數(shù)據(jù)、深度學(xué)習(xí)等理論的發(fā)展使得大規(guī)模并行處理電能質(zhì)量數(shù)據(jù)并自適應(yīng)提取擾動特征成為可能。文獻(xiàn)[15]通過循環(huán)神經(jīng)網(wǎng)絡(luò)獲取電能質(zhì)量擾動信號的時序特征，進(jìn)而進(jìn)行PQD 識別，但對于暫態(tài)擾動特征提取精度不高。文獻(xiàn)[16]提出一種格拉姆角場變換與卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）相結(jié)合的電能質(zhì)量擾動分類方法，但文中將電能質(zhì)量擾動轉(zhuǎn)為二維圖像進(jìn)行識別，失去擾動信號的物理意義。文獻(xiàn)[17]將長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）融合CNN 進(jìn)行PQD 識別，但網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，訓(xùn)練時間長，容易過擬合。

為彌補現(xiàn)有方法在復(fù)雜電網(wǎng)環(huán)境下對電能質(zhì)量擾動分類的不足，本文通過多層卷積神經(jīng)網(wǎng)絡(luò)逐層提取電能質(zhì)量擾動信號的高維特征，引入注意力機制增強模型對擾動信號局部特征與全局特征的有效融合，提升各PQD 關(guān)鍵特征信息關(guān)注度，提高擾動特征識別度，利用softmax 函數(shù)對PQD 進(jìn)行分類，據(jù)此提出基于多層特征融合注意力網(wǎng)絡(luò)的電能質(zhì)量擾動識別方法，并經(jīng)仿真實驗驗證了該方法的準(zhǔn)確性與適用性。

1 多層特征融合注意力網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是一種典型的前饋神經(jīng)網(wǎng)絡(luò)，通過一系列交替設(shè)置的卷積層和池化層自適應(yīng)提取特征，進(jìn)而通過分類器進(jìn)行分類[18]。用于分類任務(wù)的CNN 典型網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型一般結(jié)構(gòu)Fig.1 Architecture of CNN model

本文對PQD 信號進(jìn)行分類，本質(zhì)上處理的是時間序列，故采用一維卷積神經(jīng)網(wǎng)絡(luò)。對于輸入維度為n的離散時間序列Xn=[x1，x2，…，xn]，一維卷積層的映射過程可表示為：

式中：xi+j-1為輸入的第i+j-1 的特征值；s為卷積核的大?。籯j為第j個卷積核中神經(jīng)元的權(quán)重；b為偏置；f（*）為非線性激活函數(shù)；yi為第i個卷積的輸出值（i取值范圍是[0，n-s+1]，即卷積的輸出是長度為n-s+1 的序列）。

式（1）中的非線性激活函數(shù)f（*）取Relu 函數(shù)，相比Sigmoid 函數(shù)有防止梯度彌散和計算速度快等優(yōu)點，其表達(dá)式為：

式中：x為輸入的特征值。

卷積神經(jīng)網(wǎng)絡(luò)通過池化操作將池化區(qū)域內(nèi)的一系列數(shù)據(jù)按一定規(guī)則轉(zhuǎn)化為一個輸出值，有效減少了模型的參數(shù)，提升了模型的運算速度。通常有式（3）的均值池化hmean與式（4）的最大池化hmax。

式中：? 為池化域內(nèi)的所有序列數(shù)據(jù)組成的集合；N為待池化區(qū)域的特征值數(shù)量；max（*）表達(dá)式為輸出集合中的最大值。

通過卷積池化操作后構(gòu)造的特征向量經(jīng)過全連接層映射進(jìn)行分類，其映射可表示為：

式中：W為權(quán)重矩陣。

1.2 注意力機制

由于不同擾動信號的特征不同，因此在識別不同類別擾動時，各層特征的重要性也不同。為了表征各個特征層的重要程度，進(jìn)而根據(jù)特征本身的特點加強重要特征并抑制不重要的特征[19]，本文采用壓縮-拓展模塊的注意力機制實現(xiàn)多層特征的融合，其基本結(jié)構(gòu)如圖2 所示。

圖2 壓縮-拓展注意力模塊Fig.2 Squeeze-and-excitation attention block

圖2中L為特征圖的通道數(shù)，F(xiàn)為每個特征向量的維度，r為壓縮系數(shù)。對于輸入尺寸為L*F的特征圖，首先采用全局池化得到1*L的壓縮向量，以獲得卷積特征圖的每個通道的全局信息嵌入（特征向量）。由于每個通道只有一個特征值，得到的特征向量具有全局性。然后采用兩層全連接層進(jìn)行壓縮拓展變換，此時得到了1*L的注意力系數(shù)向量，以表征不同層特征的重要性。該結(jié)構(gòu)靈活簡單，添加后網(wǎng)絡(luò)的訓(xùn)練速度不會大幅降低。各通道之間的關(guān)系是相互獨立的，因此學(xué)習(xí)到的注意力系數(shù)能夠激勵重要的特征，抑制不重要的特征，在深度網(wǎng)絡(luò)中起到特征選擇的作用，有效提高擾動識別精度。

1.3 多層特征融合注意力網(wǎng)絡(luò)構(gòu)建

為提升各PQD 關(guān)鍵特征信息關(guān)注度，提升電能質(zhì)量擾動的辨識精度，構(gòu)建了注意力機制融合多層CNN 輸出特征，提出一種多層特征融合注意力網(wǎng)絡(luò)（Multi-layer Feature Fusion Attention Network，MLFFAN），整個網(wǎng)絡(luò)模型框架如圖3 所示。

圖3 MLFFAN算法框圖Fig.3 Flow chart of MLFFAN algorithm

如圖3 所示，該網(wǎng)絡(luò)主要由CNN、特征注意力以及分類器等3 個模塊構(gòu)成。其中，CNN 模塊由4個堆疊的卷積塊構(gòu)成，卷積塊結(jié)構(gòu)如圖4 所示。

圖4 卷積塊結(jié)構(gòu)Fig.4 Structure of convolution block

從圖4 可以看到，每個卷積塊包括1 個卷積層、1 個激活層和1 個池化層。每個卷積層的卷積步長設(shè)置為1，網(wǎng)絡(luò)逐層獲取PQD 局部特征，并最終提取PQD 全局特征；每層卷積后面采用Relu 激活函數(shù)進(jìn)行非線性變換；最后，采用最大值池化降低特征維度，篩選重要特征。對于給定長度為n的擾動信號xn，每個卷積塊的映射過程可以表示為：

式中：fRelu（*）為Relu 激活函數(shù)；m為最大值池化的核大小；Fi為卷積塊的第i個輸出。最終，4 個卷積層分別得到4 個特征向量F1，F(xiàn)2，F(xiàn)3和F4。

得到4 個特征向量之后，采用1.2 節(jié)所述的壓縮-拓展模塊計算各個特征向量的注意力系數(shù)，進(jìn)行特征融合。

由于網(wǎng)絡(luò)的逐層遞增，PQD 局部特征容易丟失，并造成特征冗余。因此，通過注意力機制融合網(wǎng)絡(luò)輸出的PQD 特征，提升網(wǎng)絡(luò)對關(guān)鍵擾動特征的關(guān)注度，各特征層與相應(yīng)的注意力系數(shù)相乘構(gòu)建PQD 特征向量，消除特征冗余，提高PQD 識別準(zhǔn)確性。

在進(jìn)行特征融合之前，首先通過全局均值池化操作對各個卷積塊輸出的特征（F1，F(xiàn)2，F(xiàn)3，F(xiàn)4）進(jìn)行降維，得到特征向量，降維過程為：

式中：fGAP（*）為全局均值池化。

然后，采用式（9）計算注意力系數(shù)αi。

式中：σ為Sigmoid 激活函數(shù)；W1為2*4 維度的壓縮矩陣；W2為維度為4*2 的拓展矩陣；δ為Relu 激活函數(shù)；fMax（*）為全局最大值池化。

然后，將各個特征向量與相應(yīng)的注意力系數(shù)相乘并拼接，得到最終融合的特征向量Fz，具體融合過程如下：

最后，采用單隱藏層的全連接神經(jīng)網(wǎng)絡(luò)直接對融合特征進(jìn)行變換，通過Softmax 函數(shù)得到最終擾動類別標(biāo)簽。

模型訓(xùn)練過程中以交叉熵?fù)p失為損失函數(shù)Loss進(jìn)行迭代優(yōu)化，表達(dá)式為：

式中：N為樣本數(shù)量；K為類別數(shù)量；yi,k和pi,k分別為第i個樣本的第k個標(biāo)簽的真實值和預(yù)測值。

構(gòu)建的多層特征融合注意力網(wǎng)絡(luò)MLFFAN 的電能質(zhì)量擾動識別方法的參數(shù)（無量綱）設(shè)置如表1所示。

表1 MLFFAN模型參數(shù)設(shè)置Table 1 Setting of MLFFAN model parameters

2 實驗結(jié)果與分析

2.1 擾動信號仿真數(shù)據(jù)集

根據(jù)PQD 的IEEE Std.1159 標(biāo)準(zhǔn)，基于暫升、暫降、中斷、閃變、諧波、脈沖暫態(tài)和振蕩暫態(tài)7 種典型的單一擾動信號建立18 種單一和復(fù)合擾動的數(shù)學(xué)模型，具體類別與標(biāo)簽見表2。

表2 擾動類別及其標(biāo)簽Table 2 PQD types and labels

在MATLAB 生成PQD 數(shù)據(jù)集，擾動模型中涉及到的變化參數(shù)，如擾動幅值、擾動開始時刻、擾動結(jié)束時間、諧波頻率、振蕩幅值、振蕩頻率相對系數(shù)等，通過取其參數(shù)范圍內(nèi)的隨機數(shù)的方式確定（隨機數(shù)選取呈現(xiàn)均勻分布）。本文設(shè)置基頻為50 Hz，采樣頻率為一般錄波設(shè)備的采樣頻率3.2 kHz，采樣10 個周期，共640 個采樣點。單一擾動的仿真波形如圖5 所示，其橫坐標(biāo)為采樣點序號。

圖5 單一擾動的仿真波形Fig.5 Simulated waveforms of single PQD

每種擾動類型生成500 個樣本，隨機選取其中300 個作為訓(xùn)練集，100 個作為驗證集，100 個作為測試集。最終，得到5 400 個訓(xùn)練樣本、1 800 個驗證樣本和1 800 個測試樣本?？紤]實際環(huán)境中的噪聲問題，在擾動數(shù)據(jù)集上添加高斯白噪聲，信噪比為20～50 db 之間的隨機值。此外，為了全面評估模型抗噪性，本文額外構(gòu)造信噪比分別為20 db，30 db，40 db，50 db 的測試集。

2.2 仿真結(jié)果與分析

為了更加直觀地說明所提特征融合網(wǎng)絡(luò)對特征區(qū)分度的影響，通過t分布隨機領(lǐng)域嵌入（t-Distributed Stochastic Neighbor Embedding，t-SNE）降維可視化方法，將8 種單一擾動（C0-C7）的原始數(shù)據(jù)和網(wǎng)絡(luò)提取的特征降成二維并可視化，如圖6 所示，橫縱坐標(biāo)表示二維特征空間的2 個維度（無量綱）。

圖6（a）是對原始擾動數(shù)據(jù)的可視化結(jié)果，在特征提取之前，8 種單一擾動的可分性較差，只有部分?jǐn)_動類型如C01 諧波和C05 暫升相對可分，聚為一簇。圖6（b）是經(jīng)過所提特征融合網(wǎng)絡(luò)提取特征后的可視化結(jié)果，每種單一擾動基本聚為一簇，且不同擾動類別直接相隔一定距離，說明特征的可區(qū)分度很高，易于分類。

圖6 t-SNE特征可視化Fig.6 Feature visualization with t-SNE

在Pytorch 實現(xiàn)本文所提多層特征融合注意力網(wǎng)絡(luò)的電能質(zhì)量擾動識別方法，網(wǎng)絡(luò)的最小批尺寸設(shè)為128，共迭代訓(xùn)練50 次，訓(xùn)練過程如圖7 所示。

圖7 訓(xùn)練過程的正確率和交叉熵?fù)p失Fig.7 Accuracy and cross entropy loss in training process

從圖7 可知，隨著模型訓(xùn)練次數(shù)的遞增，訓(xùn)練集和驗證集的正確率逐漸提升，損失也隨之下降。當(dāng)訓(xùn)練迭代次數(shù)達(dá)到30 次之后，訓(xùn)練集與驗證集的正確率、損失基本不再變化，驗證集擾動識別正確率與訓(xùn)練集擾動識別正確率基本相同，表明此時模型收斂，并具有很強泛化能力。

為驗證本文所提算法的適用性，采用各類復(fù)合擾動及混合擾動的測試集對模型進(jìn)行測試，仿真結(jié)果如表3 所示，其中“綜合”表示采用包含所有擾動類別的測試集的測試結(jié)果。

表3 MLFFAN方法的擾動分類效果Table 3 Disturbance classification result of MLFFAN method %

從表3 可以看到，本文所提的MLFFAN 分類方法可有效對各種噪聲條件下多重復(fù)合擾動精準(zhǔn)分類，在信噪比為20 dB 的極端噪聲環(huán)境下模型的分類正確率扔可達(dá)95%，可見模型具有較高抗噪性能。在隨機噪聲下，模型對單一擾動和二重擾動的分類正確率接近100%，對三重復(fù)合擾動也有約98%的正確率。綜合來看，MLFFAN 方法在20～50 db的隨機噪聲下識別本文所述18 種擾動的整體正確率可達(dá)99.22%，可見模型具有較高的分類正確率。

為了進(jìn)一步說明所提MLFFAN 模型的有效性，構(gòu)建了3 種其他的深度模型作為對比，對比模型的結(jié)構(gòu)說明如下：

1）CNN：在所提MLFFAN 模型的基礎(chǔ)上，去掉網(wǎng)絡(luò)的中間層輸出和注意力融合模塊，僅保留經(jīng)典的卷積分類網(wǎng)絡(luò)的結(jié)構(gòu)；

2）CNN-LSTM[20]：先采用CNN 提取出擾動信號的深層特征序列，再用LSTM 捕捉特征序列的時序相關(guān)性，最后對輸出特征進(jìn)行映射分類。網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)均選擇文獻(xiàn)[20]提出的最優(yōu)參數(shù)；

3）Deep-CNN[17]：一種由一維卷積層、批歸一化層和池化層堆疊而成的6 層深度卷積網(wǎng)絡(luò)。各層卷積的卷積核數(shù)量分別設(shè)為32，32，64，64，128 和128。網(wǎng)絡(luò)的結(jié)構(gòu)與其他參數(shù)均選擇文獻(xiàn)[21]提出的最優(yōu)參數(shù)。

采用Pytorch 框架實現(xiàn)上述3 種對比模型，設(shè)置迭代輪次為50 次，在相同配置環(huán)境下對4 種算法進(jìn)行擾動分類實驗，結(jié)果對比如表4 所示。

表4 4種算法的結(jié)果對比Table 4 Results comparison of 4 calculation methods%

從表4 可知，所提MLFFAN 在各種噪聲水平下均取得了最高的分類正確率。相比于傳統(tǒng)的CNN網(wǎng)絡(luò)，MLFFAN 的正確率提高了約1%，表明本文通過注意力機制融合多層特征層，有效改進(jìn)了CNN 算法性能，提升了PQD 分類正確率。

為了進(jìn)一步驗證所提MLFFAN 模型對復(fù)合擾動細(xì)節(jié)特征的提取能力，測試了不同深度模型在20～50 dB 隨機噪聲條件下對各類擾動的識別情況。由表4 可知，Deep-CNN 模型在不同對比模型中識別精度表現(xiàn)最好，因此選擇Deep-CNN 與MLFFAN進(jìn)行對比分析，具體結(jié)果如圖8 所示。

圖8 不同擾動類型的識別情況Fig.8 Identification of different PQDs

如圖8 所示，2 個模型對C8，C9，C10，C15，C16和C17 這6 種擾動類別的識別精度有明顯降低。相比于Deep-CNN 模型，本文所提MLFFAN 模型對這6 種擾動類型的識別精度有較大提升。C8，C9，C10 分別表示振蕩暫態(tài)和暫升、暫降以及中斷的組合，C15，C16 和C17 是在C8，C9，C10 基礎(chǔ)上疊加了諧波。為了便于分析，將C8 諧波+暫升和C15 諧波+振蕩暫態(tài)+暫升的擾動波形（信噪比為30 dB）繪制在圖9，其橫坐標(biāo)為采樣點序號。

如圖9 所示，由于暫升和諧波這2 種擾動的幅值特征和頻率特征變化明顯，而振蕩暫態(tài)的擾動發(fā)生時間短、振蕩幅度小，導(dǎo)致此類型擾動更加難以識別，進(jìn)而導(dǎo)致C8 和C15 2 種擾動類型的混淆。同理，C9 和C16 之間、C10 和C17 之間也會產(chǎn)生同樣的混淆問題。但實驗結(jié)果表明，本文所提MLFFAN 模型在這6 種難識別擾動的分類精度上有較大提升，這是由于所提方法融合卷積網(wǎng)絡(luò)各層的特征數(shù)據(jù)，能夠同時有效提取擾動信號中的細(xì)節(jié)特征和全局特征，相比于其他深度學(xué)習(xí)算法有效減少了細(xì)節(jié)特征的丟失，保留原擾動信號中的細(xì)節(jié)信息。

圖9 C8和C15的擾動波形Fig.9 Waveforms of PQD C8 and C15

最后，將本文所提MLFFAN 算法與現(xiàn)有的擾動識別算法進(jìn)行對比，進(jìn)一步分析MLFFAN 方法的優(yōu)越性。3 種傳統(tǒng)方法分別是采用離散小波變換（DWT）和概率神經(jīng)網(wǎng)絡(luò)的方法（DWT+PNN）[21]、采用變分模態(tài)分解和決策樹的方法（VMD+DT）[22]以及采用可調(diào)品質(zhì)因子小波變換和隨機森林的方法（TQWT+RF）[23]。另外，將文獻(xiàn)[24]采用的相空間重構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)方法（PSR+CNN）、文獻(xiàn)[25]采用的稀疏自編碼器方法（SSAE）2 種深度學(xué)習(xí)方法與本文方法在同一環(huán)境下進(jìn)行擾動分類實驗對比。比較結(jié)果如表5 所示。

表5 本文所提方法與現(xiàn)有方法的對比Table 5 Comparison between proposed method and existing methodss %

由表5 可知，整體上自動提取特征的擾動分類方法在各個噪聲水平下識別精度高于人工提取特征的傳統(tǒng)方法。相較于傳統(tǒng)PQD 分類方法，所述MLFFAN 方法通過多層卷積池化后，并引入注意力機制，融合各層擾動特征，自適應(yīng)構(gòu)造擾動特征向量作為最后全連接層的輸入，避免傳統(tǒng)方法中的人工特征選取的問題，也解決了人工選取特征往往僅針對特定擾動識別效果好，限制模型的擾動識別數(shù)量的問題。相比于現(xiàn)有的深度學(xué)習(xí)方法，所述MLFFAN 方法優(yōu)于文獻(xiàn)[24]采用的相空間重構(gòu)和卷積神經(jīng)網(wǎng)絡(luò)方法。文獻(xiàn)[25]提出的稀疏自編碼器方法雖然略高于MLFFAN 方法，但其僅能識別9 種擾動，難以處理實際中的復(fù)雜擾動情形，因此本文所提的MLFFAN 更適用于PQD 分類。

3 結(jié)論

為實現(xiàn)復(fù)雜電網(wǎng)環(huán)境下電能質(zhì)量擾動特征自適應(yīng)提取，提高擾動識別正確率，提出了基于多特征融合注意力網(wǎng)絡(luò)的電能質(zhì)量擾動識別方法。特征可視化的結(jié)果表明，所提特征融合注意力網(wǎng)絡(luò)能夠提取有效特征，增加擾動類別之間的區(qū)分度；仿真結(jié)果表明：通過低維到高維的多層特征融合改進(jìn)了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的特征提取過程，提升了電能質(zhì)量擾動特征辨識度；特征注意力機制提升了網(wǎng)絡(luò)對電能質(zhì)量擾動信號全局特征與局部特征的關(guān)注度，提高模型泛化能力。本文所提方法在單一擾動、復(fù)合擾動與噪聲環(huán)境下均能有效對電能質(zhì)量擾動進(jìn)行識別，與主流檢測方法相比，本文所提方法能夠有效構(gòu)建復(fù)雜電網(wǎng)環(huán)境下電能質(zhì)量擾動信號的全局特征與局部特征，減輕了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的過擬合問題，促進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)在復(fù)雜電網(wǎng)環(huán)境下電能質(zhì)量擾動識別的應(yīng)用。