付豪，鄒花蕾，張騰飛

（1.國(guó)電南京自動(dòng)化股份有限公司，南京 210032；2.南京郵電大學(xué) 自動(dòng)化學(xué)院，南京 210023）

0 引言

作為智能變電站的高級(jí)應(yīng)用之一，智能變電站的故障推理和綜合分析對(duì)于變電站自動(dòng)化系統(tǒng)有著重要意義，特別是在“大運(yùn)行、大檢修”背景下，基于調(diào)控一體化，主站端的信號(hào)監(jiān)控?cái)?shù)量巨大，值班員負(fù)擔(dān)重，在異常時(shí)，信息量大、甚至信息爆炸，故障判斷困難［1］。智能變電站的故障推理主要是實(shí)現(xiàn)變電站運(yùn)行故障或異常信息的智能分析診斷和預(yù)測(cè)，使告警智能化。它能夠快速定位故障，為各業(yè)務(wù)人員提供高效、直觀的綜合性告警信息和輔助決策依據(jù)［2］，有效提升解決故障的效率。

對(duì)于該應(yīng)用的研究，在工業(yè)界和學(xué)界一直在發(fā)展和持續(xù)進(jìn)步中。2013 年，國(guó)家電網(wǎng)有限公司發(fā)布《智能變電站保護(hù)動(dòng)作信息故障分析判據(jù)導(dǎo)則》，并逐步將故障推理的應(yīng)用納入變電站自動(dòng)化系統(tǒng)的入網(wǎng)檢測(cè)，國(guó)內(nèi)各二次廠家也都開(kāi)發(fā)了基于規(guī)則的綜合故障推理、分析系統(tǒng)，相關(guān)方向的研究也越來(lái)越多。

文獻(xiàn)［3］提出一種基于模糊Petri 網(wǎng)絡(luò)的智能告警專(zhuān)家系統(tǒng)推理機(jī)制，通過(guò)對(duì)具有關(guān)聯(lián)性的告警信號(hào)的模糊推理，得出接近事實(shí)的結(jié)論。文獻(xiàn)［4］提出調(diào)控中心、變電站兩級(jí)分布式智能告警系統(tǒng)。以插件式智能告警分析引擎為核心驅(qū)動(dòng)，采用兩級(jí)整體分析與決策策略，提高了智能告警的即插即用及可擴(kuò)展能力。文獻(xiàn)［5］提出基于多源數(shù)據(jù)融合的智能告警方案。該方案根據(jù)調(diào)度站中心8個(gè)應(yīng)用模塊建立與智能告警系統(tǒng)之間的信息共享網(wǎng)絡(luò)，建立多源數(shù)據(jù)告警可信度和多源數(shù)據(jù)有效性的雙重機(jī)制，利用該機(jī)制對(duì)告警數(shù)據(jù)進(jìn)行壓縮和融合。文獻(xiàn)［6］采用IEC61850標(biāo)準(zhǔn)對(duì)告警信號(hào)進(jìn)行數(shù)據(jù)建模，建立一種面向?qū)ο蟮闹R(shí)庫(kù)模型描述故障元及其聯(lián)絡(luò)的內(nèi)部知識(shí)組織，推理機(jī)采用1 級(jí)、2 級(jí)故障推理算法逐步精確、細(xì)化地推理事故根源。這些傳統(tǒng)的基于固定規(guī)則或?qū)＜抑R(shí)庫(kù)的故障推理，存在很多不足。

首先，人工總結(jié)的規(guī)則不全面，總結(jié)難度大，比如很多故障需要跨裝置分析等。其次，在實(shí)際應(yīng)用中，這種傳統(tǒng)故障推理程序的配置工作量復(fù)雜、繁重、靈活性差，配置可重用性低，導(dǎo)致實(shí)用性不佳；同時(shí)，目前的推理規(guī)則較少，關(guān)聯(lián)性分析不足，在有故障和異常發(fā)生時(shí)，往往干擾信號(hào)多，人工識(shí)別困難，且容易遺漏某些相關(guān)信息。近年來(lái)，隨著人工智能技術(shù)的興起，使用統(tǒng)計(jì)概率學(xué)、機(jī)器學(xué)習(xí)技術(shù)的故障推理開(kāi)始增加。文獻(xiàn)［7］提出基于貝葉斯定理的電網(wǎng)告警方案。該方案通過(guò)概率統(tǒng)計(jì)算法，求出各電網(wǎng)設(shè)備在不同告警下告警次數(shù)準(zhǔn)確率和誤報(bào)率的先驗(yàn)概率，利用貝葉斯網(wǎng)絡(luò)對(duì)不同告警源的可信度進(jìn)行后驗(yàn)概率計(jì)算，得出不同告警模式下告警的可信度。當(dāng)然，也有采用神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)（SVM）等機(jī)器學(xué)習(xí)算法的故障推理模型。這些基于機(jī)器學(xué)習(xí)的故障推理方法一般都是離線(xiàn)訓(xùn)練模型，受訓(xùn)練樣本和數(shù)據(jù)質(zhì)量的影響較大，而且往往不能有效考慮到輸入信號(hào)在時(shí)間上的時(shí)序性。

本文提出一種基于長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM-RNN）、自然語(yǔ)言處理技術(shù)的變電站智能故障推理方法，并采用在線(xiàn)學(xué)習(xí)更新模型。該方法在離線(xiàn)訓(xùn)練階段，基于深度學(xué)習(xí)的算法，能從海量數(shù)據(jù)、故障發(fā)生時(shí)斷面保存的大量信號(hào)中，由算法智能地選擇相關(guān)關(guān)鍵特征、關(guān)鍵信號(hào)，以及其參數(shù)因子，進(jìn)行故障推理。深度學(xué)習(xí)模型的網(wǎng)絡(luò)層數(shù)更多，預(yù)測(cè)更精確，而且LSTM-RNN 可以充分把信號(hào)的時(shí)序性考慮到推理中，而在線(xiàn)學(xué)習(xí)根據(jù)用戶(hù)的確認(rèn)結(jié)果和反饋信息，不斷更新模型，使該算法在應(yīng)用中不斷優(yōu)化。另外，由于該方法不依賴(lài)規(guī)則，可以在部署調(diào)試時(shí)，減少大量配置工作，提升了工程實(shí)用性。

1 故障推理的應(yīng)用場(chǎng)景

本文提出的變電站智能故障推理方法當(dāng)前應(yīng)用于變電站端，在智能變電站站控層的監(jiān)控系統(tǒng)中，可根據(jù)具體情況，部署于站控層的相關(guān)服務(wù)器上。

在當(dāng)前的智能變電站中，變電站運(yùn)行和維護(hù)所需一次系統(tǒng)、二次系統(tǒng)、輔助系統(tǒng)、電氣運(yùn)行環(huán)境等基礎(chǔ)信號(hào)和數(shù)據(jù)（包括測(cè)控裝置、保護(hù)裝置、同步相量測(cè)量裝置、計(jì)量、一次設(shè)備狀態(tài)監(jiān)測(cè)、二次設(shè)備狀態(tài)監(jiān)測(cè)和網(wǎng)絡(luò)狀態(tài)監(jiān)測(cè)數(shù)據(jù)等），經(jīng)過(guò)數(shù)據(jù)采集，送至變電站站控層的監(jiān)控系統(tǒng)［8］。監(jiān)控系統(tǒng)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)和處理，處理主要是信號(hào)的預(yù)處理（如伴隨信號(hào)處理、抖動(dòng)信號(hào)處理）、過(guò)濾（如非運(yùn)行態(tài)數(shù)據(jù)過(guò)濾）、分類(lèi)，還有一些相應(yīng)的數(shù)據(jù)清洗處理。然后，有效的信號(hào)、數(shù)據(jù)會(huì)作為輸入，進(jìn)入智能故障推理的模型中進(jìn)行進(jìn)一步特征處理、特征選擇以及推理結(jié)果預(yù)測(cè)，從而得到推理結(jié)果。智能告警推理的功能架構(gòu)如圖1所示，圖中SOE為事件順序記錄。

圖1 智能告警推理的功能架構(gòu)Fig.1 Function framework of the intelligent alarming and reasoning

智能告警的應(yīng)用場(chǎng)景非常廣泛和具有前景，如電網(wǎng)故障智能診斷（電網(wǎng)故障實(shí)時(shí)定位和故障處理建議自動(dòng)推送）、二次系統(tǒng)狀態(tài)智能診斷（基于二次系統(tǒng)和通信網(wǎng)絡(luò)狀態(tài)數(shù)據(jù)，實(shí)現(xiàn)二次系統(tǒng)狀態(tài)的診斷和預(yù)警）、電源系統(tǒng)智能告警（建立電源系統(tǒng)的信號(hào)告警與相應(yīng)的二次設(shè)備、一次設(shè)備的運(yùn)行風(fēng)險(xiǎn)的推理邏輯）、電氣運(yùn)行環(huán)境監(jiān)測(cè)告警、測(cè)量數(shù)據(jù)異常原因定位、智能輔助控制、通信異常判別、全景化變電站巡檢等。

2 整體算法架構(gòu)介紹

本文提出的智能故障推理算法包括2 個(gè)部分。第1部分是模型離線(xiàn)訓(xùn)練階段，算法訓(xùn)練流程如圖2所示。

圖2 算法的模型訓(xùn)練流程Fig.2 Model training flow of the algorithm

儲(chǔ)存于歷史數(shù)據(jù)庫(kù)中的歷史故障以及故障發(fā)生時(shí)的相關(guān)暫態(tài)、穩(wěn)態(tài)、動(dòng)態(tài)的數(shù)據(jù)與信息，經(jīng)過(guò)公司數(shù)據(jù)平臺(tái)相關(guān)應(yīng)用組件的預(yù)處理，對(duì)原始數(shù)據(jù)進(jìn)行初步清洗，然后作為訓(xùn)練數(shù)據(jù)的輸入輸出量，傳遞給智能故障推理算法。

另外，現(xiàn)有的故障規(guī)則庫(kù)中的規(guī)則，也可作為用于訓(xùn)練模型的輸入輸出量的一部分。由圖2 可知，輸入量為多種中文詞組、開(kāi)關(guān)量、模擬量等，算法對(duì)輸入量采用自然語(yǔ)言處理的方法進(jìn)行特征化處理，得到對(duì)應(yīng)的高維矩陣或張量。接著，算法采用最小角回歸算法（LARS），進(jìn)行特征選擇，獲取相關(guān)性高的特征值，以時(shí)間順序進(jìn)行排序，作為L(zhǎng)STM-RNN 算法的輸入量，進(jìn)行模型訓(xùn)練和參數(shù)調(diào)優(yōu)，最終得到智能推理模型。

算法的第2 部分在線(xiàn)更新流程如圖3 所示。得到的智能推理模型進(jìn)行上線(xiàn)部署，用于智能變電站內(nèi)監(jiān)控系統(tǒng)的故障推理和分析。當(dāng)有相應(yīng)的觸發(fā)信號(hào)時(shí)，一般為保護(hù)啟動(dòng)信號(hào)，故障推理算法啟動(dòng)，會(huì)得到相應(yīng)的推理結(jié)果，并上送主站端，用戶(hù)根據(jù)推理結(jié)果進(jìn)行相應(yīng)處理后，向系統(tǒng)反饋故障已確認(rèn)或者告警有誤（無(wú)故障）。根據(jù)用戶(hù)的反饋信息，通過(guò)前向傳播神經(jīng)網(wǎng)絡(luò)（BPNN）進(jìn)行模型更新，使該算法在應(yīng)用中不斷得到優(yōu)化。

3 推理方法關(guān)鍵技術(shù)研究

3.1 算法輸入量選擇的研究

對(duì)于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的預(yù)測(cè)模型來(lái)講，選擇合適的樣本與輸入量至關(guān)重要，可以有效地提高模型的穩(wěn)定性、準(zhǔn)確性，以及運(yùn)算速度和運(yùn)算效率。

針對(duì)智能變電站故障推理業(yè)務(wù)，樣本選取主要是來(lái)自于已存儲(chǔ)的歷史故障，而歷史故障作為輸出量，即形成一個(gè)機(jī)器學(xué)習(xí)中的多標(biāo)簽分類(lèi)問(wèn)題。故障對(duì)應(yīng)的輸入量主要是來(lái)自于測(cè)控裝置、保護(hù)裝置、同步相量測(cè)量裝置、網(wǎng)絡(luò)報(bào)文記錄于分析裝置、電能量采集終端、一次設(shè)備狀態(tài)監(jiān)測(cè)、輔助應(yīng)用設(shè)備等智能變電站內(nèi)二次設(shè)備在故障發(fā)生時(shí)的信號(hào)數(shù)據(jù)。選取數(shù)據(jù)時(shí)，按這些數(shù)據(jù)按照對(duì)應(yīng)的一次設(shè)備（可分為主變壓器、站用變壓器、母線(xiàn)、線(xiàn)路、電容器、低壓電抗器等），進(jìn)行相對(duì)均衡的選擇。

在選擇信號(hào)和數(shù)據(jù)時(shí)，主要選擇與故障推理關(guān)聯(lián)性強(qiáng)的信號(hào)，包括：保護(hù)動(dòng)作、失靈保護(hù)動(dòng)作、差動(dòng)保護(hù)動(dòng)作、跳閘動(dòng)作、重合閘動(dòng)作、過(guò)流保護(hù)、零序保護(hù)、相間距離保護(hù)、接地距離保護(hù)、永跳保護(hù)、開(kāi)關(guān)分合狀態(tài)、斷路器分合閘狀態(tài)、三相不一致信號(hào)、復(fù)歸信號(hào)、通信中斷、電壓值、電流值、有功功率、無(wú)功功率、設(shè)備異常信號(hào)等。數(shù)據(jù)的屬性選擇主要包括：時(shí)間、信號(hào)名、信號(hào)類(lèi)型、所屬裝置、所屬間隔、原值、當(dāng)前值、數(shù)據(jù)質(zhì)量、變化次數(shù)，這些元素可以有效表征故障發(fā)生時(shí)該信號(hào)的狀態(tài)。輸入量的選擇如圖4所示。

圖4 輸入量的選擇Fig.4 Selection of input signals

每個(gè)參與故障推理的輸入量信號(hào)，由這些元素組成1 個(gè)向量。如果是數(shù)字的量就不用再處理，如果是漢字的元素，比如信號(hào)名、所屬間隔等，通過(guò)下一節(jié)的自然語(yǔ)言處理的特征化方法，對(duì)向量進(jìn)行特征提取，從而得到機(jī)器學(xué)習(xí)模型可以識(shí)別的特征量。

3.2 基于自然語(yǔ)言處理的特征處理

數(shù)據(jù)預(yù)處理和特征處理對(duì)數(shù)據(jù)挖掘非常重要，不少機(jī)器學(xué)習(xí)、深度學(xué)習(xí)算法都對(duì)其處理的數(shù)據(jù)集合有一定要求，如數(shù)據(jù)完整性好、冗余性小、屬性相關(guān)性小等。所以，數(shù)據(jù)預(yù)處理和特征化是整個(gè)推理方法中的重要一環(huán)。為算法其提供干凈、準(zhǔn)確、簡(jiǎn)潔的數(shù)據(jù)，能夠有效提升預(yù)測(cè)的效果和質(zhì)量，高質(zhì)量的決策必須依賴(lài)高質(zhì)量的數(shù)據(jù)［9］。

對(duì)于當(dāng)前的輸入量及其屬性、信號(hào)名稱(chēng)、信號(hào)類(lèi)型、所屬裝置、所屬間隔、數(shù)據(jù)質(zhì)量都是中文詞語(yǔ)的情況，需要使用自然語(yǔ)言處理技術(shù)對(duì)其特征化。

第1 步：數(shù)據(jù)預(yù)處理。中文數(shù)據(jù)預(yù)處理的手段主要有去除無(wú)意義符號(hào)、非中文詞、分詞、停用詞等，根據(jù)輸入的特點(diǎn)，本文的智能故障推理方法采取如圖5所示的步驟進(jìn)行數(shù)據(jù)預(yù)處理。

圖5 數(shù)據(jù)預(yù)處理Fig.5 Data pre-processing

第2 步：對(duì)得到的詞列表進(jìn)行特征提取。自然語(yǔ)言處理的常見(jiàn)特征提取方法有關(guān)鍵詞打分機(jī)制、詞語(yǔ)頻率、余弦定理、Levenshtein 距離、詞頻-逆文本 頻 率 指 數(shù)（TF-IDF）、詞 袋 模 型、word2vec、doc2vec、n-gram 等。本文的故障推理方法采用word2vec 方法進(jìn)行特征提取。詞向量，即word2vec，是將一定語(yǔ)料庫(kù)的詞語(yǔ)，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練，得到每個(gè)詞的向量值，由于考慮了上下文的關(guān)系，則詞意相近的詞語(yǔ)的值會(huì)比較靠近，體現(xiàn)出詞與詞之間的距離、關(guān)系，非常符合本文的需求［10］。詞向量方法首先需要通過(guò)語(yǔ)料庫(kù)對(duì)模型進(jìn)行訓(xùn)練，然后才能用來(lái)標(biāo)注每個(gè)詞的向量值，本文采用通用中文語(yǔ)料庫(kù)進(jìn)行模型訓(xùn)練（如果有電力專(zhuān)業(yè)詞匯語(yǔ)料庫(kù)，得到的向量值會(huì)更佳），最后得到每個(gè)輸入詞的向量值。

3.3 LARS

鑒于有效特征值對(duì)算法效果和預(yù)測(cè)準(zhǔn)確率的重要性，本文的智能故障推理算法通過(guò)LARS 對(duì)特征值進(jìn)行進(jìn)一步篩選，獲取關(guān)聯(lián)性強(qiáng)的特征值。LARS的原理如下。

一個(gè)典型的回歸模型為

式中：μ?為當(dāng)前對(duì)y的估計(jì)值，y是標(biāo)簽值，具有M個(gè)預(yù)測(cè)變量；X為一個(gè)M×N矩陣；N為樣本數(shù)量；β?為預(yù)求解的回歸系數(shù)向量。因此可以計(jì)算出當(dāng)前回歸預(yù)測(cè)的相關(guān)性為

式中：c?or為當(dāng)前回歸預(yù)測(cè)的相關(guān)性值；X′為X的轉(zhuǎn)置。那么將存在一個(gè)j使得|c?or，j|最大化。μ?將通過(guò)μ?m+1=μ?m+γ?sign(c?or，j)Xj的規(guī)則更新。γ?為更新步長(zhǎng)，在LARS 中γ?被從中選擇，使得算法在最相關(guān)集合中的變量之間進(jìn)行等角度選擇，即“最小角度方向”，直到找到下一個(gè)變量。然后，下一個(gè)變量關(guān)聯(lián)其有效集，并將它們的系數(shù)一起移動(dòng)，使其相關(guān)性保持平衡和降低。這個(gè)過(guò)程一直持續(xù)到模型中的所有變量，并以完全最小二乘擬合結(jié)束。

接著，LARS 會(huì)進(jìn)行下一步更新。最后，相關(guān)聯(lián)的變量按相關(guān)性級(jí)別排序，可以通過(guò)該方法輕松獲得對(duì)推理重要的特征量［11］。

3.4 LSTM-RNN算法

經(jīng)過(guò)LARS 選擇的特征量，將作為L(zhǎng)STM-RNN算法的輸入。把所有的故障名稱(chēng)記錄在1個(gè)數(shù)據(jù)字典中，每個(gè)故障名稱(chēng)對(duì)應(yīng)1個(gè)數(shù)值，作為監(jiān)督學(xué)習(xí)中多標(biāo)簽分類(lèi)問(wèn)題的輸出量。本文的智能故障推理方法在推理結(jié)果預(yù)測(cè)的部分選擇LSTM-RNN算法。

LSTM-RNN 算法是傳統(tǒng)深度學(xué)習(xí)算法之一的RNN 的改進(jìn)版。RNN 是在普通多層神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，增加了隱藏層各單元間的橫向聯(lián)系，通過(guò)1個(gè)權(quán)重矩陣，可以將上一個(gè)時(shí)間序列的神經(jīng)單元的值傳遞至當(dāng)前的神經(jīng)單元，從而使神經(jīng)網(wǎng)絡(luò)具備了記憶功能［12］。但因?yàn)榫W(wǎng)絡(luò)層次越多時(shí)，存在梯度爆炸或者梯度消失，它不能記憶太前或者太后的內(nèi)容。LSTM-RNN 算法在RNN 的基礎(chǔ)上，在隱藏層各神經(jīng)單元中增加記憶單元，從而使時(shí)間序列上的記憶信息可控，比RNN具備更長(zhǎng)期的記憶功能［13-15］。

具體地，LSTM-RNN 算法每次在隱藏層各單元間傳遞時(shí)通過(guò)幾個(gè)可控門(mén)（遺忘門(mén)、輸入門(mén)、候選門(mén)、輸出門(mén)），可以控制之前信息和當(dāng)前信息的記憶和遺忘程度，算法的可控門(mén)在隱藏單元中的完整邏輯結(jié)構(gòu)如圖6所示。

圖6 可控門(mén)的邏輯結(jié)構(gòu)Fig.6 Logic structure of the controllable gate

圖6中遺忘門(mén)的作用是決定繼承過(guò)往多大程度的記憶。遺忘門(mén)是通過(guò)將前一隱層的輸出st-1與當(dāng)前的輸入xt進(jìn)行線(xiàn)性組合，利用激活函數(shù)，將輸出值壓縮到0～1之間。輸出值越接近1，表示記憶體保留的信息越多。反之，越接近0，表示記憶體保留的信息越少，表示為

式中：σ為激活函數(shù)，使用sigmoid 函數(shù)；WTf為遺忘門(mén)權(quán)重矩陣；UTf為遺忘門(mén)輸入層與隱藏層間的權(quán)重矩陣；bf為遺忘門(mén)的偏置值。

輸入門(mén)的作用在于，它決定了當(dāng)前時(shí)刻的輸入信息xt以什么程度添加至記憶信息流中。它的計(jì)算公式和遺忘門(mén)幾乎一致。如圖6 中的it即為輸入門(mén)的輸出量，表示為

式中：σ，WTi，UTi與遺忘門(mén)公式中的意義相同；bi為輸入門(mén)的偏置值。

候選門(mén)的作用是調(diào)解比例，它控制著以多大比例融合“歷史”信息和“當(dāng)下”信息，負(fù)責(zé)計(jì)算當(dāng)前輸入的單元狀態(tài)。通過(guò)遺忘門(mén)、輸入門(mén)、候選門(mén)的組合，如圖6所示，即可得到記憶信息ct。

最后，輸出門(mén)的作用是控制有多少記憶可以用于下一層網(wǎng)絡(luò)的更新。輸出門(mén)的計(jì)算可表示為

式中：ot為輸出門(mén)的輸出值；σ仍為激活函數(shù)，使用sigmoid 函數(shù)，sigmoid 函數(shù)會(huì)把ot規(guī)則化為1 個(gè)0～1之間的權(quán)重值。最后，用激活函數(shù)tanh 把記憶值進(jìn)行變換，將其變換為-1～+1 之間的數(shù)，最終得到圖6中的輸出值st。

本文的智能故障方法，采用1 個(gè)64 層的LSTMRNN，以softmax 函數(shù)作為輸出的激勵(lì)函數(shù)，從而實(shí)現(xiàn)了多分類(lèi)的預(yù)測(cè)。以歷史故障數(shù)據(jù)按照本節(jié)上述流程進(jìn)行模型訓(xùn)練，即可得到離線(xiàn)的智能故障推理模型。

3.5 模型更新

對(duì)于部署上線(xiàn)的推理模型，在實(shí)際應(yīng)用中，每次進(jìn)行故障推理得到推理結(jié)果后，用戶(hù)可以根據(jù)實(shí)際情況，在問(wèn)題處理之后反饋推理結(jié)果是否準(zhǔn)確有效以及真實(shí)故障的類(lèi)型。而本推理方法可以根據(jù)反饋信息進(jìn)行判斷，當(dāng)反饋信息的真實(shí)故障類(lèi)型與推理結(jié)果不一致時(shí)，會(huì)激活模型的更新，從而采用時(shí)序反向傳播（BPTT）算法。BPTT 算法是針對(duì)循環(huán)層的訓(xùn)練算法，它的反向傳播包括2個(gè)層面：一個(gè)是空間層面上的，將誤差項(xiàng)向網(wǎng)絡(luò)的上一層傳播；另一個(gè)是時(shí)間層面上的，沿時(shí)間反向傳播，即從當(dāng)前時(shí)刻開(kāi)始，計(jì)算每個(gè)時(shí)刻的誤差，從而實(shí)現(xiàn)對(duì)模型進(jìn)行更新。因此，隨著實(shí)際應(yīng)用的推廣，故障推理模型的預(yù)測(cè)精度會(huì)越來(lái)越高。

4 試驗(yàn)應(yīng)用舉例

以本文的智能故障推理方法為核心算法開(kāi)發(fā)的智能故障推理程序，利用某公司備份的變電站歷史數(shù)據(jù)庫(kù)的真實(shí)數(shù)據(jù)信息，做了以下實(shí)際應(yīng)用試驗(yàn)。

試驗(yàn)1：選擇訓(xùn)練樣本大小不同的試驗(yàn)。試驗(yàn)分別采用4 組數(shù)據(jù)進(jìn)行，第1 組選擇數(shù)據(jù)樣本500條，第2 組選擇數(shù)據(jù)樣本1 000 條，第3 組選擇數(shù)據(jù)樣本1 500 條，第4 組選擇數(shù)據(jù)樣本2 000 條，都以4∶1 的比例劃分訓(xùn)練集和測(cè)試集，以平均準(zhǔn)確率為標(biāo)準(zhǔn)進(jìn)行驗(yàn)證，結(jié)果見(jiàn)表1。

表1 試驗(yàn)1的準(zhǔn)確率Table 1 Accuracy of test one %

從試驗(yàn)結(jié)果可以看出，隨著樣本的增加，模型預(yù)測(cè)的準(zhǔn)確率在不斷上升。從而可知，由于本文的故障推理方法在線(xiàn)部署后，可以根據(jù)用戶(hù)的反饋更新模型，所以，隨著使用時(shí)間的增加，現(xiàn)場(chǎng)反饋的數(shù)據(jù)越多，即訓(xùn)練樣本不斷增加，則模型的預(yù)測(cè)準(zhǔn)確率越高。

試驗(yàn)2：驗(yàn)證模型狀態(tài)的試驗(yàn)。依然選用歷史數(shù)據(jù)庫(kù)中儲(chǔ)存的實(shí)際歷史故障記錄數(shù)據(jù)來(lái)進(jìn)行驗(yàn)證，選取1 400 條歷史記錄作為樣本。訓(xùn)練結(jié)果以程序繪制的學(xué)習(xí)曲線(xiàn)作為判斷模型狀態(tài)的依據(jù)。訓(xùn)練得到的學(xué)習(xí)曲線(xiàn)如圖7 所示。由圖7 可知，目前模型的預(yù)測(cè)率不算特別理想，但模型未出現(xiàn)高偏差，即模型未處于欠擬合狀態(tài)；同時(shí)，訓(xùn)練集準(zhǔn)確率和驗(yàn)證集準(zhǔn)確率兩者在逐漸收斂，且間距不大，即模型也未有明顯的過(guò)擬合，模型具備泛化能力。

圖7 模型的學(xué)習(xí)曲線(xiàn)Fig.7 Learning curve of the model

試驗(yàn)3：LSTM-RNN 算法與其他機(jī)器學(xué)習(xí)算法的比較試驗(yàn)。此處選擇了機(jī)器學(xué)習(xí)算法中常用的SVM、邏輯回歸（LR）以及樸素貝葉斯（NB）算法與本文的LSTM-RNN 算法進(jìn)行比較。試驗(yàn)選擇1 600 條數(shù)據(jù)，訓(xùn)練集和測(cè)試集按照3∶1 的比例進(jìn)行劃分。SVM 的參數(shù)C設(shè)為1，LR 算法的multi_class 采用多分類(lèi)器，而NB 分類(lèi)器的模型選擇在文本分類(lèi)中也常用多項(xiàng)式模型Multinomial NB。以平均準(zhǔn)確率作為標(biāo)準(zhǔn)，結(jié)果見(jiàn)表2。

表2 不同算法的準(zhǔn)確率Table 2 Accuracy of different algorithms %

從結(jié)果分析可以得出，對(duì)時(shí)間序列有記憶效果的LSTM-RNN 算法在故障推理的應(yīng)用場(chǎng)景中確實(shí)有更好的預(yù)測(cè)效果和表現(xiàn)。

5 結(jié)束語(yǔ)

在智能技術(shù)日益發(fā)展的時(shí)代，變電站的智能化高級(jí)應(yīng)用正在快速發(fā)展，如故障推理能夠快速定位故障，為各業(yè)務(wù)人員提供高效、直觀的綜合性告警信息和輔助決策依據(jù)，很有意義。本文提出了一種基于LSTM-RNN、自然語(yǔ)言處理技術(shù)的變電站智能故障推理方法，并采用在線(xiàn)學(xué)習(xí)更新模型。LSTMRNN 充分把信號(hào)的時(shí)序性考慮到推理中，而在線(xiàn)學(xué)習(xí)根據(jù)用戶(hù)的確認(rèn)結(jié)果和反饋信息，可以使該算法在應(yīng)用中不斷優(yōu)化。另外，跟基于專(zhuān)家知識(shí)庫(kù)或固定規(guī)則的推理方法相比，在工程部署中減少了配置工作量。最后通過(guò)實(shí)際的應(yīng)用試驗(yàn)，驗(yàn)證了LSTMRNN 與其他機(jī)器學(xué)習(xí)算法在故障推理中的優(yōu)勢(shì)，以及隨著數(shù)據(jù)量增加（在線(xiàn)更新的效果）能帶來(lái)的模型準(zhǔn)確率的提升。

根據(jù)現(xiàn)有成果，未來(lái)可以進(jìn)行更多進(jìn)一步的研究，如主動(dòng)預(yù)警技術(shù)、電力語(yǔ)料庫(kù)的建立等，從而有助于特征處理、增強(qiáng)預(yù)測(cè)效果等。