向華偉 王林 呂垚 何映軍

摘 要：隨著電力企業(yè)業(yè)務(wù)及相關(guān)應(yīng)用數(shù)量的逐年攀升，運(yùn)維數(shù)據(jù)量的爆炸式增長給以運(yùn)維數(shù)據(jù)異常檢測為首的電網(wǎng)信息運(yùn)維監(jiān)控分析帶來了嚴(yán)峻的挑戰(zhàn)。在大數(shù)據(jù)分析與挖掘飛速發(fā)展的驅(qū)動(dòng)下，結(jié)合長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的變量異常檢測技術(shù)可以滿足電網(wǎng)信息運(yùn)維監(jiān)控?cái)?shù)據(jù)普遍存在的異常檢測需求，達(dá)到減少電網(wǎng)信息運(yùn)維成本的目的，而這一異常檢測流程的可行性、可靠性與準(zhǔn)確性也在電網(wǎng)實(shí)際運(yùn)行過程中的服務(wù)器流量數(shù)據(jù)集上得到驗(yàn)證。

關(guān)鍵詞：大數(shù)據(jù)分析;深度學(xué)習(xí);長短時(shí)記憶神經(jīng)網(wǎng)絡(luò);電網(wǎng)信息運(yùn)維監(jiān)控;異常檢測

中圖分類號(hào)：TM76 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1671-2064（2019）18-0157-02

0 引言

電力信息網(wǎng)絡(luò)作為電網(wǎng)公司信息系統(tǒng)的主要核心組成部分，則是確保電網(wǎng)能夠在合理有序的監(jiān)控下穩(wěn)定運(yùn)行的重中之重[1]。由于目前電網(wǎng)領(lǐng)域下的IT運(yùn)維監(jiān)控系統(tǒng)在設(shè)計(jì)過程中往往由于考慮不足而出現(xiàn)故障報(bào)警信息雜亂、報(bào)警不及時(shí)、報(bào)警不穩(wěn)定以及故障定位信息不明等問題，甚至報(bào)警策略的設(shè)置存在邏輯性問題。針對(duì)這些現(xiàn)象及問題，本文基于電網(wǎng)場景下的海量信息運(yùn)維監(jiān)控?cái)?shù)據(jù)，融合深度學(xué)習(xí)先進(jìn)算法中的長短時(shí)記憶網(wǎng)絡(luò)（Long-Short Term Memory，LSTM），通過構(gòu)建正常行為模型（Normal Behavior Model，NBM）對(duì)電網(wǎng)信息運(yùn)維監(jiān)控?cái)?shù)據(jù)中待檢測序列的預(yù)測值與真實(shí)值之間的關(guān)系及變化情況進(jìn)行分析的方式來檢測異常，使電網(wǎng)信息運(yùn)維監(jiān)控系統(tǒng)最終具備故障檢測能力，從而達(dá)到降低運(yùn)維開銷的最終目的。

1 傳統(tǒng)電網(wǎng)IT運(yùn)維數(shù)據(jù)管理系統(tǒng)現(xiàn)狀概述

電網(wǎng)場景中，隨著電力企業(yè)業(yè)務(wù)及相關(guān)應(yīng)用數(shù)量的逐年攀升以及云計(jì)算、虛擬化、公司企業(yè)管理信息系統(tǒng)CSGII的推廣和建設(shè)，應(yīng)用系統(tǒng)的復(fù)雜度和規(guī)模都在不斷的增長和變化，運(yùn)維的數(shù)據(jù)量也呈現(xiàn)快速增長趨勢[2]。許多大型電力企業(yè)針對(duì)性開發(fā)的信息集中控制系統(tǒng)很大程度上解決了各類運(yùn)維及監(jiān)控系統(tǒng)采集數(shù)據(jù)間的接口規(guī)范和數(shù)據(jù)標(biāo)準(zhǔn)問題，從一定程度上實(shí)現(xiàn)了IT基礎(chǔ)監(jiān)控?cái)?shù)據(jù)的集中抽取和存儲(chǔ)，如電網(wǎng)針對(duì)數(shù)據(jù)共享、存儲(chǔ)、處理及分析等問題基于大數(shù)據(jù)技術(shù)開發(fā)IT運(yùn)維數(shù)據(jù)管理系統(tǒng)[3]。但不可否認(rèn)的是運(yùn)維管理系統(tǒng)仍然殘存一些由于不同系統(tǒng)、不同類型數(shù)據(jù)融合問題而導(dǎo)致的數(shù)據(jù)整合與深度分析方面的不足，監(jiān)控系統(tǒng)間的數(shù)據(jù)難以打通并進(jìn)行有效的關(guān)聯(lián)分析，極大的阻礙了運(yùn)維能力的提升和業(yè)務(wù)質(zhì)量的有效保障。

2 運(yùn)維監(jiān)控?cái)?shù)據(jù)驅(qū)動(dòng)下的電網(wǎng)運(yùn)維故障檢測技術(shù)

運(yùn)維數(shù)據(jù)或監(jiān)控?cái)?shù)據(jù)從本質(zhì)上來說都是具有時(shí)間信息的一系列數(shù)據(jù)，又稱時(shí)間序列，而有關(guān)異常（或故障）的出現(xiàn)往往是時(shí)間序列的變化情況偏離了原有的正常變化情況。

2.1 異常檢測技術(shù)

針對(duì)電網(wǎng)信息運(yùn)維監(jiān)控領(lǐng)域中存在的時(shí)間序列相關(guān)異常問題：如網(wǎng)絡(luò)流量異常、溫度過高或過低等電網(wǎng)信息運(yùn)維過程中常見的各類異?，F(xiàn)象或故障問題，本文設(shè)計(jì)了基于深度學(xué)習(xí)先進(jìn)預(yù)測技術(shù)與統(tǒng)計(jì)過程控制分析相結(jié)合的異常檢測技術(shù)，該技術(shù)架構(gòu)面向的異常檢測問題與時(shí)間因素密不可分，即異常在初期形成時(shí)可以在數(shù)據(jù)集中得以體現(xiàn)，且異常的發(fā)展是隨著時(shí)間的累積而愈發(fā)明顯，并不適用于突發(fā)類型異常的檢測：如突然的環(huán)境因素或人為因素導(dǎo)致的設(shè)備功能異?；驌p壞等形成與發(fā)展特別迅速的故障等。

2.2 數(shù)據(jù)預(yù)處理

在數(shù)據(jù)分析的基礎(chǔ)流程中，常見的數(shù)據(jù)預(yù)處理技術(shù)包括幾個(gè)主要步驟[4]：數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換。而在當(dāng)今電力企業(yè)所開發(fā)的信息集中控制系統(tǒng)中已經(jīng)包括了數(shù)據(jù)集成的功能，因此需要針對(duì)電力行業(yè)的信息運(yùn)維數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，數(shù)據(jù)規(guī)約以及數(shù)據(jù)變換等幾方面的數(shù)據(jù)預(yù)處理工作。

2.2.1 數(shù)據(jù)清洗

時(shí)間序列數(shù)據(jù)中的數(shù)據(jù)清洗主要針對(duì)數(shù)據(jù)集中缺失的數(shù)據(jù)值進(jìn)行處理：對(duì)于缺失的數(shù)據(jù)類型為整數(shù)或表示狀態(tài)的設(shè)備運(yùn)行數(shù)據(jù)時(shí)，缺失值所對(duì)應(yīng)的時(shí)間測的的整條數(shù)據(jù)均采取忽略刪去的方式進(jìn)行處理;而對(duì)于實(shí)數(shù)型運(yùn)維數(shù)據(jù)，則首先分析該數(shù)據(jù)是否呈對(duì)稱的分布形式，若是則采取前一段時(shí)間該數(shù)據(jù)的均值進(jìn)行插補(bǔ)，反之則采用前一段時(shí)間該數(shù)據(jù)的中位數(shù)進(jìn)行插補(bǔ);而對(duì)于一些實(shí)際現(xiàn)場中記錄的一些線下文件數(shù)據(jù)的缺失，則視其在運(yùn)維流程中的重要程度來決定是否需要進(jìn)行人工問詢填補(bǔ)的方式進(jìn)行處理。

2.2.2 數(shù)據(jù)規(guī)約

在時(shí)間序列數(shù)據(jù)進(jìn)行分析前，可以通過適當(dāng)?shù)姆治黾疤幚矸绞綄?duì)數(shù)據(jù)進(jìn)行整合或刪減，從而達(dá)到在最大限度保持?jǐn)?shù)據(jù)集原有相關(guān)特征的基礎(chǔ)上來盡可能的減小數(shù)據(jù)集的規(guī)模;另一方面，可以利用如典型相關(guān)分析（Canonical Correlation Analysis，CCA）或文獻(xiàn)[5]中所提出的針對(duì)多重分形交叉相關(guān)分析指數(shù)等變量相關(guān)性分析算法來判別兩個(gè)時(shí)間序列之間的相似性程度，以達(dá)到有效地從數(shù)據(jù)屬性維度進(jìn)行數(shù)據(jù)規(guī)約。

2.2.3 數(shù)據(jù)變換

數(shù)據(jù)變換的目的是為了將數(shù)據(jù)預(yù)處理成適合進(jìn)行數(shù)據(jù)分析的格式或狀態(tài)，其中最為重要的一點(diǎn)是數(shù)據(jù)規(guī)范化。無論是電網(wǎng)運(yùn)維數(shù)據(jù)還是實(shí)際的運(yùn)行數(shù)據(jù)，對(duì)于某一個(gè)時(shí)間序列而言，其最大值和最小值之間相差可能很大，這將會(huì)給諸如神經(jīng)網(wǎng)絡(luò)等一系列算法的效果帶來較大的影響，因此大部分先進(jìn)的數(shù)據(jù)分析算法都離不開數(shù)據(jù)的規(guī)范化。常見的規(guī)范化方法包括最大值最小值歸一化與Z-Score標(biāo)準(zhǔn)化等方法，其算法本質(zhì)是通過線性或非線性的比例縮放，將數(shù)據(jù)從原來數(shù)值相差較大的區(qū)間映射到一個(gè)相差較小的區(qū)間中。在本文中選用的算法為Z-Score標(biāo)準(zhǔn)化方法，其具體變換映射公式定義如下：

xt= ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，xt和xt分別為變換映射前后時(shí)間序列中的第t個(gè)數(shù)據(jù);μ和σ分別為變換前時(shí)間序列xt的均值及方差。即整個(gè)變換將原時(shí)間序列xt映射為均值為0，標(biāo)準(zhǔn)差為1的無量綱時(shí)間序列xt。

2.3 長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）作為深度學(xué)習(xí)算法的領(lǐng)頭羊之一，自被提出以來一直以十分優(yōu)異的效果在深度學(xué)習(xí)領(lǐng)域的占據(jù)一席之地，但由于RNN本身沒有存儲(chǔ)單元來存儲(chǔ)和輸出信息[6]，促使了長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM的應(yīng)運(yùn)而生，其在變量預(yù)測與語義識(shí)別等基礎(chǔ)領(lǐng)域的成就更是不言而喻[7]，而其自身在不斷發(fā)展過程中也逐漸演變出許多變種以彌補(bǔ)不同情況下的不足，如文獻(xiàn)[8]中的門限循環(huán)單元（Gated Recurrent Unit，GRU）以及文獻(xiàn)[9]中的窺探卷積LSTM（Peephole Convolutional LSTM，PC-LSTM）等。

3 異常檢測示例——數(shù)據(jù)流量異常檢測分析

本文針對(duì)電力運(yùn)維系統(tǒng)場景下的數(shù)據(jù)流量異常問題對(duì)電網(wǎng)信息運(yùn)維監(jiān)控中的數(shù)據(jù)異常檢測技術(shù)的有效性進(jìn)行驗(yàn)證。數(shù)據(jù)集具體包括諸如CPU利用率、內(nèi)存使用情況等服務(wù)器正常運(yùn)行數(shù)據(jù)及狀態(tài)信息共81個(gè)屬性，以及待進(jìn)行異常分析檢測的服務(wù)器流量數(shù)據(jù)，數(shù)據(jù)采集間隔為10分鐘，經(jīng)過數(shù)據(jù)清洗等數(shù)據(jù)預(yù)處理步驟之后的數(shù)據(jù)信息共計(jì)40560條。

對(duì)服務(wù)器流量數(shù)據(jù)異常檢測分析流程如下：在完成數(shù)據(jù)預(yù)處理后，首先將所有數(shù)據(jù)集按照時(shí)間先后順序以及6：1：3的比例劃分為訓(xùn)練集，交叉驗(yàn)證集以及測試集，其中訓(xùn)練集和交叉驗(yàn)證集僅包含服務(wù)器正常運(yùn)作的數(shù)據(jù)，而測試集則既包括服務(wù)器正常數(shù)據(jù)，又包括異常的數(shù)據(jù);之后基于訓(xùn)練數(shù)據(jù)集中全部的81個(gè)屬性值通過訓(xùn)練LSTM預(yù)測服務(wù)器流量這一變量的方式來構(gòu)建服務(wù)器流量的正常行為模型，之后通過計(jì)算EWMA的上下控制界限來對(duì)數(shù)據(jù)的異常情況進(jìn)行檢測，并通過交叉驗(yàn)證數(shù)據(jù)集加以模型可靠性與準(zhǔn)確性的驗(yàn)證;最后將訓(xùn)練好參數(shù)的模型直接應(yīng)用到測試集上，從而通過算法能否在服務(wù)器流量異常這一問題出現(xiàn)時(shí)及時(shí)實(shí)現(xiàn)檢測功能來驗(yàn)證算法的有效性與準(zhǔn)確性。

4 結(jié)語

本文針對(duì)電網(wǎng)信息運(yùn)維監(jiān)控領(lǐng)域中目前存在的不足之處，針對(duì)性地提出了一種結(jié)合長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)LSTM電網(wǎng)信息運(yùn)維監(jiān)控?cái)?shù)據(jù)異常檢測流程及算法，用于對(duì)電網(wǎng)信息運(yùn)維監(jiān)控領(lǐng)域中存在的時(shí)間序列異常問題進(jìn)行檢測。通過利用實(shí)際電網(wǎng)運(yùn)行過程中的服務(wù)器流量相關(guān)數(shù)據(jù)集的訓(xùn)練及測試，成功的驗(yàn)證了所提出方法的可行性、可靠性以及有效性，對(duì)電網(wǎng)信息運(yùn)維成本的降低有著積極的指導(dǎo)意義。

參考文獻(xiàn)

[1] 郭創(chuàng)新，陸海波，俞斌，等.電力二次系統(tǒng)安全風(fēng)險(xiǎn)評(píng)估研究綜述[J].電網(wǎng)技術(shù)，2013（1）：112-118.

[2] 付林.自動(dòng)化技術(shù)在電力企業(yè)IT運(yùn)維中的應(yīng)用[J].電子技術(shù)與軟件工程，2018（8）：141+149.

[3] 張雪堅(jiān)，張榆，釧濤，等.基于大數(shù)據(jù)技術(shù)的IT運(yùn)維數(shù)據(jù)管理系統(tǒng)構(gòu)建方法[J].電子科技，2018（4）：84-86.

[4] 黃天立.面向動(dòng)車組運(yùn)維的多源數(shù)據(jù)預(yù)處理關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[D].北京交通大學(xué)，2018.

[5] 田嬙.時(shí)間序列的相關(guān)性與相似性分析[D].北京交通大學(xué)，2016.

[6] 厙向陽，蘇學(xué)威.基于CNN和LSTM混合模型的人體跌倒行為研究[J/OL].計(jì)算機(jī)應(yīng)用研究：1-5[2018-10-26].

[7] Wu Y，Schuster M，Chen Z，et al.Googles Neural Machine Translation System： Bridging the Gap between Human and Machine Translation[J].eprint arXiv，1609.08144， 09/2016.

[8] Cho K， Van Merrinboer B， Gulcehre C，et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[J].CoRR，2014：abs/1406. 1078.

[9] Xingjian S H I， Chen Z，Wang H，et al.Convolutional LSTM network： A machine learning approach for precipitation nowcasting[C].Advances in neural information processing systems，2015：802-810.