董華彪 沈陽工學院

能源互聯(lián)網大數(shù)據(jù)分析技術綜述

董華彪 沈陽工學院

能源互聯(lián)網這一概念是全球能源互聯(lián)網技術領軍企業(yè)遠景能源所率先提出，遠景能源認為能源的市場化、民主化、去中心化、智能化、物聯(lián)化等趨勢將注定要顛覆現(xiàn)有的能源行業(yè)。隨著能源互聯(lián)網的發(fā)展，越來越多的數(shù)據(jù)被采集和存儲，以至于信息種類繁多，信息量巨大，而且要求信息具有實時性，因此，大數(shù)據(jù)分析技術在能源互聯(lián)網中被廣泛應用。本文通過對能源互聯(lián)網大數(shù)據(jù)概念的分析，敘述了能互聯(lián)網大數(shù)據(jù)分析技術，為能源互聯(lián)網安全穩(wěn)定的發(fā)展提供了重要的依據(jù)。

能源互聯(lián)網 大數(shù)據(jù)分析 數(shù)據(jù)挖掘

前言：迫于環(huán)境保護的壓力，可再生能源被相繼開發(fā)，雖然再生能源具有可再生性并且不會對自然環(huán)境進行破壞，但是大多數(shù)都具有不穩(wěn)定性，在此背景之下，能源互聯(lián)網被提出。能源互聯(lián)網以大電網為“主干網”，以微網、分布式能源等能量自治單元為“局域網”，通過開放對等的信息一能源一體化架構實現(xiàn)能源的雙向按需傳輸和動態(tài)平衡使用。能源互聯(lián)網開放、互聯(lián)、分享等特征決定了其信息實時性要求更高，因此離不開大數(shù)據(jù)分析技術的應用。

1 能源互聯(lián)網大數(shù)據(jù)概念

大數(shù)據(jù)技術以“4V”為其主要特點，即數(shù)據(jù)容量大（volume）、數(shù)據(jù)類型繁多（variety）、商業(yè)價值高（value）、處理速度快（velocity）。大數(shù)據(jù)分析處理過程主要包含數(shù)據(jù)采集、數(shù)據(jù)導入和預處理、數(shù)據(jù)統(tǒng)計和分析以及數(shù)據(jù)挖掘。數(shù)據(jù)采集一塊依賴因特網和物聯(lián)網技術，使用嵌入式傳感器對數(shù)據(jù)進行采集，結果應用于各個監(jiān)測系統(tǒng)中。為了實現(xiàn)數(shù)據(jù)分析，需要將采集結果進行導入，導入時還要進行預處理，因為由于一些不可抗的因素影響，會使得數(shù)據(jù)錯漏和丟失，因此需要對數(shù)據(jù)進行預處理。數(shù)據(jù)的統(tǒng)計和分析包括分類、聚類和關聯(lián)技術。大數(shù)據(jù)分析結果被用于數(shù)據(jù)挖掘，因為分析僅僅是以數(shù)據(jù)為中心進行處理，得到的結果不能被人們所理解。因此需要以數(shù)據(jù)挖掘為目的進行指導，對分析結果進行精煉和提取，轉換為人們所能理解的語義形式。

2 能源互聯(lián)網大數(shù)據(jù)分析技術

2.1 大數(shù)據(jù)處理平臺

大數(shù)據(jù)系統(tǒng)需要非常大的數(shù)據(jù)處理、傳輸輸和存儲能力。目前的云計算平臺是最符合要求的計算設施。云平臺具有一定的可伸縮性，最大限度的利用自身的計算能力，降低成本，節(jié)省開支。同時云平臺還具有安全性，可以保障用戶信息不被泄露。面對龐大的數(shù)據(jù)量，單臺計算機難以勝任，促使人們研究分布式并行計算方法，通過并行方法，許多單機難以完成的任務都能夠在可接受時間內完成。在因特網中，數(shù)據(jù)流動性非常大，許多任務會不斷產生新的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理框架不能夠勝任，因此利用流計算來處理流數(shù)據(jù)，數(shù)據(jù)只需要進行一次性處理，隨到隨處理，使用完成后無需或者只要部分存儲。如此龐大的計算量，對數(shù)據(jù)的處理速度有很高的要求。有人提出將數(shù)據(jù)全部駐留在內存中運行。CPU直接內存讀取，因為內存數(shù)據(jù)讀寫速度遠高于硬盤讀取速度，計算性能大幅度提高，大大提高實時系統(tǒng)的性能。可視化數(shù)據(jù)處理技術是將數(shù)據(jù)轉化為圖形和圖像在屏幕顯示并且進行交互處理，有助于觀察者進行系統(tǒng)穩(wěn)態(tài)、暫態(tài)判斷和整體運行感知。

3 大數(shù)據(jù)分析算法

大數(shù)據(jù)挖掘算法大多采用并行化的思想。關聯(lián)分析是挖掘數(shù)據(jù)庫中兩個或多個變量之間存在的關系。經典的關聯(lián)算法為Apriori算法，但是它存在著缺陷，因此FP-growth算法被提出，它解決了Apriori算法中長頻繁項搜索子項數(shù)量巨大的問題，而且在效率上遠高于Apriori算法。分布式聚類算法可以發(fā)現(xiàn)設備的故障和狀態(tài)異常，將正常狀態(tài)和故障狀態(tài)區(qū)分。聚類以樣本之間的相似度為基礎，通過不同的距離計算方式達到不同的分類效果。在能源互聯(lián)網中數(shù)據(jù)采集量巨大，聚類需要分布式運行，以達到減少計算時間的目的。在形成具體的分類標準和準則之后，可以用分布式分類算法分類。分類包含訓練和分類兩個過程，和聚類相比，分類更具有更明確的目標。分類算法也需要并行化實現(xiàn)，相較于傳統(tǒng)的數(shù)據(jù)挖掘方法，優(yōu)勢明顯。

結語：隨著采集手段和技術的不斷豐富，越來越多的能源互聯(lián)網業(yè)務的大數(shù)據(jù)被采集和存儲，因此大數(shù)據(jù)分析技術是能源互聯(lián)網不可或缺的基礎技術。大數(shù)據(jù)分析技術擁有很大的改進和研究空間，因為在數(shù)據(jù)收集和處理中工作量很大，分析計算也比較復雜，因此需要不斷的實踐和應用，逐步完善和改善大數(shù)據(jù)分析技術。在能源互聯(lián)網中，應該充分利用大數(shù)據(jù)的“4V”特點和優(yōu)勢，將其發(fā)展成一個具有實時性或者準實時性的職能型分析工具。

[1]張東霞，邱才明，王曉蓉等.全球能源互聯(lián)網中的大數(shù)據(jù)應用研究[J].電力信息與通信技術，2016，12(03):20-24.

[2]李洋，何寶靈，劉海濤等.面向全球能源互聯(lián)網的分布式電源云服務與大數(shù)據(jù)分析平臺研究[J].電力信息與通信技術，2016，05(03):30-36.

[3]楊佩，蔡皓，裘洪彬等.面向能源互聯(lián)網的大數(shù)據(jù)關鍵技術研究[J].電力信息與通信技術，2016，06(04):9-12.

董華彪（1979——），男，遼寧鞍山人，專業(yè)：計算機應用技術、研究方向：數(shù)據(jù)挖掘技術