周國亮，呂凜杰，王桂蘭

（1. 國網(wǎng)冀北電力有限公司技能培訓中心，河北 保定 071051；2.華北電力大學信息與網(wǎng)絡(luò)管理中心，河北 保定 071003）

電力信息化專欄

電力大數(shù)據(jù)全景實時分析關(guān)鍵技術(shù)

周國亮1，呂凜杰1，王桂蘭2

（1. 國網(wǎng)冀北電力有限公司技能培訓中心，河北 保定 071051；2.華北電力大學信息與網(wǎng)絡(luò)管理中心，河北 保定 071003）

針對智能電網(wǎng)建設(shè)過程中收集的電力大數(shù)據(jù)，基于電力系統(tǒng)全景實時數(shù)據(jù)分析的需求，探討基于大數(shù)據(jù)的電力系統(tǒng)安全可靠性分析、實時狀態(tài)監(jiān)控及能源全景動態(tài)平衡調(diào)度等核心問題的解決思路。 分析了利用大數(shù)據(jù)解決安全可靠性、設(shè)備全壽命周期管理及能源實時平衡調(diào)度等問題的挑戰(zhàn)及解決思路，基于大規(guī)模實時多源細節(jié)數(shù)據(jù)和設(shè)備全景數(shù)據(jù)的計算，有助于提高系統(tǒng)分析的精度和準確度，保證電網(wǎng)安全運行；探討了內(nèi)存計算、實時流式大數(shù)據(jù)處理、大規(guī)模并行計算及列存儲等技術(shù)在電力大數(shù)據(jù)實時分析中的應用；結(jié)合主流開源大數(shù)據(jù)處理技術(shù)，設(shè)計了電力大數(shù)據(jù)分析平臺的分層體系架構(gòu)，為電力系統(tǒng)的高效運行提供保證。

電力大數(shù)據(jù)；全景實時數(shù)據(jù)；內(nèi)存計算；數(shù)據(jù)流；大規(guī)模并行

1 引言

近年來，隨著全球能源危機、環(huán)境問題等因素的不斷加劇，世界各國對清潔能源的開發(fā)利用程度不斷提高，大量分布式、間歇性能源的廣泛接入對電力系統(tǒng)的安全穩(wěn)定運行提出了更高的要求。在該前提下，智能電網(wǎng)應運而生。智能電網(wǎng)建設(shè)的最終目標是成為覆蓋發(fā)、輸、變、配、用及調(diào)度等過程的全景實時電力系統(tǒng)，而支撐系統(tǒng)得以準確、安全、實時及可靠運行的基礎(chǔ)是電力系統(tǒng)多源異構(gòu)大數(shù)據(jù)的快速采集 、響 應 和 分 析［1，2］。未 來 智 能 電 網(wǎng) 既 要 支 持 個 人 終 端 用 戶 與電網(wǎng)系統(tǒng)的交互，也要滿足控制系統(tǒng)對電網(wǎng)安全穩(wěn)定性的需求，智能電網(wǎng)中的多數(shù)應用需要海量數(shù)據(jù)處理技術(shù)的支撐。

隨著智能電網(wǎng)建設(shè)在廣度和深度上的不斷推進，在智能電網(wǎng)運行過程中會收集到系統(tǒng)內(nèi)外的海量全景數(shù)據(jù)，形成電力大數(shù)據(jù)。比如，截至 2013 年底，國家電網(wǎng)公司累計安裝智能電能表 1.82 億只，實現(xiàn)用電信息采集 1.91 億戶，智能電表應用量占全球的一半，其用電信息采集系統(tǒng)成為世界上最大 的 電 能 計 量 自 動 化 系 統(tǒng) ，將 產(chǎn) 生 以 PB 級 計 的 數(shù) 據(jù)［3］。同 樣在 電 力 系 統(tǒng) 狀 態(tài) 監(jiān) 測 中 安 裝 的 PMU（phasor measurement unit，相 量 測 量 單 元 ）是 用 于 進 行 同 步 相 位 測 量 、輸 出 和 動態(tài)記錄的 裝 置 。100 個 PMU 一天收集 62 億個 數(shù) 據(jù) 點 ，數(shù)據(jù) 量 約 為 60 GB，而 如 果 監(jiān) 測 裝 置 增 加 到 1 000 套 ，每 天采 集 的 數(shù) 據(jù) 點 為 415 億個，數(shù) 據(jù) 量 將 達 到 402 GB。表 1 展示了智能電表生成數(shù)據(jù)量與采集頻率的關(guān)系。

表1 智能電表生成數(shù)據(jù)量與采集頻率的關(guān)系

同樣，在電力系統(tǒng)的其他各環(huán)節(jié)，隨著大量傳感采集裝置的安裝都將產(chǎn)生大規(guī)模的數(shù)據(jù)，而如何規(guī)劃、存儲、整合及綜合分析這些數(shù)據(jù)，是電力系統(tǒng)當前需要迫切解決的關(guān)鍵問題之一。但電力大數(shù)據(jù)與傳統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)不同，對分析的全景性、實時性和可靠性提出了更高的要求。

通過建設(shè)基于大數(shù)據(jù)分析技術(shù)的全景實時系統(tǒng)，并使之成為整個系統(tǒng)的“神經(jīng)中樞”，將有助于從大數(shù)據(jù)驅(qū)動的角度解決電力系統(tǒng)當前面臨的主要挑戰(zhàn)，比如可靠性分析、實時調(diào)度等問題，也有利于提高數(shù)據(jù)的利用率，挖掘數(shù)據(jù)價值。電力大數(shù)據(jù)全景實時分析平臺在系統(tǒng)中的地位如圖1所示。

將電力大數(shù)據(jù)中心建設(shè)成為整個電力系統(tǒng)的中心節(jié)點，負責全景信息收集、整合、狀態(tài)監(jiān)控和資源調(diào)度平衡。通過獲取整個系統(tǒng)的實時全景數(shù)據(jù)，將電力系統(tǒng)變成一個“端到端”的透明系統(tǒng)，實現(xiàn)全局信息共享，消除“信息孤島”，避免由于信息不對稱造成的資源浪費；利用大數(shù)據(jù)分析技術(shù)，結(jié)合電力系統(tǒng)理論知識，構(gòu)建系統(tǒng)分析模型，提高電力系統(tǒng)整體規(guī)劃水平，促進能源動態(tài)平衡；利用全景實時大數(shù)據(jù)，實現(xiàn)對輸變電設(shè)備的實時監(jiān)控、評估、分析及狀態(tài)預測，從而快速隔離事故；利用大數(shù)據(jù)，實時獲取發(fā)電及負荷信息，達到資源的優(yōu)化配置、調(diào)度，提高新能源接納吸收能力，促進“削峰填谷”和高級需求響應技術(shù)的應用。

圖1 電力大數(shù)據(jù)分析平臺在系統(tǒng)中的地位

2 相關(guān)工作

云計算技術(shù)作為處理大數(shù)據(jù)的有效方式，在國內(nèi)電力行業(yè)中的應用研究還處于探索起步階段，研究內(nèi)容主要集中在系統(tǒng)構(gòu)想、實現(xiàn)思路和前景展望等方面。參考文獻［3］針對智能電網(wǎng)狀態(tài)監(jiān)測的特點，結(jié)合開源技術(shù) Hadoop，借助虛擬化技術(shù)、分布式冗余存儲以及基于列存儲的數(shù)據(jù)管理模式來存儲和管理數(shù)據(jù)，以保證電網(wǎng)海量狀態(tài)數(shù)據(jù)的可靠和高效管理，但目前還只是一個框架設(shè)想。為了解決電力系統(tǒng)災備中心資源利用率低、災備業(yè)務流程復雜等一系列問題，參考文獻［4］設(shè)計了云計算資源管理平臺框架和部分模塊，其目標是實現(xiàn)電力企 業(yè) ERP 數(shù)據(jù) 的 備份，但尚未實現(xiàn)。參考文獻［5］初步設(shè)計了電力系統(tǒng)仿真云計算中心的系統(tǒng)架構(gòu)及其所包含的層次結(jié)構(gòu)：基礎(chǔ)設(shè)施云、數(shù)據(jù)管理云、仿真計算云等。參考文獻［6］探討了未來智能電網(wǎng)控制中心面臨的挑戰(zhàn)，提出物聯(lián)網(wǎng)和云計算技術(shù)結(jié)合是新型控制中心的技術(shù)支撐?；?Hadoop 云計算平臺，設(shè)計實現(xiàn)了基于 Hadoop 分布式文件系統(tǒng)的電力設(shè)備狀態(tài)監(jiān)測存儲系統(tǒng)［7］，對 動 態(tài) 時 序 數(shù) 據(jù) 、靜 態(tài) 數(shù) 據(jù) 以 及 視 頻 數(shù) 據(jù) 進 行 了 存儲、關(guān)鍵字查詢與并行處理方面的研究，通過對系統(tǒng)的測試，驗證了云計算平臺高可靠性、良好的可擴展性和數(shù)據(jù)并行訪問的性能優(yōu)勢。

在國外，云計算技術(shù)目前已用于電力系統(tǒng)海量數(shù)據(jù)的存儲和處理，并有實際運行的系統(tǒng)。參考文獻［8］分析了電力系統(tǒng)中不同用戶的實時查詢需求，設(shè)計了用于實時數(shù)據(jù)流管理的智能電網(wǎng)數(shù)據(jù)云模型，該模型較適合處理電力系統(tǒng)中的大規(guī)模流式數(shù)據(jù)，同時基于該模型實現(xiàn)了一個實時流 數(shù) 據(jù) 的 智 能 測 量 與 管 理 系 統(tǒng) 。Cloudera 公 司［9］設(shè) 計 并 實施 了 基 于 Hadoop 平 臺 的 智 能 電 網(wǎng) 在 TVA （Tennessee Valley Authority，田 納 西 河 流 域 管 理 局 ）上 的 項 目 ，幫 助TVA 管 理 PB 級 的 PMU 數(shù) 據(jù) ，體 現(xiàn) 了 Hadoop 平 臺 高 可 靠性以及價格低廉的優(yōu)勢。另外，TVA 在該項目基礎(chǔ)上開發(fā)的 superPDC，通過 openPDC 項 目 將其開源 ，此 工 作 將有利于推動量測數(shù)據(jù)的大規(guī)模分析處理，并可為電網(wǎng)其他時序 數(shù) 據(jù) 的 處 理 提 供 參 考 。 日 本 Kyushu 電 力 公 司［10］使 用Hadoop 平臺對大規(guī)模的電力系統(tǒng)用戶消費數(shù)據(jù)進行快速并行分析，并在該平臺基礎(chǔ)上開發(fā)了各類分布式的批處理應用軟件，提高了數(shù)據(jù)處理的速度和效率。參考文獻［11］對云計算平臺應用于智能電網(wǎng)進行了詳細的分析，得出的結(jié)論是：現(xiàn)有云計算平臺可以滿足智能電網(wǎng)監(jiān)控軟件運行的可靠性和可擴展性，但實時性、一致性、全局性、數(shù)據(jù)隱私性和安全性等方面的要求尚不能滿足，有待進一步深入研究。

隨著大數(shù)據(jù)在電力系統(tǒng)中的形成，電力大數(shù)據(jù)的研究也 獲 得 了 各 方 關(guān) 注 。參 考 文 獻［12］探 討 了 大 數(shù) 據(jù) 在 電 力 系統(tǒng)生產(chǎn)、控制和保護中的應用，從特征量提取、系統(tǒng)整合和案例分析 3 個方面進行了論述，并指出操作計劃制定、實時監(jiān)控和故障檢測保護是將來的研究方向。參考文獻［13］認為電力系統(tǒng)大數(shù)據(jù)與傳統(tǒng)商業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)不同，對實時性和安全可靠性的要求更高，需要設(shè)計新型的處理分析系統(tǒng)，作者設(shè)計了原型系統(tǒng)，并在電力公司試用，性能獲得了一個數(shù)量級的提高。風機選址是風電場建設(shè)中的一項重要工 作［14］，IBM 利 用 氣 候 大 數(shù) 據(jù) 、潮 汐 相 位 、地 理 空 間 與 傳 感器數(shù)據(jù)、衛(wèi)星圖像、森林砍伐地圖等信息幫助丹麥能源公司維斯塔斯的風機選址安裝，從而使風機獲得最優(yōu)的發(fā)電量和最低的維護成本等。

電力系統(tǒng)是一個復雜、龐大的系統(tǒng)，傳統(tǒng)的系統(tǒng)可靠性評估、潮流計算等算法，具有處理數(shù)據(jù)有限、算法復雜度高、計算量大等特點，很難適應全景大數(shù)據(jù)的環(huán)境。參考文獻 ［15］研 究 了 實 時 并 行 潮 流 計 算 技 術(shù) ，通 過 并 行 計 算 技 術(shù)提高計算的效率。參考文獻［16］研究了利用集群計算電網(wǎng)可靠性的技術(shù)。參考文獻［17］研究了海量電網(wǎng)交換數(shù)據(jù)的處理技術(shù)。

綜上所述，電力大數(shù)據(jù)分析處理已經(jīng)成為提升電力系統(tǒng)安全和運行效率的重要途徑，也是智能電網(wǎng)建設(shè)過程中必須面對的問題。目前研究思路主要集中在互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)在電力系統(tǒng)中的應用，而結(jié)合電力系統(tǒng)特點，并與電力生產(chǎn)運行系統(tǒng)緊密結(jié)合的大數(shù)據(jù)分析技術(shù)研究較少，將是未來研究的方向。

3 全景實時分析關(guān)鍵技術(shù)問題

3.1 基于大數(shù)據(jù)的大電網(wǎng)安全可靠性分析技術(shù)

隨著電網(wǎng)規(guī)模的不斷擴大、大規(guī)模可再生間歇性能源的 接 入 ，電 網(wǎng) 面 臨 著 嚴 峻 的 安 全 可 靠 性 問 題［16］。傳 統(tǒng) 電 力系統(tǒng)安全可靠性分析技術(shù)具有采集點少、運算量大的特點，隨著覆蓋整個系統(tǒng)的信息采集系統(tǒng)逐步完善，智能電網(wǎng)可以實時獲取整個系統(tǒng)的全景數(shù)據(jù)，而基于全景數(shù)據(jù)的分析評估計算量非常大，容易造成“計算災難”，幾千階的微分方程求解，無法滿足實時性要求；另一方面，隨著大規(guī)模分布式間歇能源的接入，由于分布式能源的不確定性和難以預測等，很容易對大電網(wǎng)造成沖擊，從而對系統(tǒng)的穩(wěn)定 性 提 出 了 更 高 的 要 求［18］。因 此 ，利 用 大 數(shù) 據(jù) 從 全 局 角 度來動態(tài)實時分析系統(tǒng)的安全可靠性是電力大數(shù)據(jù)分析面臨的一項重要工作。

潮流計算是電力系統(tǒng)安全可靠性分析的重要手段之一，而傳統(tǒng)潮流計算的計算復雜度高、數(shù)據(jù)量小、計算精度難以保證。當面對全景實時大數(shù)據(jù)和動態(tài)實時變化的分布式能源時，傳統(tǒng)的計算技術(shù)很難動態(tài)精確計算系統(tǒng)的潮流情況，而基于大數(shù)據(jù)的高性能并行快速高精度的潮流計算技術(shù)，有助于提高潮流計算的速度和精度，從而提高電力系統(tǒng)可靠性水平。

目前電力可靠性分析主要采用傳統(tǒng)的 N-1 （即當某一設(shè)備失效后系統(tǒng)的安全性評價）安全準則，不考慮概率較低的多重事件，而電網(wǎng)事故中很多情況下會因為某一設(shè)備故障產(chǎn)生連鎖反應，所以有必要研究多重事故發(fā)生情況下的系統(tǒng)可靠性問題 （即 N-m）。而 N-m 情況下的可靠性分析計算量將呈指數(shù)級增長，并且在數(shù)據(jù)規(guī)模不斷增長的情況下，分析任務很難在有效時間內(nèi)實時完成。

在電力系統(tǒng)安全穩(wěn)定分析中，大多數(shù)分析歸結(jié)為代價很高的高維稀疏矩陣與向量常量的乘法運算。比如在潮流計算的過程中，如果電力網(wǎng)絡(luò)有 n 個節(jié)點，則有節(jié)點方程：

3.2 基于大數(shù)據(jù)的輸變電設(shè)備全壽命周期管理

除了安全穩(wěn)定運行非常重要外，電力系統(tǒng)本身是一個動態(tài)實時變化的系統(tǒng)，因此必須實時監(jiān)測系統(tǒng)的運行狀態(tài)，快速處理各種情況，保證系統(tǒng)的安全穩(wěn)定運行。統(tǒng)計發(fā)現(xiàn)大多數(shù)電網(wǎng)故障主要是設(shè)備故障問題引發(fā)的，通過收集設(shè)備的全壽命周期數(shù)據(jù)（實驗數(shù)據(jù)、運行數(shù)據(jù)及氣候環(huán)境數(shù)據(jù)等），建立設(shè)備運行模型，有利于實時評估設(shè)備狀態(tài)，從 而 避 免 由 于 設(shè) 備 故 障 造 成 的 電 網(wǎng) 事 故［19］。目 前 的 設(shè) 備 管理系統(tǒng)記錄存儲的主要是設(shè)備臺賬信息，而設(shè)備全壽命數(shù)據(jù)由于時間和空間跨度大，收集整理具有很大的難度。通過大數(shù)據(jù)中心，整合系統(tǒng)可利用的所有內(nèi)外部數(shù)據(jù)，使設(shè)備的全壽命周期管理成為可能。利用設(shè)備全壽命周期大數(shù)據(jù)，構(gòu)建新的設(shè)備運行評估模型，以修正由于試驗環(huán)境條件有限造成的設(shè)備模型不準確、運行等級分類不足等問題。在設(shè)備全壽命周期大數(shù)據(jù)的基礎(chǔ)上，利用聚類劃分、異常點檢測、深度學習等技術(shù)，實現(xiàn)設(shè)備的無監(jiān)督分類及故障 預 測［20］。

當前，電力設(shè)備狀態(tài)評估主要是基于實驗室建立的模擬環(huán)境產(chǎn)生的測試數(shù)據(jù)，利用人工智能（神經(jīng)網(wǎng)絡(luò)等）對數(shù)據(jù)進行分析、劃分等級。然而這種方式存在數(shù)據(jù)樣本有限、數(shù)據(jù)與真實環(huán)境不一致、算法針對大規(guī)模數(shù)據(jù)集失效等問題。借助電力大數(shù)據(jù)，利用數(shù)據(jù)分析技術(shù)，挖掘設(shè)備狀態(tài)、環(huán) 境 等 之 間 的 關(guān) 聯(lián) 規(guī) 則 ，發(fā) 現(xiàn) 有 價 值 的 特 征 量［21-23］，實 現(xiàn) 設(shè)備狀態(tài)監(jiān)控，保證電網(wǎng)安全運行。因此，在設(shè)備全壽命周期管理中的關(guān)鍵問題是數(shù)據(jù)挖掘分析算法在電力系統(tǒng)中的深度廣泛應用。

3.3 全景實時能源動態(tài)平衡調(diào)度技術(shù)

電力系統(tǒng)作為一個有機的整體，系統(tǒng)內(nèi)電能的生產(chǎn)、輸送與使用總量在不斷變化，但必須保持瞬間平衡。根據(jù)電力生產(chǎn)發(fā)、供、用必須同時完成的瞬時平衡規(guī)律及電能不能大規(guī)模有效存儲的特點，需要對電網(wǎng)進行嚴格的科學調(diào)度，保持電網(wǎng)正常運行。電力系統(tǒng)調(diào)度當前主要應用SCADA （supervisory control and data acquisition，數(shù) 據(jù) 采 集與監(jiān)視控制）系統(tǒng)，以實現(xiàn)數(shù)據(jù)采集、設(shè)備控制、測量、參數(shù)調(diào)節(jié)以及各類信號報警等各項功能。然而，傳統(tǒng)調(diào)度系統(tǒng)由于數(shù)據(jù)處理能力和速度有限，只接受電力系統(tǒng)主參數(shù)，而 大 量 細 節(jié) 數(shù) 據(jù) 由 于 不 能 利 用 而 丟 棄［24］。但 隨 著 大 規(guī) 模 間歇性能源的接入，電力系統(tǒng)的結(jié)構(gòu)更加復雜多變，海量、分散、異構(gòu)的實時信息大量涌入數(shù)據(jù)中心，面對大量實時信息時，傳統(tǒng)調(diào)度系統(tǒng)的實時性和合理性很難滿足要求，無法實現(xiàn)電網(wǎng)的精益化調(diào)度。在智能電網(wǎng)環(huán)境下，電力調(diào)度中心面臨的形勢如圖2所示。

圖2 電力調(diào)度中心面臨的形勢

在掌握全系統(tǒng)實時數(shù)據(jù)的情況下，電力大數(shù)據(jù)中心將能夠更有效地實現(xiàn)全局資源的整合，實現(xiàn)電力供需平衡調(diào)度。在電網(wǎng)運行過程中，根據(jù)能量的實時需求、負荷建模信息 及 實 時 產(chǎn) 能 信 息 進 行 能 量 自 動 調(diào) 配 等 技 術(shù)［25，26］是 系 統(tǒng) 的關(guān)鍵。因此，基于大數(shù)據(jù)的調(diào)度技術(shù)關(guān)鍵問題是設(shè)計基于大規(guī)模多源細節(jié)數(shù)據(jù)的電力系統(tǒng)調(diào)度模型和實時流數(shù)據(jù)分析處理技術(shù)，實現(xiàn)電力系統(tǒng)調(diào)度從粗放型向集約型的轉(zhuǎn)變。

4 電力大數(shù)據(jù)實時分析核心技術(shù)

4.1 主要技術(shù)挑戰(zhàn)

目前主流的 Hadoop 批處理方 式可以適應電力大數(shù)據(jù)的歷史數(shù)據(jù)分析，但 Hadoop 采用 先存儲后計算的模式，且需要頻繁的磁盤操作，難以滿足對生產(chǎn)系統(tǒng)的快速響應需求。因此，電力大數(shù)據(jù)全景實時分析平臺面臨著嚴重的性能和安全性挑戰(zhàn)，具體而言主要包括如下兩個方面。

（1）利用大規(guī)模復雜細節(jié)多源數(shù)據(jù)的電力系統(tǒng)分析算法

在 智 能 電 網(wǎng) 環(huán) 境 下 ，PMU、AMI （advanced metering infrastructure，高 級 電 表 架 構(gòu) ）及 IED （intelligent electronic device，智能電子設(shè)備）提供了大規(guī)模可利用的復雜細節(jié)數(shù)據(jù)，這些數(shù)據(jù)為提高電力系統(tǒng)的操作水平、建模技術(shù)和計劃調(diào)度提供了機遇。通過現(xiàn)代計算機高并行計算平臺，設(shè)計快速、高精度的安全穩(wěn)定分析算法，能夠提高數(shù)據(jù)利用率，并保證系統(tǒng)的實時性要求。

（2）大規(guī)模實時流數(shù)據(jù)調(diào)度、分析技術(shù)

為了保證監(jiān)測、調(diào)度等關(guān)鍵業(yè)務的時效性，大規(guī)模實時流數(shù)據(jù)的接入和分析性能至關(guān)重要。將常用數(shù)據(jù)存儲在分布式內(nèi)存中，并充分利用多核或眾核處理器的并行技術(shù)和大內(nèi)存的緩存技術(shù)以及高效的調(diào)度算法，以保證流數(shù)據(jù)的實時處理效率。

4.2 內(nèi)存計算

在電力系統(tǒng)中多項業(yè)務處理任務需要高性能計算技術(shù) 的 支 撐 。而 隨 著 現(xiàn) 代 計 算 機 體 系 結(jié) 構(gòu) 的 發(fā) 展 ，64 bit計 算機 理 論 內(nèi) 存 可 達 232×4 GB，因 此 在 內(nèi) 存 中 可 以 存 儲 更 多的 數(shù) 據(jù) ，利 用 內(nèi) 存 計 算 技 術(shù)［27，28］，避 免 代 價 很 高 的 磁 盤 操作，可以有效提高數(shù)據(jù)處理的性能。 內(nèi)存計算主要用于數(shù)據(jù)密集型計算的處理，面向數(shù)據(jù)量大且需要實時分析處理的情況。針對電力大數(shù)據(jù)價值密度低的特點，依據(jù)數(shù)據(jù)的使用頻率，將電力大數(shù)據(jù)分為熱數(shù)據(jù)和冷數(shù)據(jù)，熱數(shù)據(jù)存儲在內(nèi)存中，冷數(shù)據(jù)存儲在磁盤上。

目 前 比 較 成 熟 的 內(nèi) 存 計 算 平 臺 包 括 HANA 和 Spark等。HANA 是由 SAP 提出的基于內(nèi)存計算技術(shù)的高性能實時數(shù)據(jù)計算平臺，采用的主要技術(shù)包括：內(nèi)存數(shù)據(jù)讀取和處理、行列混合存儲、并行計算、數(shù)據(jù)壓縮等。HANA 在遼寧電力公司應用效果明顯，部分業(yè)務系統(tǒng)的效率提高達幾十倍，但系統(tǒng)部署、維護成本很高。

Spark 是 一 款 基 于 內(nèi) 存 計 算 的 開 源 集 群 計 算 系 統(tǒng) ，與Hadoop 類似，但適合高效運行的數(shù)據(jù)分析算法，比如機器學習算法等。其可以在并行操作之間重用工作數(shù)據(jù)集，從而提高效率。與 Hadoop 相比，性能可獲得兩個數(shù)據(jù)量級的提升。電力系統(tǒng)中的數(shù)據(jù)分析算法可以通過 Spark 來提高效率。比如在電力系統(tǒng)中需要針對設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)進行聚 類 劃 分 ，從 而 實 現(xiàn) 分 類 處 理 ，提 高 工 作 效 率 。k-means 是一種基本的聚類劃分算法，在電力系統(tǒng)中應用廣泛，基于Spark 的 k-means 聚 類 算 法 實 現(xiàn) 過 程 如 下 。

（1）讀 取 存 儲 在 HDFS 上 的 文 件 塊 （block）到 內(nèi) 存 中 ，每個塊轉(zhuǎn)化為一個 RDD，里面包含監(jiān)測數(shù)據(jù)的特征量（vector）集合。

（2）然 后對 RDD 進 行映 射 （map）操作 ，計 算 每 個vector（point）對 應 的 聚 類 編 號 （class），并 輸 出 鍵 值 對 （k，υ）為（class，（point，1）），生成為新的 RDD。

（3）接 著 在 歸約 （reduce）操 作 中 ，對 每 個新 的 RDD 進行混合，相 同聚類的數(shù) 據(jù)存放在一起，并在 RDD 內(nèi)部計算每個聚類中心點。

（4）最后判斷中心點與前一個中心點之間的距離，如果滿足要求，則結(jié)束，否則從步驟（2）開始，直到滿足結(jié)束條件。

（5）最后將輸出結(jié)果寫到 HDFS 中。

Spark 中 k-means 實 現(xiàn) 過 程 如 圖 3 所 示 ，其 中 ① ～ ⑤ 表示數(shù)據(jù)點，黑點表示聚類的中心點。

圖3 Spark 中 k-means 實現(xiàn)過 程

4.3 流式大數(shù)據(jù)分析技術(shù)

在電力系統(tǒng)中，各種監(jiān)測、采集裝置的流數(shù)據(jù)和極端天氣情況下的報警數(shù)據(jù)構(gòu)成了電力流式大數(shù)據(jù)。流式電力大數(shù)據(jù)具有實時性、易失性、突發(fā)性、無序性、無限性等特征［29］，并 要 求 在 有 限 時 間 內(nèi) 處 理 完 成 ，不 能 遺 漏 數(shù) 據(jù) ，因 此流式大數(shù)據(jù)的實時處理對系統(tǒng)提出了更高的要求。電力大數(shù)據(jù)分析應涵蓋低時延、高吞吐量且持續(xù)可靠運行的流式大 數(shù) 據(jù) 計 算 系 統(tǒng)［30，31］。目 前 在 商 業(yè) 互 聯(lián) 網(wǎng) 領(lǐng) 域 應 用 比 較 多的 流 數(shù) 據(jù) 分 析 平 臺 包 括 Storm、S4 等 ，但 這 些 系 統(tǒng) 對 數(shù) 據(jù)處理的時限和安全性要求很難直接應用于電力系統(tǒng)，還有待針對特定行業(yè)做進一步完善。

Storm 是 具 有 分 布 式 和 高 容 錯 的 實 時 計 算 系 統(tǒng) ，以 簡單、高效、可靠的方式處理流式數(shù)據(jù)，并保證消息不丟失，處理嚴格有序。其主要特征包括：編程模型簡單、支持多種編程語言、作業(yè)級容錯、水平擴展、快速消息計算等。但其資源分配策略并沒有考慮系統(tǒng)拓撲結(jié)構(gòu)，任務調(diào)度機制過于簡單，因此很難直接應用于電力大數(shù)據(jù)處理。在一個Storm 系 統(tǒng) 中 有 兩 類 節(jié) 點 ：一 個 主 節(jié) 點 nimbus、多 個 從 節(jié) 點supervisor。3 種 運 行 環(huán) 境 ：master、cluster 和 slave。

使 用 Storm 處 理 流 數(shù) 據(jù) 時 ，首 先 要 設(shè) 計 流 數(shù) 據(jù) 處 理 過程 的 拓 撲 （topology）結(jié) 構(gòu) ，也 就 是 數(shù) 據(jù) 處 理 的 先 后 邏 輯 關(guān)系。比如對狀態(tài)監(jiān)測流數(shù)據(jù)的處理順序依次為：獲取數(shù)據(jù)、去噪（多種方法）、計算特征量（多種方法）、評價狀態(tài)等。設(shè)計的拓撲結(jié)構(gòu)如圖4所示。

圖4 流數(shù)據(jù)處理的拓撲結(jié)構(gòu)

4.4 多核／眾核并行計算技術(shù)

當前電力系統(tǒng)中的主要算法通過串行實現(xiàn)，而隨著需要處理數(shù)據(jù)的增加和計算任務復雜度的提高，算法處理時間不斷增長，而通過并行計算技術(shù)，將部分算法通過并行來 實 現(xiàn) ， 可 以 顯 著 提 高 數(shù) 據(jù) 分 析 處 理 的 執(zhí) 行 速 度［32-35］。 同時，隨著現(xiàn)代處理器向多核和眾核方向發(fā)展，充分利用多線程并行，可以提高電力大數(shù)據(jù)平臺集群中節(jié)點的利用率，從而加快數(shù)據(jù)處理的效率。目前，普通 CPU 已經(jīng)配置8個計算核心，而圖形處理器（GPU）擁有上千個計算核心，具有更強大的數(shù)據(jù)處理能力，兩者混合并行計算技術(shù)，將是未來的主流計算平臺。多核 CPU 與眾核 GPU 的結(jié)構(gòu) 如圖5所示。

圖5 多核 CPU 與眾核 GPU 的結(jié)構(gòu)

近年來，GPU 從圖形圖像處理領(lǐng)域進入通用計算領(lǐng)域，成為理想的高性能計算平臺。GPU 在眾多領(lǐng)域的大數(shù)據(jù)分析中，有效地提升了數(shù)據(jù)處理的效率。 GPU 通過大規(guī)模線程并行隱藏內(nèi)存訪問時延，同時支持幾百萬線程運行 ，線 程 間 切 換 代 價 很 低 。GPU 的 并 行 采 用 SIMD（single instruction multiple data， 單 指 令 多 數(shù) 據(jù) ）并 行 ，同 一 指 令 一次操作不同的數(shù)據(jù)。GPU 適合處理電力系統(tǒng)中數(shù)據(jù)密集型的計算任務，利用它可以有效提高電力系統(tǒng)中密集數(shù)據(jù)的分析處理效率。比如處理電力系統(tǒng)安全性分析中的稀疏矩陣與向量乘積的計算過程如下。

首先將稀疏矩陣以偏移量+前綴和+值的形式存儲，并通過前綴和記錄每行中非零元素的個數(shù)及位置信息；然后將常量存放在共享內(nèi)存中，其中 CUDA 的每個線程塊負責稀疏矩陣中的一行和常量乘積；而塊內(nèi)的每個線程負責進行常量與稀疏矩陣本行內(nèi)對應元素的乘法運算，并求和。大致的運行過程如圖6所示。

圖6 GPU 下的矩陣與向量乘法 運 算

4.5 列存儲技術(shù)

在電力大數(shù)據(jù)全景實時分析中，應支持多種數(shù)據(jù)存儲模 式 ， 比 如 文 件 存 儲 、key-value 及 結(jié) 構(gòu) 化 數(shù) 據(jù) 存 儲 等［36，37］。而在電力系統(tǒng)中，結(jié)構(gòu)化數(shù)據(jù)占有較大的比例，比如 PMU的數(shù)據(jù)、設(shè)備監(jiān)測的數(shù)據(jù)及居民用電數(shù)據(jù)等。結(jié)構(gòu)化數(shù)據(jù)采用列存儲，可以有效地提高數(shù)據(jù)分析效率。

列存儲要求每列單獨存儲，這樣在執(zhí)行查詢時只需要讀取與查詢相關(guān)的列，而不相關(guān)的列不用讀取，當一個表包含很多列，而查詢只涉及較少的列時，可以大量減少磁盤 I／O，從 而 提 高 查 詢 性 能 。另 外 ，由 于 每 一 列 內(nèi) 的 數(shù) 據(jù) 單獨存儲，一列內(nèi)的數(shù)據(jù)相似度更高，當采用壓縮存儲時有更高的壓縮率。在列存儲數(shù)據(jù)庫中常用的壓縮技術(shù)主要有 ：數(shù) 據(jù) 字 典 、位 向 量 和 run-length 3 種 方 法 。

以電能質(zhì)量監(jiān)測數(shù)據(jù)為例，討論列存儲在電力系統(tǒng)中的應用。電能質(zhì)量監(jiān)測系統(tǒng)需要存儲大量的時序監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)分為不同的監(jiān)測類別，刻畫了電能質(zhì)量的不同方面的特性，比如諧波、簡諧波及波形、參數(shù)數(shù)據(jù)等。而用戶的查詢分析主要是針對每個監(jiān)測點或通道的查詢和分析，因此將每一個通道的數(shù)據(jù)盡量存儲在相鄰的節(jié)點，有助于后續(xù)的數(shù)據(jù)檢索分析，通過以監(jiān)測點+通道號為key，以 監(jiān) 測 數(shù) 據(jù) 為 value 的 鍵 值 對 方 式 存 儲 ，從 而 實 現(xiàn) 監(jiān)測數(shù)據(jù)的連續(xù)存儲，方便后續(xù)的數(shù)據(jù)檢索操作。

根據(jù)監(jiān)測數(shù)據(jù)的監(jiān)測類別劃分為不同的列簇，其中諧波、間諧波及頻譜數(shù)據(jù)劃分為一個列簇，數(shù)據(jù)不是根據(jù)次數(shù)分別存儲，而是采用組合壓縮存儲；各項電壓電流波形數(shù)據(jù)劃分為一個列簇；其他監(jiān)測數(shù)據(jù)為另一個列簇；閃變數(shù)據(jù)也組成一個列簇。通過劃分列簇，利用數(shù)據(jù)的相關(guān)性提 高 讀 取 效 率 。其 存 儲 結(jié) 構(gòu) 在 HBase 數(shù) 據(jù) 庫 上 的 表 現(xiàn) 大 致如圖7所示。

5 電力大數(shù)據(jù)分析平臺

當前，電力系統(tǒng)雖然已經(jīng)建成了規(guī)模龐大的數(shù)據(jù)中心，但主要存在如下兩方面的問題：不同的業(yè)務系統(tǒng)被分割為不同的“信息孤島”，彼此之間數(shù)據(jù)不能共享，不能從系統(tǒng)全景的角度分析解決問題；為了保證系統(tǒng)的實時性，大量有助于提高計算精度和準確率的信息并不接入數(shù)據(jù)中心，從而造成系統(tǒng)因為無法協(xié)調(diào)全部可用資源而導致整體運行效率和數(shù)據(jù)利用率低。通過建設(shè)智能電網(wǎng)全景實時大數(shù)據(jù)分析平臺，有助于上述問題的解決。

另一方面，電力系統(tǒng)作為人類有史以來創(chuàng)造的最復雜系統(tǒng)之一，具有系統(tǒng)規(guī)模龐大、整體性強、復雜度高、安全穩(wěn)定運行要求高、電能光速傳輸并不能大規(guī)模有效存儲等特性，決定了電力大數(shù)據(jù)全景實時分析將面臨著兩方面的主要挑戰(zhàn)：大數(shù)據(jù)分析挖掘技術(shù)與電力系統(tǒng)理論的深度融合，從數(shù)據(jù)驅(qū)動的角度探討解決系統(tǒng)所面臨問題的思路，促進大數(shù)據(jù)在電力系統(tǒng)中的應用落地；滿足一定可靠性和時間約束的大數(shù)據(jù)（批處理和流數(shù)據(jù)）全景實時分析技術(shù)，快速從系統(tǒng)整體層面分析解決問題、合理調(diào)度資源，滿足電力系統(tǒng)高可靠性的要求。

參考當前電力系統(tǒng)面臨的各項挑戰(zhàn)和大數(shù)據(jù)實時分析主流技術(shù)，電力大數(shù)據(jù)全景實時分析平臺采用分層架構(gòu)，層與層之間采用松耦合模式。結(jié)合電力系統(tǒng)運行特點及借鑒主流開源系統(tǒng)，架構(gòu)應包括如下幾個層次。

最底層是數(shù)據(jù)存儲層，為保證平臺的可擴展性采用分布式文件存儲系統(tǒng)，并設(shè)計以數(shù)據(jù)相關(guān)性和負載均衡策略為基礎(chǔ)的數(shù)據(jù)分布方案。在分布式文件系統(tǒng)之上，結(jié)合高性能列存儲技術(shù)，進一步優(yōu)化存儲代價和性能。本層可以采 用 Hadoop 的 分 布 式 文 件 系 統(tǒng) 存 儲 方 案 并 結(jié) 合 HBase 的列存儲技術(shù)。

其次是流式大數(shù)據(jù)處理和分布式內(nèi)存層，流式大數(shù)據(jù)處理模塊用于響應電力系統(tǒng)中的實時流數(shù)據(jù)，關(guān)鍵是流數(shù)據(jù)的任務調(diào)度技術(shù)；分布式內(nèi)存用于存儲使用頻率高的熱數(shù)據(jù)，為上層計算提供數(shù)據(jù)緩存，減少磁盤訪問代價。本層可 以 采 用 Storm 和 Spark 技 術(shù) 分 別 實 現(xiàn) 流 數(shù) 據(jù) 處 理 和 內(nèi) 存計算。

然后是整合計算層，設(shè)計電力系統(tǒng)中基于大數(shù)據(jù)的并行分 析算法框架 ，并考慮利用多核、大 內(nèi) 存和 GPU 等 現(xiàn) 代計算機的硬件體系架構(gòu)特征的核心算法庫，將電力系統(tǒng)中常用的分析算法封裝為庫函數(shù)供上層高級應用調(diào)用。

最后一層是應用層，包括可靠性分析、狀態(tài)監(jiān)測和能源調(diào)度等各種業(yè)務應用系統(tǒng)，并直接和最終用戶交互。

電力大數(shù)據(jù)全景實時分析平臺層次體系結(jié)構(gòu)如圖8所示。

圖7 HBase 電能質(zhì)量監(jiān)測數(shù)據(jù)存儲結(jié)構(gòu)

通過前置通信集群不間斷采集設(shè)備及系統(tǒng)的事件、狀態(tài)、預警等多數(shù)據(jù)源信息，形成流數(shù)據(jù)，完成高效實時數(shù)據(jù)收集功能。然后，將收集的數(shù)據(jù)傳輸給流計算模塊，完成數(shù)據(jù) 混 合 并 實 時 預 處 理 ，基 于 CEP （complex event processing，復雜事件處理）的快速發(fā)現(xiàn)和異常數(shù)據(jù)過濾，分析狀態(tài)并實時反饋給用戶。最后將數(shù)據(jù)存儲在分布式文件系統(tǒng)中進行持久化存儲，使用內(nèi)存計算技術(shù)進行數(shù)據(jù)快速分析與預警計算，保證電力系統(tǒng)中數(shù)據(jù)分析實時性的要求。

電力大數(shù)據(jù)分析平臺的特色包括如下兩個方面。

（1）大數(shù)據(jù)與電力系統(tǒng)深度融合的復雜電網(wǎng)分析、監(jiān)控、調(diào)度技術(shù)和理論

隨著電力大數(shù)據(jù)規(guī)模不斷膨脹以及電網(wǎng)結(jié)構(gòu)、運行模式復雜多變，從大數(shù)據(jù)角度探討復雜電網(wǎng)分析、監(jiān)控、調(diào)度技術(shù)和理論，促進大數(shù)據(jù)在電力系統(tǒng)中的深度應用，發(fā)現(xiàn)挖掘電力大數(shù)據(jù)的價值。

（2）面向電力行業(yè)特定領(lǐng)域的大數(shù)據(jù)全景實時分析技術(shù)

針對電力行業(yè)對數(shù)據(jù)分析時效性、全景性的高要求，面向特定行業(yè)領(lǐng)域的大數(shù)據(jù)實時分析技術(shù)，提供整個電力系統(tǒng)的全景視圖和實時動態(tài)監(jiān)控、調(diào)度技術(shù)，促進大數(shù)據(jù)在特定行業(yè)應用中落地。

圖8 電力大數(shù)據(jù)分析平臺結(jié)構(gòu)

6 結(jié)束語

本文主要綜述了電力大數(shù)據(jù)全景實時分析面臨的挑戰(zhàn)及實現(xiàn)技術(shù)，并探討平臺的體系架構(gòu)。然而，建設(shè)電力大數(shù)據(jù)中心需要一個較長的時間周期和各方的通力配合，其中的關(guān)鍵技術(shù)和挑戰(zhàn)也需要進一步深入研究。結(jié)合電力系統(tǒng)應用需求，開發(fā)部署面向電力行業(yè)的大數(shù)據(jù)中心，將推動大數(shù)據(jù)在電力系統(tǒng)中的研究和發(fā)展。

［1］ 宋 亞 奇 ，周 國 亮 ，朱 永 利. 智 能 電 網(wǎng) 大 數(shù) 據(jù) 處 理 技 術(shù) 現(xiàn) 狀 與挑 戰(zhàn) ［J］. 電 網(wǎng) 技 術(shù) ，2013，37（4）：927-935. SONG Y Q，ZHOU G L，ZHU Y L.Present status and challenges of big data processing in smart grid［J］.Power System Technology，2013，37（4）：927-935.

［2］ 王 德文，宋亞奇，朱 永利. 基 于 云 計 算 的 智能 電網(wǎng) 信 息 平 臺［J］.電 力 系 統(tǒng) 自 動 化 ，2010（22）：7-12. WANG D W，SONG Y Q，ZHU Y L.Information platform of smart grid based on cloud computing ［J］.Automation of Electric Power Systems，2010（22）：7-12.

［3］ 中 國 電 機 工 程 學 會 信 息 化 專 委 會.中 國 電 力 大 數(shù) 據(jù) 發(fā) 展 白 皮書［R］.2013. Electric Power Informatization Special Committee.China power big data development white paper［R］.2013.

［4］ 朱 征，顧 中 堅，吳 金 龍，等. 云 計 算 在 電 力 系 統(tǒng) 數(shù) 據(jù) 災 備 業(yè) 務中 的 應 用 研 究 ［J］. 電 網(wǎng) 技 術(shù).2012，36（9）：43-50. ZHU Z，GU Z J，WU J L，et al.Application of cloud computing in electric power system data recovery［J］.Power System Technology，2012，36（9）：43-50.

［5］ 沐 連 順 ，崔 立 忠 ，安 寧. 電 力 系 統(tǒng) 云 計 算 中 心 的 研 究 與 實踐 ［J］. 電 網(wǎng) 技 術(shù) ，2011，35（6）：170-175. MU L S，CUI L Z，AN N.Research and practice of cloud computing center for power system［J］.Power System Technology，2011，35（6）：170-175.

［6］ 王 廣 輝，李 保 衛(wèi)，胡 澤 春 ，等. 未 來 智 能 電 網(wǎng) 控 制 中 心 面 臨 的挑 戰(zhàn) 和 形 態(tài) 演 變 ［J］. 電 網(wǎng) 技 術(shù) ，2011，35（8）：1-5. WANG G H，LI B W，HU Z C，et al.Challenges and future evolution of control center under smart grid environment ［J］. Power System Technology，2011，35（8）：1-5.

［7］ 劉 樹 仁 ，宋 亞 奇 ，朱 永 利 ，等.基 于 Hadoop 的 智 能 電 網(wǎng) 狀 態(tài) 監(jiān)測 數(shù) 據(jù) 存 儲 研 究 ［J］. 計 算 機 科 學 ，2013，40（1）：81-84. LIU S R，SONG Y Q，ZHU Y L，et al.Research on data storage for smart grid condition monitoring using Hadoop ［J］. Computer Science，2013，40（1）：81-84.

［8］ RUSITSCHKA S，EGER K，GERDES C.Smart grid data cloud：a model for utilizing cloud computing in the smart grid domain［C］／／The 1st International Conference on Smart Grid Communications，October 4-6，2010，Gaithersburg，USA.New Jersey：IEEE Press，2010：483-488.

［9］ CHRISTOPHE B.The smart grid：hadoop at the Tennessee Valley Authority（TVA）［EB／OL］. ［2013-02-08］.http：／www.cloudera.com／blog ／2009／06／smart-grid-hadoop-tennessee-valley-authority- tva／.

［10］KAWASOE S，IGARASHI Y，SHIBAYAMA K，et al.Examples ofdistributed information platforms constructed by power utilities in Japan ［C］／CIGRE Symposium，August 26-31，Paris，F(xiàn)rance. ［S.l.：s.n.］，2012：134-306.

［11］KENNETH P B，LAKSHMI G，ROBBERT V R，et.al.Running smart grid control software on cloud computing architectures［C］／／Workshop on Computational Needs for the Next Generation Electric Grid，April 19-20，2011，Ithaca，USA.New York：Department of Energy’s Sci Tech Connect，2011：1-28.

［12］KEZUNOVIC M，LE X，GRIJALVA S.The role of big data in improvingpowersystem operationand protection ［C］／／Bulk Power System Dynamics and Control- IX Optimization，Security and Control of the Emerging Power Grid （IREP），August 25-30，2013，Rethymnon，Greece.New Jersey：IEEE Press，2013：1-9.

［13］JIAN Y， POORVA S， IAN G， etal.Large-scaledata challenges in future power grids［C］／7th International Symposium on Service Oriented System Engineering，March 25-28，2013，Redwood City，CA，USA.New Jersey：IEEE Press，2013：324-328.

［14］賽 迪 網(wǎng). 維 斯 塔 斯 利 用 IBM 大 數(shù) 據(jù) 分 析 實 現(xiàn) “ 智 慧 風 能 ”［EB／OL］. ［2012-03-23］. http：／news.ccidnet.com／art／1032／20120323／3709391.html. CCID net.The realization of “wisdom wind” using IBM big data analysis in Vestas ［EB／OL］. ［2012-03-23］.http：／news. ccidnet.com／art／1032／20120323／3709391.html.

［15］李 傳 棟 ，房 大 中 ，楊 金 剛 ，等. 大 規(guī) 模 電 網(wǎng) 并 行 潮 流 算 法 ［J］. 電網(wǎng)技術(shù)，2008，32（7）：34-39. LI C D，F(xiàn)ANG D Z，YANG J G，et al.New research on parallel power-flow calculation for large-scale power system ［J］. Power System Technology，2008，32（7）：34-39.

［16］劉洋，謝 開 貴，周家 啟，等. 大 電力 系 統(tǒng)可 靠 性評 估 高性 能計算平臺設(shè)計與實現(xiàn)［J］. 電力系統(tǒng)自動化，2006，30（18）：1-8. LIU Y，XIE K G，ZHOU J Q，et al.Design and implementation of HPC platform for bulk power system reliability evaluation ［J］. Automation of Electric Power Systems，2006，30（18）：1-8.

［17］桂 勛. 基 于 遞 推 算 法 的 海 量 COMTRADE 數(shù) 據(jù) 計 算 并 行 化 ［J］.電力系統(tǒng)自動化，2014，38（1）：86-91. GUI X.Calculation parallelization for massive COMTRADE data based on recursive algorithms ［J］.Automation of Electric Power Systems，2014，38（1）：86-91.

［18］何 劍 ，程 林 ，孫 元 章. 電 力 系 統(tǒng) 運 行 可 靠 性 最 優(yōu) 控 制 ［J］. 中 國電機工程學報，2010，30（7）：15-21. HE J，CHENG L，SUN Y Z.Optimal control of power system’s operational reliability［J］.Proceeding of the CSEE，2010，30 （7）：15-21.

［19］江 修 波 ，吳 文 宣 ，陳 祥 偉. 區(qū) 間 分 析 法 在 電 力 變 壓 器 全 壽命 周 期 成 本 模 型 中 的 應 用 ［J］. 電 力 自 動 化 設(shè) 備 ，2011，31（9）：50-54. JIANG X B，WU W X，CHEN X W.Transformer life cycle cost model based on interval analysis ［J］.Electric Power Automation Equipment，2011，31（9）：50-54.

［20］劉吉臻，楊光軍，譚文，等.基于數(shù)據(jù)驅(qū)動的電站燃燒穩(wěn)定度綜合評價［J］. 中 國電機工程 學 報，2007，27（35）：1-6. LIU J Z，YANG G J，TAN W，et al.Synthetic evaluation on the degreeofcombustion stabilityin powerstation based on data-driven［J］.Proceedings of the CSEE，2007，27（35）：1-6.

［21］張 廣 斌 ，束 洪 春，于 繼 來. 利 用 廣 義 電 流 模 量 的 行 波 實 測 數(shù)據(jù) 半 監(jiān) 督 聚 類 篩 選 ［J］. 中 國 電 機 工 程 學 報 ，2012，32 （10）：150-159. ZHANG G B，SHU H C，YU J L.Travelling wave field data contingency screening based on semi-supervised clustering using generalized current modal components［J］.Proceedings of the CSEE，2012，32（10）：150-159.

［22］陳鐵華，陳啟卷.模糊聚類分析在水電機組故障診斷中的應用［J］.中國電機工程學報，2002，22（3）：43-47. CHEN T H，CHEN Q J.Fuzzy clustering analysis based vibration fault diagnosis of hydroelectric generating unit［J］.Proceedings of the CSEE，2002，22（3）：43-47.

［23］王 一 ，何 奔 騰，王 慧 芳. 基 于 全 壽 命 狀 態(tài) 的 設(shè) 備 可 靠 性 研 究 ［J］.電網(wǎng)技術(shù)，2011，35（8）：207-211. WANG Y，HE B T，WANG H F.Research on equipment reliability based on life cycle states［J］.Power System Technology，2011，35（8）：207-211.

［24］曹軍威，萬宇鑫，涂國煜，等.智能電網(wǎng)信息系統(tǒng)體系結(jié)構(gòu)研究［J］.計算機學報.2013（1）：143-167. CAO J W，WAN Y X，TU G Y，et al.Information system architecture for smart grids ［J］.Chinese Journal of Computers.2013（1）：143-167.

［25］王蓓蓓，劉 小聰，李 揚. 面向 大容 量 風 電 接 入 考慮 用 戶 側(cè) 互 動 的系 統(tǒng) 日 前 調(diào) 度 和 運 行 模 擬 研 究 ［J］. 中 國 電 機 工 程 學 報 ，2013，36（22）：35-44. WANG B B，LIU X C，LI Y.Day-ahead generation scheduling and operation simulation consideringdemand Response in large-capacity wind power integrated systems ［J］.Proceeding of the CSEE，2013，36（22）：35-44.

［26］黃 海 濤. 居 民 分 時 階 梯 電 價 聯(lián) 合 優(yōu) 化 模 型 研 究 ［J］. 電 網(wǎng) 技 術(shù) ，2012，36（10）：253-258. HUANG H T.A Jointoptimization modelofresidential time-of-use rlock electricity rate ［J］.Power System Technology，2012，36（10）：253-258.

［27］金海，廖 小 飛，葉晨成. 內(nèi) 存 計 算：大 數(shù) 據(jù) 處 理 的 機遇 與 挑 戰(zhàn)［J］.中國計算機學會通訊，2013，9（4）：40-46. JIN H，LIAO X F，YE C C.In-memorycomputing：The opportunities and challenges of big data processing ［J］. Communication of China Computer F ederation，2013，9 （4）：40-46.

［28］PARK K H，PARK S K，SEOK H.Efficient memory management of a hierarchical and a hybrid main memory for MNMATE platform［C］／International Workshop on Programming Models and Applications for Multicores and Manycores.March 12-16，2012，New York ，USA.New York：ACM Press，2012：83-92.

［29］孫 大 為，張 廣艷，鄭 緯民. 大 數(shù) 據(jù) 流 式 計 算：關(guān)鍵 技 術(shù) 及 系 統(tǒng) 實例［J］.軟件學報，2014，25（4）：839-862.SUN D W，ZHANG G Y，ZHENG W M.Big data stream computing：technologies and instances ［J］.Journal of Software，2014，25（4）：839-862.

［30］趙加奎，楊國鳳，沐連順，等.數(shù)據(jù)流技術(shù)在電網(wǎng)自動化中的應用研究［J］. 電 網(wǎng)技術(shù)，2011，35（8）：6-11. ZHAO J K ，YANG G F，MU L S，et al.Research on the application of the data stream technology in grid automation ［J］. Power System Technology，2011，35（8）：6-11.

［31］張之哲，李興源，程時杰.智能電網(wǎng)統(tǒng)一信息系統(tǒng)的框架、功能和實現(xiàn)［J］. 中 國電機工 程學報，2010，30（34）：1-7. ZHANG Z Z，LI X Y，CHENG S J.Structures，functions and implementation of united information system for smart grid ［J］. Proceedings of the CSEE，2010，30（34）：1-7.

［32］郭 春 輝. 基 于 GPU 的 電 力 系 統(tǒng) 并 行 計 算 的 研 究 ［D］. 濟 南 ： 山東大學，2013：18-34. GUO C H.Research on parallel computing of electric power system based on GPU ［D］.Jinan：Shan Dong University，2013：18-34.

［33］李 鵬，丁 承 第，王成 山，等. 基于 多 核 心 處 理 器 的 分布 式 發(fā) 電 微網(wǎng)系統(tǒng)暫態(tài)并行仿真方法 ［J］.中國電機工程學報，2013，33（16）：171-178. LI P ，DING C D ，WANG C S ，et al.A parallel algorithm oftransientsimulation for distributed generation system based on multi-core CPU ［J］.Proceeding of the CSEE，2013，33（16）：171-178.

［34］唐聰，嚴正，周挺輝.基于圖形處理器的廣義最小殘差迭代法在 電 力 系 統(tǒng) 暫 態(tài) 仿 真 中 的 應 用 ［J］. 電 網(wǎng) 技 術(shù) ，2013，37（5）：1365-1371. TANG C，YAN Z，ZHOU T H.Application of graph processing unit-based generalized minimal residual iteration in power system transient simulation ［J］.Power System Technology，2013，37 （5）：1365-1371.

［35］馬發(fā)勇，厲啟鵬，馬志斌，等.電力調(diào)度 SCADA 系統(tǒng)中歷史數(shù)據(jù)壓縮 及 存 儲策略［J］. 電 網(wǎng) 技術(shù)，2014，38（4）：1109-1114. MA F Y，LI Q P，MA Z B，et al.The research of historical data compression and storage strategy in power dispatch SCADA system［J］.Power System Technology，2014，38（4）：1109-1114.

［36］閆湖，周薇，李 立新，等. 基 于分 布 式鍵 值對 存 儲技 術(shù) 的 EMS數(shù)據(jù)庫 平 臺［J］. 電網(wǎng)技術(shù)，2012，36（9）：162-167. YAN H，ZHOU W，LI L X，et al.Database platform of EMS system based on distributed key-value pair storage technology［J］. Power System Technology，2012，36（9）：162-167.

［37］ZHONG Y，SUN S，LIAO H，et al.A novel method to manage very large raster data on distributed key-value storage system ［C］／The 19th International Conference on Geoinformatics，June 24-26，2011，Shanghai，China.New Jersey：IEEE Press，2011：1-6.

Key technology of power big data for global real-time analysis

ZHOU Guoliang1，LV Linjie1，WANG Guilan2
1.Skill Training Center of State Grid Jibei Electric Power Co.，Ltd.，Baoding 071051，China 2.Network and Information Management Center，North China Electric Power University，Baoding 071003，China

For power big data collected during smart grid construction process，based on the demand of power system global and real-time data analysis，ideas of solving power system security and reliability，real-time status monitoring，energy global dynamic balance scheduling and other key issues were explored.The problems of big data safety and reliability，equipment life-cycle management and energy real-time balance scheduling were analyzed and discussed，system analysis precision and accuracy based on large-scale real-time multi-source detail data and global data of equipment would be improved，then application of in-memory computing，real-time streaming data processing technology，massively parallel computing technology and column stores were explored；a layered architecture of power big data analytics platform which combined with the mainstream open source big data processing technology was proposed to provide guarantees for the efficient operation of the power system.

power big data，global real-time data，in-memory computing，data stream，massively parallel

s：Natural Science Foundation of Hebei Province（No.F2014502069），F(xiàn)undamental Research Funds for Central University（No.13MS103）

TP391

：A

10.11959／j.issn.1000-0801.2016103

周 國 亮 （1978-）， 男 ， 博 士 ， 國 網(wǎng) 冀 北 電 力 有限公司技能培訓中心副教授，主要研究方向為電力大數(shù)據(jù)分析、智能電網(wǎng)等。

呂 凜 杰 （1978-）， 男 ， 國 網(wǎng) 冀 北 電 力 有 限 公司技能培訓中心講師，主要研究方向為電力通信技術(shù)。

王 桂 蘭 （1979-）， 女 ， 華 北 電 力 大 學 信 息 與網(wǎng)絡(luò)管理中心講師，主要研究方向為風機故障定位與檢測。

2016-01-25；

2016-03-15

河 北 省 自 然 科 學 基 金 資 助 項 目 （No.F2014502069）；中 央 高 校 基 本 科 研 業(yè) 務 費 專 項 資 金 資 助 項 目 （No.13MS103）