廣西計(jì)算中心 楊 程

智能電網(wǎng)大數(shù)據(jù)技術(shù)發(fā)展初探

廣西計(jì)算中心 楊 程

針對(duì)現(xiàn)有文獻(xiàn)對(duì)國(guó)家智能電網(wǎng)數(shù)據(jù)研究和利用探討的不足，本文結(jié)合大數(shù)據(jù)的存儲(chǔ)、計(jì)算及分析等技術(shù)，給出利用大數(shù)據(jù)技術(shù)研究國(guó)家智能電網(wǎng)數(shù)據(jù)的初步想法，探索國(guó)家智能電網(wǎng)數(shù)據(jù)的潛在規(guī)律和應(yīng)用價(jià)值，充分發(fā)揮大數(shù)據(jù)的潛在應(yīng)用價(jià)值.

智能電網(wǎng)；大數(shù)據(jù)技術(shù)；大數(shù)據(jù)應(yīng)用

引言

計(jì)算機(jī)信息技術(shù)的發(fā)展將人類(lèi)帶入了數(shù)據(jù)社會(huì)，帶動(dòng)了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能城市、網(wǎng)絡(luò)金融[1]等現(xiàn)代服務(wù)業(yè)發(fā)展，數(shù)據(jù)的充分利用和挖掘正成為各行各業(yè)運(yùn)營(yíng)和發(fā)展的引擎。但這個(gè)引擎正面臨著數(shù)據(jù)量大而復(fù)雜等巨大的挑戰(zhàn)。各種業(yè)務(wù)數(shù)據(jù)正以幾何級(jí)數(shù)的形式爆發(fā)[2]，其格式、收集、儲(chǔ)存、檢索、分析、應(yīng)用等中存在諸多問(wèn)題，不再能以傳統(tǒng)的信息處理技術(shù)加以解決。數(shù)據(jù)的格式也由傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)處理的實(shí)時(shí)效應(yīng)要求也更高。大數(shù)據(jù)技術(shù)經(jīng)過(guò)幾年的發(fā)展，已經(jīng)形成了一個(gè)完整的生態(tài)技術(shù)圈，包括海量數(shù)據(jù)的的存儲(chǔ)及分析技術(shù)。

一、智能電網(wǎng)大數(shù)據(jù)技術(shù)的緣起

電網(wǎng)是國(guó)民工業(yè)發(fā)展的基礎(chǔ)，合理、高效地分配電力資源對(duì)經(jīng)濟(jì)的發(fā)展起著重要的影響。目前我國(guó)的電力系統(tǒng)存在運(yùn)行效率低、成本高、受環(huán)境影響較大等缺點(diǎn)，可靠性、自愈能力、穩(wěn)定性差、自身數(shù)據(jù)利用不充分等不足。

目前在中國(guó)大數(shù)據(jù)技術(shù)的應(yīng)用已比較普遍，多應(yīng)用于一些大型的國(guó)家服務(wù)機(jī)構(gòu)。隨著電力能源需求的不斷提升，國(guó)家電力機(jī)構(gòu)需要處理的用戶信息數(shù)以億計(jì)，對(duì)于所有的這些用電居民的信息整合對(duì)于工作人員來(lái)說(shuō)數(shù)據(jù)是十分的龐大的[1]。作為大型數(shù)據(jù)的典型，為了處理這些大宗的服務(wù)數(shù)據(jù)，國(guó)家智能電網(wǎng)將大數(shù)據(jù)技術(shù)應(yīng)用到其中。

本文針對(duì)國(guó)家電網(wǎng)存在的不足，結(jié)合大數(shù)據(jù)的生態(tài)技術(shù)圈，研究建設(shè)智能電網(wǎng)的一套方案，包括計(jì)算機(jī)集群的規(guī)劃，電網(wǎng)數(shù)據(jù)的采集、存儲(chǔ)、分析及應(yīng)用。

二、集群的建設(shè)

隨著智能電網(wǎng)建設(shè)和物聯(lián)網(wǎng)的應(yīng)用，電網(wǎng)大數(shù)據(jù)涉及到發(fā)電、輸電、變電、配電、用電、調(diào)度各環(huán)節(jié)數(shù)據(jù)，是由結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化構(gòu)成混合異構(gòu)數(shù)據(jù)，是跨單位、跨專(zhuān)業(yè)、跨業(yè)務(wù)數(shù)據(jù)集合，一個(gè)省的年新增數(shù)據(jù)量超過(guò)百T。

想要對(duì)海量電網(wǎng)數(shù)據(jù)進(jìn)行分析并挖掘數(shù)據(jù)當(dāng)中有用的價(jià)值，首要解決的問(wèn)題就是海量數(shù)據(jù)的存儲(chǔ)。目前存儲(chǔ)海量數(shù)據(jù)主要有兩種解決方法：

（一）購(gòu)買(mǎi)云服務(wù)，如阿里云，購(gòu)買(mǎi)云端ECS，搭建云端的計(jì)算機(jī)集群，將現(xiàn)有數(shù)據(jù)上傳到云端。下面是云服務(wù)器的參考配置：

數(shù)量（臺(tái)） CPU 內(nèi)存 硬盤(pán) 操作系統(tǒng)至少15臺(tái) 至少2x8核 至少64M 10T CentOS

購(gòu)買(mǎi)云服務(wù)器適合資金預(yù)算不足的小型企業(yè)，優(yōu)點(diǎn)是計(jì)算資源可以隨時(shí)購(gòu)買(mǎi)、隨時(shí)調(diào)整；缺陷也顯而易見(jiàn)，因?yàn)闄C(jī)器在云端，管理不方便；云端存儲(chǔ)空間昂貴；本地?cái)?shù)據(jù)采集不方便。

（二）購(gòu)買(mǎi)物理機(jī)搭建集群。購(gòu)買(mǎi)實(shí)體的服務(wù)器，在本地搭建計(jì)算機(jī)集群，方便管理，服務(wù)器推薦的配置如下：

數(shù)量（臺(tái)） CPU 內(nèi)存 硬盤(pán) 操作系統(tǒng)至少15臺(tái) 至少2x8核 至少64M 15T以上 CentOS

購(gòu)買(mǎi)實(shí)體服務(wù)器搭建的集群初始成本高，但總體成本相對(duì)云端的集群要低很多，因?yàn)闄C(jī)器在本地，管理起來(lái)較為方便。

集群上部署的服務(wù)推薦：

存儲(chǔ)框架 計(jì)算及分析框架 數(shù)據(jù)轉(zhuǎn)換組件 數(shù)據(jù)庫(kù)框架 數(shù)據(jù)挖掘組件Hadoop Spark Sqoop HBase、Hive Mahout

海量數(shù)據(jù)的存儲(chǔ)是對(duì)海量數(shù)據(jù)進(jìn)行分析和挖掘的前提，計(jì)算機(jī)集群為是存儲(chǔ)大數(shù)據(jù)的解決方案，以上兩種集群建設(shè)方法為后續(xù)對(duì)海量數(shù)據(jù)研究打基礎(chǔ)。

三、數(shù)據(jù)的采集

（一）存儲(chǔ)在傳統(tǒng)數(shù)據(jù)庫(kù)中的電網(wǎng)數(shù)據(jù)采集

集群部署階段安裝的Sqoop服務(wù)提供了數(shù)據(jù)轉(zhuǎn)化的功能，該服務(wù)可以將存儲(chǔ)在數(shù)據(jù)庫(kù)中的電網(wǎng)數(shù)據(jù)抽取到分布式的存儲(chǔ)架構(gòu)HDFS中，已有的數(shù)據(jù)就可以很方便地被拉取到集群中。

為便于后期對(duì)數(shù)據(jù)進(jìn)行分布和挖掘，我們可將抽取到HDFS中的數(shù)據(jù)導(dǎo)入Hive中。Hive針對(duì)表中數(shù)據(jù)提供了一種類(lèi)sql查詢和分析語(yǔ)法，只要掌握簡(jiǎn)單的sql語(yǔ)法即可對(duì)海量的數(shù)據(jù)進(jìn)行分析，而不必掌握復(fù)雜的大數(shù)據(jù)技術(shù)。

（二）網(wǎng)絡(luò)中的電網(wǎng)數(shù)據(jù)采集

Internet上有許多電力企業(yè)用戶的行為數(shù)據(jù)，這些數(shù)據(jù)中蘊(yùn)含著豐富的價(jià)值，采集和分析這些數(shù)據(jù)也成為企業(yè)發(fā)展的重要內(nèi)容。目前網(wǎng)絡(luò)上的數(shù)據(jù)主要通過(guò)專(zhuān)業(yè)的爬蟲(chóng)團(tuán)隊(duì)從個(gè)網(wǎng)站上爬取，爬取的數(shù)據(jù)大多數(shù)是非結(jié)構(gòu)化的。爬取到的網(wǎng)絡(luò)數(shù)據(jù)先將其上傳到HDFS中，針對(duì)這些非結(jié)構(gòu)化的數(shù)據(jù)可將其導(dǎo)入HBase表中，HBase對(duì)非結(jié)構(gòu)化的數(shù)據(jù)提供了一種列式存儲(chǔ)的分布式技術(shù)，該技術(shù)不但方便存儲(chǔ)復(fù)雜的數(shù)據(jù)，且因其列式存儲(chǔ)的特點(diǎn)，非常利于大量數(shù)據(jù)的壓縮存儲(chǔ)。

四、數(shù)據(jù)的分析和挖掘

數(shù)據(jù)的采集和存儲(chǔ)是大數(shù)據(jù)應(yīng)用的前提，對(duì)大數(shù)據(jù)進(jìn)行分析和挖掘，找出數(shù)據(jù)中蘊(yùn)藏的規(guī)律來(lái)指導(dǎo)企業(yè)的規(guī)劃和發(fā)展才是我們的最終目的。

目前，對(duì)存儲(chǔ)在分布式架構(gòu)中的海量數(shù)據(jù)已經(jīng)集成了一套數(shù)據(jù)分析和挖掘的組件：

數(shù)據(jù)預(yù)處理階段，Hive提供的類(lèi)sql功能可用于數(shù)據(jù)的過(guò)濾和清洗，初步篩選數(shù)據(jù)，減少數(shù)據(jù)的處理量以提高數(shù)據(jù)的處理速度。

數(shù)據(jù)的分析和挖掘階段，mahout框架提供了一系列數(shù)據(jù)挖掘相關(guān)的算法，如分類(lèi)算法、聚類(lèi)算法、協(xié)同過(guò)濾算法、模式挖掘算法等，可針對(duì)數(shù)據(jù)運(yùn)用相應(yīng)的算法，挖掘數(shù)據(jù)中的規(guī)律，為商業(yè)活動(dòng)提供指導(dǎo)。

機(jī)器學(xué)習(xí)階段，Spark的MLlib包中提供了一系列機(jī)器學(xué)習(xí)的模塊，包括樸素貝葉斯、SVM、隨機(jī)森林等，深度學(xué)習(xí)數(shù)據(jù)中蘊(yùn)藏的規(guī)律，利于對(duì)企業(yè)的發(fā)展做預(yù)測(cè)。

五、數(shù)據(jù)的應(yīng)用

通過(guò)大數(shù)據(jù)技術(shù)對(duì)智能電網(wǎng)海量數(shù)據(jù)的分析和挖掘所獲得的規(guī)律，可以指導(dǎo)決策者在企業(yè)運(yùn)營(yíng)中做出更加合理的決策。如根據(jù)分析所得的結(jié)果，調(diào)整時(shí)間段的供電量，減少資源的浪費(fèi)。通過(guò)這一系列的科技手段，既有效的提升了電力部門(mén)的績(jī)效，又降低電力信息管理的成本，相應(yīng)的也減少了電力系統(tǒng)運(yùn)行帶來(lái)的環(huán)境污染。尤其是智能電網(wǎng)的大數(shù)據(jù)技術(shù)已經(jīng)發(fā)展成為促進(jìn)電力系統(tǒng)發(fā)展的重要因素。大數(shù)據(jù)技術(shù)不僅可以協(xié)助智能電網(wǎng)進(jìn)行用戶數(shù)據(jù)采集，該可以借助大數(shù)據(jù)的挖掘分類(lèi)技術(shù)，將這些信息分門(mén)別類(lèi)，發(fā)送到各個(gè)不同的部門(mén)以減輕工作人員的工作壓力，或借助大數(shù)據(jù)可視化技術(shù)，在紛亂復(fù)雜的海量數(shù)據(jù)中，實(shí)現(xiàn)的智能在線監(jiān)控、可視化調(diào)度、趨勢(shì)分析、預(yù)測(cè)與報(bào)警、事件應(yīng)急處理和輔助決策等智能應(yīng)用。

六、結(jié)論

本文將大數(shù)據(jù)技術(shù)與智能電網(wǎng)相結(jié)合，先給出一套計(jì)算機(jī)集群服務(wù)器的配置要求，接著給出集群上部署的服務(wù)。接下來(lái)，結(jié)合現(xiàn)有的大數(shù)據(jù)技術(shù)，給出數(shù)據(jù)采集、數(shù)據(jù)分析和挖掘的初步解決方案。目前我國(guó)對(duì)于智能電網(wǎng)大數(shù)據(jù)技術(shù)的研究,尚處于探索的初級(jí)階段，還是擁有相當(dāng)大的的發(fā)展空間。不斷完善與大數(shù)據(jù)技術(shù)的相關(guān)的其他的新型科技，促使在智能電網(wǎng)中的大數(shù)據(jù)技術(shù)得到更好的應(yīng)用，使其逐漸成為國(guó)家智能電網(wǎng)發(fā)展的依靠。

[1]朱正凱.淺議智能輸電網(wǎng)線路狀態(tài)監(jiān)測(cè)數(shù)據(jù)傳輸技術(shù)的發(fā)展現(xiàn)狀及應(yīng)用[J].中國(guó)新通信,2017,(03):88-89.

[2]馮國(guó)瑞,王亮.基于大數(shù)據(jù)和云計(jì)算的電網(wǎng)財(cái)務(wù)系統(tǒng)決策研究[J].通信電源技術(shù),2017,(01):113-115.

楊程（1982－），男，廣西桂平人，大學(xué)本科，畢業(yè)于廣西大學(xué)，中級(jí)工程師，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。