邱爽

摘 要：科技的發(fā)展使數(shù)據(jù)的積累速度大幅提高，如何有效利用這些海量數(shù)據(jù)已成為影響企業(yè)核心競爭力的主要因素。本文通過大數(shù)據(jù)分析電力系統(tǒng)營銷數(shù)據(jù)，以提升供電企業(yè)的服務(wù)質(zhì)量，指引供電企業(yè)的發(fā)展方向。隨著大數(shù)據(jù)處理技術(shù)的發(fā)展、供電數(shù)據(jù)的積累及政策的導(dǎo)向，供電企業(yè)可以提出具有前瞻性的供電解決方案，獲得更為準(zhǔn)確的用電需求信息，提高供電企業(yè)運(yùn)行效率，提供企業(yè)管控能力。

關(guān)鍵詞：供電企業(yè)；大數(shù)據(jù)分析；大數(shù)據(jù)處理；用電信息；處理效率

中圖分類號：TM93 文獻(xiàn)標(biāo)識碼：A

大數(shù)據(jù)（Big Data）又稱為海量數(shù)據(jù)，這些數(shù)據(jù)在未經(jīng)處理前不具備任何參考價(jià)值，無法作為參考或輔助決策的依據(jù)。但這些數(shù)據(jù)只要經(jīng)過恰當(dāng)?shù)奶幚砼c分析就能將海量數(shù)據(jù)轉(zhuǎn)化為有參考價(jià)值的數(shù)據(jù)，從而提升企業(yè)的服務(wù)水平及競爭力。

大數(shù)據(jù)的分析及應(yīng)用與現(xiàn)今生活息息相關(guān)，涉及交通、購物、天氣、刑偵、電力等眾多領(lǐng)域，將不同類型的數(shù)據(jù)收集并加以分析，極有可能挖掘出以往不為人知的信息與模式。

例如在不侵犯個(gè)人隱私法規(guī)的前提下，利用數(shù)字醫(yī)療記錄進(jìn)行健康趨勢分析或疾病關(guān)鍵因素分析與控制等，通過上述數(shù)據(jù)即可建立周圍因素與健康之間的關(guān)系模型；網(wǎng)上購物網(wǎng)站利用數(shù)據(jù)分析可找出消費(fèi)者喜好的產(chǎn)品，通過系統(tǒng)向消費(fèi)者推薦同類商品，增加消費(fèi)者購買的可能性；電力系統(tǒng)大數(shù)據(jù)分析從用戶注冊、繳費(fèi)完成（包括現(xiàn)金繳費(fèi)、銀聯(lián)繳費(fèi)、代扣等）至核銷對賬的完成，所有類型數(shù)據(jù)均存儲(chǔ)在系統(tǒng)中，構(gòu)成電力營銷系統(tǒng)大數(shù)據(jù)，使企業(yè)的信息管理更加便捷，同時(shí)能有效的識別和分析潛在風(fēng)險(xiǎn)，并制定相應(yīng)的防范措施。

1 大數(shù)據(jù)的概念及意義

大數(shù)據(jù)又稱海量數(shù)據(jù)，是指無法在一定時(shí)間內(nèi)用常規(guī)軟件處理的數(shù)據(jù)集合。

近年來，隨著大數(shù)據(jù)處理與應(yīng)用技術(shù)研究的深入，如何將大數(shù)據(jù)轉(zhuǎn)換為企業(yè)生產(chǎn)力和競爭力是目前電力企業(yè)改革的趨勢。

目前，對大數(shù)據(jù)的定義應(yīng)具有以下5V特點(diǎn)：

1.1 數(shù)據(jù)量

數(shù)據(jù)量是大數(shù)據(jù)的最基本特征；物聯(lián)網(wǎng)數(shù)據(jù)及使用者主動(dòng)、被動(dòng)分享的數(shù)據(jù)快速的累積，很容易是數(shù)據(jù)量達(dá)到TB或PB等級；海量數(shù)據(jù)給處理工作帶來了挑戰(zhàn)，不僅是數(shù)據(jù)的提取，資料的管理與存儲(chǔ)，更重要的是有效挖掘出隱藏在此數(shù)據(jù)里的重要信息。

1.2 多樣性

大數(shù)據(jù)不僅強(qiáng)調(diào)數(shù)據(jù)量的大小，還涉及數(shù)據(jù)類型的改變，具體可分為三類：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)；所謂結(jié)構(gòu)化數(shù)據(jù)可用二維表結(jié)構(gòu)表述，并可存儲(chǔ)在數(shù)據(jù)庫中，而非結(jié)構(gòu)化數(shù)據(jù)將無法以預(yù)定的數(shù)據(jù)模型存入數(shù)據(jù)庫表中。

1.3 數(shù)據(jù)的時(shí)效性

傳統(tǒng)的數(shù)據(jù)分析注重對歷史數(shù)據(jù)的分析與挖掘，并且所有分析數(shù)據(jù)都以日或月為基準(zhǔn)單位產(chǎn)生，然后進(jìn)行生產(chǎn)計(jì)劃決策，但隨著技術(shù)更新速度的加快，這類過長的歷史數(shù)據(jù)以無法滿足市場的需要，所以企業(yè)必須實(shí)時(shí)分析所擁有的最新數(shù)據(jù)。

1.4 數(shù)據(jù)的可靠性

過去數(shù)據(jù)在分析前均經(jīng)過預(yù)處理，可保證數(shù)據(jù)的可靠度，如果處理企業(yè)實(shí)時(shí)數(shù)據(jù)，數(shù)據(jù)測量往往受到不同外在因素影響而產(chǎn)生不同形態(tài)的誤差，甚至測量數(shù)據(jù)不完整，導(dǎo)致品質(zhì)不良，影響分析結(jié)果。

1.5 數(shù)據(jù)價(jià)值

所收集的大數(shù)據(jù)期望可以帶來能被利用的價(jià)值，將大數(shù)據(jù)經(jīng)過適當(dāng)?shù)奶幚矸治?，進(jìn)而得到各種應(yīng)對方法。

針對供電企業(yè)的海量數(shù)據(jù)，傳統(tǒng)的通過單機(jī)處理或使用一般數(shù)據(jù)庫進(jìn)行處理和分析已經(jīng)不能滿足企業(yè)的需求。

基于此，本文以Hadoop分散式平臺與Hadoop兩大核心技術(shù)——MapReduce分散式算法與HDFS分布式文件系統(tǒng)，對供電企業(yè)大數(shù)據(jù)進(jìn)行存儲(chǔ)、處理與分析。

2 供電企業(yè)大數(shù)據(jù)處理平臺

Hadoop是針對MapReduce框架所實(shí)現(xiàn)一個(gè)具有分散式運(yùn)算框架的開放式平臺，包含有著名的分布式文件系統(tǒng)（HDFS）、分散式數(shù)據(jù)處理框架（MapReduce），分散式以Column-Oriented數(shù)據(jù)存儲(chǔ)系統(tǒng)（HBse），提供可靠、高效、可伸縮的分散式處理平臺。

2.1 分散式儲(chǔ)存

通過Hadoop將數(shù)臺電腦布置用于采集企業(yè)運(yùn)行數(shù)據(jù)，并將數(shù)據(jù)存儲(chǔ)在由HDFS自動(dòng)分配的數(shù)據(jù)存儲(chǔ)區(qū)，并建立備份，防止用于采集的電腦發(fā)生故障或錯(cuò)誤時(shí)造成數(shù)據(jù)丟失，提高容錯(cuò)性。

2.2 分散式運(yùn)算

Hadoop平臺采用原始的MapReduce分散式處理方法處理結(jié)構(gòu)化大數(shù)據(jù)，并利用分布式電腦歸集分散的運(yùn)算，將運(yùn)算工作分割成許多任務(wù)分散在各個(gè)執(zhí)行。提供高度的可靠性運(yùn)算，降低網(wǎng)絡(luò)傳輸需求基負(fù)載平衡。

雖然HadoopMapReduce在大數(shù)據(jù)處理密集型批處理數(shù)據(jù)上非常成功，但由于每執(zhí)行一個(gè)MapReduce任務(wù)需要在數(shù)據(jù)收集環(huán)境內(nèi)，初始化一個(gè)任務(wù)并通過網(wǎng)絡(luò)指派工作內(nèi)容，且每次MapReduce任務(wù)執(zhí)行完畢后都需要執(zhí)行I/O任務(wù)，將結(jié)果輸出至HDFS。因此，MapReduce不適合在低延遲要求或高迭代運(yùn)算上應(yīng)用。

Spark是一種機(jī)遇內(nèi)存運(yùn)算框架且與Hadoop兼容，Spark的運(yùn)算特性適合迭代運(yùn)算，Spark再函數(shù)運(yùn)算后并不會(huì)將結(jié)果輸出，減少I/O任務(wù)執(zhí)行次數(shù)，進(jìn)而增加效率，因此Spark特別適合于反復(fù)迭代的機(jī)器學(xué)習(xí)機(jī)算法及交叉式對比分析。

2.3 分散式數(shù)據(jù)庫

NoSQL根據(jù)存儲(chǔ)方式可分為Key-value數(shù)據(jù)庫、Column-oriented數(shù)據(jù)庫、Document-oriented數(shù)據(jù)庫及Graph-oriented數(shù)據(jù)庫。

3 供電企業(yè)大數(shù)據(jù)應(yīng)用案例

目前很多行業(yè)已經(jīng)采用大數(shù)據(jù)解決方案來處理海量數(shù)據(jù)帶來的各類問題，且各自發(fā)展出具有前瞻性的應(yīng)用，這些企業(yè)以Hadoop作為其處理海量數(shù)據(jù)的平臺，例如：

1）供電企業(yè)將售電數(shù)據(jù)記錄文件導(dǎo)入至具有600節(jié)點(diǎn)的Hadoop數(shù)據(jù)庫中存儲(chǔ)，進(jìn)行用電信息分析，供電峰值分析和售電價(jià)格分析等；

2）供電企業(yè)對用電信息進(jìn)行統(tǒng)計(jì)整理，尋找出用電客戶的特點(diǎn)，利用大數(shù)據(jù)對電能進(jìn)行精準(zhǔn)營銷，對用電大戶采取避峰開工的用電建議，維護(hù)電網(wǎng)安全運(yùn)行。

3）根據(jù)用戶用電數(shù)據(jù)、電網(wǎng)故障數(shù)據(jù)及電流峰值分析，判斷電力系統(tǒng)中最易發(fā)生故障的環(huán)境，在電力檢修過程中重點(diǎn)檢查。

4）根據(jù)企業(yè)用電特征及電網(wǎng)運(yùn)行特點(diǎn)，制定最適合企業(yè)經(jīng)濟(jì)性和電力系統(tǒng)安全的用電規(guī)則，使企業(yè)經(jīng)濟(jì)效益最大化，同時(shí)還能保證設(shè)備供電電壓的穩(wěn)定性和可靠度。

在數(shù)據(jù)處理過程中，協(xié)同過濾是大數(shù)據(jù)處理中最常用的方法，其主要是利用使用者對使用者或物品對物品之間的相似度去預(yù)測使用者對某種物品的評分。

因此，協(xié)同過濾可分為兩部分，第一部分為基于使用者的協(xié)同過濾，第二種是基于物品的協(xié)同過濾。兩部分的流程相同，只是一個(gè)針對使用者，另一個(gè)針對物品。

4 供電大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)

隨著科技的發(fā)展，數(shù)據(jù)的收集與處理系統(tǒng)將成為企業(yè)未來解決方案及競爭力的核心基礎(chǔ)，其包含四大技術(shù)即時(shí)串聯(lián)分析、建模統(tǒng)計(jì)查詢、分散存儲(chǔ)提取、服務(wù)整合包裝，提供電力企業(yè)從生產(chǎn)到銷售整個(gè)過程的數(shù)據(jù)收集，分析直至效率統(tǒng)計(jì)與預(yù)測，具體技術(shù)如下：

4.1 即時(shí)串聯(lián)分析

該技術(shù)系統(tǒng)主要構(gòu)建于即時(shí)分析軟件Apache Storm上；Storm是一個(gè)以分散式、容錯(cuò)、連續(xù)即時(shí)串聯(lián)處理為目的的免費(fèi)開源軟件，可簡單、可靠的處理大量的數(shù)據(jù)。適合以Strom開發(fā)的應(yīng)用類型如：即時(shí)分析、線上機(jī)器學(xué)習(xí)、持續(xù)運(yùn)算、分散式RPC等等，Strom具有高度容錯(cuò)性，保證每次數(shù)據(jù)都會(huì)處理，而且速度很快。另外對于使用者來說，Strom的設(shè)置與維護(hù)運(yùn)行都非常方便，并且可以使用多種語言編寫應(yīng)用程序。故Strom具有以下重要特性：編寫結(jié)構(gòu)簡單、可快速擴(kuò)展性、高可靠度、高容錯(cuò)性、支持多種程序語言開發(fā)。

4.2 建模統(tǒng)計(jì)查詢

該技術(shù)主要建立統(tǒng)計(jì)軟件R與其相關(guān)的整合工具Deploy；R是一個(gè)程序語言、統(tǒng)計(jì)計(jì)算與繪圖的整合環(huán)境，提供非常多的統(tǒng)計(jì)工具，包含線性與非線性模型、統(tǒng)計(jì)分析、時(shí)間序列分析、分類分析、集群分析等工具。其特點(diǎn)是免費(fèi)、開放且占有率高，可實(shí)現(xiàn)跨平臺運(yùn)行，包括Windows、Linux等多種平臺。

4.3 分散存儲(chǔ)提取

該技術(shù)建立在HDFS之上，HDFS是Hadoopecosystem中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，將分散的儲(chǔ)存數(shù)據(jù)整合成一個(gè)具有容錯(cuò)能力、高效率且超大容量為一體的儲(chǔ)存環(huán)境，在Hadoop系統(tǒng)中大量的數(shù)據(jù)和運(yùn)算時(shí)產(chǎn)生的暫時(shí)數(shù)據(jù)，都存放在這個(gè)分散式的檔案系統(tǒng)上。

4.4 服務(wù)整合包裝

該技術(shù)主要搭建在Node.js之上，Node.js是為一個(gè)事件驅(qū)動(dòng)I/O伺服端的JavaScript環(huán)境，目的提供撰寫可擴(kuò)展的網(wǎng)絡(luò)程序，如Web服務(wù)。是一種高效，易擴(kuò)展的網(wǎng)站應(yīng)用程序開發(fā)框架。

為了讓開發(fā)者能夠更好開發(fā)高延展性的網(wǎng)絡(luò)服務(wù)，不需要經(jīng)過太多復(fù)雜的調(diào)校、效能調(diào)整及程序修改，就能滿足網(wǎng)絡(luò)服務(wù)在不同發(fā)展階段對效率的要求。

實(shí)際的能效實(shí)時(shí)監(jiān)控，收集供電企業(yè)供電數(shù)據(jù)，并經(jīng)過收集伺服器運(yùn)行串聯(lián)分析等技術(shù)模塊對該運(yùn)行數(shù)據(jù)進(jìn)行提取、生產(chǎn)管理數(shù)據(jù)對比、統(tǒng)計(jì)分析處理、預(yù)測建模等步驟，以即時(shí)監(jiān)控供電網(wǎng)絡(luò)的運(yùn)行效率，當(dāng)供電數(shù)據(jù)超過由預(yù)測模型給定的安全范圍時(shí)，給予效能異常的即時(shí)報(bào)警處理。

5 結(jié)論

在大數(shù)據(jù)時(shí)代如果能分析出有價(jià)值的信息，就能為企業(yè)帶來更大的競爭力，同時(shí)為企業(yè)的發(fā)展指明方向。

就供電企業(yè)而言，精準(zhǔn)的用電數(shù)據(jù)可給出發(fā)電企業(yè)準(zhǔn)確的發(fā)電數(shù)據(jù)，從而使發(fā)電企業(yè)以最優(yōu)化的配置進(jìn)行電能生產(chǎn)，在保證用電企業(yè)正常運(yùn)轉(zhuǎn)的同時(shí)，使發(fā)電企業(yè)經(jīng)濟(jì)效益最大化，從而降低能耗，實(shí)現(xiàn)節(jié)能減排的目的。

此外，從大數(shù)據(jù)分析中提取出的有用信息可幫助供電企業(yè)指明企業(yè)的發(fā)展方向，同時(shí)可提高供電企業(yè)的服務(wù)水平及供電品質(zhì)，提高企業(yè)競爭力。