黃偉　曹健

摘要：大數(shù)據(jù)指的是智能電網(wǎng)運行、檢修和管理過程中會產(chǎn)生海量異構(gòu)、多態(tài)的狀態(tài)數(shù)據(jù)，文章闡述了在商業(yè)、互聯(lián)網(wǎng)等領(lǐng)域的大數(shù)據(jù)處理技術(shù)，從大數(shù)據(jù)傳輸、存儲、處理等方面對智能電網(wǎng)大數(shù)據(jù)面臨的機遇和挑戰(zhàn)做出了具體的分析。

關(guān)鍵詞：大數(shù)據(jù)；智能電網(wǎng)；技術(shù)；挑戰(zhàn)；展望

0 引言

近年來，電力工業(yè)以智能電網(wǎng)為發(fā)展方向，智能電網(wǎng)吸納了計算機等現(xiàn)代科學技術(shù)，提高了電網(wǎng)運行市場的功能協(xié)調(diào)與系統(tǒng)運行效率，同時有效的降低成本，減弱了對外界環(huán)境的影響，為電力工業(yè)電網(wǎng)的系統(tǒng)發(fā)展的可靠與穩(wěn)定性奠定了基礎(chǔ)。

智能電網(wǎng)屬于全面的電力系統(tǒng)網(wǎng)絡(luò)，涵蓋著發(fā)電、輸電、變電、配電、用電等環(huán)環(huán)節(jié)，屬于實時的全景控制系統(tǒng)網(wǎng)絡(luò)。實現(xiàn)智能電網(wǎng)的安全、可靠的目標必須以實時數(shù)據(jù)采集、分析以及處理的技術(shù)為依托，提高多源數(shù)據(jù)的分析效率。

廣義上講，大數(shù)據(jù)不僅是對各種復(fù)雜數(shù)據(jù)的捕捉、處理，還包括其處理數(shù)據(jù)的技術(shù)體系、理論與方法技術(shù)。隨著科技的發(fā)展，智能電網(wǎng)逐漸普及并利用于交通、醫(yī)療等行業(yè)，作為一項高科技技術(shù)依托的應(yīng)用。起初，智能電表與傳感技術(shù)的應(yīng)用為智能電網(wǎng)的興起奠定了市場基礎(chǔ)，大數(shù)據(jù)利用其本身的管理與技術(shù)價值為工業(yè)帶來了優(yōu)質(zhì)的服務(wù)，為電力公司拓寬了業(yè)務(wù)范圍，使工業(yè)界與服務(wù)界產(chǎn)生了根本性的變革。

1 智能電網(wǎng)大數(shù)據(jù)處理技術(shù)

1.1 大數(shù)據(jù)處理的價值和復(fù)雜性

近年來，大數(shù)據(jù)已經(jīng)成為全世界科技界和產(chǎn)業(yè)界關(guān)注的趨勢，美國倡導(dǎo)加強大數(shù)據(jù)的研究，認為大數(shù)據(jù)會對科技與經(jīng)濟發(fā)展帶來重大的影響，對大數(shù)據(jù)控制也將成為國家間和企業(yè)間重要的競爭點。然而目前全球?qū)?shù)據(jù)的存儲和處理能力已不能滿足數(shù)據(jù)增長的趨勢，大數(shù)據(jù)在智能電網(wǎng)建設(shè)中的技術(shù)仍需要大力的研究，云計算平臺可靠性與可擴展性較高，并且成本低，有利于技術(shù)的普及，可以用于智能電網(wǎng)的數(shù)據(jù)管理與設(shè)備監(jiān)測，為大數(shù)據(jù)處理提供了新的平臺，有效的減少了數(shù)據(jù)處理軟件開發(fā)的數(shù)量。但是，云計算平臺不具備較高的實用性，對于大數(shù)據(jù)挖掘功能還有一定的挑戰(zhàn)，面臨著大數(shù)據(jù)的多樣化發(fā)展，對公共數(shù)據(jù)處理平臺的數(shù)據(jù)挖掘與處理要求也越來越高，處理大數(shù)據(jù)包含著在線、離線、流數(shù)據(jù)和圖數(shù)據(jù)等等類型，需要利用復(fù)雜混合計算方式進行大數(shù)據(jù)的處理，要突破智能電網(wǎng)大數(shù)據(jù)技術(shù)局限性，探討出可行性高的解決方案。

1.2 云計算在智能電網(wǎng)中的應(yīng)用

云計算技術(shù)的核心是海量數(shù)據(jù)存儲和數(shù)據(jù)并行處理技術(shù)，是大數(shù)據(jù)處理技術(shù)的重要組成部分。傳統(tǒng)的數(shù)據(jù)技術(shù)對于大數(shù)據(jù)的類型與分布不相適應(yīng)，但云計算技術(shù)基于其本質(zhì)特征很好的替代了傳統(tǒng)技術(shù)的智能電網(wǎng)數(shù)據(jù)儲存與處理。

電力設(shè)備狀態(tài)的監(jiān)測數(shù)據(jù)是智能電網(wǎng)中數(shù)據(jù)量最大的數(shù)據(jù)類型，包含著設(shè)備基本信息、實驗數(shù)據(jù)等各方面的數(shù)據(jù)信息，并且對信息的實時性要求非常高。對于智能電網(wǎng)狀態(tài)數(shù)據(jù)監(jiān)測，云計算技術(shù)結(jié)合了Hadoop等虛擬化技術(shù)，利用列存儲的管理模式實現(xiàn)了數(shù)據(jù)有效的存儲，提高了狀態(tài)數(shù)據(jù)的實時性與可靠性。

在國內(nèi)電力行業(yè)中由于電力系統(tǒng)資源利用效率不高，相關(guān)人士對云計算資源管理平臺做出了框架與模式的改善，對于仿真云計算的進行層次設(shè)計，利用數(shù)據(jù)業(yè)務(wù)流程進行ERP數(shù)據(jù)的備份，結(jié)果還在探索之中。未來云計算與互聯(lián)網(wǎng)結(jié)合是智能電網(wǎng)系統(tǒng)運作的新方向，完善電力設(shè)備狀態(tài)監(jiān)測存儲系統(tǒng)，提高云計算平臺對數(shù)據(jù)處理的可靠性是我國正在探索的目標。

在國外，云計算在智能電網(wǎng)中的應(yīng)用相對成熟一些，很多的云計算平臺已具備較為完善運行系統(tǒng)，能夠滿足用戶對數(shù)據(jù)的實時查詢與海量瀏覽，實現(xiàn)了云計算平臺對實時數(shù)據(jù)監(jiān)測與管理。

應(yīng)用目前已用于海量數(shù)據(jù)的存儲和簡單處理，已有實現(xiàn)并的實際。分析了電力系統(tǒng)中不同用戶的需求，設(shè)計了用于實時數(shù)據(jù)流管理的智能電網(wǎng)數(shù)據(jù)云模型，特別適合處理智能電網(wǎng)中產(chǎn)生的流式數(shù)據(jù)，同時基于該模型實現(xiàn)了一個的智能測量與管理。日本Kyushu電力公司對智能電網(wǎng)的軟件數(shù)據(jù)處理運行做出了研究與分析，利用云計算平臺實現(xiàn)了對海量數(shù)據(jù)的處理與管理，有效的提高了數(shù)據(jù)監(jiān)控以及運行的可靠性和可擴展性，為智能電網(wǎng)大數(shù)據(jù)的云計算發(fā)展提供了很大的機遇。

2 智能電網(wǎng)大數(shù)據(jù)技術(shù)的機遇與挑戰(zhàn)

2.1 大數(shù)據(jù)傳輸及存儲技術(shù)

隨著智能電網(wǎng)的不斷發(fā)展，電力系統(tǒng)在運作過程中產(chǎn)生的監(jiān)測數(shù)據(jù)越來越龐大，海量數(shù)據(jù)的傳輸記錄造成了監(jiān)控設(shè)備的巨大負擔，為智能電網(wǎng)的進一步智能化發(fā)展產(chǎn)生了一定的制約。然而，數(shù)據(jù)壓縮技術(shù)的提出大大的減少數(shù)據(jù)傳輸量，快速的提高了數(shù)據(jù)傳輸效率，被人們密切的重視與廣泛的關(guān)注。

相關(guān)研究人員對電力系統(tǒng)的數(shù)據(jù)做出了具體的探究與分析，提出了參數(shù)化壓縮計算法，即在電線監(jiān)測中采用無線的數(shù)據(jù)壓縮，擺脫了寬帶網(wǎng)絡(luò)的束縛，實現(xiàn)了電流采樣頻率數(shù)據(jù)的傳輸優(yōu)化，完成了海量電路狀態(tài)數(shù)據(jù)的輸送與管理。數(shù)據(jù)壓縮有效的為系統(tǒng)減少了存儲空間，但不合理的數(shù)據(jù)計算方式會造成壓縮和解壓過程的資源耗費，導(dǎo)致不但沒有實現(xiàn)資源效率的提高，還造成了資源的不合理配置與浪費。

在數(shù)據(jù)存儲方面，智能電網(wǎng)中的數(shù)據(jù)的儲存可以利用分布式文件系統(tǒng)，這種系統(tǒng)具有存儲海量數(shù)據(jù)的特點，但在數(shù)據(jù)實時性上不能有效的保證。因此，要根據(jù)大數(shù)據(jù)的性能進行存儲分類，對核心業(yè)務(wù)數(shù)據(jù)使用并行數(shù)據(jù)倉庫系統(tǒng)；對實時性要求高的數(shù)據(jù)采用實時數(shù)據(jù)庫系統(tǒng)；對非結(jié)構(gòu)化數(shù)據(jù)采用分布式文件系統(tǒng)。

智能電網(wǎng)中的數(shù)據(jù)格式與傳統(tǒng)數(shù)據(jù)差異很明顯，智能電網(wǎng)中的數(shù)據(jù)生成周期快，波形數(shù)據(jù)占較大的比重。要加快傳統(tǒng)商業(yè)數(shù)據(jù)向智能電網(wǎng)數(shù)據(jù)的轉(zhuǎn)變，對電網(wǎng)大數(shù)據(jù)的存儲格式與形式進行深入的研究與分析，有助于今后對大數(shù)據(jù)分析與管理。

利用計算機算法對數(shù)據(jù)異構(gòu)處理的模式雖然不能保證較高的效率，但是在同質(zhì)數(shù)據(jù)的處理上具有很大的優(yōu)越性，將智能電網(wǎng)中的大數(shù)據(jù)轉(zhuǎn)換成同質(zhì)結(jié)構(gòu)是實現(xiàn)科學、快速儲存的關(guān)鍵性技術(shù)。智能電網(wǎng)中存在海量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)，我們要科學分析并探究出結(jié)構(gòu)轉(zhuǎn)化的有效方法，這是實現(xiàn)智能電網(wǎng)大數(shù)據(jù)儲存的一項關(guān)鍵的挑戰(zhàn)。

2.2 實時數(shù)據(jù)處理技術(shù)

對大數(shù)據(jù)而言，數(shù)據(jù)處理速度十分重要。一般情況下，數(shù)據(jù)規(guī)模越大，分析處理的時間就會越長。傳統(tǒng)的數(shù)據(jù)存儲方案是為一定大小的數(shù)據(jù)量而設(shè)計的，在其設(shè)計范圍內(nèi)處理速度可能非?？?，但不能適應(yīng)大數(shù)據(jù)的要求。未來智能電網(wǎng)環(huán)境下，從發(fā)電、輸變電環(huán)節(jié)，到用電環(huán)節(jié)，都需要實時數(shù)據(jù)處理。目前的云計算系統(tǒng)可以提供快速的服務(wù)，但有可能會受到短暫的網(wǎng)絡(luò)擁塞，甚至是單臺服務(wù)器故障的影響，而不能保證響應(yīng)時間。

內(nèi)存數(shù)據(jù)庫指的是放在內(nèi)存中可以進行直接操作的數(shù)據(jù)的集合，近年來受到相關(guān)研究人員的關(guān)注。利用內(nèi)存儲存數(shù)據(jù)能有效的提高數(shù)據(jù)讀寫的速度，相對于磁盤上數(shù)據(jù)的讀取具有很大的優(yōu)勢。內(nèi)存數(shù)據(jù)庫目前在智能電網(wǎng)中數(shù)據(jù)處理的應(yīng)用效率高，還很大程度上提高了數(shù)據(jù)的實時性，對與我國用電過剩地區(qū)的用電問題提供了新的解決思路，利用大用戶的數(shù)據(jù)集成進行智能電表的制作，為實現(xiàn)對各地電能消費情況的宏觀分析與預(yù)防提供了解決方案。在大數(shù)據(jù)的檢索方面，也是一個巨大的挑戰(zhàn)。一般索引結(jié)構(gòu)只支持簡單數(shù)據(jù)，而制定具有復(fù)雜結(jié)構(gòu)的大數(shù)據(jù)索引系統(tǒng)仍是現(xiàn)階段我們需要解決的問題。

發(fā)電企業(yè)要求實現(xiàn)自動化與實時監(jiān)控，實現(xiàn)信息的集成與共享，正常的大數(shù)據(jù)處理系統(tǒng)在TCP/IP協(xié)議時容易出現(xiàn)故障，云計算系統(tǒng)有利于維護數(shù)據(jù)的穩(wěn)定性與可靠性，但不能滿足實時數(shù)據(jù)管理的需要。輸電環(huán)節(jié)對處理數(shù)據(jù)的平臺性能要求較高，提升云平臺對監(jiān)測數(shù)據(jù)的性能有助于增強智能電網(wǎng)的自愈功能，比如大規(guī)模停電事故就是由于監(jiān)控信息的缺失，因此建立全面監(jiān)測數(shù)據(jù)系統(tǒng)，實現(xiàn)實時數(shù)據(jù)跟蹤是現(xiàn)階段急需解決的問題。未來智能電網(wǎng)環(huán)境下實現(xiàn)低成本是主要趨勢，例如家庭設(shè)備會采用電量低谷時段運行，可見實時監(jiān)控數(shù)據(jù)的管理已變得越來越重要。

近年來，國內(nèi)外對于智能電網(wǎng)大數(shù)據(jù)技術(shù)的研究仍處于探索階段，大數(shù)據(jù)信息系統(tǒng)存在一些操作問題，不能實現(xiàn)較為便捷的數(shù)據(jù)獲取與實時監(jiān)控的功效，相關(guān)技術(shù)還正在完善與成熟中，對智能電網(wǎng)大數(shù)據(jù)技術(shù)的發(fā)展研究還需要一個漫長而復(fù)雜的過程。