周高強(qiáng) 王二輝 李英杰 孫亞平

摘? 要：近年來，受互聯(lián)網(wǎng)技術(shù)蓬勃發(fā)展的影響，促使大數(shù)據(jù)技術(shù)被廣泛應(yīng)用于各個(gè)領(lǐng)域及各個(gè)行業(yè)。智能電網(wǎng)是我國電網(wǎng)發(fā)展的主流趨勢，能明顯提高電能利用的合理性，大大降低能源消耗量。同時(shí)，智能電網(wǎng)中電力設(shè)備及應(yīng)用系統(tǒng)運(yùn)行期間可能產(chǎn)生大量數(shù)據(jù)，一旦處理方法不得當(dāng)則可能影響電網(wǎng)運(yùn)行效率。本文以智能電網(wǎng)配用電數(shù)據(jù)為切入點(diǎn)，分析其構(gòu)成特點(diǎn)，進(jìn)一步提出具體的存儲技術(shù)框架，旨在為相關(guān)從業(yè)人員積累更多的實(shí)踐經(jīng)驗(yàn)。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)? 智能電網(wǎng)? 數(shù)據(jù)存儲

工作實(shí)踐證明，智能電網(wǎng)中所產(chǎn)生的配用電數(shù)據(jù)量相對龐大，具有異構(gòu)性及多源性等鮮明特點(diǎn)，大大增加數(shù)據(jù)存儲及集成的難度，而利用大數(shù)據(jù)技術(shù)能有效整合配用電數(shù)據(jù)，基本實(shí)現(xiàn)集成存儲非結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)的目標(biāo)，大大提高其數(shù)據(jù)處理效率，突出智能電網(wǎng)運(yùn)行高速性的特點(diǎn)[1]。同時(shí)，大數(shù)據(jù)技術(shù)能有效分析配用電數(shù)據(jù)，準(zhǔn)確預(yù)測多源高緯數(shù)據(jù)，持續(xù)優(yōu)化電網(wǎng)原有的構(gòu)架，確保用電高峰期調(diào)度合理性。智能電網(wǎng)中配用電數(shù)據(jù)可劃分為軟件異構(gòu)及硬件異構(gòu)2個(gè)部分，尤其是軟件異構(gòu)指各種操作系統(tǒng)及數(shù)據(jù)庫，甚至包括各個(gè)參與主體所設(shè)計(jì)的應(yīng)用平臺，并且操作系統(tǒng)不同其數(shù)據(jù)庫、軟硬件平臺及數(shù)據(jù)存儲的要求也不盡相同，可能出現(xiàn)數(shù)據(jù)重復(fù)采集及重復(fù)存儲的問題。鑒于此，本文針對“大數(shù)據(jù)技術(shù)下智能電網(wǎng)配用電數(shù)據(jù)存儲技術(shù)”進(jìn)行分析研究具有重要的價(jià)值意義。

1? 智能電網(wǎng)配用電數(shù)據(jù)的構(gòu)成分析

按數(shù)據(jù)類型，智能電網(wǎng)配用電數(shù)據(jù)可劃分為非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)，而結(jié)合數(shù)據(jù)來源差異，可劃分為電網(wǎng)外部數(shù)據(jù)及電網(wǎng)內(nèi)部數(shù)據(jù)。通常情況下，配用電數(shù)據(jù)普遍利用信息集成化方式予以呈現(xiàn)，促使其數(shù)據(jù)具有維度大、顆粒度混雜及多類型數(shù)據(jù)共存的特點(diǎn)[2]。其中，結(jié)構(gòu)化數(shù)據(jù)是智能電網(wǎng)中最為重要的業(yè)務(wù)支持?jǐn)?shù)據(jù)，受現(xiàn)代應(yīng)用大范圍普及的影響，例如：客戶日志信息及分布式電源等，部分半結(jié)構(gòu)化數(shù)據(jù)及少部分非結(jié)構(gòu)化數(shù)據(jù)（即文本信息、視頻信息及Web頁面等）被納入基礎(chǔ)數(shù)據(jù)分析范圍。由于智能電網(wǎng)中特定網(wǎng)站web類數(shù)據(jù)量大大增加，出現(xiàn)非結(jié)構(gòu)化、半結(jié)構(gòu)化及結(jié)構(gòu)化數(shù)據(jù)共存的局面。

智能電網(wǎng)中各個(gè)系統(tǒng)或主體間呈現(xiàn)相互獨(dú)立的存在狀態(tài)，大大增加其數(shù)據(jù)維度，其集中體現(xiàn)于配用電數(shù)據(jù)從屬多個(gè)主體，所有主體間相互獨(dú)立存在，造成數(shù)據(jù)存儲及數(shù)據(jù)采集的時(shí)序性存在著明顯的不一致性，逐漸拉大數(shù)據(jù)維度。同時(shí)，系統(tǒng)中各個(gè)業(yè)務(wù)開展基本處于獨(dú)立運(yùn)行的狀態(tài)，各項(xiàng)業(yè)務(wù)可自主選擇數(shù)據(jù)采集時(shí)間，一旦彼此間無法統(tǒng)一時(shí)則可能拉大數(shù)據(jù)維度[3]。同時(shí)，數(shù)據(jù)顆粒度混雜的產(chǎn)生原因相對復(fù)雜，與不同系統(tǒng)業(yè)務(wù)需求差異性間存在著密切聯(lián)系，并且非結(jié)構(gòu)化數(shù)據(jù)及元數(shù)據(jù)的存儲空間及數(shù)據(jù)格式均不盡相同。無論是否為同一種結(jié)構(gòu)化數(shù)據(jù)，其容量及用戶不同則屬性要求也不同。

2? 智能電網(wǎng)配用電數(shù)據(jù)存儲技術(shù)的框架設(shè)計(jì)分析

2.1 資源管理

由于配用電數(shù)據(jù)普遍為多源異構(gòu)，客觀上要求相關(guān)管理人員于存儲前期采取相應(yīng)的處理措施，例如：將智能電網(wǎng)中硬件平臺與虛擬化技術(shù)相結(jié)合，搭建符合配用電數(shù)據(jù)要求的Master/Slave邏輯結(jié)構(gòu)，滿足自動(dòng)化篩選多源異構(gòu)數(shù)據(jù)的要求[4]。同時(shí)，以負(fù)載均衡方式為主要手段，動(dòng)態(tài)化分配用電數(shù)據(jù)相關(guān)存儲資源，持續(xù)優(yōu)化智能電網(wǎng)內(nèi)部資源結(jié)構(gòu)，實(shí)現(xiàn)用電高峰期合理調(diào)度資源的目標(biāo)，大大提高存儲資源利用率。此外，設(shè)計(jì)技術(shù)應(yīng)用框架期間，盡可能選擇2種或2種以上虛擬化技術(shù)配置系統(tǒng)，例如：以虛擬機(jī)VM技術(shù)為例，能將配電系統(tǒng)中自動(dòng)化主站平臺轉(zhuǎn)變?yōu)榕溆秒姶髷?shù)據(jù)中節(jié)點(diǎn)。

同時(shí)，虛擬機(jī)VM技術(shù)能促使各個(gè)市縣區(qū)域內(nèi)子系統(tǒng)及電力外網(wǎng)中企業(yè)及政府等用戶IT資源轉(zhuǎn)變?yōu)楣?jié)點(diǎn)，極大程度上縮小框架設(shè)計(jì)空間，大幅度提高其系統(tǒng)運(yùn)行效率，而經(jīng)虛擬化配用電系統(tǒng)，其內(nèi)外部計(jì)算資源成為相對獨(dú)立的資源池。為了大大提高資源池中IT資源的運(yùn)轉(zhuǎn)效率，保證智能電網(wǎng)運(yùn)行安全性及可靠性，相關(guān)技術(shù)人員必須構(gòu)建負(fù)載均衡模型，方可達(dá)到優(yōu)化資源配置的目標(biāo)[5]。與其它模型相比，負(fù)載均衡模型是非線性規(guī)劃模型，具體運(yùn)行期間不得脫離系統(tǒng)中任務(wù)量及節(jié)點(diǎn)數(shù)量等方面信息，再進(jìn)行求解優(yōu)化。其中，模型所使用的算法包括BP神經(jīng)網(wǎng)絡(luò)算法及遺傳算法。

虛擬化及負(fù)載均衡化處理配用電數(shù)據(jù)資源后，基本實(shí)現(xiàn)均衡配置內(nèi)部資源的目標(biāo)。為了提高配用電系統(tǒng)資源的利用率，相關(guān)技術(shù)人員合理調(diào)度各種資源，綜合考慮系統(tǒng)的具體需求，妥善設(shè)計(jì)各種模塊，例如：外部接口模塊、控制模塊、算法模塊及調(diào)度模塊等?？偠灾悄茈娋W(wǎng)數(shù)據(jù)可劃分為物理空間、映射地址及存儲介質(zhì)，而設(shè)計(jì)配用電數(shù)據(jù)應(yīng)用框架時(shí)盡量劃分為實(shí)際數(shù)據(jù)管理、元數(shù)據(jù)管理及資源管理3個(gè)層面，做好數(shù)據(jù)預(yù)處理工作，詳細(xì)區(qū)分元數(shù)據(jù)的類型，靈活運(yùn)用中間件技術(shù)，充分發(fā)揮其技術(shù)優(yōu)勢及作用，大大提高非結(jié)構(gòu)化數(shù)據(jù)的處理效率。

2.2 元數(shù)據(jù)管理

存儲數(shù)據(jù)時(shí)以系統(tǒng)是否能根據(jù)配電數(shù)據(jù)大小為依據(jù)，大大提高存儲空間的分配效率，并且所產(chǎn)生的地址映射（即元數(shù)據(jù)）進(jìn)行妥善處理，尤其是存儲數(shù)據(jù)時(shí)做好標(biāo)準(zhǔn)化元數(shù)據(jù)的管理工作。同時(shí)，預(yù)處理數(shù)據(jù)期間提前篩選數(shù)據(jù)，區(qū)分非機(jī)構(gòu)化數(shù)據(jù)及結(jié)構(gòu)化數(shù)據(jù)，及時(shí)轉(zhuǎn)換不同類型數(shù)據(jù)，形成標(biāo)準(zhǔn)化元數(shù)據(jù)，并且以XML格式為呈現(xiàn)形式，將完成轉(zhuǎn)換的元數(shù)據(jù)存儲至Master節(jié)點(diǎn)之中。此外，中間件技術(shù)的應(yīng)用形式相對多樣，例如：仿真終端、整合數(shù)據(jù)及訪問數(shù)據(jù)等，基本實(shí)現(xiàn)不同技術(shù)間信息資源共享的目標(biāo)，大大提高數(shù)據(jù)整合的運(yùn)行效率，強(qiáng)化總體管理效果。

2.3 實(shí)際數(shù)據(jù)管理

與其他類型數(shù)據(jù)相比，實(shí)際數(shù)據(jù)具有多源異構(gòu)類及高緯度等鮮明特點(diǎn)。因此在實(shí)際管理的過程中，相關(guān)技術(shù)人員結(jié)合實(shí)際數(shù)據(jù)與元數(shù)據(jù)間映射關(guān)系，利用NoSQL技術(shù)手段分布式存儲具體數(shù)據(jù)，即綜合考慮實(shí)際數(shù)據(jù)與智能電網(wǎng)間位置差異性，采取相應(yīng)的分層存儲措施，針對處于內(nèi)部電網(wǎng)中實(shí)際數(shù)據(jù)則存儲于電網(wǎng)內(nèi)部，針對處于電網(wǎng)外部的實(shí)際數(shù)據(jù)則存儲于電網(wǎng)外部。

3? 結(jié)語

通過本文探究，認(rèn)識到受智能電網(wǎng)大范圍普及的影響，其配用電數(shù)據(jù)存儲及處理水平高低直接決定電網(wǎng)總體運(yùn)行狀況，占據(jù)著極其重要的地位及作用，而應(yīng)用大數(shù)據(jù)處理技術(shù)能分門別類存儲不同類型數(shù)據(jù)信息，極大程度上優(yōu)化電網(wǎng)內(nèi)部空間，大大提高電網(wǎng)運(yùn)行效率。因此，相關(guān)技術(shù)人員秉持實(shí)事求是的工作原則，將元數(shù)據(jù)視為基礎(chǔ)設(shè)計(jì)完整的技術(shù)框架，為促進(jìn)我國智能電網(wǎng)配電數(shù)據(jù)存儲技術(shù)水平進(jìn)步提供強(qiáng)有力的支持。

參考文獻(xiàn)

[1] 王林童，趙騰，張焰，等，田世明.配用電大數(shù)據(jù)多源集成及存儲優(yōu)化方法[J].高電壓技術(shù)，2018，44（4）：1131-1139.

[2] 施康，朱超平.基于大數(shù)據(jù)技術(shù)下智能電網(wǎng)配用電數(shù)據(jù)存儲技術(shù)研究[J].自動(dòng)化與儀器儀表，2018（2）：65-67.

[3] 張福錚，黃文琦，陳華軍，等.基于HBase的配用電海量時(shí)序數(shù)據(jù)存取研究[J].現(xiàn)代電子技術(shù)，2017，40（13）：159-163.