張碩

摘要：本文首先闡述了目前的智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀，接著分析了智能電網(wǎng)大數(shù)據(jù)平臺(tái)和應(yīng)用框架，最后對(duì)新時(shí)代智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的機(jī)遇與挑戰(zhàn)進(jìn)行了探討。

關(guān)鍵詞：智能電網(wǎng);大數(shù)據(jù)處理技術(shù);現(xiàn)狀

近年來，隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展，人們對(duì)資源的開發(fā)利用越來越快，全球能源問題日益嚴(yán)重。其中，人們使用最多的能源無疑是電力。然而，在電力傳輸過程中仍然存在著大量的耗散現(xiàn)象。因此，許多國家都對(duì)智能電網(wǎng)進(jìn)行了研究，以便對(duì)當(dāng)前的電網(wǎng)進(jìn)行技術(shù)改造。

一、目前智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀

（一）數(shù)據(jù)集成技術(shù)

智能電網(wǎng)大數(shù)據(jù)具有數(shù)據(jù)量大、類型大、速度快、分布廣泛的特點(diǎn)。這些特點(diǎn)給大規(guī)模數(shù)據(jù)處理帶來了很大的困難。因此，為了處理智能網(wǎng)格的大數(shù)據(jù)，第一點(diǎn)是通過數(shù)據(jù)提取、轉(zhuǎn)換、剔除和校正來集成數(shù)據(jù)源。其中，由于大型數(shù)據(jù)在智能網(wǎng)格中的集成涉及多種類型的應(yīng)用系統(tǒng)，且這些系統(tǒng)具有復(fù)雜的類型和特征，因此在數(shù)據(jù)大小、數(shù)據(jù)類型和實(shí)時(shí)需求上存在較大差異，而且單靠哪種技術(shù)是很難的。因此，有必要結(jié)合各種技術(shù)，綜合考慮各種因素，建立一個(gè)一致、完整、有效的智能電網(wǎng)大數(shù)據(jù)系統(tǒng)。以交換、變換、道路為例。主要環(huán)節(jié)有三個(gè)步驟：一是數(shù)據(jù)提取，從源數(shù)據(jù)源系統(tǒng)中提取數(shù)據(jù)到目標(biāo)數(shù)據(jù)源系統(tǒng);二是數(shù)據(jù)轉(zhuǎn)換和處理。根據(jù)業(yè)務(wù)要求，將上一步獲得的數(shù)據(jù)轉(zhuǎn)換為目的地?cái)?shù)據(jù)源要求的格式，并對(duì)錯(cuò)誤和不一致的數(shù)據(jù)進(jìn)行清理和處理;最后，數(shù)據(jù)被加載，轉(zhuǎn)換后的數(shù)據(jù)被加載到目標(biāo)數(shù)據(jù)源。

（二）數(shù)據(jù)運(yùn)輸與存儲(chǔ)技術(shù)

在數(shù)據(jù)采集和分析過程中，一個(gè)重要的問題是如何傳輸和存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)需要完整準(zhǔn)確。使用數(shù)據(jù)壓縮可以減少數(shù)據(jù)傳輸量，但重點(diǎn)是采用哪種方法。另一方面，數(shù)據(jù)壓縮和解壓的過程也需要占用資源和成本，因此必須合理安排。對(duì)于不同的情況和不同大小的數(shù)據(jù)，應(yīng)根據(jù)數(shù)據(jù)的重要性、實(shí)時(shí)性和速度選擇不同的算法進(jìn)行壓縮和解壓縮。

對(duì)于數(shù)據(jù)的存儲(chǔ)，目前使用分布式文件系統(tǒng)。智能網(wǎng)格中的數(shù)據(jù)是大而多樣的，所以首先要做的就是對(duì)數(shù)據(jù)進(jìn)行分類，然后分開存儲(chǔ)。有些數(shù)據(jù)具有很強(qiáng)的及時(shí)性，必須單獨(dú)存儲(chǔ)?？梢越⒁粋€(gè)實(shí)時(shí)數(shù)據(jù)庫系統(tǒng)。在網(wǎng)格數(shù)據(jù)中，非結(jié)構(gòu)化數(shù)據(jù)的比例會(huì)逐漸增加，但在存儲(chǔ)中，非結(jié)構(gòu)化數(shù)據(jù)無法直接存儲(chǔ)，需要在存儲(chǔ)前轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

（三）并行數(shù)據(jù)庫

并行數(shù)據(jù)庫是一種數(shù)據(jù)庫。它屬于基于mpp和集群并行計(jì)算環(huán)境的高性能新一代數(shù)據(jù)庫系統(tǒng)。該數(shù)據(jù)庫能夠保證數(shù)據(jù)存儲(chǔ)的安全性和網(wǎng)絡(luò)運(yùn)行的穩(wěn)定性，在不影響系統(tǒng)正常工作的前提下實(shí)現(xiàn)多用戶的同步訪問，并能快速處理數(shù)據(jù)。然而，尚不充分的是并行數(shù)據(jù)庫系統(tǒng)僅適用于結(jié)構(gòu)數(shù)據(jù)。必須首先將非結(jié)構(gòu)數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)數(shù)據(jù)。數(shù)據(jù)庫存儲(chǔ)容量有限，可擴(kuò)展性差，限制了系統(tǒng)對(duì)數(shù)據(jù)的存儲(chǔ)和分析能力。

（四）云計(jì)算技術(shù)

在互聯(lián)網(wǎng)相關(guān)服務(wù)增長、使用和交互模式的基礎(chǔ)上，由于信息處理的方便和簡(jiǎn)單，云計(jì)算技術(shù)應(yīng)運(yùn)而生。它主要涉及虛擬化資源。這些資源需要通過互聯(lián)網(wǎng)提供。這類數(shù)據(jù)通常是動(dòng)態(tài)的，容易擴(kuò)展。選擇云計(jì)算最重要的原因是它可以存儲(chǔ)大量的數(shù)據(jù)而不用擔(dān)心存儲(chǔ)空間不足和使用數(shù)據(jù)并行處理技術(shù)。分布式文件系統(tǒng)也是云計(jì)算核心思想的反映。然而，如上所述，云計(jì)算缺乏及時(shí)性，有時(shí)影響到數(shù)據(jù)的及時(shí)分析和處理，降低了效率，需要進(jìn)一步改進(jìn)。云計(jì)算平臺(tái)雖然可以實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)空間的大擴(kuò)展，但數(shù)據(jù)的保密性較差，安全性無法保證。當(dāng)有重要的資料儲(chǔ)存時(shí)，例如資料的遺失與破壞，會(huì)造成重大的損失。

二、智能電網(wǎng)大數(shù)據(jù)平臺(tái)和應(yīng)用框架

（一）大數(shù)據(jù)平臺(tái)的建立

由于智能網(wǎng)格大數(shù)據(jù)應(yīng)用程序需要統(tǒng)一的數(shù)據(jù)訪問、清理、存儲(chǔ)和管理，這些功能是通過構(gòu)建大數(shù)據(jù)來實(shí)現(xiàn)的。智能電網(wǎng)大數(shù)據(jù)的核心平臺(tái)分為基本資源、數(shù)據(jù)管理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和處理、平臺(tái)服務(wù)和平臺(tái)控制五個(gè)部分。其中，數(shù)據(jù)分析和處理是大型數(shù)據(jù)平臺(tái)的核心。根據(jù)具體業(yè)務(wù)要求，該部分除了提供基本的批處理和流處理功能外，還可以實(shí)現(xiàn)圖形計(jì)算、內(nèi)存計(jì)算、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、機(jī)器學(xué)習(xí)等一般的數(shù)據(jù)分析算法包或工具功能。

（二）應(yīng)用框架的建設(shè)

現(xiàn)時(shí)，由于電力公司的各業(yè)務(wù)部均有各自的資訊系統(tǒng)，他們會(huì)從不同時(shí)段收集不同的資料，并記錄特定時(shí)段的資料，因此它們不能反映網(wǎng)格對(duì)象的所有屬性。在數(shù)據(jù)共享方面存在困難。目前迫切需要建立一個(gè)統(tǒng)一的數(shù)據(jù)模型，以存儲(chǔ)和管理智能電網(wǎng)各個(gè)環(huán)節(jié)的數(shù)據(jù)。因此，在實(shí)踐中，通過電力系統(tǒng)的穩(wěn)定分析和控制、電力傳輸和轉(zhuǎn)換設(shè)備的故障診斷、負(fù)荷預(yù)測(cè)、用戶行為分析等具體步驟，實(shí)現(xiàn)了與智能電網(wǎng)業(yè)務(wù)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)收集和數(shù)據(jù)交互，以及社會(huì)經(jīng)濟(jì)形勢(shì)的分析和預(yù)測(cè)。

三、新時(shí)代智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的機(jī)遇與挑戰(zhàn)

（一）數(shù)據(jù)的時(shí)效性

在智能網(wǎng)格中，數(shù)據(jù)量很大，因此傳輸、存儲(chǔ)和分析往往需要很長時(shí)間，但有些數(shù)據(jù)需要及時(shí)處理，但現(xiàn)有的云計(jì)算平臺(tái)不符合要求。并行數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)存儲(chǔ)容量不能滿足要求。因此，數(shù)據(jù)處理的速度變得越來越重要和迫切。

（二）可視化分析技術(shù)

數(shù)據(jù)收集和處理在數(shù)據(jù)庫和相關(guān)系統(tǒng)中進(jìn)行，但最終會(huì)顯示給用戶。龐大的數(shù)據(jù)流使用戶無法直觀地理解它，需要使它成為一種易于理解的方式，如文本、圖片等，在這個(gè)過程中，重要的信息需要篩選并轉(zhuǎn)換成圖片和其他形式，在屏幕上顯示，以實(shí)現(xiàn)與用戶的交互。

（三）異構(gòu)多數(shù)據(jù)源

隨著智能電網(wǎng)的逐步發(fā)展，將有越來越多的數(shù)據(jù)來源。例如，在電網(wǎng)中發(fā)電、輸電和用電等方面產(chǎn)生了大量的數(shù)據(jù)。需要及時(shí)收集所有這些數(shù)據(jù)，數(shù)據(jù)的結(jié)構(gòu)和處理方式也日益不同。因此，如何處理多個(gè)數(shù)據(jù)源和多個(gè)數(shù)據(jù)結(jié)構(gòu)已成為我們需要解決的問題。

四、結(jié)束語

本文主要介紹了智能電網(wǎng)大數(shù)據(jù)技術(shù)的基礎(chǔ)、現(xiàn)狀和存在的問題?？梢姡磥碇悄茈娋W(wǎng)大數(shù)據(jù)技術(shù)的大規(guī)模應(yīng)用已成為必然。因此，我們應(yīng)該密切關(guān)注智能電網(wǎng)大數(shù)據(jù)處理技術(shù)的發(fā)展，找到最佳解決方案。

參考文獻(xiàn)：

[1]葉展勇，黎素云，俞曉彤.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)與挑戰(zhàn)[J].電子技術(shù)與軟件工程，2019（10）.

[2]李寶玉，戴羽.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科技經(jīng)濟(jì)市場(chǎng)，2018（04）.

[3]何永波.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀與挑戰(zhàn)[J].科學(xué)大眾（科學(xué)教育），2018（11）.

[4]張嘯宇.智能電網(wǎng)大數(shù)據(jù)處理技術(shù)現(xiàn)狀[J].中國科技信息，2018（21）.