應(yīng)澤貴

摘 要：隨著電力行業(yè)技術(shù)的不斷創(chuàng)新，為了能列好的服務(wù)于電力行業(yè)，該公司將采用目前市面最為成熟的B/S Hadoop系統(tǒng)框架建立大數(shù)據(jù)分析平臺。通過PI、WEB服務(wù)、中間件、多元適配器等主流技術(shù)充分保障項目的市場先進(jìn)性以及在同行業(yè)中同類產(chǎn)品的領(lǐng)導(dǎo)地位。

關(guān)鍵詞：電力公司 大數(shù)據(jù)分析 項目方案

中圖分類號：F426.61 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2015）11（c）-0015-03

大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的出現(xiàn)對國家經(jīng)濟(jì)發(fā)展和企業(yè)轉(zhuǎn)型帶來深遠(yuǎn)的影響，并將成為云計算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來的十年將是一個“大數(shù)據(jù)”引領(lǐng)的智慧科技的時代，因為隨著信息網(wǎng)絡(luò)和物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，會產(chǎn)生出越來越多龐大數(shù)據(jù)，此時的大數(shù)據(jù)處理正是應(yīng)勢而生。

1 項目簡介

四川省電力公司眉山公司也將在自建的大數(shù)據(jù)分析平臺中，充分調(diào)動平臺的能動性及數(shù)據(jù)分析能力，將傳統(tǒng)的行業(yè)信息收集，轉(zhuǎn)換為具有分析性，前瞻性的數(shù)據(jù)集成平臺。系統(tǒng)通過將公司過往及未來的運(yùn)維、施工等數(shù)據(jù)進(jìn)行統(tǒng)一收錄，通過數(shù)據(jù)挖掘等方式分析公司的運(yùn)作模式的優(yōu)劣，以數(shù)據(jù)引導(dǎo)的方式為公司提供更具有市場競爭力的產(chǎn)品和管理模式。

2 項目整體框架

該課題通過建立一套平臺信息收集的方式，將目前眉山電力公司過往的運(yùn)維、管理、施工等數(shù)據(jù)進(jìn)行統(tǒng)一錄入。通過數(shù)據(jù)的錄入/導(dǎo)入等方式將已入庫的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析及挖掘，并以圖表、文字報表、數(shù)據(jù)分析說明等方式展現(xiàn)給管理機(jī)關(guān)。

2.1 系統(tǒng)技術(shù)架構(gòu)

見圖1。

2.1.1 框架描述。

（1）（表現(xiàn)層）界面控制層。

界面主要是用來接受客戶的一些請求，并有返回數(shù)據(jù)的功能，可以為客戶端提供頁面式的訪問，是顯示各類數(shù)據(jù)和用戶信息的交互式界面。

（2）（應(yīng)用層）業(yè)務(wù)邏輯層。

業(yè)務(wù)邏輯層是為了能順利進(jìn)行數(shù)據(jù)交換而設(shè)計的，它處于整個框架層的中間，這是由于層與層之間具有弱耦合作用，這會使得最下面一層做任何改變都不會影響到上層動作，所以在分層設(shè)計時，要依據(jù)層與層之間的這種弱依賴關(guān)系，以面向接口設(shè)計思想為基礎(chǔ)，在不改變接口定義的基礎(chǔ)上，構(gòu)建一個可抽取和替換的理想式“抽屜”架構(gòu)，此時的業(yè)務(wù)邏輯層對這個架構(gòu)的構(gòu)建非常重要，它要同時具備兩種功能，從數(shù)據(jù)訪問方面，它要具有調(diào)用功能；從表示層方面，它要具有被調(diào)用功能。二者的依賴關(guān)系都是建立在業(yè)務(wù)邏輯層上的。

（3）（持久層）數(shù)據(jù)層。

數(shù)據(jù)層主要功能是進(jìn)行數(shù)據(jù)庫的訪，通過它可以直接訪問數(shù)據(jù)庫系統(tǒng)的所有數(shù)據(jù)，換言之就是指數(shù)據(jù)層可以實(shí)現(xiàn)對數(shù)據(jù)表的Select，Insert，Update，Delete的操作。在該項目中將用Web Service技術(shù)實(shí)現(xiàn)WPf客戶端與服務(wù)器端的對接。

2.1.2 系統(tǒng)框架架構(gòu)

系統(tǒng)框架架構(gòu)見圖2。

2.2 系統(tǒng)歡迎頁

頁面主要用于用戶登錄后快速的進(jìn)入到相應(yīng)的管理查詢模塊中，用戶可以在主頁中查看近期的數(shù)據(jù)更新狀況，報表快查等。

2.3 數(shù)據(jù)展示頁

通過前期管理人員的數(shù)據(jù)錄入及對應(yīng)的類型錄入后，管理員可以在頁面中以各種條件查看當(dāng)前數(shù)據(jù)的報表信息（圖、表等類型），同時可以對這些數(shù)據(jù)進(jìn)行對比分析并生成相應(yīng)的分析文檔。

2.4 數(shù)據(jù)導(dǎo)入頁

通過前期設(shè)定好的數(shù)據(jù)來源分類、數(shù)據(jù)類型分類等方式，將數(shù)據(jù)通過導(dǎo)入、自主上傳等方式錄入進(jìn)系統(tǒng)中，系統(tǒng)將以類型的等方式將數(shù)據(jù)錄入至數(shù)據(jù)庫中。

2.5 數(shù)據(jù)來源類型管理頁

擁有權(quán)限的管理員可以根據(jù)不同的數(shù)據(jù)來源，類型將錄入數(shù)據(jù)的類型進(jìn)行整理和分類。其他用戶可以通過設(shè)定好的類型進(jìn)行數(shù)據(jù)錄入和數(shù)據(jù)查看，而系統(tǒng)需求中提及的6個大類全部都由此部分完成，管理員可以根據(jù)上面6種行業(yè)類型的不同細(xì)分將對應(yīng)的類似與（設(shè)備、網(wǎng)絡(luò)、地址、運(yùn)維人員）等數(shù)據(jù)進(jìn)行統(tǒng)一歸類，完成類型設(shè)置后即可對該類型下的數(shù)據(jù)進(jìn)行管理和查看。

2.6 用戶管理頁

擁有管理權(quán)限的管理員可以在該頁面中對其他系統(tǒng)操作人員進(jìn)行角色，權(quán)限的分類，并可查看這些工作人員近期的操作記錄。

2.7 系統(tǒng)管理頁

擁有權(quán)限的管理人員可以在該頁面中對于系統(tǒng)的、數(shù)據(jù)備份、系統(tǒng)參數(shù)等模塊進(jìn)行管理和操作。

3 大數(shù)據(jù)分析技術(shù)

分析技術(shù)意味著對海量數(shù)據(jù)進(jìn)行分析以實(shí)時得出答案，但是應(yīng)用在大數(shù)據(jù)分析平臺中，由于大數(shù)據(jù)自身的龐大性和復(fù)雜性，使得該項技術(shù)目前還不太成熟，相信隨著相關(guān)技術(shù)的不斷進(jìn)步，大數(shù)據(jù)分析技術(shù)會日益完善。目前，大數(shù)據(jù)分析主要以下幾個方面功能。

3.1 可視化分析

大數(shù)據(jù)分析系統(tǒng)中最基本功能就是數(shù)據(jù)可視化，它針對所有客戶端用戶或是數(shù)據(jù)分析人員，通過圖像化的數(shù)據(jù)來表示數(shù)據(jù)，讓用戶有更好的感受結(jié)果體驗。

3.2 數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘主要是用來實(shí)現(xiàn)客戶端的數(shù)據(jù)圖像化，通過數(shù)據(jù)挖掘功能將數(shù)據(jù)以圖像的形式表現(xiàn)出來，也是機(jī)器語文的翻譯器。該算法具有精煉數(shù)據(jù)，高速處理的優(yōu)點(diǎn)，能能夠應(yīng)付大數(shù)據(jù)平臺中龐大的數(shù)據(jù)量，而且還要實(shí)現(xiàn)高速計算。

3.3 預(yù)測分析能力

在大數(shù)據(jù)分析平臺中，數(shù)據(jù)挖掘可以實(shí)現(xiàn)數(shù)據(jù)計算和轉(zhuǎn)換，極大的提升判斷的準(zhǔn)確性，而平臺預(yù)測分析功能卻是讓用戶或是分析人員利用圖像和數(shù)據(jù)挖掘的結(jié)果來做一些正確的判斷和使用，是平臺比較重要的功能。

3.4 語義引擎

由于龐大的數(shù)據(jù)量給日常數(shù)據(jù)處理帶來很大困難，加上數(shù)據(jù)多元化且非結(jié)構(gòu)化的特點(diǎn)，此時的數(shù)據(jù)處理需要使用專業(yè)的系統(tǒng)工具進(jìn)行分析和提煉，而語義引擎的主要作用就是滿足人工智能化的數(shù)據(jù)信息提取。

3.5 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

平臺最后的一個功能就是對數(shù)據(jù)的質(zhì)量和管理進(jìn)行控制，通過標(biāo)準(zhǔn)化流程處理數(shù)據(jù)，以此來獲得預(yù)設(shè)質(zhì)量的分析結(jié)果。

目前的大數(shù)據(jù)平臺是由非結(jié)構(gòu)化數(shù)據(jù)存放文件系統(tǒng)+完善備份和容災(zāi)體系組成，使得該大數(shù)據(jù)平臺即經(jīng)濟(jì)又實(shí)惠，與目前市場上昂貴的小型機(jī)集群+商業(yè)數(shù)據(jù)庫方案比較，不僅在性能上沒有缺失，還具備了充分的可擴(kuò)展性。在設(shè)計該方案的初期，就已經(jīng)開始思考該大數(shù)據(jù)平臺的后續(xù)擴(kuò)展性問題。

（1）商業(yè)并行數(shù)據(jù)庫的基本要求就是各節(jié)點(diǎn)物理結(jié)構(gòu)相同，這樣才會滿足數(shù)據(jù)的近似計算和存儲要求。但是隨著硬件技術(shù)的不斷發(fā)展，后來擴(kuò)容增加的配件肯定要優(yōu)于最早的老硬件，這樣就會打破物理結(jié)構(gòu)相同這個原則，舊硬件也會逐漸成為平臺發(fā)展的阻礙。為了能更好的保持系統(tǒng)的優(yōu)越性，只能選擇慢慢替換舊硬件，這樣就會產(chǎn)生成本浪費(fèi)，經(jīng)濟(jì)損失自然巨大。

（2）就是目前最優(yōu)的商業(yè)并行數(shù)據(jù)庫，能管理的數(shù)據(jù)節(jié)點(diǎn)量也是有限制的，一般都是控制在幾十到上百這個區(qū)間，這也是架構(gòu)設(shè)計不合理導(dǎo)致，這種數(shù)據(jù)庫的后續(xù)擴(kuò)容性肯定有限。而MapReduce+GFS框架，卻不存在以上問題，日后如果需要擴(kuò)容，僅增設(shè)機(jī)柜即可，再輔以適量的計算單元和存儲，集群系統(tǒng)會自動分配和調(diào)度這些資源，一點(diǎn)不會影響到現(xiàn)有系統(tǒng)的正常運(yùn)行。

4 系統(tǒng)安全設(shè)計

4.1 壓力測試工具

建議使用HP的LoadRunner壓力測試工具LoadRunner，該工具能很好的預(yù)測系統(tǒng)行業(yè)和性能測試。通過使用該測試工具，可以有效縮短測試時間，同時優(yōu)化系統(tǒng)性能，它目前被大量應(yīng)用于各種體系架構(gòu)的自動負(fù)載測試中。

4.2 防火墻技術(shù)

為了更好的安全性能，網(wǎng)絡(luò)火墻要以多種網(wǎng)關(guān)方式進(jìn)行設(shè)置，過濾表應(yīng)以匹配模式進(jìn)行設(shè)計：IP地址、MAC地址、TCP端口號、UDP端口號、主機(jī)域名、網(wǎng)段等。比如，允許通過的只能是合法認(rèn)可的IP，而非屏蔽的非常IP地址；端口方面也只能放行特定的端口號（即具體的服務(wù)），屏蔽那些含非法端口號的數(shù)據(jù)包等。

4.3 入侵檢測

雖然經(jīng)過防火墻技術(shù)可以過濾大部分不安全訪問，但是想完全實(shí)現(xiàn)網(wǎng)絡(luò)安全僅依靠防火墻技術(shù)是不可能的，入侵檢測系統(tǒng)就是最好的補(bǔ)漏體系，它是根據(jù)已有的、最新的攻擊手段的信息代碼對進(jìn)出網(wǎng)段的所有操作行為進(jìn)行實(shí)時監(jiān)控、記錄，并進(jìn)行實(shí)時阻斷、報警等策略，有效防止網(wǎng)絡(luò)攻擊和其它非法行為。

參考文獻(xiàn)

[1] 肖成勇，趙子川，王淑芬.電力技術(shù)自動化在我國電力系統(tǒng)中的重要性和發(fā)展趨勢[J].大科技，2012（10）：11-13.

[2] 杜立民.電力競爭與我國電力產(chǎn)業(yè)市場化改革[M].杭州：浙江大學(xué)出版社，2010.