戴 驅(qū)，刀亞娟，吳 威

（華能瀾滄江水電股份有限公司，云南 昆明650214）

近些年來(lái)，信息技術(shù)飛速發(fā)展，隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)等信息技術(shù)的快速發(fā)展和演進(jìn)，觸發(fā)了新的工業(yè)革命，國(guó)內(nèi)外各行業(yè)均以此為契機(jī)展開(kāi)了以新興信息技術(shù)為基礎(chǔ)的管理創(chuàng)新和變革，在企業(yè)管理中開(kāi)展了物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)等技術(shù)的綜合開(kāi)發(fā)和應(yīng)用，以達(dá)到優(yōu)化生產(chǎn)要素、更新業(yè)務(wù)體系和重構(gòu)管理模式的目的，力圖打造智慧化企業(yè)，驅(qū)動(dòng)企業(yè)向現(xiàn)代化新型管理模式的轉(zhuǎn)變，以求得搶占先機(jī)，在激烈的市場(chǎng)競(jìng)爭(zhēng)中立于不敗之地。能源作為社會(huì)經(jīng)濟(jì)發(fā)展的基礎(chǔ)動(dòng)力，是保障國(guó)家和社會(huì)健康持續(xù)發(fā)展的關(guān)鍵動(dòng)能，深入思考水電企業(yè)在能源互聯(lián)網(wǎng)時(shí)代的新技術(shù)、新模式、新業(yè)態(tài)，并開(kāi)啟以能源革命與信息化變革為核心的智慧企業(yè)建設(shè)是時(shí)代所向和大勢(shì)所趨。

為響應(yīng)國(guó)家互聯(lián)網(wǎng)+發(fā)展戰(zhàn)略，華能集團(tuán)公司率先在電力領(lǐng)域提出建設(shè)工業(yè)互聯(lián)網(wǎng)的方案并已開(kāi)展先行先試，越來(lái)越重視數(shù)據(jù)資產(chǎn)成為一種行業(yè)共識(shí)，力圖以此為契機(jī)促成新一輪技術(shù)變革，使傳統(tǒng)電力工業(yè)煥發(fā)新的生機(jī)，主動(dòng)迎接和應(yīng)對(duì)物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能為代表的先進(jìn)生產(chǎn)力帶來(lái)的新機(jī)遇和新挑戰(zhàn)。

1 傳統(tǒng)水電站數(shù)據(jù)運(yùn)用現(xiàn)狀

目前在運(yùn)的水電站基本是采用分層分布式系統(tǒng)布局，依靠計(jì)算機(jī)監(jiān)控系統(tǒng)來(lái)集中采集和存儲(chǔ)數(shù)據(jù)并進(jìn)行運(yùn)算處理，在下一層部署有調(diào)速器、勵(lì)磁、保護(hù)、輔機(jī)、油水氣等眾多小系統(tǒng)負(fù)責(zé)測(cè)量或計(jì)算各自的測(cè)點(diǎn)數(shù)據(jù)并向監(jiān)控系統(tǒng)傳送，由于系統(tǒng)眾多，不同系統(tǒng)間往往存在數(shù)據(jù)壁壘，同一個(gè)數(shù)據(jù)若是不同系統(tǒng)均有用到往往需要各自分別采集，如此便帶來(lái)了數(shù)據(jù)一致性可能存在偏差的問(wèn)題，另外由于目前的行業(yè)設(shè)備制造技術(shù)現(xiàn)狀和相關(guān)規(guī)程規(guī)范制約，水電站各系統(tǒng)的數(shù)據(jù)采集大部分仍然通過(guò)模擬量傳送，其傳輸效率、共享程度等均較低，遠(yuǎn)不能滿足數(shù)據(jù)互聯(lián)互通及快速實(shí)時(shí)共享的需求。目前水電站監(jiān)控系統(tǒng)的主要功能仍集中在實(shí)時(shí)控制層面，即依靠實(shí)時(shí)數(shù)據(jù)進(jìn)行相關(guān)邏輯運(yùn)算后完成對(duì)應(yīng)的控制調(diào)節(jié)等任務(wù)，對(duì)歷史數(shù)據(jù)僅做存儲(chǔ)，深度挖掘分析和相關(guān)關(guān)聯(lián)運(yùn)算很少，造成了海量數(shù)據(jù)在硬盤(pán)里沉睡，未對(duì)電站設(shè)備管理、經(jīng)濟(jì)運(yùn)行等產(chǎn)生任何促進(jìn)作用，未體現(xiàn)出數(shù)據(jù)資產(chǎn)應(yīng)有的價(jià)值。

2 大數(shù)據(jù)技術(shù)帶來(lái)的啟發(fā)

從近些年阿里、騰訊、華為等高科技企業(yè)的發(fā)展中得知，通過(guò)搭建統(tǒng)一的云平臺(tái)，對(duì)企業(yè)發(fā)展過(guò)程中形成的歷史數(shù)據(jù)進(jìn)行統(tǒng)一的資產(chǎn)管理，通過(guò)不斷細(xì)分維度，以及越來(lái)越成熟的結(jié)構(gòu)化模型來(lái)約束數(shù)據(jù)，對(duì)各類(lèi)數(shù)據(jù)相關(guān)性進(jìn)行不斷的搭配計(jì)算分析，就像化學(xué)家對(duì)不同的化學(xué)分子結(jié)構(gòu)的物質(zhì)進(jìn)行搭配試驗(yàn)一樣，經(jīng)過(guò)日積月累的嘗試，可逐漸找出新的規(guī)律，創(chuàng)造新的數(shù)據(jù)，應(yīng)用及推動(dòng)企業(yè)向前發(fā)展。

從大家熟悉的移動(dòng)互聯(lián)網(wǎng)來(lái)看，大數(shù)據(jù)技術(shù)已經(jīng)可以盡可能準(zhǔn)確地判斷用戶行為習(xí)慣與偏好，從而對(duì)下一步動(dòng)作進(jìn)行預(yù)判甚至是引導(dǎo)用戶前進(jìn)，由此聯(lián)想到電站設(shè)備本身，若是歷史數(shù)據(jù)足夠多且真實(shí)，分析模型足夠精確，系統(tǒng)通過(guò)一些必要的運(yùn)算應(yīng)能對(duì)設(shè)備當(dāng)前狀態(tài)進(jìn)行準(zhǔn)確判斷，對(duì)下一步趨勢(shì)進(jìn)行預(yù)判并自我進(jìn)行修正。例如：調(diào)速器系統(tǒng)若是知道不同水頭下、各種負(fù)荷下跳機(jī)時(shí)水壓上升和轉(zhuǎn)速上升這幾個(gè)量的對(duì)應(yīng)關(guān)系，通過(guò)較優(yōu)的模型可計(jì)算出在不同的前提條件下跳機(jī)時(shí)的導(dǎo)葉分段關(guān)閉參數(shù)，使水壓、轉(zhuǎn)速的上升都保持在一個(gè)較為均衡的范圍，而不是任何情況下都用同一個(gè)參數(shù)，僅僅是保證了一個(gè)底線。又比如：排水系統(tǒng)在對(duì)大量歷史數(shù)據(jù)進(jìn)行比對(duì)分析后，應(yīng)能提出優(yōu)化水泵啟停時(shí)間及順序的建議，根據(jù)水量變化速度隨時(shí)調(diào)整水泵啟停安排，并將啟停結(jié)果告知監(jiān)控系統(tǒng)，不用等著運(yùn)行人員發(fā)現(xiàn)異常來(lái)人為干預(yù)解決。

3 水電站數(shù)據(jù)處理平臺(tái)技術(shù)方案

結(jié)合當(dāng)前主流的大數(shù)據(jù)平臺(tái)技術(shù)和產(chǎn)品的發(fā)展現(xiàn)狀，推薦建立分層次、統(tǒng)一、融合的大數(shù)據(jù)處理環(huán)境架構(gòu)，整個(gè)架構(gòu)支持線性擴(kuò)展，具體架構(gòu)大致如圖1所示。

圖1 典型大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)

3.1 數(shù)據(jù)源

數(shù)據(jù)來(lái)源主要包括各級(jí)部門(mén)業(yè)務(wù)數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等各類(lèi)數(shù)據(jù)，數(shù)據(jù)形式涉及結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

3.2 數(shù)據(jù)采集層

數(shù)據(jù)采集層采用H3 C DataEngine DI數(shù)據(jù)集成工具，基于分布式技術(shù)架構(gòu)，融合Sqoop、Flume等ETL工具，實(shí)現(xiàn)各級(jí)部門(mén)業(yè)務(wù)數(shù)據(jù)、第三方數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)以及其他相關(guān)數(shù)據(jù)的采集，并將采集的數(shù)據(jù)裝載至大數(shù)據(jù)平臺(tái)。支持對(duì)實(shí)時(shí)數(shù)據(jù)、增量數(shù)據(jù)和全量數(shù)據(jù)加載的方式進(jìn)行數(shù)據(jù)采集與解析。

3.3 數(shù)據(jù)存儲(chǔ)計(jì)算層

數(shù)據(jù)存儲(chǔ)主要完成多源數(shù)據(jù)的融合存儲(chǔ)，數(shù)據(jù)存儲(chǔ)主要基于分布式文件系統(tǒng)（HDFS）和列式數(shù)據(jù)庫(kù)（HBase等），輔以內(nèi)存數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)流式計(jì)算的輸出存儲(chǔ)，通過(guò)關(guān)系數(shù)據(jù)庫(kù)實(shí)現(xiàn)元數(shù)據(jù)、用戶、權(quán)限配置等數(shù)據(jù)的存儲(chǔ)管理。數(shù)據(jù)計(jì)算主要包含離線計(jì)算服務(wù)、實(shí)時(shí)計(jì)算服務(wù)、面向海量結(jié)構(gòu)化數(shù)據(jù)處理的分布式數(shù)據(jù)庫(kù)服務(wù)等。

3.4 數(shù)據(jù)服務(wù)層

數(shù)據(jù)服務(wù)層主要提供大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資源服務(wù)和數(shù)據(jù)計(jì)算服務(wù)。通過(guò)數(shù)據(jù)服務(wù)標(biāo)準(zhǔn)化開(kāi)放訪問(wèn)，實(shí)現(xiàn)應(yīng)用和數(shù)據(jù)分離。服務(wù)層整體采用微服務(wù)架構(gòu)，數(shù)據(jù)資源和數(shù)據(jù)計(jì)算應(yīng)封裝成SOA、RESTful架構(gòu)對(duì)外提供服務(wù)，實(shí)現(xiàn)常見(jiàn)的RMI、JMS、HTTP、Hessian、thrift等協(xié)議，基于標(biāo)準(zhǔn)化接口，實(shí)現(xiàn)對(duì)數(shù)據(jù)訪問(wèn)、數(shù)據(jù)計(jì)算方法的API封裝，以便于上層應(yīng)用進(jìn)行增值開(kāi)發(fā)利用，體現(xiàn)數(shù)據(jù)價(jià)值，并應(yīng)支持機(jī)器學(xué)習(xí)算法分析功能。

數(shù)據(jù)服務(wù)層聚焦大數(shù)據(jù)應(yīng)用開(kāi)發(fā)及數(shù)據(jù)分析挖掘的平臺(tái)及服務(wù)，整個(gè)系統(tǒng)基于底層分布式批處理框架、分布式流數(shù)據(jù)實(shí)時(shí)框架以及機(jī)器學(xué)習(xí)算法庫(kù)等相關(guān)基礎(chǔ)設(shè)施，應(yīng)提供各類(lèi)應(yīng)用開(kāi)發(fā)套件，滿足各類(lèi)開(kāi)發(fā)需求。

數(shù)據(jù)服務(wù)層包含數(shù)據(jù)開(kāi)發(fā)服務(wù)、數(shù)據(jù)算法服務(wù)與數(shù)據(jù)可視化服務(wù)。

3.5 數(shù)據(jù)治理

數(shù)據(jù)治理貫穿大數(shù)據(jù)處理過(guò)程的各個(gè)階段，通過(guò)基于元數(shù)據(jù)采集、查詢和分析，建立數(shù)據(jù)的稽核策略，完成對(duì)數(shù)據(jù)的溯源、數(shù)據(jù)地圖、數(shù)據(jù)血緣分析等功能，實(shí)現(xiàn)對(duì)數(shù)據(jù)生命周期的全流程管控。

3.6 數(shù)據(jù)安全

數(shù)據(jù)安全同樣貫穿大數(shù)據(jù)處理過(guò)程各個(gè)階段，此章節(jié)的數(shù)據(jù)安全主要考慮大數(shù)據(jù)處理環(huán)境中的各類(lèi)安全，聚焦于平臺(tái)安全及數(shù)據(jù)自身安全。

3.7 平臺(tái)管理

平臺(tái)管理主要指大數(shù)據(jù)平臺(tái)的整體性管理，包括用戶權(quán)限、管理流程、服務(wù)部署、平臺(tái)安全、數(shù)據(jù)提供等業(yè)務(wù)的統(tǒng)一調(diào)度。

數(shù)據(jù)存儲(chǔ)計(jì)算層是大數(shù)據(jù)處理環(huán)境的核心，它存儲(chǔ)由數(shù)據(jù)采集層采集回來(lái)的各類(lèi)數(shù)據(jù)，并對(duì)上層應(yīng)用提供數(shù)據(jù)計(jì)算分析的能力。

此方案大數(shù)據(jù)的建設(shè)中，需要處理海量的結(jié)構(gòu)化數(shù)據(jù)，同時(shí)還需要處理非結(jié)構(gòu)化數(shù)據(jù)，其中結(jié)構(gòu)化數(shù)據(jù)為主要部分。為了滿足當(dāng)前及未來(lái)數(shù)據(jù)存儲(chǔ)處理能力的需求，我們采用先進(jìn)的“Hadoop+MPP”混合架構(gòu)構(gòu)建整個(gè)存儲(chǔ)計(jì)算層。MPP平臺(tái)主要用于處理海量高價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)，Hadoop平臺(tái)主要用于處理其他非結(jié)構(gòu)化數(shù)據(jù)及低價(jià)值密度的結(jié)構(gòu)化數(shù)據(jù)。

4 大數(shù)據(jù)方案的核心技術(shù)及難點(diǎn)

在大數(shù)據(jù)硬件平臺(tái)搭建起來(lái)后，需要投入大量的人力、精力和時(shí)間進(jìn)行數(shù)據(jù)模型的創(chuàng)建和計(jì)算，不斷修正有關(guān)特征參數(shù)，力爭(zhēng)使各個(gè)模型都盡量與設(shè)備現(xiàn)狀相適應(yīng)，推薦采用目前各大云平臺(tái)已開(kāi)發(fā)的行業(yè)建模引擎來(lái)提升工作效率，一般建模引擎均是一個(gè)以數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、數(shù)據(jù)檢索、數(shù)據(jù)分析、數(shù)據(jù)治理、數(shù)據(jù)展示為核心的數(shù)據(jù)分析全流程的應(yīng)用系統(tǒng)，操作者借助該系統(tǒng)，從數(shù)據(jù)接入、建立數(shù)據(jù)倉(cāng)庫(kù)，到數(shù)據(jù)關(guān)聯(lián)、分析、挖掘，再到可視化展現(xiàn)，實(shí)現(xiàn)完整的數(shù)據(jù)分析流程。

由于水電站設(shè)備類(lèi)型眾多，數(shù)據(jù)類(lèi)型和數(shù)量均以海量計(jì)，要在如此多的數(shù)據(jù)中找到不同數(shù)據(jù)的關(guān)聯(lián)規(guī)律并應(yīng)用于生產(chǎn)運(yùn)行及日常管理，必將是一個(gè)長(zhǎng)期而艱巨的任務(wù)，且數(shù)據(jù)間的規(guī)律是無(wú)止境的，總能找到新的類(lèi)型數(shù)據(jù)間存在規(guī)律并加以應(yīng)用，可見(jiàn)，只有通過(guò)不斷發(fā)現(xiàn)規(guī)律、總結(jié)經(jīng)驗(yàn)并轉(zhuǎn)化為可應(yīng)用的成果，水電站智能化才能越來(lái)越進(jìn)步和成熟。

5 結(jié)語(yǔ)

目前，國(guó)內(nèi)各大水電公司均在推進(jìn)智能電站工作，但基本都處于方案設(shè)計(jì)或硬件平臺(tái)搭建等階段，真正開(kāi)發(fā)出了較多較好的數(shù)據(jù)模型并用于指導(dǎo)生產(chǎn)運(yùn)行的還沒(méi)有，因此，大力推進(jìn)水電站相關(guān)數(shù)據(jù)建模及不同數(shù)據(jù)間關(guān)聯(lián)規(guī)律的總結(jié)提煉，是建設(shè)智能水電站的突破點(diǎn)，是信息技術(shù)在電力行業(yè)應(yīng)用的重要一環(huán)，也是必然趨勢(shì)，可有效提升系統(tǒng)智能化水平及自診斷自分析功能，提升設(shè)備運(yùn)行效率及可靠性，為建設(shè)安全、穩(wěn)定、智能、高效的水電廠智能系統(tǒng)打下基礎(chǔ)。