王新瑞,毛俊杰
(國網(wǎng)山西省電力公司晉城供電公司,山西晉城 048000)
隨著地區(qū)電力系統(tǒng)規(guī)模的不斷壯大,電力運(yùn)行過程中產(chǎn)生了反映設(shè)備狀態(tài)的海量數(shù)據(jù),傳統(tǒng)的人工統(tǒng)計(jì)分析數(shù)據(jù)模式存在著數(shù)據(jù)版本混亂、中間環(huán)節(jié)多、人為因素影響大、分析效率和準(zhǔn)確率低、多人在線協(xié)作與數(shù)據(jù)同步處理性差等問題,已不能滿足電力調(diào)控運(yùn)行精益化管理的要求。再加上目前電力系統(tǒng)中運(yùn)行著多個(gè)獨(dú)立的應(yīng)用系統(tǒng),各應(yīng)用系統(tǒng)功能側(cè)重點(diǎn)不同,系統(tǒng)之間數(shù)據(jù)交互、共享性差,統(tǒng)計(jì)查詢性能差,數(shù)據(jù)價(jià)值利用率低;已有應(yīng)用系統(tǒng)對(duì)地、縣調(diào)度運(yùn)行管理人員的應(yīng)用需求支持不足,也不能滿足專業(yè)主題需求。針對(duì)現(xiàn)狀,本項(xiàng)目運(yùn)用數(shù)據(jù)倉庫技術(shù)[1],建立地區(qū)電網(wǎng)調(diào)度數(shù)據(jù)中心,實(shí)現(xiàn)地區(qū)電力調(diào)度數(shù)據(jù)標(biāo)準(zhǔn)化管理與存儲(chǔ);整合業(yè)務(wù)需求,運(yùn)用計(jì)算機(jī)程序?qū)崿F(xiàn)各類數(shù)據(jù)綜合性、多維度統(tǒng)計(jì)查詢,提取反映電力調(diào)度控制、運(yùn)行維護(hù)的關(guān)鍵特征值,實(shí)現(xiàn)海量數(shù)據(jù)有效利用,使電力管控由定性經(jīng)驗(yàn)型向定量科學(xué)型轉(zhuǎn)變。
地區(qū)電力調(diào)度數(shù)據(jù)中心的體系主要由數(shù)據(jù)處理層、業(yè)務(wù)邏輯層及數(shù)據(jù)展示層組成,具體架構(gòu)如圖1所示。
為保證數(shù)據(jù)的完整性、準(zhǔn)確性,按照“立足應(yīng)用、標(biāo)準(zhǔn)設(shè)計(jì)、分層維護(hù)、全局共享”原則,開展地區(qū)電力基礎(chǔ)數(shù)據(jù)的采集、治理工作,構(gòu)建地區(qū)電力調(diào)度數(shù)據(jù)倉庫[2]。電力運(yùn)行涉及的數(shù)據(jù)主要分為反映設(shè)備屬性的靜態(tài)數(shù)據(jù),反映設(shè)備運(yùn)行狀態(tài)的實(shí)時(shí)數(shù)據(jù)(如電壓、電流等),以及與電力有關(guān)的外部數(shù)據(jù)(如地理、環(huán)境、氣象等數(shù)據(jù))。
1.1.1 數(shù)據(jù)采集
靜態(tài)數(shù)據(jù):以調(diào)度管轄范圍劃分,從生產(chǎn)管理系統(tǒng)、調(diào)度管理系統(tǒng)中采集與調(diào)度運(yùn)行業(yè)務(wù)相關(guān)的靜態(tài)數(shù)據(jù)。
實(shí)時(shí)數(shù)據(jù):數(shù)據(jù)平臺(tái)運(yùn)用Flume等輔助類工具定時(shí)采集位于安全三區(qū)的數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)SCADA(supervisory control and data acquisition)鏡像庫中的各類運(yùn)行數(shù)據(jù)。
外部數(shù)據(jù):人工采集與電力運(yùn)行有關(guān)的環(huán)境信息、氣象信息、規(guī)劃信息和社會(huì)經(jīng)濟(jì)發(fā)展信息等,提高數(shù)據(jù)的完整性。
圖1 地區(qū)電力調(diào)度數(shù)據(jù)中心的體系架構(gòu)圖
1.1.2 數(shù)據(jù)治理與存儲(chǔ)
數(shù)據(jù)平臺(tái)運(yùn)用ETL工具對(duì)采集的各類數(shù)據(jù)進(jìn)行分類、整理、清洗、對(duì)接,開展數(shù)據(jù)治理,整合成滿足各類主題需求的元數(shù)據(jù)。建立分布式數(shù)據(jù)庫系統(tǒng),運(yùn)用分布式文件系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ),實(shí)現(xiàn)數(shù)據(jù)網(wǎng)絡(luò)化共享、存儲(chǔ)與管理。
統(tǒng)一設(shè)計(jì)數(shù)據(jù)的事實(shí)表與維度表,建立雪花型數(shù)據(jù)模型,構(gòu)建滿足第三范式的多維關(guān)系型數(shù)據(jù)庫,存儲(chǔ)與管理各類型結(jié)構(gòu)化元數(shù)據(jù)。設(shè)計(jì)分布式的、面向列的開源型HBase數(shù)據(jù)庫,解決電力運(yùn)行工作中必須的文本類及音頻、視頻等非文本類非結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)問題。
數(shù)據(jù)倉庫的建立,實(shí)現(xiàn)了地調(diào)、縣調(diào)電力數(shù)據(jù)同質(zhì)化存儲(chǔ)管理。同時(shí),可按照使用者的主題需求,劃分出數(shù)據(jù)子集,形成數(shù)據(jù)集市,向業(yè)務(wù)邏輯層提供細(xì)粒度、廣維度的統(tǒng)計(jì)分析數(shù)據(jù),減少業(yè)務(wù)邏輯層的數(shù)據(jù)處理量。
業(yè)務(wù)邏輯層按照使用者的主題需求,從數(shù)據(jù)倉庫和數(shù)據(jù)集市中提取所需數(shù)據(jù),實(shí)現(xiàn)對(duì)電力數(shù)據(jù)的統(tǒng)計(jì)、分析、應(yīng)用功能。其主要包括業(yè)務(wù)邏輯單元、業(yè)務(wù)應(yīng)用單元等。
1.2.1 業(yè)務(wù)邏輯單元
運(yùn)用計(jì)算機(jī)程序?qū)㈦娏\(yùn)行專業(yè)領(lǐng)域知識(shí)與技術(shù)規(guī)則、技術(shù)人員的經(jīng)驗(yàn)和常識(shí)轉(zhuǎn)換為機(jī)器語言,同時(shí)分析現(xiàn)有各專業(yè)數(shù)據(jù)報(bào)表需求及業(yè)務(wù)指標(biāo),梳理整合業(yè)務(wù)邏輯規(guī)范,設(shè)計(jì)報(bào)表格式,運(yùn)用計(jì)算機(jī)程序?qū)崿F(xiàn)滿足公司各業(yè)務(wù)部門統(tǒng)計(jì)需求的關(guān)鍵業(yè)務(wù)指標(biāo)算法。
1.2.2 業(yè)務(wù)應(yīng)用單元
通過對(duì)電力運(yùn)行主要業(yè)務(wù)的梳理和整合,針對(duì)特定主題,應(yīng)用系統(tǒng)利用數(shù)據(jù)挖掘工具對(duì)數(shù)據(jù)進(jìn)行聚類分析、特征化及偏差分析等[3]。目前該系統(tǒng)可實(shí)現(xiàn)的主要業(yè)務(wù)有電力基礎(chǔ)資料管理和電力數(shù)據(jù)統(tǒng)計(jì)分析。地區(qū)電力調(diào)度數(shù)據(jù)中心的主題應(yīng)用如圖2所示。
圖2 地區(qū)電力調(diào)度數(shù)據(jù)中心的主題應(yīng)用
電力基礎(chǔ)資料管理功能:用戶可運(yùn)用輔助類工具、分布式搜索引擎(Elastic Search)等調(diào)取分布式數(shù)據(jù)庫中存儲(chǔ)的各類基礎(chǔ)數(shù)據(jù),對(duì)所需要的基礎(chǔ)類資料進(jìn)行下載、查看。
電力數(shù)據(jù)統(tǒng)計(jì)分析功能:系統(tǒng)運(yùn)用數(shù)據(jù)倉庫工具Hive、Spark等分布式運(yùn)算工具調(diào)用SparkMLib、Python等算法組件包,實(shí)現(xiàn)對(duì)數(shù)據(jù)的統(tǒng)計(jì)、分析,主要包括負(fù)荷與電量、電力規(guī)模、線路故障統(tǒng)計(jì)分析等主題應(yīng)用。
負(fù)荷與電量主題:可實(shí)現(xiàn)從年、月、日等細(xì)節(jié)全面統(tǒng)計(jì)地區(qū)歷年負(fù)荷與電量,查詢地區(qū)負(fù)荷與電量同比、環(huán)比增長率詳細(xì)數(shù)據(jù),觀測地區(qū)負(fù)荷與電量的變化趨勢。
電力規(guī)模主題:可實(shí)現(xiàn)多維度統(tǒng)計(jì)和呈現(xiàn)地區(qū)電力系統(tǒng)規(guī)模,主要包括變電規(guī)模、輸電規(guī)模、發(fā)電規(guī)模。同時(shí),該模塊可實(shí)現(xiàn)負(fù)荷普查及詳查的全過程管控,辨識(shí)不良數(shù)據(jù),形成用于負(fù)荷建模需求的普查和詳查數(shù)據(jù),可服務(wù)于電網(wǎng)規(guī)劃、營銷等各專業(yè)數(shù)據(jù)需要。
線路故障統(tǒng)計(jì)分析主題:該模塊建立線路故障分析的數(shù)學(xué)模型與電網(wǎng)的拓?fù)浣Y(jié)構(gòu)。從數(shù)據(jù)倉庫提取線路基礎(chǔ)數(shù)據(jù),同時(shí)結(jié)合線路跳閘構(gòu)成的動(dòng)態(tài)數(shù)據(jù),利用概率論與數(shù)理統(tǒng)計(jì)的原理對(duì)基礎(chǔ)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)進(jìn)行精確統(tǒng)計(jì)和分析。從線路故障率、停電時(shí)長、重合成功率、高掉閘等方面進(jìn)行分析、比對(duì),提取反映線路運(yùn)行維護(hù)的關(guān)鍵特征值,根據(jù)分析結(jié)果找出影響配電線路供電可靠性的主要因素,形成數(shù)據(jù)分析報(bào)告[4],服務(wù)于地區(qū)高跳閘線路治理工作,解決電網(wǎng)精益化管控中缺少數(shù)據(jù)支撐的問題,提高設(shè)備維護(hù)的針對(duì)性,提高維護(hù)資金的利用效率。
地區(qū)電力調(diào)度數(shù)據(jù)中心提供了可視化平臺(tái),可通過地理信息圖、柱狀圖、餅狀圖、折線圖、斷面圖等多種形式對(duì)各類數(shù)據(jù)進(jìn)行圖形化展示,將業(yè)務(wù)型數(shù)據(jù)轉(zhuǎn)換為管理型數(shù)據(jù)以獲得有用信息,實(shí)現(xiàn)人機(jī)交互。用戶可以按需組合索取信息,根據(jù)需要定制報(bào)表,多角度對(duì)數(shù)據(jù)進(jìn)行觀察和處理,實(shí)現(xiàn)了數(shù)據(jù)的有效應(yīng)用。
地區(qū)電力調(diào)度數(shù)據(jù)中心的技術(shù)架構(gòu)如圖3所示。為滿足應(yīng)用系統(tǒng)的穩(wěn)定性、安全性和可維護(hù)性需求,對(duì)應(yīng)用系統(tǒng)的軟、硬件分別進(jìn)行選型。
選擇面向?qū)ο蟪绦蛟O(shè)計(jì)OOP(object oriented programming)和模型-視圖-控制器MVC(modelview-controller)模式相結(jié)合的開發(fā)策略進(jìn)行軟件開發(fā),系統(tǒng)采用B/S(browser/server)軟件架構(gòu),采用免費(fèi)開源支撐體系和成熟的前后端框架構(gòu)建,以提高軟件的靈活性和可擴(kuò)展性。
服務(wù)器操作系統(tǒng)采用免費(fèi)、安全、低維護(hù)、穩(wěn)定的Linux環(huán)境。網(wǎng)絡(luò)服務(wù)采用開放源代碼的網(wǎng)頁服務(wù)器軟件Apache。
結(jié)構(gòu)式數(shù)據(jù)庫系統(tǒng)采用MySQL的分支MariaDB。數(shù)據(jù)庫管理應(yīng)用程序采用基于網(wǎng)頁的MySQL數(shù)據(jù)庫管理應(yīng)用程序phpMyAdmin。其中,為保障數(shù)據(jù)庫的高可用性,采用2臺(tái)服務(wù)器構(gòu)建數(shù)據(jù)庫服務(wù)器集群,互為備用。
程序語言采用開源通用可嵌入超文本標(biāo)記語言中使用的計(jì)算機(jī)腳本語言PHP7。該語言易于學(xué)習(xí),允許用戶修改、編譯、擴(kuò)展使用。
圖3 地區(qū)電力調(diào)度數(shù)據(jù)中心的技術(shù)架構(gòu)
軟件前端開發(fā)使用jQuery、Bootstrap框架實(shí)現(xiàn),使系統(tǒng)界面友好,人機(jī)交互響應(yīng)快捷方便,后臺(tái)管理系統(tǒng)使用ThinkPHP實(shí)現(xiàn),其包含底層架構(gòu)、數(shù)據(jù)庫訪問層、角色認(rèn)證、表單處理等常用的組件,支持Linux服務(wù)器環(huán)境,并支持MySQL數(shù)據(jù)庫以及PDO擴(kuò)展,其快速、兼容的特性滿足系統(tǒng)應(yīng)用需求。
硬件方面,為防止服務(wù)器故障,設(shè)置備份服務(wù)器系統(tǒng),當(dāng)服務(wù)器軟件系統(tǒng)故障,由備份服務(wù)器接管業(yè)務(wù)應(yīng)用,并將故障服務(wù)器脫離網(wǎng)絡(luò),維持系統(tǒng)的正常運(yùn)行。
目前,基于數(shù)據(jù)倉庫技術(shù)創(chuàng)建的地區(qū)電力調(diào)度數(shù)據(jù)中心,作為數(shù)據(jù)交換和共享中心,有效連接了各相關(guān)業(yè)務(wù)系統(tǒng),對(duì)已有數(shù)據(jù)資源進(jìn)行了充分利用,是對(duì)現(xiàn)有應(yīng)用支持系統(tǒng)功能的補(bǔ)充。下一步將繼續(xù)開發(fā)電網(wǎng)風(fēng)險(xiǎn)預(yù)測與防范、負(fù)荷預(yù)測等數(shù)據(jù)挖掘模型,運(yùn)用深度學(xué)習(xí)、遷移學(xué)習(xí)等人工智能方法與數(shù)據(jù)挖掘技術(shù)深層次挖掘數(shù)據(jù)價(jià)值,助力地區(qū)電網(wǎng)管控人員精準(zhǔn)掌握電網(wǎng)運(yùn)行規(guī)律,實(shí)現(xiàn)對(duì)電網(wǎng)運(yùn)行狀態(tài)的全局優(yōu)化控制,提高電網(wǎng)的安全穩(wěn)定性。