尹壽垚,宋 鑫,郭 駿,張 勇,張 哲,王茂海
(1.國(guó)網(wǎng)電力科學(xué)研究院,江蘇 南京 211106;2.國(guó)家電網(wǎng)公司華北分部,北京 100053)
多維數(shù)據(jù)建模在電網(wǎng)調(diào)控一體化系統(tǒng)中的應(yīng)用
尹壽垚1,宋 鑫1,郭 駿2,張 勇2,張 哲2,王茂海2
(1.國(guó)網(wǎng)電力科學(xué)研究院,江蘇 南京 211106;2.國(guó)家電網(wǎng)公司華北分部,北京 100053)
目前調(diào)控一體化系統(tǒng)所使用數(shù)據(jù)模型全部是關(guān)系型模型,關(guān)系型模型具備良好的擴(kuò)展性,通用性強(qiáng),但難以支持多維觀察、數(shù)據(jù)鉆取以及復(fù)雜的多維數(shù)據(jù)集運(yùn)算等功能。對(duì)BI技術(shù)的建模思想進(jìn)行介紹,然后結(jié)合電網(wǎng)調(diào)控系統(tǒng)的目前數(shù)據(jù)結(jié)構(gòu)方式以及存在的不足進(jìn)行分析,并提出基于BI的建模思想對(duì)電網(wǎng)調(diào)控的數(shù)據(jù)模型進(jìn)行重新構(gòu)造,建立一種電網(wǎng)調(diào)控多維方式的數(shù)據(jù)模型,同時(shí)分析多維數(shù)據(jù)模型在電網(wǎng)調(diào)控中應(yīng)用的優(yōu)勢(shì),為電網(wǎng)調(diào)控?cái)?shù)據(jù)建模方式以及分析方式提供參考。
多維建模;BI技術(shù);數(shù)據(jù)鉆取
BI(Business Intelligence)即商務(wù)智能,它是一套完整的解決方案,用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合,快速準(zhǔn)確提供報(bào)表并提出決策依據(jù),幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策。
商業(yè)智能的關(guān)鍵是從許多來(lái)自不同的企業(yè)運(yùn)作系統(tǒng)的數(shù)據(jù)中提取出有用的數(shù)據(jù)并進(jìn)行清理,以保證數(shù)據(jù)的正確性,然后經(jīng)過(guò)抽取、轉(zhuǎn)換和裝載,即ETL過(guò)程,合并到一個(gè)企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)里,從而得到企業(yè)數(shù)據(jù)的一個(gè)全局視圖,在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對(duì)其進(jìn)行分析和處理,最后將知識(shí)呈現(xiàn)給管理者,為管理者的決策過(guò)程提供支持。
目前,智能電網(wǎng)[1]調(diào)度技術(shù)支持系統(tǒng)的建設(shè)尚處在試點(diǎn)和初步發(fā)展階段,偏向于基本、常規(guī)的功能,智能化程度不高。隨著電力系統(tǒng)的飛速發(fā)展,人們對(duì)電網(wǎng)運(yùn)行數(shù)據(jù)的監(jiān)控、分析的要求越來(lái)越高。此外,調(diào)控一體化系統(tǒng)大多采用關(guān)系模型,關(guān)系模型具備良好的擴(kuò)展性,通用性強(qiáng),但難以支持多維觀察、數(shù)據(jù)鉆取以及多維數(shù)據(jù)[2]集運(yùn)算等功能。
商務(wù)智能在中國(guó)[3]的發(fā)展尚處于起步階段,大部分企業(yè)對(duì)商務(wù)智能仍然缺乏必要的了解。國(guó)內(nèi)雖然有寶鋼、中國(guó)海關(guān)以及大型銀行和電信公司進(jìn)行過(guò)或正在進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘項(xiàng)目[4],但是大部分企業(yè)在這方面的應(yīng)用還幾乎為零。商業(yè)智能目前在國(guó)內(nèi)應(yīng)用的主要問(wèn)題如下。
a.起步較晚
商務(wù)智能在國(guó)外,尤其是歐美發(fā)達(dá)國(guó)家,已有一段較長(zhǎng)的發(fā)展歷史。但在國(guó)內(nèi),商務(wù)智能正處于起步的階段,國(guó)外商務(wù)智能產(chǎn)品逐漸深入數(shù)據(jù)的挖掘與分析,但成功率不高。而國(guó)內(nèi)的商務(wù)智能產(chǎn)品的功能還有待完善,國(guó)內(nèi)商業(yè)智能市場(chǎng)[5]還沒(méi)有形成高中低端搭配、渠道健全、功能完整的局面。
隨著國(guó)內(nèi)企業(yè)信息化趨向成熟,目前最突出的問(wèn)題是大量業(yè)務(wù)數(shù)據(jù)的分析,還有知識(shí)在企業(yè)內(nèi)以及供應(yīng)鏈上下游企業(yè)之間的共享。商務(wù)智能將不再是簡(jiǎn)單的查詢和報(bào)表,而成為集數(shù)據(jù)整合、分析和應(yīng)用于一體的平臺(tái),它需要分析數(shù)據(jù)背后的規(guī)律,把數(shù)據(jù)轉(zhuǎn)換成真正有價(jià)值的信息和知識(shí)??梢灶A(yù)見(jiàn),商務(wù)智能將成為國(guó)內(nèi)企業(yè)信息化建設(shè)不可或缺的一部分,幫助企業(yè)積極應(yīng)對(duì)日益激烈的市場(chǎng)競(jìng)爭(zhēng)。
b.差距較大
目前國(guó)內(nèi)各行業(yè)商務(wù)智能的發(fā)展水平仍是參差不齊,不同規(guī)模的企業(yè)應(yīng)用商務(wù)智能的差距也在拉大。商務(wù)智能在國(guó)內(nèi)的發(fā)展呈現(xiàn)區(qū)域以及行業(yè)的分布不均。在區(qū)域上,華北、華東和華南地區(qū)商務(wù)智能軟件占據(jù)了絕大部分的市場(chǎng)份額。而在行業(yè)上,電信、金融、服務(wù)業(yè)等領(lǐng)域的很多企業(yè)都建立了部門級(jí)數(shù)據(jù)集市以及簡(jiǎn)單的前端展示系統(tǒng),正繼續(xù)向企業(yè)級(jí)的商務(wù)智能應(yīng)用發(fā)展。此外,目前國(guó)內(nèi)市場(chǎng)應(yīng)用商務(wù)智能的企業(yè)并不多,應(yīng)用深入的企業(yè)更少,成熟、專業(yè)的商務(wù)智能實(shí)施顧問(wèn)短缺。
商用BI軟件功能強(qiáng)大,但使用復(fù)雜、難以掌握,且難以融合到具體的應(yīng)用系統(tǒng)中,因此幾乎無(wú)法在電力生產(chǎn)管理系統(tǒng)中看到商用BI軟件的應(yīng)用。利用智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)的BI軟件將充分挖掘電力系統(tǒng)中的海量數(shù)據(jù),全面提升智能電網(wǎng)調(diào)度系統(tǒng)在輔助決策,可視化展現(xiàn),數(shù)據(jù)分析與挖掘等多個(gè)方向的技術(shù)突破,值得進(jìn)一步研究。
目前調(diào)控一體化系統(tǒng)所使用的模型絕大多數(shù)為關(guān)系型模型,而且基本上一直都是使用關(guān)系型模型,其有自身的優(yōu)勢(shì)。
a.數(shù)據(jù)結(jié)構(gòu)單一。關(guān)系模型中,不管是實(shí)體還是實(shí)體之間的聯(lián)系,都用關(guān)系來(lái)表示,而關(guān)系都對(duì)應(yīng)一張二維數(shù)據(jù)表,數(shù)據(jù)結(jié)構(gòu)簡(jiǎn)單、清晰。
b.關(guān)系規(guī)范化,并建立在嚴(yán)格的理論基礎(chǔ)上。構(gòu)成關(guān)系的基本規(guī)范要求關(guān)系中每個(gè)屬性不可再分割,同時(shí)關(guān)系建立在具有堅(jiān)實(shí)的理論基礎(chǔ)和嚴(yán)格數(shù)學(xué)概念基礎(chǔ)上。
c.概念簡(jiǎn)單,操作方便。關(guān)系模型最大的優(yōu)點(diǎn)就是簡(jiǎn)單,用戶容易理解和掌握,一個(gè)關(guān)系就是一張二維表格,用戶只需用簡(jiǎn)單的查詢語(yǔ)言就能對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作。
關(guān)系型模型也有自身的不足之處,如難以支持多維觀察、數(shù)據(jù)鉆取以及復(fù)雜的多維數(shù)據(jù)集運(yùn)算等功能,多維處理功能以及前端查詢速度比較慢,查詢語(yǔ)句比較復(fù)雜,因此在電網(wǎng)調(diào)控一體化系統(tǒng)海量數(shù)據(jù)的今天,利用關(guān)系型數(shù)據(jù)使用戶很難全面、準(zhǔn)確地對(duì)關(guān)鍵性指標(biāo)[6]進(jìn)行分析。
因此需要對(duì)調(diào)控一體化系統(tǒng)現(xiàn)有的數(shù)據(jù)模型進(jìn)行分析,設(shè)計(jì)出通用的維度,并整理出適合不同應(yīng)用分析場(chǎng)景的多維數(shù)據(jù)分析模型,并在此基礎(chǔ)上進(jìn)行多維展示、數(shù)據(jù)鉆取以及數(shù)據(jù)挖掘運(yùn)算等功能,利用現(xiàn)有的關(guān)系型模型的海量數(shù)據(jù)結(jié)合BI建模的思想,建立多維數(shù)據(jù)模型,方便用戶進(jìn)行指標(biāo)數(shù)據(jù)的全面分析并提供簡(jiǎn)單的數(shù)據(jù)查詢的方式。
電網(wǎng)調(diào)控一體化系統(tǒng)多維數(shù)據(jù)建模方法,其基本思想是利用使用經(jīng)典的星形模式和雪花模式[7],可以根據(jù)分析人員的要求快速、靈活地進(jìn)行電網(wǎng)調(diào)控多維場(chǎng)景的設(shè)計(jì),然后進(jìn)行豐富的維度定義,最后定義相關(guān)調(diào)控場(chǎng)景關(guān)鍵指標(biāo)的事實(shí)表并形成結(jié)構(gòu)良好的電網(wǎng)調(diào)控多維數(shù)據(jù)模型[8]。采用星型模式和雪花模型設(shè)計(jì)的數(shù)據(jù)模型有利于提高查詢的效率,而且星形模式和雪花模型比較直觀,通過(guò)分析星形模式和雪花模型,很容易組合出各種查詢,使得前端可以展現(xiàn)出更多的查詢主題。多維數(shù)據(jù)建模后使用轉(zhuǎn)換軟件進(jìn)行數(shù)據(jù)的抽取、轉(zhuǎn)換和加載,將智能電網(wǎng)調(diào)度技術(shù)支持系統(tǒng)現(xiàn)有的關(guān)系型模型的數(shù)據(jù)無(wú)縫加載到多維數(shù)據(jù)模型中,實(shí)現(xiàn)了多維數(shù)據(jù)模型的建模。
BI多維數(shù)據(jù)模型的建立為數(shù)據(jù)的分析和展現(xiàn)提供了多個(gè)角度,針對(duì)每個(gè)核心指標(biāo)可以從電力系統(tǒng)的時(shí)間,廠站、區(qū)域、電壓等級(jí)、責(zé)任區(qū)等多個(gè)維度去分析指標(biāo)的內(nèi)涵。BI多維數(shù)據(jù)也可以提供數(shù)據(jù)在各個(gè)維度間的聯(lián)動(dòng),利用上卷和下鉆的手段可以實(shí)現(xiàn)對(duì)指標(biāo)的全面分析[9]。上卷可以從指標(biāo)的細(xì)節(jié)角度逐步向上分析,研究指標(biāo)的宏觀內(nèi)涵。而下鉆是從指標(biāo)的高層內(nèi)涵逐步向細(xì)節(jié)[10]進(jìn)行分析,一點(diǎn)點(diǎn)的展現(xiàn)指標(biāo)的各個(gè)方面。
電網(wǎng)調(diào)控一體化系統(tǒng)多維數(shù)據(jù)建模方法,可分為以下幾個(gè)步驟。
a.設(shè)計(jì)電網(wǎng)調(diào)控系統(tǒng)常用的主題
b.設(shè)計(jì)電網(wǎng)調(diào)控系統(tǒng)常用的多維模型的維度
需要結(jié)合電網(wǎng)調(diào)控系統(tǒng)主題以及電網(wǎng)調(diào)控?cái)?shù)據(jù)分析,設(shè)計(jì)電網(wǎng)調(diào)控系統(tǒng)常用的維度。根據(jù)調(diào)控一體化系統(tǒng)的數(shù)據(jù),分析出主要的維度:日期、日間、電壓等級(jí)、區(qū)域、廠站、責(zé)任區(qū)、告警類型、越限類型、五類分組等主要的維度,并分別為各維度建立維度表。有了豐富的維度表可以對(duì)電網(wǎng)調(diào)控系統(tǒng)主要指標(biāo)從多個(gè)維度進(jìn)行分析。
由圖1可以看出,此模型支持從時(shí)間維度進(jìn)行“年→月→日”鉆取,支持從設(shè)備維度進(jìn)行“區(qū)域→廠站→設(shè)備”鉆取,從越限類型維度可以進(jìn)行全部統(tǒng)計(jì)或?qū)δ愁愒较捱M(jìn)行統(tǒng)計(jì)或在多個(gè)維度上進(jìn)行切片、切塊操作。
圖1 多維模型示例
c.設(shè)計(jì)和加載電網(wǎng)調(diào)控系統(tǒng)常用的多維模型的事實(shí)表并形成多維數(shù)據(jù)模型
電網(wǎng)調(diào)控總體狀況多維模型設(shè)計(jì)思路,主要是依賴于EMS系統(tǒng)的相關(guān)表結(jié)構(gòu)和電網(wǎng)調(diào)控系統(tǒng)常用的主題,建立電網(wǎng)調(diào)控一體化系統(tǒng)分析主題的多維模型。多維模型包含維度表和事實(shí)表,由維度表和事實(shí)表一起構(gòu)成了多維數(shù)據(jù)模型的基礎(chǔ),事實(shí)表主要存儲(chǔ)的是調(diào)控各主題的關(guān)鍵指標(biāo),電網(wǎng)調(diào)控關(guān)鍵指標(biāo)包括遙測(cè)越限時(shí)間、遙控次數(shù)、事故發(fā)生次數(shù)、斷面越限時(shí)間、母線電壓越限時(shí)間、數(shù)據(jù)不刷新時(shí)間、數(shù)據(jù)跳變次數(shù)、電量值、負(fù)荷值等。多維數(shù)據(jù)模型的事實(shí)表建立后利用ETL工具將電網(wǎng)調(diào)控一體化系統(tǒng)中的數(shù)據(jù)加載到相應(yīng)主題的事實(shí)表,實(shí)現(xiàn)了電網(wǎng)調(diào)控一體化系統(tǒng)關(guān)系型數(shù)據(jù)模型無(wú)縫轉(zhuǎn)換成多維數(shù)據(jù)模型。
利用上述步驟完成電網(wǎng)調(diào)控關(guān)系型模型轉(zhuǎn)變成多維數(shù)據(jù)模型,電網(wǎng)調(diào)控一體化系統(tǒng)多維數(shù)據(jù)建模充分考慮利用BI建模思想并結(jié)合電網(wǎng)調(diào)控的特點(diǎn),完成了對(duì)電網(wǎng)調(diào)控多維數(shù)據(jù)模型體系建立的實(shí)質(zhì)性研究。利用已建立的多維模型的數(shù)據(jù)支撐,可以實(shí)現(xiàn)電網(wǎng)調(diào)控各分析主題的全面展示。
基于母線電壓越限多維模型設(shè)計(jì)了母線電壓越限D(zhuǎn)ashBoard,可以從時(shí)間、區(qū)域、廠站、母線等多個(gè)維度對(duì)母線電壓越限持續(xù)時(shí)間的指標(biāo)進(jìn)行全面和多維展示,并且實(shí)現(xiàn)了由區(qū)域到廠站,由廠站到母線的多維數(shù)據(jù)鉆取(見(jiàn)圖2)。電網(wǎng)調(diào)控各主題的多維模型建立為指標(biāo)全面展示提供了豐富的數(shù)據(jù)源和數(shù)據(jù)支撐。
由于年齡偏小,無(wú)法用言語(yǔ)表達(dá)具體的不適,患病期間情緒不好,容易哭鬧;護(hù)理人員應(yīng)該輕撫患兒,增加安全感;給家長(zhǎng)宣傳小兒腹瀉的相關(guān)知識(shí),緩解家長(zhǎng)緊張不安的心理壓力,促使其積極配合治療,避免過(guò)度焦慮與醫(yī)生產(chǎn)生矛盾。
圖2 母線電壓越限的多維展示
綜上所述,基于BI技術(shù)的多維數(shù)據(jù)建模,將現(xiàn)有系統(tǒng)中關(guān)系型數(shù)據(jù)模型無(wú)縫轉(zhuǎn)換成多維數(shù)據(jù)模型,解決了關(guān)系型模型難以支持多維觀察、數(shù)據(jù)鉆取以及多維數(shù)據(jù)集運(yùn)算等功能。多維數(shù)據(jù)模型的建立為電網(wǎng)調(diào)控領(lǐng)域提供了豐富的多維數(shù)據(jù),為電網(wǎng)調(diào)控領(lǐng)域的海量數(shù)據(jù)分析[11]提供了豐富的分析數(shù)據(jù)源。對(duì)推進(jìn)電網(wǎng)調(diào)控的科學(xué)發(fā)展,提高電網(wǎng)調(diào)控的管理水平具有重要意義。
參考文獻(xiàn):
[1] 劉國(guó)民,宋 雨,周慶捷.智能電網(wǎng)信息化體系架構(gòu)研究[J].東北電力技術(shù),2012,33(2):15-17.
[2] Erik Thomsen.Olap Solutions:Building Multidimensional Infor?mation Systems[J].U.S.:John WILEY&SONS,2004,32-50.
[3] 高 濤,鄧 玲.智能電網(wǎng)及其國(guó)內(nèi)外發(fā)展概述[J].東北電力技術(shù),2012,33(2):5-10.
[4] 段云鋒,吳唯寧,李劍威,等.數(shù)據(jù)倉(cāng)庫(kù)及其在電信領(lǐng)域的應(yīng)用[M].北京:電子工業(yè)出版社,2003.
[5] 楊 超.商務(wù)智能的中國(guó)攻略[J].每周電腦報(bào),2004,30(4):51-52.
[6] 孫 峰,司紅代,孫曉非.智能電網(wǎng)多指標(biāo)綜合評(píng)估體系研究[J].東北電力技術(shù),2011,32(9):1-7.
[7] 徐義峰,徐云青,陳春明.雪花模型在OLAP多維建模中的應(yīng)用[J].科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì),2005,8(2):45-47.
[8] 嚴(yán)任遠(yuǎn).基于數(shù)據(jù)倉(cāng)庫(kù)的企業(yè)OLAP多維模型的設(shè)計(jì)與實(shí)現(xiàn)[J].情報(bào)雜志,2006,2(3):32-34.
[9] J.W.Han,J.Pei,G'Dong and K.Wang.Efficient Computa?tion of Iceberg Cubes with Complex Measures[J].U.S.:SIGMOD,2001,167-233.
[10] 毛秀麗,彭明霞,陳明昭.OLAP中多維數(shù)據(jù)庫(kù)旋轉(zhuǎn)的應(yīng)用[J].計(jì)算機(jī)應(yīng)用,2002,11(2):38-49.
[11] J.Han.Towards On-Line Analytical Mining in Large Databas?es[J].U.S.:ACMSIG-MOD,1998,17-23.
Application of Multi?dimensional Data Modeling in EMS System
YIN Shou?yao1,SONG Xin1,GUO Jun2,ZHANG Yong2,ZHANG Zhe2,WANG Mao?hai2
(1.State Grid Electric Power Research Institute,Nanjing,Jiangsu 211106,China;2.The North China Branch of China State Grid Corp,Beijing 100053,China)
Multi?dimensional modeling methods of BI technology,to change the current EMS system using the data model is the rela?tional model.The relational model has good expansibility,strong universality,but it is difficult to support multi?dimensional data,multi?dimensional observation,data drill and complex set of operations and other functions.The modeling idea of BI technology is in?troduced,and analysis is made combining with the current EMS system data structure mode and the existing shortcomings,Recon?struction of the grid regulation data model based on BI modeling is put forward,a multi?dimensional way of regulating the grid data model is established.At the same time the application analysis of multi?dimensional data model in grid control advantages is made,providing the reference for the data modeling and analysis of grid control mode.
Multi?dimensional modeling;BI technology;Data mining
TM73
A
1004-7913(2015)02-0038-04
尹壽垚(1984—),男,碩士,工程師,從事電力調(diào)控系統(tǒng)研究與開(kāi)發(fā)工作。
2014-11-25)