夏茂龍 江蘇省廣播電視科學(xué)研究所有限公司

協(xié)鑫智慧能源數(shù)據(jù)中心建設(shè)方案

夏茂龍 江蘇省廣播電視科學(xué)研究所有限公司

本文介紹了協(xié)鑫智慧能源數(shù)據(jù)中心建設(shè)目標(biāo)、總體框架、建設(shè)步驟、物理部署架構(gòu)。

數(shù)據(jù)接入 數(shù)據(jù)整合 數(shù)據(jù)應(yīng)用

1. 協(xié)鑫智慧能源數(shù)據(jù)中心建設(shè)目標(biāo)

協(xié)鑫智慧能源數(shù)據(jù)中心建設(shè)目標(biāo)遵循以下要點(diǎn):

（1）以指標(biāo)為核心進(jìn)行相關(guān)數(shù)據(jù)梳理、整合

（2）以業(yè)務(wù)邏輯關(guān)系為基礎(chǔ)進(jìn)行數(shù)據(jù)存儲(chǔ)

（3）以業(yè)務(wù)應(yīng)用為導(dǎo)向進(jìn)行數(shù)據(jù)展現(xiàn)

2. 協(xié)鑫智慧能源數(shù)據(jù)中心總體框架

協(xié)鑫智慧能源數(shù)據(jù)中心總體框架如圖1所示。

3. 協(xié)鑫智慧能源數(shù)據(jù)中心建設(shè)步驟

3.1 數(shù)據(jù)接入

3.1.1 接入方式

由數(shù)據(jù)平臺(tái)開發(fā)商提出數(shù)據(jù)要求，業(yè)務(wù)系統(tǒng)開發(fā)商提供webservice服務(wù)，由數(shù)據(jù)平臺(tái)開發(fā)商進(jìn)行解析。業(yè)務(wù)系統(tǒng)開發(fā)商需要提供完整的webservice服務(wù)說(shuō)明文檔，必要時(shí)需要指派專人配合數(shù)據(jù)平臺(tái)開發(fā)商開發(fā)解析程序。

由業(yè)務(wù)系統(tǒng)開發(fā)商為數(shù)據(jù)平臺(tái)開發(fā)實(shí)施商提供原業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)只讀帳號(hào)、完整數(shù)據(jù)字典，由數(shù)據(jù)平臺(tái)開發(fā)商直接從業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中通過(guò)PowerCenter工具抽取相應(yīng)數(shù)據(jù)。

在ETL抽取過(guò)程中，根據(jù)存儲(chǔ)區(qū)各域模型的規(guī)范要求進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)化，在不修改原始數(shù)據(jù)的情況下加載存儲(chǔ)到ODS存儲(chǔ)區(qū)的各大數(shù)據(jù)域中。為了盡可能不對(duì)業(yè)務(wù)系統(tǒng)造成影響，ETL過(guò)程普遍采用增量方式抽取。

3.1.2 指標(biāo)梳理流程

以公司生產(chǎn)運(yùn)行和經(jīng)營(yíng)管理關(guān)鍵指標(biāo)、同業(yè)對(duì)標(biāo)、月度例會(huì)等指標(biāo)為切入點(diǎn)，開展指標(biāo)數(shù)據(jù)梳理，理清數(shù)據(jù)來(lái)源、口徑等，從明細(xì)、口徑、頻度、流程四方面來(lái)提升數(shù)據(jù)質(zhì)量，支持分析展現(xiàn)，形成數(shù)據(jù)質(zhì)量提升長(zhǎng)效機(jī)制。具體流程如圖2所示。

3.1.3 指標(biāo)梳理效果

指標(biāo)梳理效果見(jiàn)圖3。

圖1 協(xié)鑫智慧能源數(shù)據(jù)中心總體框架

圖2 指標(biāo)梳理流程

圖3 指標(biāo)梳理效果

3.1.4 線下數(shù)據(jù)采集

圖4 線下數(shù)據(jù)采集

3.1.5 歷史數(shù)據(jù)初始化

歷史數(shù)據(jù)接入方式根據(jù)系統(tǒng)支撐情況，可以通過(guò)多種方式，實(shí)現(xiàn)歷史數(shù)據(jù)的接入。以下列舉三種方式，其中當(dāng)數(shù)據(jù)量較大時(shí)，建議不通過(guò)接口接入。歷史數(shù)據(jù)的三種接入方式見(jiàn)圖5。

3.2 數(shù)據(jù)整合

3.2.1 數(shù)據(jù)分布

數(shù)據(jù)架構(gòu)通過(guò)劃分?jǐn)?shù)據(jù)層次和分區(qū)，為每類數(shù)據(jù)提供獨(dú)立的存儲(chǔ)環(huán)境。

圖5 歷史數(shù)據(jù)接入方式

3.2.2 緩沖層包含的內(nèi)容、用途及設(shè)計(jì)原則

（1）緩沖層包含的內(nèi)容

根據(jù)源系統(tǒng)數(shù)據(jù)調(diào)研獲取數(shù)據(jù)實(shí)體，并結(jié)合業(yè)務(wù)應(yīng)用需求進(jìn)行范圍確定。主要包括： NC、PM、微電源、充電樁、新能源等系統(tǒng)的數(shù)據(jù)。

（2）緩沖層主要用途

建立數(shù)據(jù)緩沖區(qū)，臨時(shí)存放從源系統(tǒng)抽取過(guò)來(lái)的增量及全量數(shù)據(jù)。

（3）緩沖層設(shè)計(jì)原則

a.分區(qū)設(shè)計(jì)原則

綜上所述，產(chǎn)品研發(fā)首先要了解客戶、市場(chǎng)及其需求，這是新產(chǎn)品開發(fā)的關(guān)鍵的第一步。然后進(jìn)行市場(chǎng)分析和細(xì)分，確保新產(chǎn)品開發(fā)瞄準(zhǔn)最有價(jià)值的市場(chǎng)機(jī)會(huì)，還要將客戶需求融入新產(chǎn)品和服務(wù)的設(shè)計(jì)和開發(fā)中，找出獨(dú)特的信息以使自己的產(chǎn)品與其他產(chǎn)品區(qū)分開來(lái)，不僅有利于創(chuàng)新活動(dòng)，也增加了新產(chǎn)品成功面世的機(jī)會(huì)，作為新產(chǎn)品研發(fā)的輸入。新產(chǎn)品的創(chuàng)意設(shè)計(jì)是最為重要的一個(gè)環(huán)節(jié)，新產(chǎn)品構(gòu)思和概念產(chǎn)生一般需要關(guān)鍵人群（公司或用戶）的專業(yè)知識(shí)和經(jīng)驗(yàn)，以及相關(guān)調(diào)查報(bào)告的數(shù)據(jù)信息進(jìn)行創(chuàng)意生成，并且根據(jù)一定的選擇方法進(jìn)行創(chuàng)意篩選，然后對(duì)新產(chǎn)品方案進(jìn)行可行性評(píng)估，最后進(jìn)行生產(chǎn)并投放市場(chǎng)。

按業(yè)務(wù)系統(tǒng)劃分?jǐn)?shù)據(jù)區(qū)，不同系統(tǒng)間彼此間隔；b.模型設(shè)計(jì)原則

邏輯模型參考接口規(guī)范定義，為每一個(gè)接口單元設(shè)計(jì)實(shí)體、屬性，物理模型與邏輯模型保持一致；c.歷史保留原則

保留最aokuo新業(yè)務(wù)周期的數(shù)據(jù)，不保留歷史數(shù)據(jù)。

3.3 數(shù)據(jù)應(yīng)用

3.3.1 數(shù)據(jù)應(yīng)用方式

數(shù)據(jù)應(yīng)用方式包括：

（1）大屏可視化

（2）Web展現(xiàn)

（3）公共模型及數(shù)據(jù)字典

（4）后續(xù)系統(tǒng)的交換服務(wù)

3.3.2 數(shù)據(jù)應(yīng)用內(nèi)容

數(shù)據(jù)應(yīng)用內(nèi)容如下：

（1）指標(biāo)管理：對(duì)指標(biāo)進(jìn)行分級(jí)分類管理

（2）指標(biāo)查詢：實(shí)現(xiàn)分析指標(biāo)應(yīng)用展現(xiàn)功能

（3）業(yè)務(wù)展現(xiàn)：實(shí)現(xiàn)指標(biāo)信息查詢、經(jīng)營(yíng)分析

4. 協(xié)鑫智慧能源數(shù)據(jù)中心物理部署架構(gòu)

數(shù)據(jù)中心物理部署架構(gòu)見(jiàn)圖7。

圖7 協(xié)鑫智慧能源數(shù)據(jù)中心物理部署架構(gòu)