江蘇電力信息技術(shù)有限公司 趙 琳

為解決數(shù)據(jù)問題，數(shù)據(jù)管理技術(shù)逐漸被各個(gè)企業(yè)所重視，諸多有關(guān)數(shù)據(jù)管理的思考與研究隨之涌現(xiàn)。但目前企業(yè)在實(shí)際的數(shù)據(jù)管理中還存在一定的問題。因此，本文基于數(shù)據(jù)中臺(tái)架構(gòu)，提出了數(shù)據(jù)管理的建設(shè)思想，并針對(duì)數(shù)據(jù)管理中基于主數(shù)據(jù)的源端數(shù)據(jù)整合方法進(jìn)行探析，以期提出有效的數(shù)據(jù)管理方法，為企業(yè)業(yè)務(wù)的智能創(chuàng)新發(fā)展提供數(shù)據(jù)支撐依據(jù)。

目前，企業(yè)的信息化建設(shè)基本采用傳統(tǒng)的建設(shè)理念進(jìn)行規(guī)劃實(shí)施，對(duì)于各個(gè)大數(shù)據(jù)平臺(tái)基本采用“立煙囪”的方式，導(dǎo)致企業(yè)各個(gè)業(yè)務(wù)系統(tǒng)均擁有自身的設(shè)備和管理方法，導(dǎo)致信息化系統(tǒng)維護(hù)成本高、數(shù)據(jù)資源復(fù)用困難、數(shù)據(jù)質(zhì)量不高等問題。如何能夠解決這一問題，打通數(shù)據(jù)并建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，是企業(yè)應(yīng)當(dāng)考慮的重要問題，本文通過(guò)基于數(shù)據(jù)中臺(tái)機(jī)構(gòu)的數(shù)據(jù)管理進(jìn)行分析。

1 數(shù)據(jù)中臺(tái)相關(guān)理論

1.1 數(shù)據(jù)資產(chǎn)的產(chǎn)生背景

2020年4月，中共中央、國(guó)務(wù)院公布《關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置機(jī)制的意見》，數(shù)據(jù)作為一種新型生產(chǎn)要素被寫入中央文件。2020年5月，第十三屆全國(guó)人民代表大會(huì)第三次會(huì)議上，李克強(qiáng)總理的政府工作報(bào)告中，提出“推進(jìn)要素市場(chǎng)化配置改革”，“培育技術(shù)和數(shù)據(jù)市場(chǎng)，激活各類要素潛力”，“打造數(shù)字經(jīng)濟(jì)優(yōu)勢(shì)”。2020年10月，江蘇省政府印發(fā)《省政府辦公廳關(guān)于深入推進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展的意見》，提出”研究數(shù)據(jù)要素市場(chǎng)運(yùn)行機(jī)制“，”搭建基于區(qū)塊鏈等技術(shù)的數(shù)據(jù)安全共享與開發(fā)平臺(tái)“，”探索建設(shè)數(shù)據(jù)交易中心“，”加快構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)”。國(guó)家電網(wǎng)公司和江蘇省電力公司高度重視數(shù)據(jù)要素的自由流動(dòng)和價(jià)值發(fā)揮，將電力大數(shù)據(jù)增值工作列入新興產(chǎn)業(yè)升級(jí)和提質(zhì)增效專項(xiàng)行動(dòng)方案。要求聚焦政府、企業(yè)、居民對(duì)能源數(shù)據(jù)的應(yīng)用需求，推動(dòng)數(shù)據(jù)產(chǎn)品的規(guī)?；瘧?yīng)用，打造多樣化的數(shù)據(jù)運(yùn)營(yíng)商業(yè)模式和服務(wù)模式。要以促進(jìn)數(shù)據(jù)要素流動(dòng)、釋放數(shù)據(jù)價(jià)值為目標(biāo)，推進(jìn)數(shù)字業(yè)務(wù)發(fā)展。

1.2 數(shù)據(jù)中臺(tái)的基本概念

數(shù)據(jù)中臺(tái)不是大數(shù)據(jù)平臺(tái)，而是借助各種數(shù)據(jù)技術(shù)，對(duì)海量的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)、計(jì)算、加工，從而形成統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，根據(jù)標(biāo)準(zhǔn)數(shù)據(jù)，再對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)，形成數(shù)據(jù)資產(chǎn)化，為服務(wù)對(duì)象提供優(yōu)質(zhì)、科學(xué)的服務(wù)。

傳統(tǒng)的數(shù)據(jù)開發(fā)的過(guò)程中，核心數(shù)據(jù)模型基本維持不變或變化相對(duì)較慢，但維護(hù)的數(shù)據(jù)量較大，因此難以匹配業(yè)務(wù)創(chuàng)新的速度，對(duì)于新的數(shù)據(jù)需求時(shí)長(zhǎng)無(wú)法滿足。數(shù)據(jù)中臺(tái)的出現(xiàn)，良好解決了這一問題，提升了工作效率，加強(qiáng)了協(xié)作能力，為開發(fā)團(tuán)隊(duì)的開發(fā)速度做出基礎(chǔ)保障，同時(shí)能夠滿足前臺(tái)的開發(fā)團(tuán)隊(duì)在開發(fā)時(shí)不會(huì)受到后臺(tái)數(shù)據(jù)開發(fā)的影響。

1.3 建設(shè)原則

數(shù)據(jù)中臺(tái)的建設(shè)并非一朝一夕，建設(shè)企業(yè)需要結(jié)合自身實(shí)際情況，打造合適的數(shù)據(jù)中臺(tái)能力。數(shù)據(jù)中臺(tái)的建設(shè)，需要遵守相關(guān)的建設(shè)原則。第一，企業(yè)現(xiàn)有的組織架構(gòu)與職能機(jī)制應(yīng)配合數(shù)據(jù)中臺(tái)的建設(shè)進(jìn)行完善。第二，工作方式將會(huì)發(fā)生改變，需要數(shù)據(jù)人員對(duì)企業(yè)自身的業(yè)務(wù)數(shù)據(jù)、模型進(jìn)行充分調(diào)研，開展端到端的實(shí)踐。第三，數(shù)據(jù)中臺(tái)的團(tuán)隊(duì)不應(yīng)固化傳統(tǒng)支撐角色的思維，而是應(yīng)向數(shù)據(jù)運(yùn)營(yíng)角色轉(zhuǎn)變，從而能夠?yàn)闃I(yè)務(wù)人員提供合理的決策依據(jù)，成為新的業(yè)務(wù)增長(zhǎng)點(diǎn)。第四，數(shù)據(jù)中臺(tái)的建設(shè)需要充分結(jié)合企業(yè)的特點(diǎn)。信息時(shí)代，數(shù)據(jù)更加開放、共享，企業(yè)在進(jìn)行數(shù)據(jù)中臺(tái)建設(shè)時(shí)應(yīng)將數(shù)據(jù)視為資產(chǎn)進(jìn)行運(yùn)營(yíng)，從而最大程度提升核心能力。

2 企業(yè)數(shù)據(jù)管理存在的問題

2.1 業(yè)務(wù)需求方面

通常，企業(yè)的各個(gè)部門根據(jù)部門自身的業(yè)務(wù)需要，均制定了本部門的數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)，導(dǎo)致各個(gè)標(biāo)準(zhǔn)不統(tǒng)一，產(chǎn)生沖突、混淆等問題，在實(shí)際的業(yè)務(wù)開展過(guò)程中，數(shù)據(jù)不能做到互聯(lián)互通，極易形成數(shù)據(jù)煙囪、信息孤島，難以形成企業(yè)全量化的數(shù)據(jù)治理組織架構(gòu)，同時(shí)基本不能建立完善的數(shù)據(jù)管理辦法。

2.2 系統(tǒng)建設(shè)方面

當(dāng)下，企業(yè)的業(yè)務(wù)開展需求廣泛，企業(yè)信息化系統(tǒng)多而復(fù)雜。當(dāng)企業(yè)的業(yè)務(wù)發(fā)生變化時(shí)，系統(tǒng)并沒有及時(shí)進(jìn)行調(diào)整與適配，系統(tǒng)的集成度相對(duì)較低。而且，企業(yè)負(fù)責(zé)信息化的部門對(duì)于所需系統(tǒng)的建設(shè)難以做到及時(shí)響應(yīng)和需求完全落地實(shí)現(xiàn)，系統(tǒng)功能呈現(xiàn)高耦合狀態(tài)，后期的運(yùn)行維護(hù)成本高居不下，無(wú)法適應(yīng)企業(yè)業(yè)務(wù)靈活變化。

2.3 業(yè)務(wù)數(shù)據(jù)方面

企業(yè)中各個(gè)的業(yè)務(wù)部門在建立對(duì)應(yīng)的系統(tǒng)后，均會(huì)產(chǎn)生大量的業(yè)務(wù)數(shù)據(jù)，但均存在以下問題。第一，數(shù)據(jù)冗余復(fù)雜。多源異構(gòu)導(dǎo)致的數(shù)據(jù)大量冗余，為數(shù)據(jù)的分析與挖掘帶來(lái)了諸多不便。第二，數(shù)據(jù)質(zhì)量相對(duì)較低。系統(tǒng)在數(shù)據(jù)類型的設(shè)計(jì)上并未考慮企業(yè)架構(gòu)對(duì)數(shù)據(jù)架構(gòu)的需求，難以形成企業(yè)規(guī)模的數(shù)據(jù)統(tǒng)一架構(gòu)，造成數(shù)據(jù)的完整性、一致性無(wú)法實(shí)現(xiàn)。

圖1 電力企業(yè)數(shù)據(jù)中臺(tái)架構(gòu)下的數(shù)據(jù)管理建設(shè)

3 電力企業(yè)數(shù)據(jù)中臺(tái)架構(gòu)的數(shù)據(jù)管理建設(shè)思想

電力企業(yè)數(shù)據(jù)中臺(tái)架構(gòu)下的數(shù)據(jù)管理的核心思路是需要將數(shù)據(jù)作為一種資產(chǎn)，對(duì)其進(jìn)行全面的管理。最終的目標(biāo)是打破數(shù)據(jù)的隔閡，消除數(shù)據(jù)接口不統(tǒng)一的問題。具體可分為兩步走：第一，根據(jù)現(xiàn)有的系統(tǒng)數(shù)據(jù)源，對(duì)基于主數(shù)據(jù)管理的模塊實(shí)施源端數(shù)據(jù)整合，通過(guò)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，將數(shù)據(jù)進(jìn)行輕度的匯總，對(duì)數(shù)據(jù)集成全量的復(fù)制至數(shù)據(jù)倉(cāng)庫(kù)中。同時(shí)，對(duì)數(shù)據(jù)采用清洗、加工等，使數(shù)據(jù)倉(cāng)庫(kù)的模型能夠整合多源數(shù)據(jù)，從而實(shí)現(xiàn)數(shù)據(jù)的互通共享，能夠?qū)υ到y(tǒng)進(jìn)行校驗(yàn)與比對(duì)。第二，在對(duì)數(shù)據(jù)完成匯總后，需基于元數(shù)據(jù)管理進(jìn)行相關(guān)邏輯整合，將數(shù)據(jù)實(shí)現(xiàn)應(yīng)用共享，同時(shí)，也應(yīng)能夠?qū)υ到y(tǒng)數(shù)據(jù)采取元數(shù)據(jù)管理，實(shí)現(xiàn)邏輯上的整合管理。

數(shù)據(jù)中臺(tái)具備數(shù)據(jù)接入、存儲(chǔ)計(jì)算、數(shù)據(jù)分析、資源管理、服務(wù)管理、運(yùn)營(yíng)管理六大能力。按照數(shù)據(jù)中臺(tái)“貼源層、共享層、分析層”的三層數(shù)據(jù)架構(gòu)，統(tǒng)籌推進(jìn)數(shù)據(jù)資源歸集、數(shù)據(jù)模型整合和數(shù)據(jù)產(chǎn)品構(gòu)建工作。打造企業(yè)中臺(tái)門戶，開放各專業(yè)數(shù)據(jù)資源目錄、模型資產(chǎn)、數(shù)據(jù)產(chǎn)品等，實(shí)現(xiàn)數(shù)據(jù)“可視、可查、可取、可用”，提供“全流程、一站式”便捷服務(wù)，進(jìn)一步提升中臺(tái)能力開放水平，促進(jìn)公司數(shù)據(jù)價(jià)值全面釋放。

4 基于主數(shù)據(jù)的源端數(shù)據(jù)整合方法

主數(shù)據(jù)是指用于描述組織機(jī)構(gòu)內(nèi)的物、人等業(yè)務(wù)實(shí)體的數(shù)據(jù)，其核心是企業(yè)的業(yè)務(wù)數(shù)據(jù)。主數(shù)據(jù)是各個(gè)系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)互通共享的關(guān)鍵。當(dāng)下，部分企業(yè)雖已經(jīng)建立了統(tǒng)一的主數(shù)據(jù)平臺(tái)，但是，主數(shù)據(jù)仍然是由企業(yè)內(nèi)專業(yè)的部門分別對(duì)其維護(hù)與使用，依舊沒有形成企業(yè)級(jí)別的標(biāo)準(zhǔn)，存在著諸如項(xiàng)目、業(yè)務(wù)、組織機(jī)構(gòu)等主數(shù)據(jù)的編碼不統(tǒng)一、不一致的問題，加大了人員在不同的系統(tǒng)中重復(fù)管理、低效率工作的現(xiàn)象。

基于統(tǒng)一的數(shù)據(jù)模型，構(gòu)建企業(yè)主數(shù)據(jù)管理平臺(tái)，識(shí)別與分離遍布在各個(gè)系統(tǒng)之間的主數(shù)據(jù)，并對(duì)主數(shù)據(jù)表的各個(gè)字段進(jìn)行管理與維護(hù)，對(duì)其使用權(quán)限進(jìn)行認(rèn)證，利用分發(fā)機(jī)制共享至各個(gè)業(yè)務(wù)系統(tǒng)，滿足其使用的需求。同時(shí)，還需對(duì)各個(gè)業(yè)務(wù)系統(tǒng)的功能進(jìn)行改造升級(jí)，通過(guò)集成企業(yè)主數(shù)據(jù)管理平臺(tái)的相關(guān)功能，維護(hù)好自身系統(tǒng)內(nèi)的主數(shù)據(jù)，避免出現(xiàn)主數(shù)據(jù)在各個(gè)系統(tǒng)間發(fā)生數(shù)據(jù)冗余的問題。

因此，基于主數(shù)據(jù)的源端數(shù)據(jù)整合建議如下：一，構(gòu)建企業(yè)級(jí)數(shù)據(jù)模型標(biāo)準(zhǔn)。通過(guò)建立企業(yè)的主數(shù)據(jù)分類標(biāo)準(zhǔn)框架，設(shè)定目錄索引，根據(jù)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，逐一的分析并梳理，形成數(shù)據(jù)模型標(biāo)準(zhǔn)。二，對(duì)主數(shù)據(jù)進(jìn)行盤點(diǎn)。通過(guò)識(shí)別各個(gè)業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)，梳理相關(guān)參數(shù)屬性，確定各個(gè)數(shù)據(jù)項(xiàng)的來(lái)源與權(quán)限，建立主數(shù)據(jù)的臺(tái)賬。三，完善主數(shù)據(jù)平臺(tái)。對(duì)企業(yè)級(jí)主數(shù)據(jù)管理平臺(tái)及時(shí)維護(hù)更新，使其功能保持先進(jìn)性，集成各項(xiàng)所需服務(wù)。四，對(duì)原有的信息化系統(tǒng)改造升級(jí)。通過(guò)應(yīng)用集成各個(gè)業(yè)務(wù)系統(tǒng)中的相關(guān)功能，對(duì)原有系統(tǒng)的業(yè)務(wù)活動(dòng)、事件等產(chǎn)生的主數(shù)據(jù)做調(diào)整。五，建立數(shù)據(jù)管理機(jī)制。對(duì)于數(shù)據(jù)管理工作進(jìn)行相關(guān)機(jī)制構(gòu)建，從而打造企業(yè)內(nèi)的數(shù)據(jù)管理支撐平臺(tái)，對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)、共享、臺(tái)賬、安全、質(zhì)量等實(shí)施統(tǒng)一的管理。

綜上，企業(yè)的數(shù)據(jù)管理是企業(yè)數(shù)據(jù)中臺(tái)架構(gòu)建設(shè)的基礎(chǔ)保障，而基于數(shù)據(jù)中臺(tái)機(jī)構(gòu)探析數(shù)據(jù)管理時(shí)可以發(fā)現(xiàn)，首先需要解決的是數(shù)據(jù)共享、數(shù)據(jù)標(biāo)準(zhǔn)化的問題。本文同歸對(duì)數(shù)據(jù)中臺(tái)的相關(guān)理論概念進(jìn)行闡述，分析了企業(yè)數(shù)據(jù)管理存在的主要問題，歸納了基于數(shù)據(jù)中臺(tái)架構(gòu)的數(shù)據(jù)管理建設(shè)思想，并提出了基于主數(shù)據(jù)的源端數(shù)據(jù)整合方法。相關(guān)研究成果對(duì)于企業(yè)數(shù)據(jù)管理起到參考價(jià)值，為增強(qiáng)互聯(lián)網(wǎng)大數(shù)據(jù)時(shí)代企業(yè)競(jìng)爭(zhēng)力做出貢獻(xiàn)。