李智星 萬(wàn)磊 舒新義 馬先俊 徐敏
摘要:公司規(guī)模不斷擴(kuò)大的過(guò)程中,由于業(yè)務(wù)的需求,公司內(nèi)部存在許多應(yīng)用系統(tǒng),目前僅營(yíng)銷系統(tǒng)已達(dá)23個(gè)之多。由于每個(gè)系統(tǒng)中的數(shù)據(jù)存儲(chǔ)方式和維護(hù)方式不同,因而各個(gè)應(yīng)用系統(tǒng)之間將會(huì)出現(xiàn)分塊的信息孤島,不利于系統(tǒng)間的數(shù)據(jù)共享。同時(shí),數(shù)據(jù)標(biāo)準(zhǔn)的不統(tǒng)一,錯(cuò)綜復(fù)雜的數(shù)據(jù)對(duì)照和映射關(guān)系,使得公司無(wú)法及時(shí)并準(zhǔn)確地進(jìn)行數(shù)據(jù)分析工作。以上問(wèn)題的存在,嚴(yán)重影響了公司的高層決策,并阻礙了數(shù)據(jù)資產(chǎn)價(jià)值的實(shí)現(xiàn)。對(duì)于電網(wǎng)企業(yè),主數(shù)據(jù)是企業(yè)信息數(shù)據(jù)的重要組成部分,對(duì)主數(shù)據(jù)進(jìn)行統(tǒng)一管理,可以大大提高企業(yè)的效益。目前,國(guó)內(nèi)企業(yè)對(duì)主數(shù)據(jù)的重要性認(rèn)識(shí)不足,企業(yè)內(nèi)部沒(méi)有統(tǒng)一的主數(shù)據(jù)標(biāo)準(zhǔn),給企業(yè)的發(fā)展帶來(lái)了阻礙。文章圍繞公司存在的數(shù)據(jù)冗余、數(shù)據(jù)不一致的問(wèn)題展開(kāi)研究。在探索數(shù)據(jù)不一致的過(guò)程中,提出共享數(shù)據(jù)管理和基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)化管理。由于共享數(shù)據(jù)管理已經(jīng)很成熟,所以文章以基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)化管理為研究重點(diǎn),分別從數(shù)據(jù)結(jié)構(gòu)維護(hù),規(guī)則制定以及數(shù)據(jù)維護(hù)等方面進(jìn)行詳細(xì)介紹。通過(guò)基礎(chǔ)數(shù)據(jù)管理系統(tǒng)使用交換集成方法實(shí)現(xiàn)不同系統(tǒng)間數(shù)據(jù)的傳輸,從而保證系統(tǒng)間數(shù)據(jù)的一致性。幫助其實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值、推動(dòng)業(yè)務(wù)創(chuàng)新、增強(qiáng)企業(yè)競(jìng)爭(zhēng)實(shí)力。
20世紀(jì)60年代電網(wǎng)企業(yè)的信息化開(kāi)始起步。這期間,既有基礎(chǔ)設(shè)施及應(yīng)用軟件的更新?lián)Q代,也有單位、部門基于各自獨(dú)特需求建立的信息管理系統(tǒng)。也就不可避免的形成信息“孤島”及信息資源難以共享的問(wèn)題。
數(shù)據(jù)是企業(yè)信息化的基礎(chǔ),而獲得有用的數(shù)據(jù)來(lái)支撐各層決策是信息化發(fā)展的最終目標(biāo),因此數(shù)據(jù)管理是企業(yè)信息化的核心。隨著數(shù)據(jù)的作用的凸顯,其作為信息系統(tǒng)的基礎(chǔ)必須牢固。那么如何確保數(shù)據(jù)的完整性、準(zhǔn)確性、一致性就是十分嚴(yán)峻的問(wèn)題。如果數(shù)據(jù)質(zhì)量出現(xiàn)問(wèn)題,輕者造成業(yè)務(wù)低效,重者造成重大決策失誤,產(chǎn)生不良后果,因此,確保數(shù)據(jù)質(zhì)量是一項(xiàng)長(zhǎng)期的工作,包括數(shù)據(jù)的清理、數(shù)據(jù)的重組和規(guī)劃等。
主數(shù)據(jù)是對(duì)業(yè)務(wù)對(duì)象所需的核心數(shù)據(jù)進(jìn)行統(tǒng)一定義,它不會(huì)頻繁變化,且可以被業(yè)務(wù)流程及其他應(yīng)用引用。研究、實(shí)施主數(shù)據(jù)管理不僅可以向各應(yīng)用系統(tǒng)提供經(jīng)濟(jì)、高效的數(shù)據(jù)服務(wù),還可確保數(shù)據(jù)的完整性、一致性;主數(shù)據(jù)管理研究是通過(guò)對(duì)公共數(shù)據(jù)的發(fā)現(xiàn)和標(biāo)準(zhǔn)化描述來(lái)促進(jìn)數(shù)據(jù)一致性管理,進(jìn)而實(shí)現(xiàn)跨部門數(shù)據(jù)共享融合;主數(shù)據(jù)管理實(shí)施可以獲得一致的企業(yè)數(shù)據(jù)視圖,對(duì)部門的業(yè)務(wù)管理意義重大。
隨著電網(wǎng)規(guī)模不斷擴(kuò)大、傳統(tǒng)的數(shù)據(jù)管理已難以適應(yīng)快速變化的需求,迫切需要加快推進(jìn)主數(shù)據(jù)管理建設(shè),實(shí)現(xiàn)數(shù)據(jù)管理規(guī)范化、標(biāo)準(zhǔn)化的目標(biāo)。
目前,國(guó)內(nèi)部分先進(jìn)企業(yè)已開(kāi)始關(guān)注企業(yè)主數(shù)據(jù)管理的重要性,并進(jìn)行了益嘗試: Z銀行針對(duì)缺乏統(tǒng)一的客戶關(guān)系管理、信息孤島難以消除、不能跨系統(tǒng)采集、共享數(shù)據(jù)、不能處理隨機(jī)分析需求;難以獲得管理信息的統(tǒng)一視圖以及現(xiàn)有數(shù)據(jù)資源利用不夠、信息重復(fù)錄入等問(wèn)題,有針對(duì)性的提出解決策略,即通過(guò)整合架構(gòu)將信息資源從分布異構(gòu)的子業(yè)務(wù)系統(tǒng)中剝離、獲取銀行內(nèi)部信息資源的統(tǒng)一視圖,以確保信息的一致性、準(zhǔn)確性、以分析原始信息為基礎(chǔ)能獲取有關(guān)業(yè)務(wù)的洞察力用以支持決策。
國(guó)外歐美較成熟的企業(yè),也經(jīng)歷了包括“信息孤島”在內(nèi)的系列“數(shù)據(jù)處理危機(jī)”問(wèn)題。為解決這一系列問(wèn)題,業(yè)界IBM、SAP等提出的主數(shù)據(jù)管理的理念。國(guó)外企業(yè)的主數(shù)據(jù)管理工作較為典型的有:西門子醫(yī)療系統(tǒng),通過(guò)主數(shù)據(jù)管理形成了自動(dòng)化的全球綜合解決方案,主數(shù)據(jù)管理系統(tǒng)的建立促進(jìn)了企業(yè)的利潤(rùn)最大化;美國(guó)XCEL公司目標(biāo)是成為能源行業(yè)領(lǐng)袖,其業(yè)務(wù)遍布美國(guó)。為在節(jié)約業(yè)務(wù)時(shí)間、改進(jìn)業(yè)務(wù)流程、提高客戶滿意度等方面取得成效,XCEL能源公司的后臺(tái)數(shù)據(jù)庫(kù)應(yīng)用IBM的主數(shù)據(jù)管理工具進(jìn)行了整合,幫助公司消除了信息孤島、提供了企業(yè)統(tǒng)一的數(shù)據(jù)視圖、支撐了企業(yè)關(guān)鍵決策、同時(shí)還提供了業(yè)務(wù)執(zhí)行的全局?jǐn)?shù)據(jù)支撐、并為業(yè)務(wù)趨勢(shì)分析提供了可信的數(shù)據(jù)來(lái)源;AETNA公司是資產(chǎn)達(dá)199億美元的保險(xiǎn)公司,公司目標(biāo)是:“致力于為客戶提供全方位的服務(wù)同時(shí)有效控制其相關(guān)醫(yī)療成本”。該企業(yè)的具體做法是 “先于競(jìng)爭(zhēng)對(duì)手應(yīng)用主數(shù)據(jù)管理軟件將分散的信息資源集中起來(lái),并可提供一致的實(shí)時(shí)信息,以及時(shí)了解患者一系列情況。基于企業(yè)信息統(tǒng)一視圖,公司各部門之間能夠信息共享,并作出相應(yīng)決策。
當(dāng)前,國(guó)外歐美一些信息化程度較高的企業(yè)大多基于充分利用現(xiàn)有數(shù)據(jù)積累,避免重建信息系統(tǒng)對(duì)企業(yè)造成損失的雙重考慮,將公司的主數(shù)據(jù)管理技術(shù)的重點(diǎn)放在對(duì)現(xiàn)有系統(tǒng)主數(shù)據(jù)的整合與管理方面,典型的有IBM、SAP等。但是,基于現(xiàn)有系統(tǒng)建主數(shù)據(jù)管理系統(tǒng)的先天不足就在于:大量的冗余數(shù)據(jù)、標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)整合困難等。從成本效益分析來(lái)看,這種不完全的主數(shù)據(jù)管理較開(kāi)發(fā)新系統(tǒng)而言產(chǎn)生的效益更高,更易于被多數(shù)企業(yè)所認(rèn)同。
而就國(guó)內(nèi)現(xiàn)有的信息化程度來(lái)看,實(shí)施西方企業(yè)已有較為成熟主數(shù)據(jù)管理方案并非最佳選擇。但是,可以充分借鑒國(guó)外企業(yè)的經(jīng)驗(yàn)教訓(xùn),提前籌劃主數(shù)據(jù)管理問(wèn)題,在一系列信息系統(tǒng)的包袱尚未形成時(shí),實(shí)施企業(yè)主數(shù)據(jù)管理。這就需要一條適合于公司的主數(shù)據(jù)管理路線,即基于對(duì)現(xiàn)有的業(yè)務(wù)流程分析,建立主數(shù)據(jù)管理體系,減少數(shù)據(jù)冗余,避免信息孤島。
(一)業(yè)務(wù)目的
通過(guò)對(duì)現(xiàn)有信息系統(tǒng)環(huán)境進(jìn)行分析,主數(shù)據(jù)管理的目的在于解決數(shù)據(jù)冗余、數(shù)據(jù)不一致、業(yè)務(wù)低效及業(yè)務(wù)變化四個(gè)主要問(wèn)題。
數(shù)據(jù)冗余:公司每個(gè)業(yè)務(wù)部門、甚至每個(gè)系統(tǒng)、應(yīng)用都會(huì)收集其業(yè)務(wù)范圍的核心業(yè)務(wù)實(shí)體數(shù)據(jù)。典型例子:設(shè)備參數(shù)和客戶數(shù)據(jù)在企業(yè)內(nèi)各個(gè)角落都被重復(fù)記錄著。但在收集設(shè)備與客戶信息的過(guò)程中,只會(huì)產(chǎn)生少數(shù)相同或一致的結(jié)果。這將會(huì)導(dǎo)致除了存儲(chǔ)成本之外的另一嚴(yán)重的問(wèn)題——數(shù)據(jù)冗余導(dǎo)致數(shù)據(jù)質(zhì)量過(guò)差。
數(shù)據(jù)不一致:企業(yè)內(nèi)主數(shù)據(jù)不一致導(dǎo)致大量資源浪費(fèi),如時(shí)間、成本以及人力資源等。判斷企業(yè)內(nèi)客戶真實(shí)信息本身并不能增加企業(yè)利潤(rùn)。但卻會(huì)因沒(méi)有統(tǒng)一的業(yè)務(wù)口徑、標(biāo)準(zhǔn)以及存儲(chǔ)機(jī)制用來(lái)保存比對(duì)客戶數(shù)據(jù),使得對(duì)客戶數(shù)據(jù)一致處理的過(guò)程重復(fù)出現(xiàn)而增加企業(yè)的成本消耗。
業(yè)務(wù)低效:雜亂無(wú)章的主數(shù)據(jù)會(huì)產(chǎn)生業(yè)務(wù)低效問(wèn)題,如配網(wǎng)搶修管理,由于營(yíng)配貫通不到位,配搶中心值班員需要綜合幾個(gè)系統(tǒng)數(shù)據(jù)去判斷一個(gè)客戶的真正位置,這不僅是低效的,而且有可能會(huì)由于信息的不全不暢、搶修超時(shí),使客戶不滿意而投訴。企業(yè)內(nèi)的各種工作都顯示出,散亂的主數(shù)據(jù)管理嚴(yán)重降低了企業(yè)的效率。
業(yè)務(wù)變化:企業(yè)內(nèi)經(jīng)常發(fā)生各種變化,如開(kāi)展新的業(yè)務(wù)或服務(wù),組織機(jī)構(gòu)變化,新技術(shù)出現(xiàn)。這些企業(yè)內(nèi)的各種變化都會(huì)導(dǎo)致企業(yè)主數(shù)據(jù)的變化,如果沒(méi)有適用的標(biāo)準(zhǔn)來(lái)管理這些變化,企業(yè)在數(shù)據(jù)冗余、數(shù)據(jù)不一致和業(yè)務(wù)低效等問(wèn)題就會(huì)不斷加劇。
(二)技術(shù)路線
1. 需求調(diào)研
(1)業(yè)務(wù)現(xiàn)狀調(diào)研
針對(duì)公司業(yè)務(wù)現(xiàn)狀,了解業(yè)務(wù)過(guò)程中涉及到的業(yè)務(wù)實(shí)體,從數(shù)據(jù)全生命周期視角來(lái)關(guān)注業(yè)務(wù)實(shí)體的數(shù)據(jù)在業(yè)務(wù)過(guò)程中是如何產(chǎn)生、應(yīng)用和終結(jié)。例如,企業(yè)關(guān)注的客戶實(shí)體,從數(shù)據(jù)全生命周期視角來(lái)看,客戶的信息從哪個(gè)業(yè)務(wù)環(huán)節(jié)產(chǎn)生,在哪些業(yè)務(wù)環(huán)節(jié)使用,最后在什么條件下終結(jié)。
(2)業(yè)務(wù)系統(tǒng)現(xiàn)狀調(diào)研
對(duì)企業(yè)的業(yè)務(wù)流程充分了解后,再對(duì)業(yè)務(wù)系統(tǒng)現(xiàn)狀進(jìn)行梳理,分析業(yè)務(wù)實(shí)體存在于哪些系統(tǒng)中,在各業(yè)務(wù)系統(tǒng)在應(yīng)用過(guò)程中使用了業(yè)務(wù)實(shí)體的哪些屬性,這些屬性是在哪個(gè)系統(tǒng)中維護(hù)和更新。
(3)公司戰(zhàn)略與規(guī)劃調(diào)研
長(zhǎng)遠(yuǎn)來(lái)看,有必要了解公司發(fā)展戰(zhàn)略和業(yè)務(wù)規(guī)劃,分析哪些數(shù)據(jù)目前沒(méi)有、但未來(lái)可能會(huì)有共享需求,需要作為主數(shù)據(jù)進(jìn)行管理,并在建立主數(shù)據(jù)管理體系時(shí)充分考慮未來(lái)主數(shù)據(jù)可能增加屬性的需求,確保主數(shù)據(jù)模型的可擴(kuò)展性。
2. 主數(shù)據(jù)的梳理和規(guī)劃
(1)主數(shù)據(jù)梳理
在需求調(diào)研基礎(chǔ)上,將各業(yè)務(wù)系統(tǒng)中梳理出來(lái)最核心的、有共享需要的基礎(chǔ)數(shù)據(jù)納入主數(shù)據(jù)管理目錄,歸集主數(shù)據(jù)應(yīng)用屬性,形成主數(shù)據(jù)管理體系。
(2)主數(shù)據(jù)規(guī)劃
主數(shù)據(jù)管理體系形成后,將主數(shù)據(jù)劃分層級(jí)為企業(yè)級(jí)和業(yè)務(wù)級(jí)。企業(yè)級(jí)主數(shù)據(jù)為公司各部門都有共享需求的數(shù)據(jù),業(yè)務(wù)級(jí)的數(shù)據(jù)則為業(yè)務(wù)部門專用數(shù)據(jù)。
3. 主數(shù)據(jù)指標(biāo)體系
(1)主數(shù)據(jù)描述
定義各主數(shù)據(jù)具有哪些屬性,每個(gè)屬性值的口徑是什么,避免各個(gè)業(yè)務(wù)系統(tǒng)中數(shù)據(jù)口徑或定義不一致。
(2)主數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)
定義各主數(shù)據(jù)的所有屬性值的合理性規(guī)則、完整性規(guī)則及數(shù)據(jù)質(zhì)量審核流程。
(3)主數(shù)據(jù)歸屬
協(xié)調(diào)主數(shù)據(jù)歸屬,確定主數(shù)據(jù)歸口管理部門,以及主數(shù)據(jù)屬性的審核及維護(hù)部門。
(4)主數(shù)據(jù)使用標(biāo)準(zhǔn)
主數(shù)據(jù)建成后,對(duì)主數(shù)據(jù)的使用進(jìn)行規(guī)范,特別是敏感主數(shù)據(jù),如客戶私密信息,確定不同角色的主數(shù)據(jù)使用權(quán)限,以及各個(gè)系統(tǒng)之間的主數(shù)據(jù)使用接口。
(5)主數(shù)據(jù)的生命周期管理
定義每一個(gè)主數(shù)據(jù)的生命周期,明確各個(gè)主數(shù)據(jù)什么時(shí)候產(chǎn)生,以及什么情況下終結(jié)。
(三)主數(shù)據(jù)管理
1. 主數(shù)據(jù)的定義與標(biāo)準(zhǔn)化
主數(shù)據(jù)是在企業(yè)中可以共享的、數(shù)據(jù)標(biāo)準(zhǔn)一致的業(yè)務(wù)實(shí)體,是跨系統(tǒng)、跨平臺(tái)、跨應(yīng)用的基礎(chǔ)數(shù)據(jù)的權(quán)威來(lái)源。
2. 主數(shù)據(jù)的清洗和整合
集中進(jìn)行主數(shù)據(jù)的清洗和整合。通過(guò)數(shù)據(jù)治理、前后數(shù)據(jù)補(bǔ)全,得到標(biāo)準(zhǔn)的、干凈的、連續(xù)的數(shù)據(jù),供數(shù)據(jù)挖掘使用。
3. 主數(shù)據(jù)的分發(fā)與共享
以共享服務(wù)的方式把完整、統(tǒng)一、準(zhǔn)確的主數(shù)據(jù)分發(fā)給企業(yè)范圍內(nèi)需要使用數(shù)據(jù)的相關(guān)方。
4. 主數(shù)據(jù)的質(zhì)量監(jiān)測(cè)與反饋
對(duì)主數(shù)據(jù)質(zhì)量、規(guī)約符合性進(jìn)行分析和處理,對(duì)冗余、錯(cuò)誤的主數(shù)據(jù)進(jìn)行集中的重組、清洗、匹配、校驗(yàn)和修復(fù),為各個(gè)業(yè)務(wù)系統(tǒng)提供高質(zhì)量的主數(shù)據(jù)信息。
本文對(duì)國(guó)內(nèi)外企業(yè)主數(shù)據(jù)管理及應(yīng)用現(xiàn)狀進(jìn)行深入分析,結(jié)合當(dāng)前公司主數(shù)據(jù)管理實(shí)際,總結(jié)出主數(shù)據(jù)管理的業(yè)務(wù)目的,提出了主數(shù)據(jù)管理技術(shù)路線:一是需求調(diào)研,包括業(yè)務(wù)現(xiàn)狀調(diào)研、業(yè)務(wù)系統(tǒng)現(xiàn)狀調(diào)研和公司戰(zhàn)略與規(guī)劃調(diào)研;二是主數(shù)據(jù)梳理和規(guī)劃,主要有主數(shù)據(jù)梳理和主數(shù)據(jù)規(guī)劃兩部分;三是構(gòu)建主數(shù)據(jù)指標(biāo)體系,包括對(duì)主數(shù)據(jù)的描述、主數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、主數(shù)據(jù)歸屬、主數(shù)據(jù)使用標(biāo)準(zhǔn)及主數(shù)據(jù)生命周期管理。最后,討論主數(shù)據(jù)的管理,主要從主數(shù)據(jù)的清洗和豐富、主數(shù)據(jù)的分發(fā)與共享兩個(gè)方面開(kāi)展研究。
本文對(duì)公司主數(shù)據(jù)管理進(jìn)行了有益的探索,以此為基礎(chǔ),后續(xù)可對(duì)相關(guān)技術(shù)及管理方法進(jìn)一步提升:梳理更多領(lǐng)域的業(yè)務(wù)數(shù)據(jù)資源,實(shí)現(xiàn)主數(shù)據(jù)建模;加強(qiáng)主數(shù)據(jù)模型對(duì)公司數(shù)據(jù)管理的支撐作用,夯實(shí)公司數(shù)據(jù)管理工作基礎(chǔ)。
參考文獻(xiàn):
[1]黃云華,王俊彪,蔣建軍,楊賓宏.企業(yè)編碼主數(shù)據(jù)模型研究[J].制造技術(shù)與機(jī)床,2007(03).
[2]于卓桐,劉峰.主數(shù)據(jù)管理技術(shù)在高速鐵路信息化上的應(yīng)用[J].鐵路計(jì)算機(jī)應(yīng)用,2008(04).
[3]趙輝.使用元數(shù)據(jù)框架改善數(shù)據(jù)資源質(zhì)量[J].中國(guó)科技資源導(dǎo)刊,2008(02).
(作者單位:李智星、萬(wàn)磊,國(guó)網(wǎng)湖北省電力公司;舒新義、馬先俊、徐敏,國(guó)網(wǎng)湖北省電力公司鄂州供電公司)