陳亞杰,董 俊,鄭芳霖,王 洋
(中國(guó)船舶重工集團(tuán)第七〇四研究所,上海 200031)
隨著信息科技建設(shè)的深入發(fā)展,越來(lái)越多的應(yīng)用系統(tǒng)在企業(yè)中得到了應(yīng)用實(shí)施。但由于先期缺乏對(duì)數(shù)據(jù)標(biāo)準(zhǔn)、信息共享問(wèn)題的統(tǒng)籌考慮,企業(yè)數(shù)據(jù)資源通常存在于多個(gè)異構(gòu)或同構(gòu)的系統(tǒng)中,造成相關(guān)聯(lián)業(yè)務(wù)系統(tǒng)數(shù)據(jù)不同步、數(shù)據(jù)不一致和數(shù)據(jù)冗余問(wèn)題,以及數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、共享過(guò)程中不知以誰(shuí)為“主”等問(wèn)題日益凸顯,產(chǎn)生所謂的“信息孤島”。這種局面對(duì)業(yè)務(wù)部門來(lái)說(shuō),不能準(zhǔn)確測(cè)算分析各項(xiàng)目的成本利潤(rùn)數(shù)據(jù);對(duì)于決策管理方面,可能由于無(wú)法獲取經(jīng)營(yíng)管理方面的一致性信息,進(jìn)而影響領(lǐng)導(dǎo)層的最終決策。由此可見(jiàn),實(shí)現(xiàn)對(duì)企業(yè)主數(shù)據(jù)的統(tǒng)一管理,不僅僅是一個(gè)局部專業(yè)的信息化本身的問(wèn)題,它往往影響到企業(yè)生產(chǎn)經(jīng)營(yíng)過(guò)程的全局。因此,全面解決單位信息數(shù)據(jù)唯一性、精確性和完整性的問(wèn)題是企業(yè)信息化之路的重要課題。
如何理解和定義主數(shù)據(jù)?主數(shù)據(jù)可以簡(jiǎn)單通俗地描述為各應(yīng)用系統(tǒng)間共享的數(shù)據(jù),是企業(yè)內(nèi)部核心業(yè)務(wù)實(shí)體對(duì)象的數(shù)據(jù)。主數(shù)據(jù)是表示業(yè)務(wù)實(shí)體對(duì)象的基準(zhǔn)數(shù)據(jù),及其被引用的關(guān)聯(lián)屬性數(shù)據(jù),包括員工信息、客戶信息、供應(yīng)商信息和物料信息等[1]。
主數(shù)據(jù)之所以稱為主數(shù)據(jù),是由于其在企業(yè)中具有較高業(yè)務(wù)價(jià)值。作為能夠在企業(yè)單位內(nèi)跨部門共享的,并被重復(fù)利用的數(shù)據(jù)對(duì)象,主數(shù)據(jù)可以在多個(gè)異構(gòu)應(yīng)用系統(tǒng)中同時(shí)存在。因?yàn)橹鲾?shù)據(jù)在企業(yè)數(shù)據(jù)信息系統(tǒng)的重要性、對(duì)各應(yīng)用系統(tǒng)影響的廣泛性,所以必須嚴(yán)格控制主數(shù)據(jù)的時(shí)效性和準(zhǔn)確性,對(duì)主數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)更新維護(hù)尤為必要。
總的說(shuō)來(lái),主要數(shù)據(jù)有比較明顯的特征,表現(xiàn)為:
1)在業(yè)務(wù)活動(dòng)中相對(duì)“靜止”、變化緩慢的數(shù)據(jù);
2)在企業(yè)各業(yè)務(wù)系統(tǒng)中的交互共享數(shù)據(jù);3)業(yè)務(wù)交易數(shù)據(jù)的派生源頭。
主數(shù)據(jù)管理是指通過(guò)一組規(guī)則、一些技術(shù)手段和一系列解決方案的實(shí)施,確保主數(shù)據(jù)的統(tǒng)一,保證業(yè)務(wù)數(shù)據(jù)在整個(gè)企業(yè)范圍內(nèi)的唯一性、完整性、關(guān)聯(lián)性和準(zhǔn)確性。主數(shù)據(jù)管理可以通過(guò)科學(xué)的整理和整合手段,實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)協(xié)同統(tǒng)一。主數(shù)據(jù)管理幫助企業(yè)對(duì)既有數(shù)據(jù)進(jìn)行梳理、分類,并歸并冗余,從分散的業(yè)務(wù)系統(tǒng)中將最重要的、共享頻率高的業(yè)務(wù)主數(shù)據(jù),集中進(jìn)行數(shù)據(jù)清洗整理、轉(zhuǎn)換,并加以豐富,然后再將這些標(biāo)準(zhǔn)、準(zhǔn)確、完整的主數(shù)據(jù)反饋分發(fā)到各應(yīng)用系統(tǒng)。
主數(shù)據(jù)管理的實(shí)現(xiàn),關(guān)鍵在于“管理”。主數(shù)據(jù)管理提供了一種提煉、共享主數(shù)據(jù)的方法,使企業(yè)能夠?qū)Ψ稚⒋鎯?chǔ)在各應(yīng)用系統(tǒng)中的數(shù)據(jù)進(jìn)行有效管理。通過(guò)有效的主數(shù)據(jù)管理,可以建立一個(gè)企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn),通過(guò)加強(qiáng)對(duì)各業(yè)務(wù)系統(tǒng)中比較共性的數(shù)據(jù)實(shí)體和模型進(jìn)行管理,避免因業(yè)務(wù)概念出現(xiàn)較大偏差造成的數(shù)據(jù)信息謬誤,從而降低企業(yè)內(nèi)信息孤島出現(xiàn)的幾率,確保各應(yīng)用系統(tǒng)之間能實(shí)現(xiàn)數(shù)據(jù)的邏輯關(guān)聯(lián)和共享。進(jìn)而更有效的加強(qiáng)各系統(tǒng)在企業(yè)層面的互動(dòng),在提高數(shù)據(jù)質(zhì)量、信息集成的同時(shí),提高企業(yè)的運(yùn)營(yíng)效益。
實(shí)現(xiàn)主數(shù)據(jù)管理的重要意義在于:
1)從企業(yè)業(yè)務(wù)層面來(lái)看,企業(yè)搭建了一個(gè)擁有統(tǒng)一訪問(wèn)接口的主數(shù)據(jù)規(guī)則庫(kù);擁有集中統(tǒng)一的、準(zhǔn)確干凈的集成數(shù)據(jù)中心;為企業(yè)各業(yè)務(wù)部門提供一致完整的、可信賴的共享數(shù)據(jù)信息交互平臺(tái);廣義上講,也為業(yè)務(wù)管理和經(jīng)營(yíng)決策層提供了可靠的支撐載體。
2)從IT建設(shè)層面來(lái)看,實(shí)現(xiàn)主數(shù)據(jù)管理,構(gòu)建覆蓋全企業(yè)的數(shù)據(jù)管理基礎(chǔ)和相應(yīng)的數(shù)據(jù)管理規(guī)范,增強(qiáng)了IT架構(gòu)的靈活性,有助于實(shí)時(shí)應(yīng)對(duì)企業(yè)業(yè)務(wù)需求的變化,同時(shí)在一定程度上降低數(shù)據(jù)接口成本和管理維護(hù)成本。
圖1 主數(shù)據(jù)信息流交換原理
以某企業(yè)系統(tǒng)架構(gòu)中主數(shù)據(jù)管理為例,主數(shù)據(jù)和各應(yīng)用系統(tǒng)之間信息流交換流向及原理見(jiàn)圖1,主要包括以下四個(gè)過(guò)程:
1)業(yè)務(wù)系統(tǒng)數(shù)據(jù)信息的變更觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的變更;
2)主數(shù)據(jù)管理系統(tǒng)將整合后統(tǒng)一、完整、精確的主數(shù)據(jù)反饋給所有關(guān)聯(lián)應(yīng)用系統(tǒng)(不僅是業(yè)務(wù)數(shù)據(jù)改變的系統(tǒng));
3)主數(shù)據(jù)管理系統(tǒng)通過(guò)創(chuàng)建數(shù)據(jù)字典實(shí)現(xiàn)對(duì)企業(yè)數(shù)據(jù)集成的要素定義;
4)主數(shù)據(jù)管理系統(tǒng)為整個(gè)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供準(zhǔn)確有效的信息依據(jù)。
目前,業(yè)界市場(chǎng)已經(jīng)涌現(xiàn)出一些成熟的主數(shù)據(jù)管理軟件產(chǎn)品,如Oracle MDM、SAP MDM主數(shù)據(jù)管理組件、IBM WebSphere的數(shù)據(jù)整合平臺(tái)等,這些產(chǎn)品提供從咨詢、建設(shè)、實(shí)施到培訓(xùn)等一系列服務(wù),一定程度上為某些企業(yè)提供了主數(shù)據(jù)管理解決方案[2]。但是這些成熟的企業(yè)軟件或組件并不能完全滿足國(guó)內(nèi)各類企業(yè)的具體業(yè)務(wù)需求,而且這些組件的實(shí)施需要很多其他軟件的支撐,價(jià)格昂貴、實(shí)現(xiàn)周期長(zhǎng)。
因此,如何根據(jù)自身企業(yè)的業(yè)務(wù)需求和當(dāng)前業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)現(xiàn)狀,研究一套符合企業(yè)特色的主數(shù)據(jù)管理解決方案顯得尤為重要。
通過(guò)研究國(guó)內(nèi)外主數(shù)據(jù)管理產(chǎn)品,不難發(fā)現(xiàn)當(dāng)前的主數(shù)據(jù)管理(MDM)產(chǎn)品主要功能大同小異,基本上都是進(jìn)行數(shù)據(jù)分析、清理、整合、再進(jìn)行發(fā)布利用。這也是本文探索適合自身企業(yè)的主數(shù)據(jù)管理解決方案時(shí),可以沿用的一個(gè)思路。
1)數(shù)據(jù)信息不完整:例如,工號(hào)位數(shù)不標(biāo)準(zhǔn),部分姓名前后有空格,歷時(shí)數(shù)據(jù)保留期限不一致等;
2)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)數(shù)據(jù)不同步:某員工工號(hào)在一個(gè)系統(tǒng)已刪除,另一個(gè)系統(tǒng)還保留;
3)數(shù)據(jù)冗余:例如一個(gè)員工在系統(tǒng)中以拼音和工號(hào)為員工ID分別進(jìn)入了系統(tǒng),產(chǎn)生同一員工的重復(fù)記錄。
由于數(shù)據(jù)源存于異構(gòu)應(yīng)用系統(tǒng)中,沒(méi)有建立數(shù)據(jù)的統(tǒng)一服務(wù)機(jī)制,數(shù)據(jù)更新沒(méi)有實(shí)時(shí)聯(lián)動(dòng),也沒(méi)有數(shù)據(jù)的清洗、去重機(jī)制,造成越來(lái)越多的數(shù)據(jù)錯(cuò)誤。
1)分析企業(yè)業(yè)務(wù)主數(shù)據(jù)來(lái)源,初步整理:了解分析主數(shù)據(jù)的來(lái)源和現(xiàn)狀,產(chǎn)生不同數(shù)據(jù)源和應(yīng)用環(huán)境下的數(shù)據(jù)集成的方案,獲取業(yè)務(wù)主數(shù)據(jù)源;分析探究數(shù)據(jù)內(nèi)容、結(jié)構(gòu)的合理性,分析關(guān)聯(lián)數(shù)據(jù)的沖突和問(wèn)題,對(duì)各應(yīng)用系統(tǒng)的相同數(shù)據(jù)條目進(jìn)行識(shí)別、去重、整合,形成初步的主數(shù)據(jù)。
2)建立企業(yè)主數(shù)據(jù)編碼規(guī)范和數(shù)據(jù)字典:數(shù)據(jù)集成是企業(yè)應(yīng)用系統(tǒng)集成的基礎(chǔ),對(duì)信息實(shí)統(tǒng)一標(biāo)識(shí)是數(shù)據(jù)集成的前提。依據(jù)穩(wěn)定性和完備性、繼承性和擴(kuò)展性的原則構(gòu)造信息編碼結(jié)構(gòu)[3],通過(guò)信息編碼來(lái)消除數(shù)據(jù)冗余。通過(guò)比對(duì)數(shù)據(jù)項(xiàng)的幾個(gè)關(guān)鍵屬性是否已經(jīng)存在于主數(shù)據(jù)中,沒(méi)有則視為全新數(shù)據(jù),并為全新的數(shù)據(jù)項(xiàng)賦予按照預(yù)定義規(guī)則產(chǎn)生的唯一標(biāo)識(shí)。建立統(tǒng)一的數(shù)據(jù)字典,建立標(biāo)準(zhǔn)的數(shù)據(jù)編碼體系,構(gòu)建企業(yè)編碼數(shù)據(jù)庫(kù),從而形成企業(yè)的基礎(chǔ)數(shù)據(jù)平臺(tái),為應(yīng)用系統(tǒng)數(shù)據(jù)集成提供更有效的前提。
3)建立企業(yè)業(yè)務(wù)主數(shù)據(jù)模型:建立適合本企業(yè)應(yīng)用管理模式的MDM業(yè)務(wù)及數(shù)據(jù)模型,可以更方便有效地適應(yīng)各種需求變化的挑戰(zhàn),數(shù)據(jù)建模也是大多數(shù)成熟的企業(yè)信息化管理的必經(jīng)之路。
4)數(shù)據(jù)一致性比對(duì)整理:對(duì)于各系統(tǒng)的數(shù)據(jù)出現(xiàn)不一致的定義及使用方式時(shí),需要解決錯(cuò)誤和矛盾之處,形成映射關(guān)系表,創(chuàng)建正確、完整的主數(shù)據(jù)系統(tǒng)。
5)主數(shù)據(jù)的發(fā)布和使用:通過(guò)歸納整理,對(duì)企業(yè)各業(yè)務(wù)管理的主數(shù)據(jù)形成唯一的數(shù)據(jù)庫(kù),數(shù)據(jù)來(lái)源唯一,通過(guò)企業(yè)SOA架構(gòu)將之發(fā)布為WebService服務(wù),以供企業(yè)其他需要使用這些數(shù)據(jù)的業(yè)務(wù)系統(tǒng)調(diào)用。數(shù)據(jù)使用者對(duì)主數(shù)據(jù)中的元數(shù)據(jù)部分只能進(jìn)行讀取查看操作,對(duì)其擴(kuò)展屬性可增加和修改,但所有數(shù)據(jù)的來(lái)源必須保證是唯一的。
以上五個(gè)步驟是一個(gè)循環(huán)往復(fù)的過(guò)程,主數(shù)據(jù)管理對(duì)數(shù)據(jù)治理的過(guò)程貫穿于整個(gè)生命周期,不斷地識(shí)別、整理、整合形成準(zhǔn)確、統(tǒng)一、完備的主數(shù)據(jù)共享給每個(gè)應(yīng)用系統(tǒng)。
本文主要闡述了主數(shù)據(jù)和主數(shù)據(jù)管理的定義及分析,并對(duì)其解決方案提出了探索思路。主數(shù)據(jù)管理不是一次性工程,而是一個(gè)持續(xù)性項(xiàng)目,需要分階段、分步驟開(kāi)展工作。而科研院所的主數(shù)據(jù)管理更是處于一個(gè)探索的初級(jí)階段,有待于各方面包括業(yè)務(wù)數(shù)據(jù)的整合、提煉和工具軟件的引進(jìn)相結(jié)合等等,這些工作循序漸進(jìn)地開(kāi)展,建立完善的主數(shù)據(jù)管理是一個(gè)任重道遠(yuǎn)的長(zhǎng)期項(xiàng)目,需要持續(xù)地探索前進(jìn)。
[1]王波, 陳德焜, 史亞貝.通過(guò)標(biāo)準(zhǔn)化主數(shù)據(jù)實(shí)現(xiàn)高校數(shù)據(jù)交換[J].管理技術(shù),2008.
[2]李檬, 王其昊, 王璐.國(guó)家電網(wǎng)公司物資主數(shù)據(jù)實(shí)施的方法論[J].企業(yè)技術(shù)開(kāi)發(fā),2012(32).
[3]黃云華.企業(yè)編碼主數(shù)據(jù)模型研究[J].制造技術(shù)與機(jī)床,2007(3).