張曉輝

摘要：該文對(duì)企業(yè)主數(shù)據(jù)概念、主數(shù)據(jù)管理的必要性進(jìn)行了介紹，對(duì)主數(shù)據(jù)系統(tǒng)搭建模式進(jìn)行分析，通過實(shí)踐對(duì)企業(yè)主數(shù)據(jù)系統(tǒng)搭建的基礎(chǔ)環(huán)節(jié)進(jìn)行了研究和探討。

關(guān)鍵詞：企業(yè)主數(shù)據(jù)；實(shí)現(xiàn)模式；數(shù)據(jù)推送

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）18-0011-02

1.企業(yè)主數(shù)據(jù)的背景

隨著電子化辦公的深入和計(jì)算機(jī)技術(shù)的發(fā)展，企業(yè)信息化建設(shè)越來越為重要。對(duì)于大型企業(yè)來說，通常需要使用多個(gè)系統(tǒng)，如人力資源系統(tǒng)、業(yè)務(wù)采購系統(tǒng)、財(cái)務(wù)系統(tǒng)等，且系統(tǒng)間不乏相關(guān)性。然而，這些系統(tǒng)往往是在不同時(shí)期逐步建設(shè)完成的，在系統(tǒng)架構(gòu)及平臺(tái)上，相互之間沒有太多的關(guān)聯(lián)，數(shù)據(jù)規(guī)范自成體系且獨(dú)立存儲(chǔ)，不僅形成數(shù)據(jù)孤島，且往往存在大量的數(shù)據(jù)冗余。由于系統(tǒng)間業(yè)務(wù)實(shí)體存在交叉，在進(jìn)行企業(yè)級(jí)數(shù)據(jù)統(tǒng)計(jì)分析時(shí)，需要綜合調(diào)用各系統(tǒng)的數(shù)據(jù)，這時(shí)企業(yè)主數(shù)據(jù)系統(tǒng)的建立尤為重要。

企業(yè)主數(shù)據(jù)是指在整個(gè)企業(yè)范圍內(nèi)所有系統(tǒng)（操作/事務(wù)型應(yīng)用系統(tǒng)以及統(tǒng)計(jì)/分析型系統(tǒng)）間要共享的數(shù)據(jù)，它是具有高業(yè)務(wù)價(jià)值的、可以在企業(yè)內(nèi)跨越各個(gè)業(yè)務(wù)部門被重復(fù)使用的數(shù)據(jù)，并且存在于多個(gè)異構(gòu)的應(yīng)用系統(tǒng)中。如客戶、員工信息以及企業(yè)經(jīng)營主體相關(guān)的數(shù)據(jù)。主數(shù)據(jù)需要在整個(gè)企業(yè)范圍內(nèi)保持一致性、完整性、可控性，為了達(dá)成這一目標(biāo)，就需要進(jìn)行主數(shù)據(jù)管理。本文將以航運(yùn)企業(yè)常見的三個(gè)基礎(chǔ)系統(tǒng)（財(cái)務(wù)管理系統(tǒng)、經(jīng)營管理系統(tǒng)、船舶管理系統(tǒng)，以下稱業(yè)務(wù)系統(tǒng)）為例，對(duì)主數(shù)據(jù)管理的概念和基礎(chǔ)解決方案進(jìn)行介紹。

2.主數(shù)據(jù)的選定與清洗

主數(shù)據(jù)并不是企業(yè)所有的數(shù)據(jù)，而是穩(wěn)定高、各系統(tǒng)使用頻率高的高價(jià)值數(shù)據(jù)，其特點(diǎn)是基于業(yè)務(wù)、生命周期長、跨系統(tǒng)使用。比如大部分的交易數(shù)據(jù)、帳單數(shù)據(jù)等都不是主數(shù)據(jù)，而像描述核心業(yè)務(wù)實(shí)體的數(shù)據(jù)，如客戶、供應(yīng)商、帳戶等是主數(shù)據(jù)。根據(jù)這一原則我們將三大業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)梳理如下：

1）財(cái)務(wù)管理系統(tǒng)，負(fù)責(zé)船舶相關(guān)的各種費(fèi)用的收付款等。主數(shù)據(jù)為：收款人、付款人、船舶、港口。

2）經(jīng)營管理系統(tǒng)，負(fù)責(zé)船舶租賃經(jīng)營，調(diào)度指揮等。主數(shù)據(jù)為：船舶、港口、租家、船東、代理。

3）船舶管理系統(tǒng)，負(fù)責(zé)船舶硬件維護(hù)，動(dòng)態(tài)監(jiān)控等。主數(shù)據(jù)為：船舶，港口，供應(yīng)商，代理。

對(duì)上述三個(gè)系統(tǒng)中主數(shù)據(jù)進(jìn)一步清洗，可以分為三類：船舶、港口、客戶（收款人、付款人、租家、船東、代理、供應(yīng)商）。

主數(shù)據(jù)的主體確定后，我們還需要對(duì)主數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化。在財(cái)務(wù)系統(tǒng)中，必須嚴(yán)格按照銀行流水單進(jìn)行錄入，但實(shí)際業(yè)務(wù)中經(jīng)常出現(xiàn)同一客戶不同名稱的情況，這些名稱區(qū)別可能僅為一個(gè)空格或一個(gè)字母。如經(jīng)營管理系統(tǒng)中租家為“XXXXCo.，Ltd.”，在財(cái)務(wù)系統(tǒng)中付款人為“XXXX Co.，Ltd”，二者區(qū)別為一個(gè)“.”，它們實(shí)際上為同一個(gè)客戶。為了實(shí)現(xiàn)二者的統(tǒng)一，我們?cè)谥鲾?shù)據(jù)中建立兩個(gè)客戶，然后通過“組”的概念，對(duì)其進(jìn)行標(biāo)準(zhǔn)化歸類，將同一實(shí)體的多個(gè)客戶歸為同一組，這樣我們?cè)诓樵?、統(tǒng)計(jì)時(shí)通過組代碼將多個(gè)客戶進(jìn)行關(guān)聯(lián)。

3.主數(shù)據(jù)的管理和分工

主數(shù)據(jù)的管理不是單純的技術(shù)問題，在企業(yè)內(nèi)部貫徹實(shí)施統(tǒng)一的標(biāo)準(zhǔn)，需要愿景、制度、IT等全方位的配合，也就是說，主數(shù)據(jù)管理實(shí)質(zhì)上是一個(gè)企業(yè)管理問題。所以，為主數(shù)據(jù)管理而建立的獨(dú)立信息平臺(tái)，最好由業(yè)務(wù)方面的高層來負(fù)責(zé)，而不是IT部門負(fù)責(zé)人。單靠一個(gè)系統(tǒng)，一種技術(shù)無法有效的實(shí)現(xiàn)主數(shù)據(jù)的管理，企業(yè)內(nèi)各部門之間的合理分工與高效協(xié)調(diào)才是主數(shù)據(jù)管理的根本前提。鑒于主數(shù)據(jù)的重要性，在系統(tǒng)外應(yīng)遵循如下原則：

1）主數(shù)據(jù)應(yīng)保證在企業(yè)內(nèi)部具有唯一性和準(zhǔn)確性，因此主數(shù)據(jù)的新建和變更應(yīng)由專職的崗位負(fù)責(zé)，維護(hù)人員應(yīng)對(duì)相關(guān)的主數(shù)據(jù)非常熟悉并且具有權(quán)威性，如船舶主數(shù)據(jù)由船舶管理部門維護(hù)，港口主數(shù)據(jù)由運(yùn)營調(diào)度部門維護(hù)，客戶主數(shù)據(jù)由市場(chǎng)調(diào)研部門維護(hù)。

2）主數(shù)據(jù)維護(hù)應(yīng)有嚴(yán)格的流程。當(dāng)某個(gè)業(yè)務(wù)系統(tǒng)觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的改動(dòng)時(shí)，首先將申請(qǐng)?zhí)峤恢林鲾?shù)據(jù)維護(hù)人員，由其對(duì)已有主數(shù)據(jù)庫進(jìn)行檢索，確認(rèn)不存在時(shí)方可進(jìn)行增加，添加前要進(jìn)行清洗和提煉，以保證主數(shù)據(jù)的準(zhǔn)確性。

3）主數(shù)據(jù)維護(hù)應(yīng)保證及時(shí)性和穩(wěn)定性。在主數(shù)據(jù)維護(hù)后應(yīng)在企業(yè)內(nèi)部將整合之后完整、準(zhǔn)確的主數(shù)據(jù)以通知或公告等形式及時(shí)分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng)使用人員。各業(yè)務(wù)系統(tǒng)參照主數(shù)據(jù)規(guī)則嚴(yán)格執(zhí)行，必要時(shí)應(yīng)對(duì)自己系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)進(jìn)行適當(dāng)調(diào)整。

4.主數(shù)據(jù)管理的系統(tǒng)實(shí)現(xiàn)

4.1搭建模式選擇

在需求及分工確定后，主數(shù)據(jù)管理最終需要通過計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)，也就是搭建企業(yè)主數(shù)據(jù)管理系統(tǒng)。建設(shè)主數(shù)據(jù)管理系統(tǒng)時(shí)，應(yīng)根據(jù)企業(yè)內(nèi)部現(xiàn)有業(yè)務(wù)系統(tǒng)的實(shí)際情況選擇適合的搭建模式。目前常見的模式有四種：注冊(cè)模式、合并模式、共存模式、集中模式。在系統(tǒng)實(shí)施過程中這四種模式并不是獨(dú)立存在的，往往是多種模式的一個(gè)組合，通過SOA服務(wù)方式，將主數(shù)據(jù)管理信息服務(wù)化，供不同業(yè)務(wù)系統(tǒng)使用。這里重點(diǎn)介紹一下最常用的共存模式和集中模式。

共存模式是指業(yè)務(wù)系統(tǒng)中都存儲(chǔ)各自所需的主數(shù)據(jù)，各業(yè)務(wù)系統(tǒng)使用時(shí)，直接使用本地的主數(shù)據(jù)。主數(shù)據(jù)發(fā)生變更后，主數(shù)據(jù)系統(tǒng)需要及時(shí)更新業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。共存模式主要特點(diǎn)為：1）對(duì)現(xiàn)有系統(tǒng)影響較小，直接使用原業(yè)務(wù)系統(tǒng)的數(shù)據(jù)維護(hù)功能，界面開發(fā)成本低；2）主數(shù)據(jù)存儲(chǔ)在業(yè)務(wù)系統(tǒng)本地，調(diào)用速度快，系統(tǒng)性能高。需要注意的是必須做好主數(shù)據(jù)來源系統(tǒng)之間的界面分工，防止多個(gè)系統(tǒng)對(duì)同一類型的數(shù)據(jù)進(jìn)行修改，引發(fā)數(shù)據(jù)不一致問題。

一般來講，在業(yè)務(wù)系統(tǒng)比較成熟且系統(tǒng)數(shù)量不多的情況下，建設(shè)主數(shù)據(jù)系統(tǒng)時(shí)比較適合共享模式。

集中模式是指主數(shù)據(jù)統(tǒng)一在主數(shù)據(jù)管理系統(tǒng)中維護(hù)，各業(yè)務(wù)系統(tǒng)不保留本地備份，當(dāng)使用主數(shù)據(jù)時(shí)，直接到主數(shù)據(jù)系統(tǒng)查詢并獲取所需信息。從管理上來講，如果所有主數(shù)據(jù)都是在一個(gè)系統(tǒng)中產(chǎn)生和管理、且數(shù)據(jù)變更后能實(shí)時(shí)同步到其它系統(tǒng)的，都可認(rèn)為是集中模式。集中模式的主要特為：1）主數(shù)據(jù)的產(chǎn)生和更新在同一系統(tǒng)中，減少了維護(hù)成本；2）當(dāng)主數(shù)據(jù)更新時(shí)，能實(shí)時(shí)更新各系統(tǒng)中的相應(yīng)數(shù)據(jù)。其主要劣勢(shì)是對(duì)于現(xiàn)有業(yè)務(wù)系統(tǒng)改造工作量較大，實(shí)施成本高，而且業(yè)務(wù)系統(tǒng)間實(shí)時(shí)訪問主數(shù)據(jù)庫，系統(tǒng)性能可能受到影響。

一般來講，在企業(yè)信息化建設(shè)初期，適合搭建集中模式主數(shù)據(jù)管理系統(tǒng)，業(yè)務(wù)系統(tǒng)圍繞主數(shù)據(jù)系統(tǒng)以星型結(jié)構(gòu)進(jìn)行擴(kuò)展，可從源頭上保證企業(yè)主數(shù)據(jù)的一致性和準(zhǔn)確性。

4.2實(shí)現(xiàn)實(shí)例

鑒于某航運(yùn)公司的三個(gè)業(yè)務(wù)系統(tǒng)都比較成熟，且操作用戶沒有交叉，我們選擇共享模式實(shí)現(xiàn)主數(shù)據(jù)管理。主數(shù)據(jù)存儲(chǔ)在單獨(dú)的數(shù)據(jù)庫，在主數(shù)據(jù)庫與三個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫之間分別開發(fā)獨(dú)立的接口，用于實(shí)現(xiàn)數(shù)據(jù)同步。

在數(shù)據(jù)同步方式上，根據(jù)業(yè)務(wù)系統(tǒng)對(duì)及時(shí)陛的要求，分別采取主動(dòng)推送、自動(dòng)抓取、推送和抓取相結(jié)合三種方式。以客戶主數(shù)據(jù)為例，生產(chǎn)管理系統(tǒng)負(fù)責(zé)主數(shù)據(jù)維護(hù)，財(cái)務(wù)系統(tǒng)使用且及時(shí)性要求高，船舶管理系統(tǒng)使用但及時(shí)性要求低。因此，市場(chǎng)部用戶在生產(chǎn)管理系統(tǒng)中維護(hù)客戶主數(shù)據(jù)后，通過接口立即將數(shù)據(jù)主動(dòng)推送到主數(shù)據(jù)庫。主數(shù)據(jù)庫收到數(shù)據(jù)變更后，首先在本地進(jìn)行存儲(chǔ)，然后通過觸發(fā)器將客戶數(shù)據(jù)推送到財(cái)務(wù)系統(tǒng)，以便其可立即使用。在主數(shù)據(jù)系統(tǒng)中建立定時(shí)任務(wù)，在船舶管理系統(tǒng)使用負(fù)荷低的時(shí)間段（每天中午12：00和晚上23：00）執(zhí)行數(shù)據(jù)推送任務(wù)，同時(shí)船舶管理系統(tǒng)中設(shè)置抓取接口，用戶觸發(fā)時(shí)可立即從主數(shù)據(jù)系統(tǒng)中抽取一次最新數(shù)據(jù)。

數(shù)據(jù)庫備份和容災(zāi)是主數(shù)據(jù)管理系統(tǒng)建設(shè)非常重要的部分，為此我們采用了實(shí)時(shí)備份和定期備份相結(jié)合的方式，通過CDC技術(shù)進(jìn)行實(shí)時(shí)備份，同時(shí)在每晚22：00執(zhí)行定時(shí)任務(wù)進(jìn)行一次完整備份，并將備份文件進(jìn)行保存。

5.結(jié)束語

主數(shù)據(jù)管理使企業(yè)能夠集中化管理數(shù)據(jù)，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)間基礎(chǔ)數(shù)據(jù)的統(tǒng)一，改進(jìn)數(shù)據(jù)規(guī)范性，減少了跨系統(tǒng)的數(shù)據(jù)變換、轉(zhuǎn)移所需的成本和時(shí)間，降低了數(shù)據(jù)冗余度，使各系統(tǒng)有機(jī)地聯(lián)接在一起，提高了企業(yè)信息化水平。

通過主數(shù)據(jù)的歸類和固化，企業(yè)在統(tǒng)計(jì)客戶成交、客戶貢獻(xiàn)值、年度盈虧等各種經(jīng)營數(shù)據(jù)時(shí)，能夠大大提高統(tǒng)計(jì)效率和數(shù)據(jù)的準(zhǔn)確性，為企業(yè)決策提供強(qiáng)有力的數(shù)據(jù)支持。從長遠(yuǎn)看，主數(shù)據(jù)管理系統(tǒng)對(duì)未來新業(yè)務(wù)系統(tǒng)的建設(shè)打造了高標(biāo)準(zhǔn)的數(shù)據(jù)平臺(tái)，為數(shù)據(jù)倉庫和BI系統(tǒng)建設(shè)奠定了基礎(chǔ)。