付國寶, 宋興云, 趙仁宏

中遠(yuǎn)海運(yùn)科技股份有限公司, 上海 200135)

0 引 言

近年來,互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、人工智能和區(qū)塊鏈等技術(shù)得到了迅速發(fā)展,并逐漸融入到了經(jīng)濟(jì)社會發(fā)展的各個領(lǐng)域中,數(shù)字經(jīng)濟(jì)發(fā)展速度之快、輻射范圍之廣、影響程度之深前所未有,正在成為重組全球要素資源、重塑全球經(jīng)濟(jì)結(jié)構(gòu)和改變?nèi)蚋偁幐窬值年P(guān)鍵力量[1]。加快數(shù)字化發(fā)展,建設(shè)數(shù)字中國,是順應(yīng)新發(fā)展階段的形勢變化,搶抓信息革命機(jī)遇,構(gòu)筑國家競爭新優(yōu)勢,加快建成社會主義現(xiàn)代化強(qiáng)國的內(nèi)在要求,是貫徹新發(fā)展理念,推動社會高質(zhì)量發(fā)展的戰(zhàn)略舉措,是推動構(gòu)建新發(fā)展格局,建設(shè)現(xiàn)代化經(jīng)濟(jì)體系的必由之路[2]。

面對數(shù)字經(jīng)濟(jì)的新機(jī)遇、新挑戰(zhàn),能否通過數(shù)據(jù)驅(qū)動業(yè)務(wù)獲得更好的用戶體驗和更高的組織效能決定著企業(yè)的未來(不僅僅是利潤問題),能否快速應(yīng)對市場變化決定著企業(yè)的生死,因此企業(yè)數(shù)字化轉(zhuǎn)型勢在必行。

本文結(jié)合某企業(yè)的數(shù)字化轉(zhuǎn)型需求,從企業(yè)數(shù)字化場景入手,以數(shù)據(jù)中臺的理念為基礎(chǔ),設(shè)計一種基于中臺技術(shù)的數(shù)據(jù)治理解決方案,通過該方案打通企業(yè)的數(shù)據(jù)壁壘,形成企業(yè)數(shù)據(jù)資產(chǎn),實現(xiàn)企業(yè)高效化服務(wù)、精準(zhǔn)化治理和數(shù)字化決策,提升企業(yè)的經(jīng)營管理水平。

1 問題的提出

案例企業(yè)是一家以信息化項目建設(shè)、產(chǎn)品開發(fā)和運(yùn)營服務(wù)為主要業(yè)務(wù)的高科技企業(yè)。隨著信息技術(shù)的不斷發(fā)展,該企業(yè)以管理的信息化和規(guī)范化為目標(biāo),以行政辦公、運(yùn)營、生產(chǎn)、質(zhì)量和安全等各類信息化系統(tǒng)的建設(shè)和運(yùn)維為主營業(yè)務(wù),基本上實現(xiàn)了業(yè)務(wù)流程的線上化,提升了企業(yè)的經(jīng)營管理水平和工作效率。但是,面對數(shù)字化轉(zhuǎn)型的挑戰(zhàn),當(dāng)前該企業(yè)仍面臨以下問題:

1) 各系統(tǒng)由不同的業(yè)務(wù)部門基于各自的管理需求獨(dú)立建設(shè),企業(yè)經(jīng)營管理的業(yè)務(wù)數(shù)據(jù)散落在各系統(tǒng)中,未進(jìn)行整合,形成了信息孤島,企業(yè)數(shù)據(jù)的價值未得到最大化體現(xiàn);

2) 各系統(tǒng)是在不同時期開發(fā)的,采用的技術(shù)方案不同,且基于獨(dú)立的技術(shù)平臺和數(shù)據(jù)庫運(yùn)行,系統(tǒng)間數(shù)據(jù)共享和對接的難度較大,嚴(yán)重阻礙了企業(yè)數(shù)據(jù)的共享;

3) 業(yè)務(wù)的不斷發(fā)展使得各系統(tǒng)頻繁升級,造成數(shù)據(jù)加工、整合和應(yīng)用等鏈條中經(jīng)常出現(xiàn)異常數(shù)據(jù),嚴(yán)重影響數(shù)據(jù)的準(zhǔn)確性;

4) 各系統(tǒng)以PC(Personal Computer)端操作為主,移動端應(yīng)用不足,嚴(yán)重影響了數(shù)據(jù)的及時性和決策效率。

2 數(shù)字化場景的定義

案例企業(yè)從經(jīng)營決策數(shù)據(jù)的準(zhǔn)確性和及時性、各系統(tǒng)的數(shù)據(jù)共享和企業(yè)的運(yùn)行效率等方面入手,提出數(shù)字化運(yùn)營、數(shù)字化作業(yè)、數(shù)字化交易和數(shù)字化辦公等4個場景,聚焦主業(yè)賦能和員工賦能,實現(xiàn)企業(yè)管理上的數(shù)據(jù)驅(qū)動、高效協(xié)同和智能決策。數(shù)字化場景業(yè)務(wù)圖見圖1。

圖1 數(shù)字化場景業(yè)務(wù)圖

2.1 數(shù)字化運(yùn)營

以企業(yè)關(guān)鍵績效指標(biāo)(Key Performance Indicator,KPI)考核為切入點(diǎn),面向企業(yè)的高層領(lǐng)導(dǎo)和管理層,以運(yùn)營、采購、項目、科技和生產(chǎn)安全等場景的管理考核為視角,全面提升運(yùn)營管理的數(shù)字化水平。

1) 企業(yè)概覽:面向高層領(lǐng)導(dǎo),通過對各類核心指標(biāo)進(jìn)行延展分析,幫助高層領(lǐng)導(dǎo)快速直觀地掌握各業(yè)務(wù)板塊的發(fā)展現(xiàn)狀和企業(yè)的總體科研情況,進(jìn)行偏差分析。

2) 運(yùn)營管理主題分析:面向管理層,對年度KPI考核的進(jìn)度進(jìn)行展示和偏差分析,并對各指標(biāo)進(jìn)行相關(guān)的輔助分析。

3) 采購管理主題分析:面向管理層,通過對采購KPI、采購效益、采購進(jìn)度、供應(yīng)商、采購品類和采購支付進(jìn)行全面監(jiān)控和分析,幫助管理層實時、全面、直觀地掌握企業(yè)的采購現(xiàn)狀,有效提升采購效率,挖掘優(yōu)質(zhì)供應(yīng)商資源。

4) 項目管理主題分析:面向高層領(lǐng)導(dǎo)及相關(guān)管理人員、事業(yè)部領(lǐng)導(dǎo)和項目經(jīng)理等,根據(jù)項目總體情況和單個項目的具體情況,向相關(guān)使用人員提供宏觀和微觀層面的輔助分析。

5) 科技管理主題分析:面向管理層,通過對科研成果進(jìn)行多維分析,便于管理者更快速、更有針對性地根據(jù)科技管理運(yùn)行現(xiàn)狀調(diào)整偏差,規(guī)劃未來。

6) 生產(chǎn)安全主題分析:面向管理層,通過對隱患監(jiān)控、安全風(fēng)險監(jiān)控、公告及應(yīng)急管理等安全管控重點(diǎn)環(huán)節(jié)進(jìn)行全面監(jiān)管和分析,幫助管理者直觀、全面地掌握安全生產(chǎn)風(fēng)險、隱患現(xiàn)狀和安全管控效果。

2.2 數(shù)字化作業(yè)

圍繞企業(yè)產(chǎn)品生產(chǎn)、項目實施、IT(Internet Technology)項目開發(fā)與運(yùn)維和生產(chǎn)安全等日常作業(yè)場景,以員工操作和資源管控等作業(yè)場景為視角,通過標(biāo)準(zhǔn)化、信息化和數(shù)字化手段逐步提升企業(yè)的數(shù)字化作業(yè)效能。

1) 項目助手:建設(shè)項目管理移動助手,幫助項目經(jīng)理隨時隨地、及時準(zhǔn)確地查看項目的運(yùn)行和收支情況,跟蹤審批進(jìn)度,實現(xiàn)項目進(jìn)度和各類工作匯報的自動化、智能化填報,實現(xiàn)項目現(xiàn)場與企業(yè)本部管理的信息共享和高效協(xié)同。

2) 生產(chǎn)安全助手:建立生產(chǎn)安全移動助手,完成生產(chǎn)安全在線檢查和上報,同時為生產(chǎn)安全主題分析提供數(shù)據(jù)源,實現(xiàn)生產(chǎn)安全主題分析。

3) 物業(yè)租賃管理系統(tǒng):基于企業(yè)管理系統(tǒng),圍繞物業(yè)資源、客戶資源、財務(wù)管理和經(jīng)營管理等4個基本功能模塊開展物業(yè)信息化建設(shè),解決物業(yè)板塊流程管理與業(yè)務(wù)管理相分割、數(shù)據(jù)重復(fù)錄入、管控缺乏唯一性和管理功能不健全等問題。

2.3 數(shù)字化交易

圍繞企業(yè)的市場經(jīng)營戰(zhàn)略,持續(xù)完善企業(yè)的管理流程,將企業(yè)交易數(shù)據(jù)與第三方數(shù)據(jù)融合,以客戶、供應(yīng)商、項目和商機(jī)等交易場景為視角,全面提升市場經(jīng)營全生命周期的自動化、智能化管理能力和客戶的數(shù)字化管理能力。

1) 客戶資信管理:通過企業(yè)管理系統(tǒng)與第三方資信服務(wù)商的數(shù)據(jù)集成,結(jié)合企業(yè)管理中的客戶信息和歷史合同執(zhí)行信息,實現(xiàn)客戶資信評級。

2) 經(jīng)營池項目管理:優(yōu)化企業(yè)管理系統(tǒng)重點(diǎn)經(jīng)營項目跟蹤功能,與投標(biāo)信息相關(guān)聯(lián),自動更新經(jīng)營狀態(tài)和結(jié)果信息。

3) 招投標(biāo)管理:拓展現(xiàn)有的招投標(biāo)信息管理模塊功能,實現(xiàn)企業(yè)業(yè)績、人員業(yè)績、企業(yè)資質(zhì)、人員資質(zhì)和企業(yè)基礎(chǔ)信息等公共數(shù)據(jù)的固化和復(fù)用,減少市場人員的重復(fù)低效勞動,提升事業(yè)部投標(biāo)工作的效率。

4) BI(Business Intelligence)看板分析:基于自助報表平臺,實現(xiàn)市場經(jīng)營數(shù)據(jù)的自助分析。

5) 成果與商機(jī):建設(shè)成果與商機(jī)應(yīng)用,實現(xiàn)企業(yè)跨部門的市場機(jī)會協(xié)同和成果共享。

2.4 數(shù)字化辦公

建立健全企業(yè)信息資源匯集和共享機(jī)制,進(jìn)一步實現(xiàn)辦公自動化、公文流轉(zhuǎn)無紙化和各部門高效協(xié)同,以會議、訪客和用車等行政辦公場景為視角,實現(xiàn)對企業(yè)運(yùn)營決策的智能化支持,形成精簡高效的移動化、數(shù)字化辦公環(huán)境。

1) 會議管理:建立會議管理移動應(yīng)用,對企業(yè)的會議室進(jìn)行分級管理,員工能通過移動設(shè)備預(yù)定會議室,并發(fā)送會議通知。會議中涉及的資料可線上保存分享,可掃描二維碼進(jìn)行現(xiàn)場簽到。會后可線上檢索參加的歷次會議的信息。

2) 訪客管理:建立訪客管理移動應(yīng)用,滿足員工訪客預(yù)約工作需求,記錄訪客的基本信息,并通過系統(tǒng)對各行程節(jié)點(diǎn)的任務(wù)進(jìn)行安排,跟蹤各節(jié)點(diǎn)的任務(wù)完成情況。

3) 車輛管理:建立車輛管理移動應(yīng)用,實現(xiàn)用車申請、用車記錄、費(fèi)用登記和車輛調(diào)度等功能,在規(guī)范各部門用車的同時,提高協(xié)調(diào)效率,減少人工統(tǒng)計工作量。

3 數(shù)據(jù)中臺解決方案

通過對案例企業(yè)數(shù)字化場景的需求進(jìn)行分析,建立企業(yè)數(shù)據(jù)中臺,打通各系統(tǒng)的數(shù)據(jù)壁壘,將數(shù)據(jù)變?yōu)槠髽I(yè)資產(chǎn),依托數(shù)據(jù)資產(chǎn)提升企業(yè)的核心競爭力。數(shù)據(jù)中臺基于“一個基礎(chǔ)、一個標(biāo)準(zhǔn)、業(yè)務(wù)獨(dú)立”的原則設(shè)計,在保持各系統(tǒng)業(yè)務(wù)數(shù)據(jù)相對獨(dú)立的前提下,制定統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn),實現(xiàn)企業(yè)各系統(tǒng)間的數(shù)據(jù)集成和共享;建立一個集中各系統(tǒng)數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)倉庫,基于該數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)建模、分析和應(yīng)用。

3.1 平臺架構(gòu)規(guī)劃

結(jié)合案例企業(yè)數(shù)字化場景的實際需求規(guī)劃數(shù)據(jù)中臺平臺架構(gòu)。基于數(shù)據(jù)中臺的平臺總體架構(gòu)規(guī)劃框圖見圖2,由數(shù)據(jù)源、數(shù)據(jù)中臺和數(shù)據(jù)應(yīng)用等3部分組成。

圖2 基于數(shù)據(jù)中臺的平臺總體架構(gòu)規(guī)劃框圖

1) 數(shù)據(jù)源:包括企業(yè)管理系統(tǒng)、移動應(yīng)用、第三方系統(tǒng)和線下文件等,為數(shù)字化場景實踐提供數(shù)據(jù)基礎(chǔ)。

2) 數(shù)據(jù)中臺:包括平臺管理、數(shù)據(jù)采集、數(shù)據(jù)建模、數(shù)據(jù)倉庫和數(shù)據(jù)服務(wù)。平臺管理是保證數(shù)據(jù)中臺正常運(yùn)行的基礎(chǔ),提供用戶認(rèn)證、任務(wù)調(diào)度、數(shù)據(jù)權(quán)限和運(yùn)行監(jiān)控等基礎(chǔ)服務(wù);數(shù)據(jù)采集通過接口、數(shù)據(jù)庫、消息隊列(Message Quene,MQ)和文件導(dǎo)入等方式獲取各種類型的數(shù)據(jù)源,并將其存儲在數(shù)據(jù)倉庫中;數(shù)據(jù)建模根據(jù)數(shù)據(jù)主題和分析維度建立統(tǒng)一且規(guī)范的多維數(shù)據(jù)模型;數(shù)據(jù)倉庫用于存儲數(shù)據(jù),對通過數(shù)據(jù)治理得到的業(yè)務(wù)數(shù)據(jù)和基于業(yè)務(wù)類型劃分的數(shù)據(jù)主題進(jìn)行歸類,形成企業(yè)數(shù)據(jù)資產(chǎn);數(shù)據(jù)服務(wù)提供面向應(yīng)用的數(shù)據(jù)共享服務(wù)。

3) 數(shù)據(jù)應(yīng)用:包括報表分析工具和移動應(yīng)用等,通過數(shù)據(jù)中臺的數(shù)據(jù)服務(wù)獲取數(shù)據(jù),實現(xiàn)企業(yè)數(shù)字化運(yùn)營、數(shù)字化作業(yè)、數(shù)字化交易和數(shù)字化辦公。

3.2 平臺架構(gòu)設(shè)計

基于數(shù)據(jù)源、數(shù)據(jù)中臺和數(shù)據(jù)應(yīng)用等3部分進(jìn)行平臺架構(gòu)設(shè)計,見圖3。

圖3 平臺架構(gòu)設(shè)計圖

1) 數(shù)據(jù)源:以數(shù)據(jù)庫直連、應(yīng)用程序接口(Application Programming Interface,API)對接、Excel和CSV(Comma-Separated Values)文件導(dǎo)入等方式向數(shù)據(jù)中臺提供數(shù)據(jù)源。

2) 數(shù)據(jù)中臺:由數(shù)據(jù)采集、數(shù)據(jù)倉庫、數(shù)據(jù)建模、數(shù)據(jù)服務(wù)、數(shù)據(jù)資產(chǎn)管理和平臺管理組成。

(1) 數(shù)據(jù)采集:通過ETL(Extract-Transform-Load)工具或Excel、CSV等文件導(dǎo)入的方式進(jìn)行數(shù)據(jù)采集。數(shù)據(jù)采集支持增量采集和全量采集,可實現(xiàn)批量傳輸、加密傳輸和斷點(diǎn)續(xù)傳。在采集數(shù)據(jù)過程中,可對數(shù)據(jù)進(jìn)行切分和合并等。

(2) 數(shù)據(jù)倉庫:采用分層存儲的方式進(jìn)行數(shù)據(jù)存儲,各層數(shù)據(jù)之間無跨層關(guān)聯(lián)。數(shù)據(jù)貼源層用于存儲通過數(shù)據(jù)采集獲取的原始數(shù)據(jù),并按源系統(tǒng)分類存儲;事實明細(xì)層根據(jù)源系統(tǒng)業(yè)務(wù)事實對貼源層數(shù)據(jù)進(jìn)行過濾和篩選等操作;數(shù)據(jù)匯總層將清洗過的事實數(shù)據(jù)劃分為不同的主題,梳理每個主題的分析維度,按主題,通過多維業(yè)務(wù)模型和模型開發(fā)工具進(jìn)行數(shù)據(jù)建模,根據(jù)各指標(biāo)的維度、屬性等對各主題進(jìn)行關(guān)聯(lián),形成寬表;數(shù)據(jù)應(yīng)用層按業(yè)務(wù)場景對建模之后得到的數(shù)據(jù)進(jìn)行劃分,用于后續(xù)進(jìn)行業(yè)務(wù)查詢和數(shù)據(jù)分析。

(3) 數(shù)據(jù)建模:提供多維業(yè)務(wù)模型、模型開發(fā)工具和規(guī)則引擎,為建立良好的數(shù)據(jù)模型提供基礎(chǔ);內(nèi)置的算法庫搭配計算引擎,提供高效的數(shù)據(jù)挖掘服務(wù);數(shù)據(jù)標(biāo)簽可對數(shù)據(jù)應(yīng)用場景進(jìn)行分類,實現(xiàn)數(shù)據(jù)畫像。

(4) 數(shù)據(jù)服務(wù):以API的形式對外提供數(shù)據(jù)共享服務(wù),包含API從創(chuàng)建、發(fā)布、調(diào)用到下線的全生命周期管理和API授權(quán)管理。

(5) 數(shù)據(jù)資產(chǎn)管理:包含元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)全生命周期管理和數(shù)據(jù)標(biāo)準(zhǔn)。元數(shù)據(jù)管理對數(shù)據(jù)倉庫中的各種數(shù)據(jù)資源進(jìn)行有效組織、描述和管理,實現(xiàn)數(shù)據(jù)資產(chǎn)的可發(fā)現(xiàn)性和可理解性,并提升其可信度;數(shù)據(jù)血緣自動解析并建立各數(shù)據(jù)表的關(guān)聯(lián)關(guān)系,實現(xiàn)數(shù)據(jù)回溯;數(shù)據(jù)全生命周期管理可設(shè)置數(shù)據(jù)表的生命周期,方便及時清除過期數(shù)據(jù),降低數(shù)據(jù)存儲壓力;數(shù)據(jù)標(biāo)準(zhǔn)即數(shù)據(jù)開發(fā)規(guī)范,通過制定代碼結(jié)構(gòu)、任務(wù)命名、時間格式、代碼格式、周期調(diào)度配置和參數(shù)配置等方面的規(guī)范,保障數(shù)據(jù)的健康。

(6) 平臺管理:通過任務(wù)調(diào)度定時、自動進(jìn)行數(shù)據(jù)采集;通過Kafka消息隊列實現(xiàn)對數(shù)據(jù)的實時處理;大數(shù)據(jù)實時計算引擎能將流處理與批處理統(tǒng)一起來[3];運(yùn)行監(jiān)控用于監(jiān)控任務(wù)運(yùn)行情況,方便進(jìn)行異常排查;通過租戶管理、用戶管理、權(quán)限管理和數(shù)據(jù)權(quán)限實現(xiàn)用戶認(rèn)證服務(wù)。

3) 數(shù)據(jù)應(yīng)用:為實現(xiàn)數(shù)字化場景所需的應(yīng)用服務(wù),可通過數(shù)據(jù)應(yīng)用實時或延時獲取數(shù)據(jù)中臺共享的數(shù)據(jù),并進(jìn)行數(shù)據(jù)查詢、可視化分析和報表分析等。

4 平臺應(yīng)用效果

通過建設(shè)數(shù)據(jù)中臺,企業(yè)的數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的效率得到了顯著提升,數(shù)字化轉(zhuǎn)型取得了初步成效。該平臺建成之前,企業(yè)的經(jīng)營、運(yùn)營和人事等數(shù)據(jù)分散在不同的系統(tǒng)中,企業(yè)經(jīng)營決策所需數(shù)據(jù)支撐依賴于各系統(tǒng)的報表數(shù)據(jù)導(dǎo)出和人工整合;各系統(tǒng)的報表數(shù)據(jù)受主數(shù)據(jù)不一致和分析維度不同等因素影響,加工處理的復(fù)雜度較高;移動應(yīng)用不足使得協(xié)同辦公受到限制,數(shù)據(jù)分析和決策的及時性受到影響。該平臺建成之后,基于統(tǒng)一的數(shù)據(jù)交換標(biāo)準(zhǔn),實時、定時對各系統(tǒng)進(jìn)行數(shù)據(jù)采集,能極大地縮短獲取數(shù)據(jù)所需時間,提升企業(yè)的服務(wù)水平;通過數(shù)據(jù)治理建立了統(tǒng)一規(guī)范的數(shù)據(jù)模型,針對各數(shù)字化場景建立了特定的數(shù)據(jù)域,提升了數(shù)據(jù)整合和分析效率,實現(xiàn)了精準(zhǔn)化治理;通過項目助手和生產(chǎn)安全助手等移動應(yīng)用實現(xiàn)了企業(yè)高效協(xié)同;通過數(shù)字化運(yùn)營看板分析和自助BI看板分析,以企業(yè)管理核心指標(biāo)為導(dǎo)向,企業(yè)管理者可實時掌握企業(yè)的經(jīng)營情況,并深入挖掘企業(yè)的信息,進(jìn)行智能化決策。

5 結(jié) 語

本文所述數(shù)據(jù)中臺整合了企業(yè)各系統(tǒng)中的項目、采購、運(yùn)營、經(jīng)營、科技和安全等方面的數(shù)據(jù),通過數(shù)據(jù)治理形成了數(shù)據(jù)資產(chǎn),能為企業(yè)的數(shù)字化轉(zhuǎn)型提供有效的數(shù)據(jù)支撐,使企業(yè)的經(jīng)營管理水平上一個新的臺階。數(shù)字化轉(zhuǎn)型是一個不斷探索的過程,未來企業(yè)可以數(shù)據(jù)中臺技術(shù)為基礎(chǔ),持續(xù)進(jìn)行應(yīng)用整合,建立共享數(shù)據(jù)中心,統(tǒng)一門戶、統(tǒng)一身份認(rèn)證等,不斷優(yōu)化企業(yè)的內(nèi)部資源配置;同時,不斷擴(kuò)充數(shù)據(jù)源,拓展更多的數(shù)字化應(yīng)用場景,實現(xiàn)更多的數(shù)據(jù)創(chuàng)新。