譚虎 陳曉勇

數(shù)據(jù)中臺的概念最早由阿里巴巴首次提出，是為了應(yīng)對內(nèi)部眾多業(yè)務(wù)部門千變?nèi)f化的數(shù)據(jù)需求和高速時效性的要求而成長起來的。它既要滿足業(yè)務(wù)部門日常性的多個業(yè)務(wù)前臺的數(shù)據(jù)需求，又要滿足像雙十一，六一八這樣的業(yè)務(wù)高峰，應(yīng)對大規(guī)模數(shù)據(jù)的線性可擴展問題，應(yīng)對復雜活動場景業(yè)務(wù)系統(tǒng)的解耦問題，而在技術(shù)、組織架構(gòu)等方面采取的一些變革。

數(shù)據(jù)中臺的定義

阿里巴巴數(shù)據(jù)中臺是阿里云上實現(xiàn)數(shù)據(jù)智能的最佳實踐，它是由數(shù)據(jù)中臺方法論+組織+工具所組成。數(shù)據(jù)中臺方法論采用實現(xiàn)企業(yè)數(shù)據(jù)的全局規(guī)劃設(shè)計，通過前期的設(shè)計形成統(tǒng)一的數(shù)據(jù)標準、計算口徑，統(tǒng)一保障數(shù)據(jù)質(zhì)量，面向數(shù)據(jù)分析場景構(gòu)建數(shù)據(jù)模型，讓通用計算和數(shù)據(jù)能沉淀并能復用，提升計算效能。數(shù)據(jù)中臺的建設(shè)實施必須有能與之配合的組織，不僅相應(yīng)崗位的人員要配備齊全，而且組織架構(gòu)建設(shè)也需要對應(yīng)。有一個數(shù)據(jù)技術(shù)部門統(tǒng)籌企業(yè)的數(shù)字化轉(zhuǎn)型，數(shù)據(jù)賦能業(yè)務(wù)中形成業(yè)務(wù)模式，在推進數(shù)字化轉(zhuǎn)型中實現(xiàn)價值。數(shù)據(jù)中臺由一系列的工具和產(chǎn)品組成，阿里云數(shù)據(jù)中臺以智能數(shù)據(jù)構(gòu)建與管理Dataphin產(chǎn)品、商業(yè)智能QuickBI工具和企業(yè)參謀產(chǎn)品為主體等一系列工具組成。

阿里云在過去幾年中經(jīng)過數(shù)十個實際項目沉淀形成實施標準化流程和方法論。阿里云OneData數(shù)據(jù)中臺解決方案基于大數(shù)據(jù)存儲和計算平臺為載體，以O(shè)neModel統(tǒng)一數(shù)據(jù)構(gòu)建及管理方法論為主干，以O(shè)neID核心商業(yè)要素資產(chǎn)化為核心，實現(xiàn)全域鏈接、標簽萃取、立體畫像，以數(shù)據(jù)資產(chǎn)管理為皮，數(shù)據(jù)應(yīng)用服務(wù)為枝葉的松耦性整體解決方案。其數(shù)據(jù)服務(wù)理念根植于心，強調(diào)業(yè)務(wù)模式，在推進數(shù)字化轉(zhuǎn)型中實現(xiàn)價值。

數(shù)據(jù)中臺的概念來自于阿里巴巴“大中臺，小前臺”業(yè)務(wù)戰(zhàn)略下的數(shù)據(jù)化實踐，它是關(guān)于“數(shù)據(jù)價值化和數(shù)據(jù)資產(chǎn)化”的一整套解決方案，內(nèi)容包括數(shù)據(jù)中臺方法論、組織，數(shù)據(jù)產(chǎn)品三個方面。

數(shù)據(jù)中臺建設(shè)成果主要體現(xiàn)在兩方面：一個是數(shù)據(jù)的技術(shù)能力，另一個是數(shù)據(jù)的資產(chǎn)。今天阿里的各個業(yè)務(wù)都在共享同一套數(shù)據(jù)技術(shù)和資產(chǎn)。阿里內(nèi)部為這個統(tǒng)一化的數(shù)據(jù)體系命名為“OneData”。

Onedata體系包括OneModel，OneID，OneService 3個方面。在OneData體系之下，不斷擴大的業(yè)務(wù)版圖內(nèi)的各種業(yè)務(wù)數(shù)據(jù)，都將按統(tǒng)一的方式接入中臺系統(tǒng)，之后通過統(tǒng)一化的數(shù)據(jù)服務(wù)反哺業(yè)務(wù)。

數(shù)據(jù)中臺頂層設(shè)計

數(shù)據(jù)中臺定位于計算后臺和業(yè)務(wù)前臺之間，其關(guān)鍵職能與核心價值是大數(shù)據(jù)以業(yè)務(wù)視角而非純技術(shù)視角出發(fā)，智能化構(gòu)建數(shù)據(jù)、管理數(shù)據(jù)資產(chǎn)與提供數(shù)據(jù)調(diào)用、數(shù)據(jù)監(jiān)控、數(shù)據(jù)分析與數(shù)據(jù)展現(xiàn)等多種服務(wù)。承技術(shù)啟業(yè)務(wù)，是建設(shè)智能數(shù)據(jù)和催生數(shù)據(jù)智能的引擎;而以數(shù)據(jù)中臺內(nèi)核價值為中段的數(shù)據(jù)中臺業(yè)務(wù)模式不是純數(shù)據(jù)、不是純技術(shù)、也不是純業(yè)務(wù)，它同時關(guān)注著與大數(shù)據(jù)能力相關(guān)的上下游，以大數(shù)據(jù)為中軸線，基于技術(shù)而又深入業(yè)務(wù)，它以數(shù)據(jù)產(chǎn)品+數(shù)據(jù)技術(shù)+方法論+場景實現(xiàn)的綜合性輸出，同時為智能化數(shù)據(jù)、技術(shù)極致提升和數(shù)據(jù)智能化業(yè)務(wù)負責。

一方面專注于從業(yè)務(wù)視角，建設(shè)標準統(tǒng)一、融會貫通、資產(chǎn)化、服務(wù)化、閉環(huán)自優(yōu)化的數(shù)據(jù)中臺智能數(shù)據(jù)體系，同時極致化追求技術(shù)上的降本提效。另一方面，致力于智能數(shù)據(jù)與業(yè)務(wù)場景深度融合的業(yè)務(wù)數(shù)據(jù)化與數(shù)據(jù)業(yè)務(wù)化中的各類智能化價值創(chuàng)新。

數(shù)據(jù)中臺與

傳統(tǒng)數(shù)據(jù)倉庫差異

數(shù)據(jù)倉庫已經(jīng)經(jīng)歷了40多年的發(fā)展，廣泛應(yīng)用于大型商業(yè)企業(yè)，幫助業(yè)務(wù)人員和高層人員做分析和決策。它起源于決策支持系統(tǒng)（decision support system），其展現(xiàn)形式更多以報表方式實現(xiàn)。因此數(shù)據(jù)倉庫是一個面向主題的、集成的、非易失性的，隨時間變化用來支持管理人員決策的數(shù)據(jù)集合。

傳統(tǒng)的企業(yè)級數(shù)據(jù)倉庫還是以TD，Oracle，IBM/DB2等傳統(tǒng)數(shù)據(jù)庫為主， 由于受限于數(shù)據(jù)的處理能力，很少有EDW的數(shù)據(jù)容量超過1TB，不能對基礎(chǔ)數(shù)據(jù)進行跨域的處理（原因是RMDBS對大數(shù)據(jù)量的關(guān)聯(lián)join處理耗時非常長）。

對新的指標分析的時候需要從基礎(chǔ)數(shù)據(jù)重新生成匯總表，耗時耗力，使用方法上無法實現(xiàn)跨數(shù)據(jù)集或數(shù)據(jù)域的處理。新一代數(shù)據(jù)倉庫采用分布式架構(gòu)，一般基于MPP數(shù)據(jù)庫或大數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)分析，因此傳統(tǒng)的數(shù)據(jù)倉庫具有以下幾個特點：

業(yè)務(wù)主題性? 傳統(tǒng)的數(shù)據(jù)倉庫要求解決服務(wù)問題，比如對一個生產(chǎn)型企業(yè)來說公司的主題域是產(chǎn)品、訂單、銷售商、材料等，要解決應(yīng)用問題可能是庫存、銷售、銷售商等。其有業(yè)務(wù)是面向主題的。

系統(tǒng)集成性? 在傳統(tǒng)數(shù)據(jù)倉庫中，集成是最重要的，由于計算和存儲的成本原因，其數(shù)據(jù)需要從不同的數(shù)據(jù)源抽取過來并集中，其數(shù)據(jù)的冗余度需要盡可能的降低。因此數(shù)據(jù)進入數(shù)據(jù)倉庫中需要進行轉(zhuǎn)化、格式化、重新排列和匯總等操作，其所有數(shù)據(jù)具有單一物理特性，都是結(jié)構(gòu)化方式存在。在系統(tǒng)架構(gòu)方面，也是以集中式存儲和計算方式存在，新一代的數(shù)倉采用分布式計算，但軟件產(chǎn)品采用集中部署方式存在。

非易失性? 數(shù)據(jù)倉庫系統(tǒng)會記錄所有記錄，與業(yè)務(wù)系統(tǒng)相比，它不會對記錄進行變化操作（update和delete），它會保留所有記錄的變化，但受限于成本和計算能力考慮，數(shù)據(jù)倉庫不會記錄全量明細數(shù)據(jù)，特別是日志數(shù)據(jù)，因此大部分數(shù)據(jù)倉庫平臺的數(shù)據(jù)容量在TB級別。

時間變化性? 數(shù)據(jù)倉庫中每個數(shù)據(jù)單元只是在某一時間是準確的，因此數(shù)據(jù)單元的準確性與時間相關(guān)，數(shù)據(jù)時間范圍是5-10年。

系統(tǒng)一體化? 傳統(tǒng)數(shù)倉以系統(tǒng)整體設(shè)計為特性，軟件平臺圍繞著數(shù)據(jù)庫或計算平臺以整套服務(wù)為主，結(jié)合度縝密，對外服務(wù)也較單一。傳統(tǒng)的數(shù)倉采用集中式數(shù)據(jù)庫作為數(shù)據(jù)和計算平臺。近10年來，新興企業(yè)采用分布式數(shù)據(jù)庫和大數(shù)據(jù)技術(shù)實現(xiàn)OLAP類數(shù)倉建設(shè)，但其本質(zhì)還是基于一個整體來考慮的。

在系統(tǒng)和服務(wù)上，數(shù)據(jù)中臺與數(shù)據(jù)倉庫有很多明顯的區(qū)別，首先表現(xiàn)在服務(wù)對象方面，傳統(tǒng)的數(shù)據(jù)倉庫只是滿足領(lǐng)導數(shù)據(jù)決策的需要，因此更多地體現(xiàn)在報表輸出，使用者以小部分的業(yè)務(wù)人員和決策層為主，新需求的開發(fā)周期以月甚至到年為計。而數(shù)據(jù)中臺由于起家于互聯(lián)網(wǎng)企業(yè)，其使用對象擴大到一線服務(wù)人員和商家企業(yè)，其業(yè)務(wù)需求更繁雜，很難用一套報表系統(tǒng)滿足需求，因此催生出一個生態(tài)的數(shù)據(jù)服務(wù)。

其次是體系架構(gòu)上，數(shù)據(jù)中臺是由多系統(tǒng)組成，除了計算平臺外，其方案由多個分布式服務(wù)系統(tǒng)提供，滿足不同業(yè)務(wù)需求和高并發(fā)、系統(tǒng)自動擴容需求。除了大數(shù)據(jù)存儲和計算平臺外，還包含數(shù)倉建設(shè)、工作臺開發(fā)IDE、任務(wù)調(diào)度、數(shù)據(jù)同步服務(wù)、對外統(tǒng)一數(shù)據(jù)服務(wù)、資產(chǎn)管理系統(tǒng)、實時流計算平臺和開發(fā)平臺、oneID計算和查詢模塊，敏捷BI報表開發(fā)等多個組件，通過多個維度組件組成一整套方案。

再次，在服務(wù)表現(xiàn)形式上，數(shù)據(jù)中臺體現(xiàn)的更多樣化。數(shù)據(jù)中臺不僅能提供報表基礎(chǔ)服務(wù)功能，而且為了滿足各個業(yè)務(wù)部門不同需求，會提供領(lǐng)導決策系統(tǒng)、行業(yè)分析、業(yè)務(wù)洞察、業(yè)務(wù)重塑，自助查詢等多個功能，滿足從領(lǐng)導層、PD、業(yè)務(wù)人員、開發(fā)人員等各個層級的需求。在繼承性方面，數(shù)據(jù)中臺采用傳統(tǒng)的數(shù)據(jù)倉庫Kimball維度建模法，按照事實表、維表來構(gòu)建數(shù)據(jù)中臺的數(shù)據(jù)模型。