楊銳 張榮榮

摘 ?要：21世紀以來，企業(yè)管理日趨現(xiàn)代化、國際化，財務公司作為集團企業(yè)的非銀行金融性企業(yè)，把握著集團生存的命脈，資金管理水平及效率將直接影響集團企業(yè)發(fā)展的穩(wěn)定性?；诖吮尘?，為集團企業(yè)的財務公司建立一套完善的金融數(shù)據(jù)倉庫顯得至關重要，數(shù)據(jù)倉庫在面對海量的業(yè)務數(shù)據(jù)時，有著安全化、實時化、規(guī)范化、智能分析以及預測等諸多優(yōu)勢。而數(shù)據(jù)模型在數(shù)據(jù)倉庫管理工作中發(fā)揮交流和分析作用，且能夠確保數(shù)據(jù)的一致性，實現(xiàn)商務智能的目標。

關鍵詞：財務公司;數(shù)據(jù)倉庫;數(shù)據(jù)模型;商務智能

中圖分類號：TP311.13 ? ? 文獻標識碼：A 文章編號：2096-4706（2020）21-0113-07

Design and Implementation of Financial Data Warehouse Model Based on Greenplum

YANG Rui1，ZHANG Rongrong2

（1.Hainan Branch of China Southern Power Grid Co.，Ltd.，Haikou ?570203，China;

2.China Southern Power Grid Digital Grid Research Institute Co.，Ltd.，Guangzhou ?510663，China）

Abstract：Since the 21st century，enterprise management has become more and more modernized and internationalized. As a non-bank financial enterprise of group enterprises，financial companies grasp the lifeblood of the groups survival. The level and efficiency of fund management will directly affect the stability of the groups development. Based on this background，it is very important to establish a set of perfect financial data warehouse for financial companies of group enterprises. In the face of massive business data，data warehouse has many advantages，such as security，real-time，standardization，intelligent analysis and prediction. The data model plays a role of communication and analysis in data warehouse management，and can ensure the consistency of data and achieve the goal of business intelligence.

Keywords：financial company;data warehouse;data model;business intelligence

0 ?引 ?言

隨著近些年的高速發(fā)展，南方電網(wǎng)財務有限公司業(yè)務趨于繁雜，傳統(tǒng)業(yè)務系統(tǒng)已無法滿足日益增長的業(yè)務需求，伴隨著企業(yè)數(shù)據(jù)暴增的大數(shù)據(jù)時代的到來，建立一套完善的大數(shù)據(jù)分析平臺成為一種必然的趨勢，因此南網(wǎng)金融業(yè)務系統(tǒng)應運而生，建立該系統(tǒng)能極大地彌補財務公司各業(yè)務系統(tǒng)相互獨立而導致的數(shù)據(jù)口徑不一致、商業(yè)智能化分析難度大、數(shù)據(jù)報表展示不易、商業(yè)化決策難以預測等諸多難題。

本文針對金融數(shù)據(jù)倉庫做了系統(tǒng)的闡述及架構設計案例分析，適合數(shù)倉架構師、數(shù)倉模型設計師、ETL開發(fā)人員等專業(yè)人員閱讀，文中主要對數(shù)據(jù)倉庫基礎架構、主題域劃分、模型主題釋義、源數(shù)據(jù)入倉規(guī)范、ETL事務處理、模型開發(fā)方式方法等進行了專業(yè)性的講解。

1 ?研究現(xiàn)狀

1.1 ?財務公司業(yè)務現(xiàn)狀

隨著財務公司業(yè)務的快速發(fā)展，由原來業(yè)務單一的核心、信貸等業(yè)務系統(tǒng)發(fā)展至涵蓋投資理財、資金結算、綜合網(wǎng)銀、外匯、風險預警、商業(yè)報表等諸多業(yè)務系統(tǒng)，企業(yè)數(shù)據(jù)呈井噴式增漲。

1.2 ?財務公司系統(tǒng)現(xiàn)狀

基于財務公司開展的業(yè)務種類，現(xiàn)行系統(tǒng)共分為核心系統(tǒng)、信貸管理系統(tǒng)、客戶管理系統(tǒng)、票據(jù)系統(tǒng)、投資管理系統(tǒng)、資金結算系統(tǒng)、業(yè)務支撐平臺、外匯業(yè)務系統(tǒng)、財務管理系統(tǒng)、風險管控系統(tǒng)，各業(yè)務系統(tǒng)相互獨立而又整體統(tǒng)一，共同組成了財務公司的企業(yè)數(shù)據(jù)資源池。

經(jīng)過長期的業(yè)務體系調研與研討，南方電網(wǎng)財務有限公司業(yè)務主要劃分為6大域，分別為：A.客戶服務域，B.產(chǎn)品運營域，C.業(yè)務支持域，D.風險管控域，E.經(jīng)營決策域，F(xiàn).產(chǎn)品管理域，各個域之間相互獨立而又整體統(tǒng)一。南網(wǎng)金融業(yè)務系統(tǒng)總體業(yè)務框架如圖1所示。

基于以上總體業(yè)務框架，該項目總體應用架構設計如圖2所示。

其中的需求重點數(shù)據(jù)集成平臺采用基于MPP數(shù)據(jù)庫理論的Greenplum來搭建。

金融數(shù)據(jù)倉庫模型建模，提前對以銀行業(yè)業(yè)務為基礎的金融數(shù)據(jù)倉庫模型和數(shù)據(jù)標準進行研究，為下一步拓展金融類公司的數(shù)據(jù)分析與數(shù)字化轉型打下良好基礎。模型差異化分析和裁剪：基于數(shù)據(jù)倉庫基礎模型版本，結合財務公司的業(yè)務特征、未來發(fā)展方向等因素，完成模型差異化分析和裁剪工作。

2 ?金融數(shù)據(jù)倉庫實現(xiàn)方法

2.1 ?數(shù)據(jù)倉庫基礎架構

金融數(shù)據(jù)集成平臺采用行業(yè)通用開源解決方案，基于OGG＼Kafka＼FLink的技術棧，構建基于實時數(shù)據(jù)及離線數(shù)據(jù)兩條數(shù)據(jù)通道，包括數(shù)據(jù)采集、清洗、加工、緩存、傳輸、回流等功能，為統(tǒng)計分析等系統(tǒng)提供數(shù)據(jù)支撐服務，同時包括財務公司對數(shù)據(jù)資產(chǎn)的統(tǒng)一管理相關功能。金融數(shù)據(jù)集成平臺總體架構如圖3所示。

其中實時數(shù)據(jù)緩沖處理模塊，數(shù)據(jù)基本走向如圖4所示。

數(shù)據(jù)集成平臺通過進行上游不同的系統(tǒng)數(shù)據(jù)的對接，通過ETL抽取工具進行數(shù)據(jù)統(tǒng)計，并實現(xiàn)了數(shù)據(jù)的標準化，數(shù)據(jù)接入貼源層，通過設計的模型Mapping文檔將貼源層數(shù)據(jù)接入各個模型表中，形成模型層主題分類。

2.2 ?數(shù)據(jù)倉庫模型設計規(guī)范

2.2.1 ?源表源字段入倉篩選規(guī)范

2.2.1.1 ?表級

表級規(guī)則如下：

（1）盡量保留粒度比較細的數(shù)據(jù);

（2）不保留僅用于流程控制的數(shù)據(jù);

（3）不保留中間數(shù)據(jù)、臨時數(shù)據(jù)和備份數(shù)據(jù);

（4）對于無法識別和對應的數(shù)據(jù)應盡量完整保留;

（5）原則上不保留冗余數(shù)據(jù)。

一般不考慮入倉的表：系統(tǒng)控制表、業(yè)務流程控制表、為未來業(yè)務拓展預留的表、冗余數(shù)據(jù)表、中間表和臨時表、備份表。

2.2.1.2 ?字段級

以下類型字段，不入整合層：

（1）無分析意義的字段，如加載時間戳、密碼等信息;

（2）業(yè)務系統(tǒng)操作流程相關字段，如當前頁號等信息;

（3）計算結果字段，如積數(shù)等信息;

（4）未啟用字段;

（5）冗余字段，如賬戶表中的客戶名稱等信息;

（6）非結構化字段，如圖片、語音等信息。

2.2.2 ?主題模型命名規(guī)范

主題模型的命名規(guī)范包括對邏輯數(shù)據(jù)模型（LDM）的命名規(guī)范和物理數(shù)據(jù)模型（PDM）的命名規(guī)范。主題命名規(guī)范如表1所示。

主題命名舉例：協(xié)議的分類子主題“T03協(xié)議.分類”。

2.3 ?數(shù)據(jù)倉庫模型設計描述

2.3.1 ?模型概要設計思路

2.3.1.1 ?涉及范圍

本項目納入LDM設計范圍的源系統(tǒng)共10個，源系統(tǒng)清單列表如表2所示。

2.3.1.2 ?設計目標

基礎層設計目標為：

（1）共享性：在基礎層設計時，可實現(xiàn)南方電網(wǎng)財務有限公司業(yè)務范圍的涵蓋，以滿足金融機構未來業(yè)務發(fā)展需求;

（2）可擴展性：實現(xiàn)歷史數(shù)據(jù)的存放，能夠有效地擴展業(yè)務，滿足“上復雜情況，下業(yè)務發(fā)展”的需求;

（3）穩(wěn)定性：能夠長時間確保數(shù)據(jù)模型穩(wěn)定性，能夠有效解決各種業(yè)務問題。當新增源系統(tǒng)入倉或是大量新增源系統(tǒng)表，主題模型依然保持穩(wěn)定，不會對模型進行大幅度的重構操作;

（4）規(guī)范性：在模型設計時，應當使用業(yè)務語言，這樣能夠方便業(yè)務人員的理解，使得業(yè)務人員與IT溝通更加方便。

2.3.1.3 ?設計步驟

在主題模型概要設計時，主要分為以下幾個步驟，以優(yōu)化形成概要設計說明書：

（1）數(shù)據(jù)準入：對源系統(tǒng)數(shù)據(jù)入各主題的原則和范圍進行確定;

（2）劃分數(shù)據(jù)：對各主題主實體的標準及方法進行確定，并劃分主實體的建設數(shù)據(jù)類型，確保分類標準統(tǒng)一，以方便理解;

（3）ID生成：對編號的生成規(guī)則進行制定，并根據(jù)源系統(tǒng)生成相應的字段、預留出足夠長度;

（4）數(shù)據(jù)整合：收集各源系統(tǒng)的主數(shù)據(jù)，包括機構、產(chǎn)品和當事人等數(shù)據(jù)。同時，掌握業(yè)務數(shù)據(jù)（包括當事人、協(xié)議）之間的關系;

（5）數(shù)據(jù)處理：對主題歷史信息進行確定，以便人們進行歷史追蹤;

（6）例外處理原則：當各主題有需要特殊處理說明時，可以在此原則中標識出來。

2.3.2 ?模型主題描述

主題是業(yè)務某一方面信息的反映，并概括業(yè)務數(shù)據(jù)（包括產(chǎn)品信息、客戶信息、協(xié)議信息）等等方面的需求。本項目的主題采用神州數(shù)碼FS-LDM的10個主題，并根據(jù)信息調研的情況對主題進行裁減，主題域和主題域的關系如圖5所示。

2.3.2.1 ?當事人

此當事人主要是指金融機構所服務的一個人或者一組人，包括個人或公司客戶、代理機構、部門等。一個當事人可扮演許多角色，且他們之間關系密切，如南方電網(wǎng)財務有限公司機構與管理機構、上下級之間和企業(yè)之間、企業(yè)與個人、在模型中可體現(xiàn)這些信息。

2.3.2.2 ?產(chǎn)品

產(chǎn)品是南方電網(wǎng)財務有限公司及其關聯(lián)的當事人提供給市場、能單獨銷售并滿足客戶的某種需求，可以從中賺取各種實際或潛在收入的有形商品或無形服務。

2.3.2.3 ?協(xié)議

此協(xié)議是金融機構結合客戶的需求而簽訂特定產(chǎn)品或服務的契約，雙方就相應的條款和條件達成了協(xié)議，此協(xié)議由卡賬戶、貸款合同、存款和貸款賬戶等部分組成。

2.3.2.4 ?資產(chǎn)

此當事人資產(chǎn)主要是對南方電網(wǎng)財務有限公司的客戶資產(chǎn)進行描述。客戶在申請購買某項服務時，機構要先掌握客戶的資產(chǎn)負債情況，并優(yōu)選相應的資產(chǎn)作為擔保，為南方電網(wǎng)財務有限公司實現(xiàn)擔保與風險管理。

2.3.2.5 ?內部機構

內部機構作為金融機構或者法人機構的內部組織機構。此概念較為寬泛，它也是機構的重要組成部分，分為不同的機構和部門和功能團隊。

2.3.2.6 ?渠道

渠道是對事件發(fā)生時，南方電網(wǎng)財務有限公司和客戶進行交互的方法進行描述。作為接觸點，雙方通過各種接觸，如購買產(chǎn)品、使用服務進行交流。并且，可進行渠道信息的保存，方便金融機構與客戶之間的交易，實現(xiàn)各種成本的計算，以提高溝通效率。

2.3.2.7 ?事件

事件主要描述了南方電網(wǎng)財務有限公司與客戶之間的交易活動，它記錄了詳細的行為和交易數(shù)據(jù)?？赡苌婕百~戶、資金，也可能與這些無關。通過事件主題，掌握好客戶的使用渠道和交易類型、金額、事件及服務員工等。

2.3.2.8 ?地理區(qū)域

地理位置是對金融機構的地址信息和地理區(qū)域進行描述，包括國家、省份、城市、縣、鄉(xiāng)等。地理區(qū)域主題包含不同層次的信息，如“地理位置”“具體地址”和“地區(qū)”等。該主題關系以內部組織機構、營銷活動等內容為主題，且地址多樣，一個當事人可擁有多個地址。

2.3.2.9 ?營銷活動

營銷活動是為樹立財務公司形象、擴大市場份額而開展的活動。營銷主題主要由制定營銷策略、實施營銷活動、反饋營銷活動，并做出相應評估等部分組成。

2.3.2.10 ?財務

財務主題與財務公司的總賬系統(tǒng)相對應，是對南方電網(wǎng)財務有限公司的科目組成、賬務、余額變動進行描述，且也包括了預算管理內容，以滿足不同科目組織體系的需求。

2.4 ?模型工作開展

本項目模型開發(fā)工作主要涉及源系統(tǒng)數(shù)據(jù)收集、表級分析、字段級分析、模型設計等相關工作，詳細步驟如圖6所示。

本項目模型中涉及的表級調研工作主要以數(shù)據(jù)驅動的方法來確定表是否入倉，入倉和不入倉的原則如圖7所示。

本項目模型涉及字段級分析是否入倉部分，主要從7部分來考慮，如圖8所示。

本項目數(shù)據(jù)模型設計步驟主要涉及前期準備，交流研討，信息調研，統(tǒng)一設計規(guī)范和模型設計五部分，各個流程關系如圖9所示。

2.5 ?金融數(shù)據(jù)倉庫的系統(tǒng)實現(xiàn)

通過對各個上游業(yè)務系統(tǒng)數(shù)據(jù)，進行ETL標準化之后，統(tǒng)一進行模型的設計，按照不同主題來劃分協(xié)議、當事人、產(chǎn)品、時間、內部機構等相關主題。根據(jù)上述模型主題，分別建立相應的邏輯數(shù)據(jù)倉庫模型，并通過模型設計工具對各個模型主題涵蓋的內容進行報表定義，開發(fā)人員只需要對接模型層表即可開發(fā)報表。簡化了報表開發(fā)流程，并提高了報表開發(fā)的工作效率及質量。

2.6 ?數(shù)據(jù)倉庫實現(xiàn)方法

2.6.1 ?報表開發(fā)的底層數(shù)據(jù)支持

為報表開發(fā)提供數(shù)據(jù)支持，降低報表開發(fā)難度，為業(yè)務人員分析業(yè)務數(shù)據(jù)及領導層進行經(jīng)營決策提供動態(tài)數(shù)據(jù)支持。

2.6.2 ?業(yè)務系統(tǒng)數(shù)據(jù)共通與口徑統(tǒng)一

將各業(yè)務系統(tǒng)所產(chǎn)生的業(yè)務數(shù)據(jù)通過金融數(shù)據(jù)倉庫緊密聯(lián)合在了一起，打破了數(shù)據(jù)壁壘，提高了數(shù)據(jù)利用率并降低了業(yè)務數(shù)據(jù)使用困難度，為財務公司大數(shù)據(jù)價值提取提供了基礎。

3 ?優(yōu)點

金融數(shù)據(jù)倉庫模型體系具備行業(yè)的先進性，可在本項目的實踐驗證。

3.1 ?全面性

根據(jù)財務公司業(yè)務現(xiàn)狀，結合財務公司未來業(yè)務發(fā)展，數(shù)據(jù)倉庫模型可滿足以下指標：

（1）上游業(yè)務系統(tǒng)對接：完成包括核心、票據(jù)、資金、結算、信貸等業(yè)務系統(tǒng)的源表和模型的映射工作;

（2）下游數(shù)據(jù)應用覆蓋：滿足下游報表、管理駕駛艙、監(jiān)管報送所需要的接口數(shù)據(jù)需求;

（3）數(shù)據(jù)倉庫模型業(yè)務主題全面，包括十大主題內容。

3.2 ?整體性

數(shù)據(jù)倉庫模型體系設計項目過程，具備規(guī)劃、調研、客戶化裁剪、培訓的完整過程為：

（1）完整的數(shù)據(jù)倉庫模型設計方法論;

（2）完整的分析資本體系設計方法論。

3.3 ?可操作性

數(shù)據(jù)倉庫模型體系設計的方法和成果，具備可操作性主要體現(xiàn)在：

（1）結合金融數(shù)據(jù)倉庫模型進行操作，以確保數(shù)據(jù)模型的先進性;

（2）包括數(shù)據(jù)倉庫模型的規(guī)劃、模型設計方法論、模型落地方法論等內容。

3.4 ?可落地性

數(shù)據(jù)倉庫模型體系設計階段參考金融同業(yè)的成功經(jīng)驗，匹配財務公司業(yè)務特征，保證數(shù)據(jù)倉庫模型的可落地性。

3.5 ?擴展性

數(shù)據(jù)倉庫模型在設計層面，考慮擴展性要求，包括以下幾點：

（1）數(shù)據(jù)倉庫主題邏輯模型和物理模型，支持按照實際業(yè)務需求調整模型內容;

（2）數(shù)據(jù)倉庫模型支持在上游業(yè)務系統(tǒng)、下游數(shù)據(jù)需求發(fā)生變化的時候有必要的調整機制，做出模型的適應性修改。

4 ?結 ?論

數(shù)據(jù)倉庫模型體系是數(shù)據(jù)類項目的一個重要組成部分，新建設的數(shù)據(jù)倉庫模型體系可提升南方電網(wǎng)財務有限公司的業(yè)務創(chuàng)新能力、內部管理能力、風險控制水平、以及經(jīng)營管理水平。

參考文獻：

[1] 李妍.數(shù)據(jù)倉庫的數(shù)據(jù)建模技術 [J].科技和產(chǎn)業(yè)，2005（11）：21-23.

[2] 莊琴生.以E-R模型為基礎構造數(shù)據(jù)倉庫的概念模型 [J].計算機工程與應用，2004（10）：195-197+200.

[3] 王珊.數(shù)據(jù)倉庫技術與聯(lián)機分析處理 [M].北京：科學出版社，1999.

[4] INMON W H，HACKATHORN R D.Using the Data Warehouse [M].Hoboken：Wiley，1994.

作者簡介：楊銳（1982—），男，漢族，海南文昌人，綜合部經(jīng)

理，經(jīng)濟師，政工師，本科，研究方向：經(jīng)濟、金融、數(shù)字金融;張榮榮（1984—），女，漢族，湖南常德人，財金應用產(chǎn)品高級工程師，信息系統(tǒng)項目管理師，本科，研究方向：IT項目管理、需求分析。