胡方 顧曉光

摘要：數(shù)據治理系統(tǒng)作為大數(shù)據平臺的核心基礎支撐系統(tǒng)，旨在為數(shù)據倉庫、數(shù)據服務平臺、大數(shù)據基礎平臺以及實時共享交換平臺，提供統(tǒng)一、便捷、高質量和價值最大化的數(shù)據資源，是數(shù)據應用和實現(xiàn)數(shù)據跨部門聯(lián)通的基本保障。該文提出基于大數(shù)據平臺的數(shù)據治理系統(tǒng)建設方案，為降低后續(xù)數(shù)據治理的改造成本、實現(xiàn)各部門互聯(lián)互通和達到數(shù)據資源價值最大化，提供有效基礎支撐。

關鍵詞：數(shù)據治理系統(tǒng);大數(shù)據平臺;數(shù)據倉庫;數(shù)據服務平臺;數(shù)據資源

中圖分類號：TP303? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）30-0044-02

開放科學（資源服務）標識碼（OSID）：

Construction of Data Governance System based on Big Data Platform

HU Fang1， GU Xiao-guang1，2

（1.Henan Big Data Center， Zhengzhou 450003， China; 2.Nanjing University Business School， Nanjing 210093，China）

Abstract： As the basic support system of big data platform， data governance system aims to provide unified， convenient， high-quality and value maximized data resources for data warehouse， data service platform， big data basic platform and real-time sharing and exchange platform. It is the basic guarantee for data application and cross departmental data connectivity. In this paper， the construction scheme of data governance system based on big data platform was put forward， which provides effective basic support for reducing the transformation cost of subsequent data governance， realizing the interconnection of various departments and maximizing the value of data resources.

Key words：data governance system; big data platform; data warehouse; data service platform; data resource

1 引言

大數(shù)據時代數(shù)據是公認的一項重要資產。數(shù)據作為對真實世界的對象、事件和概念的被選擇屬性的抽象表示，由可明確定義的約定對其含義、采集與存儲進行表達和理解[1]。數(shù)據治理是將數(shù)據作為資產進行管理，建立統(tǒng)一標準，檢核數(shù)據質量，準確描述數(shù)據元屬性，分析數(shù)據之間關聯(lián)關系，形成數(shù)據資源目錄，實現(xiàn)數(shù)據快速檢索，對數(shù)據全生命周期進行管理的整套流程體系[2]。

數(shù)據治理系統(tǒng)作為大數(shù)據中心的核心基礎支撐系統(tǒng)，旨在為數(shù)據倉庫、數(shù)據服務平臺、大數(shù)據基礎平臺以及實時共享交換平臺，提供統(tǒng)一、便捷、高質量、價值最大化的數(shù)據資源。本研究從數(shù)據全生命周期的整體視角，通過統(tǒng)籌規(guī)劃數(shù)據治理系統(tǒng)，在系統(tǒng)建設伊始就實現(xiàn)統(tǒng)一的數(shù)據高質量、高標準管理，有效避免后續(xù)為數(shù)據統(tǒng)一治理而帶來的高昂改造成本，以實現(xiàn)數(shù)據資源互聯(lián)互通和價值最大化。

2 基于大數(shù)據平臺的數(shù)據治理系統(tǒng)設計

2.1系統(tǒng)目標

數(shù)據治理系統(tǒng)的目標是提高數(shù)據的質量（準確性和完整性），保證數(shù)據的安全性（保密性、完整性及可用性），實現(xiàn)數(shù)據資源在各組織機構部門的共享;推進信息資源的整合、對接和共享，提升組織的整體信息化水平，充分發(fā)揮信息化作用[3]。

2.2系統(tǒng)設計

數(shù)據治理系統(tǒng)所涉及的技術及功能主要包括數(shù)據標準管理、元數(shù)據管理、數(shù)據質量管理、血緣管理、影響分析、數(shù)據資產管理、數(shù)據目錄管理、數(shù)據生命周期管理等，具體結構可見圖1。

2.2.1數(shù)據標準管理

數(shù)據標準管理對數(shù)據進行全生命周期管控，支持數(shù)據標準的制定及審核。落地映射的標準數(shù)據進入系統(tǒng)，可供數(shù)據使用者對標準進行查詢，同時提供標準版本管理。數(shù)據標準管理內容包含數(shù)據標準集成、數(shù)據標準映射、標準查詢和標準版本管理。

2.2.2元數(shù)據管理

元數(shù)據是一種電子式目錄，為了達到編制目錄的目的，必須描述并收藏數(shù)據的內容或特色，進而達成協(xié)助數(shù)據檢索的目的。元數(shù)據描述了數(shù)據屬性的信息，用于支持如指示存儲位置、歷史數(shù)據、資源查找、文件記錄等功能[4]。元數(shù)據管理主要包含元數(shù)據分析管理和采集管理，通過元數(shù)據管理可以降低了用戶理解和使用數(shù)據的難度。

2.2.3數(shù)據質量管理

數(shù)據質量管理是通過統(tǒng)一的數(shù)據標準來提升數(shù)據質量，為政務數(shù)據的質量管控提供技術支撐。借助數(shù)據標準和元數(shù)據工具體系，可以有效識別各類數(shù)據的質量問題;針對質量問題，通過血緣管理和影響分析，可以快速定位到責任人，具體數(shù)據質量管理流程如圖2所示。

2.2.4血緣管理

數(shù)據血緣管理以目標對象為起點、目標分析為終點，按照引用關系逐層擴展。為了能清楚地了解數(shù)據加工過程和更完善地處理數(shù)據更新機制，需要建立數(shù)據血緣分析功能，以使用戶清楚數(shù)據生成的來龍去脈，并實現(xiàn)在數(shù)據產生、加工融合、數(shù)據流通到最終消亡等數(shù)據處理過程中形成關聯(lián)關系集合。

2.2.5影響分析

影響分析，研究數(shù)據變更對業(yè)務邏輯、業(yè)務流程、數(shù)據標準以及平臺技術層面的影響，提供為實現(xiàn)業(yè)務所寫的程序代碼等改變并輸出評估報告，給數(shù)據更改方和受影響方等參考，幫助數(shù)據所有者判斷是否必要進行數(shù)據的更改，以及提出受影響方需要做出的準備。

2.2.6數(shù)據資產管理

數(shù)據資產是能夠為政府治理及社會服務產生價值的數(shù)據資源，而非所有的數(shù)據都構成數(shù)據資產。數(shù)據資產管理對數(shù)據資產進行分級分類，篩選出有效的數(shù)據資產。在資產權限管理的指導下，對內可進行共享和交換數(shù)據，對外可開放共享數(shù)據及提供API接口、供應用層訪問，同時支持資產使用情況的調用統(tǒng)計。

2.2.7數(shù)據目錄管理

數(shù)據目錄管理實現(xiàn)數(shù)據目錄從創(chuàng)建、發(fā)布、維護到對接的動態(tài)規(guī)范管理。通過對采集的數(shù)據源及元數(shù)據按目錄層級進行存儲，可存儲表數(shù)據、圖片和視頻等數(shù)據資源及元數(shù)據，支持數(shù)據服務平臺和上層應用展示，方便用戶快速查找數(shù)據資源，同時支持政務信息資源目錄的編制以及與各級目錄平臺的對接。

2.2.8數(shù)據生命周期管理

數(shù)據生命周期管理，是對信息系統(tǒng)的數(shù)據在整個生命周期內的流動進行管理（創(chuàng)建、初始存儲、過期刪除等）。數(shù)據生命周期管理支持將所涉及過程自動化，根據指定的策略將數(shù)據組織成各個不同的層，并基于關鍵條件自動地將數(shù)據從一個層移動到另一個層。

3 結論

本文從數(shù)據全生命周期的整體視角，設計基于大數(shù)據平臺的數(shù)據治理系統(tǒng)。該系統(tǒng)在建設之初就為實現(xiàn)統(tǒng)一的數(shù)據高質量、高標準管理而設計，預期能夠滿足組織在數(shù)據治理方面的功能需求，并有效避免系統(tǒng)為實現(xiàn)數(shù)據的統(tǒng)一治理而帶來的高昂改造成本，為數(shù)據資源互聯(lián)互通和價值最大化提供支撐。

參考文獻：

[1] 胡銳， 芮忠. 基于數(shù)據中臺的高校數(shù)據治理系統(tǒng)的設計[J]. 電子世界， 2020（12）：187-188.

[2] 安倩楠. 基于大數(shù)據技術的智慧校園整體構建研究[J]. 電腦知識與技術， 2021，17（17）：94-95+107.

[3] 林海.數(shù)據治理在合肥市政府大數(shù)據平臺中的應用和實踐[J].電腦知識與技術， 2019，15（10）：281-283.

[4] 姚洪.基于數(shù)據中臺的數(shù)據治理系統(tǒng)的設計與實現(xiàn)[J].科學技術創(chuàng)新， 2020（35）：74-75.

【通聯(lián)編輯：王力】