仝姍　陳大?！⊥躜E驥

[摘 要]江蘇省市場(chǎng)監(jiān)管部門體制“三合一”改革后，監(jiān)管工作在面臨巨大挑戰(zhàn)的同時(shí)，也迎來(lái)了難得的機(jī)遇。高質(zhì)量、可信賴的數(shù)據(jù)資產(chǎn)在精準(zhǔn)監(jiān)管中的作用日漸凸顯，已成為智慧市場(chǎng)監(jiān)管的核心驅(qū)動(dòng)力。本文從數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量五要素展開(kāi)分析，以優(yōu)化數(shù)據(jù)治理流程，構(gòu)建完善的數(shù)據(jù)治理體系，提升數(shù)據(jù)質(zhì)量。

[關(guān)鍵詞]市場(chǎng)監(jiān)管;數(shù)據(jù)治理體系;數(shù)據(jù)質(zhì)量

doi：10.3969/j.issn.1673 - 0194.2021.04.088

[中圖分類號(hào)]D63;TP391[文獻(xiàn)標(biāo)識(shí)碼]A[文章編號(hào)]1673-0194（2021）04-0-04

0 ? ? 引 言

江蘇省市場(chǎng)監(jiān)管部門體制“三合一”改革后，在整合信息化系統(tǒng)、促進(jìn)業(yè)務(wù)融合方面進(jìn)行了有益嘗試，并取得初步成效。機(jī)構(gòu)改革后的市場(chǎng)監(jiān)管工作面臨監(jiān)管主體眾多、監(jiān)管事項(xiàng)增多、監(jiān)管責(zé)任加重、監(jiān)管壓力增大的挑戰(zhàn)，急需以數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)協(xié)同創(chuàng)新，通過(guò)大數(shù)據(jù)分析等技術(shù)手段實(shí)現(xiàn)科學(xué)決策和精準(zhǔn)監(jiān)管。

江蘇省市場(chǎng)監(jiān)管原業(yè)務(wù)部門已自建規(guī)模不等的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)中心，實(shí)現(xiàn)了一定程度的數(shù)據(jù)服務(wù)。但是由于缺少數(shù)據(jù)標(biāo)準(zhǔn)和相應(yīng)處理流程，導(dǎo)致數(shù)據(jù)描述不全、數(shù)據(jù)結(jié)構(gòu)各異等問(wèn)題，從而限制了部門間業(yè)務(wù)協(xié)同，聯(lián)合監(jiān)管效能無(wú)法發(fā)揮，數(shù)據(jù)價(jià)值很難做到深層挖掘。

1 ? ? 數(shù)據(jù)治理體系構(gòu)建

數(shù)據(jù)治理是市場(chǎng)監(jiān)管數(shù)據(jù)管理的重要組成部分。數(shù)據(jù)治理體系通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)錄入使數(shù)據(jù)治理有據(jù)可依，采集元數(shù)據(jù)構(gòu)建數(shù)據(jù)模型，其基礎(chǔ)數(shù)據(jù)則可以確保數(shù)據(jù)治理的一致性，避免出現(xiàn)歧義及理解偏差。各模塊協(xié)同，打造完整的數(shù)據(jù)治理流程，實(shí)現(xiàn)了數(shù)據(jù)治理全過(guò)程可視化。

1.1 ? 體系架構(gòu)

本文通過(guò)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量的管理，打造全視角的數(shù)據(jù)質(zhì)量治理體系，逐步解決數(shù)據(jù)底數(shù)不清、標(biāo)準(zhǔn)缺失、數(shù)值不準(zhǔn)等共性問(wèn)題，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，確保數(shù)據(jù)品質(zhì)。數(shù)據(jù)治理體系架構(gòu)如圖1。

1.2 ? 數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理是數(shù)據(jù)治理體系建設(shè)中的重要環(huán)節(jié)，通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)可以有效規(guī)范系統(tǒng)建設(shè)時(shí)對(duì)業(yè)務(wù)的統(tǒng)一理解，增強(qiáng)業(yè)務(wù)部門、技術(shù)部門對(duì)數(shù)據(jù)定義與使用的一致性，減少數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)效能，優(yōu)化數(shù)據(jù)服務(wù)。

本文通過(guò)建設(shè)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)管理功能模塊實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的集中管理，為系統(tǒng)建設(shè)人員和應(yīng)用人員提供便捷的數(shù)據(jù)標(biāo)準(zhǔn)獲取途徑，促進(jìn)數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的落地實(shí)施。數(shù)據(jù)標(biāo)準(zhǔn)管理模塊的功能，包括數(shù)據(jù)標(biāo)準(zhǔn)文檔管理、數(shù)據(jù)標(biāo)準(zhǔn)用語(yǔ)管理、數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)代碼管理、數(shù)據(jù)標(biāo)準(zhǔn)模型管理和數(shù)據(jù)標(biāo)準(zhǔn)指標(biāo)體系管理。

1.3 ? 元數(shù)據(jù)管理

元數(shù)據(jù)管理是數(shù)據(jù)治理體系的核心組成部分，貫穿于體系的創(chuàng)建、維護(hù)和使用的各環(huán)節(jié)之中，元數(shù)據(jù)管理可明確數(shù)據(jù)方向、統(tǒng)一數(shù)據(jù)口徑、梳理數(shù)據(jù)關(guān)系、管理模型變更，是數(shù)據(jù)建設(shè)和數(shù)據(jù)資產(chǎn)高效管理的有力保障。

本文以元數(shù)據(jù)為核心驅(qū)動(dòng)，嘗試構(gòu)建完整的數(shù)據(jù)管理和數(shù)據(jù)服務(wù)模塊，統(tǒng)一對(duì)江蘇省市場(chǎng)監(jiān)管數(shù)據(jù)元進(jìn)行管理。元數(shù)據(jù)管理實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)、服務(wù)全鏈路信息的集中管理和展示，同時(shí)也為作業(yè)管控、質(zhì)量管理提供數(shù)據(jù)標(biāo)準(zhǔn)。元數(shù)據(jù)是以標(biāo)準(zhǔn)方式表達(dá)的數(shù)據(jù)元，數(shù)據(jù)元是數(shù)據(jù)的基本單元，將若干具有相關(guān)性的數(shù)據(jù)元按一定次序排列，即組成元數(shù)據(jù)。元數(shù)據(jù)管理包括元數(shù)據(jù)服務(wù)和元數(shù)據(jù)分析。

1.4 ? 基礎(chǔ)數(shù)據(jù)管理

基礎(chǔ)數(shù)據(jù)管理包括基礎(chǔ)數(shù)據(jù)的生成服務(wù)和版本維護(hù)。

存儲(chǔ)于業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，通常采用抽取、轉(zhuǎn)換、裝載（Extract-Transform-Load，ETL）的方式進(jìn)行導(dǎo)入，生成基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)抽取調(diào)度管理的方式如下：元數(shù)據(jù)管理模塊對(duì)元數(shù)據(jù)的自動(dòng)獲取提供持續(xù)穩(wěn)定的調(diào)度支持，能夠按預(yù)設(shè)的調(diào)度策略觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)采集過(guò)程，并滿足元數(shù)據(jù)采集在時(shí)效性和獲取時(shí)機(jī)等方面的需要。例如，在數(shù)據(jù)處理程序更新后8小時(shí)內(nèi)觸發(fā)相應(yīng)的元數(shù)據(jù)自動(dòng)獲取過(guò)程;也可以在每星期一00：30觸發(fā)數(shù)據(jù)庫(kù)元數(shù)據(jù)的自動(dòng)采集過(guò)程，由守護(hù)進(jìn)程Cron來(lái)處理周期任務(wù)，定時(shí)任務(wù)語(yǔ)句如下：30 0 * * MON /home/dataman/work/job.sh。

基礎(chǔ)數(shù)據(jù)版本管理對(duì)基礎(chǔ)數(shù)據(jù)的變化進(jìn)行記錄和管理，如企業(yè)類型新建視為第一版，之后每次修改新增一個(gè)版本，版本號(hào)按照規(guī)則自動(dòng)增加。可以通過(guò)對(duì)比查看每次的變更記錄，并且支持隨時(shí)恢復(fù)到某次變更的版本。

1.5 ? 數(shù)據(jù)模型管理

數(shù)據(jù)模型管理包含構(gòu)建模型設(shè)計(jì)、模型優(yōu)化、模型監(jiān)控的可視化管理體系，提供對(duì)模型實(shí)體、屬性、關(guān)系的設(shè)計(jì)，模型的標(biāo)準(zhǔn)化管理及模型一致性監(jiān)控。該管理體系完整記錄數(shù)據(jù)治理模型建設(shè)的全過(guò)程，為數(shù)據(jù)的開(kāi)發(fā)、部署、融合等各個(gè)階段提供基礎(chǔ)支撐。數(shù)據(jù)模型管理功能模塊包括基礎(chǔ)模型管理、邏輯建模和物理建模。

1.6 ? 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理工作的基礎(chǔ)。建立基于全局視角的閉環(huán)數(shù)據(jù)質(zhì)量管理模塊，可以確保共享開(kāi)放、研究分析和應(yīng)用服務(wù)數(shù)據(jù)的品質(zhì)，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)價(jià)值最大化。數(shù)據(jù)質(zhì)量管理可實(shí)現(xiàn)稽核規(guī)則管理、稽核任務(wù)管理以及數(shù)據(jù)質(zhì)量分析功能。

1.6.1 ? 稽核規(guī)則管理

為了高效開(kāi)展對(duì)數(shù)據(jù)治理各關(guān)鍵環(huán)節(jié)的檢查工作，應(yīng)規(guī)劃建設(shè)稽核規(guī)則管理模塊，統(tǒng)一配置質(zhì)量檢查規(guī)則。系統(tǒng)在對(duì)數(shù)據(jù)進(jìn)行檢查前，通過(guò)訪問(wèn)稽核規(guī)則管理模塊來(lái)讀取質(zhì)量檢查規(guī)則?；艘?guī)則支持編輯、修改和刪除。

1.6.2 ? 稽核任務(wù)管理

數(shù)據(jù)質(zhì)量管理模塊根據(jù)需求或規(guī)則生成所有稽核任務(wù)，提供偵測(cè)和前置條件觸發(fā)兩種方式啟動(dòng)稽核任務(wù)流程。

稽核任務(wù)管理將稽核流程與數(shù)據(jù)加工流程相結(jié)合，支持稽核任務(wù)定時(shí)、嵌入、手工調(diào)度，實(shí)現(xiàn)流程調(diào)度多樣化。當(dāng)稽核出影響后續(xù)加工的關(guān)鍵問(wèn)題時(shí)，數(shù)據(jù)加工流程自動(dòng)停止，待問(wèn)題處理完畢后流程會(huì)繼續(xù)執(zhí)行。

數(shù)據(jù)質(zhì)量管理模塊對(duì)稽核調(diào)度任務(wù)具有啟動(dòng)、停止、定時(shí)和并發(fā)數(shù)設(shè)置的功能，支持稽核任務(wù)的執(zhí)行狀態(tài)查詢，支持查看圖形化的工作流監(jiān)控界面。

1.6.3 ? 數(shù)據(jù)質(zhì)量分析

對(duì)數(shù)據(jù)質(zhì)量問(wèn)題的有效管理，是數(shù)據(jù)治理工作成功的關(guān)鍵。數(shù)據(jù)質(zhì)量分析提供對(duì)數(shù)據(jù)采集、處理、應(yīng)用等環(huán)節(jié)質(zhì)量稽核結(jié)果的綜合分析，是一個(gè)集中展示數(shù)據(jù)質(zhì)量狀況的窗口。

數(shù)據(jù)質(zhì)量分析支持對(duì)問(wèn)題數(shù)據(jù)的檢索，重點(diǎn)關(guān)注稽核對(duì)象問(wèn)題數(shù)據(jù)，提供對(duì)問(wèn)題數(shù)據(jù)數(shù)量變化的趨勢(shì)分析、對(duì)問(wèn)題數(shù)據(jù)不同稽核類別的數(shù)據(jù)分布分析以及對(duì)問(wèn)題數(shù)據(jù)的整體分析功能。

2 ? ? 數(shù)據(jù)治理流程分析

數(shù)據(jù)治理從完整性、準(zhǔn)確性、一致性、及時(shí)性、穩(wěn)定性、規(guī)范性六方面完成對(duì)數(shù)據(jù)質(zhì)量的評(píng)價(jià)，并完成閉環(huán)治理，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一規(guī)范和統(tǒng)一管理。

數(shù)據(jù)治理需要數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量管理各要素協(xié)同完成治理過(guò)程，數(shù)據(jù)治理協(xié)同流程如圖2所示。

數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布是數(shù)據(jù)治理的第一步，數(shù)據(jù)標(biāo)準(zhǔn)包括文檔、用語(yǔ)、業(yè)務(wù)代碼、模型、指標(biāo)體系等。數(shù)據(jù)模型提供邏輯建模、物理建模及模型管理功能，數(shù)據(jù)建模過(guò)程中引入數(shù)據(jù)標(biāo)準(zhǔn)，實(shí)現(xiàn)標(biāo)準(zhǔn)落地。元數(shù)據(jù)服務(wù)和管理是數(shù)據(jù)治理的核心部分，原始數(shù)據(jù)通過(guò)加工轉(zhuǎn)換形成目標(biāo)數(shù)據(jù)，目標(biāo)數(shù)據(jù)校驗(yàn)結(jié)果自動(dòng)生成數(shù)據(jù)質(zhì)量元數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)實(shí)現(xiàn)版本管理功能，并提供數(shù)據(jù)訪問(wèn)接口，供數(shù)據(jù)集成系統(tǒng)調(diào)用。數(shù)據(jù)質(zhì)量管理提供數(shù)據(jù)質(zhì)量問(wèn)題的全流程跟蹤、記錄功能，以保證數(shù)據(jù)質(zhì)量問(wèn)題能夠得到有效分析、準(zhǔn)確分發(fā)、及時(shí)解決，最終提升數(shù)據(jù)質(zhì)量。

3 ? ? 實(shí)踐和成果

筆者通過(guò)分析數(shù)據(jù)治理要素，完成了數(shù)據(jù)治理體系的構(gòu)建，并應(yīng)用于江蘇省市場(chǎng)監(jiān)管數(shù)據(jù)管理服務(wù)。截至2020年7月下旬，共處理數(shù)據(jù)280余億條，數(shù)據(jù)總量高達(dá)2 181 GB。

江蘇省市場(chǎng)監(jiān)管數(shù)據(jù)治理體系，堅(jiān)持標(biāo)準(zhǔn)先行，錄入正式發(fā)布國(guó)標(biāo)、省標(biāo)及相關(guān)行業(yè)標(biāo)準(zhǔn)，并將數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)化。部分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)見(jiàn)表1。

江蘇省市場(chǎng)監(jiān)管數(shù)據(jù)治理采用專項(xiàng)治理和日常巡查結(jié)合的方式實(shí)現(xiàn)。

專項(xiàng)治理指集中一段時(shí)間就某類數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行集中整治，按需抽取檢測(cè)規(guī)則，展示問(wèn)題數(shù)據(jù)的占比情況和各地區(qū)的問(wèn)題數(shù)據(jù)量，并生成分析報(bào)告和各地市問(wèn)題數(shù)據(jù)的詳細(xì)清單。本文對(duì)某信息化系統(tǒng)歸集的數(shù)據(jù)進(jìn)行專項(xiàng)治理，制定5項(xiàng)稽核規(guī)則，共檢測(cè)出問(wèn)題數(shù)據(jù)36萬(wàn)余條，詳情見(jiàn)圖3。

日常巡查指完成資產(chǎn)盤點(diǎn)之后，對(duì)于業(yè)務(wù)上不符合稽核判斷規(guī)則的數(shù)據(jù)項(xiàng)進(jìn)行檢測(cè)，并發(fā)布檢測(cè)報(bào)告。體系支持自動(dòng)設(shè)定任務(wù)，完成對(duì)數(shù)據(jù)的巡查，支持稽核規(guī)則配置、周期性任務(wù)規(guī)劃等。圖4為江蘇省市場(chǎng)監(jiān)管某次日常數(shù)據(jù)巡查結(jié)果。

4 ? ? 結(jié) 語(yǔ)

2019年11月，國(guó)家市場(chǎng)監(jiān)督管理總局辦公廳發(fā)布《市場(chǎng)主體登記數(shù)據(jù)質(zhì)量建設(shè)實(shí)施方案》，明確指出要以數(shù)據(jù)質(zhì)量建設(shè)為契機(jī)，進(jìn)一步加強(qiáng)全系統(tǒng)市場(chǎng)主體數(shù)據(jù)監(jiān)測(cè)，全面規(guī)范業(yè)務(wù)流程和數(shù)據(jù)標(biāo)準(zhǔn)，完善數(shù)據(jù)質(zhì)量管理制度，形成提升數(shù)據(jù)質(zhì)量的長(zhǎng)效機(jī)制，為市場(chǎng)監(jiān)管改革提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)和支撐服務(wù)。

《市場(chǎng)主體登記數(shù)據(jù)質(zhì)量建設(shè)實(shí)施方案》說(shuō)明數(shù)據(jù)質(zhì)量建設(shè)的主要任務(wù)是建立數(shù)據(jù)質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)、開(kāi)展數(shù)據(jù)質(zhì)量監(jiān)測(cè)、建立完善數(shù)據(jù)質(zhì)量糾錯(cuò)機(jī)制及加強(qiáng)數(shù)據(jù)質(zhì)量管理制度建設(shè)。各地市場(chǎng)監(jiān)管部門在數(shù)據(jù)質(zhì)量建設(shè)工作中，要將數(shù)據(jù)質(zhì)量建設(shè)工作落到實(shí)處。只有抓好數(shù)據(jù)質(zhì)量，才能真正提高市場(chǎng)監(jiān)管信息化建設(shè)和應(yīng)用水平。

主要參考文獻(xiàn)

[1]盧樂(lè)天，陽(yáng)夢(mèng)華，鄧櫻文.政府?dāng)?shù)據(jù)治理體系研究[J].電信工程技術(shù)與標(biāo)準(zhǔn)化，2019（1）：29-33.

[2]司莉，曾粵亮，機(jī)構(gòu)科研數(shù)據(jù)知識(shí)庫(kù)聯(lián)盟數(shù)據(jù)治理框架研究[J].圖書館論壇，2018（8）：61-67.

[3]張國(guó)寶，卞藝杰.一種面向閉環(huán)的數(shù)據(jù)治理平臺(tái)與方法設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2019（8）：156-160.

[4]司曉.數(shù)據(jù)要素市場(chǎng)呼喚數(shù)據(jù)治理新規(guī)則[J].圖書與情報(bào)，2020（3）：7-8.

[5]李倩，劉冰潔，趙彥云.大數(shù)據(jù)環(huán)境下的統(tǒng)計(jì)元數(shù)據(jù)建設(shè)[J].統(tǒng)計(jì)與信息論壇，2020（3）：14-20.

[6]顧嘉琪，袁莉.基于公眾需求的政府?dāng)?shù)據(jù)開(kāi)放服務(wù)質(zhì)量提升研究[J].情報(bào)雜志，2020（6）：196-202

[7]ALRUITHE M， BENKHELIFA E. Cloud Data Governance Maturity Model[C]//2017 8th IEEE International Conference on Software Engineering and Service Science. Beijing：IEEE， 2017：517-520.

[8]陳艷，高原.電網(wǎng)企業(yè)數(shù)據(jù)治理成效評(píng)估及應(yīng)用前景研究[J].現(xiàn)代經(jīng)濟(jì)信息，2019（13）：66.

[9]農(nóng)發(fā)行總行信息科技部課題組.提升數(shù)據(jù)質(zhì)量的方法和路徑[J].農(nóng)業(yè)發(fā)展與金融，2019（5）：81-84.