夏榮 趙捷

摘要：隨著企業(yè)信息化的發(fā)展，數(shù)據(jù)質(zhì)量的好壞，直接影響到信息的準確程度，關(guān)系到企業(yè)管理層基于信息做出的判斷與決策。在主數(shù)據(jù)管理中，解決系統(tǒng)集成時異構(gòu)系統(tǒng)性能異常所導致的數(shù)據(jù)差異問題，是企業(yè)競相追求的目標，但是單憑相應人員的手動調(diào)整，成本不低，因此建立一種自動化的數(shù)據(jù)質(zhì)量調(diào)節(jié)機制勢在必行。文章結(jié)合STEP主數(shù)據(jù)管理平臺，提出一種數(shù)據(jù)差異的負反饋調(diào)節(jié)機制，全面提高企業(yè)信息化系統(tǒng)中的數(shù)據(jù)質(zhì)量，通過真實的案例對比，證實了數(shù)據(jù)質(zhì)量得到極大的提升。

關(guān)鍵詞：數(shù)據(jù)質(zhì)量;企業(yè)信息化;負反饋;主數(shù)據(jù)管理;系統(tǒng)集成

中圖分類號：TP39? ? ? 文獻標識碼：A 文章編號：2096-4706（2021）07-0123-04

Application and Implementation of Negative Feedback Regulation Mechanism in Data Quality Management

XIA Rong，ZHAO Jie

（Information Center of Zhuzhou CRRC Times Electric Co.，Ltd.，Zhuzhou? 412001，China）

Abstract：With the development of enterprise informatization，the quality of data directly affects the accuracy of information and the judgment and decision-making made by enterprise management based on information. In master data management，it is the goal of enterprises to solve the data difference caused by abnormal performance of heterogeneous systems during system integration. However，the cost is not low only by the manual adjustment of corresponding personnel. Therefore，it is necessary to establish an automatic data quality adjustment mechanism. Combined with the STEP master data management platform，this paper proposes a negative feedback adjustment mechanism of data difference，which can comprehensively improve the data quality in the enterprise informatization system. Through the comparison of real cases，it is confirmed that the data quality has been greatly improved.

Keywords：data quality;enterprise informatization;negative feedback;master data management;system integration

收稿日期：2021-03-18

0? 引? 言

在大數(shù)據(jù)時代，數(shù)據(jù)的商業(yè)價值日益凸顯，而數(shù)據(jù)質(zhì)量的好壞則是重中之重，為提高數(shù)據(jù)質(zhì)量，國內(nèi)外眾多學者紛紛進行了深入的研究，文獻[1，2]對數(shù)據(jù)質(zhì)量和系統(tǒng)理論進行了深入說明，文獻[3，4]對數(shù)據(jù)質(zhì)量評估方法進行了研究，文獻[5，6]分別介紹了國內(nèi)外信息化數(shù)據(jù)質(zhì)量管理方法，文獻[7]介紹了企業(yè)報表的數(shù)據(jù)質(zhì)量管理，文獻[8]從電力企業(yè)的實際業(yè)務(wù)出發(fā)，分析了全面實施數(shù)據(jù)質(zhì)量管理的方案和意義，文獻[9]分析了企業(yè)數(shù)據(jù)質(zhì)量的監(jiān)控與提升方案，文獻[10]對企業(yè)信息化中統(tǒng)計數(shù)據(jù)的質(zhì)量因素進行了分析，文獻[11-19]分別對企業(yè)信息化中數(shù)據(jù)質(zhì)量差異的現(xiàn)狀和影響因素，提升與優(yōu)化方案進行了探討?？v觀之前的研究成果，對數(shù)據(jù)質(zhì)量的自動化調(diào)節(jié)尚未深入實踐研究。本人在中國中車下一級子公司中車株洲所負責主數(shù)據(jù)管理系統(tǒng)的運維，每天面對幾萬條數(shù)據(jù)在系統(tǒng)中交互，業(yè)務(wù)繁忙時有幾十萬條數(shù)據(jù)在主數(shù)據(jù)管理系統(tǒng)中完成數(shù)據(jù)的集中存儲分發(fā)，通過企業(yè)服務(wù)總線監(jiān)控，發(fā)現(xiàn)每一天在主數(shù)據(jù)經(jīng)企業(yè)服務(wù)總線分發(fā)到下游系統(tǒng)的過程中，都會出現(xiàn)數(shù)以萬計的服務(wù)異常，高并發(fā)時則更嚴重，如若僅憑人為干預去調(diào)節(jié)這種異常，工作量之大可想而知。為此本人創(chuàng)造性地提出一種數(shù)據(jù)質(zhì)量自動調(diào)節(jié)機制，通過在下游系統(tǒng)和主數(shù)據(jù)之間建立增量負反饋調(diào)節(jié)下發(fā)機制，有效解決了企業(yè)數(shù)據(jù)質(zhì)量不佳的問題，極大地降低了企業(yè)數(shù)據(jù)質(zhì)量管理的運維成本。

1? 數(shù)據(jù)質(zhì)量定義及其評價指標

數(shù)據(jù)質(zhì)量，顧名思義就是數(shù)據(jù)的質(zhì)量，也包括數(shù)據(jù)值的質(zhì)量、數(shù)據(jù)模型設(shè)計的質(zhì)量、數(shù)據(jù)管理流程的質(zhì)量。數(shù)據(jù)質(zhì)量指標（Data Quality Index，DQI），是基于最小化“數(shù)據(jù)缺陷（錯誤）率”，通過持續(xù)不斷的數(shù)據(jù)質(zhì)量驗證進行管理的評測指標，主要包括數(shù)據(jù)的完整性、唯一性、有效性、一致性、準確性、及時性。

1.1? 數(shù)據(jù)的有效性

數(shù)據(jù)的有效性（Validity）是指數(shù)據(jù)項必須滿足所定義的數(shù)據(jù)有效范圍以及域條件，在確保數(shù)據(jù)的一致性、唯一性、準確性、及時性、完整性的前提下，需要考慮數(shù)據(jù)的有效性。

1.2? 數(shù)據(jù)的準確性

數(shù)據(jù)的準確性（Accuracy）是指現(xiàn)實世界中存在的對象表示值，必須準確地反映出來。有了可靠的原始數(shù)據(jù)，才能加工出準確的信息，并保證決策者做出正確的判斷。

1.3? 數(shù)據(jù)的及時性

數(shù)據(jù)的及時性（Timeless）是指數(shù)據(jù)產(chǎn)生的時間須滿足業(yè)務(wù)分析的時間要求，一個好的應用系統(tǒng)在使用數(shù)據(jù)時，不僅要求數(shù)據(jù)的適用性，還必須考慮數(shù)據(jù)的及時性。

1.4? 數(shù)據(jù)的完整性

數(shù)據(jù)的完整性（Completeness），其重要性遠不及數(shù)據(jù)的準確性和及時性，但其作用也不容小覷。數(shù)據(jù)的完整性就是我們?nèi)粘Ｋf的“數(shù)據(jù)齊、全、準”當中的“全”，必需的數(shù)據(jù)項，不得遺漏。

1.5? 數(shù)據(jù)的唯一性

數(shù)據(jù)的唯一性（Uniqueness），即表示數(shù)據(jù)項必須唯一，不得重復。包括單獨唯一性和條件唯一性，單獨唯一性是指字段必須為唯一值，比如客戶的ID必須唯一;條件唯一性是指根據(jù)業(yè)務(wù)條件字段值必須唯一，例如教育課程的安排、課程日期和開設(shè)地點必須唯一。

1.6? 數(shù)據(jù)的一致性

數(shù)據(jù)的一致性（Consistency）是指數(shù)據(jù)所要遵循的結(jié)構(gòu)和值，表現(xiàn)為數(shù)據(jù)的形態(tài)必須始終一貫、一致。體現(xiàn)在四個方面，分別為指標代碼一致性、參照一致性、數(shù)據(jù)流一致性、字段連貫性。

數(shù)據(jù)除具有上述質(zhì)量特性之外，還具有可取得性、可銜接性、可解釋性、客觀性、專業(yè)性、可比性等非質(zhì)量特性，這些特性對數(shù)據(jù)的質(zhì)量控制不會產(chǎn)生較大影響，因此不做過多的討論。

數(shù)據(jù)質(zhì)量度量可以幫助企業(yè)建立全面的數(shù)據(jù)質(zhì)量監(jiān)控體系，企業(yè)的數(shù)據(jù)質(zhì)量管理員，根據(jù)數(shù)據(jù)的不同性質(zhì)綜合運用數(shù)據(jù)質(zhì)量度量，實現(xiàn)對企業(yè)數(shù)據(jù)質(zhì)量的監(jiān)控有重點、不遺漏。例如，對于數(shù)據(jù)倉庫基礎(chǔ)庫表，側(cè)重于完整性、唯一性、一致性的監(jiān)控;對于報表、指標等最終輸出數(shù)據(jù)，側(cè)重于準確性、及時性、合法性的監(jiān)控。

數(shù)據(jù)質(zhì)量的完整性、唯一性、準確性等需要前臺的校驗規(guī)則去規(guī)避，設(shè)定好規(guī)則，錄入數(shù)據(jù)的這幾項指標就能得以提高，及時性、有效性主要是通過流程設(shè)計合理和接口邏輯嚴謹把控的，本文主要在主數(shù)據(jù)系統(tǒng)（Stibo System）中，從一致性方面考慮，通過定性分析和定量計算，探究反饋調(diào)節(jié)機制在數(shù)據(jù)質(zhì)量管理中的應用。

在應用系統(tǒng)中，各個系統(tǒng)中的接口調(diào)用異常時有發(fā)生，網(wǎng)絡(luò)的波動，下游系統(tǒng)的性能不佳，高并發(fā)時的接口不足，均會導致數(shù)據(jù)傳遞異常，這方面的問題不屬于錯誤，往往可以通過重新同步得以解決，比如在系統(tǒng)性能穩(wěn)定或網(wǎng)絡(luò)條件好時即可恢復，但是不定期大量數(shù)據(jù)的手動重復調(diào)用是一個很煩瑣的工作。本文所探討的反饋調(diào)節(jié)方式——一種自適應數(shù)據(jù)調(diào)節(jié)下發(fā)機制，可有效提升數(shù)據(jù)質(zhì)量。

2? 反饋的基本概念

反饋又稱回饋，是控制論的基本概念，是指將系統(tǒng)的輸出返回到輸入端并以某種方式改變輸入，進而影響系統(tǒng)功能的過程。反饋可分為負反饋和正反饋。前者起到使輸出與輸入相反的作用，使系統(tǒng)輸出與系統(tǒng)目標的誤差減小，系統(tǒng)趨于穩(wěn)定;后者起到使輸出與輸入相似的作用，使系統(tǒng)偏差不斷增大，使系統(tǒng)振蕩，可以放大控制作用。對負反饋的研究是控制論的核心所在。

3? 負反饋調(diào)節(jié)機制在主數(shù)據(jù)管理中的應用

STEP主數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)的進入由Inbound集成端點控制，數(shù)據(jù)下發(fā)由Outbound集成端點控制，數(shù)據(jù)的運算由EventProcessor控制，除了Inbound，Outbound和EventProcessor都可以受監(jiān)聽觸發(fā)，三者均可以根據(jù)規(guī)則去運算處理，STEP主數(shù)據(jù)管理系統(tǒng)客戶端界面如圖1所示。

以物料主數(shù)據(jù)下發(fā)ERP為例，實驗步驟為：

（1）在客戶端上建立一個EventPorcessor（事件處理器），并設(shè)置監(jiān)聽字段為erp_matl_check_status（ERP物料數(shù)據(jù)差異質(zhì)檢狀態(tài)）;該字段初始值為空。

（2）在Inbound中加入規(guī)則，規(guī)則邏輯為與ERP傳輸過來的字段數(shù)值作對比，多個字段差異按照字符串拼接，并把差異描述信息更新為這個字段的值，數(shù)據(jù)每次反饋進入主數(shù)據(jù)均會更新這個字段的狀態(tài)。

（3）我們利用事件處理機制的API來編寫業(yè)務(wù)規(guī)則Queue.republish（node），當所監(jiān)聽字段觸發(fā)變動時，通過EventProcessor運算這個規(guī)則，將產(chǎn)生的事件發(fā)送到下發(fā)ERP的隊列（crrc_matl_outboundALL）。

（4）ERP產(chǎn)生增量數(shù)據(jù)后定時傳送到主數(shù)據(jù)Inbounnd所存儲目錄，如此形成閉環(huán)，當數(shù)據(jù)無差異時，EventProcessor不會受監(jiān)聽觸發(fā)，整個過程達到收斂。

圖2為主數(shù)據(jù)負反饋調(diào)節(jié)數(shù)據(jù)完整架構(gòu)圖，數(shù)據(jù)由上游系統(tǒng)錄入，在主數(shù)據(jù)管理系統(tǒng)中完成集中存儲分發(fā)，數(shù)據(jù)分別流向下游系統(tǒng)。為保證下游系統(tǒng)的數(shù)據(jù)質(zhì)量，我們在每個下游系統(tǒng)和主數(shù)據(jù)系統(tǒng)之間建立增量反饋通道，細節(jié)如圖3（負反饋調(diào)節(jié)原理圖）所示。假設(shè)設(shè)定某一數(shù)據(jù)類型，下游系統(tǒng)反饋到主數(shù)據(jù)的數(shù)據(jù)量為增量a，上游系統(tǒng)傳入主數(shù)據(jù)產(chǎn)生的增量為b，b可以大于a，小于a，或者等于a，b大于a的情況我們不予考慮，這種情況在實際中也會存在，一般是系統(tǒng)出現(xiàn)大故障之后的數(shù)據(jù)狀態(tài)，因此當a=b時，數(shù)據(jù)進入主數(shù)據(jù)之后，進行差異比對，利用主數(shù)據(jù)內(nèi)部觸發(fā)機制，將差異數(shù)據(jù)再次下發(fā)進入下游系統(tǒng)，如果a

除了這個流程架構(gòu)以外，主數(shù)據(jù)內(nèi)部觸發(fā)機制也是此次討論的重點?？v觀市面上各種數(shù)據(jù)管理產(chǎn)品，字段監(jiān)聽、觸發(fā)下發(fā)都是采用這樣的實現(xiàn)機制，在主數(shù)據(jù)差異字段被監(jiān)聽之后，通過編寫一定邏輯的業(yè)務(wù)規(guī)則，EventProcessor數(shù)據(jù)事件處理器將對應事件發(fā)送到對應的系統(tǒng)下發(fā)隊列，進行數(shù)據(jù)重新發(fā)送。

為了比較數(shù)據(jù)一致性，我們設(shè)向量A={a1，a2，a3，…，an}，B={b1，b2，b3，…，bn}分別表示在兩個系統(tǒng)中主鍵相同的兩條數(shù)據(jù)，其中a1，b1抽象表征對應屬性值，在這里我們只比對是否相等，記相等為0，不相等為1，則兩個系統(tǒng)數(shù)據(jù)差異可以通過式（1）確定：

（1）

通過式（1）可以得出結(jié)論，當S為1時，數(shù)據(jù)完全差異，當S為0時，兩個數(shù)據(jù)無差異，當S≠0時，即可斷定這條數(shù)據(jù)不一致?，F(xiàn)在將m條數(shù)據(jù)分別計算S值，并取平均值，即可得δ值，此參數(shù)表征兩個系統(tǒng)中同一種數(shù)據(jù)的平均差異情況，δ越大，差異越大，反之δ越小，差異越小。

（2）

以系統(tǒng)中特定工廠的564 513條物料數(shù)據(jù)為例，核心屬性（45個），將數(shù)據(jù)全部下發(fā)，經(jīng)過一定時間傳輸后，分別計算統(tǒng)計引入負反饋調(diào)節(jié)機制和無反饋調(diào)節(jié)的數(shù)據(jù)差異情況，相同的系統(tǒng)條件下，登記并計算δ，結(jié)果如表1所示。通過在實際的業(yè)務(wù)中增加反饋調(diào)節(jié)機制，從表1中可以看出主數(shù)據(jù)與下游系統(tǒng)的數(shù)據(jù)質(zhì)量差異，明顯有了質(zhì)的改變。

在此反饋調(diào)節(jié)過程中需要注意的是，數(shù)據(jù)差異字段的評判邏輯，比如主數(shù)據(jù)A的屬性為kg，下游系統(tǒng)的屬性值為千克，如果評判邏輯為嚴格一致，那么每次反饋的差異將會是不一致的，這會導致數(shù)據(jù)增量每次反饋，觸發(fā)下發(fā)，反饋，觸發(fā)下發(fā)，陷入無限循環(huán)，這樣會對系統(tǒng)性能造成很大的影響，我們需要在性能和質(zhì)量上尋求一個平衡，比如設(shè)置一定的循環(huán)次數(shù)，當?shù)竭_此次數(shù)后，跳出循環(huán)。此外，這種反饋調(diào)節(jié)機制，對于由數(shù)據(jù)本身準確性所導致的下游系統(tǒng)校驗問題、流程及接口的邏輯錯誤問題是不可修復的，對于此類問題，將會以郵件通知的形式，通知對應的數(shù)據(jù)管理員，告知其及時對數(shù)據(jù)做出修正。

4? 結(jié)? 論

本文在企業(yè)實際業(yè)務(wù)系統(tǒng)中，即在主數(shù)據(jù)平臺和下游系統(tǒng)之間建立一種反饋調(diào)節(jié)通道，提出一種數(shù)據(jù)質(zhì)量的負反饋調(diào)節(jié)機制，從數(shù)據(jù)質(zhì)量的差異性角度出發(fā)，通過對實際業(yè)務(wù)運轉(zhuǎn)的定性分析和定量計算，有效減少了主數(shù)據(jù)上下游系統(tǒng)間的數(shù)據(jù)差異，同時自動調(diào)節(jié)方式有效減化了系統(tǒng)中人工梳理數(shù)據(jù)的過程，降低了運維成本。隨著企業(yè)信息化的不斷深入，數(shù)據(jù)的質(zhì)量越來越重要，在大數(shù)據(jù)、云計算時代，對數(shù)據(jù)質(zhì)量的監(jiān)控、調(diào)節(jié)應朝著更加自動化和智能化的方向發(fā)展。

參考文獻：

[1] KAHN B K，STRONG D M，WANG R Y. Information quality benchmarks：product and service performance [J].Communications of the ACM，2002，45（4）：184-192.

[2] ORR K. Data quality and systems theory [J].Communications of the ACM，1998，41（2）：66-71.

[3] 楊青云，趙培英，楊冬青.數(shù)據(jù)質(zhì)量評估方法研究 [J].計算機工程與應用，2004（9）：3-4+15.

[4] 黃武鋒，鄭華.面向企業(yè)信息化的數(shù)據(jù)質(zhì)量評估研究 [J].計算機技術(shù)與發(fā)展，2011，21（1）：185-188+192.

[5] 宋敏，覃正.國外數(shù)據(jù)質(zhì)量管理研究綜述 [J].情報雜志，2007（2）：7-9.

[6] HUANG K T，LEE Y W，WANG R Y. Quality information and knowledge [M].Upper Saddle River：Prentice Hall PTR，1998.

[7] 胡文娟.企業(yè)報表系統(tǒng)的數(shù)據(jù)質(zhì)量管理 [J].中國新通信，2017，19（22）：97.

[8] 王英潔.企業(yè)全面數(shù)據(jù)質(zhì)量管理體系研究 [C]//2010電力行業(yè)信息化年會.2010電力行業(yè)信息化年會論文集.長沙：期刊會展中心，2010：169-172.

[9] 毛一凡，張冰，任毅.企業(yè)數(shù)據(jù)質(zhì)量的監(jiān)控及提升 [C]//2017智能電網(wǎng)發(fā)展研討會.2017智能電網(wǎng)發(fā)展研討會論文集.北京：出版社不詳，2017：313-315+432.

[10] 溫雪，張偉.企業(yè)信息化統(tǒng)計數(shù)據(jù)質(zhì)量影響因素分析 [J].山東工業(yè)技術(shù)，2018（8）：219.

[11] 陳遠，羅琳，沈祥興.信息系統(tǒng)中的數(shù)據(jù)質(zhì)量問題研究 [J].中國圖書館學報，2004，30（1）：48-50.

[12] 亓文會，李傳春.企業(yè)信息化中數(shù)據(jù)質(zhì)量監(jiān)督控制研究 [J].中國管理信息化（綜合版），2007（7）：15-17.

[13] 盧紹年.淺析企業(yè)信息化建設(shè)與數(shù)據(jù)質(zhì)量 [J].廣西電業(yè)，2013（3）：88-89+96.

[14] 譚馳.數(shù)據(jù)質(zhì)量管理系統(tǒng)研究與應用 [J].貴州電力技術(shù)，2014，17（4）：71-73.

[15] 朱如，李慶峰.數(shù)據(jù)質(zhì)量管理與企業(yè)信息化建設(shè) [J].計算機時代，2005（6）：31-33.

[16] 彭健恩.探討數(shù)據(jù)質(zhì)量管理的未來發(fā)展 [J].科技資訊，2017，15（29）：242-243+245.

[17] 景瑞娜.提高數(shù)據(jù)質(zhì)量管理的幾點思考 [J].中國金屬通報，2018（4）：137-138.

[18] 畢月俠.影響企業(yè)信息系統(tǒng)數(shù)據(jù)質(zhì)量的因素和提高的措施 [J].現(xiàn)代商業(yè)，2009（12）：222-223.

[19] 趙長生，姜立勇，董松金，等.制造型企業(yè)信息化基礎(chǔ)數(shù)據(jù)整理研究 [J].機械設(shè)計與制造工程，2013，42（1）：44-48+52.

作者簡介：夏榮（1987—），男，漢族，湖北洪湖人，助理工程師，碩士研究生，研究方向：混沌圖像加密、主數(shù)據(jù)管理、大數(shù)據(jù)技術(shù);趙捷（1988—），男，漢族，湖南株洲人，助理工程師，碩士研究生，研究方向：數(shù)據(jù)分析、數(shù)據(jù)挖掘、機器學習。