黃智敏

【摘要】作為一種戰(zhàn)略資源與生產(chǎn)要素的數(shù)據(jù)資源正在逐漸成為社會(huì)正常運(yùn)轉(zhuǎn)的基礎(chǔ)，成為企業(yè)的生命線。企業(yè)運(yùn)營(yíng)效率主要依賴于數(shù)據(jù)獲取的可靠性和及時(shí)性，因此，數(shù)據(jù)質(zhì)量成了企業(yè)的IT執(zhí)行官們最關(guān)心的問(wèn)題之一。本文主要研究企業(yè)的數(shù)據(jù)質(zhì)量管理。首先對(duì)數(shù)據(jù)質(zhì)量管理的重要性和現(xiàn)狀進(jìn)行了介紹，指出了企業(yè)中存在數(shù)據(jù)質(zhì)量問(wèn)題的普遍性，以及數(shù)據(jù)質(zhì)量問(wèn)題給企業(yè)帶來(lái)的損失。然后，介紹了數(shù)據(jù)質(zhì)量的有關(guān)理論，包括了質(zhì)量管理的發(fā)展簡(jiǎn)史和數(shù)據(jù)質(zhì)量概述，在這部分主要敘述了數(shù)據(jù)質(zhì)量的概念以及其他一些和數(shù)據(jù)質(zhì)量管理相關(guān)的因素。再次，探討了企業(yè)現(xiàn)有的數(shù)據(jù)質(zhì)量管理的方法及企業(yè)數(shù)據(jù)質(zhì)量管理中存在的問(wèn)題，通過(guò)對(duì)現(xiàn)有方法的分析對(duì)比并結(jié)合企業(yè)數(shù)據(jù)管理中存在的實(shí)際問(wèn)題，選定全面數(shù)據(jù)質(zhì)量管理TDQM，并在此基礎(chǔ)上提出了數(shù)據(jù)質(zhì)量管理的框架模型。最后是對(duì)該框架的介紹，該框架模型主要建立在數(shù)據(jù)清洗技術(shù)、數(shù)據(jù)倉(cāng)庫(kù)技術(shù)以及全面數(shù)據(jù)質(zhì)量管理理論之上，意在解決企業(yè)中的數(shù)據(jù)質(zhì)量問(wèn)題。

【關(guān)鍵詞】數(shù)據(jù)；數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量管理

【中圖分類號(hào)】F830.49 【文獻(xiàn)標(biāo)識(shí)碼】B 【文章編號(hào)】2095-3089（2017）35-0005-02

一、數(shù)據(jù)質(zhì)量管理的基本理論

20世紀(jì)40年代以前，質(zhì)量管理的主要方法就是質(zhì)量檢驗(yàn)，各個(gè)企業(yè)一般都設(shè)有專門的質(zhì)量檢驗(yàn)部門，有一支專門的質(zhì)量檢驗(yàn)隊(duì)伍，通過(guò)檢驗(yàn)來(lái)確保產(chǎn)品的出廠質(zhì)量。這種方式可以保證出廠產(chǎn)品的質(zhì)量，但是這是一種事后檢驗(yàn)把關(guān)，質(zhì)量狀況即成事實(shí)，如果全是不合格產(chǎn)品，則必須全部重新制造，難以在生產(chǎn)過(guò)程中進(jìn)行控制。而且這種方式在檢驗(yàn)時(shí)要求全數(shù)檢驗(yàn)，比較費(fèi)時(shí)，也比較費(fèi)工，成本也很高。這種方式最大的不足是發(fā)揮不了一線工人的積極性，不能使他們參與到質(zhì)量管理的過(guò)程中來(lái)。到目前為止，質(zhì)量檢驗(yàn)任是企業(yè)進(jìn)行質(zhì)量管理的重要手段之一。要進(jìn)行數(shù)據(jù)質(zhì)量的管理，首先要搞清哪些是數(shù)據(jù)質(zhì)量問(wèn)題。從表面上來(lái)看，這個(gè)問(wèn)題很簡(jiǎn)單：只要是因?yàn)閿?shù)據(jù)質(zhì)量不高而造成了損失，就可以認(rèn)為是數(shù)據(jù)質(zhì)量問(wèn)題。但是在實(shí)際的應(yīng)用中，這個(gè)界限卻很難劃分。例如，由于缺少某項(xiàng)數(shù)據(jù)而導(dǎo)致無(wú)法得出所需的數(shù)據(jù)分析結(jié)果就不是數(shù)據(jù)質(zhì)量問(wèn)題。那么如何來(lái)定義這個(gè)界限呢，最簡(jiǎn)單的定義是：由于正在使用中的數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高而造成損失，就可以被認(rèn)為是數(shù)據(jù)質(zhì)量問(wèn)題。這個(gè)定義的要點(diǎn)是正在使用的數(shù)據(jù)，即已經(jīng)存儲(chǔ)在業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。這個(gè)要點(diǎn)指出了與現(xiàn)有數(shù)據(jù)無(wú)關(guān)的內(nèi)容，并不在數(shù)據(jù)質(zhì)量管理的范圍內(nèi)。在實(shí)際的應(yīng)用中，要進(jìn)行數(shù)據(jù)質(zhì)量的管理首先就要區(qū)分清楚哪些是數(shù)據(jù)質(zhì)量問(wèn)題。

二、企業(yè)數(shù)據(jù)質(zhì)量管理中存在的問(wèn)題

目前企業(yè)在數(shù)據(jù)質(zhì)量管理中存在的問(wèn)題，既有管理方面的也有技術(shù)方面的。存在的問(wèn)題有下面一些。

1.數(shù)據(jù)質(zhì)量問(wèn)題范圍劃分錯(cuò)誤

許多企業(yè)在管理數(shù)據(jù)出現(xiàn)問(wèn)題時(shí)，并不能分清哪些是數(shù)據(jù)質(zhì)量的問(wèn)題。那么什么是數(shù)據(jù)質(zhì)量問(wèn)題，由于正在使用中的數(shù)據(jù)的數(shù)據(jù)質(zhì)量不高而造成損失，就可以被認(rèn)為是數(shù)據(jù)質(zhì)量問(wèn)題。這個(gè)描述為數(shù)據(jù)質(zhì)量問(wèn)題制定了一個(gè)前提條件：正在使用的數(shù)據(jù)，即已經(jīng)存儲(chǔ)在業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)。在實(shí)際的工作中，企業(yè)的工作人員往往將一些與現(xiàn)有數(shù)據(jù)無(wú)關(guān)的內(nèi)容作為數(shù)據(jù)質(zhì)量問(wèn)題來(lái)考慮，如找出現(xiàn)有系統(tǒng)中缺少的數(shù)據(jù)，這個(gè)不是數(shù)據(jù)質(zhì)量管理要考慮的范圍，但是在實(shí)際中往往會(huì)出現(xiàn)這種錯(cuò)誤。如果企業(yè)搞不清數(shù)據(jù)質(zhì)量問(wèn)題的范圍，那么就不可能真正解決數(shù)據(jù)質(zhì)量問(wèn)題。

2.數(shù)據(jù)質(zhì)量的判斷標(biāo)準(zhǔn)的問(wèn)題

數(shù)據(jù)質(zhì)量判斷標(biāo)準(zhǔn)是：適合當(dāng)前使用的數(shù)據(jù)就是高質(zhì)量的數(shù)據(jù)。雖然定義很簡(jiǎn)單，但是到了實(shí)際的應(yīng)用中卻是很麻煩。

首先，什么是高質(zhì)量的數(shù)據(jù)，不同的人又不同的定義。例如，對(duì)管理客戶的聯(lián)系信息的人來(lái)說(shuō)，高質(zhì)量的數(shù)據(jù)是指準(zhǔn)確的地址、郵箱之類的客戶聯(lián)系信息；對(duì)于客戶經(jīng)理來(lái)說(shuō)，高質(zhì)量的數(shù)據(jù)是指準(zhǔn)確的客戶來(lái)往記錄；而對(duì)于從事科學(xué)研究的人來(lái)說(shuō)，高質(zhì)量的數(shù)據(jù)是指清晰的描述數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。這些事例不僅說(shuō)明數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)必須根據(jù)每一個(gè)具體的案例來(lái)定義，而且同時(shí)也說(shuō)明數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)都是以滿足應(yīng)用要求為目標(biāo)的。所以實(shí)際的工作中具體定義高質(zhì)量的數(shù)據(jù)時(shí)會(huì)有一定的問(wèn)題。

其次，數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)的制度不僅僅是技術(shù)部門的事，也需要業(yè)務(wù)部門的緊密配合。數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)時(shí)技術(shù)和業(yè)務(wù)協(xié)作的結(jié)果，在實(shí)際工作中，不但需要與業(yè)務(wù)部門溝通，檢查業(yè)務(wù)規(guī)則的合理性和實(shí)效性，而且還要與技術(shù)部門密切合作，對(duì)數(shù)據(jù)質(zhì)量業(yè)務(wù)標(biāo)準(zhǔn)涉及的每一個(gè)數(shù)據(jù)項(xiàng)，都進(jìn)行數(shù)據(jù)質(zhì)量調(diào)查，并隨時(shí)在兩個(gè)部門之間進(jìn)行溝通協(xié)調(diào)，才有可能形成最終的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。然而很多企業(yè)未能意識(shí)到這點(diǎn)，在這些企業(yè)數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的制定僅僅是技術(shù)部門的工作。

3.數(shù)據(jù)分散問(wèn)題

如前所訴，在企業(yè)尤其是大型企業(yè)中一般存在許多個(gè)應(yīng)用系統(tǒng)，企業(yè)的數(shù)據(jù)可能以多種方式存在于不同的應(yīng)用系統(tǒng)當(dāng)中，并且被不同的應(yīng)用系統(tǒng)所維護(hù)。而這些數(shù)據(jù)中的一些是為多個(gè)系統(tǒng)所共享的，但是由于采用的技術(shù)和平臺(tái)以及數(shù)據(jù)庫(kù)的不同，企業(yè)的數(shù)據(jù)往往是以不同的格式存在于各個(gè)應(yīng)用系統(tǒng)之中的，這就使數(shù)據(jù)的共享出現(xiàn)了問(wèn)題。許多企業(yè)往往能夠意識(shí)到建立應(yīng)用系統(tǒng)的重要性，但是對(duì)于建立一個(gè)數(shù)據(jù)集成平臺(tái)以解決數(shù)據(jù)分散問(wèn)題的重要性卻認(rèn)識(shí)不夠。這導(dǎo)致了許多企業(yè)不能有效解決數(shù)據(jù)在不同系統(tǒng)之間共享的問(wèn)題，增加了數(shù)據(jù)管理的難度和數(shù)據(jù)管理的成本。

三、數(shù)據(jù)質(zhì)量管理框架設(shè)計(jì)

1.數(shù)據(jù)質(zhì)量管理框架的構(gòu)建

（1）數(shù)據(jù)質(zhì)量的六大基本要素是否滿足，所謂六大基本要素是指：

完整性：主要包括實(shí)體不缺失、屬性不缺失、記錄不缺失和字段值不缺失

四個(gè)方面；

唯一性：指主鍵唯一和候選鍵唯一兩個(gè)方面；

一致性：指統(tǒng)一數(shù)據(jù)來(lái)源、統(tǒng)一存儲(chǔ)和統(tǒng)一數(shù)據(jù)口徑；

精確度：指計(jì)量誤差、度量單位等方面的精確程度；

合法性：主要包括格式、類型、域值和業(yè)務(wù)規(guī)則的有效性；

及時(shí)性：指數(shù)據(jù)刷新、修改和提取等操作的及時(shí)性和快速性。

（2）如何從用戶視角衡量數(shù)據(jù)質(zhì)量，重視用戶對(duì)數(shù)據(jù)的滿意程度；

（3）如何建立基于CWM標(biāo)準(zhǔn)的元數(shù)據(jù)管理功能平臺(tái)，支持?jǐn)?shù)據(jù)質(zhì)量管理，為將來(lái)全網(wǎng)共享元數(shù)據(jù)奠定基礎(chǔ)；

（4）如何建立數(shù)據(jù)質(zhì)量監(jiān)控手段，及時(shí)發(fā)現(xiàn)、報(bào)告、處理經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量問(wèn)題；

（5）如何通過(guò)建立有效的數(shù)據(jù)質(zhì)量管理體系來(lái)保障和提升數(shù)據(jù)的價(jià)值。

2.數(shù)據(jù)倉(cāng)庫(kù)

第一層是本模型進(jìn)行數(shù)據(jù)質(zhì)量管理的關(guān)鍵層，該層以數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)的存儲(chǔ)介質(zhì)，通過(guò)存入數(shù)據(jù)倉(cāng)庫(kù)來(lái)改善數(shù)據(jù)質(zhì)量，因此在該層中數(shù)據(jù)倉(cāng)庫(kù)是重點(diǎn)，本節(jié)將重點(diǎn)介紹數(shù)據(jù)倉(cāng)庫(kù)。企業(yè)利用數(shù)據(jù)倉(cāng)庫(kù)，可以在了解商業(yè)環(huán)境的基礎(chǔ)上來(lái)看待生成的信息和事實(shí)，接著就可以利用商業(yè)技巧以及對(duì)該事實(shí)的經(jīng)驗(yàn)來(lái)提取知識(shí)，最后企業(yè)可以利用所提取的知識(shí)作出判斷或決策。企業(yè)使用數(shù)據(jù)倉(cāng)庫(kù)可以更好地支持下面的決策：

（1）利潤(rùn)增長(zhǎng)分析通過(guò)研究數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)來(lái)進(jìn)行歷史趨勢(shì)分析，從而了解產(chǎn)品銷售、服務(wù)與收益之間的關(guān)系。

（2）改變競(jìng)爭(zhēng)的基礎(chǔ)從數(shù)據(jù)倉(cāng)庫(kù)的歷史數(shù)據(jù)中收集客戶信息，從而正確地進(jìn)行市場(chǎng)定位，更精確、全面地滿足客戶的需要。客戶的滿意能加強(qiáng)他們和企業(yè)的關(guān)系。這種關(guān)系可以使得企業(yè)在與其他企業(yè)競(jìng)爭(zhēng)中自身變得更加強(qiáng)大。

（3）客戶關(guān)系管理通過(guò)數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用，增加對(duì)客戶實(shí)際情況的了解，可以指導(dǎo)市場(chǎng)部門與客戶保持適當(dāng)?shù)穆?lián)系，避免令人感到厭煩的多余的聯(lián)系。

因此在企業(yè)的數(shù)據(jù)質(zhì)量管理中建立數(shù)據(jù)倉(cāng)庫(kù)是必要的。當(dāng)數(shù)據(jù)從源系統(tǒng)或其他數(shù)據(jù)來(lái)源中提取出來(lái)時(shí)，應(yīng)該先經(jīng)過(guò)數(shù)據(jù)變換，才能將它送到數(shù)據(jù)倉(cāng)庫(kù)中。對(duì)數(shù)據(jù)進(jìn)行變換的目的有兩個(gè)：首先，改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量：第二，提高倉(cāng)庫(kù)中數(shù)據(jù)的可用性。

3.邏輯層

（1）建立全面數(shù)據(jù)質(zhì)量管理環(huán)境。這是全面數(shù)據(jù)質(zhì)量管理的第一步，也通常是最難的一步。企業(yè)應(yīng)該有專門的數(shù)據(jù)質(zhì)量管理部門，負(fù)責(zé)積極引導(dǎo)企業(yè)，從企業(yè)文化、企業(yè)制度體系、人才培養(yǎng)與訓(xùn)練系統(tǒng)等方面，為建立全體員工參與的數(shù)據(jù)質(zhì)量管理環(huán)境創(chuàng)造條件。在建設(shè)全面數(shù)據(jù)質(zhì)量管理環(huán)境時(shí)，建設(shè)人員應(yīng)該和其他部門的人員緊密合作，協(xié)調(diào)溝通有關(guān)問(wèn)題。同時(shí)要建立完善的數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)，促使質(zhì)量管理系統(tǒng)建設(shè)、使用和管理的專業(yè)人員及用戶，能夠在系統(tǒng)設(shè)計(jì)建設(shè)、實(shí)施使用和管理的全程，相互協(xié)作，共同為提高數(shù)據(jù)質(zhì)量而努力。

（2）制定全面數(shù)據(jù)質(zhì)量管理的實(shí)施計(jì)劃。該計(jì)劃包括數(shù)據(jù)質(zhì)量管理的總體目標(biāo)和方向；達(dá)到目標(biāo)應(yīng)采取的方法和策略；測(cè)度數(shù)據(jù)質(zhì)量管理計(jì)劃完成的情況。通過(guò)對(duì)計(jì)劃的管理和對(duì)目標(biāo)的分解細(xì)化，保障全面數(shù)據(jù)質(zhì)量管理順利地得以實(shí)施。計(jì)劃實(shí)施的前提。

（3）全面數(shù)據(jù)質(zhì)量管理措施的實(shí)施。實(shí)施全面數(shù)據(jù)質(zhì)量管理，首先要制定全面數(shù)據(jù)質(zhì)量管理的戰(zhàn)略規(guī)劃，把握總體方向，并分析確定數(shù)據(jù)質(zhì)量需求、確立標(biāo)準(zhǔn)。然后，根據(jù)分析結(jié)果，找出低質(zhì)量數(shù)據(jù)的產(chǎn)生原因，選取適當(dāng)?shù)臅r(shí)機(jī)，制訂可行的數(shù)據(jù)質(zhì)量改進(jìn)方案，并制定每個(gè)方案的具體的可執(zhí)行計(jì)劃。最后，選擇相應(yīng)的改進(jìn)方案并執(zhí)行。該過(guò)程可以概括為定義、測(cè)度、分析和提高。

（4）全面數(shù)據(jù)質(zhì)量管理過(guò)程的評(píng)估。評(píng)估能夠使數(shù)據(jù)質(zhì)量管理過(guò)程不斷優(yōu)化，數(shù)據(jù)質(zhì)量不斷提高。要合理制定數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)體系，適時(shí)對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。通過(guò)對(duì)數(shù)據(jù)質(zhì)量問(wèn)題發(fā)生的時(shí)間、地點(diǎn)、頻率和種類進(jìn)行統(tǒng)計(jì)分析，回答錯(cuò)誤發(fā)生在哪個(gè)環(huán)節(jié)、哪些錯(cuò)誤的發(fā)生比較頻繁、如何改進(jìn)數(shù)據(jù)質(zhì)量等關(guān)鍵問(wèn)題，對(duì)一些嚴(yán)重錯(cuò)誤進(jìn)行定位，對(duì)頻發(fā)錯(cuò)誤進(jìn)行研究，對(duì)管理漏洞進(jìn)行分析，從而掌握現(xiàn)行數(shù)據(jù)質(zhì)量管理過(guò)程中存在的不足，研究相應(yīng)的改進(jìn)措施，實(shí)現(xiàn)管理過(guò)程的循環(huán)往復(fù)和不斷優(yōu)化。

四、小結(jié)

本章所給的數(shù)據(jù)質(zhì)量管理框架為三層架構(gòu)，主要基于數(shù)據(jù)倉(cāng)庫(kù)和全面數(shù)據(jù)質(zhì)量管理思想進(jìn)行建設(shè)，旨在提高企業(yè)的數(shù)據(jù)質(zhì)量，從而提高企業(yè)的效益。模塊之間有一定的聯(lián)系，邏輯層和物理層提供第一層的數(shù)據(jù)質(zhì)量管理所需的要素。同時(shí)模塊之間也是相互獨(dú)立，可以直接引入比較成熟和有效的工具，例如數(shù)據(jù)清洗工具、質(zhì)量問(wèn)題分析工具等；而且，對(duì)應(yīng)于企業(yè)分層次的質(zhì)量管理，可以定義不同層次的數(shù)據(jù)產(chǎn)品及其質(zhì)量要求，有利于系統(tǒng)的逐步完善。

參考文獻(xiàn)

[1]宋敏，覃正.國(guó)外數(shù)據(jù)質(zhì)量管理研究綜述[J].情報(bào)雜志，2007.

[2]張根保.數(shù)字化質(zhì)量管理系統(tǒng)及其關(guān)鍵技術(shù)[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào)，2005.