江疆，黃劍文，楊秋勇（廣東電網(wǎng)有限責(zé)任公司信息中心，廣州 510080）

基于廣東電網(wǎng)大數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理方法

江疆，黃劍文，楊秋勇
（廣東電網(wǎng)有限責(zé)任公司信息中心，廣州 510080）

0　引言

隨著智能電網(wǎng)建設(shè)的規(guī)模逐年增大，電網(wǎng)所產(chǎn)生的數(shù)據(jù)越來越多，類型也越來越復(fù)雜。這些數(shù)據(jù)包含大量的半結(jié)構(gòu)化和非結(jié)構(gòu)化信息，并且規(guī)模每年都呈指數(shù)級增長。智能電網(wǎng)的發(fā)展要求對電網(wǎng)故障作出快速響應(yīng)，短期負荷以及實時處理數(shù)據(jù)。為了有效解決這些問題，電網(wǎng)行業(yè)陸續(xù)引入了大數(shù)據(jù)技術(shù)來解決。

然而，面對日益復(fù)雜的業(yè)務(wù)邏輯和日益繁多的數(shù)據(jù)資源，沒有有效的數(shù)據(jù)質(zhì)量管理機制是不行的。當(dāng)前，電網(wǎng)系統(tǒng)的數(shù)據(jù)質(zhì)量問題主要體現(xiàn)在“系統(tǒng)外部問題”，“系統(tǒng)內(nèi)部問題”，“核對標準問題”等方面，這些問題的存在嚴重影響了系統(tǒng)的使用和推廣。電網(wǎng)需要引入數(shù)據(jù)質(zhì)量管理方法，以此數(shù)據(jù)質(zhì)量問題。

1　南方電網(wǎng)數(shù)據(jù)特點及對數(shù)據(jù)質(zhì)量的要求

南方電網(wǎng)所采集的各類數(shù)據(jù)主要具有種類多、高速、容量大、價值高的特征，其價值密度低卻又商業(yè)價值高。要有效地處理這些數(shù)據(jù)需要運用大數(shù)據(jù)技術(shù)。

目前，大數(shù)據(jù)技術(shù)已經(jīng)逐步走向成熟，也滲透到各個領(lǐng)域，然而在電力系統(tǒng)的應(yīng)用依然存在一定的挑戰(zhàn)，尤其是如何將種類豐富的數(shù)據(jù)進行整合。電力系統(tǒng)數(shù)據(jù)不僅包含結(jié)構(gòu)化數(shù)據(jù)，也包含系統(tǒng)日志等半結(jié)構(gòu)化數(shù)據(jù)及視頻檢測這種非結(jié)構(gòu)化數(shù)據(jù)[3]。非結(jié)構(gòu)化數(shù)據(jù)存儲在本地系統(tǒng)中，不利于對這種類型數(shù)據(jù)進行檢索分析，而半結(jié)構(gòu)化數(shù)據(jù)往往是以文件的形式進行存儲。隨著業(yè)務(wù)發(fā)展數(shù)據(jù)量的增加，應(yīng)用復(fù)雜導(dǎo)致的數(shù)據(jù)量增加，這些數(shù)據(jù)量增加了數(shù)據(jù)存儲和處理壓力，造成了不少的數(shù)據(jù)質(zhì)量隱患，這些問題的存在嚴重影響了系統(tǒng)的使用和推廣。

隨著電網(wǎng)運營朝著低成本、一體化、精細化、實時化以及智能化運營方向的發(fā)展，電網(wǎng)對大數(shù)據(jù)數(shù)據(jù)質(zhì)量的管理也提出了一定要求，如要求將已出現(xiàn)及潛在的數(shù)據(jù)質(zhì)量問題具體化，并落實到各環(huán)節(jié)的可檢查項中，實現(xiàn)流程化管理的要求；要求最大限度地修正目前存在的數(shù)據(jù)質(zhì)量問題，并建立有效地監(jiān)控機制，控制預(yù)防將來的錯誤范圍擴大的要求；要求在整個數(shù)據(jù)處理過程中，每個環(huán)節(jié)都建立數(shù)據(jù)質(zhì)量保證機制，最終在各個環(huán)節(jié)都保證數(shù)據(jù)的正確性、一致性、完整性和可靠性等。簡而言之，利用全面的數(shù)據(jù)質(zhì)量管理實現(xiàn)對電網(wǎng)大數(shù)據(jù)技術(shù)的支撐和完善。

2　數(shù)據(jù)質(zhì)量方法論

數(shù)據(jù)質(zhì)量的好壞是由用戶以及數(shù)據(jù)的使用價值所決定的，代表著數(shù)據(jù)在數(shù)據(jù)知識應(yīng)用中、數(shù)據(jù)所存在的系統(tǒng)中以及數(shù)據(jù)使用的過程中被應(yīng)用的程度，并且只有當(dāng)數(shù)據(jù)被下游過程所接收并使用時討論數(shù)據(jù)質(zhì)量問題才有意義。

2.1數(shù)據(jù)質(zhì)量的影響因素

數(shù)據(jù)質(zhì)量的影響因素有很多，可以根據(jù)產(chǎn)生的時間和節(jié)點劃分為數(shù)據(jù)導(dǎo)入過程、引起數(shù)據(jù)變壞的過程和內(nèi)部過程。

（1）數(shù)據(jù)導(dǎo)入過程

數(shù)據(jù)導(dǎo)入過程是指通過手工/接口/集成技術(shù)等方式將數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉庫的過程。該過程對數(shù)據(jù)質(zhì)量造成影響表現(xiàn)在以下方面：轉(zhuǎn)換初始數(shù)據(jù)時，缺少可靠的源系統(tǒng)的元數(shù)據(jù)，源數(shù)據(jù)本身不完善等；系統(tǒng)整頓時，通常發(fā)生于舊系統(tǒng)淘汰與合并，數(shù)據(jù)整頓與初始數(shù)據(jù)轉(zhuǎn)換面臨相同的挑戰(zhàn)，但問題更加復(fù)雜；人工數(shù)據(jù)錄入時，由于人為因素?zé)o法預(yù)防，難以預(yù)測。

（2）引起數(shù)據(jù)變壞的過程

引起數(shù)據(jù)變壞的過程包括以下內(nèi)容：變化未捕獲，系統(tǒng)之間往往有很多接口，但是在修改接口的時候往往沒有將其影響的接口一起修改；專業(yè)知識流失，人員流失后新人很難精確地理解數(shù)據(jù)意義；處理自動化，一些驗證界面可能在自動處理實施，但它們不能看到數(shù)據(jù)全部特性，或為了性能被關(guān)閉了，當(dāng)大量數(shù)據(jù)暴露給更多用戶后，一旦出錯受到更多抱怨，數(shù)據(jù)質(zhì)量感知變差。

（3）內(nèi)部過程

系統(tǒng)內(nèi)部的處理過程也在很大程度上對數(shù)據(jù)質(zhì)量水平產(chǎn)生影響。包括數(shù)據(jù)處理、數(shù)據(jù)清洗、數(shù)據(jù)清除。數(shù)據(jù)處理，日常數(shù)據(jù)處理的程序改變會引起數(shù)據(jù)質(zhì)量問題，新的數(shù)據(jù)采集程序也會引起的同樣的問題，更隱蔽的問題是數(shù)據(jù)處理在錯誤的時間意外發(fā)生，然后正確的程序可能產(chǎn)生錯誤的結(jié)果，因為數(shù)據(jù)并非處于它應(yīng)有的狀態(tài)；數(shù)據(jù)清洗，數(shù)據(jù)清洗的危險在于數(shù)據(jù)質(zhì)量問題的復(fù)雜性和內(nèi)部相關(guān)性。解決一個問題可能引起許多相同或其他相關(guān)數(shù)據(jù)元素的問題。數(shù)據(jù)自動清洗由計算機程序?qū)嵤?，計算機程序會有bug并影響大量記錄；數(shù)據(jù)質(zhì)量說明書未反映實際數(shù)據(jù)需求，結(jié)果數(shù)據(jù)可能符合理論模型但對實際使用仍是錯誤的；數(shù)據(jù)清除，數(shù)據(jù)清除存在意外清除其他相關(guān)數(shù)據(jù)的風(fēng)險。

2.2數(shù)據(jù)質(zhì)量保障體系

一個完善的、有效的數(shù)據(jù)質(zhì)量保障體系具有如下基本特點：（1）數(shù)據(jù)質(zhì)量全過程都是受控的；（2）活動必須是得到授權(quán)；（3）具備有效的數(shù)據(jù)質(zhì)量文檔，從而保障整個過程的可檢查性的；（4）全面的數(shù)據(jù)質(zhì)量管理；（5）持續(xù)的改進過程：從數(shù)據(jù)質(zhì)量本身來講，出現(xiàn)數(shù)據(jù)質(zhì)量問題是正常的，關(guān)鍵是進行糾正，并采取“預(yù)防再犯”的措施，所以質(zhì)量保障過程是一個持續(xù)的改進過程；（6）特別重視數(shù)據(jù)質(zhì)量問題數(shù)據(jù)的采集以及數(shù)據(jù)質(zhì)量知識庫的建設(shè)。

3　數(shù)據(jù)質(zhì)量在南方電網(wǎng)大數(shù)據(jù)中的應(yīng)用

3.1數(shù)據(jù)質(zhì)量檢查

數(shù)據(jù)質(zhì)量檢查是指檢查數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量是否存在問題，若存在問題，則識別數(shù)據(jù)質(zhì)量問題的級別。數(shù)據(jù)質(zhì)量檢查的目的是識別數(shù)據(jù)錯誤，衡量對各種業(yè)務(wù)過程的影響。具體包括以下內(nèi)容：

（1）接口數(shù)據(jù)檢查

接口數(shù)據(jù)提供可以是以文件的形式提供也可以是以數(shù)據(jù)表的形式提供，因此檢查針對接口文件和接口數(shù)據(jù)表。通過對接口數(shù)據(jù)完整性和及時性等方面的檢查檢查及時發(fā)現(xiàn)問題，以保證在數(shù)據(jù)在進入數(shù)據(jù)倉庫之前不存在明顯的數(shù)據(jù)質(zhì)量問題和隱患。

接口文件的檢查主要包括對文件格式、文件大小、記錄長度、傳送數(shù)量等方面的檢查；接口表的檢查主要包括對表的屬性、數(shù)據(jù)時間等方面的檢查；對于采取非上述接口方式的情況，可根據(jù)具體情況設(shè)計接口數(shù)據(jù)檢查的項目和內(nèi)容。

（2）數(shù)據(jù)倉庫檢查

數(shù)據(jù)倉庫檢查是對進入數(shù)據(jù)倉庫的數(shù)據(jù)進行數(shù)據(jù)完整性、一致性、正確性和及時性方面的檢查，以保證數(shù)據(jù)倉庫內(nèi)部的數(shù)據(jù)不存在數(shù)據(jù)質(zhì)量問題。

（3）指標檢查

數(shù)據(jù)展現(xiàn)的檢查主要檢查數(shù)據(jù)的正確性方面存在的質(zhì)量問題；以保證數(shù)據(jù)能夠真實反映業(yè)務(wù)實情。

3.2數(shù)據(jù)質(zhì)量問題控制

數(shù)據(jù)質(zhì)量控制是指采用一定的方法對已經(jīng)出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)進行處理。如果發(fā)現(xiàn)某些數(shù)據(jù)質(zhì)量問題是由于系統(tǒng)設(shè)計不合理等原因?qū)е碌模瑒t還需要變更數(shù)據(jù)倉庫系統(tǒng)。

數(shù)據(jù)質(zhì)量問題控制主要包括以下內(nèi)容如下。

（1）數(shù)據(jù)質(zhì)量問題處理流程

在本流程中，數(shù)據(jù)質(zhì)量管理員先根據(jù)問題的實際情況判斷數(shù)據(jù)質(zhì)量問題的歸屬節(jié)點，如果是數(shù)據(jù)倉庫系統(tǒng)內(nèi)部問題，即轉(zhuǎn)入數(shù)據(jù)倉庫系統(tǒng)變更處理流程；如果判斷為不是數(shù)據(jù)倉庫系統(tǒng)內(nèi)部問題，則提交數(shù)據(jù)質(zhì)量事件報告并申請數(shù)據(jù)質(zhì)量小組協(xié)調(diào)，數(shù)據(jù)質(zhì)量小組檢查數(shù)據(jù)質(zhì)量事件報告，確定責(zé)任歸屬。數(shù)據(jù)質(zhì)量小組中業(yè)務(wù)系統(tǒng)接口員由各個業(yè)務(wù)系統(tǒng)的代表擔(dān)任，在檢查過程中，各業(yè)務(wù)系統(tǒng)的代表應(yīng)該提供業(yè)務(wù)系統(tǒng)的實際情況，并結(jié)合自身的業(yè)務(wù)系統(tǒng)經(jīng)驗，協(xié)助數(shù)據(jù)質(zhì)量小組確定問題的根本原因。責(zé)任確定以后，確定的責(zé)任歸屬業(yè)務(wù)系統(tǒng)的代表應(yīng)該推動相應(yīng)的業(yè)務(wù)系統(tǒng)修改相應(yīng)的系統(tǒng)，并在系統(tǒng)修改完畢以后，發(fā)業(yè)務(wù)系統(tǒng)變更通知到數(shù)據(jù)倉庫系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)根據(jù)業(yè)務(wù)系統(tǒng)變更通知進入系統(tǒng)變更處理流程。最后，對于已經(jīng)發(fā)生錯誤的數(shù)據(jù)，則進入錯誤數(shù)據(jù)維護流程。

（2）錯誤數(shù)據(jù)維護流程

在系統(tǒng)中由于歷史原因?qū)е铝爽F(xiàn)有數(shù)據(jù)庫中數(shù)據(jù)存在錯誤，需要進行維護。錯誤數(shù)據(jù)的維護必須得到數(shù)據(jù)質(zhì)量管理員的同意，并在在維護完成后提交數(shù)據(jù)維護報告，數(shù)據(jù)質(zhì)量管理員可以采取適當(dāng)?shù)臋z查以驗證數(shù)據(jù)維護操作的執(zhí)行情況。

（3）數(shù)據(jù)倉庫系統(tǒng)變更處理流程

為了面對業(yè)務(wù)環(huán)境的挑戰(zhàn)，企業(yè)總是處在持續(xù)的變化過程中，數(shù)據(jù)倉庫系統(tǒng)必然處在不斷的變更中。系統(tǒng)變更處理流程從管理和技術(shù)兩個方面規(guī)范此類事件的處理流程，保證系統(tǒng)的任何更改可能對數(shù)據(jù)質(zhì)量造成的影響都是受控制的。

3.3數(shù)據(jù)質(zhì)量問題預(yù)防

數(shù)據(jù)質(zhì)量問題預(yù)防是指建立一系列的影響因素的監(jiān)控規(guī)則，以便及時發(fā)現(xiàn)可能影響數(shù)據(jù)質(zhì)量的因素的變化，及時處理，防止數(shù)據(jù)質(zhì)量問題的產(chǎn)生。數(shù)據(jù)質(zhì)量問題的預(yù)防包括以下內(nèi)容：

（1）數(shù)據(jù)質(zhì)量測試過程

數(shù)據(jù)倉庫系統(tǒng)處理海量的輸入，并產(chǎn)生了大量的輸出結(jié)果（報表、OLAP分析），其中間存貯也是海量的，使得數(shù)據(jù)倉庫系統(tǒng)的測試壓力非常大。需要特別加強對測試過程的管理。測試過程是企業(yè)的標準IT過程，在此描述的數(shù)據(jù)測試過程不是一個完整的測試過程，只是測試過程的一個子過程，加強了對數(shù)據(jù)質(zhì)量的預(yù)測和管理，同時在很大程度上起到預(yù)防數(shù)據(jù)質(zhì)量問題的作用。

為了保障數(shù)據(jù)質(zhì)量，數(shù)據(jù)管理員關(guān)注所有的測試過程，特別是數(shù)據(jù)倉庫系統(tǒng)中的所有測試方案和測試報告都必須要由數(shù)據(jù)質(zhì)量管理員進行檢查。測試方案中要求涵蓋對數(shù)據(jù)質(zhì)量的測試，數(shù)據(jù)質(zhì)量管理員對所有的測試方案進行檢查，并向數(shù)據(jù)質(zhì)量小組和數(shù)據(jù)倉庫系統(tǒng)開發(fā)組提交檢查報告，對于數(shù)據(jù)質(zhì)量管理員檢查不能通過的測試方案，要求必須在規(guī)定的期限內(nèi)重新設(shè)計并提交。數(shù)據(jù)質(zhì)量管理員對所有的測試報告進行檢查，并向數(shù)據(jù)質(zhì)量小組和開發(fā)小組提交檢查報告。對于數(shù)據(jù)質(zhì)量管理員檢查不能通過的測試報告，測試不能視為通過。

（2）統(tǒng)計口徑差異控制流程

統(tǒng)計口徑是元數(shù)據(jù)管理的重要組成部分，對于數(shù)據(jù)倉庫系統(tǒng)具有重要的意義，由于系統(tǒng)之間的統(tǒng)計口徑的差異已經(jīng)對數(shù)據(jù)倉庫系統(tǒng)的實施造成了一定影響，因此控制好統(tǒng)計口徑，使其保持一致性是預(yù)防數(shù)據(jù)質(zhì)量問題的基礎(chǔ)。

在統(tǒng)計口徑差異控制過程中，數(shù)據(jù)質(zhì)量管理員接受統(tǒng)計口徑差異問題報告，判斷是否已經(jīng)確定的統(tǒng)計口徑（已經(jīng)確定的/企業(yè)內(nèi)有明確的文檔明確規(guī)定的），如果不是，則需要通過數(shù)據(jù)質(zhì)量小組協(xié)調(diào)。數(shù)據(jù)質(zhì)量小組中包含了各部門的代表，數(shù)據(jù)質(zhì)量管理員要求相關(guān)的系統(tǒng)或者業(yè)務(wù)部門的代表提供本部門對該統(tǒng)計口徑的定義，理解，計算辦法，計算公式，并確定關(guān)注和使用該統(tǒng)計口徑的部門。統(tǒng)計口徑應(yīng)該以該統(tǒng)計口徑的定義和使用部門的解釋為準。如果有多個部門對同一個統(tǒng)計口徑的給出了不同的定義，并且使用了該統(tǒng)計口徑，數(shù)據(jù)質(zhì)量管理員應(yīng)該申請更高層次的協(xié)調(diào)。

（3）管理流程檢查

管理流程檢查包括管理機構(gòu)、管理流程及標準、質(zhì)量管理運作的檢查。完善的管理機構(gòu)、流程和標準以及完整的運作過程可以保障數(shù)據(jù)質(zhì)量，使數(shù)據(jù)倉庫在任何情況下都按照一定規(guī)則標準來運行維護。

4　實施效果

結(jié)合南方電網(wǎng)的數(shù)據(jù)特點和業(yè)務(wù)需求，使用全面的數(shù)據(jù)質(zhì)量管理機制，通過業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)的全體部門及人員齊心協(xié)力，把管理層面、技術(shù)層面以及統(tǒng)計方法和思想教育結(jié)合起來，建立從系統(tǒng)設(shè)計、管理、運營等全過程的數(shù)據(jù)質(zhì)量管理體系，進而有效地利用多方資源，提供符合期望的分析數(shù)據(jù)，從而提升南方電網(wǎng)的管理水平和工作效率，增加核心競爭力。

4.1數(shù)據(jù)質(zhì)量管理流程化、規(guī)范化

南方電網(wǎng)引入“主數(shù)據(jù)”管理概念，搭建起“數(shù)據(jù)資源管理平臺”。所有的主數(shù)據(jù)由專人專系統(tǒng)統(tǒng)一維護，變更信息時統(tǒng)一推送至其他應(yīng)用平臺。這樣確保了主要數(shù)據(jù)維護的唯一性、準確性，提升整體系統(tǒng)的數(shù)據(jù)質(zhì)量。同時，南方電網(wǎng)制定出一套完整數(shù)據(jù)質(zhì)量流程以及管理規(guī)范，從底層數(shù)據(jù)到上層應(yīng)用數(shù)據(jù)，形成有效統(tǒng)一的管理機制，最大程度上保證整個系統(tǒng)的數(shù)據(jù)質(zhì)量。

4.2數(shù)據(jù)質(zhì)量管理的有效性，全面性

南方電網(wǎng)最大限度地修正目前存在的數(shù)據(jù)質(zhì)量問題，建立了有效地監(jiān)控機制，控制預(yù)防將來的錯誤范圍擴大；與源系統(tǒng)數(shù)據(jù)質(zhì)量相互驗證，對源系統(tǒng)的部分數(shù)據(jù)起到一定的檢查作用，并相互促進在。同時，在整個數(shù)據(jù)處理過程中，每個環(huán)節(jié)都建立數(shù)據(jù)質(zhì)量保證機制，最終在各個環(huán)節(jié)都保證數(shù)據(jù)的正確性、一致性、完整性和可靠性。

4.3系統(tǒng)/業(yè)務(wù)管理常態(tài)化、精細化

通過數(shù)據(jù)質(zhì)量管理機制和技術(shù)規(guī)范促進信息通信運維作業(yè)水平提升，保障各類信息通信系統(tǒng)的穩(wěn)定運行。通過加強組織管理，落實流程制定與實施，在現(xiàn)有的業(yè)務(wù)流程、管理流程的基礎(chǔ)上進行優(yōu)化，將需求管理流程、數(shù)據(jù)質(zhì)量管理流程等納入了常態(tài)化管理，進而明確、細化各種流程中職責(zé)分工，確保各種工作能夠落實到人、管理到人、認責(zé)到人。

5　結(jié)語

隨著大數(shù)據(jù)技術(shù)的發(fā)展，未來電網(wǎng)將更加智能化、安全化，必定會向著低成本、高效率、高可靠性的方向轉(zhuǎn)變。而當(dāng)前的數(shù)據(jù)分析處理要求一套數(shù)據(jù)質(zhì)量管理機制，為了進一步提高廣東電網(wǎng)的核心競爭力，向客戶提高更好、更安全的服務(wù)，有必要積極研究數(shù)據(jù)質(zhì)量管理方法。研究能夠?qū)崿F(xiàn)對各種類型數(shù)據(jù)進行數(shù)據(jù)質(zhì)量問題檢查、數(shù)據(jù)質(zhì)量控制及數(shù)據(jù)質(zhì)量問題預(yù)防可以為電力行業(yè)的發(fā)展提供基礎(chǔ)支持，促進企業(yè)發(fā)展。

[1]李翠平，王敏峰.大數(shù)據(jù)的挑戰(zhàn)與機遇[J].科研信息化技術(shù)與應(yīng)用，2013，4(1):12-18.

[2]段軍紅，張奈丹，趙博等.電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)與應(yīng)用研究[J].中天科技，2015，13(2):92-94.

[3]岳陽，張曉佳，高一丹.基于Hadoop的電力大數(shù)據(jù)技術(shù)體系研究[J].電力與能源，2015，36(2):16-20.

Data Quality;Data Quality Management;Quality Control;Quality Prevention

Data Quality Management Based on Guangdong Power Grid

JIANG Jiang，HUANG Jian-wen，YANG Qiu-yong
（Information Centre of Guangdong Grid Co，Guangzhou510080）

1007-1423（2016）07-0088-04

10.3969/j.issn.1007-1423.2016.07.019

2015-12-07

2016-01-20

隨著廣東電網(wǎng)智能化建設(shè)和規(guī)模的擴大，電網(wǎng)系統(tǒng)業(yè)務(wù)邏輯越來越復(fù)雜，數(shù)據(jù)也越來越龐大，導(dǎo)致類似“系統(tǒng)外部問題”、“系統(tǒng)內(nèi)部問題”、“核對標準問題”等的數(shù)據(jù)質(zhì)量問題，嚴重影響系統(tǒng)的使用和推廣。根據(jù)電力大數(shù)據(jù)的特點和發(fā)展趨勢，結(jié)合廣東電網(wǎng)數(shù)據(jù)質(zhì)量的現(xiàn)狀，從公司業(yè)務(wù)特點和實際需求出發(fā)，提出一種高效的數(shù)據(jù)質(zhì)量管理方法，并分析該方法的數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量問題控制和數(shù)據(jù)質(zhì)量問題預(yù)防等方面的實施。

數(shù)據(jù)質(zhì)量；數(shù)據(jù)質(zhì)量管理；問題控制；問題預(yù)防

江疆（1982-），湖北人，博士，研究方向為電力計算應(yīng)用系統(tǒng)開發(fā)與管理、機器學(xué)習(xí)黃劍文（1963-），廣東人，研究生，研究方向為數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用

楊秋勇（1986-），廣東人，碩士，研究方向為智能信息處理、數(shù)據(jù)挖掘

With the expansion of Guangdong Power Grid,the business logic is more and more complex and the database becomes larger and larger, which resulting in questions like"system of external problems","internal system problems","check the standard problems"and so on, that seriously affecting the use and promotion of the system.Considering the characteristics of big data and the business characteristics and the needs of Guangdong Power Grid,proposes an efficient method to manage data quality,and then analyses quality check,quality control and quality prevention during the practice of Guangdong Power Grid.