范之光,曹愛琴,馬 杰
(華北石油通信公司,河北 任丘 062550)
華北油田自2011年啟動智慧油田建設以來,作為智慧油田4大板塊之一的“智慧礦區(qū)”也隨之建設,確定以基本型、智能型、智慧型為3個建設階段,逐步形成集生產(chǎn)運行、居民服務、社區(qū)管理、醫(yī)療健康4大功能板塊為一體的智慧礦區(qū),而隨之帶來的數(shù)據(jù)量越來越大。為避免造成各自的數(shù)據(jù)孤島,數(shù)據(jù)挖掘技術(shù)順其自然的應用到智慧礦區(qū)中。
數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中,提取隱含在其中人們事先不知道的、但又是潛在有用的信息和知識的過程。通過數(shù)據(jù)挖掘,可以充分利用所采集到的信息。與傳統(tǒng)方法相比,數(shù)據(jù)挖掘具有能夠處理更大規(guī)模數(shù)據(jù),即時查詢,準確提出預測等優(yōu)點[1]。
智慧礦區(qū)是礦區(qū)管理的一種新理念,是新形勢下社會管理創(chuàng)新的一種新模式。華北油田為方便礦區(qū)居民繳納水電訊等公共事業(yè)的費用、居民健康咨詢、客服管理等建立華北油田社區(qū)居民服務平臺,提供礦區(qū)綜合服務。
居民信息、便民熱線、繳費數(shù)據(jù)、醫(yī)療服務、社區(qū)安防等等信息,產(chǎn)生大量并發(fā)數(shù)據(jù),但由于上述應用的數(shù)據(jù)信息分屬于不同業(yè)務部門的數(shù)據(jù)庫,在數(shù)據(jù)采集點、數(shù)據(jù)標準等方面存在差異,因而無法實現(xiàn)數(shù)據(jù)共享和復雜應用,不僅數(shù)據(jù)冗余程度高,同時數(shù)據(jù)連續(xù)性和綜合決策支持能力也比較差,使用效率低。從上述角度出發(fā),以存儲格式的統(tǒng)一、規(guī)則和標準的統(tǒng)一、流程和算法的統(tǒng)一、管理平臺的統(tǒng)一為建設思路,建立統(tǒng)一、集成的信息系統(tǒng)平臺。
基于上述對數(shù)據(jù)挖掘的應用,構(gòu)建即席查詢、智能報表、多維分析、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)集成等模塊,以及數(shù)據(jù)確認、數(shù)據(jù)反饋兩個回路的數(shù)據(jù)管理分析平臺。
數(shù)據(jù)挖掘主要功能是從數(shù)據(jù)庫中獲取有意義的信息以及對數(shù)據(jù)歸納出有用的結(jié)構(gòu),作為制定決策的重要依據(jù)。數(shù)據(jù)挖掘模塊采用模塊化及組件化的設計理念,采用多種設計模式,充分利用高性能的各種數(shù)據(jù)挖掘算法、數(shù)據(jù)過濾器、數(shù)據(jù)文本及可視化的輸出方式,形成了更高效率挖掘大型數(shù)據(jù)庫及更高維數(shù)數(shù)據(jù)庫中潛在、隱含的各種關(guān)系及知識,為決策者提供了良好的數(shù)據(jù)支持[2]。
對于挖掘的應用,數(shù)據(jù)的最基本形式是數(shù)據(jù)庫數(shù)據(jù)、數(shù)據(jù)倉庫數(shù)據(jù)和事務數(shù)據(jù)。智慧礦區(qū)平臺關(guān)注的是每一個數(shù)據(jù)記錄,也就是事務數(shù)據(jù)。一般來說,事務數(shù)據(jù)庫的每個記錄代表一個事務,如顧客的一次購物、一次預約醫(yī)療服務,或者一個用戶的網(wǎng)頁點擊、一項客服熱線服務。通常,一個事務包含一個唯一的事務標識號,以及一個組成事務的項的列表[3]。這些數(shù)據(jù)的頻繁挖掘,感知礦區(qū)運行的各項體征數(shù)據(jù),管理者會發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián),分析數(shù)據(jù)因素,對數(shù)據(jù)進行歷史、現(xiàn)狀的綜合挖掘分析,從中發(fā)現(xiàn)客觀規(guī)律,較為準確地預測未來,提前發(fā)出預警信息,使當前決策和未來決策更有科學依據(jù)。
數(shù)據(jù)挖掘通過對數(shù)據(jù)庫、數(shù)據(jù)倉庫和事務數(shù)據(jù)中的記錄數(shù)據(jù)按照一定的規(guī)則進行信息開采、挖掘和分析,從中識別和抽取出潛在的規(guī)律和有用知識,并以此為管理者提供決策依據(jù)。數(shù)據(jù)挖掘主要以海量數(shù)據(jù)庫、支持數(shù)據(jù)集成與處理的數(shù)據(jù)倉庫為基礎,實現(xiàn)了數(shù)據(jù)預處理、聚類分析、關(guān)聯(lián)分析、分類及預測,屬性評估及數(shù)據(jù)可視化的數(shù)據(jù)挖掘技術(shù)。
在基礎共享數(shù)據(jù)和不同業(yè)務協(xié)同數(shù)據(jù)的基礎上,需要通過數(shù)據(jù)管理分析平臺對不同業(yè)務數(shù)據(jù)進行抽取轉(zhuǎn)換、清洗、加載到中心數(shù)據(jù)庫,并進行數(shù)據(jù)應用,根據(jù)相關(guān)業(yè)務主題和業(yè)務模型,形成專題業(yè)務數(shù)據(jù)庫,進行可以受理繳費明細查詢、交易趨勢分析、數(shù)據(jù)統(tǒng)籌分析、季度報表分析等的繳費報表。
3.2.1 繳費日報表一:各個業(yè)務單位統(tǒng)計表
各個業(yè)務單位統(tǒng)計表為統(tǒng)計華北油田社區(qū)服務系統(tǒng)接入的所有業(yè)務單位當天繳費情況信息,按照統(tǒng)計時間統(tǒng)計繳費總額,報表示例如表1所示:
表1 事業(yè)單位繳費統(tǒng)計表
各個業(yè)務單位繳費報表:
(1)可以更加方便查看社區(qū)服務系統(tǒng)所接入的所有業(yè)務單位繳費情況,直觀地反映各個業(yè)務單位每天的交易量及交易金額;
(2)同時可以根據(jù)每天交易量統(tǒng)計出每個業(yè)務單位繳費走勢,方便記錄用戶在該業(yè)務系統(tǒng)繳費時的高峰及低谷時段;
(3)當我們需要查詢某一天的交易情況時,不需再去查詢數(shù)據(jù)庫計算繳費金額,使用該報表即可準確、快捷地查出交易信息;
(4)在與各個業(yè)務單位對賬、劃賬時,該報表數(shù)據(jù)也可作為驗證統(tǒng)計出的對賬金額、劃賬金額正確性的依據(jù)。
3.2.2 繳費日報表二:繳費銀行統(tǒng)計表
銀行統(tǒng)計表為統(tǒng)計當天用戶使用不同網(wǎng)上銀行繳費時的繳費情況按照繳費周期匯總欠費信息報表,報表示例如表2所示:
表2 繳費銀行統(tǒng)計表
統(tǒng)計繳費銀行統(tǒng)計表:
(1)可以更加方便查看社區(qū)服務系統(tǒng)所接入的所有銀行的交易情況,直觀地反映各個銀行每天的交易量及交易金額;
(2)該表中所統(tǒng)計的總比數(shù)、總金額明確反映了本日社區(qū)服務系統(tǒng)總共的交易量及金額,不需人工再去計算;
(3)根據(jù)每天交易情況,更直觀地展現(xiàn)市民更喜歡使用哪種繳費方式來繳費,哪種方式交易量少,才能更好地優(yōu)化系統(tǒng)。
智慧礦區(qū)平臺每天都要對大量的數(shù)據(jù)進行挖掘處理,數(shù)據(jù)的完整性和安全性對整個系統(tǒng)正常運行至關(guān)重要,對數(shù)據(jù)空間的規(guī)劃、使用、清理、備份是實現(xiàn)數(shù)據(jù)完整性和安全性的主要途徑。數(shù)據(jù)安全機制——數(shù)據(jù)備份是指將數(shù)據(jù)以某種方式加以保留,以便在系統(tǒng)遭受破壞或其他特定情況下,重新加以利用的一個過程。
業(yè)務系統(tǒng)實時保護。智慧礦區(qū)平臺是以Web方式發(fā)布,所有數(shù)據(jù)實現(xiàn)內(nèi)網(wǎng)和外網(wǎng)雙層保護,當內(nèi)網(wǎng)Web服務器出現(xiàn)故障后,外網(wǎng)Web服務器將實現(xiàn)接管業(yè)務系統(tǒng),保證業(yè)務系統(tǒng)正常運行。為了保證內(nèi)外網(wǎng)服務器的數(shù)據(jù)能順利接管,實現(xiàn)業(yè)務級別的保護,對內(nèi)外網(wǎng)服務器應用系統(tǒng)實現(xiàn)準實時數(shù)據(jù)的復制和交互。同時對重要配置文件及業(yè)務數(shù)據(jù)進行備份。
平臺內(nèi)原始數(shù)據(jù)、業(yè)務參數(shù)數(shù)據(jù)、系統(tǒng)參數(shù)數(shù)據(jù)、清單數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、賬務數(shù)據(jù)、錯單數(shù)據(jù)等不同類型的數(shù)據(jù)其訪問頻度、管理要求不同,平臺建設有完整的應對策略;備份功能既要保證系統(tǒng)數(shù)據(jù)的完整性,又要保證系統(tǒng)在資源使用方面的高效率。對判斷過期的數(shù)據(jù)應進行準確的清理和完整的備份。
數(shù)據(jù)挖掘技術(shù)改變了數(shù)據(jù)的地位,使各種數(shù)據(jù)從一種 “間接”輔助的手段轉(zhuǎn)化為“直接”主要的方法。智慧礦區(qū)平臺建設基于云計算、物聯(lián)網(wǎng)和信息集成技術(shù),結(jié)合數(shù)據(jù)挖掘技術(shù),使居民信息、便民熱線、繳費數(shù)據(jù)、醫(yī)療服務、社區(qū)安防等數(shù)據(jù)可以直接指導礦區(qū)服務整體職能。智慧礦區(qū)的整體構(gòu)建加強和諧礦區(qū)的建設和管理、完善礦區(qū)功能、提升礦區(qū)服務水平,使礦區(qū)居民能夠感受到科技的發(fā)展,有數(shù)字信息化與智能化的生活體驗,擁有一個安全、舒適、溫馨和便利的易居環(huán)境。
同時,數(shù)據(jù)挖掘技術(shù)可以輔助管理者監(jiān)測平臺狀態(tài)、提高系統(tǒng)性能、隔離軟件錯誤、分析平臺缺陷、發(fā)現(xiàn)網(wǎng)路入侵和識別系統(tǒng)故障,讓智慧礦區(qū)平臺更好地服務于管理者及礦區(qū)居民。
[1] 陳玉濤.數(shù)據(jù)挖掘技術(shù)在油田企業(yè)生產(chǎn)中的應用[J].油氣田地面工程,2014,33(4):53-54.
[2] 蘆丹丹.面向社區(qū)智能服務的數(shù)據(jù)挖掘關(guān)鍵技術(shù)研究與實現(xiàn)[D].西安:西安電子科技大學,2013:41.
[3] Han J W,Kamber M,PEI J.數(shù)據(jù)挖掘:概念與技術(shù)[M].范明,孟小峰,譯.第 3 版.北京: 機械工業(yè)出版社,2014:6-9.