杜? B
摘 ?要 ?隨著民航信息化的快速深入,數(shù)據(jù)倉庫技術(shù)的日趨成熟,建設(shè)基于數(shù)據(jù)倉庫的民航機(jī)場決策支持系統(tǒng)對于分析機(jī)場運行管理、發(fā)現(xiàn)規(guī)律及問題有很重要的意義。本文給出了基于數(shù)據(jù)倉庫的民航機(jī)場決策支持系統(tǒng)的體系結(jié)構(gòu),闡述了數(shù)據(jù)采集、數(shù)據(jù)建模及數(shù)據(jù)分析的方法,并對實現(xiàn)技術(shù)進(jìn)行了介紹。
關(guān)鍵詞 ?民航機(jī)場;數(shù)據(jù)倉庫;決策支持系統(tǒng);OLAP
中圖分類號:TP3 ? ? ?文獻(xiàn)標(biāo)識碼:A ? ? ?文章編號:1671-7597(2014)21-0011-02
隨著民航業(yè)的迅猛發(fā)展,對信息化的要求越來越高。國內(nèi)民航機(jī)場為了適應(yīng)發(fā)展的需要在不同歷史階段建立了相應(yīng)的信息處理系統(tǒng),這些系統(tǒng)間相互隔離,結(jié)構(gòu)各異并在日常運行中積累了大量的行業(yè)歷史數(shù)據(jù),這些數(shù)據(jù)時刻都涌到企業(yè)決策者們的面前,需要他們?nèi)シ治鎏幚韀1]。眾所周知,歷史數(shù)據(jù)是產(chǎn)生知識的重要來源,如何將行業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行組織利用,并將其轉(zhuǎn)化為知識,幫助決策者做出更快捷、更正確的決策,是每一家機(jī)場當(dāng)前面臨的一個難題[2],因此,開發(fā)一套專用于機(jī)場的決策支持系統(tǒng)(DSS)具有很重要的現(xiàn)實意義。
1 ?決策支持系統(tǒng)相關(guān)技術(shù)
1)數(shù)據(jù)倉庫。
數(shù)據(jù)倉庫是面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合,用以支持經(jīng)營管理中的決策支持制定過
程[3]。數(shù)據(jù)倉庫中的數(shù)據(jù)面向主題與傳統(tǒng)的數(shù)據(jù)庫面向應(yīng)用相對應(yīng)。主題是一個在較高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn),每一個主題對應(yīng)一個宏觀的分析領(lǐng)域。數(shù)據(jù)倉庫是不同時間的數(shù)據(jù)集合,它要求數(shù)據(jù)倉庫中的數(shù)據(jù)保存時限能滿足進(jìn)行決策分析的需要,而且數(shù)據(jù)倉庫中的數(shù)據(jù)都要標(biāo)明該數(shù)據(jù)的歷史時期。
數(shù)據(jù)倉庫最根本的特點就是數(shù)據(jù)源,數(shù)據(jù)倉庫中的數(shù)據(jù)并不是最新的,專有的,而是來源于其它數(shù)據(jù)庫[4]。為了能從已有的數(shù)據(jù)源提取數(shù)據(jù),并組織成用于決策分析所需的綜合數(shù)據(jù)形式,一個數(shù)據(jù)倉庫的基本體系結(jié)構(gòu)應(yīng)包括:數(shù)據(jù)源、數(shù)據(jù)源、數(shù)據(jù)倉庫、數(shù)據(jù)集市。
2)聯(lián)機(jī)分析處理(OLAP)。
聯(lián)機(jī)分析處理(OLAP)是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析,通過對信息的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取,允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察,它的技術(shù)核心是“維”這個概念[5],“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分。
OLAP的基本多維分析操作有鉆?。╮oll up和drill down)、切片(slice)和切塊(dice)、以及旋轉(zhuǎn)(pivot)、drill across、drill through等。
利用OLAP技術(shù)與數(shù)據(jù)倉庫的結(jié)合可以較好地解決決策分析系統(tǒng)需要處理大量異構(gòu)數(shù)據(jù)源的問題。
2 ?基于數(shù)據(jù)倉庫的民航機(jī)場決策支持系統(tǒng)設(shè)計和實現(xiàn)
2.1 ?系統(tǒng)體系結(jié)構(gòu)
基于數(shù)據(jù)倉庫的民航機(jī)場決策支持系統(tǒng)是一個包含:基礎(chǔ)架構(gòu)層、數(shù)據(jù)層、應(yīng)用層及統(tǒng)一展現(xiàn)層四個層次的體系結(jié)構(gòu),總體結(jié)構(gòu)圖如圖1所示。
基礎(chǔ)架構(gòu)層主要是對數(shù)據(jù)倉庫中要使用的各種硬件資源的規(guī)劃和部署,這些硬件資源包括:服務(wù)器、ETL集群、調(diào)度服務(wù)器、報表集群、文件傳輸集群、共享文件存儲等。
數(shù)據(jù)層主要包含為決策支持提供數(shù)據(jù)的所有來源,可以是已經(jīng)建設(shè)使用的系統(tǒng),也可以是各類文件報表和手工填報的
數(shù)據(jù)。
應(yīng)用層是將決策支持系統(tǒng)所需的數(shù)據(jù)從各數(shù)據(jù)源中抽取出來并進(jìn)行處理,按功能劃分主要由以下幾個部分組成。
1)存儲管理:數(shù)據(jù)模型、數(shù)據(jù)存儲策略、數(shù)據(jù)備份和恢復(fù)策略、數(shù)據(jù)生命周期管理、報表數(shù)據(jù)的存放和備份清理策略等。
2)ETL過程:對數(shù)據(jù)采集、抽取和加工處理。
3)數(shù)據(jù)處理流程:數(shù)據(jù)的部署和流轉(zhuǎn)、數(shù)據(jù)的組織(數(shù)據(jù)模型)、數(shù)據(jù)在數(shù)據(jù)流轉(zhuǎn)過程中的屬性(元數(shù)據(jù)管理)
4)數(shù)據(jù)質(zhì)量控制:在數(shù)據(jù)流轉(zhuǎn)過程中的各個環(huán)節(jié)對數(shù)據(jù)變化的正確性進(jìn)行校驗。
統(tǒng)一展現(xiàn)層是指通過OLAP技術(shù),把數(shù)據(jù)在一定層次上聚集,方便用戶查詢,以及從多維的角度對數(shù)據(jù)進(jìn)行切片、切塊、旋轉(zhuǎn)等操作,進(jìn)一步增加用戶對數(shù)據(jù)的理解。此外,還可用于企業(yè)的報表分析,在日常的企業(yè)管理過程中,需要大量的報表,統(tǒng)一展現(xiàn)層可以為最終用戶提供各種報表。
圖1
2.2 ?數(shù)據(jù)倉庫設(shè)計
1)確定主題。
主題是建立在用戶需求的基礎(chǔ)上的,確定主題首先要明確用戶需求,對管理者,尤其是對決策者的需求進(jìn)行深入挖掘和分析,然后根據(jù)需求的類型和緊急、重要程度劃分?jǐn)?shù)據(jù)倉庫的主題。民航機(jī)場決策支持系統(tǒng)中的主題涵蓋以下幾個方面:航空主業(yè)、服務(wù)質(zhì)量、安全、人力資源、財務(wù)和市場拓展。
2)數(shù)據(jù)采集。
根據(jù)需求確定主題之后就能確定用于支持決策分析系統(tǒng)的數(shù)據(jù)源。民航機(jī)場決策支持系統(tǒng)的數(shù)據(jù)源根據(jù)提供的方式可以劃分為三類:內(nèi)部數(shù)據(jù)源、外部數(shù)據(jù)源以及根據(jù)需求手工補錄的數(shù)據(jù)源。這些數(shù)據(jù)源根據(jù)特點可以采用不同的方式進(jìn)行數(shù)據(jù)采集。
內(nèi)部數(shù)據(jù)可以采用中間表的形式進(jìn)行采集。外部數(shù)據(jù)源采用文件傳輸?shù)姆绞竭M(jìn)行數(shù)據(jù)采集。對于需要手工補錄的數(shù)據(jù),需要提供前端補錄界面、文件導(dǎo)入等功能,補錄的業(yè)務(wù)數(shù)據(jù)將如同普通的源數(shù)據(jù)一樣在數(shù)據(jù)倉庫中進(jìn)行處理和存儲。
3)ETL設(shè)計。
ETL是對采集來的數(shù)據(jù)進(jìn)行清洗、加工、轉(zhuǎn)換的過程。在設(shè)計ETL流程時要考慮以下幾個原則:高效性、可擴(kuò)展性、靈活性、可遷移性、可恢復(fù)性和一致性。民航機(jī)場決策支持系統(tǒng)的ETL過程根據(jù)以上原則和實際情況設(shè)計如下。
圖2endprint
ETL過程主要包括四個階段:
標(biāo)準(zhǔn)化過程即數(shù)據(jù)抽取、清洗檢核、通用代碼轉(zhuǎn)換、字段標(biāo)準(zhǔn)化、數(shù)據(jù)加載。
模型化過程是將從標(biāo)準(zhǔn)化過程過來的數(shù)據(jù)進(jìn)行映射、轉(zhuǎn)換、聯(lián)接等操作,同時該過程還包括增量合并全量、數(shù)據(jù)加載、拉鏈歷史數(shù)據(jù)保留等過程。
匯總加工過程是對模型化后的數(shù)據(jù)進(jìn)行統(tǒng)計計算并將統(tǒng)計結(jié)果指標(biāo)化,并將數(shù)據(jù)加載到下一個過程。
業(yè)務(wù)邏輯加工過程,是對匯總加工過程之后的數(shù)據(jù)進(jìn)行篩選并加工,并轉(zhuǎn)換成可供OLAP展示的數(shù)據(jù),即最終數(shù)據(jù)落地
過程。
4)數(shù)據(jù)模型設(shè)計。
數(shù)據(jù)模型的設(shè)計是一個非常復(fù)雜而艱辛的過程,需要經(jīng)過對目前和將來可預(yù)見的業(yè)務(wù)需求的深入分析,需要對業(yè)務(wù)架構(gòu)進(jìn)行高度抽象和支持。民航機(jī)場決策支持系統(tǒng)的數(shù)據(jù)模型設(shè)計參考了國內(nèi)外航空業(yè)建模經(jīng)驗,在本邏輯模型設(shè)計中按照業(yè)務(wù)主題對數(shù)據(jù)進(jìn)行整合、分類組織和存儲,每個主題下設(shè)計相應(yīng)的數(shù)據(jù)模型,最后構(gòu)成統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。
系統(tǒng)的數(shù)據(jù)模型采用分層、有序的形式,其從下到上依次為:標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM)、基礎(chǔ)數(shù)據(jù)模型(LDM)和加工匯總數(shù)據(jù)模型(ADM),其中基礎(chǔ)模型層(LDM)和加工匯總層(ADM),根據(jù)機(jī)場決策支持系統(tǒng)的應(yīng)用目標(biāo),需要進(jìn)行建模處理,以盡可能完成必要的數(shù)據(jù)整合、數(shù)據(jù)匯總加工等。
標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM):SDM存放與源系統(tǒng)保持一致的標(biāo)準(zhǔn)增量數(shù)據(jù),但是經(jīng)過必要的清洗檢核,命名和類型標(biāo)準(zhǔn)化、代碼標(biāo)準(zhǔn)化處理。
基礎(chǔ)數(shù)據(jù)模型(LDM):本層數(shù)據(jù)模型形成的數(shù)據(jù)是面向主題的,每個主題下按業(yè)務(wù)思維進(jìn)一步細(xì)分為多個子主題,所有數(shù)據(jù)實體表都存儲在這個由“主題-子主題”構(gòu)成的樹型目錄下。民航機(jī)場決策支持系統(tǒng)的LDM數(shù)據(jù)模型按主題劃分可以分為以下幾個。
①人力資源主題:人力資源主題用于組織和存儲機(jī)場組織架構(gòu)、部門和員工的信息。為數(shù)據(jù)按組織維度統(tǒng)計、勞動生產(chǎn)率統(tǒng)計、員工管理統(tǒng)計提供數(shù)據(jù)支撐。
②航空主業(yè)主題:航空主業(yè)主題用于組織和存儲機(jī)場提供的航空服務(wù)信息,主要包括航班計劃和執(zhí)行情況、旅客到離崗信息、貨運情況、貴賓服務(wù)信息以及資源利用情況等。
③安全生產(chǎn)主題:安全生產(chǎn)主題組織和存儲機(jī)場安全生產(chǎn)相關(guān)的數(shù)據(jù)。包括不安全事件、能源信息、危險品等。安全主題中的一些不安全事件需要由執(zhí)行人員補錄登記到系統(tǒng)中,以保障數(shù)據(jù)分析統(tǒng)計的可靠性。
④財務(wù)主題:財務(wù)主題主要用于組織和存儲機(jī)場財務(wù)報表信息,主要數(shù)據(jù)來源于報表系統(tǒng)。
⑤服務(wù)主題:服務(wù)主題主要用于組織和存儲機(jī)場提供服務(wù)質(zhì)量的調(diào)查反饋,主要包括旅客投訴、旅客滿意度調(diào)查信息等。
加工匯總數(shù)據(jù)模型(ADM):ADM是用來保存機(jī)場共性的加工匯總數(shù)據(jù)的。相對而言,LDM保存的是機(jī)場業(yè)務(wù)實體數(shù)據(jù)的明細(xì)信息,而ADM保存的是根據(jù)業(yè)務(wù)邏輯,按某種需求加工而得的統(tǒng)計信息,在業(yè)界,這些數(shù)據(jù)往往也被稱之為“指標(biāo)”。
ADM模型設(shè)計也需要按照主題劃分,通常按指標(biāo)的業(yè)務(wù)種類劃分來設(shè)置ADM主題,同時考慮到指標(biāo)的綜合性,ADM中會增加一個綜合指標(biāo)主題,用于保存一些綜合性的統(tǒng)計指標(biāo)。ADM的命名規(guī)范等,也需要是和LDM統(tǒng)一、和諧的。
2.3 ?OLAP設(shè)計
OLAP設(shè)計的主要問題是如何組織數(shù)據(jù)倉庫中的綜合數(shù)據(jù),以滿足分析決策人員對多維數(shù)據(jù)分析的需要。OLAP的基本分析操作有上鉆、下翻、切片、切塊等。民航?jīng)Q策支持系統(tǒng)利用OLAP工具完成對各主題的各項指標(biāo)的分析,并用圖表的形式進(jìn)行可視化展現(xiàn)。為了使展現(xiàn)內(nèi)容更直觀、具體,單獨開發(fā)了一套展示平臺系統(tǒng),建立更友好的界面,將OLAP中得出的各種表格、報表加以展示,方便決策人員使用。
3 ?結(jié)束語
本文結(jié)合實際,給出了一種利用數(shù)據(jù)倉庫及相關(guān)技術(shù)實現(xiàn)民航機(jī)場決策分析系統(tǒng)的方案,將數(shù)據(jù)倉庫技術(shù)引入了民航機(jī)場信息管理中。這套系統(tǒng)的研究開發(fā)能有效地解決民航機(jī)場企業(yè)中龐大數(shù)據(jù)與數(shù)據(jù)分析之間的矛盾。通過對大量相關(guān)數(shù)據(jù)的統(tǒng)計分析和深層挖掘,可以發(fā)現(xiàn)機(jī)場在日常運行管理中的規(guī)律及疏漏,有效地改進(jìn)工作流程和方法,提升管理人員的管理決策能力,提高機(jī)場的市場占有率及競爭力。
參考文獻(xiàn)
[1]鄭廣,李建政,張義軍.應(yīng)用數(shù)據(jù)倉庫技術(shù)實現(xiàn)民航?jīng)Q策支持系統(tǒng)[J].計算機(jī)工程與應(yīng)用,2002(5):249-252.
[2]曹靜.基于數(shù)據(jù)倉庫的高校圖書館決策支持系統(tǒng)研究[J].農(nóng)業(yè)圖書情報學(xué)刊,2010,22(6):52-55.
[3]劉淑華.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的研究與應(yīng)用[J].內(nèi)蒙古科技與經(jīng)濟(jì),2010(10):62-63.
[4] Inmon,W.H.數(shù)據(jù)倉庫[M].機(jī)械工業(yè)出版社,2006.
[5]Brik Thomscn.OLAP解決方案:創(chuàng)建多維信息系統(tǒng)[M].電子工業(yè)出版社,2004.
作者簡介
杜瑾珺(1982-),女,漢族,重慶人,工程師,碩士,研究方向:計算機(jī)信息系統(tǒng)。endprint
ETL過程主要包括四個階段:
標(biāo)準(zhǔn)化過程即數(shù)據(jù)抽取、清洗檢核、通用代碼轉(zhuǎn)換、字段標(biāo)準(zhǔn)化、數(shù)據(jù)加載。
模型化過程是將從標(biāo)準(zhǔn)化過程過來的數(shù)據(jù)進(jìn)行映射、轉(zhuǎn)換、聯(lián)接等操作,同時該過程還包括增量合并全量、數(shù)據(jù)加載、拉鏈歷史數(shù)據(jù)保留等過程。
匯總加工過程是對模型化后的數(shù)據(jù)進(jìn)行統(tǒng)計計算并將統(tǒng)計結(jié)果指標(biāo)化,并將數(shù)據(jù)加載到下一個過程。
業(yè)務(wù)邏輯加工過程,是對匯總加工過程之后的數(shù)據(jù)進(jìn)行篩選并加工,并轉(zhuǎn)換成可供OLAP展示的數(shù)據(jù),即最終數(shù)據(jù)落地
過程。
4)數(shù)據(jù)模型設(shè)計。
數(shù)據(jù)模型的設(shè)計是一個非常復(fù)雜而艱辛的過程,需要經(jīng)過對目前和將來可預(yù)見的業(yè)務(wù)需求的深入分析,需要對業(yè)務(wù)架構(gòu)進(jìn)行高度抽象和支持。民航機(jī)場決策支持系統(tǒng)的數(shù)據(jù)模型設(shè)計參考了國內(nèi)外航空業(yè)建模經(jīng)驗,在本邏輯模型設(shè)計中按照業(yè)務(wù)主題對數(shù)據(jù)進(jìn)行整合、分類組織和存儲,每個主題下設(shè)計相應(yīng)的數(shù)據(jù)模型,最后構(gòu)成統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。
系統(tǒng)的數(shù)據(jù)模型采用分層、有序的形式,其從下到上依次為:標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM)、基礎(chǔ)數(shù)據(jù)模型(LDM)和加工匯總數(shù)據(jù)模型(ADM),其中基礎(chǔ)模型層(LDM)和加工匯總層(ADM),根據(jù)機(jī)場決策支持系統(tǒng)的應(yīng)用目標(biāo),需要進(jìn)行建模處理,以盡可能完成必要的數(shù)據(jù)整合、數(shù)據(jù)匯總加工等。
標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM):SDM存放與源系統(tǒng)保持一致的標(biāo)準(zhǔn)增量數(shù)據(jù),但是經(jīng)過必要的清洗檢核,命名和類型標(biāo)準(zhǔn)化、代碼標(biāo)準(zhǔn)化處理。
基礎(chǔ)數(shù)據(jù)模型(LDM):本層數(shù)據(jù)模型形成的數(shù)據(jù)是面向主題的,每個主題下按業(yè)務(wù)思維進(jìn)一步細(xì)分為多個子主題,所有數(shù)據(jù)實體表都存儲在這個由“主題-子主題”構(gòu)成的樹型目錄下。民航機(jī)場決策支持系統(tǒng)的LDM數(shù)據(jù)模型按主題劃分可以分為以下幾個。
①人力資源主題:人力資源主題用于組織和存儲機(jī)場組織架構(gòu)、部門和員工的信息。為數(shù)據(jù)按組織維度統(tǒng)計、勞動生產(chǎn)率統(tǒng)計、員工管理統(tǒng)計提供數(shù)據(jù)支撐。
②航空主業(yè)主題:航空主業(yè)主題用于組織和存儲機(jī)場提供的航空服務(wù)信息,主要包括航班計劃和執(zhí)行情況、旅客到離崗信息、貨運情況、貴賓服務(wù)信息以及資源利用情況等。
③安全生產(chǎn)主題:安全生產(chǎn)主題組織和存儲機(jī)場安全生產(chǎn)相關(guān)的數(shù)據(jù)。包括不安全事件、能源信息、危險品等。安全主題中的一些不安全事件需要由執(zhí)行人員補錄登記到系統(tǒng)中,以保障數(shù)據(jù)分析統(tǒng)計的可靠性。
④財務(wù)主題:財務(wù)主題主要用于組織和存儲機(jī)場財務(wù)報表信息,主要數(shù)據(jù)來源于報表系統(tǒng)。
⑤服務(wù)主題:服務(wù)主題主要用于組織和存儲機(jī)場提供服務(wù)質(zhì)量的調(diào)查反饋,主要包括旅客投訴、旅客滿意度調(diào)查信息等。
加工匯總數(shù)據(jù)模型(ADM):ADM是用來保存機(jī)場共性的加工匯總數(shù)據(jù)的。相對而言,LDM保存的是機(jī)場業(yè)務(wù)實體數(shù)據(jù)的明細(xì)信息,而ADM保存的是根據(jù)業(yè)務(wù)邏輯,按某種需求加工而得的統(tǒng)計信息,在業(yè)界,這些數(shù)據(jù)往往也被稱之為“指標(biāo)”。
ADM模型設(shè)計也需要按照主題劃分,通常按指標(biāo)的業(yè)務(wù)種類劃分來設(shè)置ADM主題,同時考慮到指標(biāo)的綜合性,ADM中會增加一個綜合指標(biāo)主題,用于保存一些綜合性的統(tǒng)計指標(biāo)。ADM的命名規(guī)范等,也需要是和LDM統(tǒng)一、和諧的。
2.3 ?OLAP設(shè)計
OLAP設(shè)計的主要問題是如何組織數(shù)據(jù)倉庫中的綜合數(shù)據(jù),以滿足分析決策人員對多維數(shù)據(jù)分析的需要。OLAP的基本分析操作有上鉆、下翻、切片、切塊等。民航?jīng)Q策支持系統(tǒng)利用OLAP工具完成對各主題的各項指標(biāo)的分析,并用圖表的形式進(jìn)行可視化展現(xiàn)。為了使展現(xiàn)內(nèi)容更直觀、具體,單獨開發(fā)了一套展示平臺系統(tǒng),建立更友好的界面,將OLAP中得出的各種表格、報表加以展示,方便決策人員使用。
3 ?結(jié)束語
本文結(jié)合實際,給出了一種利用數(shù)據(jù)倉庫及相關(guān)技術(shù)實現(xiàn)民航機(jī)場決策分析系統(tǒng)的方案,將數(shù)據(jù)倉庫技術(shù)引入了民航機(jī)場信息管理中。這套系統(tǒng)的研究開發(fā)能有效地解決民航機(jī)場企業(yè)中龐大數(shù)據(jù)與數(shù)據(jù)分析之間的矛盾。通過對大量相關(guān)數(shù)據(jù)的統(tǒng)計分析和深層挖掘,可以發(fā)現(xiàn)機(jī)場在日常運行管理中的規(guī)律及疏漏,有效地改進(jìn)工作流程和方法,提升管理人員的管理決策能力,提高機(jī)場的市場占有率及競爭力。
參考文獻(xiàn)
[1]鄭廣,李建政,張義軍.應(yīng)用數(shù)據(jù)倉庫技術(shù)實現(xiàn)民航?jīng)Q策支持系統(tǒng)[J].計算機(jī)工程與應(yīng)用,2002(5):249-252.
[2]曹靜.基于數(shù)據(jù)倉庫的高校圖書館決策支持系統(tǒng)研究[J].農(nóng)業(yè)圖書情報學(xué)刊,2010,22(6):52-55.
[3]劉淑華.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的研究與應(yīng)用[J].內(nèi)蒙古科技與經(jīng)濟(jì),2010(10):62-63.
[4] Inmon,W.H.數(shù)據(jù)倉庫[M].機(jī)械工業(yè)出版社,2006.
[5]Brik Thomscn.OLAP解決方案:創(chuàng)建多維信息系統(tǒng)[M].電子工業(yè)出版社,2004.
作者簡介
杜瑾珺(1982-),女,漢族,重慶人,工程師,碩士,研究方向:計算機(jī)信息系統(tǒng)。endprint
ETL過程主要包括四個階段:
標(biāo)準(zhǔn)化過程即數(shù)據(jù)抽取、清洗檢核、通用代碼轉(zhuǎn)換、字段標(biāo)準(zhǔn)化、數(shù)據(jù)加載。
模型化過程是將從標(biāo)準(zhǔn)化過程過來的數(shù)據(jù)進(jìn)行映射、轉(zhuǎn)換、聯(lián)接等操作,同時該過程還包括增量合并全量、數(shù)據(jù)加載、拉鏈歷史數(shù)據(jù)保留等過程。
匯總加工過程是對模型化后的數(shù)據(jù)進(jìn)行統(tǒng)計計算并將統(tǒng)計結(jié)果指標(biāo)化,并將數(shù)據(jù)加載到下一個過程。
業(yè)務(wù)邏輯加工過程,是對匯總加工過程之后的數(shù)據(jù)進(jìn)行篩選并加工,并轉(zhuǎn)換成可供OLAP展示的數(shù)據(jù),即最終數(shù)據(jù)落地
過程。
4)數(shù)據(jù)模型設(shè)計。
數(shù)據(jù)模型的設(shè)計是一個非常復(fù)雜而艱辛的過程,需要經(jīng)過對目前和將來可預(yù)見的業(yè)務(wù)需求的深入分析,需要對業(yè)務(wù)架構(gòu)進(jìn)行高度抽象和支持。民航機(jī)場決策支持系統(tǒng)的數(shù)據(jù)模型設(shè)計參考了國內(nèi)外航空業(yè)建模經(jīng)驗,在本邏輯模型設(shè)計中按照業(yè)務(wù)主題對數(shù)據(jù)進(jìn)行整合、分類組織和存儲,每個主題下設(shè)計相應(yīng)的數(shù)據(jù)模型,最后構(gòu)成統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。
系統(tǒng)的數(shù)據(jù)模型采用分層、有序的形式,其從下到上依次為:標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM)、基礎(chǔ)數(shù)據(jù)模型(LDM)和加工匯總數(shù)據(jù)模型(ADM),其中基礎(chǔ)模型層(LDM)和加工匯總層(ADM),根據(jù)機(jī)場決策支持系統(tǒng)的應(yīng)用目標(biāo),需要進(jìn)行建模處理,以盡可能完成必要的數(shù)據(jù)整合、數(shù)據(jù)匯總加工等。
標(biāo)準(zhǔn)數(shù)據(jù)模型(SDM):SDM存放與源系統(tǒng)保持一致的標(biāo)準(zhǔn)增量數(shù)據(jù),但是經(jīng)過必要的清洗檢核,命名和類型標(biāo)準(zhǔn)化、代碼標(biāo)準(zhǔn)化處理。
基礎(chǔ)數(shù)據(jù)模型(LDM):本層數(shù)據(jù)模型形成的數(shù)據(jù)是面向主題的,每個主題下按業(yè)務(wù)思維進(jìn)一步細(xì)分為多個子主題,所有數(shù)據(jù)實體表都存儲在這個由“主題-子主題”構(gòu)成的樹型目錄下。民航機(jī)場決策支持系統(tǒng)的LDM數(shù)據(jù)模型按主題劃分可以分為以下幾個。
①人力資源主題:人力資源主題用于組織和存儲機(jī)場組織架構(gòu)、部門和員工的信息。為數(shù)據(jù)按組織維度統(tǒng)計、勞動生產(chǎn)率統(tǒng)計、員工管理統(tǒng)計提供數(shù)據(jù)支撐。
②航空主業(yè)主題:航空主業(yè)主題用于組織和存儲機(jī)場提供的航空服務(wù)信息,主要包括航班計劃和執(zhí)行情況、旅客到離崗信息、貨運情況、貴賓服務(wù)信息以及資源利用情況等。
③安全生產(chǎn)主題:安全生產(chǎn)主題組織和存儲機(jī)場安全生產(chǎn)相關(guān)的數(shù)據(jù)。包括不安全事件、能源信息、危險品等。安全主題中的一些不安全事件需要由執(zhí)行人員補錄登記到系統(tǒng)中,以保障數(shù)據(jù)分析統(tǒng)計的可靠性。
④財務(wù)主題:財務(wù)主題主要用于組織和存儲機(jī)場財務(wù)報表信息,主要數(shù)據(jù)來源于報表系統(tǒng)。
⑤服務(wù)主題:服務(wù)主題主要用于組織和存儲機(jī)場提供服務(wù)質(zhì)量的調(diào)查反饋,主要包括旅客投訴、旅客滿意度調(diào)查信息等。
加工匯總數(shù)據(jù)模型(ADM):ADM是用來保存機(jī)場共性的加工匯總數(shù)據(jù)的。相對而言,LDM保存的是機(jī)場業(yè)務(wù)實體數(shù)據(jù)的明細(xì)信息,而ADM保存的是根據(jù)業(yè)務(wù)邏輯,按某種需求加工而得的統(tǒng)計信息,在業(yè)界,這些數(shù)據(jù)往往也被稱之為“指標(biāo)”。
ADM模型設(shè)計也需要按照主題劃分,通常按指標(biāo)的業(yè)務(wù)種類劃分來設(shè)置ADM主題,同時考慮到指標(biāo)的綜合性,ADM中會增加一個綜合指標(biāo)主題,用于保存一些綜合性的統(tǒng)計指標(biāo)。ADM的命名規(guī)范等,也需要是和LDM統(tǒng)一、和諧的。
2.3 ?OLAP設(shè)計
OLAP設(shè)計的主要問題是如何組織數(shù)據(jù)倉庫中的綜合數(shù)據(jù),以滿足分析決策人員對多維數(shù)據(jù)分析的需要。OLAP的基本分析操作有上鉆、下翻、切片、切塊等。民航?jīng)Q策支持系統(tǒng)利用OLAP工具完成對各主題的各項指標(biāo)的分析,并用圖表的形式進(jìn)行可視化展現(xiàn)。為了使展現(xiàn)內(nèi)容更直觀、具體,單獨開發(fā)了一套展示平臺系統(tǒng),建立更友好的界面,將OLAP中得出的各種表格、報表加以展示,方便決策人員使用。
3 ?結(jié)束語
本文結(jié)合實際,給出了一種利用數(shù)據(jù)倉庫及相關(guān)技術(shù)實現(xiàn)民航機(jī)場決策分析系統(tǒng)的方案,將數(shù)據(jù)倉庫技術(shù)引入了民航機(jī)場信息管理中。這套系統(tǒng)的研究開發(fā)能有效地解決民航機(jī)場企業(yè)中龐大數(shù)據(jù)與數(shù)據(jù)分析之間的矛盾。通過對大量相關(guān)數(shù)據(jù)的統(tǒng)計分析和深層挖掘,可以發(fā)現(xiàn)機(jī)場在日常運行管理中的規(guī)律及疏漏,有效地改進(jìn)工作流程和方法,提升管理人員的管理決策能力,提高機(jī)場的市場占有率及競爭力。
參考文獻(xiàn)
[1]鄭廣,李建政,張義軍.應(yīng)用數(shù)據(jù)倉庫技術(shù)實現(xiàn)民航?jīng)Q策支持系統(tǒng)[J].計算機(jī)工程與應(yīng)用,2002(5):249-252.
[2]曹靜.基于數(shù)據(jù)倉庫的高校圖書館決策支持系統(tǒng)研究[J].農(nóng)業(yè)圖書情報學(xué)刊,2010,22(6):52-55.
[3]劉淑華.基于數(shù)據(jù)倉庫的決策支持系統(tǒng)的研究與應(yīng)用[J].內(nèi)蒙古科技與經(jīng)濟(jì),2010(10):62-63.
[4] Inmon,W.H.數(shù)據(jù)倉庫[M].機(jī)械工業(yè)出版社,2006.
[5]Brik Thomscn.OLAP解決方案:創(chuàng)建多維信息系統(tǒng)[M].電子工業(yè)出版社,2004.
作者簡介
杜瑾珺(1982-),女,漢族,重慶人,工程師,碩士,研究方向:計算機(jī)信息系統(tǒng)。endprint