黃鐘明 李躍明 劉娜
基于商業(yè)智能(BI)技術(shù)構(gòu)建決策支持系統(tǒng)
黃鐘明,李躍明,劉娜
(新興鑄管股份有限公司,河北 邯鄲 056300)
摘要:該文論述了利用數(shù)據(jù)轉(zhuǎn)換工具、數(shù)據(jù)倉庫、在線分析處理、數(shù)據(jù)挖掘、Brio前端展現(xiàn)工具等一系列商業(yè)智能技術(shù)整合公司信息化數(shù)據(jù),并快速開發(fā)公司決策支持系統(tǒng)的應(yīng)用方法。
關(guān)鍵詞:數(shù)據(jù)整合;商業(yè)智能;數(shù)據(jù)轉(zhuǎn)換工具;數(shù)據(jù)倉庫;在線分析處理;數(shù)據(jù)挖掘;Brio前端展現(xiàn)工具;決策支持系統(tǒng)。
中圖分類號:TP311 文獻標識碼:A 文章編號:1009-3044(2014)05-1014-04
1 概述
近幾年來新興鑄管公司信息化建設(shè)高速發(fā)展,計算機輔助管理已經(jīng)深入到了各個部門。相關(guān)的計算機管理系統(tǒng)應(yīng)用也逐步走向成熟化。但隨著信息化建設(shè)的進一步深入也逐漸暴露出不少問題,比如由于公司信息化建設(shè)經(jīng)歷的時間跨度較長,不同時期的建設(shè)都遺留了具有歷史特點的問題。1994年我們開始組建局域網(wǎng)時,主要是以外界為主、自己為輔進行聯(lián)合開發(fā)的方式開發(fā)了一些小型MIS系統(tǒng),在這個時期國內(nèi)的各大企業(yè)信息化建設(shè)都處在摸索階段,往往缺乏企業(yè)級總體規(guī)劃設(shè)計。1999年以來,公司采取“群體一把手掛帥制,全員動員信息化”的方法按照成熟ERP理論“總體規(guī)劃設(shè)計、分步實施”的原則對現(xiàn)有信息化資源(硬件、網(wǎng)絡(luò)、軟件資源)進行了擴充建設(shè),取得了較為顯著的效果。在此過程中也因不同部門對“總體規(guī)劃設(shè)計、分步實施”的原則理解上的差異造成了某些“信息孤島”現(xiàn)象的存在。公司的信息系統(tǒng)多年來生成了大量的歷史數(shù)據(jù),而現(xiàn)有各計算機管理系統(tǒng)的分析功能比較單一,多停留在部門級層面上,而缺乏公司級層面多維度對歷史數(shù)據(jù)挖掘分析,致使公司大量歷史數(shù)據(jù)資源沒有得到充分的利用。企業(yè)的高速發(fā)展對信息化建設(shè)提出了更高的要求。如何充分利用企業(yè)現(xiàn)有信息資源,消除“信息孤島”,實現(xiàn)各系統(tǒng)間的數(shù)據(jù)整合,提升企業(yè)信息化應(yīng)用水平使各大企業(yè)的信息化建設(shè)面臨具大挑戰(zhàn)。我們在通過對公司現(xiàn)有各管理系統(tǒng)、數(shù)據(jù)庫結(jié)構(gòu)、信息數(shù)據(jù)的充分調(diào)研的基礎(chǔ)上,提出了“建立企業(yè)級經(jīng)營分析數(shù)據(jù)倉庫,按需整合數(shù)據(jù),實施商業(yè)智能應(yīng)用”的新思路,并結(jié)合在線分析處理(OLAP)、Brio前端展現(xiàn)工具等一系列商業(yè)智能技術(shù)快速搭建公司領(lǐng)導(dǎo)決策支持系統(tǒng),為公司的數(shù)據(jù)整合及信息化應(yīng)用的提升開辟了一條新的途徑。
2 商業(yè)智能(BI)技術(shù)簡介
商業(yè)智能是企業(yè)利用現(xiàn)代信息技術(shù)收集、管理和分析大量商業(yè)數(shù)據(jù)與信息,創(chuàng)造和累計商業(yè)知識,改善商業(yè)運營和決策水平,采取有效的商業(yè)行動,提升各方面商業(yè)績效,增強企業(yè)綜合競爭力的智慧和能力。商業(yè)智能的體系主要包括數(shù)據(jù)倉庫、在線分析處理以及數(shù)據(jù)挖掘三個核心部分。部署商業(yè)智能的關(guān)鍵是如何從來自企業(yè)內(nèi)部、外部紛雜數(shù)據(jù)源中,提取出企業(yè)有用的數(shù)據(jù)進行清理以保證數(shù)據(jù)的正確性、統(tǒng)一性、一致性,然后經(jīng)過抽取、轉(zhuǎn)換和裝載,整合到一個公司級的數(shù)據(jù)倉庫里,從而得到企業(yè)數(shù)據(jù)的一個全局視圖,在此基礎(chǔ)上利用合適的查詢和分析工具、數(shù)據(jù)挖掘工具、OLAP工具等對其進行分析和處理,最后將知識呈現(xiàn)給管理者,為管理者的決策過程提供支持。商業(yè)智能的這個基本過程如下圖所示,從圖中我們不難看出“建立數(shù)據(jù)倉庫”是商業(yè)智能技術(shù)的基礎(chǔ)及核心。
圖1 商業(yè)智能技術(shù)體系結(jié)構(gòu)圖
3 建立公司經(jīng)營分析數(shù)據(jù)倉庫
數(shù)據(jù)倉庫(D W)就是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合,它用于支持管理決策。我們根據(jù)數(shù)據(jù)倉庫的核心技術(shù)原理,按照標準企業(yè)級數(shù)據(jù)倉庫結(jié)構(gòu)建立了公司經(jīng)營分析數(shù)據(jù)倉庫。在數(shù)據(jù)倉庫的數(shù)據(jù)庫選型上我們結(jié)合本企業(yè)實際采用了SQL SERVER2000數(shù)據(jù)庫作為建立數(shù)據(jù)倉庫的數(shù)據(jù)庫,其建倉的過程主要包括以下步驟:
圖2 標準企業(yè)級數(shù)據(jù)倉庫架構(gòu)圖
1)確定公司數(shù)據(jù)倉庫主題
主題是一個抽象的概念,它是在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)綜合、歸類并進行分析利用的抽象。我們在確定商業(yè)主題的時候始終堅持了這樣一個原則:“結(jié)合企業(yè)自身的特點,以企業(yè)宏觀管理為中心,以增強企業(yè)綜合競爭力為目標”。經(jīng)過分析調(diào)研,初步確立了公司經(jīng)營分析數(shù)據(jù)倉庫的主題包括::采購分析、銷售分析、財務(wù)分析、生產(chǎn)分析、質(zhì)量能源分析、人力資源分析等,這幾方面的主題體現(xiàn)了公司日常管理工作的重點。其中采購主題中又細化為:采購資金分析、采購量分析、采購賬款余額分析、市場價格變化趨勢分析等;銷售主題細化為:產(chǎn)品銷量分析、產(chǎn)品庫存分析、銷售價格分析、貨款應(yīng)收、實收分析、客戶信譽度分析等;財務(wù)主題細化為:產(chǎn)品日成本日利潤分析、資產(chǎn)負債表、損益表、公司效績評價指標分析等;生產(chǎn)主題細化為:合同完成情況分析、產(chǎn)品產(chǎn)量分析、生產(chǎn)指標完成情況分析、產(chǎn)品庫存及結(jié)構(gòu)分析等;質(zhì)量能源主題細化為:質(zhì)量指標完成情況分析、能源指標完成情況分析;人力資源主題細化為:人工成本分析、人均收入分析、人員結(jié)構(gòu)比例分析、人員分布分析等。
2)調(diào)研公司主題數(shù)據(jù)源,利用ETL工具集成的數(shù)據(jù)
在確立了主題之后,我們應(yīng)該找到主題數(shù)據(jù)的源頭。數(shù)據(jù)倉庫中存貯的數(shù)據(jù)是從原來分散的各個子系統(tǒng)中提取出來的,但并不是原有數(shù)據(jù)的簡單拷貝,而是經(jīng)過統(tǒng)一、綜合。原因其一,數(shù)據(jù)倉庫的數(shù)據(jù)不能直接從原有數(shù)據(jù)庫系統(tǒng)中得到。原有數(shù)據(jù)庫系統(tǒng)記錄的是每一項業(yè)務(wù)處理的流水帳,這些數(shù)據(jù)不適合于分析處理,在進入數(shù)據(jù)倉庫之前必須經(jīng)過綜合、計算,拋棄分析處理不需要的數(shù)據(jù)項,增加一些可能涉及的外部數(shù)據(jù)。其二,數(shù)據(jù)倉庫每一個主題所對應(yīng)的源數(shù)據(jù)在原分散數(shù)據(jù)庫中有許多重復(fù)或不一致的地方,必須將這些數(shù)據(jù)轉(zhuǎn)換成全局統(tǒng)一的定義,消除不一致和錯誤的地方,以保證數(shù)據(jù)的質(zhì)量。否則,對不準確,甚至不正確的數(shù)據(jù)分析得出的結(jié)果將不能用于指導(dǎo)企業(yè)作出科學(xué)的決策。對源數(shù)據(jù)的集成是數(shù)據(jù)倉庫建設(shè)中最關(guān)鍵,也是最復(fù)雜的一步。由于現(xiàn)行公司內(nèi)部數(shù)據(jù)源數(shù)據(jù)種類繁多,結(jié)構(gòu)不同,使用的操作系統(tǒng)平臺也不同(UNIX和WIDOWS),有大型數(shù)據(jù)庫的數(shù)據(jù)如SQL SERVER2000 、SYBASE11.0、SYBASE11.5、SYBASE11.9;有小型數(shù)據(jù)庫的數(shù)據(jù)如ACCESS、DBASEⅢ;還有電子表格EXCEL中的數(shù)據(jù)。在這種情況下我們必須借助數(shù)據(jù)轉(zhuǎn)換工具(ETL)才能實現(xiàn)對跨平臺的異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)抽取。 在應(yīng)用中我們選取SQL SERVER2000中集成的數(shù)據(jù)轉(zhuǎn)換服務(wù)作為建立數(shù)據(jù)倉庫的主要數(shù)據(jù)轉(zhuǎn)換工具。DTS具備以下幾個特點:(1)具備對異構(gòu)數(shù)據(jù)庫的訪問能力。(2)具備數(shù)據(jù)轉(zhuǎn)換功能如:字段映射;字段的拆分;多字段的混合運算;跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián);多數(shù)據(jù)類型支持;復(fù)雜條件過濾;數(shù)據(jù)的批量裝載;排序;統(tǒng)計;增量抽取的處理方式等功能。(3)具備管理和調(diào)度功能。(4)具備管理元數(shù)據(jù)功能。數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)還為高級用戶還提供了添加用于自定義各數(shù)據(jù)抽取操作階段的程序的功能。通過自定義數(shù)據(jù)抽取操作,可以在包中添加多種多樣的功能。
3)以經(jīng)營主題為中心,建立公司多維數(shù)據(jù)模型
多維數(shù)據(jù)模型是分析企業(yè)數(shù)據(jù)最有效的方法,是在線分析處理技術(shù)的基礎(chǔ),OLAP展現(xiàn)在用戶面前的就是一幅幅的多維視圖。比如我們以銷售為主題建立的數(shù)據(jù)立方體如圖3所示。
圖3 銷售數(shù)據(jù)的3-D立方體圖
假定我們需要從四維的角度觀察銷售數(shù)據(jù),附加一維,如供應(yīng)商信息。我們可把4-D立方體看成3-D立方體的序列,維的概念允許用戶從不同的角度來審視立方體數(shù)據(jù)。如圖4示。
圖4 銷售數(shù)據(jù)的4-D立方體圖
基于數(shù)據(jù)立方體結(jié)構(gòu)的多維數(shù)據(jù)模型,我們可以用OLAP靈活操縱數(shù)據(jù)進行決策分析。OLAP通常將三維立方體的數(shù)據(jù)進行切片,顯示三維的某一平面。如一個立方體有時間維、產(chǎn)品維、地區(qū)維,其圖形很容易在屏幕上顯示出來并進行切片。對于更高維比如4維、5維數(shù)據(jù)模型,OLAP采用了鉆取、旋轉(zhuǎn)、切塊以及高維可視化技術(shù),比如:某銷售分析涉及三個維的切塊。條件為:(地區(qū)=“南京” OR“北京”)AND(時間=“Q1”O(jiān)R“Q2”)AND(產(chǎn)品=“鑄管”O(jiān)R“復(fù)合管”)。則OLAP進行切塊操作的結(jié)果示意圖如圖5。
圖5 OLAP切塊操作示意圖
4 使用Biro前端展現(xiàn)工具快速構(gòu)建決策支持系統(tǒng)
有了基于多維數(shù)據(jù)模型的數(shù)據(jù)倉庫和大量歷史數(shù)據(jù),我們就可以利用先進的前端展現(xiàn)工具快速展現(xiàn)數(shù)據(jù),實施決策支持應(yīng)用。Brio 是一個完全集成的產(chǎn)品套件,它提供了完整的、集成的商業(yè)智能功能——從新一代的分析報表能力,到增強的交互式OLAP查詢和分析工具,到一個新的、用于創(chuàng)建和交付分析應(yīng)用的可視化設(shè)計工具。它是為最終用戶而設(shè)計、為IT人員而建造的——這意味著可以迅速地設(shè)立大量的用戶并使他們迅速進入角色,同時對IT資源的需求減少到最小。用戶可以非常高效的對多維數(shù)據(jù)庫進行查詢(通過Client/Server或Web方式)。Brio可以把多維數(shù)據(jù)庫(MDD)結(jié)構(gòu)顯示為層次的樹型結(jié)構(gòu),方便用戶瀏覽和查詢。旋轉(zhuǎn)報表可以迅速的顯示出多維數(shù)據(jù),來方便客戶對數(shù)據(jù)的理解和使用。另外,用戶可以將查詢結(jié)果儲存起來,這樣在離線的方式下也能對數(shù)據(jù)庫進行分析。Brio還具有強大Internet應(yīng)用和元數(shù)據(jù)管理功能。下圖是我們基于商業(yè)智能技術(shù)使用Brio開發(fā)的領(lǐng)導(dǎo)決策支持系統(tǒng)部分界面。
(a) (b)
(c) (d)
圖6 領(lǐng)導(dǎo)決策支持系統(tǒng)部分界面
5 結(jié)束語
信息數(shù)據(jù)作為現(xiàn)代企業(yè)的寶貴資源,占據(jù)著越來越重要的地位,已經(jīng)成為現(xiàn)代企業(yè)科學(xué)管理的基礎(chǔ),正確決策的前提,有效調(diào)控的手段。能否擁有及時、準確、全面的信息已經(jīng)成為衡量一個企業(yè)是否具有發(fā)展?jié)摿Φ囊粋€重要指標。面對企業(yè)復(fù)雜的信息化環(huán)境,對于龐大分散的異構(gòu)數(shù)據(jù)源建立企業(yè)級數(shù)據(jù)倉庫,按需整合數(shù)據(jù),開發(fā)商業(yè)智能應(yīng)用的方法必將成為企業(yè)信息數(shù)據(jù)整合、提升信息化應(yīng)用水平最快、最好也是最有效的途徑。在整個應(yīng)用系統(tǒng)的設(shè)計、開發(fā)、實施過程中,我們始終貫徹了“結(jié)合企業(yè)自身實際特點,堅持以自我開發(fā)為主,堅持管理創(chuàng)心、技術(shù)創(chuàng)新”的思想,在沒有借助任何外界開發(fā)力量、技術(shù)咨詢、技術(shù)培訓(xùn),并且基本沒有增加現(xiàn)有硬件、軟件投資的的前提下,快速搭建了商業(yè)智能應(yīng)用平臺。所有這些成績都與司多年來扎實的基礎(chǔ)管理、健壯的信息化應(yīng)用程序以及良好的信息化基礎(chǔ)數(shù)據(jù)是分不開的,該系統(tǒng)的應(yīng)用實施為公司的管理者帶來了新的活力。
參考文獻:
[1] 孔令波.基于數(shù)據(jù)倉庫的大規(guī)模數(shù)據(jù)集分類數(shù)據(jù)挖掘研究與設(shè)計[D].青島:青島大學(xué),2002.
[2] 張亮.決策支持系統(tǒng)中數(shù)據(jù)倉庫及數(shù)據(jù)挖掘的研究與應(yīng)用[D].甘肅工業(yè)大學(xué);2001.
[3] 鄒先霞,王淑禮,魏長華.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)淺談[J].高等函授學(xué)報:自然科學(xué)版,2000(3).
[4] 高洪深.決策支持系統(tǒng)(DSS)理論、方法、案例[M].北京:清華大學(xué)出版社,2005.
[5] Jiawei Han Micheline Kamber.數(shù)據(jù)挖掘概念與技術(shù)[M].范明,孟小峰,等,譯.北京:機械工業(yè)出版社,2005.
[6] (美)Microsoft Corporation .SQL Server 2000 分析服務(wù)解析[M].科學(xué)出版社,2001.