馬 將,楊學(xué)敏,2

(1.唐山學(xué)院網(wǎng)絡(luò)教育中心,河北唐山 063000;2.北京科技大學(xué)信息學(xué)院,北京 100083)

一種基于T-ETL架構(gòu)的多源異構(gòu)數(shù)據(jù)集成方案

馬 將1,楊學(xué)敏1,2

(1.唐山學(xué)院網(wǎng)絡(luò)教育中心,河北唐山 063000;2.北京科技大學(xué)信息學(xué)院,北京 100083)

在分析主流數(shù)據(jù)集成方法的基礎(chǔ)上,結(jié)合我校數(shù)字化校園建設(shè)過(guò)程中的具體實(shí)踐,提出了一種基于T-ETL的復(fù)合式數(shù)據(jù)集成方案,從而解決了各部門(mén)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)互通問(wèn)題。研究表明,該方案能保證數(shù)據(jù)的實(shí)時(shí)性,降低數(shù)據(jù)傳輸開(kāi)銷,消除數(shù)據(jù)交換中的性能瓶頸和安全隱患,提高了系統(tǒng)的整體性能。

異構(gòu)數(shù)據(jù)源;數(shù)據(jù)聯(lián)邦;數(shù)據(jù)集成

隨著信息化進(jìn)程的推進(jìn),高校各系部紛紛建立了自己獨(dú)立的應(yīng)用系統(tǒng),這些系統(tǒng)的數(shù)據(jù)層分散于各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn),并存在于不同的硬件系統(tǒng)、操作系統(tǒng)乃至不同的數(shù)據(jù)庫(kù)系統(tǒng)中,系統(tǒng)之間彼此獨(dú)立,形成了一個(gè)個(gè)“信息孤島”。由于沒(méi)有統(tǒng)一的數(shù)據(jù)視圖,無(wú)法實(shí)現(xiàn)信息的共享,嚴(yán)重阻礙了校園信息化的進(jìn)程。

解決這一問(wèn)題的出路在于實(shí)現(xiàn)數(shù)據(jù)集成。數(shù)據(jù)集成的核心任務(wù)是將互相關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源集成到一起,使用戶能夠以透明的方式訪問(wèn)這些數(shù)據(jù)源,并支持不同數(shù)據(jù)庫(kù)系統(tǒng)之間的相互操作,其目的在于屏蔽底層不同的數(shù)據(jù)源,使用戶不必考慮底層數(shù)據(jù)模型、系統(tǒng)環(huán)境、數(shù)據(jù)平臺(tái)不同等問(wèn)題,在保證數(shù)據(jù)完整性、消除數(shù)據(jù)冗余的同時(shí),能夠通過(guò)統(tǒng)一的訪問(wèn)接口實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)上異構(gòu)數(shù)據(jù)源的靈活訪問(wèn)。

1 數(shù)據(jù)集成的現(xiàn)有技術(shù)路線

隨著高校數(shù)字化的不斷發(fā)展,校園信息集成要求能夠無(wú)縫集成來(lái)自多個(gè)異構(gòu)數(shù)據(jù)源的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)源包括關(guān)系型數(shù)據(jù)庫(kù)、文件系統(tǒng)、圖像及文檔資源庫(kù)之類的數(shù)據(jù)存儲(chǔ)系統(tǒng),而且必須很好地支持標(biāo)準(zhǔn)元數(shù)據(jù)交換、模式映射,并且支持標(biāo)準(zhǔn)數(shù)據(jù)傳輸格式。這就對(duì)信息集成解決方案提出了更高的要求。目前實(shí)現(xiàn)信息集成解決方案主流的兩種模式是數(shù)據(jù)倉(cāng)儲(chǔ)和數(shù)據(jù)聯(lián)邦。

1.1 數(shù)據(jù)倉(cāng)儲(chǔ)

這種模式首先從一個(gè)或多個(gè)數(shù)據(jù)源中抽取數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行必要的處理,最終將數(shù)據(jù)存儲(chǔ)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。最終操作將針對(duì)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行。這種模式通常包含 ETL(Extraction2Transformation2Loading)和數(shù)據(jù)倉(cāng)庫(kù)技術(shù)。另外一種變體就是數(shù)據(jù)復(fù)制,它的基本要求是源數(shù)據(jù)庫(kù)和目標(biāo)數(shù)據(jù)庫(kù)要有完全相同的數(shù)據(jù)結(jié)構(gòu)(包括數(shù)據(jù)類型也要完全兼容,否則是無(wú)法完成復(fù)制的)[1]。這種模式的代表產(chǎn)品如IBM webSphere DWE,Data Stage及Replication Server。該模式支持復(fù)雜的數(shù)據(jù)轉(zhuǎn)換,適合頻繁查詢的“熱數(shù)據(jù)”,性能可預(yù)測(cè)性較高,但實(shí)時(shí)性依賴于數(shù)據(jù)更新周期,數(shù)據(jù)更新周期越短實(shí)時(shí)性越高。另外,ETL過(guò)程本身存在與數(shù)據(jù)源數(shù)據(jù)同步的問(wèn)題,難以支持?jǐn)?shù)據(jù)更改。ETL過(guò)程的框架結(jié)構(gòu)圖如圖1所示。

圖1 ETL過(guò)程的框架結(jié)構(gòu)

1.2 數(shù)據(jù)聯(lián)邦

數(shù)據(jù)聯(lián)邦是在維持各異構(gòu)數(shù)據(jù)庫(kù)自治的前提下,在數(shù)據(jù)層對(duì)多源異構(gòu)的成員數(shù)據(jù)庫(kù)進(jìn)行部分集成,并提供對(duì)異構(gòu)成員數(shù)據(jù)庫(kù)的共享和透明訪問(wèn),而數(shù)據(jù)仍然保留在它原來(lái)的存儲(chǔ)位置。聯(lián)邦技術(shù)能夠統(tǒng)一地訪問(wèn)以任何模式存儲(chǔ)的數(shù)字信息,具有透明性、異構(gòu)性、底層聯(lián)邦數(shù)據(jù)源的自治性、可擴(kuò)展性和開(kāi)放性等主要特征。采用 EtaMatrix,Wrapper或Aqualogics這樣的數(shù)據(jù)聯(lián)合器,就不再需要構(gòu)建集中式數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)訪問(wèn)指令進(jìn)而轉(zhuǎn)換為數(shù)據(jù)源所支持的SQL,通過(guò)數(shù)據(jù)源的客戶端提交執(zhí)行,然后將結(jié)果返回給信息集成服務(wù)器處理。聯(lián)邦數(shù)據(jù)服務(wù)器帶有一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)系統(tǒng),用于管理全局?jǐn)?shù)據(jù)字典[2]。這種模式的代表產(chǎn)品如 IBM Web-Sphere Federation Server。

數(shù)據(jù)聯(lián)邦模式由于沒(méi)有本地?cái)?shù)據(jù)存儲(chǔ),缺乏統(tǒng)一的中心數(shù)據(jù)庫(kù)實(shí)體,故其每次處理用戶請(qǐng)求都需要實(shí)時(shí)從數(shù)據(jù)源獲取數(shù)據(jù),這樣比較容易保證與數(shù)據(jù)源的數(shù)據(jù)同步,從而能容易地支持?jǐn)?shù)據(jù)更改,但集成時(shí)需要在相關(guān)數(shù)據(jù)源間建立鏈接,當(dāng)集成數(shù)據(jù)源數(shù)量眾多時(shí),加入新的數(shù)據(jù)源就需要建立大量的鏈接,數(shù)據(jù)傳輸量大,其可用性不僅依賴于聯(lián)邦服務(wù)器,還依賴于數(shù)據(jù)源及網(wǎng)絡(luò)的可用性。再者,數(shù)據(jù)聯(lián)邦也無(wú)法處理某些數(shù)據(jù)轉(zhuǎn)換和清洗[3]。

2 高校數(shù)據(jù)集成平臺(tái)的任務(wù)

高校數(shù)字校園的數(shù)據(jù)集成平臺(tái)是一個(gè)面向應(yīng)用、安全可靠、操作便捷、技術(shù)先進(jìn)、規(guī)范統(tǒng)一、靈活、可擴(kuò)展的數(shù)據(jù)庫(kù)平臺(tái),為學(xué)校提供高效的共享平臺(tái)和開(kāi)放的數(shù)字化環(huán)境。異構(gòu)數(shù)據(jù)集成平臺(tái)主要解決如下幾個(gè)技術(shù)問(wèn)題。①屏蔽多源異構(gòu)數(shù)據(jù):建立一個(gè)全局的模型,實(shí)現(xiàn)透明訪問(wèn)能力。②數(shù)據(jù)類型匹配:局部數(shù)據(jù)源對(duì)數(shù)據(jù)類型的描述可能是不同的,那么就要在全局模式下進(jìn)行區(qū)別與識(shí)別,并進(jìn)行統(tǒng)一的匹配與表示。③查詢的分解與轉(zhuǎn)換:集成系統(tǒng)應(yīng)能將全局查詢分解成為針對(duì)不同數(shù)據(jù)源的局部查詢,并轉(zhuǎn)換成為針對(duì)局部數(shù)據(jù)源的查詢語(yǔ)言。

3 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)框架

3.1 設(shè)計(jì)思路

鑒于數(shù)字校園對(duì)數(shù)據(jù)集成的較高要求,單一的集成方法不能滿足實(shí)際需求,這就需要將兩種模式進(jìn)行組合,彼此取長(zhǎng)補(bǔ)短,從而提供數(shù)字校園最佳的信息集成解決方案。

3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)

數(shù)據(jù)標(biāo)準(zhǔn)主要包括了數(shù)據(jù)庫(kù)開(kāi)發(fā)標(biāo)準(zhǔn)、編碼標(biāo)準(zhǔn)以及信息標(biāo)準(zhǔn)。其中數(shù)據(jù)庫(kù)開(kāi)發(fā)標(biāo)準(zhǔn)主要指在開(kāi)發(fā)過(guò)程中所用到的開(kāi)發(fā)標(biāo)準(zhǔn),如數(shù)據(jù)庫(kù)表的命名約束、存儲(chǔ)過(guò)程、自定義方法等標(biāo)準(zhǔn);編碼標(biāo)準(zhǔn)是在所有系統(tǒng)中涉及到的數(shù)據(jù)的編碼標(biāo)準(zhǔn),在編碼標(biāo)準(zhǔn)中除了依據(jù)國(guó)家相關(guān)的編碼標(biāo)準(zhǔn)命名之外還要結(jié)合各個(gè)應(yīng)用定義自己的編碼標(biāo)準(zhǔn);信息標(biāo)準(zhǔn)主要指各種公用數(shù)據(jù)的命名規(guī)范、格式等。

數(shù)據(jù)的標(biāo)準(zhǔn)化和數(shù)字格式表示的一致性是數(shù)字化校園建設(shè)的重點(diǎn),更是復(fù)合式數(shù)據(jù)集成方案實(shí)施的基礎(chǔ),必須圍繞標(biāo)準(zhǔn)實(shí)體間的層次隸屬關(guān)系和元數(shù)據(jù)信息進(jìn)行設(shè)計(jì)和建模。

3.1.2 增量數(shù)據(jù)的ETL過(guò)程

利用數(shù)據(jù)源的增量數(shù)據(jù)對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行維護(hù),可以有效地提高ETL效率?，F(xiàn)有通用 ETL工具在增量抽取方面存在一些問(wèn)題,如不能抽取多個(gè)異構(gòu)數(shù)據(jù)源的增量數(shù)據(jù)以及在處理增量數(shù)據(jù)時(shí)造成數(shù)據(jù)丟失的異常問(wèn)題。

當(dāng)前針對(duì)數(shù)據(jù)倉(cāng)庫(kù)增量式刷新的文獻(xiàn)中,關(guān)于實(shí)現(xiàn)增量式維護(hù)的方法一般都基于已經(jīng)獲取了的增量數(shù)據(jù)源。但是,不同的數(shù)據(jù)源類型和具體的數(shù)據(jù)倉(cāng)庫(kù)環(huán)境,其增量數(shù)據(jù)捕獲的方式也有所不同。常用的捕獲數(shù)據(jù)源變化數(shù)據(jù)方式可分為兩類:一是從專門(mén)的輔助表中獲取,獲取完畢后刪除該輔助表中的數(shù)據(jù),如觸發(fā)器方式、快照方式等;另外一類是通過(guò)某種方式直接從數(shù)據(jù)源中獲取,如時(shí)間戳方式、日志方式等。

3.2 框架結(jié)構(gòu)

基于高校的實(shí)際需求,可以采用圖2的方案?？蚣苤械闹行臄?shù)據(jù)庫(kù)是共享數(shù)據(jù)中心的核心部分,它通過(guò)配套的工具和服務(wù)從數(shù)據(jù)源中抽取共享數(shù)據(jù),保存了通過(guò) ETL工具抽取自各數(shù)據(jù)源的且處理過(guò)的全部數(shù)據(jù)信息,達(dá)到擁有統(tǒng)一和全局的數(shù)據(jù)模式和數(shù)據(jù)結(jié)構(gòu)。

圖2 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)框架

在該用例中,將數(shù)據(jù)聯(lián)邦模式部署在數(shù)據(jù)倉(cāng)儲(chǔ)模式之前,構(gòu)成了一種T-ETL的架構(gòu),該架構(gòu)具有能夠充分利用數(shù)據(jù)聯(lián)邦模式集成異構(gòu)數(shù)據(jù)源的能力。圖2中所示的ETL工具沒(méi)有提供數(shù)據(jù)源3對(duì)應(yīng)的接口,而聯(lián)邦服務(wù)器能夠集成該數(shù)據(jù)源,這樣能夠擴(kuò)展數(shù)據(jù)倉(cāng)儲(chǔ)模式的集成范圍,而且通過(guò)部署聯(lián)邦服務(wù)器有可能降低ETL的數(shù)據(jù)傳輸量。由于數(shù)據(jù)源數(shù)據(jù)量龐大,數(shù)據(jù)倉(cāng)儲(chǔ)模式不一定需要從數(shù)據(jù)源獲取所有數(shù)據(jù),故需要對(duì)數(shù)據(jù)進(jìn)行過(guò)濾,只獲取必需的數(shù)據(jù)存儲(chǔ)在本地?cái)?shù)據(jù)倉(cāng)庫(kù)中。部署在前端的聯(lián)邦服務(wù)器可以對(duì)數(shù)據(jù)進(jìn)行初步的過(guò)濾,從而降低ETL數(shù)據(jù)傳輸量,而且數(shù)據(jù)聯(lián)邦模式中有些產(chǎn)品能夠?qū)崿F(xiàn)不同數(shù)據(jù)源數(shù)據(jù)的連接操作。如IBM Websphere Federation Server能夠支持多個(gè)數(shù)據(jù)源數(shù)據(jù)的連接。而數(shù)據(jù)倉(cāng)儲(chǔ)模式中的ETL工具通常只能將連接下推到單個(gè)同構(gòu)的數(shù)據(jù)源,而無(wú)法支持多數(shù)據(jù)源的連接。正是由于這個(gè)原因,ETL產(chǎn)品在執(zhí)行連接處理之前,需要先從多個(gè)數(shù)據(jù)源提取數(shù)據(jù),并將數(shù)據(jù)裝載到一個(gè)目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。通過(guò)在前端部署聯(lián)邦服務(wù)器能夠利用數(shù)據(jù)聯(lián)邦模式的這一能力,通過(guò)靈活組合使ETL開(kāi)發(fā)人員可以選擇最適當(dāng)?shù)姆绞絹?lái)達(dá)到數(shù)據(jù)整合目的。如圖2所示,通過(guò)聯(lián)邦服務(wù)器可以實(shí)現(xiàn)對(duì)數(shù)據(jù)源2和數(shù)據(jù)源3的連接操作,而不需要將數(shù)據(jù)源2和數(shù)據(jù)源3中的數(shù)據(jù)全部集中到數(shù)據(jù)倉(cāng)庫(kù)中來(lái)進(jìn)行連接操作。

4 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)實(shí)現(xiàn)方案與集成性能分析

本文所采用的ETL工具為 Kettle ETL,它是一款純Ja-va編寫(xiě)的開(kāi)源ETL工具。Kettle可以通過(guò)網(wǎng)絡(luò)遠(yuǎn)程獲取數(shù)據(jù),并控制其上數(shù)據(jù)庫(kù)信息的流動(dòng),利用工具本身的緩沖區(qū)為雙方數(shù)據(jù)庫(kù)搭橋。Kettle中的腳本文件transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換,job腳本則完成整個(gè)工作流的控制[4]。對(duì)于簡(jiǎn)單的清洗,如數(shù)據(jù)類型、數(shù)據(jù)長(zhǎng)度、精度、刻度等,可以直接將各種輸入步驟的列字段的數(shù)據(jù)類型設(shè)置正確,同時(shí)在錯(cuò)誤處理中忽略錯(cuò)誤?！斑^(guò)濾”步驟可以簡(jiǎn)單的將符合某個(gè)條件的數(shù)據(jù)過(guò)濾。對(duì)于自定義的清洗需要在各種輸入步驟中將所有的字段都設(shè)置為String,這樣可以讀取到所有的數(shù)據(jù),再使用javascrip t步驟來(lái)寫(xiě)具體的腳本。此外還可以利用正則表達(dá)式進(jìn)行數(shù)據(jù)匹配,通過(guò)“數(shù)據(jù)庫(kù)查詢”“映射”“流查詢”這3步,將不符合規(guī)范的數(shù)據(jù)轉(zhuǎn)換為符合要求的數(shù)據(jù)[56]。

聯(lián)邦數(shù)據(jù)庫(kù)系統(tǒng)是一個(gè)分布式的數(shù)據(jù)庫(kù)環(huán)境,對(duì)于終端用戶和應(yīng)用程序來(lái)說(shuō)可以把它看做一個(gè)虛擬數(shù)據(jù)庫(kù)。Web-Sphere Federation Server9.0提供了放置、發(fā)布、集成、搜索、清除以及訪問(wèn)數(shù)據(jù)的功能和特性。聯(lián)邦者想從遠(yuǎn)程數(shù)據(jù)庫(kù)獲取數(shù)據(jù),它需要關(guān)聯(lián)到該服務(wù)器上的數(shù)據(jù)類型映射和函數(shù)映射,如同其它客戶機(jī)程序那樣進(jìn)行認(rèn)證。“用戶映射(U ser Mapping)”提供了建立數(shù)據(jù)請(qǐng)求憑證的機(jī)制,將本地db2用戶標(biāo)識(shí)映射到遠(yuǎn)程服務(wù)器上的用戶標(biāo)識(shí)。

研究表明,在域間距離、數(shù)據(jù)傳輸量、訪問(wèn)連接次數(shù)等參數(shù)一致的前提下,基于 T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)在較大文件的數(shù)據(jù)訪問(wèn)中能表現(xiàn)出較高的綜合性能,額外開(kāi)銷的影響也逐漸減弱,跨域數(shù)據(jù)傳輸?shù)男阅苤饾u逼近域內(nèi)傳輸?shù)男阅堋１?列出了基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)的集成性能分析。與單一的數(shù)據(jù)集成方案相比性能更加穩(wěn)定,存取效率高,吞吐量大,安全性好,易于擴(kuò)展,能夠滿足集成數(shù)據(jù)的動(dòng)態(tài)變化,更加符合當(dāng)前我校數(shù)字校園數(shù)據(jù)集成方面的實(shí)際需求。

表1 基于T-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)的集成性能分析

5 結(jié)論

數(shù)據(jù)集成為應(yīng)用集成提供了重要基礎(chǔ),是實(shí)現(xiàn)共享數(shù)據(jù)中心、構(gòu)建數(shù)字校園的關(guān)鍵環(huán)節(jié)。本文結(jié)合高校數(shù)字化建設(shè)的特點(diǎn),借鑒企業(yè)主流數(shù)據(jù)集成方案,設(shè)計(jì)了這種高性能復(fù)合式的集成平臺(tái)?；赥-ETL架構(gòu)的異構(gòu)數(shù)據(jù)集成平臺(tái)不是兩種集成技術(shù)的簡(jiǎn)單組合,而是在分析高校數(shù)據(jù)集成需求及現(xiàn)狀的基礎(chǔ)上,對(duì)兩種集成技術(shù)的整合和最優(yōu)化配置。今后還應(yīng)該在數(shù)據(jù)中心的基礎(chǔ)上,研究主題數(shù)據(jù)庫(kù)和OLAP數(shù)據(jù)庫(kù)的抽取,完成整個(gè)共享數(shù)據(jù)中心數(shù)據(jù)集成平臺(tái)的框架設(shè)計(jì)和實(shí)現(xiàn)。

[1] 張寧,賈自艷.數(shù)據(jù)倉(cāng)庫(kù)中 ETL技術(shù)的研究[J].計(jì)算機(jī)工程與應(yīng)用,2002(24):213-216.

[2] 趙英杰.數(shù)據(jù)網(wǎng)絡(luò)中聯(lián)邦數(shù)據(jù)服務(wù)關(guān)鍵技術(shù)的研究與實(shí)現(xiàn)[D].國(guó)防科學(xué)技術(shù)大學(xué),2005(11).

[3] 李俊,李勇.聯(lián)邦式異構(gòu)數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)的集成框架和實(shí)現(xiàn)技術(shù)的研究[J].計(jì)算機(jī)應(yīng)用研究,2001,4(4):19-21.

[4] 深圳市神盾信息技術(shù)有限公司.Kettle 3.0用戶手冊(cè)[S].2008.

[5] 郭志懋,俞榮華.一個(gè)可擴(kuò)展的數(shù)據(jù)清洗系統(tǒng)[J].計(jì)算機(jī)工程,2003(3):95-98.

[6] Ralph Kimball,Margy Ross.The Data warehouse ETL Toolkit:Practical Techniques fo r Extracting,Cleaning, Confo rming,and Delivering Data[J].John Wiley and Sons,2002:238-268.

(責(zé)任編校:夏玉玲)

Solution of the Multi-source Heterogeneous Data Integration Platform Based on T-ETL Framework

MA Jiang1,YANGXue2min1,2
(1.Netwo rk Center Tangshan College,Tangshan 063000,China;2.Information College Beijing University of Sci-ence&Technology,Beijing 100083,China)

After analyzing the main way of data integration,a compound solution based on T-ETL architecture is proposed with regard to the process of digital campus construction practice,which resolves the business interoperability issues in different business system s.Research show s that this framework can guarantee real-time property of data transmission,decrease spending,remove performance bottleneck as w ell as potential safety hazard and imp rove the overall performance.

heterogonous data sources;data federate;data integration

TP311.13-

A

1672-349X(2010)06-0051-03

2010-10-12

唐山市教育科學(xué)研究十一五規(guī)劃立項(xiàng)課題(TSYB065)

馬將(1984-),男,助教,碩士,研究方向?yàn)閿?shù)據(jù)集成與中間件技術(shù)。