黃健榮，鄒木春，黃玉健

（1.2.3.梧州學(xué)院現(xiàn)代教育技術(shù)中心，廣西梧州543002）

一種基于共享數(shù)據(jù)平臺的高校數(shù)據(jù)集成方法

黃健榮1，鄒木春2，黃玉健3

（1.2.3.梧州學(xué)院現(xiàn)代教育技術(shù)中心，廣西梧州543002）

闡述共享數(shù)據(jù)平臺的基本工作原理，根據(jù)梧州學(xué)院實際需求對共享數(shù)據(jù)平臺的概念模型、數(shù)據(jù)源選擇和數(shù)據(jù)抽取進行研究分析，提出一個實現(xiàn)高校數(shù)據(jù)集成的方法。

信息孤島；共享數(shù)據(jù)平臺；數(shù)據(jù)集成；數(shù)據(jù)抽取

1 引言

隨著計算機技術(shù)和校園網(wǎng)絡(luò)的發(fā)展，高校信息化管理也有了很大的發(fā)展。以梧州學(xué)院為例，梧州學(xué)院現(xiàn)有教務(wù)管理系統(tǒng)、學(xué)生繳費管理系統(tǒng)、圖書管理系統(tǒng)和針對教職工用戶的院內(nèi)信息管理系統(tǒng)等，這些系統(tǒng)除了院內(nèi)信息系統(tǒng)是自行開發(fā)的之外，其他應(yīng)用系統(tǒng)都是由不同廠商開發(fā)的商業(yè)軟件，經(jīng)過數(shù)年的運行，這些系統(tǒng)已經(jīng)積累了寶貴的數(shù)據(jù)資源。但是，由于各個應(yīng)用系統(tǒng)運行在不同的環(huán)境中，使用不同的數(shù)據(jù)庫，彼此間沒有數(shù)據(jù)訪問接口，無法自行實現(xiàn)數(shù)據(jù)交換，各系統(tǒng)彼此獨立運行，形成了一個個“信息孤島”。隨著學(xué)校的發(fā)展，新的需求不斷提出，“信息孤島”所引發(fā)的矛盾日益突出，嚴重制約了學(xué)校信息化建設(shè)。信息系統(tǒng)集成是解決現(xiàn)存信息孤島問題的一個有效方式，而數(shù)據(jù)集成是信息系統(tǒng)集成的核心問題[1]，本文通過構(gòu)建共享數(shù)據(jù)平臺在梧州學(xué)院實現(xiàn)了數(shù)據(jù)集成。

2 共享數(shù)據(jù)平臺

2.1 共享數(shù)據(jù)平臺模型

共享數(shù)據(jù)平臺是對信息管理系統(tǒng)數(shù)據(jù)進行組織、存儲、查詢、通信等管理服務(wù)的數(shù)據(jù)庫系統(tǒng)，其目標是為學(xué)校提供一個統(tǒng)一的數(shù)據(jù)存儲模式[2]，建立跨系統(tǒng)異構(gòu)數(shù)據(jù)庫的數(shù)據(jù)交換平臺，使全校各信息系統(tǒng)的基礎(chǔ)數(shù)據(jù)保持一致，避免數(shù)據(jù)的重復(fù)錄入，同時對學(xué)?？绮块T的數(shù)據(jù)統(tǒng)計分析提供數(shù)據(jù)支持，結(jié)構(gòu)如圖1所示。

圖1 共享數(shù)據(jù)平臺結(jié)構(gòu)圖

2.2 共享數(shù)據(jù)庫

共享數(shù)據(jù)庫主要保存各信息系統(tǒng)中重復(fù)使用率比較高和對學(xué)校管理決策有影響的公共數(shù)據(jù)，共享數(shù)據(jù)的目的就是與其他信息系統(tǒng)進行數(shù)據(jù)交互，因此共享數(shù)據(jù)庫應(yīng)采用統(tǒng)一的數(shù)據(jù)格式，格式符合《國家經(jīng)濟信息系統(tǒng)設(shè)計與應(yīng)用標準化規(guī)范》和《高等學(xué)校管理基本信息集》等規(guī)范[3]。共享數(shù)據(jù)庫概念模型和數(shù)據(jù)來源有以下幾個方面。

2.2.1 用戶角色信息集：用戶角色信息集用于保存統(tǒng)一用戶認證登錄所需的用戶名、密碼以及原有應(yīng)用系統(tǒng)中的用戶、密碼和系統(tǒng)名稱。

2.2.2 學(xué)生信息集：學(xué)生是高校信息管理中最大的主體之一，高校信息管理系統(tǒng)很大一部分功能是對學(xué)生的管理，如學(xué)工管理、教務(wù)管理、校園一卡通等等，學(xué)生信息是重復(fù)使用率最高的信息之一，學(xué)生信息集主要是學(xué)生的學(xué)籍信息。學(xué)生信息的來源可以是學(xué)工管理系統(tǒng)或者教務(wù)管理系統(tǒng)，由于梧州學(xué)院當前沒有學(xué)工管理系統(tǒng)，因此學(xué)生信息來源從教務(wù)系統(tǒng)中抽取。

2.2.3 教職工信息集：教職工是高校信息管理中最大兩個主體的另一個，教職工信息也是重復(fù)使用率最高的信息之一，如教務(wù)管理、科研管理、人事管理等都與教職工相關(guān)。教工信息主要包含教職工的職工號、專業(yè)、學(xué)歷、職稱、職務(wù)等基本信息。梧州學(xué)院教職工信息集的來源由院內(nèi)信息系統(tǒng)和教務(wù)系統(tǒng)聯(lián)合生成。

2.2.4 教學(xué)信息集：教學(xué)工作是學(xué)校最大的活動，教學(xué)信息是教學(xué)質(zhì)量監(jiān)督的重要數(shù)據(jù)來源，對學(xué)校決策有重要的影響作用，教學(xué)信息包含學(xué)生選課記錄、教師教學(xué)任務(wù)、課程表信息、學(xué)生成績信息，調(diào)停課信息等；教學(xué)信息的主要來源是教務(wù)管理系統(tǒng)。

2.2.5 科研信息集：科研工作是學(xué)校除了教學(xué)活動之外的最大活動，科研工作是高校教師的主要工作之一，科研信息也影響著學(xué)校的決策，科研信息主要為教師的論文發(fā)表信息、項目信息、獲獎信息等，但由于梧州學(xué)院還沒有科研管理系統(tǒng)，科研信息集為預(yù)留項目。

2.2.6 財務(wù)信息集：財務(wù)信息主要為學(xué)生學(xué)費繳費信息，學(xué)生欠費是各高校都存在的問題，其數(shù)據(jù)對學(xué)校決策有著重要的作用，財務(wù)信息集的數(shù)據(jù)來源為學(xué)生繳費系統(tǒng)。財務(wù)信息的另一重要內(nèi)容是學(xué)校的財政數(shù)據(jù)和教職工的工資數(shù)據(jù)。

2.2.7 其他。

2.3 數(shù)據(jù)交換中心

數(shù)據(jù)交換中心是共享數(shù)據(jù)平臺的核心部件，其主要任務(wù)是協(xié)調(diào)各數(shù)據(jù)源使其基礎(chǔ)數(shù)據(jù)統(tǒng)一，即對數(shù)據(jù)源進行數(shù)據(jù)抽取、清洗、加載（ETL）和數(shù)據(jù)訂閱工作。數(shù)據(jù)交換中心位于異構(gòu)數(shù)據(jù)源系統(tǒng)和共享數(shù)據(jù)庫之間，向下對異構(gòu)數(shù)據(jù)源進行抽取，向上將抽取到的數(shù)據(jù)清洗后加載到共享數(shù)據(jù)庫，或者通過數(shù)據(jù)訂閱的方式將共享數(shù)據(jù)庫的數(shù)據(jù)按需要轉(zhuǎn)換后加載到需要用到的數(shù)據(jù)庫中。數(shù)據(jù)交換中心對數(shù)據(jù)源系統(tǒng)和接受數(shù)據(jù)的系統(tǒng)來說是透明的，數(shù)據(jù)的獲取和訂閱工作不影響原有系統(tǒng)的正常運行。

2.3.1 數(shù)據(jù)的抽取清洗加載實質(zhì)是對連接數(shù)據(jù)源、讀取源數(shù)據(jù)、根據(jù)規(guī)范轉(zhuǎn)換數(shù)據(jù)、寫入目標數(shù)據(jù)庫的過程，其難點是對數(shù)據(jù)源的抽取。抽取數(shù)據(jù)源或數(shù)據(jù)訂閱前都需要做大量的調(diào)研工作，調(diào)研工作需要了解哪些表格是存儲所需數(shù)據(jù)，是否存在非結(jié)構(gòu)化數(shù)據(jù)等問題。共享數(shù)據(jù)平臺的數(shù)據(jù)來自不同的系統(tǒng)，不同的數(shù)據(jù)源有不同的抽取方法，對數(shù)據(jù)源的抽取通常有全量抽取和增量抽取兩種方式。全量抽取是將數(shù)據(jù)源讀取后按照規(guī)定格式寫入到共享數(shù)據(jù)庫中，數(shù)據(jù)量不大或者更新頻率較小的數(shù)據(jù)，或者是非結(jié)構(gòu)化的數(shù)據(jù)都可以使用全量抽取，例如機構(gòu)設(shè)置表就可以使用全量抽取，全量抽取前應(yīng)刪除共享數(shù)據(jù)庫中相應(yīng)的數(shù)據(jù)。增量抽取是抽取上一次抽取后發(fā)生改變的數(shù)據(jù)，增量數(shù)據(jù)包括新增、修改和刪除過的數(shù)據(jù)，數(shù)據(jù)源數(shù)據(jù)量較大，而且更新頻率較大時可以使用增量抽取。獲取發(fā)生改變的數(shù)據(jù)是增量抽取的關(guān)鍵，獲取增量數(shù)據(jù)常用的方法有以下4種[4]。

第一種是掃描時間截數(shù)據(jù)法：對含有更新時間的數(shù)據(jù)源，可以通過對比上次更新時間來判斷哪些數(shù)據(jù)是新增數(shù)據(jù)，比如教務(wù)信息的調(diào)停課申請表可以按照審批時間進行增量判斷。

第二種是觸發(fā)器及數(shù)據(jù)的復(fù)制法：通過在數(shù)據(jù)源的表上建立觸發(fā)器，將發(fā)生改變的記錄保存到臨時表上，再從臨時表上定期抽取數(shù)據(jù)，觸發(fā)器及數(shù)據(jù)的復(fù)制法是比較有效和常用的數(shù)據(jù)抽取方法，如用戶角色集、學(xué)生信息集、教師信息集等均用此方法抽取數(shù)據(jù)，但對數(shù)據(jù)源系統(tǒng)會有一定的性能影響。

第三種是日志對比法：日志對比法是通過對源數(shù)據(jù)庫日志文件分析獲取增量數(shù)據(jù)。

第四種是全表對比法：全表對比法是源數(shù)據(jù)表與目標數(shù)據(jù)表的記錄逐條對比判斷發(fā)生變化的記錄。

對數(shù)據(jù)的抽取工作可根據(jù)數(shù)據(jù)的性質(zhì)采取定期自動抽取和手工抽取模式進行，對更新頻率大或者更新頻率無章可循的數(shù)據(jù)采用定期自動抽取，對數(shù)據(jù)更新周期較長的數(shù)據(jù)采用手工抽取，如用戶角色信息和教務(wù)信息中的調(diào)停課信息可以每2小時左右抽取一次，學(xué)生信息集和教工信息集可以每7天左右抽取一次，而教務(wù)信息中的教師教學(xué)任務(wù)和學(xué)生成績等信息則可以3個月或6個月才抽取，對自動抽取周期較長的數(shù)據(jù)同時提供手動抽取模式。

2.3.2 數(shù)據(jù)的訂閱是將共享數(shù)據(jù)庫中的數(shù)據(jù)按使用數(shù)據(jù)的系統(tǒng)要求格式轉(zhuǎn)換后加載到其數(shù)據(jù)庫中，是數(shù)據(jù)抽取的逆向過程，各系統(tǒng)通過數(shù)據(jù)訂閱實現(xiàn)數(shù)據(jù)的統(tǒng)一。數(shù)據(jù)訂閱對共享數(shù)據(jù)的抽取使用時間截方式獲取更新數(shù)據(jù)源。

3 總結(jié)

“信息孤島”是各高校普遍存在的現(xiàn)象，本文描述的方法已在梧州學(xué)院實現(xiàn)了數(shù)據(jù)共享和集成，為學(xué)校信息管理系統(tǒng)的集成奠定了基礎(chǔ)，也為新的業(yè)務(wù)系統(tǒng)的開發(fā)提供基礎(chǔ)數(shù)據(jù)支持。本方法具有建設(shè)周期短、開發(fā)成本低的特點，既保存了原有信息系統(tǒng)的獨立性，又實現(xiàn)了數(shù)據(jù)資源共享，為高校解決信息孤島問題、實現(xiàn)數(shù)據(jù)集成提供參考方案。

[1]龔尚福,席曼,李雅玲.信息系統(tǒng)集成與數(shù)據(jù)集成策略[J].西安科技大學(xué)學(xué)報,2008(6).

[2]裘慧奇,陳世平.數(shù)字校園共享數(shù)據(jù)平臺模型探討[J].科技信息，2008(11).

[3]徐榮.復(fù)旦大學(xué)共享數(shù)據(jù)平臺的分析與設(shè)計[D].復(fù)旦大學(xué)碩士學(xué)位論文,2005.

[4]王天亮,陳剛,徐宏炳.基于共享數(shù)據(jù)庫的數(shù)據(jù)共享技術(shù)[J].計算機工程與設(shè)計,2007(4).

A University Data Integration M ethod Based on Shared Data Platform

Huang Jianrong1,Zou M uchun2,Huang Yujian3
(1.2.3.M odern Educational Technology Center,W uzhou University,W uzhou 543002,China)

Expounding the basic working principle of shared data platform,researching and analyzing the conceptualmodel of the shared data platform,data source selection and data extraction according to the actual needs of Wuzhou University,this paper proposes a university data integrationmethod.

islands of information;shared data platform;data integration;data extraction

TP393.09

A

1673-8535(2013)03-0020-04

黃健榮（1978-），男，廣西桂平人，梧州學(xué)院工程師，研究方向：軟件工程與計算機網(wǎng)絡(luò)。

鄒木春（1969-），男，廣西蒼梧人，梧州學(xué)院副教授，研究方向：無損檢測。

（責任編輯：覃華巧）

2013-04-23

黃玉?。?975-），男，廣西藤縣人，梧州學(xué)院講師，研究方向：軟件工程。