林華治,虞銘輝
(浙江樹人大學(xué)圖書與信息中心,浙江杭州310015)
基于OD I的高校數(shù)據(jù)中心研究與實(shí)踐
林華治,虞銘輝
(浙江樹人大學(xué)圖書與信息中心,浙江杭州310015)
目前高校業(yè)務(wù)系統(tǒng)不斷豐富,同時(shí)也形成了“信息孤島”,通過構(gòu)建數(shù)據(jù)中心可以解決該類問題,本文分析了目前高校業(yè)務(wù)系統(tǒng)建設(shè)中存在的主要問題、高校數(shù)據(jù)中心建設(shè)的模式和主要技術(shù)路線,提出了基于ODI的數(shù)據(jù)中心建設(shè)模式,在浙江樹人大學(xué)加以實(shí)踐,并選取教工流進(jìn)行深入研究。
ODI;數(shù)據(jù)中心;信息孤島;數(shù)據(jù)流;高校信息化
隨著高校信息化建設(shè)不斷深入,各類應(yīng)用系統(tǒng)產(chǎn)生的大量數(shù)據(jù)形成了各自的“信息孤島”,使各個(gè)應(yīng)用系統(tǒng)之間無法互聯(lián)互通,產(chǎn)生了大量問題,這些應(yīng)用系統(tǒng)的建立給學(xué)校的管理帶來負(fù)面影響,主要存在以下問題:
(1)很多業(yè)務(wù)系統(tǒng)的建立是遵循老的業(yè)務(wù)規(guī)則,往往會(huì)以部門為邊界或者按部門內(nèi)分工進(jìn)行,各自維護(hù)自身的系統(tǒng)和數(shù)據(jù),形成了屏障,使數(shù)據(jù)無法良性共享,這樣當(dāng)業(yè)務(wù)需要進(jìn)行跨系統(tǒng)交互時(shí)就會(huì)很困難,而學(xué)校大量業(yè)務(wù)流程需要跨部門開展,這樣業(yè)務(wù)系統(tǒng)對于全校性的業(yè)務(wù)支撐力度不夠,現(xiàn)實(shí)的情況是,很多業(yè)務(wù)系統(tǒng)在建設(shè)初期設(shè)想了很多功能點(diǎn),但是到最后能用上的寥寥無幾。
(2)沒有統(tǒng)一的信息標(biāo)準(zhǔn),每個(gè)業(yè)務(wù)系統(tǒng)在建設(shè)的時(shí)候采用自己的命名規(guī)則和代碼集,這樣在系統(tǒng)設(shè)計(jì)的時(shí)候?qū)τ跀?shù)據(jù)規(guī)范性就缺乏考究,即便有數(shù)據(jù)但由于格式不對也無法順利地傳遞給其他業(yè)務(wù)。
(3)數(shù)據(jù)以不同的形式廣泛分散于各個(gè)部門、業(yè)務(wù)系統(tǒng)、人員,在業(yè)務(wù)系統(tǒng)中以結(jié)構(gòu)化的數(shù)據(jù)為主,很多還未納入信息系統(tǒng)的業(yè)務(wù)產(chǎn)生了非結(jié)構(gòu)化的數(shù)據(jù),并且這些數(shù)據(jù)還是存放在個(gè)人電腦上,無法確保信息安全、必要冗余和高可用性。[1]
(4)各業(yè)務(wù)系統(tǒng)一般只建設(shè)面向該業(yè)務(wù)的簡單查詢,實(shí)際過程中真正有價(jià)值和迫切需查詢的數(shù)據(jù)是面向全校的,而不局限于單一業(yè)務(wù)本身,但由于全校重要的信息沒有唯一和統(tǒng)一的存放點(diǎn),例如學(xué)校領(lǐng)導(dǎo)一般比較關(guān)心學(xué)生信息,而學(xué)生基本信息在學(xué)工系統(tǒng),學(xué)籍信息在教務(wù)處,住宿信息在后勤部門,圖書借閱信息在圖書館,單個(gè)業(yè)務(wù)系統(tǒng)勢必?zé)o法滿足全面的信息查詢和使用需求。
(5)缺乏信息積累機(jī)制,數(shù)據(jù)無法得到有效的搜集、存放和利用,世界的本質(zhì)是信息,在高等教育過程中產(chǎn)生的各類信息無法記錄下來,在信息社會(huì)和大數(shù)據(jù)時(shí)代是很可怕的事情,數(shù)據(jù)資源對學(xué)校今后的發(fā)展有著極具重要的戰(zhàn)略意義和指導(dǎo)意義,例如分析學(xué)生的行為記錄與成長軌跡的關(guān)聯(lián)可以為學(xué)生培養(yǎng)模式的制定提供非常好的決策支持。[2]
上述問題在各個(gè)高校中基本都存在,程度不一,一般高校的解決方式都是在門戶層統(tǒng)一信息、展示入口,關(guān)鍵在于數(shù)據(jù)層依據(jù)信息標(biāo)準(zhǔn)構(gòu)建全校性的數(shù)據(jù)中心來實(shí)現(xiàn)數(shù)據(jù)交互、沉淀和挖掘,選擇好的數(shù)據(jù)中心技術(shù)框架、建設(shè)模式特別重要。本文通過分析傳統(tǒng)的數(shù)據(jù)中心模式,提出了基于ODI(Oracle Data Integrator)的數(shù)據(jù)中心解決方案,從數(shù)據(jù)中心架構(gòu)模型、應(yīng)用效果等幾個(gè)方面進(jìn)行了深入的研究和實(shí)踐。
目前來說各大高校都在進(jìn)行數(shù)據(jù)中心建設(shè),對于高校數(shù)據(jù)中心的研究也在不斷深入,截止到2015年1月27日,在中國期刊全文數(shù)據(jù)庫中以數(shù)據(jù)中心為主題作為關(guān)鍵詞檢索,有4707條記錄,其中關(guān)于高校數(shù)據(jù)中心建設(shè)有746條,可見數(shù)據(jù)中心的建設(shè)是高校信息化的核心點(diǎn)、熱點(diǎn),同時(shí)也是難點(diǎn)。目前來說高校數(shù)據(jù)中心建設(shè)模式上大部分高校采用純外包或者半外包的形式,即公開招標(biāo)找社會(huì)上的軟件公司為其設(shè)計(jì)和建設(shè)數(shù)據(jù)中心,但是每個(gè)學(xué)校的情況差異比較大,數(shù)據(jù)中心很難作為一種成熟的產(chǎn)品實(shí)施,它要求校方深入?yún)⑴c期間的每個(gè)過程,同時(shí)需要全校其他部門全力配合才能構(gòu)建一個(gè)較為完善的數(shù)據(jù)中心;從技術(shù)路線上來說目前較為熱門的是基于SOA架構(gòu)的數(shù)據(jù)中心,該架構(gòu)的特點(diǎn)是高內(nèi)聚低耦合,實(shí)現(xiàn)了功能點(diǎn)的分離,但是現(xiàn)實(shí)的情況是如何界定功能點(diǎn)、原有的業(yè)務(wù)系統(tǒng)如何融入SOA架構(gòu)、總線如何編排都是很大的挑戰(zhàn),實(shí)施起來難度比較大。[3][4]
和絕大部分高校一樣,樹人大學(xué)現(xiàn)有業(yè)務(wù)系統(tǒng)繁多,業(yè)務(wù)系統(tǒng)之間相互獨(dú)立,數(shù)據(jù)無法共享,形成了數(shù)據(jù)孤島,而且沒有全校性的數(shù)據(jù)標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量堪憂,在這樣的背景下,啟動(dòng)了數(shù)據(jù)中心建設(shè),經(jīng)過多方考察和研究,確定了用ODI作為數(shù)據(jù)中心的核心技術(shù)平臺(tái),并參照教育部2012年最新信息標(biāo)準(zhǔn)制定了學(xué)校標(biāo)準(zhǔn)。
我們提出了基于ODI構(gòu)建數(shù)據(jù)中心的思路,該模型的特點(diǎn)在于關(guān)注數(shù)據(jù)流,而不拘泥于展示技術(shù),打通最底層的數(shù)據(jù)流,實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)的互聯(lián)互通。在高校中有三項(xiàng)核心數(shù)據(jù)流——人員流、物流、財(cái)流,這是高校所有業(yè)務(wù)系統(tǒng)的根本,大部分業(yè)務(wù)都是以其為載體,很多業(yè)務(wù)系統(tǒng)的交互和共享也與其有關(guān),我們用商業(yè)化、成熟穩(wěn)定的軟件工具ODI作為基礎(chǔ)平臺(tái),該平臺(tái)具有強(qiáng)大的數(shù)據(jù)整合能力,可以抽取、下發(fā)、編排各種數(shù)據(jù),支持絕大部分的數(shù)據(jù)庫,并且是充分利用數(shù)據(jù)庫系統(tǒng)自身的能力進(jìn)行數(shù)據(jù)轉(zhuǎn)換,減少網(wǎng)絡(luò)流量、平衡和提高性能的同時(shí)降低投入總成本。[5]
基于ODI的數(shù)據(jù)中心整體架構(gòu)如圖1所示,通過數(shù)據(jù)交換平臺(tái)將各類數(shù)據(jù)源進(jìn)行清洗、轉(zhuǎn)化后形成符合數(shù)據(jù)標(biāo)準(zhǔn)的范式進(jìn)入數(shù)據(jù)中心庫,數(shù)據(jù)中心庫采用的是與ODI同家廠商的ORACLE,常見的數(shù)據(jù)源有關(guān)系型數(shù)據(jù)庫,如ORACLE、MYSQL、SQLSERVER、DB2等,常見文本有WORD、EXCEL等,還有其他數(shù)據(jù)源例如TXT文件,ODI均支持,ODI支持?jǐn)帱c(diǎn)續(xù)傳,即當(dāng)發(fā)生異常,常見的是網(wǎng)絡(luò)不穩(wěn)定導(dǎo)致的數(shù)據(jù)交換過程中斷,當(dāng)網(wǎng)絡(luò)恢復(fù)正??梢匝永m(xù)異常前的工作,這樣確保了數(shù)據(jù)的一致性和數(shù)據(jù)中心的穩(wěn)定性。
圖1 ODI數(shù)據(jù)中心架構(gòu)
ODI主要定位于在ETL和數(shù)據(jù)集成的場景里使用。ODI和Oracle原來的ETL(Extract-Transform-Load)工具OWB(ORACLE另外一個(gè)數(shù)據(jù)抽取工具)相比有一些顯著的特點(diǎn),比如和OWB一樣是ETL架構(gòu),但是比OWB支持更多的異構(gòu)的數(shù)據(jù)源。
ODI提出了知識(shí)模塊的概念 (Knowledge Module),通過知識(shí)模塊可以復(fù)用原有的項(xiàng)目的過程,因?yàn)榇蟛糠值臄?shù)據(jù)轉(zhuǎn)換過程類似,都是從一個(gè)數(shù)據(jù)源到另一個(gè)數(shù)據(jù)源,ODI里有100多種常見的知識(shí)模塊,同時(shí)也可以自定義知識(shí)模塊,這樣可以實(shí)現(xiàn)模塊的復(fù)用,ODI知識(shí)模塊是由Jython腳本語言結(jié)合數(shù)據(jù)庫的SQL語句錄成。[5]
本文以樹人大學(xué)教職工流為例來說明ODI的實(shí)際場景的運(yùn)作過程,樹人大學(xué)原有人員歸口比較繁雜,沒有統(tǒng)一歸口,通過整合梳理后使所有教職工都?xì)w到人事系統(tǒng),原先業(yè)務(wù)系統(tǒng)之間沒有聯(lián)動(dòng),經(jīng)常會(huì)發(fā)生教職工已經(jīng)離校但是其他業(yè)務(wù)系統(tǒng)里還有該人員,并且賬號(hào)還能正常使用等情況,這是由于部門之間溝通不夠順暢導(dǎo)致或者說沒有一個(gè)機(jī)制來管理這個(gè)過程,我們通過構(gòu)建基于數(shù)據(jù)中心的教職工流可以很好地解決該問題,實(shí)現(xiàn)人員的自動(dòng)化和全生命周期管理。[6][7]
教職工涉及的主要業(yè)務(wù)系統(tǒng)有辦公自動(dòng)化系統(tǒng)、教務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)、資產(chǎn)管理系統(tǒng)、人事管理系統(tǒng)、圖書館系統(tǒng)、一卡通系統(tǒng)、檔案系統(tǒng)等,教職工相關(guān)業(yè)務(wù)有入職、校內(nèi)信息變更和離職三大類,通過基于ODI的數(shù)據(jù)中心構(gòu)建的數(shù)據(jù)流如圖2所示,該圖列出了兩種流形式——新教工入職流和信息變更流(涵蓋離職)。
圖2 教工數(shù)據(jù)流
新的教職工的進(jìn)校,在人事系統(tǒng)錄入相應(yīng)的數(shù)據(jù),則馬上將數(shù)據(jù)發(fā)送到中間庫,對于符合數(shù)據(jù)中心質(zhì)量要求的數(shù)據(jù)將通過ODI直接抽取到標(biāo)準(zhǔn)庫,數(shù)據(jù)質(zhì)量要求主要指數(shù)據(jù)的長度和格式是否符合數(shù)據(jù)標(biāo)準(zhǔn)、必要字段是否齊全等,進(jìn)入到標(biāo)準(zhǔn)庫后,數(shù)據(jù)中心將數(shù)據(jù)推送到各個(gè)業(yè)務(wù)系統(tǒng)的中間庫,然后由各個(gè)業(yè)務(wù)系統(tǒng)根據(jù)需要將數(shù)據(jù)抽取到業(yè)務(wù)系統(tǒng),在這里使用中間庫的原因在于,各個(gè)業(yè)務(wù)系統(tǒng)一般都是由不同廠商完成的,為了避免公司間的推諉和不對原有系統(tǒng)造成破壞采用中間庫機(jī)制,其中離職流中數(shù)據(jù)中心同步到業(yè)務(wù)系統(tǒng)時(shí)一般以改變教工的在校狀態(tài)達(dá)到賬戶凍結(jié)而不是進(jìn)行物理刪除,因?yàn)橛脩粼跇I(yè)務(wù)系統(tǒng)中有相關(guān)的使用記錄數(shù)據(jù),如刪除會(huì)對業(yè)務(wù)系統(tǒng)產(chǎn)生無法預(yù)見的影響。
人事系統(tǒng)到數(shù)據(jù)中心階段按照前期制定數(shù)據(jù)標(biāo)準(zhǔn),有23項(xiàng)數(shù)據(jù)需提交給數(shù)據(jù)中心,其中與人員流有關(guān)的主要數(shù)據(jù)表有教職工基礎(chǔ)數(shù)據(jù)子類表、個(gè)人通訊方式子類,這些數(shù)據(jù)是其他系統(tǒng)迫切需要的,教職工基礎(chǔ)數(shù)據(jù)子類表如表1所示,列出比較重要的一些字段,其中工號(hào)、單位號(hào)、證件類型、證件號(hào)、教職工類別碼和教職工當(dāng)前狀態(tài)不能為空,因?yàn)槠渌麡I(yè)務(wù)系統(tǒng)接收到數(shù)據(jù)時(shí)如這些字段不全則無法成功添加和更新人員信息,如表1所示,人事系統(tǒng)表對應(yīng)到人事中間庫,ODI實(shí)時(shí)監(jiān)測人事中間庫的變化,并同步到數(shù)據(jù)中心,并下發(fā)各個(gè)相關(guān)業(yè)務(wù)系統(tǒng)。
表1 人事系統(tǒng)與數(shù)據(jù)中心對照表
以數(shù)據(jù)中心到教務(wù)系統(tǒng)為例,教務(wù)系統(tǒng)僅針對需要使用教務(wù)系統(tǒng)的教師開通,要對人員進(jìn)行過濾篩選,如表2所示,表中標(biāo)明“是”的教工類型,將自動(dòng)下發(fā)到教務(wù)系統(tǒng),默認(rèn)開通普通用戶權(quán)限,特殊權(quán)限由教務(wù)管理員單獨(dú)授予,選取了其中主要幾個(gè)對應(yīng)關(guān)系。
表2 教務(wù)對應(yīng)規(guī)則表
在ODI中對于數(shù)據(jù)流的配置是由程序包和接口組成,程序包由多個(gè)接口組成,每個(gè)接口完成各自的數(shù)據(jù)交換工作,本項(xiàng)目采用的命名規(guī)則是取業(yè)務(wù)系統(tǒng)的拼音,例如BZK代表的是標(biāo)準(zhǔn)庫,圖3的程序包實(shí)現(xiàn)的是人事系統(tǒng)的數(shù)據(jù)抽取到數(shù)據(jù)中心,然后下發(fā)到教務(wù)系統(tǒng)、一卡通系統(tǒng)、OA系統(tǒng)、科研系統(tǒng)、圖書館系統(tǒng)等,在這里與一卡通系統(tǒng)對接過程存在數(shù)據(jù)的雙向交換,實(shí)現(xiàn)教職工一卡通物理卡號(hào)的分配,因?yàn)閳D書館管理系統(tǒng)的子系統(tǒng)門禁管理系統(tǒng)需要物理卡號(hào),該程序包設(shè)置成一秒鐘輪詢執(zhí)行一次,如在一秒鐘內(nèi)發(fā)現(xiàn)數(shù)據(jù)異常該程序包便會(huì)啟動(dòng)。
目前數(shù)據(jù)中心已經(jīng)運(yùn)行2年多,總體平穩(wěn),已經(jīng)累計(jì)實(shí)現(xiàn)了102934條信息的新增和更新,實(shí)現(xiàn)了人員自動(dòng)化管理,教工數(shù)據(jù)源頭人事系統(tǒng)一旦改變?nèi)藛T狀態(tài)其他業(yè)務(wù)系統(tǒng)便做相應(yīng)調(diào)整,同理教務(wù)系統(tǒng)的學(xué)生學(xué)籍狀態(tài)改變也會(huì)及時(shí)同步到各個(gè)業(yè)務(wù)系統(tǒng),這樣大大減低了人工的誤操作率,優(yōu)化了學(xué)校管理流程,提高了整體的服務(wù)水平。
數(shù)據(jù)中心建設(shè)實(shí)現(xiàn)了人員的統(tǒng)一歸口管理,但是對于業(yè)務(wù)間的關(guān)聯(lián)操作還未進(jìn)行系統(tǒng)梳理以及數(shù)據(jù)積累后還沒有得到很好的利用分析,這將是今后努力的方向。
圖3 樹人大學(xué)教職工流程序包
[1]王磊,李林林,周學(xué)理.淺析高校數(shù)據(jù)中心建設(shè)的問題及對策[J].科技與管理,2006(6):144-146.
[2]史鑫,朱巧明,李培峰,孔芳.面向數(shù)字化校園的共享數(shù)據(jù)庫中心的設(shè)計(jì)[J].蘇州大學(xué)學(xué)報(bào)(自然科學(xué)版),2006(3):37-41.
[3]彭小斌,陳晨,鄧可君,閆保樺,史詩.高校信息化現(xiàn)狀分析[J].武漢大學(xué)學(xué)報(bào)(理學(xué)版),2012(s1):27-31.
[4]楊利軍,朱闖.高校信息化開發(fā)模式實(shí)證研究[J].情報(bào)科學(xué),2008(12):1848-1850.
[5]Laura Hofman M iquel.Getting Started w ith Oracle Data Integrator[EB/OL][2014-10-11].http://www.oracle. com/technetwork/m iddleware/data-integrator/overview/ odigs-11g-168072.pdf.
[6]周長春,徐宏炳,張小偉.基于共享數(shù)據(jù)庫的數(shù)據(jù)集成方案的改進(jìn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2007(8):1917-1918.
[7]冀鑫.高校數(shù)字化校園建設(shè)實(shí)踐探索[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2012(18):67-70.
(編輯:王天鵬)
表2 微課關(guān)聯(lián)表
微課表與微課關(guān)聯(lián)表之間的關(guān)系如圖6所示:
圖6 微課視頻庫數(shù)據(jù)表之間的關(guān)系
本文分析了現(xiàn)有微課發(fā)展中存在的不足之處,并給予相應(yīng)的解決辦法,為微課體系化和系統(tǒng)化明確了思路,同時(shí)也為微課網(wǎng)絡(luò)的可視化建立了相應(yīng)的模型,這為微課更好地為教育教學(xué)服務(wù)提供了相應(yīng)的理念指導(dǎo)和技術(shù)支持,只要能繼續(xù)探索微課在教學(xué)當(dāng)中的應(yīng)用,相信它能夠更好地為廣大學(xué)習(xí)者服務(wù)。
參考文獻(xiàn):
[1]陳相霓.網(wǎng)絡(luò)課程中知識(shí)點(diǎn)模塊的設(shè)計(jì)與實(shí)現(xiàn)[D].天津:天津師范大學(xué),2010.
[2]李艷.網(wǎng)絡(luò)教學(xué)中知識(shí)點(diǎn)網(wǎng)絡(luò)的個(gè)性化呈現(xiàn)研究[D].武漢:華中師范大學(xué),2006.
[3]施岳定,張樹有,項(xiàng)春.網(wǎng)絡(luò)課程中知識(shí)點(diǎn)的表示與關(guān)聯(lián)技術(shù)研究[J].浙江:大學(xué)學(xué)報(bào)(工學(xué)版),2003(5).
[4]冉梅,李曉.知識(shí)點(diǎn)網(wǎng)絡(luò)可視化表示的系統(tǒng)設(shè)計(jì)[J].江西廣播電視大學(xué)學(xué)報(bào),2005(3).
[5]李曉,冉梅.知識(shí)點(diǎn)網(wǎng)絡(luò)的可視化表示[J].中國遠(yuǎn)程教育,2005(10).
[6]程靜,楊明,邱玉輝.基于知識(shí)點(diǎn)對象的個(gè)性化學(xué)習(xí)系統(tǒng)實(shí)施[J].西南師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2006(5).
[7]王瑞霞.布盧姆教育目標(biāo)分類理論新發(fā)展及其教學(xué)意義[D].武漢:華東師范大學(xué),2007.
[8]胡鐵生,黃明燕,李民.我國微課發(fā)展的三個(gè)階段及其啟示[J].遠(yuǎn)程教育雜志,2013(4):4-6.
[9]劉柏嵩.基于知識(shí)的語義網(wǎng):概念、技術(shù)及挑戰(zhàn)[J].中國圖書館學(xué)報(bào),2003(2).
(編輯:王天鵬)
TP315
A
1673-8454(2015)11-0086-04