摘要：人工智能、物聯(lián)網(wǎng)和云計(jì)算等信息技術(shù)在高校中的廣泛應(yīng)用，積極推動了校園信息化發(fā)展進(jìn)程，使得教學(xué)、科研和生活等數(shù)據(jù)爆炸式地增長。然而，由于各個應(yīng)用系統(tǒng)或平臺建立的時間、環(huán)境、標(biāo)準(zhǔn)和技術(shù)等不一致，導(dǎo)致“信息孤島”問題日益嚴(yán)峻。本文在剖析校園大數(shù)據(jù)共享與交換的現(xiàn)狀的基礎(chǔ)上，提出了一種基于校園大數(shù)據(jù)的數(shù)據(jù)共享與交換平臺方案。該方案試圖突破信息壁壘、解除信息孤島，為異構(gòu)業(yè)務(wù)系統(tǒng)、異構(gòu)數(shù)據(jù)庫和不同數(shù)據(jù)格式之間提供數(shù)據(jù)共享與交換提供服務(wù)。

Abstract： The extensive application of information technology such as artificial intelligence， Internet of Things and cloud computing in colleges and universities has actively promoted the development of campus informationization， which has led to the explosive growth of data such as teaching， research and life. However， due to the inconsistencies in the time， environment， standards and technologies established by various application systems or platforms， the problem of "information silos" has become increasingly serious. Based on the analysis of the status quo of campus big data sharing and exchange， this paper proposes a data sharing and exchange platform based on campus big data. The program attempts to break through information barriers， dismantle information silos， and provide services for data sharing and exchange among heterogeneous business systems， heterogeneous databases and different data formats.

關(guān)鍵詞：大數(shù)據(jù);數(shù)據(jù)共享;數(shù)據(jù)交換

Key words： big data;data sharing;data exchange

中圖分類號：G47;TP308? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2019）18-0240-03

0? 引言

隨著高校信息化建設(shè)的發(fā)展，應(yīng)用信息化的不斷深入，管理精細(xì)化要求的提高，不同系統(tǒng)間的數(shù)據(jù)得不到共享，形成一個又一個的信息孤島。各個業(yè)務(wù)系統(tǒng)所產(chǎn)生的大量異構(gòu)數(shù)據(jù)，如何能夠方便高效地開放出去，實(shí)現(xiàn)數(shù)據(jù)共享與交換，是當(dāng)前高校信息化亟需決的難題[1]。校園信息化水平不高的時候，數(shù)據(jù)的開放方式還可以直接將數(shù)據(jù)導(dǎo)出給對方。然而，教育信息技術(shù)2.0支撐下的泛在學(xué)習(xí)、混合式教學(xué)和智慧校園等應(yīng)用，使得教育教學(xué)有關(guān)數(shù)據(jù)爆炸式地增長。過往簡單的數(shù)據(jù)直連的方式不僅低效，而且還帶來了管理與安全等諸多問題。同時，信息技術(shù)的廣泛應(yīng)用，使得業(yè)務(wù)服務(wù)對象從既往的各級業(yè)務(wù)部門變?yōu)槿７秶鷥?nèi)的師生。更多的應(yīng)用、更多的用戶需求，將直接導(dǎo)致業(yè)務(wù)共享與交換的壓力呈指數(shù)上升。例如，數(shù)據(jù)服務(wù)共享得不到有效管控，多源頭的數(shù)據(jù)采集，重復(fù)過程的數(shù)據(jù)采集，服務(wù)通訊無法統(tǒng)一管控等問題日益突現(xiàn)。這對數(shù)據(jù)服務(wù)架構(gòu)性能、穩(wěn)定性、擴(kuò)展性、可控性提出了更高的需求。因此，如何減輕工作量，方便業(yè)務(wù)部門進(jìn)行數(shù)據(jù)管理，打造一個數(shù)據(jù)共享交換生態(tài)平臺成為各個高校的共性問題。

1? 現(xiàn)狀及需求分析

當(dāng)前我國學(xué)校教育信息化基礎(chǔ)設(shè)施、信息系統(tǒng)建設(shè)和師生服務(wù)等方面普遍取得了長足進(jìn)展。同時，隨著信息技術(shù)在教育領(lǐng)域中的不斷深入，也逐漸暴露出各級信息系統(tǒng)分散，數(shù)據(jù)質(zhì)量低等問題，這與金融、電力、通訊、交通、制造等信息化程度高的行業(yè)相比，仍存在較大差距。主要體現(xiàn)在數(shù)據(jù)文件和數(shù)據(jù)報(bào)文的共享與交換。

首先，在數(shù)據(jù)文件共享與交換方面，校內(nèi)存在眾多的信息管理系統(tǒng)，每個信息的數(shù)據(jù)獨(dú)立存在，得不到有效共享與互通。其次，信息安全管理與防范機(jī)制不夠完善，存在信息系統(tǒng)數(shù)據(jù)隨意授權(quán)或管理不嚴(yán)的現(xiàn)象，容易導(dǎo)致濫用數(shù)據(jù)或隱私數(shù)據(jù)泄露的情況發(fā)生。最后，數(shù)據(jù)的質(zhì)量得不到提高。前期信息系統(tǒng)建設(shè)普遍存在“重功能輕數(shù)據(jù)”情況，缺少全校數(shù)據(jù)標(biāo)準(zhǔn)整體規(guī)劃，即使發(fā)現(xiàn)數(shù)據(jù)有問題也無從審核與校驗(yàn)，進(jìn)而導(dǎo)致問題數(shù)據(jù)不斷的沉積，相關(guān)報(bào)表數(shù)據(jù)統(tǒng)計(jì)的及時性、準(zhǔn)確性得不到保證，嚴(yán)重將會影響到學(xué)校的決策與分析的應(yīng)用。

在數(shù)據(jù)報(bào)文共享與交換方面，不同業(yè)務(wù)系統(tǒng)之間的通訊報(bào)文與文件交換缺乏相關(guān)管理流程，數(shù)據(jù)管理責(zé)任不明確和缺乏審計(jì)機(jī)制等。首先，數(shù)據(jù)全生命周期缺乏管理，容易出現(xiàn)數(shù)據(jù)質(zhì)量問題，無法對問題數(shù)據(jù)進(jìn)行溯源追蹤。其次，學(xué)校各種應(yīng)用服務(wù)快速增長，單點(diǎn)負(fù)載均衡壓力也會越來越大，并且各項(xiàng)應(yīng)用服務(wù)之間的依賴關(guān)系變得錯綜復(fù)雜，難以理清具體應(yīng)用程序之間的先后啟動順序。最后，各項(xiàng)應(yīng)用服務(wù)的調(diào)用量越來越大，服務(wù)的容量就會受到一定的考驗(yàn)。

2? 數(shù)據(jù)共享與交換平臺設(shè)計(jì)

數(shù)據(jù)共享交換平臺將起到橋梁樞紐作用，是突破信息壁壘、消除信息孤島的重要手段。針對當(dāng)前校園數(shù)據(jù)共享與交換的現(xiàn)狀與需求，本文提出一種基于校園大數(shù)據(jù)的數(shù)據(jù)共享與交換平臺框架。該平臺架構(gòu)由三大框架組成，分別為分布式服務(wù)中間件、分布式數(shù)據(jù)交換系統(tǒng)和集中任務(wù)調(diào)度系統(tǒng)，如圖1所示。

數(shù)據(jù)共享與交換平臺通過為各業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)準(zhǔn)入接口，以統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)范，以實(shí)現(xiàn)數(shù)據(jù)自動提取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)發(fā)送、數(shù)據(jù)校驗(yàn)、數(shù)據(jù)審核等，并確保各項(xiàng)業(yè)務(wù)系統(tǒng)之間的數(shù)據(jù)能夠順暢、實(shí)時和批量傳輸。然后。通過制訂大數(shù)據(jù)共享規(guī)則，將所有經(jīng)過檢驗(yàn)與審核的數(shù)據(jù)匯聚到數(shù)據(jù)管理中心，形成大數(shù)據(jù)共享中心庫。最終該平臺采用規(guī)范、統(tǒng)一和透明的數(shù)據(jù)共享方式，為不同業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫和不同數(shù)據(jù)格式之間進(jìn)行數(shù)據(jù)交換而提供服務(wù)。

2.1 分布式服務(wù)中間件設(shè)計(jì)

隨著信息技術(shù)在教育教學(xué)中廣泛應(yīng)用，越來越多的系統(tǒng)被融進(jìn)“服務(wù)流程重組”，“敏捷開發(fā)”等“微服務(wù)”的概念中，并對原有業(yè)務(wù)系統(tǒng)進(jìn)行不同層次與級別的拆分?！拔⒎?wù)”節(jié)點(diǎn)在學(xué)校中的數(shù)量成指數(shù)增長，不同數(shù)據(jù)服務(wù)直接的調(diào)度對服務(wù)接口造成的強(qiáng)烈的負(fù)擔(dān)。尤其在傳統(tǒng)業(yè)務(wù)分層概念下開發(fā)的相關(guān)服務(wù)系統(tǒng)，給學(xué)校業(yè)務(wù)環(huán)境留下了嚴(yán)峻的單點(diǎn)故障問題[2]。為了解決這些問題，分布式服務(wù)中間件就應(yīng)運(yùn)而生。

分布式服務(wù)中間件為所有的業(yè)務(wù)系統(tǒng)提供了統(tǒng)一的API接口。在取得數(shù)據(jù)管理者授權(quán)的前提下，數(shù)據(jù)使用者可以通過調(diào)用數(shù)據(jù)接口對數(shù)據(jù)服務(wù)進(jìn)行獲取。同時，分布式服務(wù)系統(tǒng)對接口調(diào)用情況進(jìn)行記錄，并且形成API接口調(diào)用分析表。從服務(wù)模型的角度來看，分布式服務(wù)系統(tǒng)采用的是一種非常穩(wěn)定的模型，只有服務(wù)提供方（Provider）和服務(wù)消費(fèi)方 （Consumer）兩個角色。數(shù)據(jù)服務(wù)調(diào)度過程如圖2所示。

2.2 分布式數(shù)據(jù)交換系統(tǒng)設(shè)計(jì)

分布式數(shù)據(jù)交換系統(tǒng)是將各項(xiàng)繁雜的數(shù)據(jù)系統(tǒng)集成在一起，提供同構(gòu)或異構(gòu)數(shù)據(jù)之間的數(shù)據(jù)采集、格式轉(zhuǎn)換、消息過濾、動態(tài)部署和可視化監(jiān)管等方面功能[3]。該系統(tǒng)能夠支持Oracle、SQLServer、MySQL等主流數(shù)據(jù)庫以及各項(xiàng)常規(guī)文件（如：word、excel、pdf等）各種格式。如圖3所示，Reader負(fù)責(zé)數(shù)據(jù)采集，Writer負(fù)責(zé)數(shù)據(jù)的寫入，而Framework解決Reader和Writer之間的連接問題。另外，數(shù)據(jù)從原始數(shù)據(jù)庫流向標(biāo)準(zhǔn)庫的過程中，需要對數(shù)據(jù)的唯一性和正確性的變化情況進(jìn)行監(jiān)測。

2.3 集中任務(wù)調(diào)度系統(tǒng)設(shè)計(jì)

集中任務(wù)調(diào)度系統(tǒng)是數(shù)據(jù)交換共享平臺的核心，將完成分布式服務(wù)系統(tǒng)與分布式數(shù)據(jù)交換系統(tǒng)進(jìn)行任務(wù)的統(tǒng)一調(diào)度。如圖4所示，集中任務(wù)調(diào)度系統(tǒng)通過獲取分布式服務(wù)系統(tǒng)與分布式數(shù)據(jù)交換系統(tǒng)的相關(guān)策略配置，并對不同的服務(wù)與交換要求進(jìn)行優(yōu)化，進(jìn)而實(shí)現(xiàn)統(tǒng)一的進(jìn)程發(fā)起與任務(wù)調(diào)度。首先，集中任務(wù)調(diào)度系統(tǒng)能夠支持豐富多樣的調(diào)試方法，以滿足各種調(diào)度需求。其次，調(diào)度方式具有靈活性，能夠支持調(diào)度數(shù)據(jù)的多種存儲，以及任務(wù)與調(diào)度多方式組合。最后，該任務(wù)調(diào)度系統(tǒng)通過對RMI（Remote Method Invocation）的使用，能夠確保該調(diào)度服務(wù)能夠以獨(dú)立的方式運(yùn)行。

3? 結(jié)束語

大數(shù)據(jù)環(huán)境下，大量的信息服務(wù)與應(yīng)用的興起給校園數(shù)據(jù)共享與交換平臺的建設(shè)帶來了巨大的挑戰(zhàn)。本文提出了一種基于校園大數(shù)據(jù)的共享交換平臺設(shè)計(jì)方案。該方案將通過為各類型業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入的提供準(zhǔn)入接口，并采用統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和接口規(guī)范，實(shí)現(xiàn)數(shù)據(jù)的自動采集、內(nèi)容轉(zhuǎn)換、數(shù)據(jù)傳輸和數(shù)據(jù)審核等，進(jìn)而為異構(gòu)業(yè)務(wù)系統(tǒng)、異構(gòu)數(shù)據(jù)庫和不同數(shù)據(jù)格式之間數(shù)據(jù)交換與共享提供服務(wù)。

參考文獻(xiàn)：

[1]俞春，袁芳，等.高校數(shù)據(jù)共享與交換技術(shù)的應(yīng)用研究[J].實(shí)驗(yàn)技術(shù)與管理，2012，29（11）：109-122.

[2]張?jiān)?，韓彥嶺.航運(yùn)大數(shù)據(jù)[M].上海：上?？茖W(xué)技術(shù)出版社，2016：133-135.

[3]陳海郎，陳農(nóng)心.信訪一體化信息系統(tǒng)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)[J].價(jià)值工程，2016，15：81-83.