劉萍 張蕊

摘? 要：大數(shù)據(jù)技術(shù)在各行各業(yè)的作用日益凸顯，高校引入相關(guān)技術(shù)可以充分挖掘歷史數(shù)據(jù)蘊(yùn)含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設(shè)奠定堅(jiān)實(shí)基礎(chǔ)。文章通過對高校大數(shù)據(jù)開發(fā)平臺服務(wù)構(gòu)建的整體思路和解決方案、相關(guān)核心關(guān)鍵技術(shù)的分析，提出大數(shù)據(jù)分析平臺在高校的應(yīng)用模式，從而對大數(shù)據(jù)在智慧校園中的應(yīng)用提出積極建議。

關(guān)鍵詞：大數(shù)據(jù);智慧校園;平臺設(shè)計(jì)

中圖分類號：TP311.13? ? ? 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2020）01-0125-02

Abstract：The role of big data technology in all walks of life is increasingly prominent. The introduction of relevant technologies in colleges and universities can fully tap the value of historical data. This paper puts forward the application mode of big data analysis platform in colleges and universities through the analysis of the overall ideas，solutions and the relevant key technologies，so as to make positive suggestions for the application of big data in “smart campus”.

Keywords：big data;smart campus;platform design

0? 引? 言

2018年4月13日，教育部關(guān)于印發(fā)《教育信息化2.0行動計(jì)劃》的通知提出了教育信息化2.0的概念，在通知里多次提及大數(shù)據(jù)概念，說明大數(shù)據(jù)技術(shù)在未來教育信息化工作中的重要地位。而高校信息化建設(shè)已開始數(shù)年，在建設(shè)過程中，學(xué)校信息化建設(shè)和管理水平得到顯著提升，基于校園網(wǎng)的信息資源和應(yīng)用系統(tǒng)建設(shè)不斷豐富和完善，多年來積累了大量的包括業(yè)務(wù)數(shù)據(jù)、日志、音頻、視頻、圖片、地理位置信息等不同數(shù)據(jù)源的各類數(shù)據(jù)。引入大數(shù)據(jù)技術(shù)不但可以實(shí)現(xiàn)這些數(shù)據(jù)的迅速流轉(zhuǎn)，而且可以對數(shù)據(jù)進(jìn)行甄別和分析處理，充分挖掘出其中蘊(yùn)含的價值，為高校提高管理水平提供指引方向，為智慧校園的建設(shè)奠定堅(jiān)實(shí)基礎(chǔ)。

1? 大數(shù)據(jù)平臺的發(fā)展

高校在信息化發(fā)展的進(jìn)程中，經(jīng)歷了網(wǎng)絡(luò)校園、數(shù)字校園到目前的智慧校園，仍遺留一些信息化方面的缺陷，例如存在信息孤島、沒有共同數(shù)據(jù)中心等。在打造智慧校園的過程中，要打破這些壁壘，有必要引入數(shù)據(jù)存儲、流轉(zhuǎn)、分析處理能力和功能更加強(qiáng)大的大數(shù)據(jù)技術(shù)，對各類數(shù)據(jù)進(jìn)行有機(jī)規(guī)劃，從根本上改變學(xué)校信息孤島的現(xiàn)象，構(gòu)建學(xué)校“信息高速公路”。

高校的大數(shù)據(jù)平臺堅(jiān)持以師生服務(wù)為導(dǎo)向，以師生需求為引領(lǐng)，推動“一切流程信息化，一切業(yè)務(wù)數(shù)據(jù)化”建設(shè)，建立全新的信息化生態(tài)系統(tǒng)。

通過大數(shù)據(jù)平臺，教務(wù)和學(xué)生管理部門可以通過數(shù)據(jù)了解歷年學(xué)校教學(xué)管理和學(xué)生信息，依靠大數(shù)據(jù)平臺進(jìn)行數(shù)據(jù)挖掘、分析和處理，使高校學(xué)生管理人員能充分掌握學(xué)生情況，從而推動教學(xué)管理制度的改革。

通過大數(shù)據(jù)平臺，可以提供相關(guān)參考數(shù)據(jù)，有效地輔助學(xué)校各級領(lǐng)導(dǎo)進(jìn)行研究、決策，最終達(dá)到提升學(xué)校信息化綜合服務(wù)能力的目的。

2? 大數(shù)據(jù)平臺架構(gòu)設(shè)計(jì)

整個大數(shù)據(jù)中心架構(gòu)從下往上分別是數(shù)據(jù)源層、數(shù)據(jù)采集層、大數(shù)據(jù)處理層、數(shù)據(jù)應(yīng)用層，如圖1所示。

數(shù)據(jù)源層主要的數(shù)據(jù)來源有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)源主要是高校業(yè)務(wù)數(shù)據(jù)庫、一卡通數(shù)據(jù)庫、計(jì)費(fèi)認(rèn)證數(shù)據(jù)庫等;半結(jié)構(gòu)化數(shù)據(jù)源主要是各種應(yīng)用和設(shè)備的日志信息，包括上網(wǎng)日志、Web服務(wù)器的訪問日志等;非結(jié)構(gòu)化數(shù)據(jù)主要是各種來自互聯(lián)網(wǎng)的數(shù)據(jù)及相關(guān)的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。

數(shù)據(jù)采集層的主要功能是針對數(shù)據(jù)源層的不同數(shù)據(jù)源，使用不同的采集工具對數(shù)據(jù)進(jìn)行采集，主要由Sqoop、Flume和爬蟲組成。

大數(shù)據(jù)處理層主要由Hadoop或Spark框架組成。包含底層保存數(shù)據(jù)的HDFS和HBASE，往上是分布式計(jì)算資源調(diào)度組件Mesos、Yarn等，再往上是Spark或MapReduce計(jì)算引擎，最上層是各種數(shù)據(jù)處理組件。

數(shù)據(jù)應(yīng)用層提供基于大數(shù)據(jù)框架的各種服務(wù)，包括整個大數(shù)據(jù)中心智能應(yīng)用模塊、主題數(shù)據(jù)的統(tǒng)計(jì)展示模塊、基于機(jī)器學(xué)習(xí)算法的智能應(yīng)用模塊等。

3? 大數(shù)據(jù)平臺功能設(shè)計(jì)

3.1? 平臺開發(fā)管理模塊

（1）平臺開發(fā)管理維護(hù)模塊：本模塊提供了圖形化可拖拽工作流形式的數(shù)據(jù)采集處理開發(fā)工具、各種數(shù)據(jù)源采集組件和各種數(shù)據(jù)加工處理組件。同時還提供數(shù)據(jù)保存組件，可以將數(shù)據(jù)保存到關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、各種格式的文件等。此外，對開發(fā)完的工作流可以進(jìn)行編輯、保存、刪除、版本管理、運(yùn)行時間及條件設(shè)置、運(yùn)行狀態(tài)監(jiān)控、運(yùn)行狀態(tài)預(yù)警（支持以郵件、短信、微信消息等形式通知）。

（2）數(shù)據(jù)統(tǒng)計(jì)挖掘模塊：本模塊提供圖形化可拖拽工作流形式的數(shù)據(jù)挖掘開發(fā)工具，提供內(nèi)置的常用函數(shù)庫、數(shù)據(jù)預(yù)處理組件、各種大數(shù)據(jù)分析算法組件、統(tǒng)計(jì)算法組件、文本處理和挖掘算法、自定義的算法組件等，其中每種算法都以可視化的組件形式提供，用戶可以配置算法參數(shù)、指定數(shù)據(jù)源和數(shù)據(jù)流出目標(biāo)，數(shù)據(jù)統(tǒng)計(jì)挖掘的工作流處理完的數(shù)據(jù)可以輸出到報表，保存到各種關(guān)系型數(shù)據(jù)庫。

（3）報表生成模塊：本模塊提供一個圖形化拖拽+腳本的開發(fā)界面，可以進(jìn)行報表的開發(fā)并生成各種類型的統(tǒng)計(jì)圖，開發(fā)的報表可進(jìn)行靈活部署，可以單獨(dú)發(fā)布或集成到其他系統(tǒng)頁面，同時報表可兼容各種瀏覽器。

（4）數(shù)據(jù)檢索模塊：本模塊可以對大數(shù)據(jù)平臺上的數(shù)據(jù)進(jìn)行靈活、快速的檢索。

（5）接口管理發(fā)布模塊：本模塊對指定數(shù)據(jù)可以進(jìn)行接口發(fā)布，采用RESTful形式的接口，接口調(diào)用可以實(shí)現(xiàn)權(quán)限管理、訪問限制等設(shè)置。

（6）大數(shù)據(jù)平臺運(yùn)維管理模塊：本模塊對大數(shù)據(jù)平臺的硬件設(shè)備、軟件組件和各種監(jiān)控指標(biāo)進(jìn)行監(jiān)控和報警，當(dāng)事件發(fā)生或滿足閾值時，可以對指定的管理人員進(jìn)行包括郵件、短信、微信消息等形式的通知。同時，提供詳細(xì)的日志功能，記錄平臺的各種操作和運(yùn)行日志，并提供便捷的查詢界面，能夠?qū)Ω鞣N日志進(jìn)行查看、審計(jì)。

（7）權(quán)限管理模塊：本模塊主要是管理員對大數(shù)據(jù)數(shù)據(jù)中心的功能進(jìn)行權(quán)限分配，系統(tǒng)管理員為整個系統(tǒng)的最大管理員，擁有所有權(quán)限。

3.2? 主題數(shù)據(jù)展示模塊

（1）數(shù)據(jù)采集工作：數(shù)據(jù)采集工作參考教育部2012人事管理信息子集，可以對人事、學(xué)生、教務(wù)、科研、財(cái)務(wù)、資產(chǎn)、設(shè)備、招生、就業(yè)、一卡通、圖書館等業(yè)務(wù)的數(shù)據(jù)進(jìn)行采集、加工;同時，對網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)計(jì)費(fèi)、審計(jì)設(shè)備等日志數(shù)據(jù)進(jìn)行采集。

（2）領(lǐng)導(dǎo)駕駛艙數(shù)據(jù)展示：領(lǐng)導(dǎo)駕駛艙數(shù)據(jù)展示功能可對人事、學(xué)生、資產(chǎn)、科研、教學(xué)、資產(chǎn)設(shè)備、校情、外事、檔案、辦公等數(shù)據(jù)進(jìn)行領(lǐng)導(dǎo)視角的統(tǒng)計(jì)挖掘展示。

（3）教師個人數(shù)據(jù)中心展示：教師個人數(shù)據(jù)中心展示基于教職工在各個系統(tǒng)中的數(shù)據(jù)，以教職工個人為中心，形成各種數(shù)據(jù)統(tǒng)計(jì)展示，例如：人事信息、科研成果信息、工資情況信息、教學(xué)情況信息、一卡通信息、圖書借閱信息、上網(wǎng)信息等。

（4）學(xué)生個人數(shù)據(jù)中心展示：基于學(xué)生在各個系統(tǒng)中的數(shù)據(jù)，以學(xué)生個人為中心，形成各種數(shù)據(jù)統(tǒng)計(jì)展示，例如：個人基本信息、考試成績信息、獎學(xué)金助學(xué)金信息、助學(xué)貸款信息、一卡通消費(fèi)信息、圖書借閱信息、上網(wǎng)信息等。

3.3? 智能應(yīng)用模塊

（1）學(xué)生綜合預(yù)警功能：通過對各種數(shù)據(jù)源中學(xué)生數(shù)據(jù)的采集、處理、分析挖掘，形成各種預(yù)警模型，可以對學(xué)生的經(jīng)濟(jì)困難狀況、學(xué)業(yè)狀況、離校狀況、進(jìn)校狀況進(jìn)行預(yù)測報警或提示，對分析結(jié)果進(jìn)行報表展示，提供查詢及各種類型消息推送功能等。

（2）網(wǎng)絡(luò)安全預(yù)警功能：通過對各種網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)進(jìn)行采集、處理、分析挖掘，進(jìn)行各種網(wǎng)絡(luò)安全預(yù)警模型，可對非法的網(wǎng)絡(luò)訪問、網(wǎng)絡(luò)入侵、非法操作等進(jìn)行預(yù)警，對分析結(jié)果進(jìn)行報表展示，提供查詢及各種類型消息推送的功能等。

4? 結(jié)? 論

通過對學(xué)校的多年信息化建設(shè)形成的數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，除了可以提供多角度、多維度及直觀的數(shù)據(jù)展示，還可以在此基礎(chǔ)上完成跨部門和跨系統(tǒng)的業(yè)務(wù)流程重組和優(yōu)化，建立一個具有規(guī)范業(yè)務(wù)流程、先進(jìn)管理理念的分析決策系統(tǒng)，為學(xué)校各級領(lǐng)導(dǎo)進(jìn)行研究、決策提供數(shù)據(jù)支撐。同時，學(xué)生相關(guān)的綜合查詢和預(yù)警功能，為學(xué)生管理提供輔助支撐，為學(xué)生提供人性化的管理與服務(wù)，還可促進(jìn)高校信息化水平的提升。

總之，在高校管理中應(yīng)用大數(shù)據(jù)技術(shù)，可以推動學(xué)校管理制度的創(chuàng)新與變革，在提升高校管理智能化的同時，為智慧校園的建設(shè)奠定堅(jiān)實(shí)基礎(chǔ)。

參考文獻(xiàn)：

[1] 江學(xué)鋒.Web下基于數(shù)據(jù)挖掘的高校輔助決策支持系統(tǒng)設(shè)計(jì) [J].信息與電腦（理論版），2016（20）：99-101.

[2] 代海平.大數(shù)據(jù)技術(shù)在高校學(xué)生管理中的應(yīng)用 [J].智庫時代，2019（38）：90+92.

[3] 李玉榮.大數(shù)據(jù)視域下高校智慧校園建設(shè)的可行性路徑研究 [J].信息技術(shù)與信息化，2019（8）：146-148.

作者簡介：劉萍（1975-），女，漢族，福建莆田人，副高級工程師，碩士研究生，研究方向：數(shù)據(jù)挖掘、智慧校園、教育信息化。