趙秀麗 彭銀

摘? 要 以高職院校Hadoop教學資源、實訓設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點，結(jié)合學校開設(shè)的大數(shù)據(jù)技術(shù)與應用等相關(guān)專業(yè)，探討充分利用大數(shù)據(jù)平臺，整合校企教學資源，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，實現(xiàn)Hadoop集群配置管理與應用、實驗輔助教學管理和Hadoop課程資源開放性、共享性、職業(yè)性，推動學校Hadoop課程的虛擬仿真實驗室建設(shè)和實踐教學改革。

關(guān)鍵詞 Hadoop;實訓設(shè)備;高職;大數(shù)據(jù)技術(shù)與應用;教學

資源;智慧教學;虛擬實驗室;虛擬仿真教學管理系統(tǒng)

中圖分類號：TP391.9? ? 文獻標識碼：B

文章編號：1671-489X（2020）01-0053-03

1 引言

大數(shù)據(jù)已成為時下IT界最炙手可熱的名詞，在全球引領(lǐng)了新一輪信息技術(shù)革命的浪潮。因大數(shù)據(jù)而生的Hadoop可以處理海量規(guī)模的數(shù)據(jù)，其高可靠性、高可拓展性、高容錯性和高效性的優(yōu)點，一出現(xiàn)就受到眾多大公司的青睞，同時引起研究界的普遍關(guān)注。

Hadoop是一個由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，充分利用集群的威力進行高速運算和存儲，用戶可以在不了解分布式底層細節(jié)的情況下開發(fā)分布式程序，只需要簡單地實現(xiàn)相應的接口即可，完全不用考慮底層數(shù)據(jù)流、容錯、程序的并行執(zhí)行等細節(jié)，這種設(shè)計無疑大大降低了開發(fā)分布式并行程序的難度。并且，Hadoop依賴社區(qū)服務器，其成本比較低。

2016年后，全國各高校先后開設(shè)大數(shù)據(jù)技術(shù)與應用專業(yè)，Hadoop課程逐漸登上高校教育的舞臺，但目前國內(nèi)高校普遍面臨實訓設(shè)備、教學資源等缺乏的問題。本文以高職院校Hadoop教學資源、實訓設(shè)備等極度缺乏的現(xiàn)狀為出發(fā)點，充分利用大數(shù)據(jù)平臺，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，實現(xiàn)Hadoop集群配置管理與應用，提高學生學習興趣、操作能力、編程能力以及自主創(chuàng)新能力，實現(xiàn)智慧教學，加快學校信息化建設(shè)。

2 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的意義

Hadoop仿真研究對于解決實訓資源匱乏至關(guān)重要? ? 《2017年中國大數(shù)據(jù)人才發(fā)展報告》指出，大數(shù)據(jù)人才需求呈現(xiàn)爆炸式增長，但是大數(shù)據(jù)人才儲備出現(xiàn)極度缺乏的態(tài)勢。2016年后，全國各高校先后開設(shè)大數(shù)據(jù)技術(shù)與應用專業(yè)。近年來，由于高校普遍擴招，大數(shù)據(jù)相關(guān)專業(yè)的學生人數(shù)越來越多，而受制于實驗室建設(shè)費用高昂、實驗指導教師有限等因素，很多院校實驗器材、實驗設(shè)備、實驗環(huán)境無法完全滿足Hadoop實際教學環(huán)境的需求?；诖髷?shù)據(jù)背景的Hadoop教學創(chuàng)新實踐的仿真研究能夠一定程度上解決這些問題，而且是一種經(jīng)濟有效的解決方式。通過仿真實驗的開展，可以使學生對實驗原理、實驗結(jié)果進行更深入的了解，掌握Hadoop的關(guān)鍵技術(shù)，培養(yǎng)學生利用Hadoop

技術(shù)解決大數(shù)據(jù)問題的能力。

Hadoop仿真研究對于Hadoop信息化教學改革尤為重要? ? 《教育信息化“十三五”規(guī)劃》指出，到2020年，基本建成“人人皆學、處處能學、時時可學”的與國家教育現(xiàn)代化發(fā)展目標相適應的教育信息化體系。Hadoop仿真研究是加快大數(shù)據(jù)技術(shù)與應用相關(guān)專業(yè)信息化建設(shè)的需要，通過建立虛擬實驗室環(huán)境，提供可操作的虛擬實驗設(shè)備和實驗輔助教學管理，使學生能夠通過Web界面實現(xiàn)接近真實的人機交互界面完成實驗，提高學生的學習興趣，提升學生利用Hadoop技術(shù)解決問題的能力。虛擬仿真的研究，一方面順應了時代發(fā)展的趨勢，另一方面滿足了大數(shù)據(jù)實訓室建設(shè)和Hadoop實踐教學改革與創(chuàng)新的需要。

Hadoop仿真研究對于提高學生運用Hadoop知識解決大數(shù)據(jù)問題的能力尤為必要? Hadoop仿真研究的課程整合校企資源，采用項目開展實踐教學，知識和能力結(jié)構(gòu)從低到高，涵蓋了Hadoop的關(guān)鍵技術(shù)。將知識和技能包含在項目中，通過完成項目提高學生利用Hadoop分析大數(shù)據(jù)問題和解決大數(shù)據(jù)問題的能力。

Hadoop仿真研究對于實現(xiàn)Hadoop課程資源的開放性、共享性、先進性十分關(guān)鍵? 教學資源可以開放、共享，學生和教師可以不受時間與空間的制約，隨時隨地都可以登錄系統(tǒng)進行學習與研究，打破了傳統(tǒng)實驗教學必須依賴具體的設(shè)備和受空間約束等問題，真正實現(xiàn)“人人皆學、處處能學、時時可學”。

3 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的國內(nèi)外研究現(xiàn)狀

2008年2月，雅虎宣布搭建出世界上最大的基于Hadoop

的集群系統(tǒng)——Yahoo！ Search Webmap。UC Berkeley等著名高校也對Hadoop進行應用和研究，以提高其整體性能，其Hadoop仿真研究處于國際領(lǐng)先的地位;格拉斯哥大學的Terrier Team擁有超過30個節(jié)點的實驗集群，使用Hadoop

促進信息檢索研究和實驗，處于國際領(lǐng)先地位;內(nèi)布拉斯加大學的Holland Computing Center擁有中等規(guī)模的Hadoop

機群用于存儲和提供物理數(shù)據(jù)，在Hadoop的實驗研究中處于國際領(lǐng)先地位。

2008年以后，特別是2015年后，國內(nèi)對Hadoop進行研究的企業(yè)越來越多，互聯(lián)網(wǎng)企業(yè)成為國內(nèi)Hadoop研究的中堅力量。黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，標志著大數(shù)據(jù)戰(zhàn)略上升為國家戰(zhàn)略。

2016年，教育部先后設(shè)置“數(shù)據(jù)科學與大數(shù)據(jù)技術(shù)”本科專業(yè)和“大數(shù)據(jù)技術(shù)與應用”高職專業(yè)，Hadoop課程正式登上高校教育的舞臺。Hadoop在高校特別是在高職院校教育中面臨指導教師、學習資源和實訓設(shè)備缺乏等諸多問題，Hadoop仿真研究仍處于探索階段。目前，國內(nèi)有部分高校陸續(xù)開始創(chuàng)建省級Hadoop虛擬仿真實驗機構(gòu)，但是到目前為止，仍沒有較為完善的Hadoop仿真教學資源，并且存在Hadoop教學資源開放共享程度不夠的問題。

根據(jù)國家級虛擬仿真實驗教學中心建設(shè)要求，高校虛擬仿真實驗室的管理和共享平臺應該具有擴展性、兼容性和前瞻性，能夠?qū)崿F(xiàn)校內(nèi)外、本地區(qū)及更廣范圍內(nèi)的實驗教學資源共享，滿足多地區(qū)、多學校和多學科專業(yè)的虛擬仿真實驗教學的需求。目前，高校Hadoop虛擬仿真實驗教學項目和實驗教學資源大都僅僅滿足對本校學生開放或者是對較少專業(yè)的學生開放，對周圍高?；蚋鼜V范圍的實驗教學沒有較強的輻射作用。

4 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的預期成果

通過開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)，不斷優(yōu)化教學資源，推動信息化教學條件下學生自主學Hadoop、探究學Hadoop等實驗教學改革方法，提高教學效率，豐富教學內(nèi)容，降低成本和風險，開展綠色、開放的實驗教學。該系統(tǒng)主要由Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學管理系統(tǒng)兩部分組成，可以完全滿足“Hadoop實戰(zhàn)”模擬實驗教學，是真實實驗教學很好的補充，預期成果：能夠模擬實現(xiàn)Hadoop集群搭建和應用的真實實驗中所用到的器材和設(shè)備;能夠提供與Hadoop集群搭建和應用真實實驗相似的實戰(zhàn)環(huán)境;能夠提供Hadoop集群搭建和應用全方位的虛擬實驗教學輔助功能，包括實驗預習、實戰(zhàn)項目維護、實戰(zhàn)項目的指導等;通過實現(xiàn)Hadoop虛擬仿真教學，提高學生的自主學習能力和學習興趣。

5 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的目標與內(nèi)容

大數(shù)據(jù)時代的到來，造成大數(shù)據(jù)人才缺口較大的態(tài)勢，通過高校教育培養(yǎng)復合型大數(shù)據(jù)人才迫在眉睫。培養(yǎng)復合型大數(shù)據(jù)技能人才，Hadoop集群的搭建成為其中最重要的一環(huán)。2016年后越來越多的國內(nèi)高職高專院校開設(shè)了Hadoop

課程，為解決高職高專院校由于教師資源緊缺，教學資源、教學設(shè)備、教學環(huán)境等缺乏的突出問題，本課題以Hadoop集群搭建與應用為研究對象，開展Hadoop虛擬仿真教學管理系統(tǒng)研究。通過Java Web開發(fā)技術(shù)，開發(fā)Hadoop虛擬仿真教學管理系統(tǒng)。利用該系統(tǒng)，用戶能夠在客戶端通過Web方式學習Hadoop的基礎(chǔ)知識及Hadoop集群搭建與應用的虛擬仿真;同時，系統(tǒng)管理員能夠?qū)W生的實戰(zhàn)項目的進度、效果進行有效監(jiān)督和管理，減輕教師的教學負擔，充分發(fā)揮學生的主觀能動性，提升Hadoop的教學質(zhì)量，從而真正實現(xiàn)培養(yǎng)復合型大數(shù)據(jù)技術(shù)技能人才的目標。

基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究主要有三方面的內(nèi)容：智慧教學管理平臺、智慧學習平臺、智慧實訓平臺。智慧教學管理平臺主要實現(xiàn)學生信息管理、課程信息管理、在線考試管理、在線交流;智慧學習平臺主要實現(xiàn)學習實時跟蹤、在線發(fā)布實驗、學習資源庫;智慧實訓平臺主要包括在線交流、在線實訓、實訓資源庫。

6 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的方案

系統(tǒng)總體規(guī)劃與設(shè)計? 通過大數(shù)據(jù)平臺，對Hadoop虛擬仿真教學管理系統(tǒng)進行需求分析，確定系統(tǒng)的概要設(shè)計與詳細設(shè)計，并且確定開發(fā)所需的軟硬件環(huán)境。

課程標準的制定? 課程標準制定依據(jù)大數(shù)據(jù)技術(shù)與應用職業(yè)行業(yè)規(guī)范，積極引進行業(yè)、企業(yè)的崗位技能標準，嵌入真實工作任務的大數(shù)據(jù)技術(shù)與應用大賽賽項規(guī)程，建立課、崗、賽融合的課程標準。

課程教學資源的完善，提高教學質(zhì)量，提升學生崗位適應能力? 依據(jù)行業(yè)發(fā)展狀況，服從貴州省“大扶貧、大數(shù)據(jù)、大生態(tài)”的戰(zhàn)略，對課程內(nèi)容進行優(yōu)化整合，將與職業(yè)崗位相關(guān)的Hadoop新知識、新技術(shù)盡可能引入課堂教學項目中，把學生的興趣引導到對新產(chǎn)業(yè)、新知識、新技能的思考中來，確保教學內(nèi)容與時俱進。形成突出職業(yè)能力培養(yǎng)、項目為導向的教學內(nèi)容組織，以項目或典型工作任務驅(qū)動開展教學，通過實踐項目教學，充分調(diào)動學生的學習熱情，提高學生的主動學習能力、團隊合作精神以及協(xié)調(diào)能力，進一步提升學生崗位適應能力，提高教學質(zhì)量。

Hadoop課程實驗仿真平臺和Hadoop虛擬實驗教學管理的實現(xiàn)? 通過仿真平臺和虛擬實驗教學管理，達到Hadoop集群搭建與應用的目的。

7 基于大數(shù)據(jù)背景的Hadoop教學創(chuàng)新實踐進行仿真研究的科學問題

虛擬化技術(shù)? 虛擬化技術(shù)是一種資源管理技術(shù)，是將計算機的各種實體資源，如服務器、網(wǎng)絡及存儲等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來，打破實體結(jié)構(gòu)間不可切割的障礙，使用戶可以運用比原本的組態(tài)更好的方式來應用這些資源。

HDFS? Hadoop分布式文件系統(tǒng)（HDFS）被設(shè)計成適合運行在通用硬件上的分布式文件系統(tǒng)。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應用。

MapReduce? MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1 TB）的并行運算。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

8 結(jié)語

信息化時代，國家倡導發(fā)展“互聯(lián)網(wǎng)+教育”。響應此號召，以Hadoop集群搭建與應用為研究對象，將教育技術(shù)與信息技術(shù)深度融合，開展Hadoop虛擬仿真教學管理系統(tǒng)研究，實現(xiàn)資源平臺、管理平臺互通，形成優(yōu)質(zhì)Hadoop課程體系，實現(xiàn)高效Hadoop教學管理，共享Hadoop實訓資源，能有效解決高職高專院校教師資源緊缺，教學資源、教學設(shè)備、教學環(huán)境等缺乏的問題，實現(xiàn)網(wǎng)絡化、智能化、個性化的Hadoop智慧教學。

參考文獻

[1]薛占熬，王楠，司小朦，等.多粒度粗糙直覺模糊截集的研究[J].河南師范大學學報：自然科學版，2016（5）：131-139.