肖卓宇 宋 藝

（1.中南林業(yè)科技大學(xué)涉外學(xué)院，湖南長(zhǎng)沙410200；2.長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院，湖南長(zhǎng)沙410004）

隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升，云計(jì)算、物聯(lián)網(wǎng)、霧計(jì)算、邊緣計(jì)算、區(qū)塊鏈等的應(yīng)用更加豐富。更多的傳感設(shè)備、移動(dòng)終端接入到Internet，由此產(chǎn)生的數(shù)據(jù)及增長(zhǎng)將比歷史上的任何時(shí)期都要多、都要快。IDC預(yù)測(cè)到2020年，全球數(shù)據(jù)量將會(huì)達(dá)到44ZB，而中國(guó)產(chǎn)生的數(shù)據(jù)量將會(huì)達(dá)到8ZB，也就是說2年之后中國(guó)產(chǎn)生的數(shù)據(jù)量將會(huì)占到全球的五分之一[1]。大數(shù)據(jù)時(shí)代的腳步悄然而至，清華大學(xué)計(jì)算機(jī)系教授武永衛(wèi)去年透露了一組數(shù)據(jù)：未來幾年，中國(guó)需要180萬(wàn)大數(shù)據(jù)技術(shù)相關(guān)人才，但目前只有約30萬(wàn)人，僅數(shù)據(jù)分析專業(yè)人才需求就達(dá)到幾十萬(wàn)人以上[2]。MIT等四所著名高校于2000年提出了CDIO(Conceive Design Implement Operate,CDIO)工程教育模式[3-4]。CDIO側(cè)重項(xiàng)目實(shí)踐，并在我國(guó)眾多高校取得了較好的教學(xué)效果。

從中南林業(yè)科技大學(xué)涉外學(xué)院本科專業(yè)布局和科學(xué)定位角度看，大數(shù)據(jù)技術(shù)基礎(chǔ)課程將豐富我院IT類相關(guān)專業(yè)學(xué)生的知識(shí)體系，有助于人才培養(yǎng)模式的優(yōu)化，更便于我院教學(xué)體系與市場(chǎng)需求的無(wú)縫對(duì)接。我院屬于中南林業(yè)科技大學(xué)的獨(dú)立學(xué)院，學(xué)生理論基礎(chǔ)普遍較弱，故基于CDIO的大數(shù)據(jù)技術(shù)課程項(xiàng)目實(shí)踐將有助于我院學(xué)生更好地掌握大數(shù)據(jù)相關(guān)知識(shí)，也為后續(xù)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的申報(bào)奠定基礎(chǔ)，具有積極的意義。

1.學(xué)院現(xiàn)狀分析

目前我院開設(shè)了軟件工程、計(jì)算機(jī)科學(xué)與技術(shù)等IT類相關(guān)專業(yè)，但目前的教學(xué)大綱為6年前制訂的版本。中央電視臺(tái)于2014年首次播報(bào)了兩會(huì)大數(shù)據(jù)與春運(yùn)大數(shù)據(jù)的相關(guān)新聞，此后，大數(shù)據(jù)越來越多地出現(xiàn)在公眾的視野，并被國(guó)家放到一個(gè)戰(zhàn)略的層面進(jìn)行大力扶持。由于大數(shù)據(jù)人才極度匱乏，眾多國(guó)內(nèi)外著名高校依托行業(yè)背景進(jìn)行了數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的申報(bào)工作。2016年，北京大學(xué)、對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)、中南大學(xué)三所高校成為首批申報(bào)成功的高校；之后，2017年，中國(guó)人民大學(xué)、電子科技大學(xué)等32所大學(xué)成為第二批申報(bào)成功的高校；2018年又有包括獨(dú)立學(xué)院、高職在內(nèi)的近250所高校申報(bào)成功[5]。

本文前期教學(xué)改革以計(jì)算思維為導(dǎo)向?qū)W(xué)院大學(xué)生程序設(shè)計(jì)能力培養(yǎng)進(jìn)行了研究，學(xué)院學(xué)生多批次獲得國(guó)家二等獎(jiǎng)、三等獎(jiǎng)及湖南省程序設(shè)計(jì)大賽一、二等獎(jiǎng)，教學(xué)改革取得了較好的效果[6]。但是，目前由于科學(xué)數(shù)據(jù)與大數(shù)據(jù)技術(shù)課程師資缺乏，我院目前僅在軟件工程專業(yè)進(jìn)行基于CDIO的大數(shù)據(jù)技術(shù)課程試點(diǎn)。

2．課程體系改革

基于CDIO的工程實(shí)踐教學(xué)思想，以軟件工程專業(yè)為試點(diǎn)，從教學(xué)方法與課程體系等方面全方位進(jìn)行教學(xué)改革。

2.1 融入CDIO的大數(shù)據(jù)技術(shù)課程框架

由于學(xué)院在大數(shù)據(jù)方向的師資比較缺乏，目前并無(wú)直接對(duì)口的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)教師，故前期學(xué)院選拔了中青年優(yōu)秀教師多批次參與了國(guó)家教育行政部門、教指委、國(guó)家行業(yè)協(xié)會(huì)的大數(shù)據(jù)相關(guān)課程的學(xué)習(xí)培訓(xùn)工作。此外，由于軟件工程專業(yè)的培養(yǎng)目標(biāo)、課時(shí)等諸多條件的限制，并考慮到獨(dú)立學(xué)院學(xué)生相對(duì)較弱的理論基礎(chǔ)，故教學(xué)改革不應(yīng)直接照搬重點(diǎn)高校系統(tǒng)化、專業(yè)化的數(shù)據(jù)科學(xué)與大數(shù)據(jù)專業(yè)課程體系，而更應(yīng)立足于實(shí)踐，探索符合我院特色的大數(shù)據(jù)技術(shù)課程體系。

圖1 大數(shù)據(jù)技術(shù)課程知識(shí)體系

2.2 大數(shù)據(jù)技術(shù)改革目標(biāo)

由于目前我院并未開設(shè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)，考慮到大數(shù)據(jù)專業(yè)從業(yè)人員的巨大缺口，故當(dāng)前的教學(xué)改革首要目標(biāo)是在軟件工程專業(yè)培養(yǎng)方案中融入大數(shù)據(jù)技術(shù)相關(guān)課程，并以此為契機(jī)，為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)奠定基礎(chǔ)。

大數(shù)據(jù)技術(shù)課程體系設(shè)置方面將部分相對(duì)重要及工程實(shí)踐性較強(qiáng)的課程進(jìn)行了精簡(jiǎn)。圖1將大數(shù)據(jù)技術(shù)課程知識(shí)體系分為大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)處理3個(gè)部分。大數(shù)據(jù)基礎(chǔ)部分主要簡(jiǎn)介了大數(shù)據(jù)Volume(大量)?、Variety(多樣)?、Velocity（高速）?、Value（價(jià)值）?的 4V特征。此外，還包括大數(shù)據(jù)在金融、物流、生物醫(yī)學(xué)、餐飲等行業(yè)典型應(yīng)用，以及大數(shù)據(jù)技術(shù)要使用到的主流工具，如 :Hadoop、Spark、HDFS、HIVE、PIG、Mathout、Zookeeper、Flume、Sqoop、Hbase、Kafka等。大數(shù)據(jù)存儲(chǔ)部分側(cè)重介紹HDFS運(yùn)行機(jī)制、Hbase數(shù)據(jù)模型、原理、運(yùn)行機(jī)制；NoSQL介紹CAP三大基石與鍵值、列族、圖和文檔數(shù)據(jù)庫(kù)的特征與區(qū)別；云數(shù)據(jù)庫(kù)主要介紹云數(shù)據(jù)庫(kù)的優(yōu)缺點(diǎn)及特性。大數(shù)據(jù)處理部分以Wordcut為例，以案例式教學(xué)對(duì)Hadoop的MapReduce與HDFS執(zhí)行原理與過程進(jìn)行介紹，此外，也進(jìn)一步介紹Spark與Storm的特征。

3．基于CDIO的課程改革實(shí)施

依據(jù)教學(xué)改革體系與人才培養(yǎng)方案，大數(shù)據(jù)相關(guān)課程理論與實(shí)踐的比率為1:1。教學(xué)改革分為3個(gè)步驟實(shí)施，詳見表1。

3.1 大數(shù)據(jù)基礎(chǔ)階段

表1：基于CDIO的大數(shù)據(jù)技術(shù)實(shí)訓(xùn)任務(wù)

大數(shù)據(jù)基礎(chǔ)階段主要對(duì)前置課程Ubuntu Linux中涵蓋的重要命令進(jìn)行梳理與實(shí)訓(xùn)，此外，還側(cè)重關(guān)注學(xué)生對(duì)Hadoop平臺(tái)配置流程的掌握情況，涵蓋APT、SSH、java環(huán)境JDK、偽分布式Hadoop模式與基于Dock容器的Hadoop模式等。

3.2 大數(shù)據(jù)存儲(chǔ)階段

大數(shù)據(jù)存儲(chǔ)階段首先需要了解HDFS操作常用的Shell命令，如：Hadoop fs、Hadoop dfs、HDFS dfs等，之后，通過相關(guān)Shell命令實(shí)現(xiàn)本地環(huán)境與HDFS之間的上傳、下載、授權(quán)、復(fù)制、移動(dòng)等的綜合實(shí)例。此外，存儲(chǔ)階段將仔細(xì)分析SQL、NOSQL、NEWSQL之前的區(qū)別，并對(duì)列族數(shù)據(jù)庫(kù)Hbase、鍵值數(shù)據(jù)庫(kù)Redis、文檔數(shù)據(jù)庫(kù)Mangodb、圖形數(shù)據(jù)庫(kù)Neo4j進(jìn)行項(xiàng)目實(shí)踐；最后，通過基于MaperReduce、HIVE、MYSQL、Sqoop 等工具的綜合實(shí)訓(xùn)實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析與傳輸，從而進(jìn)一步加深學(xué)生對(duì)大數(shù)據(jù)存儲(chǔ)過程的理解。

3.3 大數(shù)據(jù)處理階段

大數(shù)據(jù)處理階段將在學(xué)生熟悉MaperReduce與HDFS原理的基礎(chǔ)上，通過Hadoop處理平臺(tái)統(tǒng)計(jì)全球溫度項(xiàng)目，該項(xiàng)目屬于Wordcut項(xiàng)目的進(jìn)階項(xiàng)目，有助于幫助學(xué)生從數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、分布式計(jì)算、數(shù)據(jù)分析、大數(shù)據(jù)可視化5個(gè)階段全方位參與到基于CDIO的工程項(xiàng)目實(shí)踐。此外，該階段也將對(duì)Spark處理平臺(tái)進(jìn)行介紹，讓學(xué)生掌握 Spark RDD、Spark SQL、Spark Streaming、Spark MLlib庫(kù)，并進(jìn)一步以KNN等數(shù)據(jù)挖掘技術(shù)對(duì)某電影網(wǎng)站用戶性別進(jìn)行預(yù)測(cè)；最后，基于流計(jì)算對(duì)淘寶網(wǎng)雙12數(shù)據(jù)分析與預(yù)測(cè)，從而讓學(xué)生全過程參與和理解批處理計(jì)算、實(shí)時(shí)批處理，交互式處理、流處理的優(yōu)缺點(diǎn)與適合場(chǎng)景，從而讓學(xué)生對(duì)大數(shù)據(jù)的認(rèn)知上升到一個(gè)新的高度。

4.結(jié)束語(yǔ)

基于CDIO的IT類大數(shù)據(jù)相關(guān)課程體系的教學(xué)改革已應(yīng)用于學(xué)院軟件工程專業(yè)，從整體反饋情況來看，學(xué)生普遍對(duì)大數(shù)據(jù)技術(shù)相關(guān)課程具有認(rèn)同感，項(xiàng)目實(shí)訓(xùn)取得了較好的效果，遞進(jìn)式的工程項(xiàng)目大大激發(fā)了學(xué)生團(tuán)隊(duì)的創(chuàng)新實(shí)踐能力，部分學(xué)生得以進(jìn)入知名IT企業(yè)實(shí)習(xí)與工作，后期工作將進(jìn)一步對(duì)課程體系進(jìn)行改革，并將Storm、Flink計(jì)算平臺(tái)、以及基于TensorFlow的深度學(xué)習(xí)引入到工程項(xiàng)目中來。