沈洋

摘? 要：大數(shù)據技術對于國民經濟生活的影響日趨明顯，數(shù)據的商業(yè)價值也越來越重要，企業(yè)對于大數(shù)據分析與應用人才需求日益旺盛。通過對高職大數(shù)據應用技術專業(yè)的人才定位、知識結構與技能分析，以企業(yè)實際工作項目為載體設計實踐學習內容，創(chuàng)新人才實踐技能的培養(yǎng)內容和培養(yǎng)方式，使學生能夠從事大數(shù)據相關領域的開發(fā)、運維與管理工作。

關鍵詞：高職;大數(shù)據應用技術;實踐技能

中圖分類號：TP399? ? ?文獻標識碼：A

Research on Practical Skills Training of Big Data Application

Technology Specialty in Higher Vocational Colleges

SHEN Yang

（Dalian Vocational Technology College，Dalian 116035，China）

Abstract：The influence of big data technology on national economic life is increasingly obvious and the commercial value of data is also increasingly important.As a result，enterprises' demand for talents in big data analysis and application is increasing.After the application of big data in higher vocational technology professionals positioning，knowledge structure and skill analysis，the practical learning content is designed with ongoing project as the carrier，innovating the contents and ways of cultivating talents' practical skills，and enabling students to engage in the development，operation，maintenance and management of big data related fields.

Keywords：higher vocational college;big data application technology;practical skills

1? ?引言（Introduction）

大數(shù)據是指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。

大數(shù)據及人工智能產業(yè)的發(fā)展對人才提出了新的需求，專業(yè)人才的培養(yǎng)是新一輪科技較量的基礎，大數(shù)據人工智能人才培養(yǎng)也納入各級各類的培養(yǎng)體系中。該專業(yè)是一個與行業(yè)契合度非常高的一個專業(yè)方向，不僅需要從業(yè)人員具有較強的邏輯思維能力，還需要計算機的編碼開發(fā)能力以及對數(shù)據的分析處理能力，尤其對于高職院校的學生而言，數(shù)據的處理與分析能力是高職學生就業(yè)從事的主要崗位方向，因此在整個專業(yè)人才培養(yǎng)過程中，專業(yè)人才的培養(yǎng)一定要重視實踐與實訓教學，培養(yǎng)學生分析問題與解決問題的實踐應用能力[1]。

2? 專業(yè)人才定位及能力需求分析（Talent orientation and capability demand analysis）

2.1? ?專業(yè)人才定位

高職大數(shù)據技術與應用專業(yè)人才培養(yǎng)一定要與本科院校培養(yǎng)的目標不一致，所面向的職業(yè)崗位應該是應用型技術人才所能從事的崗位，包括大數(shù)據應用開發(fā)、大數(shù)據運維管理、大數(shù)據處理三個層面為主。在現(xiàn)階段高職院校開展的專業(yè)群建設中，大數(shù)據的相關課程也發(fā)揮著重要的作用，在計算機軟件技術、網絡技術以及電子商務技術等相關專業(yè)中，都涉及圍繞大數(shù)據進行開發(fā)和數(shù)據處理相關知識的運用，因此培養(yǎng)大數(shù)據應用技術相關人才是高職院校信息技術專業(yè)群建設的重點建設方向。

2.2? ?專業(yè)人才知識結構與職業(yè)素養(yǎng)分析

在知識結構方面，應達到要求：（1）掌握數(shù)學方面的相關知識，具備抽象思維能力;（2）掌握至少一門程序設計語言，如Java、Python等，掌握數(shù)據庫知識和分布并行計算至少一種方法;（3）了解機器學習，數(shù)據挖掘和神經網絡算法;（4）懂得不同行業(yè)的工作業(yè)務流程，能夠挖掘數(shù)據的商業(yè)價值。

在職業(yè)素養(yǎng)方面，應達到如下要求：（1）具有工程思維，溝通交流能力和團隊協(xié)作能力;（2）具有較強欲望的創(chuàng)新精神;（3）對數(shù)據要有較強的敏感性，對待事物要有較強的好奇心，善于跨界思考;（4）一定要能夠嚴格保守數(shù)據信息安全，不能夠損害企業(yè)和國家利益。

2.3? ?專業(yè)人才能力需求分析

隨著國內多數(shù)高職院校大數(shù)據應用技術專業(yè)的開設，關于大數(shù)據應用技術專業(yè)的人才能力培養(yǎng)的體系逐步成熟，總體而言，專業(yè)的發(fā)展一定要面向大數(shù)據行業(yè)，對接大數(shù)據應用的不同產業(yè)，近幾年該專業(yè)的人才能力培養(yǎng)發(fā)生以下變化：其一，人才需求從中高端人才向應用型人才過渡。大數(shù)據相關技術目前正處在落地應用的重要階段，與大數(shù)據研發(fā)初期需要大量的中高端人才不同，在落地應用階段則需要大量的應用型人才，這些應用型人才需要把大數(shù)據技術落地到廣大的傳統(tǒng)行業(yè)中。其二，大數(shù)據分析人才將是需求重點。在大數(shù)據落地應用的過程中，大數(shù)據分析將是人才需求的重點，因為數(shù)據分析是體現(xiàn)數(shù)據價值的重要途徑，所以廣大傳統(tǒng)行業(yè)將首先會關注大數(shù)據分析領域。大數(shù)據分析領域的人才需求也會帶動大數(shù)據運維和大數(shù)據開發(fā)領域的人才需求，當然大數(shù)據的發(fā)展也會帶動物聯(lián)網的發(fā)展。其三，大數(shù)據教育將結合行業(yè)特征。早期的大數(shù)據教育主要以培養(yǎng)大數(shù)據技術為主，包括大數(shù)據平臺的搭建、大數(shù)據開發(fā)、算法設計、結果呈現(xiàn)等內容，未來隨著大數(shù)據與傳統(tǒng)行業(yè)的結合不斷深入，大數(shù)據教育將進一步結合具體的行業(yè)特征。而具備行業(yè)背景知識的大數(shù)據人才將受到企業(yè)的歡迎，因為行業(yè)知識將是大數(shù)據落地應用的重要環(huán)節(jié)。其四，大數(shù)據與物聯(lián)網等技術將進一步融合。隨著5G通信標準的落地，未來的物聯(lián)網、移動互聯(lián)網、大數(shù)據、傳統(tǒng)行業(yè)將深度融合，這些技術將作為產業(yè)互聯(lián)網的重要組成部分共同服務于傳統(tǒng)行業(yè)，所以對于大數(shù)據行業(yè)的從業(yè)者來說，應豐富自身的知識結構，了解物聯(lián)網等相關技術[2]。

基于以上分析，大數(shù)據應用技術方向人才需要具備本領域的理論性能力、實踐性能力和應用性能力三個方向，其中理論性能力需求中要求學生能夠掌握數(shù)據科學中的各種模型和算法的理解和運用，而這部分是高職學生的短板，在專業(yè)教學中，教師只需要按照教學計劃中課程標準的要求完成理論內容的介紹，使學生能夠掌握大數(shù)據的先進技術和理論，掌握大數(shù)據平臺的理論技術基礎即可，具體如圖1所示。

在實踐性能力和應用性能力需求方面，使學生能夠處理相關工作場景中的實際數(shù)據，能夠實現(xiàn)數(shù)據采集、數(shù)據存儲、數(shù)據管理、數(shù)據分析與挖掘以及數(shù)據可視化的展示，能夠完成不同行業(yè)應用的解決方案，并使得學生能夠掌握與大數(shù)據分析的相關工具和平臺。高職學生的普遍特點就是理論基礎薄弱，實踐動手能力較強，因此在高職的大數(shù)據應用技術人才培養(yǎng)中，應該突出實踐技能和應用操作處理能力的培養(yǎng)，重點培養(yǎng)學生的處理實際數(shù)據的能力和實際工作中解決不同行業(yè)應用實際問題的能力。

3? 專業(yè)人才的實踐技能培養(yǎng)探究（Research on the cultivation of practical skills of professional talents）

大數(shù)據應用技術人才應該屬于新型的復合型人才，通過分析可知本專業(yè)要求具有較強的邏輯思維能力，能夠掌握運用計算機處理數(shù)據的綜合實踐能力。但是作為高等職業(yè)院校人才培養(yǎng)目標而言，使本專業(yè)的學生應該具備能夠完成實際工作中需求的各項技能是整個教學過程中的重要手段，大數(shù)據應用技術領域本身就是要運用計算機技術能夠對數(shù)據進行綜合性的操作和分析，在專業(yè)能力需求分析中，實踐性能力也是聯(lián)系理論性能力和應用性能力的重要紐帶。因此作為高職大數(shù)據應用技術專業(yè)的人才能力培養(yǎng)的核心就應該是在掌握基本理論知識的前提下，基于企業(yè)真實的項目和案例對學生進行實踐性能力和應用性能力的遞進培養(yǎng)。

3.1? ?培養(yǎng)形式：校企合作共同培養(yǎng)

大數(shù)據應用技術專業(yè)的知識與能力素質培養(yǎng)前提一定要是校企合作共同培養(yǎng)，因為大數(shù)據專業(yè)如果脫離了行業(yè)背景就失去了數(shù)據的價值與意義，因此人才的知識和能力素質培養(yǎng)要與行業(yè)內的資深企業(yè)合作，雙方共同制定培養(yǎng)方案、師資培訓計劃、教學資源建設以及實踐教學和實訓。專業(yè)的產教融合應該也要為企業(yè)輸送需求的技術人才，校內教師應該夯實學生的知識層面，完成專業(yè)基礎課程內容的講授，當然教師要在企業(yè)經過企業(yè)實踐，受過專業(yè)培訓和指導，在專業(yè)課階段，應該是校內外教師團隊共同講授相關課程，給予學生指導，在實踐課和實訓中，應該由企業(yè)的老師以企業(yè)的實際案例進行項目化教學，通過這種教學組織形式，才能培養(yǎng)出學生堅實的基礎知識和符合行業(yè)、企業(yè)要求的專業(yè)技術技能[3]。

3.2? ?培養(yǎng)內容：以企業(yè)實際工作項目為載體設計實踐學習內容

大數(shù)據應用技術專業(yè)的技能培養(yǎng)，一定要圍繞企業(yè)實際項目為載體來設計實踐教學內容，大數(shù)據實踐項目需要來自工作一線的大量數(shù)據進行分析與操作，因此實踐教學活動一定要基于實際項目來進行設計，只有這樣才能讓學生能夠在實戰(zhàn)中得到實踐技能的提升和應用性能力的培養(yǎng)。

大數(shù)據應用技術人才的培養(yǎng)重在培養(yǎng)學生利用這項技術完成相關的實際案例的操作，因此在專業(yè)實踐綜合類實訓課程的設計中，一定要基于實際應用的背景，圍繞專業(yè)中的實踐性能力需求和應用性能力需求開展實踐類課程的設計。實踐教學的項目選擇一定是一個完整的項目過程，這個過程一定是能夠覆蓋行業(yè)內部整個工作流程，并且在整個實踐項目的講授過程中能夠培養(yǎng)學生行業(yè)所需的核心技能。因此根據以上原則，選取“基于Hadoop的電商網站用戶行為分析系統(tǒng)”這個綜合性的實踐項目可以作為大數(shù)據分析、處理與應用的實踐項目，通過整個項目的教學與實訓，使學生在實踐技能方面得到提升。

項目依托的硬件基礎設施為機房通用學生用機及相關網絡設備，軟件基礎層選用開源的Linux操作系統(tǒng)。架構層采用Hadoop為核心，應用層分數(shù)據采集、數(shù)據存儲、數(shù)據分析、數(shù)據可視化四個模塊[4]。

3.2.1? ?實踐教學目標

本項目圍繞的電商交易進行設計，生產消費過程中通過平臺產生或記錄了大量數(shù)據。這些數(shù)據如何分析從而得到和用戶相關的有用信息。從大數(shù)據的實際應用出發(fā)，針對目前存在很多的電商網站存在相互競爭關系，解決如何精準定位目標客戶的問題。為了提升網站的點擊率和訂閱量，采用行為分析和數(shù)據挖掘對網站進行分析，通多對網站操作的各種行為進行業(yè)務分析，從而提升網站的用戶體驗性，提高用戶的轉化率和廣告效率等。通過這個教學案例，可以使培養(yǎng)學生掌握大數(shù)據技術中的數(shù)據采集、數(shù)據存儲、數(shù)據管理、數(shù)據分析與挖掘以及數(shù)據可視化的實踐技能。

3.2.2? ?實踐教學項目應用價值

通過“基于Hadoop的電商網站用戶行為分析系統(tǒng)”，進行用戶行為分析系統(tǒng)可以很好地收集到原始數(shù)據，并且處理這些收集來的這些原始數(shù)據，把這些數(shù)據中有用的部分我們清洗提取處理，做成需要的用戶行為的這種指標信息，然后分析，也可以形成用戶畫像，廣告的精準投放等一些項目做一些基礎的數(shù)據提供者，因此這個系統(tǒng)在培養(yǎng)學生實踐與應用方面具有一定的研究價值[5]。

3.2.3? ?實踐平臺功能分析

實踐項目結構組成如表1所示。

3.2.4? ?實踐內容設計

（1）項目需求分析

①用戶需求分析

在用戶需求方面，需要針對用戶對象的行為進行采集，完成一個用戶行為的日志收集系統(tǒng)，記錄用戶在電商網站上的行為動作，這里可以用nginx服務器來做這個日志的收集系統(tǒng)。并將用戶行為信息存儲在平臺中，進行數(shù)據的分析運算，清洗得出需求的數(shù)據。將清洗過的數(shù)據進行前端展示。

②系統(tǒng)需求分析

本系統(tǒng)下有四個模塊：數(shù)據收集模塊、數(shù)據存儲模塊、數(shù)據清洗處理模塊、數(shù)據展示模塊四大部分組成。

在數(shù)據收集模塊中，要盡可能多的收集用戶的行為信息，要有很多字段來解析這個人的點擊流的行為，所以我們需要改收集模塊的配置文件，然后收集很多我們需要的字段數(shù)據。

在數(shù)據存儲模塊中，我們收集來的數(shù)據肯定都是url的格式化的數(shù)據，那么我們的數(shù)據存儲模塊就要能很好存儲格式化數(shù)據的數(shù)據庫，收集每個用戶的每個瀏覽網頁的各種行為，因此收集的數(shù)據量非常大，需要能存儲很大量數(shù)據的數(shù)據倉庫，因此應結合這幾點需求來設計我們的數(shù)據存儲模塊。

在數(shù)據清洗模塊中，基于hadoop的大數(shù)據平臺肯定要用到hadoop里面的自帶框架mapreduce，將原始數(shù)據清洗成能被數(shù)據廠庫存儲的表的格式。

在前端數(shù)據展示模塊中，首先用戶行為系統(tǒng)需要前端的展示，那么我們肯定需要這個系統(tǒng)來完成數(shù)據的可視化的展示。

（2）項目系統(tǒng)設計

本系統(tǒng)是一個Hadoop的離線數(shù)據分析的系統(tǒng)架構，主要用到的技術是Java+Msyql+Javaweb+Linux+Hadoop/Hbase/Hive+Sqoop/Azkaban，然后通過數(shù)據的預處理，來實現(xiàn)數(shù)據的清洗。

在系統(tǒng)技術架構中，首先我們底層的就是Nginx作為服務器來收集日志然后加上Flume收集信息，再就是存儲的設計就是用的hive的數(shù)據倉庫加上Mysql數(shù)據庫來完成數(shù)據存儲模塊，之后就是數(shù)據清洗，這就用到了Hadopp的Mapreduce計算模型來編寫的一套數(shù)據清洗系統(tǒng)，最后就是前端可視化展示我們用的是ssm框架，加上大數(shù)據展示組件Echars總體結構流程框圖。

（3）項目實現(xiàn)過程

①搭建服務器集群，規(guī)劃集群中服務器功能。

②配置日志收集模塊，實現(xiàn)日志文件的收集。

③應用Hdfs的Hive數(shù)據倉庫來存儲數(shù)據

④應用Hadoop平臺下面的Mapreduce的計算模型來編寫的數(shù)據處理程序，然后數(shù)據來源是有Hdfs提供，清洗出來的數(shù)據也是存儲到hdfs，然后提交Maptask或Reducetask任務給集群計算。

⑤使用前端大數(shù)據可視化的圖展示清洗出來的數(shù)據

本項目通過對電商交易網站的數(shù)據采集，充分運用Hadoop的Mapreduce集群分析模塊，Hive和Hbase的數(shù)據存儲模塊，java web的數(shù)據展示模塊，和Echars大數(shù)據展示表格模塊等大數(shù)據技術，挖掘出具有重要價值的數(shù)據信息，以此為企業(yè)提供有助于生產和營銷的重要參考。

4? ?結論（Conclusion）

綜上所述，在實踐教學的方案設計中，應該以行業(yè)企業(yè)需求為主，企業(yè)實際項目為載體，能夠通過學生的實踐操作掌握專業(yè)的核心實踐技能，本方案中采用的“于Hadoop的電商網站用戶行為分析系統(tǒng)”完全貫穿了大數(shù)據應用技術的核心技能，能夠使學生將課堂上學到的理論知識與實踐技能運用到解決實際問題中去，因此，我們在大數(shù)據相關專業(yè)的實踐教學項目的開發(fā)和設計過程中也一定要結合這種思路，使學生能夠通過實踐項目提升自己的專業(yè)技能，進而能夠迅速的適應未來的工作崗位。

參考文獻（References）

[1] 羅恩韜，張少波，唐雅媛.新工科背景下產學研協(xié)同創(chuàng)新人才培養(yǎng)體系研究[J].山東工業(yè)技術，2018（10）：236-238.

[2] 田緒紅，鄺穎杰，肖磊，等.大數(shù)據應用人才的知識、能力、素質結構及其培養(yǎng)[J].計算機教育，2017（8）：57-60.

[3] 王崇剛.高職院校大數(shù)據技術與應用專業(yè)人才培養(yǎng)方案課程體系模塊化設計的探索[J].廣東蟬業(yè)，2017（12）：91.

[4] 傅偉，涂剛.高職院校大數(shù)據專業(yè)人才培養(yǎng)模式的構建[J].職教通訊，2017（32）：13-15.

[5] 李文強.基于Hadoop的電子商務大數(shù)據分析綜合實訓平臺建設[J].現(xiàn)代工業(yè)經濟和信息化，2018（6）：36-39.

作者簡介：

沈? 洋（1980-），男，碩士，副教授.研究領域：大數(shù)據技術與應用，信息安全.