肖永財(cái) 李社蕾

摘 要：針對(duì)于教育中數(shù)據(jù)處理難度大的問題，提出一種針對(duì)于教育數(shù)據(jù)可視化的處理方法。獲取數(shù)據(jù)后，對(duì)數(shù)據(jù)先進(jìn)行指標(biāo)分類，接著使用Python和Excel對(duì)數(shù)據(jù)進(jìn)行清洗，再接著結(jié)合機(jī)器學(xué)習(xí)對(duì)清洗后的數(shù)據(jù)分析，最后將分析出來的數(shù)據(jù)以應(yīng)對(duì)不同場景的可視化圖表將數(shù)據(jù)展示出來。

關(guān)鍵詞：數(shù)據(jù)清洗;機(jī)器學(xué)習(xí);數(shù)據(jù)處理;可視化

1 緒論

隨著科技的不斷發(fā)展，計(jì)算機(jī)不斷快速更換和替代，互聯(lián)網(wǎng)用戶數(shù)量也是指數(shù)性的爆發(fā)增長。計(jì)算機(jī)性能的不斷提高，在許多固定化的處理上，計(jì)算機(jī)都比人處理得更快更準(zhǔn)確。在許多方面，人們都開始使用計(jì)算機(jī)進(jìn)行處理，以達(dá)到更高的工作效率以及更少的失誤出現(xiàn)。

數(shù)據(jù)可視化能夠幫助人們?cè)跀?shù)據(jù)處理時(shí)更加快速、便捷，這樣容易接近人們?nèi)粘Ｉ睿瑵M足人們實(shí)際需求，便于挖掘數(shù)據(jù)背后的內(nèi)容。在數(shù)據(jù)可視化中，使用標(biāo)記等方法，不但讓可視化更加專業(yè)，也能及時(shí)找到所需數(shù)據(jù)，避免數(shù)據(jù)分析錯(cuò)誤。[1]

教育中的數(shù)據(jù)往往是多且復(fù)雜的，人為的對(duì)數(shù)據(jù)處理相對(duì)于機(jī)器的處理是耗時(shí)、耗力，且容易出錯(cuò)的，因此通過機(jī)器處理數(shù)據(jù)是必然的。而在教育中大數(shù)據(jù)分析目的在于提高學(xué)生成績，服務(wù)教學(xué)設(shè)計(jì)。在教育中的數(shù)據(jù)中有一些重要的信息往往被人所忽視。通過大數(shù)據(jù)的分析和可視化的展示，尋找重要信息，對(duì)于提高教育精準(zhǔn)化有很大的幫助。利用大數(shù)據(jù)的學(xué)習(xí)分析向教育工作者提供有價(jià)值的信息，來達(dá)到解決一些現(xiàn)實(shí)中不太好回答的問題。

2 系統(tǒng)概述

本系統(tǒng)主要用于對(duì)教育中數(shù)據(jù)的可視化，方便對(duì)教育數(shù)據(jù)的各類數(shù)據(jù)進(jìn)行分析，客觀地分析出數(shù)據(jù)蘊(yùn)含的含義，用以對(duì)學(xué)生成績的提升。圖1為教育數(shù)據(jù)可視化總體設(shè)計(jì)過程?？傮w上來說，全過程分為原始數(shù)據(jù)提取、數(shù)據(jù)預(yù)處理、數(shù)據(jù)可視化三個(gè)主要步驟。

3 教育數(shù)據(jù)處理與可視化設(shè)計(jì)

3.1 數(shù)據(jù)處理前分析

對(duì)教育數(shù)據(jù)處理，需要選擇合適的輔助工具，對(duì)泛化的數(shù)據(jù)進(jìn)行選取和組合，將處理好的數(shù)據(jù)按指標(biāo)進(jìn)行存儲(chǔ)，利用合適的數(shù)學(xué)模型對(duì)處理后的數(shù)據(jù)進(jìn)行分析，最終以合適的方式展示出來。大數(shù)據(jù)處理的基本流程主要包括收集數(shù)據(jù)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析處理、數(shù)據(jù)可視化等幾個(gè)步驟。在整個(gè)大數(shù)據(jù)處理流程中，數(shù)據(jù)的質(zhì)量決定了最終的處理效果，數(shù)據(jù)處理中的每一個(gè)步驟都影響著數(shù)據(jù)質(zhì)量。如果想要一個(gè)好的大數(shù)據(jù)產(chǎn)品，就要有夠大的數(shù)據(jù)規(guī)模、精準(zhǔn)的數(shù)據(jù)抽取、優(yōu)秀的數(shù)據(jù)可視化以及簡明易懂的數(shù)據(jù)解釋。

3.2 數(shù)據(jù)預(yù)處理

從數(shù)據(jù)存儲(chǔ)服務(wù)器中獲取的原始數(shù)據(jù)，為學(xué)生姓名、ID編號(hào)、民族、成績，班級(jí)等各種數(shù)據(jù)信息。在數(shù)據(jù)預(yù)處理階段使用Python和Excel進(jìn)行數(shù)據(jù)清洗，接著以機(jī)器學(xué)習(xí)對(duì)數(shù)據(jù)進(jìn)行分析，最終將數(shù)據(jù)格式成JSON格式實(shí)現(xiàn)教育數(shù)據(jù)的可視化。

在數(shù)據(jù)預(yù)處理層面中，因?qū)τ谠紨?shù)據(jù)中會(huì)存在缺省值、格式錯(cuò)誤等問題，因此使用Python和Excel進(jìn)行數(shù)據(jù)清洗。數(shù)據(jù)預(yù)處理沒有一個(gè)標(biāo)準(zhǔn)的流程，通常針對(duì)任務(wù)和數(shù)據(jù)集屬性的不同而不同。數(shù)據(jù)預(yù)處理的常用流程為：去除唯一屬性，處理缺失值，屬性編碼，數(shù)據(jù)標(biāo)準(zhǔn)化正則化，特征選擇，主成分分析[2]。如圖2所示，針對(duì)教育數(shù)據(jù)的特點(diǎn)，采用如下所述的步驟進(jìn)行數(shù)據(jù)預(yù)處理。

教育數(shù)據(jù)的處理流程與傳統(tǒng)數(shù)據(jù)處理流程幾乎一樣，主要區(qū)別在于：傳統(tǒng)的數(shù)據(jù)要處理大量泛化的數(shù)據(jù)，教育數(shù)據(jù)已經(jīng)是較為結(jié)構(gòu)化的數(shù)據(jù)，在處理數(shù)據(jù)時(shí)可以并行處理。

以機(jī)器學(xué)習(xí)中深度學(xué)習(xí)為核心的教育數(shù)據(jù)分析，替代人來完成那些簡單、枯燥的數(shù)據(jù)分析，同時(shí)按照一定的規(guī)則學(xué)習(xí)，預(yù)測(cè)分析未來一些事件的可能性，進(jìn)而實(shí)現(xiàn)教育數(shù)據(jù)的最終變現(xiàn)。和聯(lián)機(jī)分析處理OLAP不同，對(duì)教育數(shù)據(jù)的深度分析主要基于大規(guī)模的半監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)模型的訓(xùn)練過程可以歸結(jié)為一個(gè)最優(yōu)化定義于大規(guī)模訓(xùn)練教育數(shù)據(jù)上的目標(biāo)函數(shù)并且通過一個(gè)循環(huán)迭代的算法實(shí)現(xiàn)。其數(shù)學(xué)描述如下：

目標(biāo)函數(shù)：

θ→=argmaxθ→Σ（{xi，yi}Ni=1;θ→）+Ω（θ→）（1）

迭代優(yōu)化：θ→←隨機(jī)值;

for（t=1）

{

其他操作;

θ→（t）←g（θ→（t-1），∠θθ→=θ→（t-1））;

其他操作;

}

returnθ→（T）;（2）

（1）迭代性：機(jī)器學(xué)習(xí)算法，最終都要求助于計(jì)算機(jī)解決，它又表現(xiàn)為在特定函數(shù)空間按某種優(yōu)化目標(biāo)去搜索一個(gè)解出來。通常問題沒有范圍解或迭代變量震蕩于某個(gè)點(diǎn)，對(duì)迭代變量并不能一次完成，需要進(jìn)行多次的循環(huán)迭代以及變量更改才能逼近最優(yōu)點(diǎn)。

（2）適應(yīng)性：深度學(xué)習(xí)的算法設(shè)計(jì)和模型設(shè)計(jì)說明可能有非最優(yōu)值解的出現(xiàn)，而多次迭代的特性也會(huì)在循環(huán)的過程中產(chǎn)生一些誤差，但深度學(xué)習(xí)的適應(yīng)力較強(qiáng)，在這些變量最終會(huì)被允許存在，但模型最終的收斂不受影響。

以基于Hadoop架構(gòu)的分布式計(jì)算對(duì)教育數(shù)據(jù)進(jìn)行處理歸為MapReduce實(shí)現(xiàn)，進(jìn)而達(dá)到簡化編程接口和提高容錯(cuò)性的目的。設(shè)計(jì)兩個(gè)函數(shù)map函數(shù)和reduce函數(shù)，在map階段處理原始數(shù)據(jù)，過濾掉丟失、不可靠或錯(cuò)誤的教育數(shù)據(jù)。接著在reduce階段，尋找出合適的數(shù)據(jù)。通過這兩個(gè)階段將一個(gè)完整的迭代運(yùn)算分解為多個(gè)不間斷的map和reduce操作。通過讀寫HDFS文件，將上一輪循環(huán)運(yùn)算結(jié)果傳入到下一輪完成數(shù)據(jù)的交換。

3.3 數(shù)據(jù)可視化設(shè)計(jì)

在人與計(jì)算機(jī)的相處過程中，界面是機(jī)器對(duì)人產(chǎn)生較大的一個(gè)影響因子，因此對(duì)界面的設(shè)計(jì)是一個(gè)不可忽略的因素。將界面置于用戶的控制之下，控制用戶情緒走向，保持界面的一致性是本團(tuán)隊(duì)對(duì)教育數(shù)據(jù)可視化設(shè)計(jì)的方向。工作流程上分為結(jié)構(gòu)設(shè)計(jì)、交互設(shè)計(jì)、視覺設(shè)計(jì)三個(gè)部分。

結(jié)構(gòu)設(shè)計(jì)是界面設(shè)計(jì)的核心。通過對(duì)用戶的研究與分析，設(shè)計(jì)出系統(tǒng)的整體框架。