【摘 要】

2011年以來，在美國頂尖大學中迅速發(fā)展起來并廣泛影響世界的MOOCs（大規(guī)模開放在線課程）無疑給“在線學習”樹立了成功應用的典范。不同于以往的開放教育資源運動，MOOCs既有優(yōu)質(zhì)資源的共享，更有學習支持服務的提供。這使開放在線課程提供者面臨一個嚴峻問題，即日益增長的學習者和有限的師資之間的矛盾。本文嘗試采用技術(shù)方法緩解這一矛盾，以在線學習的評價問題為突破口，從輔導教師視角提出了“基于學習過程數(shù)據(jù)挖掘的在線學習自動評價模式”，并選取基于Moodle平臺開展的純在線培訓日志數(shù)據(jù)為樣本開展模式應用，借鑒已有研究成果構(gòu)建在線學習評價指標體系，并設計了指標評分算法，采用層次分析法確定評價指標體系權(quán)重，并以新的評價指標體系，基于學習過程數(shù)據(jù)挖掘為某課程學生自動評分。結(jié)果表明，自動計算得出的成績與課程輔導教師人工給出的成績有著較高的一致性，從而驗證了在線學習自動評價模式的有效性。

【關(guān)鍵詞】 MOOCs；在線學習；學習分析；自動評價；層次分析法

【中圖分類號】 G40-057 【文獻標識碼】 A 【文章編號】 1009—458x（2015）03—0038—08

引 言

2011年以來，在美國頂尖大學中迅速發(fā)展起來并廣泛影響世界的MOOCs（大規(guī)模開放在線課程）逐漸發(fā)展成為在線學習的成功應用典范。MOOCs模式表明，只有當教學各要素（包括課程資源、課堂教學、師生交流、學生練習等）系統(tǒng)、完整呈現(xiàn)，并由輔導教師提供各種學生支持服務時，在線學習才表現(xiàn)出一定的效果[1]。不同于以往的開放教育資源運動，MOOCs既有優(yōu)質(zhì)資源的共享，更有學習支持服務的提供。這就帶來一個矛盾，即全世界學習者選擇學習名校課程的需要與名校有限師資的矛盾。以MOOCs edX為例，它曾經(jīng)開設的“Circuits and Electronics” （6.002x）課程有155，000名學生注冊，教學團隊僅有12名教師[2]，勢必要借助各種技術(shù)手段來自動完成一些教學任務，如批改作業(yè)、答疑、學習提醒、評價學習成績等。本文將以在線學習的自動評價模式和方法為對象展開研究。

在線學習情境下，輔導教師雖然不能像在面授教學中那樣親眼看到每位學生的學習表現(xiàn)，但是學習平臺卻能記下教師不能記下的學生做出的各種行為，包括登錄平臺、瀏覽資源、做作業(yè)、參與討論，等等?；谶@些數(shù)據(jù)記錄，輔導教師可以間接了解到每位學生的學習表現(xiàn)，并基于這些表現(xiàn)做出客觀的學習評價?？梢哉f，通過在線學習平臺對學習過程的記錄，計算機對學生的在線學習表現(xiàn)做出自動評價的做法不僅是可能的，而且對緩解“龐大的學習者群體與緊缺的教師資源”之間的矛盾也是必要的。

目前，分析利用教學與學習過程數(shù)據(jù)，逐漸成為一個新的研究方向，即“大數(shù)據(jù)與學習分析技術(shù)”。學習分析在許多方面指的是應用于教育領(lǐng)域的“大數(shù)據(jù)”分析[3]。學習分析是一個新興的研究領(lǐng)域，旨在應用數(shù)據(jù)分析為教育系統(tǒng)的各級決策提供參考。對教育工作者和研究人員而言，學習分析在剖析學生與在線文本、課件之間的互動中發(fā)揮著至關(guān)重要的作用。學生也受益于學習分析的成果，通過開發(fā)用于分析學生具體數(shù)據(jù)的移動軟件和在線平臺，為學生提供符合他們學習需求的支持服務系統(tǒng)。

從已有在線學習分析研究來看，國內(nèi)的研究主要處在引進國外研究成果，綜述相關(guān)概念、工具、模式階段[4][5][6][7][8][9]，而將學習分析技術(shù)應用于解決實際教學問題的實證研究相對較少[10][11]，國外在實證研究方面則走得更快一些。2014年召開的學習分析與知識國際會議，專門設置分論壇對“教與學過程挖掘和評價”這一議題進行討論，有研究者對當前廣受關(guān)注的MOOCs課程學習過程展開研究。Coffrin等人采用可視化方法對比呈現(xiàn)學生學習兩門MOOCs課程的行為，結(jié)果發(fā)現(xiàn)兩門課程的區(qū)別很小，其共同特點是課程剛開始時學生的參與率很高但隨后卻迅速下降[12]。針對MOOCs課程學生參與程度低的問題，Hickey等選擇若干大學的在線課程開展教學實驗，提出了13條參與度改善策略，包括開展學生互評、教師頒發(fā)獎章等活動來促進彼此間的交流和互相幫助，為學生提供個性化學習建議，并提高學生參與度[13]。本文的重點是將學習分析技術(shù)應用于在線學習評價。Leah P. Macfadyen等人嘗試采用回歸分析方法建立預測模型來預測學生學習成績，可以看作是一種應用。Leah P. Macfadyen等人以基于BlackBoard平臺的在線生物課程學習過程數(shù)據(jù)為研究對象，選取118名學生為樣本，將平臺中發(fā)生的各類學習活動量的統(tǒng)計值與最終的學習成績進行回歸分析，發(fā)現(xiàn)了論壇參與度、郵件發(fā)送數(shù)量和考試完成數(shù)量等三個與學生學習成績顯著相關(guān)的關(guān)鍵變量，并建立回歸模型，以預測學生的學習成績[14]。實驗表明，該模型預測某門課程不及格學習者的準確率為81%。在國內(nèi)，馬杰等人做了類似的研究，他們對教育技術(shù)初級能力培訓在線課程相關(guān)數(shù)據(jù)進行分析，構(gòu)建了各教學模塊得分與課程總分之間的預測模型，發(fā)現(xiàn)了與學生課程總分呈顯著相關(guān)的教學模塊，由此教師和學生可以通過預測模塊快速定位重點模塊，從而提高教學效果[15]。可以說，國內(nèi)在利用在線學習平臺開展學習分析技術(shù)實證研究方面還比較少，本文提出的基于學習過程數(shù)據(jù)挖掘的在線學習自動評價與構(gòu)建學生學習成績預測模型有所不同，后者的價值是提供了一個預警系統(tǒng)，幫助教師提前發(fā)現(xiàn)可能不及格的學生，而前者是為教師提供一個更為客觀且省力的評價方案。

來自英國開放大學教育技術(shù)研究所的研究表明，要讓教師和學生參與到學習分析過程中來，而不僅僅是利用他們產(chǎn)生的數(shù)據(jù)，他們的介入是解讀數(shù)據(jù)分析結(jié)果并使分析結(jié)論應用于改進教學和學習的關(guān)鍵[16]。因此，本文擬與某門課程的輔導教師合作，發(fā)掘用學習分析技術(shù)輔助教師開展在線學習自動評價所用的方法和模式，通過了解輔導教師開展在線學習自動評價的需求，提出“基于學習過程數(shù)據(jù)挖掘的在線學習自動評價模式”，然后獲取教學和學習過程數(shù)據(jù)進行分析挖掘，并與輔導教師分享分析結(jié)論，讓輔導教師介入學習分析當中，而不是僅作為研究對象或旁觀者。

一、基于學習過程數(shù)據(jù)挖掘的

在線學習自動評價模式構(gòu)建

在線學習自動評價是輔導教師按照一定的評價指標體系對學習管理系統(tǒng)記錄的學生學習過程數(shù)據(jù)進行自動挖掘分析并自動轉(zhuǎn)換匯總為學習成績的過程。利用平臺中存儲的學習過程數(shù)據(jù)進行在線學習自動評價也是學習分析技術(shù)的一類應用形式，其流程與學習分析流程具有一致性，在線教學績效評估模式構(gòu)建可以在一般學習分析模式基礎上細化完成。

學習分析模式由“學習分析流程”、“工具與算法”以及“數(shù)據(jù)與信息”三要素構(gòu)成，“工具與算法”為“學習分析流程”提供支撐，并產(chǎn)生相應的“數(shù)據(jù)與信息”，如圖1所示。

圖1 學習分析模式構(gòu)成要素

具體到本文提出的在線學習自動評價模式，“分析流程”的關(guān)鍵環(huán)節(jié)包括學生在線學習自動評價指標體系建立、各觀測點數(shù)據(jù)采集與轉(zhuǎn)換、評價成績生成與有效性檢驗等，“工具與算法”包括數(shù)據(jù)庫查詢分析器以及“統(tǒng)計分析與可視化”方法、文本挖掘（用于處理討論區(qū)的帖子）、層次分析法等，所用到的“數(shù)據(jù)與信息”將主要有在線學習平臺日志數(shù)據(jù)表以及討論區(qū)數(shù)據(jù)表、作業(yè)數(shù)據(jù)表等。該模式的詳細情況如圖2所示。

該模式建立的關(guān)鍵之處是結(jié)合課程特點構(gòu)建在線學習評價指標體系，可根據(jù)在線學習平臺記錄的學習過程數(shù)據(jù)特點形成學習評價指標集，如學習態(tài)度、協(xié)作與互動表現(xiàn)以及作業(yè)成績等一級指標以及若干二級指標；并構(gòu)建學習評價層次模型，根據(jù)指標體系的特點定義相應的權(quán)值，結(jié)合數(shù)學領(lǐng)域的模糊理論和層次分析法，建立非量化與量化相結(jié)合的綜合評價體系。

二、研究樣本

本文的研究樣本來自“網(wǎng)絡教育從業(yè)人員培訓”（由國家開放大學主辦）。網(wǎng)絡教育從業(yè)人員培訓系列課程包括“在線學習輔導”“在線課程設計”“學生支持服務”“網(wǎng)絡教育英語”“新技術(shù)教育應用”等10門課程。學生學習基于Moodle平臺（網(wǎng)址：http：//etutor.crtvu.cn）開展，并由輔導教師和教學管理人員提供各種學生支持服務。Moodle是目前世界范圍內(nèi)使用最為廣泛的開源學習管理系統(tǒng)之一，得到廣大師生的普遍認可。Moodle平臺的日志功能較為完善，可較完整地記錄用戶在平臺各模塊包括討論（Forum）模塊、資源（Resource）模塊、作業(yè)（Assignment）模塊、Wiki模塊等發(fā)生的多種行為（瀏覽、寫入、修改、刪除等），并存儲在日志數(shù)據(jù)表（mdl_log）中。這些完善的日志為開展基于學習過程數(shù)據(jù)挖掘的在線學習自動評價帶來可能。

本文選擇“在線學習輔導”課程第N期培訓班作為研究樣本。“在線學習輔導”第N期培訓班有學員23名，輔導教師1名，培訓時間從2011年5月3日至6月12日，學習時間為6周，這6周不包含1周的大論文的撰寫時間，實際培訓時間為7周。培訓數(shù)據(jù)采集時間范圍比培訓時間要長，從2011年3月1日至12月31日。

三、在線學習自動

評價模式應用

下面以網(wǎng)絡教育從業(yè)人員培訓中的“在線學習輔導”課程學習評價為例，介紹在線學習自動評價模式的應用。

（一）已有評價指標現(xiàn)狀

在未參考基于Moodle日志的統(tǒng)計數(shù)據(jù)的前提下，輔導教師與培訓管理者制定了“在線學習輔導”課程評價指標體系（如表1所示）。

表 1 原有課程評價指標

[一級指標＼&權(quán)重＼&打分依據(jù)＼&評價標準＼&Wiki＼&15%＼&WIKI 百科，學生分組利用WIKI 協(xié)作完成主題活動，輔導教師根據(jù)參與度、完成情況等進行評分，學生要至少參與一次WIKI 活動＼&合格/不合格＼&論壇＼&15%＼&在線討論，輔導教師根據(jù)學生參與各單元的論壇討論情況，給予相應分數(shù)＼&合格/不合格＼&小論文＼&20%＼&提交一次至少 500 字的小論文＼&合格/不合格＼&大論文＼&50%＼&一篇終期大論文＼&合格/不合格＼&]

據(jù)該課程輔導教師反映，該評價指標體系并不能完整反映學生的學習表現(xiàn)，更多的是關(guān)注學習的產(chǎn)出，而不考察學習的投入情況。由于只有一級指標，打分單位過大，難以精確給分，往往只能模糊評分，如“合格”“不合格”兩種。總的來說，輔導教師在使用評價指標進行評分時難以操作，除大論文外，難以獲得精確的評分依據(jù)，無法差異化地給出成績，導致了評價指標難以發(fā)揮評價的引導、激勵作用。

（二）新在線學習評價指標體系的初步構(gòu)建

對于在職人員培訓而言，過程體驗很重要，不僅關(guān)注學員的最終結(jié)果——學習產(chǎn)出，也應關(guān)注平時表現(xiàn)。因此，借鑒胡藝齡等[17]、張生等[18]在在線學習評價指標體系方面的研究成果，作者與輔導教師共同確定從“學習投入”“學習產(chǎn)出”兩大維度來評價本課程的學習，并初步擬定在線學習評價指標體系（如表2所示）。其中，每項三級指標（或二級指標）均有一個評分算法，并通過編寫SQL查詢語句或其他計算機程序加以實現(xiàn)，所得分值均在0到1分范圍內(nèi)，這是實現(xiàn)自動評分的關(guān)鍵。

接下來，將采用層次分析法來確定各級評價指標的權(quán)重。

（三）利用層次分析法構(gòu)建在線學習評價指標體系

1. 層次分析法概述

層次分析法（Analytic Hierarchy Process，簡稱AHP）是美國運籌學家、匹茲堡大學T. L. Saaty教授在20世紀70年代初期提出的，是對定性問題進行定量分析的一種簡便、靈活而又實用的多準則決策方 法[19]。它的特點是把復雜問題中的各種因素通過劃分為相互聯(lián)系的有序?qū)哟危怪畻l理化，根據(jù)對一定客觀現(xiàn)實的主觀判斷結(jié)構(gòu)（主要是兩兩比較）把專家意見和分析者的客觀判斷結(jié)果直接而有效地結(jié)合起來，將一層次元素兩兩比較的重要性進行定量描述。而后，利用數(shù)學方法計算反映每一層次元素的相對重要性次序的權(quán)值，通過所有層次之間的總排序計算所有元素的相對權(quán)重并進行排序。

層次分析法應用的基本步驟包括確定系統(tǒng)總目標、建立多層次遞階結(jié)構(gòu)、確定各層次元素間相對權(quán)值、確定各元素整體權(quán)重、分析計算結(jié)果并提供決策參考等五個環(huán)節(jié)[20]。

在本研究中，層次分析法主要用來確定各級指標的相對權(quán)重和整體權(quán)重。我們先根據(jù)表2所示的層級評價指標體系構(gòu)造判斷矩陣。

2. 構(gòu)造判斷矩陣并賦值

構(gòu)造判斷矩陣的方法是：每一個具有向下隸屬關(guān)系的元素如一級指標（稱為準則）作為判斷矩陣的第一個元素（位于左上角），隸屬于它的各個下一級指標依次排列在其后的第一行和第一列。重要的是填寫判斷矩陣。填寫判斷矩陣的方法是：向填寫人（專家）反復詢問，針對判斷矩陣的準則，其中兩個元素兩兩比較哪個重要，重要多少，對重要性程度按1～9賦值（重要性標度值見表3）[21]。

表 3 重要性標度含義表

[重要性標度＼&含 義＼&1＼&表示兩個元素相比，具有同等重要性＼&3＼&表示兩個元素相比，前者比后者稍重要＼&5＼&表示兩個元素相比，前者比后者明顯重要＼&7＼&表示兩個元素相比，前者比后者強烈重要＼&9＼&表示兩個元素相比，前者比后者極端重要＼&2，4，6，8＼&表示上述判斷的中間值＼&倒數(shù)＼&若元素i與元素j的重要性之比為aij， 則元素j與元素i的重要性之比為aji=1/aij＼&]

作者邀請參與網(wǎng)絡教育從業(yè)人員培訓的輔導教師共計6人（涉及三門課程），分成兩組，每小組3人（涉及三門課程），按照上述方法，分別將兩兩比較結(jié)果在組內(nèi)進行算術(shù)平均，取其與算術(shù)平均值最相近的“1～9”尺度值，得到的統(tǒng)計結(jié)果經(jīng)規(guī)整后如表4至表10所示。

表4 兩組教師對一級指標兩兩比較的平均近似值表

[一級指標＼&投入情況（A1）＼&產(chǎn)出情況（A2）＼&投入情況（A1）＼&組1＼&1＼&1＼&投入情況（A1）＼&組2＼&1＼&1/2＼&產(chǎn)出情況（A2）＼&組1＼&1＼&1＼&產(chǎn)出情況（A2）＼&組2＼&2＼&1＼&]

表5 兩組教師對二級指標兩兩比較的平均近似值表（1）

[二級指標＼&時間出勤率

（B1）＼&活動參與率

（B2）＼&參與活動及時性

（B3）＼&時間出勤率（B1）＼&組1＼&1＼&1/2＼&2＼&時間出勤率（B1）＼&組2＼&1＼&1/3＼&3＼&活動參與率（B2）＼&組1＼&2＼&1＼&4＼&活動參與率（B2）＼&組2＼&3＼&1＼&5＼&參與活動及時性（B3）＼&組1＼&1/2＼&1/4＼&1＼&參與活動及時性（B3）＼&組2＼&1/3＼&1/5＼&1＼&]

表6 兩組教師對二級指標兩兩比較的平均近似值表（2）

[二級指標＼&活動頻次

（B4）＼&Wiki

（B5）＼&論壇發(fā)帖

（B6）＼&小論文

（B7）＼&大論文

（B8）＼&活動頻次（B4）＼&組1＼&1＼&1/2＼&1/3＼&1/2＼&1/3＼&活動頻次（B4）＼&組2＼&1＼&1/2＼&1/4＼&1/3＼&1/4＼&Wiki（B5）＼&組1＼&2＼&1＼&1/4＼&1/2＼&1/4＼&Wiki（B5）＼&組2＼&2＼&1＼&1/5＼&1/3＼&1/6＼&論壇發(fā)帖（B6）＼&組1＼&3＼&4＼&1＼&2＼&1＼&論壇發(fā)帖（B6）＼&組2＼&4＼&5＼&1＼&3＼&1/2＼&小論文（B7）＼&組1＼&2＼&2＼&1/2＼&1＼&1/4＼&小論文（B7）＼&組2＼&3＼&3＼&1/3＼&1＼&1/3＼&大論文（B8）＼&組1＼&3＼&4＼&1＼&4＼&1＼&大論文（B8）＼&組2＼&4＼&6＼&2＼&3＼&1＼&]

表7 兩組教師對三級指標兩兩比較的平均近似值表（1）

[三級指標＼&周出勤率

（C1）＼&天出勤率

（C2）＼&周平均學習

小時次數(shù)（C3）＼&周出勤率（C1）＼&組1＼&1＼&1/3＼&1/3＼&周出勤率（C1）＼&組2＼&1＼&1/4＼&1/4＼&天出勤率（C2）＼&組1＼&3＼&1＼&1＼&天出勤率（C2）＼&組2＼&4＼&1＼&1＼&周平均學習

小時次數(shù)（C3）＼&組1＼&3＼&1＼&1＼&周平均學習

小時次數(shù)（C3）＼&組2＼&4＼&1＼&1＼&]

表8 兩組教師對三級指標兩兩比較的平均近似值表（2）

[三級指標＼&參與單元

討論率（C4）＼&參與平時

作業(yè)率（C5）＼&資源

瀏覽率（C6）＼&參與單元討論率（C4）＼&組1＼&1＼&2＼&2＼&參與單元討論率（C4）＼&組2＼&1＼&3＼&3＼&參與平時作業(yè)率（C5）＼&組1＼&1/2＼&1＼&1＼&參與平時作業(yè)率（C5）＼&組2＼&1/3＼&1＼&1＼&資源瀏覽率（C6）＼&組1＼&1/2＼&1＼&1＼&資源瀏覽率（C6）＼&組2＼&1/3＼&1＼&1＼&]

表9 兩組教師對三級指標兩兩比較的平均近似值表（3）

[三級指標＼&參與單元討論

及時性（C7）＼&參與平時作業(yè)

及時性（C8）＼&參與單元討論及時性（C7）＼&組1＼&1＼&3＼&參與單元討論及時性（C7）＼&組2＼&1＼&5＼&參與平時作業(yè)及時性（C8）＼&組1＼&1/3＼&1＼&參與平時作業(yè)及時性（C8）＼&組2＼&1/5＼&1＼&]

表10 兩組教師對三級指標兩兩比較的平均近似值表（4）

[三級指標＼&帖子數(shù)（C9）＼&帖子字數(shù)（C10）＼&有效術(shù)語數(shù)（C11）＼&帖子數(shù)（C9）＼&組1＼&1＼&2＼&3＼&帖子數(shù)（C9）＼&組2＼&1＼&1＼&2＼&帖子字數(shù)（C10）＼&組1＼&1/2＼&1＼&2＼&帖子字數(shù)（C10）＼&組2＼&1＼&1＼&1＼&有效術(shù)語數(shù)（C11）＼&組1＼&1/3＼&1/2＼&1＼&有效術(shù)語數(shù)（C11）＼&組2＼&1/2＼&1＼&1＼&]

3. 計算權(quán)向量與檢驗

計算權(quán)向量的方法主要有和法、根法、冪法和特征根法，并要進行一致性檢驗，以判斷矩陣滿足一致性情況[22]。下面利用和法分別求取上述表4至表10所示矩陣的特征向量，從而得到各級指標的相對權(quán)重。以表4為例，根據(jù)表4可分別建立兩組教師“一級指標兩兩比較的平均近似值”組成的矩陣，如下所示。

[AG1=1 11 1]

[AG2=1 122 1]

經(jīng)一致性檢驗，C.R.<0.1，利用和法求取這兩個矩陣的特征向量，結(jié)果如下：

[ωAG1=（0.5，0.5）T]

[ωAG2=（0.33，0.67）T]

通過上述兩組教師的權(quán)重列向量算數(shù)平均最終得出兩個一級指標的權(quán)重向量為：

[ωA=（0.42 ，0.58）T]

采用同樣的方法，進一步計算表5至表10所示矩陣的特征向量，從而得到二、三級指標的權(quán)重向量。經(jīng)檢驗，表5至表10所示的矩陣，其C.R.<0.1，可以認為每個判斷矩陣的一致性都是可以接受的。

[ωB1B2B3=（0.29，0.59，0.12）TωB4B5B6B7B8=（0.06，0.10，0.31，0.17，0.36）TωC1C2C3=（0.13，0.44，0.44）TωC4C5C6=（0.55，0.23，0.23）TωC7C8=（0.79，0.21）TωC9C10C11=（0.48，0.31，0.21）T]

4. 組合權(quán)重表的確定

由于指標體系級與級之間存在依存關(guān)系，經(jīng)對二級指標和三級指標的整體權(quán)重進行計算，最終得到基于Moodle平臺的純在線學習評價指標體系一級指標、二級指標、三級指標的組合權(quán)重體系（如表11所示）。

從指標權(quán)重體系來看，“活動參與率（B2）”“時間出勤率（B1）”“大論文（B8）”“論壇發(fā)帖（B6）”等二級指標權(quán)重較高，是衡量學習成績好壞的重要指標。

（四）新評價指標體系的應用

依照上述評價指標體系的各項指標，計算“在線學習輔導”課程第N期培訓班23名學員各項指標得分（統(tǒng)一采用1分制，即得分在0～1之間），然后根據(jù)權(quán)重計算總分，最后將總分轉(zhuǎn)換為百分制。最終成績?nèi)绫?2所示。

可見，基于Moodle日志和新評價指標體系計算得出的成績與“在線學習輔導”課程第N期培訓班輔導教師給出的成績有較高的一致性，驗證了“基于Moodle平臺的純在線學習評價指標體系”的有效性。當然，我們也發(fā)現(xiàn)了兩處不一致的地方，即學員406和433的得分并不算高，卻給了“優(yōu)秀”的成績。通過與“在線學習輔導”課程第N期培訓班輔導教師交流，得知學員406在參與論壇討論方面非常活躍，從上表中可看到學員406在“發(fā)帖數(shù)C9”“發(fā)帖字數(shù)C10”“使用術(shù)語數(shù)C11”等三項指標上得分均為1；但406學員在平時作業(yè)提交方面表現(xiàn)較差，這是輔導員不曾注意到的。學員433各項表現(xiàn)并非突出，輔導教師承認將該學員評為“優(yōu)秀”是一種失誤，并表示這種基于數(shù)據(jù)的分析可以輔助輔導教師做出更為精確、省力的打分。

四、研究結(jié)論

MOOCs實踐證明，開放在線課程對于共享優(yōu)質(zhì)資源、提升學習者學習體驗具有重大價值，但是在線學習產(chǎn)品與服務提供者必須面對日益增多的在線學習者與有限的在線教學輔導教師之間的矛盾，技術(shù)無疑是解決問題的有效途徑。本研究從輔導教師視角提出了“基于學習過程數(shù)據(jù)挖掘的在線學習自動評價模式”，接著收集來自網(wǎng)絡教育從業(yè)人員培訓課程“在線學習輔導”的教學與學習過程數(shù)據(jù)開展模式應用，并請輔導教師參與評價指標體系制定，最后與輔導教師分享分析結(jié)果，幫助他們反思教學中可能存在的問題，真正讓輔導教師參與到學習分析中來。本研究的主要結(jié)論有：

（1）從輔導教師的角度定義了學習分析技術(shù)的應用內(nèi)涵，提出了“在線學習自動評價”這一概念。在線學習自動評價是輔導教師按照一定的評價指標體系對學習管理系統(tǒng)中的學生學習過程數(shù)據(jù)進行挖掘分析并自動轉(zhuǎn)換匯總為學習成績的過程。

（2）基于一般的學習分析模式，從輔導教師視角構(gòu)建了基于學習過程數(shù)據(jù)挖掘的在線學習自動評價模式。該模式在“分析流程”方面的關(guān)鍵環(huán)節(jié)包括學生在線學習自動評價指標體系建立、各觀測點數(shù)據(jù)采集與轉(zhuǎn)換、評價成績生成與有效性檢驗等，所用到的“工具與算法”主要有數(shù)據(jù)庫管理系統(tǒng)查詢分析器以及“統(tǒng)計分析與可視化”方法、文本挖掘（用于處理討論區(qū)的帖子）、層次分析法等，所用到的“數(shù)據(jù)與信息”主要有Moodle平臺日志數(shù)據(jù)表以及討論區(qū)數(shù)據(jù)表、作業(yè)數(shù)據(jù)表等。

（3）選取在Moodle平臺進行的在線培訓學習過程數(shù)據(jù)作為研究樣本，檢驗了在線學習自動評價模式的有效性。研究選取國家開放大學網(wǎng)絡教育從業(yè)人員培訓課程“在線學習輔導”第N期培訓班的培訓過程記錄作為研究樣本，與課程輔導教師一起建立了新的“基于Moodle平臺的純在線學習評價指標體系”，采用層次分析法確定了各級評價指標的權(quán)重，并采用新的評價指標體系為學生自動評分。結(jié)果表明，基于Moodle日志和新的評價指標體系計算得出的成績與輔導教師給出的成績有較高的一致性，并糾正了輔導教師的某些評分失誤。

雖然本研究是以Moodle平臺為例檢驗了在線學習自動評價模式的有效性，但對于其他開源學習管理系統(tǒng)如Claroline、Atutor、Sakai等以及各類商用學習管理系統(tǒng)如Blackboard、網(wǎng)梯遠程教育平臺等同樣適用，因為任何學習管理系統(tǒng)都會記錄在平臺上發(fā)生的各類活動，并匯總成為網(wǎng)絡日志，這些日志即是開展在線學習自動評價的基礎。當然，不同課程會有不同的考核內(nèi)容和評價重點，其他課程在參考本研究制定的評價指標體系時應對評價指標進行增減并對指標權(quán)重進行重新分配，方可達到預期的效果。

[參考文獻]

[1] 李曼麗，張羽，黃振中. 大規(guī)模開放在線課程：正在醞釀高等教育革新[N]. 中國科學報，2013-5-30.

[2] Lori Breslow， David E. Pritchard， Jennifer DeBoer， Glenda S. Stump， Andrew D. Ho and Daniel T. Seaton. Studying Learning in the Worldwide Classroom Research into edX’s First MOOC. Research & Practice in Assessment， special summer 2013 issue.

[3] Johnson， L.， Adams Becker， S.， Estrada， V.， Freeman， A. （2014）. NMCHorizon Report： 2014 Higher Education Edition. Austin， Texas： The NewMedia Consortium.

[4] 魏順平. 學習分析技術(shù)：挖掘大數(shù)據(jù)時代下教育數(shù)據(jù)的價值[J]. 現(xiàn)代教育技術(shù)，2013，（02）：5-11.

[5] 顧小清，張進良，蔡慧英. 學習分析：正在浮現(xiàn)中的數(shù)據(jù)技術(shù)[J]. 遠程教育雜志，2012，（01）：18-25.

[6] 李青，王濤. 學習分析技術(shù)研究與應用現(xiàn)狀述評[J]. 中國電化教育，2012，（08）：129-133.

[7] 張進良，何高大. 學習分析：助推大數(shù)據(jù)時代高校教師在線專業(yè)發(fā)展[J]. 遠程教育雜志，2014，（01）：56-62.

[8] 李艷燕，馬韶茜，黃榮懷. 學習分析技術(shù)：服務學習過程設計和優(yōu)化[J]. 開放教育研究，2012，（05）：18-24.

[9] 徐鵬，王以寧，劉艷華，張海. 大數(shù)據(jù)視角分析學習變革——美國《通過教育數(shù)據(jù)挖掘和學習分析促進教與學》報告解讀及啟示[J]. 遠程教育雜志，2013，（06）：11-17.

[10] 郁曉華，顧小清. 學習活動流：一個學習分析的行為模型[J]. 遠程教育雜志，2013，（04）：20-28.

[11] 魏順平. 在線教育管理者視角下的學習分析——在線教學績效評估模式構(gòu)建與應用[J]. 現(xiàn)代教育技術(shù)，2014，（09）：79-85、93.

[12] Coffrin， C. ， Corrin， L. ， de Barba， P. ， & Kennedy， G. （2014）. Visualizing patterns of student engagement and performance in MOOCs[ A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 83-92. ACM.

[13] Hickey， D. T. ， Kelley， T. A. ， & Shen， X. （2014）. Small to big before massive： scaling up participatory learning analytics[A]. In Proceedings of the Fourth International Conference on Learning Analytics And Knowledge[C]. 93-97. ACM.

[14] Macfayden， L. P.， and S. Dawson. 2010. “Mining LMS Data to Develop an ‘Early Warning’ System for Educators： A Proof of Concept.” Computers & Education 54 （2）： 588-599.

[15] 馬杰，趙蔚，張潔，趙艷. 基于學習分析技術(shù)的預測模型構(gòu)建與實證研究[J]. 現(xiàn)代教育技術(shù)，2014，（11）：30-38.

[16] Sharples， M.， McAndrew， P.， Weller， M.， Ferguson， R.， FitzGerald， E.， Hirst， T.， and Gaved， M. （2013）.Innovating Pedagogy 2013： Open University Innovation Report 2. Milton Keynes： The Open University.

[17] 魏順平. 學習分析技術(shù)：挖掘大數(shù)據(jù)時代下教育數(shù)據(jù)的價值[J]. 現(xiàn)代教育技術(shù)，2013，（02）：-11.

[18] 胡藝齡，顧小清. 基于sakai 平臺的在線學習行為評價模型設計研究[A]. 第十七屆全球華人計算機應用大會論文集，2013：598-601.

[19] 張生，何克抗，韓駿. 中小學教師教育技術(shù)能力培訓中的形成性評價指標體系的構(gòu)建[J]. 中國電化教育，2007，（05）：11-14.

[20] 百度百科.層次分析法（AHP）[DB/OL]. http：//baike.baidu.com/link？url=BCivStdEd4RtPnHJe18-14kvoLMQ6703RykyMzdZgbCILvDBl7mcgybAe_bwFTSs.

[21][22] 百度文庫. 層次分析法步驟[DB/OL]. http：//wenku.baidu.com/view/95fc165077232f60ddcca192.html.

收稿日期：2014-10-30

作者簡介：魏順平，國家開放大學信息化部（工程中心） （100039）。

責任編輯 石 子

責任校對 日 新