祝智庭 沈德梅
[摘 要] 學習分析學(Learning Analytics,簡稱LA)被認為是自學習管理系統(tǒng)(LMS)問世以來,教育技術發(fā)展的第三次浪潮。LA的核心是收集、匯總、分析和呈現學習者及其相關的數據,并以提高教學和學習成效為終極目標。文章探討了LA 的定義、緣起、設計框架和模型等。盡管LA 尚處于初始階段,然而它為改進教學和干預學生學習過程提供了科學依據, 因此也成為智慧教育的重要支柱。
[關鍵詞] 學習分析學; 智慧教育; 設計框架; 學習分析系統(tǒng)
[中圖分類號] G434 [文獻標志碼] A
[作者簡介] 祝智庭(1949—),男,浙江衢州人。教授,博士生導師,主要從事教育信息化理論、系統(tǒng)架構與技術標準、教師專業(yè)發(fā)展、技術文化等方面研究。E-mail:ztzhu@dec.ecnu.edu.cn。
一、引 言
隨著信息技術在教育領域的深入應用,智慧教育成為信息化教育應用的一個新范式。[1]智慧教育主張借助信息技術的力量,創(chuàng)建具有一定智慧特性(如感知、推理、輔助決策)的學習時空環(huán)境,旨在促進學習者的智慧全面、協(xié)調和可持續(xù)發(fā)展,通過對學習和生活環(huán)境的適應、塑造和選擇,以最終實現對人類的共善(對個人、他人、社會的助益)。智慧教育充分體現了“以學習者為中心”的思想,強調學習是一個充滿張力而又平衡的過程,揭示了“教育要為學習者的智慧發(fā)展服務”的深刻內涵。
智慧學習環(huán)境的一個基本特征是:基于學習者的個體差異(如能力、風格、偏好、需求)提供個性化的學習診斷、學習建議和學習服務;并記錄學習歷史數據,便于數據挖掘和深入分析,數據結果用于評估學術過程、預測未來表現和發(fā)現潛在問題。因此學習數據分析成為智慧學習不可或缺的條件。
學習分析學(Learning Analytics,簡稱LA)涉及科技和社會學科的多個學術領域,包括計算機科學、社會學、學習科學、機器學習、統(tǒng)計學,以及“大數據”。[2][3]LA的定義隨著相關研究的進展而演變,盡管研究方向不盡相同,大部分學者認同如下定義:“學習分析學是使用智能數據、學習者數據,以及分析模型來發(fā)現信息和社會性聯系,并以此為依據進行學習預測和提供建議。”[4]Siemens 于2012年對相關定義進一步提煉之后提出,LA是“關于學習者以及他們的學習環(huán)境的數據測量、收集、分析和匯總呈現,目的是理解和優(yōu)化學習以及學習情境”。[5]
其他學者、機構也有一些類似的關于LA的定義。盡管各個定義在用詞和著重點上存有細微區(qū)別,但基本都反映了LA的本質,即首先發(fā)現特定用戶的需求,利用技術方法獲取數據,分析數據,幫助教師、學生、教育機構等解讀數據,并根據數據結果采取干預措施,從而達到提高學習和教學成效的目的。[6]同時這些定義也指出,LA所用、所處理的數據是已經存在的、機器可讀的“大數據”(Big Data),這些數據是不適合人工處理的。[7]
LA在國際上被稱為是“自從學習管理系統(tǒng)(Learning Management System,簡稱LMS)問世以來,教育技術大規(guī)模發(fā)展的第三次浪潮”。[8]2005年 EDUCAUSE的文章就預示了LA的出現。[9]此后與學習分析學相關的國際學術會議,例如學習分析學與知識國際會議(LAK,The International Conference on Learning Analytics & Knowledge)于2011年召開第一次會議,于2012年召開了第二次會議,而且會持續(xù)下去。學習分析學研究社會(SoLAR,The Society for Learning Analytics Research) 也于2011年夏天成立,一方面主持召開會議,同時致力于LA方面的研究和發(fā)展,并提供學者、教育專家、學生等進行信息交流和互相合作的機會。另外,教育技術和社會學術期刊(Journal of Educational Technology and Society)也與2012年出版了關于學習分析學的特刊。由此可見,學習分析學已經成為高等教育界尤其是以教育技術為基礎的遠程在線學習領域內的一個研究熱點。
LA 在教育領域內迅速發(fā)展有多種原因。下面我們將從它的出現、回答的問題、研究框架模型等方面加以詳盡介紹。
二、學習分析學研究的緣起以及相關技術
多位學者專家探討過LA出現并成為熱門研究課題的必然性,并且總結出幾個原因。
第一個原因是大數據(Big Data)的出現。[10]Greller和Drachsler認為學習分析學的起源在于網絡大數據的出現,包括政府類數據。[11]隨Web 2.0出現的社交網絡數據(Twitter、You Tube、Fliker,Facebook等)、移動終端數據,如GPS 定位數據等。隨著此類數據的出現,有些公司如Google、Amazon、Yahoo等,分析利用此類數據,并將其結果作為擴張市場的依據或者提供個性化服務的方向,因此公司得以快速成長。大數據的出現和潛在的價值也引起了各國政府的關注。例如,奧巴馬政府2012年宣布,每年將花費超過2億美元在大數據研究應用方面,以致力于科學探索、環(huán)境、生物醫(yī)學、教育和國家安全方面的研究。[12]在遠程教育領域LMS,如Blackboard 和 Moodle等的應用也越來越廣。這些系統(tǒng)每天都記錄大量的學生交互信息、個人數據、系統(tǒng)數據等。[13]如何從這些數據中獲取信息成為LA出現的一大契機。
第二個原因則可以歸結為在線學習或者教育技術的發(fā)展。[14]隨著教育技術的發(fā)展,在線學習成為傳統(tǒng)學校教育和終生教育的一個重要模式。在線學習提供給學習者不受時空限制的學習機會,同時也帶來一定的挑戰(zhàn),例如學生有可能缺少與老師和同學的聯系,又可能遇到技術問題或者失去學習動機等。[15]此外,教師也由于網上學習環(huán)境中缺少視覺線索,因此難以判斷學生是否感到課業(yè)太容易、感到內容乏味枯燥或者學習上有困難等。因此,學者們認為,教師難以評判學生的參與度和學習質量,而攻克這個問題則成為LA的另外一個契機。[16]
第三個原因則與教育機構自身對數據的需求有關。很多國家,包括美國政府,都力圖提高整個國家人口的教育程度,比如如何提高學生的學習成績、入學率以及畢業(yè)率等,而這些都需要大量數據來發(fā)現和驗證。[17]傳統(tǒng)上,教育機構、學校獲得學生學習數據的主要方式為調查問卷及訪談等,由此帶來諸多方面的限制,如花費大、耗時多、規(guī)模小等。由于數據挖掘可以追蹤用戶的電子信息使用記錄,并且自動分析整體數據,而不需要選樣,因此新的數據經濟大潮使得學校在數據收集方面不再需要花費大量人力和財力;并且獲得的數據反映了所有用戶的全部信息,并非選取的一部分;同時數據在自然狀態(tài)下獲得,不需要利用訪談、觀察等方式,使得數據更加真實可靠。[18]
第四,LA起源于其他幾個已經相對成熟的領域,如商務智能(Business Intelligence)、網站分析(Web Analysis)、學術分析(Academic Analysis)、行動分析(Action Analysis)、教育數據挖掘(Educational Data Mining)、運籌學(Operational Research)[19][20]以及社會網絡分析(Social Network Analysis)等。這些研究領域已經相對成熟,對LA的迅速發(fā)展應用起到一定的促進作用。
Siemens認為,與LA密切相關的是學術分析學(Academic Analytics, 以下簡稱AA)和教育數據挖掘。[21]學術分析學是為了高等教育機構的運營和財務方面的決策而提供所需數據的過程,[22]如發(fā)現影響學生畢業(yè)率的影響因子等。教育數據挖掘是指為更好地理解學生以及他們所處的學習環(huán)境,從教育數據中獲取知識和發(fā)現,針對教育環(huán)境內獨特的數據類型而進行的獲取數據、整理數據、形成分析報告等研究方法方面的研究。[23]Siemens認為,教育數據挖掘是LA和AA的共通支撐技術。[24]他描述了三者之間的關系以及三者針對的層次和關注對象,如表1所示。
三、LA 回答的問題
LA 對智慧教育的重要性體現之一在于它可以使用大范圍數據,回答關于學習和教學的不同問題。Cooper采納了Davenport等對“Analytics ”能夠闡釋和回答的問題的總結,[25]并根據其時間線(過去、現在、將來)和回答的深度(信息型、洞悉型)對問題作了歸類。[26]我們認為其問題矩陣同樣適用于LA(見表2)。
Cooper總結歸納了LA可能回答的問題類型。[27]
信息和事實性問題:
發(fā)生什么了?LA產生報告并提供描述性數據(過去);
正在發(fā)生什么?LA對現狀的提醒(現在);
趨勢,走向如何?過去的數據被當作推斷的根據(將來)。
深度理解和洞察性問題:
這些為什么發(fā)生,如何發(fā)生的?LA可建立模型并加以解釋(過去);
可以采取的最好措施是什么?LA提供一個或多個干預措施(現在);
可能發(fā)生什么?LA可以預測、模擬其他措施的效果,確認最優(yōu)舉措(將來)。
因此LA 可以描述和解釋過去的現象,例如為什么選同一門課的學生成績普遍偏低?原因可能包括缺乏相關基礎知識;可以預警和干預正在發(fā)生的學習,例如學生得到信息,他/她很可能某門課會通不過,教師可引導學生進行補救、提供學習材料等;LA還可以推斷發(fā)展趨勢和預測將來,例如由于以往某一學習活動對不同學習風格(Learning Style)的學生的影響有所不同,可以推斷針對不同學習風格設計的學習活動能提高學生成績;同時,不同學習風格、學習活動和成績之間的相關性分析和預測模型有助于發(fā)現最適合特定學習風格學生的學習活動。此外LA可以將各方面的關于學生的分散式信息整合梳理,提供給教師,使其對學生有更可靠、更清晰的認識,在此基礎之上采取的措施將更加有效。此外,LA 不止可以提供關于學生學習方面的信息,也可以用來評估某一課程、院系以及整個學校。它可以參與評估整個學校的教學,用于決定是否需要采取更先進的教學方法;它還可以提供信息給學生,以便學生自我評價學習過程和結果等。由此可見,LA的使用可以使得教育方法得以提升,促使教育向智慧教育方向發(fā)展。
四、LA的設計研究框架、資源
過程模型及重要環(huán)節(jié)
多位學者試圖從整體架構、所涉緯度、過程環(huán)節(jié)等方面描述LA,以基于對LA的整體認識,引導LA系統(tǒng)設計過程。本文主要討論兩個LA模型和LA的重要環(huán)節(jié),目的是對如何設計開發(fā)LA系統(tǒng)有全面的、清晰的認知。
(一)LA通用設計框架
Greller&Drachsler根據他們對學習分析學現存文獻的梳理,提出了具有六個緯度的LA通用設計框架,即關益者(包括學生用戶、教師用戶等)、目標(包括使用數據的目的,如預測等)、數據(包括受限數據和公開數據等)、工具(分析數據的依據,包括教學理論等)、外部限制(如用戶隱私)、內部限定(包括分析解讀數據結果的能力等)。[28]這六個緯度反映了在應用LA研究學習、開發(fā)LA系統(tǒng)時應該考慮的基本因素。圖1反映了該設計框架,包括每個緯度的例子,以下我們對每一緯度進行說明。
1. 關益者
關益者包括數據使用者和數據提供者。使用者指應用數據并根據數據結果制定對策的人,如教師;提供者指以自己的系統(tǒng)瀏覽和互動行為產生數據的用戶,如學生。在特定情形下,使用者和提供者是一體的,比如學生本身的行為信息反饋給學生自己而不是老師的時候,這兩者是統(tǒng)一的。關益者除了包括學生、教師以及教育機構外,研究人員和政府機構等也可看作關益者的一部分。
關益者之間如何使用學習分析信息交流可以用層次模型來表示(如圖2所示):最直接的途徑是通過LMS 獲取學生信息,提供給教師;教師可以根據此信息制定干預措施或者調整教學策略等;教育機構則可以根據學生和教師提供的信息進行教職工培訓或者制定措施保證教學質量等;研究人員盡管不直接參與學習過程,但他們可以利用學生和教師數據,評估教學質量或者學習服務措施是否到位;最后政府機關可以匯總、分析,并利用多所院校的學習分析數據來測評整個教育系統(tǒng)。此外,已有研究者們強調,在各個層次,關益者都可以利用本層數據進行自我反思,如學生可以根據自己的學習記錄、互動行為等來思考自己是否實現學習目標等。
2. 目標
學習分析學開辟了一個新的領域,可以發(fā)現并研究利用原本隱藏的教育信息,提供給各個層次的使用者。通過分析比較學習信息和社會性交互模式,為學習者提供新的視角,同時提高組織性效率和效益。也就是說,學習分析學提供的信息不僅有助于個體學生,對支持更高層次的知識流程的管理(如政府層次)也有所裨益。Greller和 Drachsler主要提出并討論了兩種目標:反思與預測。[29]反思是指數據用戶根據與自己相關的數據,獲取知識并進行批評性自我評價,有學者稱之為“量化自我”,也就是觀察測評自己的學習記錄數據,并根據數據結果進行自我修正等。[30]反思也可以根據別人的數據記錄進行,如教師可以根據學生的交互行為,反思自己的教學風格是否適合學生等。學習分析學同樣可以用來預測模擬學生的學習活動、行為等。如根據過往的學生反饋信息,可以預測某種教學設計有助于學生的學習,據此可以重新設計教學活動,提高學生學習成績;亦可降低或增加內容難度,從而降低學生放棄課程的比例。
3. 數據
學習分析學所用數據大多來自LMS以及其他教學系統(tǒng),同時教育機構本身擁有大量學生數據。然而很多數據是非公開的,因此對教育數據公開化的要求越來越迫切。[31]
4. 工具
學習分析學通過信息檢索技術獲取數據,如教育數據挖掘、機器學習、傳統(tǒng)統(tǒng)計分析以及社會網絡分析等。同時,研究者將理論建構以及算法等處理數據、從數據中發(fā)現信息的概念工具也包括進來。
5. 外部限制
外部限制包括倫理、法律、社會、組織機構、管理以及LA過程方面的限制。如使用個人隱私數據有可能觸犯法律等。
6. 內部限定
內部限制與能力相關,指解讀數據、解釋數據,從而根據數據提高學習效果的能力。據調查,只有很少的學習者能夠解讀結果并據此采取有效的干預措施。
(二)LA資源過程模型
學者們認為,分析是人腦和機器的混合加工的過程,[32]LA具有認知性、技術性和社會性。[33]綜合多種看法,Elias認為電腦(軟硬件技術)、理論、人員和機構構成了LA的四種技術資源,同時也成為LA的核心。[34]四種資源以及數據運作的過程構成一個LA的模型。
1. 電腦技術
遠程在線學習的普及以及LMS 的應用,說明大量關于學生的數據已經被收集,如果這些信息可以和其他與學生有關的數據相結合,我們可以得到更詳盡的關于學生的學習體驗、教師的教學效果等信息。而隨著數據的收集,進行信息加工時,尤其需要用來做數據分析報告和預測結果的軟件工具。這類工具,Elias 列舉了資訊可視化(Visualization)、神經網絡、回歸分析、機器學習以及人工智能等。[35]Elias 尤其強調了可視化技術的重要性,并列舉了儀表盤(Dashboard)和社會網絡分析(Social Network Analysis)兩種常用的資訊可視化技術。
2. 理論基礎
Elias 認為,LA涉及的理論非常廣泛,包括與分析學相關的知識以及其他領域的知識。前者如推薦理論基礎協(xié)同過濾算法(Collaborative Filtering Algorithm)、貝葉斯神經網絡(Bayesian Network)、基于知識的推薦(Knowledge-Based Recommendation)等;后者則包括學習科學、教學法、學習動機學、學習共同體(Community)、學生畢業(yè)率(Retention)等。然而這方面的文獻很少,相關人士很難確認哪些變量對教學有參考意義。也就是說,很難分辨哪些測量學生網上活動的變量真正影響到他們的學習和成績。[36]
3. 人員
雖然現代技術的應用使得電腦軟件和硬件可以取代人的努力,但是在很多方面人類的知識、技能和能力是保證結果有效性的重要因素。雖然教師可以通過使用資訊可視化技術、回歸等來反思自己的教學設計和教學活動的有效性,評估是否達到教學目的,如學習共同體的建立。然而有效的后續(xù)干預很大程度上取決于教師本身解決問題以及決策方面的認知思考能力,而不是完全依賴LA技術以及統(tǒng)計軟件。
4. 機構
Elias 認為,LA過程中的社會資本(Social Capital)或者社會性最容易被忽略掉。然而LA本身不能回避這方面的問題,例如:誰參與了LA項目,他們的決策是如何被支持的,項目成員之間如何溝通和互動。同時,無論LA 項目如何成功,要使得其研究成果在現實中付諸實施,則需要教育機構,如大學的領導層采取措施,支持以LA結果為基礎的文化和教學模式方面的改革,從而達到LA提高學生學習成績和改善教學效果的目的。因此,機構資源顯示了LA的社會性。
在討論LA技術資源的基礎上,Elias 提出了LA的模型,其核心是電腦(軟件硬件技術)、理論(統(tǒng)計、算法、教學法、學習科學等)、人員(相關人員如教師等)、機構(社會資本屬性等)等四種科技資源。這四種資源參與并推動三個環(huán)節(jié)(收集數據、信息加工、結果應用),使之形成一個循環(huán)發(fā)展的過程,從而推動學習和教學的持續(xù)性提高(如圖3所示)。
(三)LA的重要環(huán)節(jié)
Brown在2012 年召開的ELI(EDUCAUSE Learning Initiative)兩次學術會議(ELI 2012 Spring Focus Session和LAK12)基礎上,總結討論了LA研究中出現的主題:數據指標的選取、資訊可視化技術,以及干預和反饋方式。[37]這些也可以看作是在實際研究中應該考慮的LA的重要環(huán)節(jié)。
他首先指出,LA定義的一個重要特點是對以下兩方面的區(qū)分:一是實現LA的技術,另一方面是LA的目的。也就是說,所有LA項目都要包括這兩方面,一方面要具備獲取并分析數據的技術,另一方面要根據分析結果制訂有效計劃進行決策。
數據分析方面,Brown 強調在LA中,指標數據的選取直接影響到預測結果的準確性和數據分析的有效性。他提出,在LA研究中經常涉及兩類數據指標:個性特點指標(Dispositional Indicators)和行為表現指標(Activity and Performance Indicators)。其中個性特點指標一般為事實性變量,可以量化,如年齡、性別、種族、平均分、學習經驗等;行為表現指標主要反映學生在網絡學習環(huán)境中的數字行為痕跡,如他們登錄LMS 的次數、在學習網站上的時間、發(fā)帖的次數、測驗分數等。鳳凰城大學使用這兩種指標預測學生是否能通過某一課程。比較有趣的是,他們發(fā)現有些指標不具備預測作用,如選修課程數量、性別、種族等。另外,密歇根大學的前期預測LA系統(tǒng)只選用了行為指標。Brown認為,大部分LA 項目都采用了混合指標來提高預測準確度。也有些學者認為分析學生作品(如作文、視頻作品等)可以作為LA的指標,但這種方法不太常見。
資訊可視化被視為LA 的重要組成部分,一般以兩種方式出現:一是呈現數據分析結果(圖表等),二是儀表盤??梢暬姘逡灿胁煌某尸F方式,一種是多個小窗口并列,而各種數據結果呈現在小的窗口中;另外一種是只呈現一個數據窗口,用戶可以通過下拉菜單等獲取更詳細的數據。Borwn強調了可視化技術和用戶界面設計在數據呈現中的重要性。
LA的終極目的是提高學習和教學成效,因此根據數據分析結果進行有效干預顯得非常重要。Brown發(fā)現兩種干預方式:一是系統(tǒng)自動反應,不需要或較少需要教師參與,例如普渡大學的Signals[38]系統(tǒng)給學生簡單明了的紅、黃、綠信號;另一種是半自動反應,LA發(fā)現學習模式(不喜歡某些學習活動)或者癥狀(學生缺乏學習動機等),需要教師專家分析之后作出決策,進行干預。
五、LA過程維度模型
Greller&Drachsler的模型注重于LA的緯度,強調了在設計LA系統(tǒng)時應該考慮到的各方面的因素,如從關益者到數據等,但沒有突出設計LA的過程。Elisa 的LA模型突出了認知性、技術性和社會性(理論、電腦技術、人員和機構),同時強調LA過程的循環(huán)性和改進性,但是過程過于簡化,例如信息加工涵蓋了所有的數據處理分析過程以及數據結果呈現,沒有具體緯度。這兩個模型傾向于理論化,但對具體開發(fā)LA的指導性不強。Brown則著重強調了LA在實際應用中應該注重的兩個方面:LA技術本身以及其目的。同時他根據實際應用中的LA系統(tǒng),總結出LA研究中的具體環(huán)節(jié)和因素,如不同的數據指標的選擇和應用、數據可視化技術以及干預的方式。
結合以上的兩個模型和Brown的見解,筆者認為LA設計模型應該明確其過程環(huán)節(jié),每個環(huán)節(jié)涉及的緯度要素可能重合。LA設計過程應該包括三個環(huán)節(jié):首先是LA目標的確立;其次是LA本身的開發(fā),主要是針對數據的操作、分析、呈現等;最后是干預。將目標作為一個重要環(huán)節(jié)的主要原因是,在設計開發(fā)LA系統(tǒng)之前,必須要有明確的方向:是提高學生動機、提高學生參加學習活動的頻率,還是評估該教學活動是否適合所有學生等。有了主導方向,才能根據學習理論和相關研究等確定數據指標、預測模型等,明確數據來源(LMS或者其他數據庫)獲取數據;同時根據學習理論教學法等,確立統(tǒng)計分析方法,如描述性統(tǒng)計數據、相關性分析、回歸預測模型等。數據分析的結果同樣可以檢測理論基礎是否合理,如發(fā)現有些數據指標為非顯性因子,因此可以進一步簡化提煉理論基礎。數據結果一般用可視化技術呈現,如可視化面板等。干預措施則建立在整個數據分析結果之上。為確認采取的干預措施是否有效,可以與LA目標對照。而目的本身也將影響干預措施的選擇和實施。圖4 中LA過程模型呈現了我們對智慧教育中LA的過程、相關因子及其相互之間關系的理解。
以下我們基于Greller & Drachsler的六個緯度來說明LA設計開發(fā)中每一環(huán)節(jié)涉及的重要緯度(見表3)。
六、LA應用現狀及面臨挑戰(zhàn)
LA已成為教育領域,尤其是高等教育和遠程網絡教育的熱點。美國西部州際高等教育委員會教育技術合作部(WICHE,WCET,Western Interstate Commission for Higher Education,Cooperative for Educational Technologies)的教育LA大數據分析項目,其預測分析報告(PAR,Predictive Analytics Reporting)于2011年獲得比爾及梅琳達·蓋茨基金會資助。[39]PAR的主要目的是確認影響學生退學以及是否能夠畢業(yè)的因子。該項目目前已經涉及六所大學64萬學生,320萬門選課的數據分析,初步發(fā)現32個影響學生學習以及退學的普通變量(多為學生特點變量),包括性別、種族、學位種類、多種專業(yè)、課程數量、班級人數等。其他發(fā)現如學生的性別、年齡以及種族與該生是否會退出某門課沒有關系。該研究仍在繼續(xù)。
然而,盡管LA工具已經在世界各地一些大學被開發(fā)和應用,學者們認為,LA在教學應用方面的研究和相應的LA技術研發(fā)和系統(tǒng)開發(fā)尚處于初始階段[40][41]。Simens等認為教師缺乏可以用來評估多方面學生成績以及對學生進行對比分析的LA工具,學生也難以追蹤與自己的網上活動和成績方面的信息。[42]因此他們提出了開放性學習分析平臺項目,目的是開發(fā)集成的可擴展的LA工具集,以供教師和教育機構對學生的活動進行評估,并以此為基礎決定干預措施,從而提高學習效果。同時,學生也可以查看個人的學習進展。該平臺預期將開發(fā)四種工具和資源:(1)LA 引擎;(2)自適應內容引擎;(3)干預引擎,包括干預措施推薦和系統(tǒng)自動支持;(4)儀表盤、報告以及資訊可視化工具。
現有的已經開發(fā)出的LA系統(tǒng)大多是針對具體課程,目的是根據學生的表現、活動成績等實施干預措施,以提高學生成績,改善學習體驗等。類似LA系統(tǒng)如普渡大學的Course Signals、密歇根大學的M-Reports Dashboard、馬里蘭大學-巴爾的摩縣(UMBC,University of Maryland-Baltimore County)的Check My Activity,以及亞琛工業(yè)大學(RWTH Aachen )的eLAT(Exploratory Learning Analytics Toolkit)等。
盡管有很多系統(tǒng)已經在使用中或者正在開發(fā),但是LA的開發(fā)和研究同樣面臨著諸多挑戰(zhàn)。我們以Signals[43]和eLAT[44]為例,來說明這個問題。
與很多大學相類似,普渡大學開設了很多入門課程,這些課程往往有很多學生經常對他們的學習狀況不是很了解。為了能夠及時提醒和通知學生在某一特定課程中的表現和成績,普渡大學開發(fā)了Signals 系統(tǒng)。該系統(tǒng)通過數據挖掘和統(tǒng)計預測模型,根據多個變量(表現指標包括:現有平均分和努力程度,如學生LMS的交互頻率;個性特點指標包括學術準備,如高中平均分和各項標準考試成績,以及學生特點,如是否為美國居民、年齡和選修學分)來預測學生是否能夠完成/通過該課程。Signals 在課程進行的過程中,以交通信號指示燈的方式,讓學生了解自己的學習狀況:課業(yè)良好(綠色)、課業(yè)中度危急(黃色),或者課業(yè)嚴重危急(紅色)。同時教師可以給學生提供有效的反饋信息,引導學生使用合適的資源等來提高成績。[45]Signals 的使用取得了很多正面效果,如在使用Signals的班級,成績?yōu)锳和B的學生比沒有使用班級的學生多,而成績?yōu)镃 和D 的學生則少于對照班級。另外,研究還發(fā)現,參加至少一門使用Signals 的課程的學生比沒有使用Signals的課程的學生的四年畢業(yè)率高四個百分點。[46][47]
在RWTH Aachen 大學,Dyckhoff等[48]開發(fā)了eLAT ,幫助教師在使用L2P、網上教學學習系統(tǒng)時,更好地反思他們的教學方法和成效。通過eLAT,教師可以根據個人興趣探究內容使用,用戶特征、用戶行為、測評結果等是否相關以及相關程度等。他們強調LA 工具應該具有動態(tài)性和靈活性,這樣教師可以根據自己的興趣查看相關信息,確認教學方法是否有效,以及不同特點的學生對同一教學內容是否有不同反映等。eLAT 的主要目的是幫助教師自我評價他們的課程以及支持他們做相關研究,因此更多關注的是學生作為一個群體的表現、活動、成績等,而不是個體學生的信息。即便如此,該系統(tǒng)的設計非常注重保護學生個人隱私,以Hash 函數(注:一種用雜湊函數產生隨機數的算法)取代學生姓名。此外,他們認為LA 工具呈現的數據應該簡單易讀,因此資訊可視化非常重要。eLAT使用四類指標:文檔使用指標、成績測評指標、用戶活動指標和互動交流指標。每類指標包括多種具體指標,如最頻繁使用的10個文檔屬于文檔使用指標,教師可以根據指標信息發(fā)現學生最喜歡使用的文檔,如學生可能喜歡一個具體例子超過課堂講稿。另外,根據用戶活動,他們用不同顏色表示三組用戶類型:非?;钴S用戶(藍色)、活躍用戶(紅色)以及非活躍用戶(黃色)。如果學生大部分都不夠活躍,那么教師可能需要發(fā)現原因,考慮如何改進教學內容及方法等。
Signals 的成功是顯而易見的,然而研發(fā)人員也提出了他們遇到的問題和困難。首先是數據。除了LMS 數據容易獲取,Signals 的預測模型需要的學生個性特點數據是分散的,由不同的相關學校部門分別持有。在開始階段,聚合匯編數據花了一年多的時間。其次是Signals 的使用方面。研究證明早期干預和頻繁干預對學生成績的影響最為正面,然而大部分教師工作負荷很重,多次干預會加重他們的工作負擔。最后,研發(fā)人員發(fā)現,他們很難向學生解釋如何得到他們的學習狀況危險指數。為此他們專門作了視頻,解釋了他們的算法和公式。
在挑戰(zhàn)和困難方面,eLAT研發(fā)人員提到了數據指標的選擇。他們選擇了用戶活動指標等,然而很難確認哪些對改進教學有指導意義,也很難確認它們是否包含了所有影響學生成功或失敗的指標,因此需要更多的實證研究來驗證。此外,研發(fā)人員認為數據指標過于簡單,只傳達一般信息和容易理解的信息,然而,加入一些教師們不熟悉的指標等,可能會給他們解讀數據帶來困難。
因此LA在實際的開發(fā)過程中,技術的、倫理的、人員有關的以及實際情況的限制等各方面的問題都可能出現。
七、LA與智慧教育
隨著技術的發(fā)展,人類社會進入數據化時代,計劃決策等無不以數據為依據。教育也將逐漸成為智慧教育模式,即以學習者為中心,進行個性化學習,為學習者提供各方面支持,將教和學的效果提升到一個新的層次。學習技術如電子課本和移動學習等正處于發(fā)展上升期,預計一到兩年之內會有廣泛應用[49]。這意味著更多的數據可以納入LA 研究的范圍。LA 以學習科學、教學理論、課程設計理論和已有研究結果為基礎,選擇學習者特點、網上交互活動頻率等變量,分析并監(jiān)測學生學習情況,評估教學活動教學質量,及時發(fā)現學習中存在的問題,從而保證智慧教育的實施。因此,學習分析學應該成為我國教育技術研究者特別關注的新領域。
[參考文獻]
[1] 祝智庭,賀斌. 智慧教育:教育信息化的新境界[J].電化教育研究,2012,(12):1~13.
[2] Learning and Knowledge Analytics[DB/OL].[2013-01-10].http://www.learninganalytics.net/?p=174.
[3] 顧小清,張進良,蔡慧英.學習分析:正在浮現中的數據技術[J].遠程教育雜志,2012,(1):18~25.
[4] Siemens,G..What are Learning Analytics?[DB/OL].[2012-12-20].http://www.elearnspace.org/blog/2010/08/25/what-are-learning-analytics/.
[5] Siemens,G..Learning Analytics a Foundation for Informed Change in Higher Education[DB/OL].[2013-01-17].http://www.slideshare.net/gsiemens/learning-analytics-educause.
[6] Verbert, K., Manouselis, N., Drachsler, H. & Duval, E.. Dataset-Driven Research to Support Learning and Knowledgeanalytics[J]. Educational Technology & Society,2011.
[7] [10] [14] [16] [17] [45] Ferguson, R.. The State Of Learning Analytics in 2012: A Review and Future Challenges[DB/OL].[2012-12-11]. http://kmi.open.ac.uk/publications/pdf/kmi-12-01.pdf.
[8] [37] Brown, M. Learning Analytics: Moving from Concept to Practice[DB/OL].[2012-12-21].http://www.educause.edu/library/resources/learning-analytics-moving-concept-practice.
[9] [20] [26] [27] Cooper, Adam. A Brief History of Analytics A Briefing Paper[DB/OL].[2012-12-15].http://publications.cetis.ac.uk/wp-content/uploads/2012/12/Analytics-Brief-History-Vol-1-No9.pdf.
[11][18][28][29] Greller, W.& Drachsler, H..Translating Learning into Numbers: A Generic Framework for Learning Analytics[J]. Educational Technology & Society,2012,15(3):42~57.
[12] White House Ostp. Obama Administration Unveils “Big Data” Initiative: Announces $200 Million in New R&D Investments[EB/OL].[2012-03-29]. http://www.whitehouse.gov/sites/default/files/microsites/ostp/big_data_press_release_final_2.pdf.
[13] Mazza,R.,& Milani,C..GISMO: a graphical interactive student monitoring tool for course management systems[DB/OL].[2012-01-10].http://linux3.dti.supsi.ch/~mazza/Web_area/Pubblicazioni/TEL04/TEL04.pdf.
[15] Mazza, R.&Dimitrova, V.. Visualizing Student Tracking Data to Support Instructors in Web-Based Distance Education[DB/OL].[2013-01-10].http://www.iw3c2.org/WWW2004/docs/2p154.pdf.
[19] [34] Elias, T..Learning Analytics: Definitions, Processes, Potential[DB/OL].[2012-12-10].http://learninganalytics.net/LearningAnalytics DefinitionsProcessesPotential.pdf.
[21] [24] Siemens, G..Learning and Knowledge Analytics[DB/OL].[2012-12-28].http://www.learninganalytics.net/?p=131.
[22] Barneveld, A., Arnold, K.E.& Campbell, J.P..Analytics in Higher Education: Establishing a Common Language[DB/OL].[2013-01-18].http://net.educause.edu/ir/library/pdf/ELI3026.pdf.
[23] Siemens, G. & Baker, R.. Learning Analytics and Educational Data Mining: Towards communication and collaboration[A]. Simon, B.S., Dragan, G. & Rebecca, F.. LAK12 Proceeding of the 2nd International Conference on Learning Analytics and Knowledge[C]. USA: ACM New York,2012:252~254.
[25] Davenport, T. H., Harris, J. G. & Morison, R.. Analytics at Work: Smarter Decisions, Better Results[M].Boston: Harvard Business Press,2010.
[30] Wolf, G..Know thyself: Tracking Every Facet of Life, from Sleep to Mood to Pain, 24/7/365. Wired Magazine[DB/OL].[2012-12-05].http://www.wired.com/medtech/health/magazine/17-7/lbnp_knowthyself?currentPage=all.
[31] Drachsler, H.et al. Issues and Considerationsregarding Sharable Data Sets for Recommender Systems in Technology Enhanced Learning[J]. Elsevier Procedia Computer Science,2010,1(2):2849~2858.
[32] Dron, J.,Anderson,T.. On the Design of Collective Applications[A].Proceedings of the 2009 International Conference on Computational Science and Engineering - Volume 04(CSE09), Vol. 4. IEEE Computer Society[C]. Washington, DC, USA,2009: 368~374.
[33] Hackman, J.R.,Woolley, A. W.. Creating and leading analytic teams[A]. R. L. Rees & J. W. Harris, A handbook of the psychology of intelligence analysis: The human factor. Burlington[C]. MA: CENTRA Technology, in press.
[35] Corbitt, T.. Business Intelligence and Data mining[J].Management Services,2003,(12):18.
[36] MacFayden, L.P. & Dawson,s..Mining LMS Data to Develop an “Early Warning System” for Educators: A Proff of Concept[J].Computers & Education,2010,54(2):588~599.
[38] [43] [46] Pistilli, M.D., Arnold, K., & Bethune, M.. Signals: Using Academic Analytics to Promote Student Success[DB/OL].[2012-10-08].http://www.educause.edu/ero/article/signals-using-academic-analytics-promote-student-success.
[39] Boulder,CO(PRWEB).. WCET Predictive Analytics Reporting (PAR) Framework Project DeliversMillions of Course Records for Review and Analysis[DB/OL].[2011-10-17].http://www.prweb.com/pdfdownload/8882165.pdf.
[40] [49] Johnson, L., Smith, R., Willis, H., Levine, A. & Haywood, K.. The 2011 horizon report[DB/OL].[2012-05-09].https://waynedev.uakron.edu/dotAsset/d252d696-2a99-4102-8010-4fc103846b0d.pdf.
[41] Johnson, L., Adams, S., & Cummins, M.. The NMC horizon report: 2012 higher education edition[DB/OL].[2012-05-09].http://net.educause.edu/ir/library/pdf/HR2012.pdf.
[42] Siemens, George, et al. Open Learning Analytics: An Integrated & Modularized Platform: Proposal to Design, Implement and Evaluate An Open Platform to Integrate Heterogeneous Learning Analytics Techniques[DB/OL].[2012-12-01].http://sites.ewu.edu/elearningservices/files/2012/06/Open-Learning-Analytics-an-integrated-modularized-platform.pdf.
[44][48] Dyckhoff, A. L., Zielke, D., Bültmann, M., Chatti, M. A., & Schroeder, U.. Design and Implementation of a Learning Analytics Toolkit for Teachers[J]. Educational Technology & Society,2012,15(3):58~76.
[47] Arnold, K. E..Signals: Applying Academic Analytics[DB/OL].[2010-10-01]. http://www.educause.edu/EDUCAUSE+Quarterly/EDUCAUSEQuarterlyMagazineVolum/SignalsApplyingAcademicAnalyti/199385.