王冬冬 張亨國 鄭勤華 封晨
【摘要】教師網絡研修社區(qū)作為教師培訓的新型方式被廣大教師及教育工作者所接受,而促進學員個性化發(fā)展成為教師網絡研修的核心訴求。學習分析技術為個性化教學提供了新的思路,而從學習分析在學習評價、診斷、預測及干預中的實際應用來看,建立學習者模型是重要的基礎。采用數(shù)據(jù)挖掘方法,緊密結合學習過程,對教師網絡研修社區(qū)的學員進行建模,深入挖掘學員的行為特征,結合理論演繹和數(shù)據(jù)驅動,選用主成分分析法構建了教師網絡研修社區(qū)環(huán)境下的學習者模型。在此基礎上,通過K-means聚類將學習者分為六類:全能型好學生、交互型好學生、任務型好學生、閱讀型中等生、基礎型中等生和薄弱型后進生,驗證了學習者模型的實用性與科學性。本研究為在網絡研修社區(qū)中開展學習者評價提供了理論參考,為構建學習者模型的實踐提供了方法與思路。
【關鍵詞】? 網絡研修;教師培訓;學習者模型;評價;學習分析;數(shù)據(jù)挖掘;行為特征
【中圖分類號】? G434? ? ? ?【文獻標識碼】? A? ? ? ?【文章編號】? 1009-458x(2019)7-0047-09
一、引言
2014年教師節(jié),習近平總書記專程前往北京師范大學看望慰問教師,與師生代表座談并發(fā)表重要講話,就如何做黨和人民滿意的好老師提出了明確要求,深刻指出培養(yǎng)造就一大批一流教師、不斷提高教師隊伍的整體素質,是當前和今后一個時期我國教育事業(yè)發(fā)展的緊迫任務。教師網絡研修社區(qū)作為教師培訓的新型方式,以其多元化的研修主體、開放的研修環(huán)境、靈活的研修活動、豐富的研修資源等特點,為教師研修提供了新的思路與方法,在教師研修過程中逐漸被廣大教師以及教育工作者所接受(王文君, 等, 2016)。
基于教師網絡研修社區(qū)的教師在職教育開展已近十年,對我國大規(guī)模開展教師培訓起到了積極的推動作用。在2015年“國培計劃”對鄉(xiāng)村教師的全覆蓋輪訓中,以教師網絡研修社區(qū)為特色的遠程培訓發(fā)揮了非常大的作用。然而,隨著時間的推移,教師培訓的需求發(fā)生了較大的改變,主要體現(xiàn)在以下三個方面:首先,在培訓功能上,教師培訓逐步從過去傳遞行政部門意志、灌輸教育教學理念、傳授教學技能轉化為解決教師工作中的實際困難。其次,在培訓內容上,教師培訓從對預設的、固定的教學內容的學習轉化為在一定范圍內根據(jù)學員需求自行選擇學習內容。同時,愈加重視在培訓中使用生成性資源和微課程。最后,在形式上,教師培訓從以教師學習課程內容為主,逐漸轉化為以研修活動為主。面對這種變化,教師培訓實施部門往往使用問卷、訪談等方式獲取有關教師需求的確切信息,從而設計適合教師需求的培訓內容。但由于教師職業(yè)的特殊性,教師需求永遠處在不斷變化之中,而且教師的自我認知程度不同,通過問卷、訪談難以得到真實信息。以教師網絡研修社區(qū)為主要模式的遠程教師培訓需要尋找實時獲取學員學習需求、了解學員學習偏好的辦法和途徑,基于此向學員精準推送學習內容。
學習者模型是智能教學決策的基礎,是實施因材施教的關鍵。該模型應該能夠及時、準確地反映出學生學習行為中的本質特征和狀態(tài),即反映出學生對某一學習內容的掌握、理解程度和學習行為中包含的學習風格、習慣及學習能力等(文春明, 等, 2011)。根據(jù)學習者模型的數(shù)據(jù),系統(tǒng)能夠診斷學生的知識狀態(tài),并及時給予學生教學提示和錯誤反饋,從而實現(xiàn)個別化教學。因此構造合適的學習者模型是提供個性化學習支持的重點。隨著網絡技術與學習分析方法的發(fā)展,教師網絡研修社區(qū)平臺記錄了教師學員登錄平臺后的學習軌跡。本研究通過挖掘海量多維數(shù)據(jù),構建學習者綜合評價模型,進一步對學習者進行分類,使培訓者與管理機構能夠清晰地掌握每類學習者的特征,從而為開展個性化學習支持提供有效依據(jù)。
二、文獻綜述
(一)教師網絡研修社區(qū)中的教師評價
國內研究者以美國學者柯克帕特里克(Kirkpatrick, 1979)提出的柯式四級培訓評價模型和斯塔弗爾比姆(Stufflebeam, 2005)提出的 CIPP評價模型為基礎來建立對項目、研修活動的評價體系,并開展實踐分析,如欒學東(2014)借鑒柯氏培訓評估方法設計了教師網絡研修績效活動的評價指標體系和流程;李寶敏等(2017)基于CIPP評估模型,以上海市共享課程項目評價為例進行了實踐;李桂榮等(2014)以柯式培訓評估法、CIPP評估法為基礎,圍繞項目滿意度、項目適切性和項目影響力三個維度構建了評價路徑,并以抽取培訓項目為例進行了調查。
針對教師網絡研修的實踐,研究者提出了存在的問題和建議,如喬洋(2011)、李智(2012)、王建平(2013)等學者提出教師網絡研修缺少跟蹤式的評價,應當關注教師教研的整個過程,加強對參訓教師動態(tài)研修過程的監(jiān)控;丁月(2014)指出現(xiàn)有網絡研修評價體系落后,沒有對參訓教師的表現(xiàn)進行評價和反饋,導致學習者長期處于無意識的參與狀態(tài),建議建立總結性評價與形成性評價相結合的評價機制;李寶敏(2017)提出利用數(shù)據(jù)驅動的方法展開評價,為過程管理與服務提供依據(jù)。
綜合來看,有關教師網絡研修評價的研究,在理論層面上,國內學者重點關注培訓項目或活動的效果評價,對于教師個體的評價鮮有涉獵,在案例中的應用以問卷調查為主要手段;在實踐層面上,教師網絡研修主要側重于知識性的標準化評價方式,缺少過程性評價,評價標準不明確,難以對改進過程提供持續(xù)性反饋?;谝延醒芯浚瑢W習者建模等方法引入對于參訓教師學員的評價中,從發(fā)展性、過程性、表現(xiàn)性視角出發(fā),真正關注每一個學習者的實際狀態(tài),激勵每一個學習者的個性化成長,這也能幫助培訓者更加直觀準確地分析和了解教師學員在網絡研修社區(qū)中的發(fā)展情況。
(二)學習者模型
學習者模型這個術語來源于智能計算機輔助教學(ICAI)理論,是自適應學習系統(tǒng)中的一個重要概念。關于學習者模型的定義有很多種說法。
從學習者模型所包含內容的角度看,有學者認為學習者模型是對學習者知識掌握狀態(tài)的描述,例如:Wenger(1987)對學習者模型的描述是所有學習者的相關行為和知識;郝耀軍等(2011)認為學習者模型是指在智能教學系統(tǒng)中根據(jù)需求構造出的一種能可靠表示學習者認知特征的數(shù)據(jù)結構,記錄著學習者對知識的掌握程度和個人的學習水平,是對學習者知識結構和認知特征的反映。還有學者則認為學習者模型還應包含更多的學習者特征,例如:郭富強(2011)指出學習者模型是一種表征學習者認知特征的數(shù)據(jù)結構,它一方面記錄著學習者的姓名、性別、學號等基本信息,另一方面準確地反映學習者的知識水平、學習能力、心理狀態(tài)等。高虎子等(2012)認為學習者模型是對學習者特征的抽象表示,是實現(xiàn)個性化學習的關鍵,它包含了用戶的基本情況、學習目標、學習風格、背景知識、知識狀態(tài)、學習經歷、學習動機等個人信息。
楊開城(2002)則從模型設計的角度強調學習者模型中每個學習者特征變量的設計特性,他認為學習者特征的鑒別是學習心理學研究的成果,學習者模型是學習者個體特征的一個子集,模型中的學習者個體特征要素均具有設計意義。
陳仕品等(2010)則從計算機系統(tǒng)對學習者認知的角度來說明學習者模型,在有關適應性學習支持系統(tǒng)的學習者模型研究中指出,學習者模型是現(xiàn)實世界中的學習者在計算機系統(tǒng)中的抽象表示,代表了計算機系統(tǒng)對學習者的認知。
綜合以上各種觀點,學習者模型是學習者在計算機系統(tǒng)中的抽象表示,它是依據(jù)學習者的知識基礎、認知結構、學習風格等多方面有關教育教學的個體特征建立起來的數(shù)學模型。
國內早期有關學習者模型構建的研究大多將重點放在如何用數(shù)學模型表示學習者的知識狀態(tài)和認知能力,如孫沛(2002)認為“學習者模型”的概念幾乎等同于“學習者績效評估結果的記錄”,武棟等(2006)建立了一個學習者模型庫以保存學習者的學習背景、學習狀況和掌握知識點結構。基于認知能力的學習者建模研究絕大多數(shù)都采用了布魯姆的“教育目標分類”理論作為理論基礎。例如趙潔(2003)依據(jù)布魯姆的“教育目標分類”理論,將認知模型中的能力分為總體能力、知識能力、理解能力、應用能力、分析能力和綜合能力。謝忠新(2005)以布魯姆教育目標分類為理論基礎編制學習者測試,進而以矩陣的形式記錄測試結果,建立認知模型。
隨著人工智能技術的發(fā)展和在教育領域應用的不斷加深,研究者開始關注學習者微觀學習行為過程,為量化學習評價提供依據(jù)。最典型的代表是鄭勤華等(2016)以學生綜合評價為目標,通過理論演繹和專家訪談構建了以投入度、完成度、調控度、聯(lián)通度和主動性為核心的五維度綜合評價參考理論模型,并通過學習行為數(shù)據(jù)聚合特征變量構建了相應的計算模型。
綜上可看出,我國早期有關學習者模型構建的研究大多集中在學習者特征要素的理論研究方面,學習者模型構建作為大數(shù)據(jù)應用的基礎,實踐探索與應用必將是其下一步的發(fā)展趨勢。已有研究大多關注于學習者的認知狀態(tài)和學習水平,忽略了學習者的在線行為特征。在線行為是學習者在在線學習過程中的外在表現(xiàn),是預測學習效果的重要變量,能夠有效表征學習者的興趣偏好、學習風格、學習投入和努力程度。因此,本研究試圖以學習者的行為特征為依據(jù),在教師網絡研修社區(qū)的情境下構建適應該場景的學習者模型,根據(jù)學習者的特征傾向對學習者群體進行分類,從而幫助教師及管理者深入了解學習者在學習活動和效果上的概貌,為實時的個性化學習評價、診斷和干預提供依據(jù)。
三、教師網絡研修學習者模型構建
(一)理論基礎
教師在網絡研修中成長和發(fā)展的關鍵在于學習和運用實踐性知識以改進教學行為(王陸, 2012)。在知識學習與培訓效果評估方面,應用最廣泛的方法是柯式四級培訓評估法,這是一種由柯克帕特里克基于工作中的實際應用開創(chuàng)性地提出的評估(Kirkpatrick, 1979)??率剿募壟嘤栐u估法主要從反應評估、學習評估、行為評估和結果評估四個層次評價培訓項目實施的有效性。
第一級:反應評估,衡量參與培訓項目的學員對項目的反應,即學員對培訓的滿意度;
第二級:學習評估,指參訓學員參加培訓項目后,能在多大程度上實現(xiàn)知識擴充和技能提升,了解學員是否學到了新知識,主要測定學員的知識獲得程度;
第三級:行為評估,指參訓學員參加培訓項目后,能在多大程度上實現(xiàn)行為的改進和轉變,主要考察學員的知識運用程度,即在工作中是否用到了所學的知識;
第四級:成果評估,指學員參加培訓項目后能夠實現(xiàn)的結果,判斷培訓項目對學員所在組織創(chuàng)造的效益。
在網絡研修中,學員通過參與培訓活動獲得新的知識和技能,并能知行結合,將新知識應用到實際的工作中解決實踐性問題,從而提升績效。因此,在學習者模型中,應當將學習評估、行為評估和成果評估三方面結合起來,以刻畫學習者在學習過程中的成長與收獲。由于本次研究主要聚焦于在線行為特征,衡量學習者滿意度的反應評估不納入學習者模型之中。
(二)理論模型
本研究構建了教師網絡研修的五大基本維度:訪問預設性資源、訪問生成性資源、交流互動、任務參與和任務質量,具體解釋如下:
選取“訪問預設性資源”和“訪問生成性資源”兩個維度來表征對學習者的學習評估,即學習者的知識獲得程度。資源作為網絡研修平臺中最基本、最豐富和最重要的要素,是學習者進行學習的物質基礎。在網絡研修社區(qū)中有兩類資源:一類是預設性資源,即在課程開設前,教育機構和教師為幫助學習者完成學習目標而提供的學習內容和輔助材料,通常具有一定的結構性和系統(tǒng)性,學習者通過瀏覽預設資源來獲取較為完備的教師專業(yè)知識。另一類資源是生成性資源,是在課程進行過程中,因學習者之間交流和互動而產生的資源,具有動態(tài)性和分散性,以參與活動的學習者的智力資源為主,包括教師對教學過程、重點、難點等的把握,教師的課堂機智等實踐性知識,學習者通過瀏覽生成性資源可以獲得可供借鑒的經驗。綜上,對資源進行有效的利用和整合是學習者在在線學習中應具備的基本素養(yǎng),因此,本研究引入“訪問預設性資源”和“訪問生成性資源”兩個維度,一方面評價學習者利用資源的情況,另一方面分析學習者在兩類資源上的偏好。
選取“任務參與”來對學習者的行為進行評估。任務參與是學習投入中行為投入方面的一種體現(xiàn)。在教師網絡研修中教師圍繞學習目標設計相應的學習任務,以此考察學習者對于知識和技能的掌握程度。學習者自主運用知識和技能來完成任務,并在此過程中發(fā)展知識遷移、解決問題、自我評價和創(chuàng)新實踐等各項能力(吳宗寶, 2012)。同時,完成學習任務有助于提升學習成就感,激發(fā)和維持學習者的學習興趣。因此,本研究將“任務參與”納入學習者模型,作為學習投入的重要考察指標,鼓勵學習者把“學會的東西展現(xiàn)出來”。
選取任務質量這一維度來衡量學習者的學習成果和貢獻程度。學習者的任務參與度反映了學習者的積極性、主動性,但無法代表學習投入的質量和效率。學習成果是學習者利用已有知識而產生出來的被教師和其他學習者認可的成果,以質量為導向的成果評價有利于鼓勵高質量的成果產出,因此,本研究將“任務質量”引入學習者模型來綜合反映學習結果情況。
此外,有學者指出,社會互動是反映教師在在線實踐社區(qū)中參與情況的最有效指標(Henderson, 2007),教師這一身份的特殊性決定了教師的學習屬于實踐中的體驗學習和社會化學習,其學習符合社會建構主義和聯(lián)通主義的學習理念和教學方式,因此在教師網絡研修過程中在線交流與協(xié)作是一項核心活動,是教師網絡研修中最具活力的因素,對學習者和研修社區(qū)的持續(xù)發(fā)展都具有重要意義(Schlager & Fusco,2003)。由此本研究構建了交流互動這一維度來評價網絡研修中學習者應具備的能力素養(yǎng)。對學習者來說,協(xié)作交流有助于其對知識的意義建構和精加工,以及高階能力(如批判性思維、問題解決、創(chuàng)造等)的發(fā)展。此外,學習者之間的在線交流與協(xié)作有助于創(chuàng)設積極的學習環(huán)境,從而有效激勵學習者的學習動機。在交流與協(xié)作過程中所構建的社會關系網絡則成為強大的同伴支持網絡,同時為學習者提供學術、情感和管理方面的支持。
該理論模型從內容上考察了學習者的知識學習與應用情況,又兼顧總結性評價與過程性評價,既從學習成果上保證學習者發(fā)展的基線標準,又結合學習過程為學習者的個性發(fā)展留出足夠空間。
四、研究過程與討論
(一)研究樣本說明
奧鵬教師培訓平臺作為教師網絡研修平臺支撐教師遠程培訓和網絡研修。同時,在其多年的網絡培訓過程中積累了海量的學生信息與學生學習行為數(shù)據(jù),為本研究的開展提供了數(shù)據(jù)支持。
本研究選取的樣本是2017年湖北省中小學教師信息技術應用能力提升工程項目(11,077名學習者)、2016年新鄉(xiāng)市中小學、幼兒園教師繼續(xù)教育網絡研修與校本研修整合項目(8,267名學習者)和2017年南平市中小學教師繼續(xù)教育全員遠程培訓項目(22,072名學習者)。
(二)數(shù)據(jù)準備
數(shù)據(jù)準備階段主要通過數(shù)據(jù)收集、處理等操作將基礎數(shù)據(jù)轉換為可直接輸入分析層的結構化數(shù)據(jù),包括數(shù)據(jù)匯聚和數(shù)據(jù)預處理。
1. 數(shù)據(jù)匯聚
通過和教師培訓平臺的業(yè)務人員進行交流,在理解平臺業(yè)務及功能的基礎上,結合奧鵬大數(shù)據(jù)部門數(shù)據(jù)采集技術的可實現(xiàn)性,本研究構建了數(shù)據(jù)匯聚庫,通過平臺數(shù)據(jù)層次化聚合為建模過程提供支持,同時對數(shù)據(jù)采集提供內容和格式規(guī)范。
基于對平臺業(yè)務的理解,可將平臺數(shù)據(jù)根據(jù)屬性分為四大類:基本信息類、學習資源類、學習過程和學習結果類以及論壇行為類。其中論壇行為雖然也屬于學習過程和結果,但由于論壇行為數(shù)據(jù)較為特殊,帖子內容恰是論壇行為的產物,不同于其他行為與資源,故將論壇行為單獨劃為一類。表1是論壇行為的數(shù)據(jù)匯聚信息表示例。
表1 論壇行為的數(shù)據(jù)匯聚信息表
[匯聚信息表 匯聚字段 論壇回帖記錄 用戶id,角色id,發(fā)帖id,主帖id,父帖id,論壇id,內容,發(fā)帖時間,數(shù)據(jù)來源 帖子交互行為 用戶id,角色id,帖子id,帖子交互類型id,交互行為發(fā)生時間,數(shù)據(jù)來源 論壇發(fā)帖記錄 帖子id,用戶id,角色id,論壇id,標題(內容),發(fā)帖時間,回復數(shù),點擊次數(shù),點贊數(shù),是否為精華帖,數(shù)據(jù)來源 ]
2. 數(shù)據(jù)預處理
針對收集到的基礎數(shù)據(jù),從完整性、規(guī)范性、準確性、唯一性、一致性五個維度從單表到多表依次來評估數(shù)據(jù)。對于檢測出的問題,從數(shù)據(jù)格式、數(shù)據(jù)范圍、數(shù)據(jù)表現(xiàn)形式三方面來進行清洗。在該項目中主要進行了三步操作:①制定數(shù)據(jù)格式標準,針對不同字段的數(shù)據(jù)類型設置相對應的格式類型,如時刻統(tǒng)一采用“Date”型并精確到“秒”,便于后續(xù)統(tǒng)計兩個行為間的時長間隔。②根據(jù)業(yè)務規(guī)則和經驗判斷限定數(shù)據(jù)范圍,判斷出異常離群的數(shù)據(jù)并進行原則填補。在數(shù)據(jù)檢測中發(fā)現(xiàn)部分學習者填寫的數(shù)據(jù)遠超過該字段的值域范圍,如個別學習者在“年齡”字段填寫的是102歲,明顯與實際情況極不符合,因此加入合適范圍的限定可以篩選出異常數(shù)據(jù),并通過剔除或平均值填補等方法來降低對數(shù)據(jù)的干擾。③根據(jù)數(shù)據(jù)缺失值的比例和字段重要性,選擇填補或剔除數(shù)據(jù)。對于數(shù)據(jù)中某些屬性出現(xiàn)遺漏的情況,采用該屬性平均數(shù)或中位數(shù)進行填補。在一些極端情況下,為了保障數(shù)據(jù)的完整性,全部數(shù)據(jù)都缺失或者大部分數(shù)據(jù)缺失的學習者會被移除。
(三)數(shù)學模型建構
1. 特征變量選取
與學習相關的變量非常多,所有的變量都可能是學習狀態(tài)的某一方面表征,但過多的變量會對模型的訓練和解讀產生極大干擾,造成模型的過擬合和結果不易解讀。因此,需要從數(shù)據(jù)科學及教育學兩個方面選擇出重要、有效的特征變量。
教師在參與培訓時的行為主要是圍繞平臺上的資源展開的,根據(jù)教師培訓項目中的資源對象對特征行為進一步分類:資源分為導學資源類、學習任務資源類及生成性資源類;學習者在資源上主要發(fā)生的基礎行為分為瀏覽、評論、點贊和下載,最終的特征涉及了統(tǒng)計類(次數(shù)、數(shù)值、人次等)、時間類和比值類三種類型共40個行為特征。研究者邀請5位遠程教育領域專家和3位奧鵬教師培訓部門的業(yè)務人員將其歸類到五大維度中。根據(jù)數(shù)據(jù)的基本情況,因為全為0的特征會對后續(xù)分析造成干擾,且對這些特征的分析缺少實際意義,因此剔除三個項目中全部為0的特征,形成表2所示的特征體系:
2. 特征工程
特征工程是指確定或去除與模型無關或者冗余的特征。特征工程減少了數(shù)據(jù)的維度,有利于快速高效地進行模型構建。當前常用的特征工程方法包括三類:一類是提取與結果相關的特征;一類是剔除相關性弱或者不相關的特征;還有一類是剔除冗余特征。本研究選取主成分分析法提取綜合指標,通過增加模型的層級來提高模型的解釋力,滿足管理者和教師的多樣化需求。
(1)主成分分析的步驟
主成分分析是機器學習中用來降維的方法,可以在指標數(shù)量繁多而復雜的情況下,通過對指標內部結構關系的研究,對原指標進行線性組合,計算出更重要、更具綜合性且彼此間不相關的指標,并能夠給出該主成分與原有指標間的數(shù)學關系,使我們在評價學習者情況時能夠抓住主要方面。主成分分析的步驟如下(張文宇, 等, 2015):
①計算協(xié)相關系數(shù)矩陣,通過對協(xié)方差矩陣進行特征分解得出數(shù)據(jù)的主成分與它們的權值。②確定主成分個數(shù),一般保留累積貢獻率達到60%的前n個主成分。在實際應用中,研究者通常以特征根>1為主要依據(jù),累積貢獻率作為輔助判斷方法。③確定主成分類別,結合實際的教育意義對主成分進行命名,確定主成分的類別。
以“訪問預設資源”為例,對該維度中的5個特征進行主成分分析,通過樣本計算得到總方差解釋(表3)和主成分載荷矩陣(表4)。結果表明共有2個主成分特征根大于1,累積貢獻率達到89.881%,能夠相對全面地表征原有特征的信息量。
提取方法:主成分分析。
結合兩張表來看主成分與原有特征的關系。第一主成分的方差貢獻率為54.042%,該主成分在瀏覽課程次數(shù)、瀏覽資源總次數(shù)和課程瀏覽時長三個特征上具有相對較高的載荷,分別達到0.956、0.917和0.896,可以作為學習者瀏覽學習內容的綜合特征。第二主成分主要在瀏覽答疑視頻次數(shù)和瀏覽拓展資源次數(shù)兩個特征上的載荷較高,可以認為第二主成分代表了訪問輔助資源的情況。因此,在該維度我們得到“訪問學習內容”和“訪問輔助資源”兩個主成分。
(2)主成分分析結果
對剩余的四個維度分別進行主成分分析,最終得到的指標體系如表5所示:
訪問預設性資源主要考察“訪問學習內容”和“訪問輔助資源”兩個指標,學習者通過瀏覽學習內容來獲取系統(tǒng)的專業(yè)知識,而瀏覽輔助資源是在學習內容的基礎上進行深度和廣度的拓展,具體的特征有5個。
訪問生成性資源包括的兩個指標分別是“訪問他人作業(yè)”和“訪問社區(qū)資源”,學習者通過瀏覽同伴的作業(yè)來了解他人的觀點,培養(yǎng)判斷和歸納總結的能力。通過瀏覽社區(qū)資源,很多學習者可以零距離接觸優(yōu)質教學資源,從而獲得最直接、最快捷的專業(yè)支持,提升專業(yè)能力。具體特征有5個。
交流互動是學習者與其他成員之間的協(xié)作交流,涵蓋的指標是“參與論壇交互”、“參與資源評價”和“收到資源評價”。第一類互動是學習者之間的交互,增強個體間的交流與知識碰撞,后兩類互動是學習者針對資源的評價,參與資源評價指標投射出學習者自身的積極情緒,說明被贊或被評論的內容引起學習者的共鳴或欣賞,收到資源評價指標則反映出學習者被關注和認可的程度。該維度的特征有7個。
任務參與主要通過任務數(shù)量來考察學習者的投入程度,包括任務完成度和任務貢獻度。任務完成度考察學習者對教師規(guī)定行為的配合程度,而任務貢獻度則反映出學習者以主動的姿態(tài)進行參與和分享。具體包括5個特征。
任務質量是對學習者提交作業(yè)或上傳資源的質量的評價,通過教師的推優(yōu)或者同伴的認可度(瀏覽、點贊、評論等)來表現(xiàn)。該維度包括共享資源認可度、作業(yè)推優(yōu)度、共享資源推優(yōu)度、學習成績、帖子認可度和筆記認可度六個指標,反映學習者高質量、有影響力的分享與表達,由14個特征構成。
3. 維度聚類
學習者分類是依托學習者模型的各維度,對在線學習者進行整體劃分,是對看似并無關聯(lián)的在線學習信息進行分析、重構而得出的對學習者的整體把握。通過學習者模型可以更好地理解各類學習者的學習特點,有利于教師開展教學、管理者安排支持服務以及學習者尋找學習伙伴等。
基于上述綜合評價模型,采用K均值聚類(K-means clustering)方法進行維度聚類,利用學習者的在線學習行為數(shù)據(jù)將其分成若干類,挖掘和描繪出每一類學習者的學習習慣和特征。K均值聚類是最典型的聚類算法,本研究測試了聚類數(shù)目等于(4, 5, 6)三類的情況,其聚類結果如表6所示:
從數(shù)據(jù)分配上來看,cluster_n = 4時,4個類別的數(shù)據(jù)呈現(xiàn)等差趨勢,最大的一類比最小的一類多1萬多人;cluster_n= 5時,有一類占據(jù)超過50%的人數(shù)(超過2萬人),使得其他類人數(shù)不足5,000;cluster_n= 6時,最大一類比最小一類多近5,000人,但各類別分配差異并不大。
從聚類效果上來看,三種情況下的組間聚類平方和都不足80%,但cluster_n為6時效果最好,最接近80%,能較好地將數(shù)據(jù)區(qū)分開來。結合模型實際意義,將變量cluster_n的默認值設為6,其分類之后各類別的維度能夠較好地區(qū)分各類學習者。
五、研究結果和建議
(一)聚類結果分析
由于每類維度包含的指標個數(shù)不同,導致測評維度的量綱不同,數(shù)據(jù)的分布也不同。為了便于比較不同變量的高低,研究者將所有維度的值轉化到同一水平,最終的聚類結果如圖2所示:
通過聚類得到的學習者類別之間具有明顯的差異和完全不同的特征,類別之間也沒有重復和交叉,在一定程度上說明了學習者模型的實用性、區(qū)分度和合理性。
依據(jù)學習者的學習效果及突出特征可以發(fā)現(xiàn),第一類學習者除了“訪問預設性資源”之外,其余各維度指數(shù)均為最高,因此將其定義為“全能型好學生”。他們在學習過程中表現(xiàn)優(yōu)異,互動活躍,遵循在線學習的規(guī)律,有很好的學習習慣。第二類學習者在“交流互動”維度和“任務質量”維度處于較高水平,僅次于全能型學習者,將其稱為“交互型好學生”。他們熱衷于與同伴進行交互,通過討論交流來解決問題,其學習投入能收到較好的效果,學習效率高,任務質量遠高于整體水平。該類學員通過在論壇分享經驗、碰撞交流,促進了知識建構和創(chuàng)新性知識的生成,改變了自身學習過程中的孤立狀態(tài),培養(yǎng)了全新、前瞻而廣闊的思維方式。第三類學習者在“任務參與”維度上位居第二,學習效果也遠高于整體水平,將這類學習者稱為“任務型好學生”。他們偏好于獨立自主學習,但其任務質量并沒有與學習投入成正比,屬于“事倍功半型”。這類學員可能不在意網絡研修的成績,也可能是由于沒有閱讀教學指南或者未掌握有效的學習方法,導致盲目參與學習任務。第四類學習者稱為“基礎型中等生”,因為其在各維度的表現(xiàn)與整體水平比較相近,在各項維度中都沒有表現(xiàn)突出,屬于大眾型群體。第五類學習者稱為“閱讀型中等生”,該類學習者是所有學員中“訪問預設資源”水平最高的群體,表現(xiàn)出在線行為比較單一的特征,缺乏多樣性與延展性,這也是導致其學習效果低于整體平均水平的原因。第六類學習者稱為“薄弱型后進生”,在各維度的指數(shù)均低于整體平均值。該類學員表現(xiàn)欠佳,參與度不高,缺乏在線學習的動力與興趣,幾乎未訪問社區(qū)資源、未參與任務,該類學習者有放任自我、隨波逐流的傾向,應當是教師重點關注與支持的對象,教師可以通過發(fā)送電子郵件等方式提醒其參與學習。
(二)學習者行為特征分析
研究者對與行為直接相關的四個維度進行人均參與頻次統(tǒng)計,結果發(fā)現(xiàn),學習者在在線學習中仍偏好于獨立自主學習,訪問預設性資源是學習者參與學習最主要的行為,人均141次,人均任務參與11.8次;在交互方面,整個項目學習者的參與度明顯偏低,人均交流互動次數(shù)為5.5次,人均訪問生成性資源次數(shù)為4.8次。
(三)建議
針對研究結果,為提升教學質量,研究者提出以下存在的問題及建議:
1. 關注交互動態(tài),設計強交互活動
Malikowski、Thompson和Theis(2007)從技術環(huán)境與在線學習過程相結合的視角將平臺中不同組件使用的頻率分為三個檔:使用最多、適當使用和較少使用。使用最多的主要是內容傳遞類組件,具體包括通知簡報、學習資源、學習成績公告等;適當使用的組件主要包括課程討論和同伴評價;使用最少的組件是完成指定任務。而本研究中學習者的學習行為中訪問預設性資源最多,之后依次是參與任務、交流討論和訪問生成性資源(見圖3)。由此可以看出,本項目中交互氛圍較弱,教師應當重視交互活動的設計,通過教學設計組織教學交互,優(yōu)化學員的學習體驗。此外當前平臺已經具備實時統(tǒng)計學習者行為的功能,建議教師以此為依據(jù)及時跟進學生動態(tài),及時解答學生問題,促進學員廣泛、深入地開展研討。
2. 提供個性化教學輔助,促進合作學習
分析結果表明,各類學習者在不同維度均表現(xiàn)出一定的群體特征,全能型學習者在各方面基本都是參與最積極的,閱讀型學習者瀏覽課程視頻比較多,交互型學習者熱衷于發(fā)帖和評論。
本研究通過群體劃分可識別出每一類學習者,依據(jù)學習者分類來開展教育干預,有助于教師精準定位學習者,實時了解學習者的狀態(tài)變化,通過多種方式對其學習行為進行糾正、改進和優(yōu)化,動態(tài)調整教學內容和節(jié)奏,為學習者提供“量體裁衣”式的個性化學習支持。
對于全能型好學生可以提出表揚,提高學習難度,推送拓展資源,并鼓勵其多分享自己的學習經驗;對于交互型好學生,可以引導其開展更具深度的、高質量的討論;對于任務型好學生,可以向其推薦課程學習指南與導學資源,對其說明課程目標;針對閱讀型中等生,可以為其推薦優(yōu)質學習資源,并為其提供體驗交互的機會,邀請其參與到論壇的討論中來,引導交互的方向;對于基礎型中等生,可以設計問題導向的活動,吸引其參與,從而激發(fā)其學習動機;而對于薄弱型后進生,教師需要重點關注,發(fā)送郵件進行督促,提醒學習者有關課程學習的任務,并發(fā)送關懷郵件及時詢問其遇到的問題,給予個別化輔導。此外,在組織教學活動時,教師可以將不同類別的學習者平均劃分到各小組中,實現(xiàn)優(yōu)勢互補,通過積極型學習者帶動整體項目的學習氛圍。
六、結語
本研究通過數(shù)據(jù)挖掘流程緊密結合學習過程對教師研修社區(qū)的學員進行建模,深入挖掘學員行為特征,結合理論演繹和數(shù)據(jù)驅動,選用主成分分析、專家判斷和聚類的綜合方法,將不同特征傾向的學習者分類,實現(xiàn)了從指標體系評價到學員畫像的自動化流程,能夠高效實時地監(jiān)控不同類別學習者的學習狀態(tài),有利于教師掌握全體學員的學習狀況,也幫助教師甄別出存在困難的學習者,為其提供精細化的導學、助學。然而,在指標體系的適用性和優(yōu)化上還有很大的上升空間,主要可以考慮從以下兩個方面進行考慮:
對學習者類別的識別結果進行實證測量,基于多時間階段、多項目的指標體系試用,要針對不同的學習階段、不同類型的項目進行大范圍應用,挖掘學員在不同時間、不同評價策略下的特征,為不同類型項目的評價提供使用建議;
將學習者模型與教學實踐相結合,實踐是理論的來源和歸宿,隨著學習者建模研究的發(fā)展成熟,學習者模型融入教學實踐中是學習者建模相關研究的下一步發(fā)展趨勢。根據(jù)教師的實踐經驗來理解不同場景下學員的表現(xiàn)、心理特征等,據(jù)此對模型的行為指標不斷進行調整和修正,進一步提高模型的解釋力,同時豐富對學員畫像的理解。
[參考文獻]
陳仕品,張劍平. 2010. 適應性學習支持系統(tǒng)的學生模型研究[J]. 中國電化教育(5):112-117.
丁月. 2014. 中小學教師網絡研修存在的問題與對策[J]. 江蘇教育研究(13):67-69.
高虎子,周東岱. 2012. 自適應學習系統(tǒng)學習者學習風格模型的研究現(xiàn)狀與展望[J]. 電化教育研究(2):32-38.
郭富強. 2011. 智能教學系統(tǒng)中動態(tài)學生模型的研究與設計[J]. 中國電化教育(1):119-123.
郝耀軍,王建國,趙青杉. 2011. 網絡智能教學系統(tǒng)中雙層學生模型的設計[J]. 中國遠程教育(12):64-67.
李寶敏,閆寒冰. 2017. 基于CIPP評估模型的教師遠程培訓質量評估:一項案例研究[J]. 教育發(fā)展研究(18):30-36.
李桂榮,韓肖艷. 2014. “國培計劃”績效評價指標體系與抽樣研究[J]. 教育發(fā)展研究(12):1-6.
李智. 2012. 基于教師特征的中小學教師培訓研究[J]. 江蘇第二師范學院學報(自然科學版)(6):56-58.
欒學東. 2014. 關于教師網絡研修活動績效評估方法的研究[J]. 電化教育研究(1):110-114.
喬洋. 2011. 中小學教師培訓評價的問題與對策[J]. 教育科學論壇(9):58-59.
孫沛. 2002. 教師模型與學生模型的構造[J]. 電化教育研究(11):67-69.
王建平. 2013. 遠程研修與教師專業(yè)成長[J]. 西北成人教育學院學報(5):96-99.
王陸. 2012. 教師在線實踐社區(qū)COP的績效評估方法與技術[J]. 中國電化教育(1):61-72.
王文君,楊永亮. 2016. 基于微課資源的教師網絡研修模式構建與活動設計[J]. 電化教育研究(1):116-122.
文春明,吳建生. 2011. 基于神經網絡的智能教學系統(tǒng)學生模型設計[J]. 智能計算機與應用,01(6):52-53.
吳宗寶. 2012. 任務驅動式教學活動設計與實踐——高中信息技術課程《多媒體技術應用》教學為例[D]. 金華:浙江師范大學.
武棟,王冬青. 2006. ITS中學生模型和教學策略的設計[J]. 信息技術與信息化(2):77-79.
謝忠新,王林泉,葛元. 2005. 智能教學系統(tǒng)中認知型學生模型的建立[J]. 計算機工程與應用,41(3):229-232.
楊開城. 2002. 學生模型與學習活動的設計[J]. 中國電化教育(12):16-20.
張文宇,王秀秀,任露,等. 2015. 改進的主成分聚類分析法在教育信息化中的應用[J]. 軟件(7):10-16.
趙潔. 2003. 基于認知理論和隨機開放性測試的動態(tài)學生建模研究[J]. 計算機工程與應用,39(34):95-98.
鄭勤華,陳耀華,孫洪濤,等. 2016. 基于學習分析的在線學習測評建模與應用——學習者綜合評價參考模型研究[J]. 電化教育研究(9):33-40.
Henderson, M. (2013). Sustaining online teacher professional development through community design. Campus-Wide Information Systems, 24(3), 162-173.
Kirkpatrick, D. L. (1979). Techniques for evaluating training programs. Training & Development Journal,33(6), 78-92.
Malikowski, S. R., Thompson, M. E., &Theis, J. G. (2007). A model for research into course management systems: Bridging technology and learning theory. Journal of Educational Computing Research, 36(2), 149-173.
Mark S. Schlager, & Judith Fusco. (2003). Teacher professional development, technology, and communities of practice: are we putting the cart before the horse?. Information Society, 19(3), 203-220.
Stufflebeam, D. L., & Wingate, L. A. (2005). A self-assessment procedure for use in evaluation training. American Journal of Evaluation,26(4), 544-561.
Wenger, E. (1987). Artificial intelligence and tutoring systems. Artificial Intelligence & Tutoring Systems, 23(1), 433-460.
收稿日期:2018-01-19
定稿日期:2018-08-29
作者簡介:王冬冬,博士研究生,東北師范大學教育學部(130024)。
張亨國,碩士,中國政法大學信息化建設辦公室(102249)。
鄭勤華,博士,教授,碩士生導師,北京師范大學教育學部遠程教育研究中心(100875)。
封晨,碩士,香港大學教育學院助理研究員。
責任編輯 單 玲