范逸洲 汪瓊
【摘要】? 近年來隨著MOOC運(yùn)動的發(fā)展,對學(xué)習(xí)者在線學(xué)習(xí)行為的分析和挖掘成為研究熱點(diǎn),而研究者和教學(xué)者都希望能夠基于MOOC積累的大數(shù)據(jù)增進(jìn)對網(wǎng)上教與學(xué)規(guī)律的認(rèn)識。在此研究背景下,如何科學(xué)地辨析和標(biāo)識學(xué)生的有效學(xué)習(xí)行為,便成為開展這類研究非常基礎(chǔ)性的工作,會直接影響后續(xù)研究的發(fā)展空間,也會影響同類研究發(fā)現(xiàn)之間的比較與對話。本研究以一門慕課課程的近五百萬條學(xué)習(xí)數(shù)據(jù)為基礎(chǔ),介紹了這門課程學(xué)生學(xué)習(xí)“行為標(biāo)簽詞典”的產(chǎn)生過程,以及基于行為標(biāo)簽的學(xué)習(xí)行為辨識做法,特別指出了以往文獻(xiàn)中常被忽略的依據(jù)不同行為的持續(xù)時間定義行為的價(jià)值。最后,本研究展示了基于行為標(biāo)簽詞典的一個研究案例,即行為標(biāo)簽詞典如何幫助我們了解學(xué)習(xí)者“一次學(xué)習(xí)”的特征。本研究作為方法論層面非常微觀但又非?;A(chǔ)的一個探索,希望能夠?yàn)轭I(lǐng)域內(nèi)的類似研究提供借鑒思路,開啟在共同行為辨識基礎(chǔ)上的研究對話。同時也希望以本研究為出發(fā)點(diǎn),征集更多有識之士用其他數(shù)據(jù)集對此模型進(jìn)行檢驗(yàn)、豐富和完善,使其能夠成為諸如在線自主學(xué)習(xí)策略、網(wǎng)上課程教學(xué)設(shè)計(jì)有效性等研究的基礎(chǔ)工具。
【關(guān)鍵詞】? 學(xué)習(xí)分析;分析粒度;行為標(biāo)簽;慕課;有效學(xué)習(xí);學(xué)習(xí)行為;行為日志數(shù)據(jù);課程教學(xué)設(shè)計(jì)
【中圖分類號】? ?G442? ? ? ? ?【文獻(xiàn)標(biāo)識碼】? A? ? ? ?【文章編號】? 1009-458x(2021)1-0001-07
一、問題引入
在在線學(xué)習(xí)情境下,教師面臨的教學(xué)挑戰(zhàn)是“看不見、摸不到”學(xué)習(xí)者,不能像在面授環(huán)境下那樣通過察言觀色及時修正教學(xué)安排,提供學(xué)生需要的幫助。近些年,隨著MOOC運(yùn)動的發(fā)展,對學(xué)生網(wǎng)上學(xué)習(xí)行為的分析成為活躍的研究領(lǐng)域。除了希望通過數(shù)據(jù)分析為教師提供學(xué)生學(xué)習(xí)狀況描述之外,人們也希望通過MOOC積累的大量學(xué)生學(xué)習(xí)數(shù)據(jù),通過學(xué)習(xí)分析技術(shù),增進(jìn)對網(wǎng)上教與學(xué)規(guī)律的認(rèn)識。在此研究背景下,如何科學(xué)地辨析和標(biāo)識學(xué)生的有效學(xué)習(xí)行為,便成為開展這類研究非?;A(chǔ)性的工作,會直接影響后續(xù)研究的發(fā)展空間,也會影響同類研究發(fā)現(xiàn)之間的比較與對話。本研究聚焦的有效學(xué)習(xí)行為具體包括三個維度,即有效學(xué)習(xí)控制、有效執(zhí)行學(xué)習(xí)任務(wù)和有效評估(張立國, 等, 2010)。有效學(xué)習(xí)控制是指學(xué)習(xí)者以學(xué)習(xí)目標(biāo)為指引,選擇最佳學(xué)習(xí)路徑的過程;有效執(zhí)行學(xué)習(xí)任務(wù)是指學(xué)習(xí)者作為自主學(xué)習(xí)者通過同化、順應(yīng)、整合和推演等認(rèn)知行為達(dá)成學(xué)習(xí)目標(biāo)的過程;有效評估指的是學(xué)習(xí)者正確評估自己對知識的掌握程度并繼續(xù)投入到新學(xué)習(xí)任務(wù)的過程(張立國, 等, 2010)。
在分析學(xué)習(xí)者在線學(xué)習(xí)有效行為模式時,很多研究者的分析片段長度都是“一次學(xué)習(xí)”(session),即學(xué)習(xí)者從進(jìn)入學(xué)習(xí)平臺到“離開”學(xué)習(xí)平臺的一個時間段。在當(dāng)下很多在線學(xué)習(xí)平臺(如慕課平臺或智能導(dǎo)師系統(tǒng))的設(shè)計(jì)中,除了明顯的退出系統(tǒng)操作外,并沒有特定的行為日志能夠標(biāo)志“一次學(xué)習(xí)”的結(jié)束,大多數(shù)情況下研究者會采用尋找“一個不合理的長日志記錄”來切分“一次學(xué)習(xí)”。例如,某學(xué)習(xí)者在一個頁面上停留了三個小時還沒有后續(xù)行為,那么很顯然他/她離開或中斷了“這一次學(xué)習(xí)”。本研究也取退出系統(tǒng)或長時間不操作的情況作為一次學(xué)習(xí)的結(jié)束標(biāo)志。
對學(xué)生在“一次學(xué)習(xí)”期間學(xué)習(xí)行為的辨識研究,早期多采用對各類教學(xué)資源的訪問動作進(jìn)行編碼,以形成“行為標(biāo)簽詞典”,并分析這些動作的頻次和順序。在不同研究中,對原始日志中行為數(shù)據(jù)打標(biāo)簽的方法和側(cè)重有很大差異。例如,在研究整個學(xué)習(xí)過程時,學(xué)者會將一次學(xué)習(xí)中的日志數(shù)據(jù)按照開始學(xué)習(xí)、開始觀看視頻、結(jié)束觀看視頻、開始做測驗(yàn)、結(jié)束做測驗(yàn)和結(jié)束學(xué)習(xí)等主要學(xué)習(xí)節(jié)點(diǎn)進(jìn)行打標(biāo)簽工作(Maldonado-Mahauad, Pérez-Sanagustín, Kizilcec, Morales, & Munoz-Gama, 2018; Davis, Chen, Hauff, & Houben, 2016);在研究視頻觀看行為模式時,學(xué)者會側(cè)重視頻觀看內(nèi)容的行為標(biāo)簽,如開始觀看、暫停、向前尋找、向后尋找、加速播放、減速播放等;在研究學(xué)習(xí)者在平臺上的學(xué)習(xí)路徑時,學(xué)者會側(cè)重平臺切分的功能模型,如觀看視頻、完成作業(yè)、提交測驗(yàn)、參與問卷、參與論壇、瀏覽課程材料等(Wen & Rose, 2014; 劉智, 等, 2017)。
后來有學(xué)者提出應(yīng)該更多地給標(biāo)簽賦予一定的意義或者信息,而不是簡單地描述行為是什么。例如,有學(xué)者把觀看行為或者瀏覽資源的行為分成第一次觀看和再次觀看(revisit),這樣可以從拓展新知識和復(fù)習(xí)舊知識這兩個維度來分析學(xué)習(xí)行為(Kizilcec, Pérez-Sanagustín, & Maldonado, 2017)。在有些學(xué)習(xí)策略的研究中,學(xué)者通過行為標(biāo)簽賦予日志數(shù)據(jù)更多的信息和意義。例如,有學(xué)者根據(jù)視頻和測驗(yàn)的先后順序標(biāo)記了學(xué)習(xí)者四類觀看視頻的行為標(biāo)簽(Boroujeni & Dillenbourg, 2018),也有學(xué)者標(biāo)記了尋求提示或幫助的行為標(biāo)簽(Kock & Paramythis, 2010)。這些研究與本研究有一些契合之處。
本研究以學(xué)習(xí)者有效學(xué)習(xí)的行為和策略為出發(fā)點(diǎn),所建立的行為標(biāo)簽詞典希望對于教師了解學(xué)生、學(xué)生認(rèn)清自己都有意義。因此需要在上述動作編碼粒度上再提高一個編碼層次,即按照有效學(xué)習(xí)的視角,就學(xué)習(xí)者使用資源的狀態(tài)對學(xué)習(xí)行為進(jìn)行標(biāo)記,并且更關(guān)注研究常見的行為組合序列。比如,同樣是兩次訪問某個視頻資源,如果第一次訪問就看完了完整的視頻,那么第二次訪問視頻就可以視為“復(fù)習(xí)”,但如果第一次觀看只看了幾秒,而第二次訪問看完了整個視頻,則第二次觀看應(yīng)屬于“初學(xué)”?!俺鯇W(xué)”“復(fù)習(xí)”這樣的編碼更貼近教師關(guān)心的學(xué)生學(xué)習(xí)行為,通過對學(xué)生網(wǎng)上學(xué)習(xí)行為的這種編碼,就可以了解并刻畫學(xué)生的行為模式。比如,有學(xué)生進(jìn)入系統(tǒng)后首先會去做測試,然后再根據(jù)測試做錯的題去看相應(yīng)的視頻。本研究聚焦的編碼技術(shù)就是要刻畫出這樣的學(xué)習(xí)行為序列,為后續(xù)研究不同學(xué)習(xí)行為模式的學(xué)習(xí)效果奠定基礎(chǔ)。
與傳統(tǒng)教育研究的編碼框架來自理論分析不同,本研究的學(xué)習(xí)行為分析詞典主要來自于經(jīng)驗(yàn)數(shù)據(jù),并用一門MOOC近萬名學(xué)生的數(shù)據(jù)檢驗(yàn)了行為標(biāo)簽詞典的可用性。在此介紹“行為標(biāo)簽詞典”的產(chǎn)生過程以及基于行為標(biāo)簽的學(xué)習(xí)行為的辨識做法,也是為了征集更多有識之士用其他課程數(shù)據(jù)對此模型進(jìn)行檢驗(yàn)、豐富和完善,使其能夠成為有關(guān)學(xué)生網(wǎng)上學(xué)習(xí)準(zhǔn)備度研究、網(wǎng)上課程教學(xué)設(shè)計(jì)有效性研究的基礎(chǔ)工具。
二、研究情境和研究數(shù)據(jù)
本研究“行為標(biāo)簽詞典”的建立情境是北京大學(xué)數(shù)字化學(xué)習(xí)研究中心在2014年開發(fā)的國內(nèi)第一門教師專業(yè)發(fā)展類慕課課程“翻轉(zhuǎn)課堂教學(xué)法”。該課程于2014年7月1日首次上線,截至收取本研究數(shù)據(jù)時已累計(jì)開設(shè)16個學(xué)期(4年),吸引了超過10萬名學(xué)習(xí)者注冊、學(xué)習(xí)。這門課程在開課的第一年中(前3個學(xué)期),課程團(tuán)隊(duì)對課程資源進(jìn)行了補(bǔ)充,對教學(xué)進(jìn)度做出了調(diào)整,對考核標(biāo)準(zhǔn)也做了修改,從2015年第4個學(xué)期開始形成了相對成熟、穩(wěn)定的課程結(jié)構(gòu),并保持至今。因此,本研究重點(diǎn)關(guān)注第4期到第16期這13個開課周期的學(xué)習(xí)者及其學(xué)習(xí)數(shù)據(jù),這部分學(xué)習(xí)者的總注冊人次為97,475人次,課程的總體通過率為6.48%。
從這門慕課學(xué)習(xí)者的參與情況來看,該課程在4年的運(yùn)行中積累了大量學(xué)習(xí)者學(xué)習(xí)行為數(shù)據(jù)。圖1展示了不同統(tǒng)計(jì)口徑下學(xué)習(xí)者損失圖,圖中分別展示了總注冊人次、有行為人次、三次以上登錄人次、登錄跨度超過一周人次、五次以上登錄人次、登錄跨度超過三周人次、登錄跨度超過三周且有三次以上登錄人次、通過課程人次。
從圖1可以看出,雖然大量的慕課學(xué)習(xí)者在注冊后沒有留下豐富的學(xué)習(xí)行為數(shù)據(jù),但由于該課程選課人數(shù)多、運(yùn)行時間長,依然有10,718人是三次以上登錄學(xué)習(xí)并且學(xué)習(xí)的時間跨度超過了三周,累計(jì)留下了五百多萬條行為記錄。由于本研究聚焦學(xué)習(xí)者的學(xué)習(xí)行為和行為模式,因此在后續(xù)的分析中舍棄了學(xué)習(xí)行為非常少的大部分學(xué)習(xí)者,聚焦于這10,718人次的學(xué)習(xí)者以及他們的學(xué)習(xí)行為數(shù)據(jù)。
本研究主要使用的數(shù)據(jù)是行為日志數(shù)據(jù)以及教學(xué)設(shè)計(jì)數(shù)據(jù)。行為日志數(shù)據(jù)(log_data)存儲了這門課程所有學(xué)習(xí)者的所有頁面瀏覽行為,包括學(xué)習(xí)者ID(uid)、瀏覽頁面(url)、上網(wǎng)地址(IP)、瀏覽時間(時間戳)等,這部分是本研究分析的主體部分。本研究聚焦的學(xué)習(xí)者群體(10,718人次)共產(chǎn)生了5,183,796條行為日志數(shù)據(jù),這是后續(xù)在切分分析單元(一次學(xué)習(xí))和定義行為標(biāo)簽時主要使用的數(shù)據(jù)。在定義行為標(biāo)簽時,課程的教學(xué)設(shè)計(jì)數(shù)據(jù)也起到了很重要的作用,幫助研究者理解不同教學(xué)資源的作用(將在下文解釋)。
三、為行為數(shù)據(jù)打標(biāo)簽的過程
1. 行為標(biāo)簽詞典建立的過程
基于文獻(xiàn)綜述以及本研究的具體研究情境和研究問題,本研究首先定義了五個基本的學(xué)習(xí)行為,包括:1-學(xué)習(xí)新內(nèi)容;2-復(fù)習(xí)舊內(nèi)容;3-回答提問;4-瀏覽和參與論壇;5-參與課程考核。在此基礎(chǔ)上,通過訪談?wù)n程設(shè)計(jì)和運(yùn)營的3位慕課教師以及10名選修過多門慕課課程的學(xué)習(xí)者,進(jìn)一步了解網(wǎng)絡(luò)課程教師心目中的有效學(xué)習(xí)行為,以及學(xué)習(xí)者口中多樣化的學(xué)習(xí)表現(xiàn)。在選取課程設(shè)計(jì)和運(yùn)營教師時,本研究按照具有豐富慕課開發(fā)經(jīng)驗(yàn)并參與課程運(yùn)營一年以上的標(biāo)準(zhǔn)篩選了三位教師,通過面對面半結(jié)構(gòu)化訪談的方式收集慕課教師基于自身經(jīng)驗(yàn)對有效學(xué)習(xí)行為的理解和分析。在選取慕課學(xué)習(xí)者時,本研究按照至少選修并完成兩門以上慕課課程的標(biāo)準(zhǔn),通過滾雪球的方式篩選了10名學(xué)習(xí)者,并通過電話結(jié)構(gòu)化訪談的方式,聚焦受訪者自身的慕課學(xué)習(xí)經(jīng)歷、學(xué)習(xí)行為和典型學(xué)習(xí)模式等維度收集了豐富的信息。
在這些訪談中,本研究歸納出了另外四類具有一定意義的行為類型,包括:6-把握全局;7-尋求幫助;8-中斷或走神;9-尋找(資源)行為。這四類行為在已有文獻(xiàn)中較少討論,而在訪談中網(wǎng)絡(luò)課程教師和學(xué)習(xí)者都認(rèn)為這四類行為雖然可能占比較小,但卻對理解學(xué)習(xí)過程非常重要。例如,訪談的網(wǎng)絡(luò)課程教師提到在設(shè)計(jì)課程時,為了讓慕課學(xué)習(xí)者對每個單元或者章節(jié)的內(nèi)容做到“心中有數(shù)”,在每一小節(jié)的資源前面添加了章節(jié)概覽視頻或者文檔,幫助學(xué)習(xí)者“把握學(xué)習(xí)的內(nèi)容,自己制定計(jì)劃”。這一點(diǎn)在對學(xué)習(xí)者的訪談中也有提及,學(xué)習(xí)者談到“這種設(shè)計(jì)類似一個預(yù)告或者導(dǎo)航”,能夠幫助自己明確所處的學(xué)習(xí)進(jìn)度和所學(xué)知識在整個系統(tǒng)中的位置。當(dāng)學(xué)習(xí)者在這類資源上盤桓較久,本研究就將這個行為定義為“把握全局”,這是對一系列具有類似行為的概括,而不僅局限于將行為定義成閱讀公告或者觀看首個視頻。除了這9類行為,所有行為標(biāo)簽中還有?-行為噪聲和標(biāo)志著“一次學(xué)習(xí)”結(jié)束的#-信號行為。這后兩類行為是在進(jìn)行數(shù)據(jù)檢驗(yàn)時從研究操作性角度辨識出來的。
這11類行為標(biāo)簽的具體表述如表1。
這里需要特別說明的是后四類行為,都需要依據(jù)或考慮行為的持續(xù)時間,按照不同的持續(xù)時間對學(xué)習(xí)行為進(jìn)行定義,這就涉及如何確定表1中的持續(xù)時間劃分標(biāo)準(zhǔn)(t1、t2和t3)。
2. 依據(jù)不同行為持續(xù)時間定義行為
首先,本研究將停留時間小于5秒的行為定義為行為噪聲,這里t3=5秒是大多數(shù)文獻(xiàn)采用的時間標(biāo)準(zhǔn),即認(rèn)為學(xué)習(xí)者很難在短于5秒的時間內(nèi)做出有意義或者有效的學(xué)習(xí)行為,視這些行為為隨意點(diǎn)擊的行為噪聲。
其次,本研究將停留時間超過25分鐘的行為定義為中斷或走神,這是經(jīng)過統(tǒng)計(jì)該慕課中視頻和文檔等任務(wù)的完成時間(如視頻觀看時長的中位數(shù)為14分鐘)確定的,學(xué)習(xí)者在每一個網(wǎng)頁停留的正常時間不應(yīng)過長,如果超過了25分鐘則認(rèn)為學(xué)習(xí)者可能暫時中斷了學(xué)習(xí)序列或走神在瀏覽其他網(wǎng)頁。因此,t2=25分鐘這個時間標(biāo)準(zhǔn),需要研究者根據(jù)每門課的具體情況進(jìn)行調(diào)整。
最后,也是最重要的是如何定義一個信號行為標(biāo)志著學(xué)習(xí)者離開了學(xué)習(xí),而根據(jù)本文第一部分“問題引入”中的介紹,這個問題的本質(zhì)是如何確定一個“不合理的長停留時間”。文獻(xiàn)對于停留時間超過多久就標(biāo)志著“一次學(xué)習(xí)”結(jié)束的界定存在較大差異,有的文獻(xiàn)定義為30分鐘(Gasevic, Jovanovic, Pardo, & Dawson, 2017),有的文獻(xiàn)定義為45分鐘(Liu, He, Xue, Huang, Li, & Du, 2015),還有的文獻(xiàn)定義為2小時(Kizilcec, et al., 2017)。
確定“不合理的長停留時間”是多長時間,需要考慮一個平衡的問題,這個時間標(biāo)準(zhǔn)既不能太小也不能太大。如果切分標(biāo)準(zhǔn)太嚴(yán)格(也就是太?。?,就會導(dǎo)致在學(xué)習(xí)者學(xué)習(xí)過程中那些持續(xù)時間相對較長的行為(如參加測驗(yàn)、提交作業(yè)、瀏覽文檔等)被誤認(rèn)為是中斷信號,錯誤地把“一次學(xué)習(xí)”切分成了兩次甚至多次。同時,當(dāng)切分標(biāo)準(zhǔn)太嚴(yán)格、“一次學(xué)習(xí)”的持續(xù)時間太短時,“一次學(xué)習(xí)”這個分析單元上學(xué)習(xí)者的學(xué)習(xí)行為不夠豐富、持續(xù)時間過于碎片化,也會影響后面研究的可靠性。因此,在慕課學(xué)習(xí)中“一次學(xué)習(xí)”的切分標(biāo)準(zhǔn),不宜太過嚴(yán)格,同時也不能太過寬松,因?yàn)檫@就會導(dǎo)致學(xué)習(xí)者本已結(jié)束的某次學(xué)習(xí)被誤認(rèn)為還在延續(xù),或者出現(xiàn)超長時間的“一次學(xué)習(xí)”(例如跨越午餐時間的整個上下午都被納入了“一次學(xué)習(xí)”)等情況。
也就是說,一個理想的切分標(biāo)準(zhǔn),首先,應(yīng)該讓切分后的“一次學(xué)習(xí)”包含較長的學(xué)習(xí)時間和較豐富的學(xué)習(xí)行為;其次,應(yīng)該讓多個“一次學(xué)習(xí)”之間保持合理的時間間隔;最后,應(yīng)該讓跨越午飯、晚飯和夜晚的超長的“一次學(xué)習(xí)”盡可能少?;谝陨蠋讉€判斷標(biāo)準(zhǔn),本研究就本課程數(shù)據(jù)從5分鐘到120分鐘,以5分鐘為間隔(5分鐘、10分鐘、15分鐘、20分鐘……110分鐘、115分鐘、120分鐘)測試了所有切分標(biāo)準(zhǔn)在上面幾個維度的結(jié)果,得到圖2的數(shù)據(jù)。
基于圖2中的曲線和斜率計(jì)算,可以很清晰地看出:平均“一次學(xué)習(xí)”(session)時長(sessionlength,即一次學(xué)習(xí)的持續(xù)時間)、大?。╯essionsize,即一次學(xué)習(xí)包含多少條學(xué)習(xí)行為記錄)和間隔(sessiongap,即兩次學(xué)習(xí)之間以天為單位的平均間隔)隨著切分標(biāo)準(zhǔn)的變大而變大,并在“45~60分鐘”之后變大的速率明顯下降并基本維持在一個合理水平;相對而言,不合理“一次學(xué)習(xí)”(session,即跨越時間過長。例如將前后兩天的學(xué)習(xí)連貫成了一次學(xué)習(xí))的個數(shù)也隨著切分標(biāo)準(zhǔn)的變大而變大,并在“45~60分鐘”之后變大的速率明顯上升并超過了可接受的合理水平,而且當(dāng)切分標(biāo)準(zhǔn)為60分鐘時不合理“一次學(xué)習(xí)”(session)個數(shù)相較于切分標(biāo)準(zhǔn)為45分鐘時的情況已經(jīng)翻倍。
由于本課程的教學(xué)視頻大多在10分鐘以內(nèi),閱讀文檔字?jǐn)?shù)在5,000字左右,單元測試題20道左右,都是在45分鐘以內(nèi)可以完成的,所以在本研究中當(dāng)學(xué)習(xí)者在某個行為的停留時間超過45分鐘時,意味著學(xué)習(xí)者已經(jīng)離開了這次學(xué)習(xí),也就是說意味著“一次學(xué)習(xí)”的結(jié)束。根據(jù)這個標(biāo)準(zhǔn),所有學(xué)習(xí)者在一個學(xué)期內(nèi)的所有學(xué)習(xí)行為序列,將被切分成N個“一次學(xué)習(xí)”(session)。根據(jù)上面的標(biāo)準(zhǔn),10,718名學(xué)習(xí)者的5,183,796條行為數(shù)據(jù)被切分成297,065個一次學(xué)習(xí),以備后面的數(shù)據(jù)分析使用。另外,經(jīng)過統(tǒng)計(jì),慕課學(xué)習(xí)者每登錄平臺一次進(jìn)行學(xué)習(xí),平均會發(fā)生17.45次行為,平均時長為32.57分鐘。因此,本研究認(rèn)為將“不合理的長停留時間”定為45分鐘,是一個既有依據(jù)也符合在線學(xué)習(xí)實(shí)際情況的標(biāo)準(zhǔn)。當(dāng)然,在這里我們更強(qiáng)調(diào)得出45分鐘的分析過程,對于是否45分鐘的標(biāo)準(zhǔn)適用于其他課程、平臺或者學(xué)習(xí)情境則需要更多的研究進(jìn)行驗(yàn)證。
3. 給課程行為打標(biāo)簽的過程
在完成了行為標(biāo)簽詞典后,按照附錄中定義的計(jì)算規(guī)則,對這10,718人次的5,183,796條行為日志數(shù)據(jù)進(jìn)行打標(biāo)簽。在給所有學(xué)習(xí)行為打標(biāo)簽的過程中,標(biāo)注過程按照表1的順序依次進(jìn)行。例如,某學(xué)習(xí)者的所有視頻學(xué)習(xí)行為都先被標(biāo)注成了1;然后判斷這些視頻學(xué)習(xí)行為對應(yīng)的資源在其發(fā)生的時間點(diǎn)之前是否已經(jīng)被學(xué)習(xí)過,如果已經(jīng)被學(xué)習(xí)過則改標(biāo)記為2(覆蓋標(biāo)記1);如果某個被標(biāo)記為2的視頻觀看行為對應(yīng)的資源是技術(shù)支持類(如如何同伴互評),那么這個復(fù)習(xí)舊內(nèi)容的行為則被理解為學(xué)習(xí)者(在參與互評時)遇到問題時的求助行為,被改標(biāo)記為7(再次覆蓋標(biāo)記2)。按照這樣的邏輯,將所有學(xué)習(xí)者的所有學(xué)習(xí)行為打上了標(biāo)簽,11類行為標(biāo)簽的比例如圖3所示。
結(jié)合圖3可以看出,在所有行為標(biāo)簽中“1-學(xué)習(xí)新內(nèi)容”的比例最大,而“7-尋求幫助”的比例最小。其他比例較大的行為類型有“2-復(fù)習(xí)舊內(nèi)容”“6-把握全局”“5-參與課程考核”。值得注意的是“?-行為噪聲”的占比非常大,因此,在數(shù)據(jù)分析之初標(biāo)記這些行為噪聲對提高后續(xù)分析的有效性和可靠性至關(guān)重要。當(dāng)然,行為噪聲并不意味著這些行為沒有意義,比如它可以幫助辨識“9- 尋求行為”。在上面的11類行為標(biāo)簽中,雖然第三類、第四類、第七類、第八類和第九類行為的比例較低,都低于10%甚至低于5%,但并不意味著這些行為的意義可以被忽略,恰恰是這些相對低頻的行為,區(qū)分了不同學(xué)習(xí)者之間的行為模式和學(xué)習(xí)策略水平。
四、學(xué)習(xí)行為標(biāo)簽應(yīng)用舉例:“一次學(xué)習(xí)”類屬研究
至此,基于前面對學(xué)習(xí)行為的標(biāo)簽化處理,所有慕課學(xué)習(xí)者的每一次學(xué)習(xí)就成為一條條由數(shù)字構(gòu)成的“句子”,在此基礎(chǔ)上就可以做進(jìn)一步的研究。比如,在訪談中(資料來自上文提到的10位慕課學(xué)習(xí)者),一些學(xué)生談到他們會集中時間看課件,然后在下次學(xué)習(xí)時集中精力做測驗(yàn)。為了證實(shí)有多少學(xué)生有這樣的學(xué)習(xí)特點(diǎn),就可以在此研究基礎(chǔ)上做聚類分析。
本研究采用聚類分析中最常用的K-Means算法(王夢倩, 等, 2018),對297,065條Session的行為序列數(shù)據(jù)中9類行為時長占比情況進(jìn)行聚類。在進(jìn)行K-Means聚類分析時,首先需要確定聚類的個數(shù),也就是將數(shù)據(jù)聚類多少類時簇內(nèi)相似度高,簇間相似度低。這其中主要由簇內(nèi)誤差(within-cluster sum of squared errors,SSE,也叫“簇慣性”)決定,當(dāng)聚成某類時SSE值最小,則說明這個聚類個數(shù)是最恰切的。同時,當(dāng)K-Means算法的循環(huán)次數(shù)和運(yùn)行次數(shù)增加時,SSE的值將趨于穩(wěn)定。為了得到更可靠的SSE值,同時兼顧分析的運(yùn)行時間成本,本研究選取循環(huán)次數(shù)為20次并運(yùn)行K-Means30次,得到SSE值的均值。經(jīng)過分析發(fā)現(xiàn),當(dāng)K值(也就是聚類個數(shù))為7時,30次運(yùn)行得到的SSE均值最低,為0.1328。因此,聚類分析的聚類個數(shù)應(yīng)該選定為7類,也就是說將全部session行為序列聚類成7類最為合理,這7類的聚類結(jié)果如圖4、圖5所示。
通過圖4和圖5可以看出,學(xué)習(xí)者一次學(xué)習(xí)中9種行為時間占比的聚類結(jié)果具有兩個特點(diǎn):第一,主題鮮明、目標(biāo)明確;第二,分布均衡、體現(xiàn)策略。整體而言,聚類結(jié)果非常理想,一方面與前面的訪談資料相呼應(yīng),另一方面也為后續(xù)特征提取提供了新思路。
在主題鮮明和目標(biāo)明確方面,七類主題學(xué)習(xí)中有五類呈針狀,也就是說當(dāng)學(xué)習(xí)者處于這五類主題學(xué)習(xí)狀態(tài)時其學(xué)習(xí)行為非常聚焦。例如,在第一類“學(xué)習(xí)新內(nèi)容”的主題學(xué)習(xí)中,學(xué)習(xí)者平均花費(fèi)“一次學(xué)習(xí)”的75.89%的時間在學(xué)習(xí)新內(nèi)容;在第三類“專注于測驗(yàn)”的主題學(xué)習(xí)中,學(xué)習(xí)者平均花費(fèi)“一次學(xué)習(xí)”的92.81%的時間在做測驗(yàn)、作業(yè)和考試等計(jì)分任務(wù)。通過聚類結(jié)果中主題鮮明的特點(diǎn)可以看出,慕課學(xué)習(xí)者在學(xué)習(xí)時會有意識或無意識地在“一次學(xué)習(xí)”中專注于某類學(xué)習(xí)任務(wù)的開展。從這種鮮明的主題學(xué)習(xí)特征可以看出,大多數(shù)慕課學(xué)習(xí)者在開始“一次學(xué)習(xí)”時都有較為明確的目標(biāo)。例如,這次學(xué)習(xí)的目標(biāo)就是學(xué)習(xí)新知識,下次學(xué)習(xí)的目標(biāo)就是完成測驗(yàn),等等。
在分布均衡和體現(xiàn)策略方面,除了第一類“學(xué)習(xí)新內(nèi)容”占據(jù)所有學(xué)習(xí)26.32%的比例之外,其他六類學(xué)習(xí)主題的占比相對均衡,均在12%上下。這說明,從慕課學(xué)習(xí)者整體的學(xué)習(xí)主題情況來看,不同主題學(xué)習(xí)之間是相對均衡的,特別是“復(fù)習(xí)舊內(nèi)容”“邊測邊學(xué)”“在互動中學(xué)習(xí)”等多樣化的學(xué)習(xí)主題占比較大,體現(xiàn)出學(xué)習(xí)者群體具有一定的策略水平與學(xué)習(xí)方法。例如,在第六類“邊測邊學(xué)”的主題學(xué)習(xí)中,學(xué)習(xí)者在做測驗(yàn)的同時會學(xué)習(xí)新內(nèi)容,同時也可能復(fù)習(xí)舊內(nèi)容。在訪談中,也有受訪者談到自己的某些學(xué)習(xí)模式跟聚類分析的發(fā)現(xiàn)一致,如“在學(xué)新知識之前先自測一下”“做了測驗(yàn)發(fā)現(xiàn)哪里掌握不到位再去復(fù)習(xí)”等高度體現(xiàn)策略水平的行為模式。
五、討論與總結(jié)
本研究嘗試基于有效學(xué)習(xí)研究視角去辨識學(xué)生的學(xué)習(xí)行為,結(jié)合課程教學(xué)設(shè)計(jì)所期望的學(xué)習(xí)行為和學(xué)習(xí)者在學(xué)習(xí)過程中習(xí)慣采用的學(xué)習(xí)行為建立了 “行為標(biāo)簽詞典”,并用一門課程的數(shù)據(jù)檢驗(yàn)了標(biāo)簽詞典的可用性。文中具體展示了對所有學(xué)習(xí)行為日志進(jìn)行打標(biāo)簽的過程,展現(xiàn)了如何將“數(shù)據(jù)”轉(zhuǎn)化成“信息”,給原始數(shù)據(jù)賦予意義。本研究定義的11種行為標(biāo)簽,與以往簡單按照平臺界面或功能模塊的定義方式不同,融入了對學(xué)習(xí)行為的基本判斷,例如將以往研究中的“學(xué)習(xí)資源行為”分成了“學(xué)習(xí)新內(nèi)容”和“復(fù)習(xí)舊內(nèi)容”。這樣的行為標(biāo)簽詞典,可以給其他相近的研究提供參考和借鑒,同時統(tǒng)一的行為標(biāo)簽詞典也為后續(xù)基于相同數(shù)據(jù)或不同數(shù)據(jù)的研究進(jìn)行對話提供了可能。
在對上述行為標(biāo)簽詞典不同類型行為的統(tǒng)計(jì)圖(圖3)中可以看出,?-行為噪聲的占比接近全部行為的20%。這些行為噪聲停留時間短、出現(xiàn)位置和頻次隨機(jī)性高,同時這類數(shù)據(jù)的可解釋性差,為基于教育數(shù)據(jù)挖掘的研究增加了難度。因此,定義、標(biāo)注并清洗掉這些數(shù)據(jù),是大多數(shù)研究會選擇的一種操作。但本研究從有效學(xué)習(xí)分析角度來看這些行為噪音,就會發(fā)現(xiàn)雖然行為噪聲較難解釋但也并不是完全沒有意義:首先行為噪聲可能隱含了學(xué)習(xí)者處在一種四處亂點(diǎn)、無聊亂翻的學(xué)習(xí)狀態(tài),這對研究學(xué)習(xí)本身而言是有意義的。另外,本研究定義的9-尋找行為,就是在諸多行為噪聲中“拾回”的有價(jià)值行為。例如停留時間“短短短長”的行為模式,看似前面三個行為屬于行為噪聲但是與后面一個較長行為連接在一起后,就隱含了學(xué)習(xí)者處在一種快速瀏覽、尋找資源的狀態(tài)中,這對于研究學(xué)習(xí)策略也是有意義的。因此,在學(xué)習(xí)分析中首先需要注意和警惕行為噪聲,其次也需要意識到行為噪聲對研究的寶貴意義。
在確定分析單元和定義行為標(biāo)簽的基礎(chǔ)上,很多教育數(shù)據(jù)挖掘的方法和技術(shù)才可以得到運(yùn)用,本研究展示了運(yùn)用聚類分析技術(shù)識別學(xué)習(xí)者“一次學(xué)習(xí)”的學(xué)習(xí)主題,并討論了慕課學(xué)習(xí)者具有單次學(xué)習(xí)內(nèi)主題明確、行為聚焦的學(xué)習(xí)特點(diǎn)。雖然本研究的重點(diǎn)不在于分析學(xué)習(xí)主題,但基于真實(shí)數(shù)據(jù)的研究發(fā)現(xiàn)從另外一個側(cè)面展示了前面兩個基礎(chǔ)性步驟的重要性。特別是,只有當(dāng)清晰地定義了什么是“一次學(xué)習(xí)”,以及每一個點(diǎn)擊“數(shù)據(jù)”背后隱含了什么行為“信息”時,學(xué)習(xí)分析的發(fā)現(xiàn)才有了從教學(xué)層面解讀數(shù)據(jù)的能力。因此,本研究作為一個方法論層面非常微觀但又是非?;A(chǔ)的一個探討,希望能夠?yàn)轭I(lǐng)域內(nèi)的研究者提供一種借鑒或者思路,也許能夠開啟在共同數(shù)據(jù)清洗基礎(chǔ)上的研究對話。
[參考文獻(xiàn)]
劉智,王亞妮,鄭年亨,等. 2017. 高校SPOC環(huán)境下學(xué)習(xí)者行為序列的差異性分析研究[J]. 中國電化教育(7):88-94.
王夢倩,范逸洲,郭文革,等. 2018. MOOC學(xué)習(xí)者特征聚類分析研究綜述[J]. 中國遠(yuǎn)程教育(7):9-19.
張立國,劉曉琳. 2010. 網(wǎng)絡(luò)有效學(xué)習(xí)的理論模型構(gòu)建[J]. 開放教育研究(06):35-41.
Boroujeni, M. S., & Dillenbourg, P. (2018). Discovery and temporal analysis of latent study patterns in MOOC interaction sequences. In Proceedings of the 8th International Conference on Learning Analytics and Knowledge (pp. 206-215).
Davis, D., Chen, G., Hauff, C., & Houben, G. J. (2016). Gauging MOOC Learners' Adherence to the Designed Learning Path. International Educational Data Mining Society.
Gasevic, D., Jovanovic, J., Pardo, A., & Dawson, S. (2017). Detecting learning strategies with analytics: Links with self-reported measures and academic performance. Journal of Learning Analytics, 4(2), 113-128.
Kock, M., & Paramythis, A. (2010). Towards adaptive learning support on the basis of behavioural patterns in learning activity sequences. In 2010 International Conference on Intelligent Networking and Collaborative Systems (pp. 100-107). IEEE.
Kizilcec, R. F., Pérez-Sanagustín, M., & Maldonado, J. J. (2017). Self-regulated learning strategies predict learner behavior and goal attainment in Massive Open Online Courses. Computers & Education, 104, 18-33.
Liu, Z., He, J., Xue, Y., Huang, Z., Li, M., & Du, Z. (2015). Modeling the learning behaviors of massive open online courses. In 2015 IEEE International Conference on Big Data? (pp. 2883-2885). IEEE.
Maldonado-Mahauad, J., Pérez-Sanagustín, M., Kizilcec, R. F., Morales, N., & Munoz-Gama, J. (2018). Mining theory-based patterns from Big data: Identifying self-regulated learning strategies in Massive Open Online Courses. Computers in Human Behavior, 80, 179-196.
Wen, M., & Rosé, C. P. (2014, November). Identifying latent study habits by mining learner behavior patterns in massive open online courses. In Proceedings of the 23rd ACM international conference on information and knowledge management (pp. 1983-1986).
收稿日期:2020-03-19
定稿日期:2020-07-02
作者簡介:范逸洲,博士;汪瓊,博士,教授,博士生導(dǎo)師,主任,本文通訊作者。北京大學(xué)教育學(xué)院數(shù)字化學(xué)習(xí)研究中心(100871)。
責(zé)任編輯 張志禎 劉 莉