李童 楊楠 王煜

摘 要：傳統(tǒng)學習行為分析注重事后分析，即根據(jù)學習結(jié)果評價學習效果。計算機類課程不同于其它領域課程，實踐性很強，對學生動手能力要求較高。由于學生在該課程中的學習行為涉及大量動手操作，如建模、編程、測試等，通過監(jiān)控、存儲與分析相關數(shù)據(jù)，可對學生學習過程持續(xù)進行學習行為分析，從而及時發(fā)現(xiàn)學生學習中的困難，并給予相應反饋。設計并實現(xiàn)一個BJUTModeling系統(tǒng)平臺，以持續(xù)監(jiān)控與記錄學生的建模操作數(shù)據(jù)，并利用頻繁序列挖掘技術進行學習分析，取得了較好的實際教學效果。

關鍵詞：過程監(jiān)控;行為模式挖掘;學習行為分析;學習效果評價;本科教育

DOI：10. 11907/rjdk. 191966 開放科學（資源服務）標識碼（OSID）：

中圖分類號：G434文獻標識碼：A 文章編號：1672-7800（2020）002-0249-05

英標：Analysis of Learning Behaviors in the Courses of Computer Sciences Based on Learning Process Monitoring

英作：LI Tong1，YANG Nan2，WANG Yu1

英單：（1. Faculty of Information Technology， Beijing University of Technology， Beijing 100124， China;2. Institute of Higher Education， Beijing Academy of Educational Sciences， Beijing 100036， China;3. Fan Gongxiu Honors College， Beijing University of Technology， Beijing 100124， China）

Abstract： Traditional learning behavior analysis focuses on ex-post analysis， which is to evaluate learning effectiveness based on learning outcomes. Computer courses are different from those in other fields， and they are highly practical and have high requirements for students hands-on ability. Therefore， student learning behavior involves a lot of hands-on operations such as modeling， programming， testing， and so on. This study proposes to monitor， store and analyze these data to achieve continuous learning behavior analysis in the learning process， so as to find out the difficulties of student learning in time and provide corresponding feedback. Specifically， this study designs and implements the BJUTModeling system， continuously monitors and records studentsmodeling operation and uses frequent sequence pattern mining， which achieves a good result of teaching.

Key Words： process monitoring; behavior pattern mining;learning behaviors analysis;learning effectiveness assessment; undergraduate education

0 引言

2016年我國正式加入《華盛頓協(xié)議》，標志著中國高等工程教育質(zhì)量標準與國際實質(zhì)等效。黨的十九大提出建設教育強國是中華民族偉大復興的基礎工程，教育質(zhì)量標準建設是提高教育質(zhì)量的基礎工程。2018年1月，教育部發(fā)布《普通高等學校本科專業(yè)類教學質(zhì)量國家標準》（簡稱“國標”），這是我國面向全國、全世界的第一個高等教育教學質(zhì)量國家標準。工程教育在我國高等教育中占有重要地位，高素質(zhì)工程科技人才是支撐產(chǎn)業(yè)轉(zhuǎn)型升級、實施國家重大發(fā)展戰(zhàn)略的重要保障。計算機類專業(yè)包括計算機科學與技術、軟件工程、網(wǎng)絡空間信息安全等學科，是工程教育的重要組成部分。對計算機類課程教學質(zhì)量評價開展研究，是提升計算機類專業(yè)人才培養(yǎng)質(zhì)量的重要抓手，更是對“國標”實際應用的有益探索，具有重要意義。

1 相關文獻梳理

1.1 學習分析領域及其主要研究分支

大數(shù)據(jù)和人工智能的發(fā)展為各領域帶來了一場技術變革，教育領域也不例外。學習分析作為教育大數(shù)據(jù)的重要應用方向，是一個新興的交叉學科研究領域[1]。2011年3月，加拿大班夫召開了第一屆學習分析與知識國際會議。學習分析是指通過對學習者及其學習情境進行測量、收集與分析，并形成報告，從而優(yōu)化學習環(huán)境，提升學習者的學習體驗和學習效果[2]。

現(xiàn)有國內(nèi)外學習分析研究可分為兩大類型：理論性和實證性。理論性研究涉及論述學習分析的重要性[3-4]、學習分析的挑戰(zhàn)與倫理問題[5-7]、學習分析與其它領域（諸如學習設計、教育數(shù)據(jù)挖掘）關系[8-10]、學習分析質(zhì)量評價[11]以及學習分析新趨勢[12-13]等;實證性研究可細分為話語分析、預測與早期預警、學習軌跡、智能輔導等多個方面。

具體而言，話語分析類研究主要通過論壇討論[14-15]、寫作[16]、學術論文[17]、訪談[18]等相關數(shù)據(jù)分析學生學習效果。例如，文獻[16]使用WordNet作為詞法參考進行工具開發(fā)，自動可視化學生寫作中首次出現(xiàn)的原創(chuàng)思想和用語，幫助教師掌握學生學習進展并根據(jù)學生已掌握的知識調(diào)整教學計劃;文獻[18]運用計算語言學方法自動分析訪談數(shù)據(jù)（以54位中學生對四季的解釋為例），以了解學生對科學概念的理解程度。

預測與早期預警主要運用推論統(tǒng)計分析方法探索各種因素對學生學習效果的影響[19-22]。例如，文獻[19]根據(jù)學生人口統(tǒng)計特征、以往學術表現(xiàn)、學生努力程度和考試成績等因素，預測學生學術表現(xiàn);文獻[20]探索學生在多項選擇題中正確與錯誤答題用時對其最終成績的影響。

學習行為軌跡類研究主要利用數(shù)據(jù)挖掘方法及可視化技術展現(xiàn)學生實際學習特定內(nèi)容的過程[23-24]。文獻[23]研究學生如何在游戲環(huán)境中進行數(shù)學學習;文獻[24]收集37名學生在解決線性函數(shù)問題時的眼動數(shù)據(jù)，通過分析發(fā)現(xiàn)學生注意力在興趣區(qū)域間轉(zhuǎn)換的通用模式。

智能輔導主要通過數(shù)據(jù)挖掘技術分析用戶行為，從而判斷用戶學習狀態(tài)，并為用戶提供個性化輔導方案[6，25-27]。例如，文獻[27]在一個擁有超過44萬條數(shù)據(jù)的關于九九乘法表的答題數(shù)據(jù)庫中應用馬爾科夫鏈，根據(jù)不同順序的馬爾科夫鏈識別學習者答題模式，判斷學生對乘法表的掌握情況，并根據(jù)個體情況優(yōu)化出題順序。

1.2 基于學習過程數(shù)據(jù)的學習效果相關研究

學習分析領域研究與傳統(tǒng)教育教學研究的最大區(qū)別在于對學習過程數(shù)據(jù)的收集與分析。首先，學習過程數(shù)據(jù)較以往變得異常豐富，這些數(shù)據(jù)包括學生學習過程中的情緒狀態(tài)[28]、學生答題過程中的具體解題步驟[29]、學生鼠標點擊流數(shù)據(jù)[30]、考試中題目應答時間及正確與否[31]、在線學習環(huán)境中的專注時間[32-33]、學生姿勢或體力活動[34-35]等。其次，面向數(shù)據(jù)的分析方法更為復雜。例如，遞歸定量分析方法可探測出學生在閱讀與學習過程中發(fā)生的改變，如學習策略和參與程度等[36];多元回歸模型可對學生成績進行預測[37]; Monte Carlo貝葉斯知識追蹤模型可通過分析學生的在線學習活動數(shù)據(jù)，從而發(fā)現(xiàn)“有問題的學生”[38];隱樸素貝葉斯模型可自動檢測在線學習中的不專注行為[33];知識成分模型可針對學生的錯誤理解進行建模，從而預估隱性知識[39];概率圖模型可用于提升對學習效果的預測準確度[40]等。另外還可運用逐步線性回歸、隨機森林和線性混合效應模型對學習效果進行預測[41]，運用N-gram技術進行日志數(shù)據(jù)的時間序列分析[29]，使用Coh-Metrix工具進行文本分析[39]，運用模糊集定性比較分析方法對學生測驗中的應答時間和前后測數(shù)據(jù)進行建模[31]等。

1.3 小結(jié)

總體而言，目前學習分析領域研究內(nèi)容豐富且廣泛，既有相對宏觀層面的研究，如學校利用人口統(tǒng)計數(shù)據(jù)、以往學術成績表現(xiàn)預測學生在所讀專業(yè)學習期間是否會輟學等;也有相對微觀層面的研究，如利用在線學習環(huán)境的日志數(shù)據(jù)和學生在線學習表現(xiàn)，了解學生學習行為及對所學內(nèi)容的掌握程度等?；趯W習過程數(shù)據(jù)的學習效果研究是學習分析與傳統(tǒng)教育教學研究的主要區(qū)別所在。學習行為軌跡是學習過程中的一個具體方面，側(cè)重于研究學生思考過程，這些原本只存在于學生大腦的數(shù)據(jù)在傳統(tǒng)教育情景中幾乎無法獲取與分析，大數(shù)據(jù)技術將“不可能”變?yōu)榱恕翱赡堋薄＞劢箤W生思考過程的學習行為軌跡類研究無疑是學習分析中一個極具價值的研究方向，更是教育研究的一個重要組成部分，有助于教師通過分析學生學習思路，了解學生對所學內(nèi)容的實際掌握情況，從而創(chuàng)新教育教學方法，培養(yǎng)出更多高質(zhì)量的人才，最終實現(xiàn)高等教育的內(nèi)涵式發(fā)展。

2 學習行為軌跡監(jiān)測平臺BJUTModeling設計

2.1 系統(tǒng)功能簡介

BJUTModeling是面向《軟件工程導論》課程設計開發(fā)的基于用戶建模行為的學生學習效果評價系統(tǒng)。盡管目前市面上存在大量建模工具，如ProcessOn、Lucid Chart、Draw.io等，但這些平臺采用的是封閉數(shù)據(jù)集，用戶數(shù)據(jù)由平臺公司保密。BJUTModeling的開發(fā)旨在收集學生建模行為的第一手數(shù)據(jù)，方便教師了解學生對建模知識的掌握程度。BJUTModeling的前端開發(fā)語言涉及html、css與JavaScript。JavaScript中的GoJS包提供了對圖形建模的強大支持，因此用戶數(shù)據(jù)可以在結(jié)構清晰的服務器中進行記錄。從BJUTModeling在線建模平臺收集的數(shù)據(jù)采用JSON格式，之后可利用機器學習和數(shù)據(jù)挖掘算法輕松識別，從而保證了平臺的靈活性和可用性，為數(shù)據(jù)分析提供了極大便利。

2.2 數(shù)據(jù)預處理與數(shù)據(jù)清洗

記錄在服務器中的數(shù)據(jù)由兩部分組成：日志數(shù)據(jù)和模型數(shù)據(jù)。模型數(shù)據(jù)顯示數(shù)據(jù)流圖（DFD）的最終視圖，缺少處理數(shù)據(jù)。相反，Log數(shù)據(jù)將所有用戶行為記錄為操作，其中包含大量信息，在學生建模行為分析方面具有很大潛力。因此，該項目專注于BJUTModeling在線建模平臺的日志數(shù)據(jù)研究。用戶日志原始數(shù)據(jù)存儲在具有JSON格式的txt文件中，txt日志數(shù)據(jù)示例如圖1所示。

單個用戶日志包含該用戶在在線建模平臺BJUTModeling中進行的所有操作，因此txt文件需要進行操作分離。使用Python可以輕松地將每個操作與“＼ n”字符分開，代表操作的結(jié)束（一行）。因此，每個用戶的日志清理結(jié)構化數(shù)據(jù)如圖2所示。

2.3 操作編碼

BJUTModeling系統(tǒng)上有16種操作，從清洗后的學生數(shù)據(jù)中可明確標注不同操作類型（見表1），從而準確地表示操作序列。具體而言，每一種操作類型表示一種原子操作，而不同原子操作所組成的序列則可能包含特定語義模式。通過對這些模式的挖掘與分析，能夠有效分析學生建模行為所蘊含的信息。

2.4 頻繁序列模式挖掘

在對操作進行編碼后，即可與符號化序列數(shù)據(jù)庫一起進行頻繁序列模式挖掘。很明顯，單個操作序列長度不是均勻分布的，有些學生的操作順序很長，而有些學生的日志相對較短，因此需要為FreSeqPat算法設置最大長度閾值以避免序列爆炸。通過考慮數(shù)據(jù)流圖、結(jié)構分析特征以及實際任務要求，單個頻繁長度中50個操作的最大長度是合理值。此外，基于在數(shù)據(jù)流圖分析中所積累的關于學生建模的經(jīng)驗知識，將FreSeqPat算法中的參數(shù)min_sup設置為4。這兩個限制可以避免對操作過多的模式進行計數(shù)，并排除操作序列中的異常，從而挖掘并發(fā)現(xiàn)有效行為特征。

2.5 基于行為模式的特征工程

根據(jù)特征工程的方法論，好的特征在數(shù)據(jù)挖掘中將起到至關重要的作用。因此，通過軟件設計的領域知識，本文總結(jié)了來自操作序列數(shù)據(jù)集的新特征，以更好地分析學生建模行為。

（1）操作時間。根據(jù)網(wǎng)站運營特點，可以很容易地發(fā)現(xiàn)運營時間對于用戶行為分析非常重要。無論用戶是不假思索地進行頻繁操作，還是在不同步驟間進行長時間思考，這種操作時間特征對于該項目而言都是非常重要的。

（2）元素移動距離。從操作序列數(shù)據(jù)集概述可以清楚地看出，元素移動距離是一個重要特征。原始數(shù)據(jù)僅記錄操作的舊位置和新位置，而不記錄移動距離，因此需要導出該計算結(jié)果。

（3）添加新元素位移?？紤]繪制數(shù)據(jù)流圖的真實情況，重要的是要考慮用戶在添加元素操作后立即移動新添加元素的位移，該功能也是度量用戶建模習慣好壞的一個重要指標。

3 基于真實課堂數(shù)據(jù)的學習行為模式分析

本文研發(fā)的系統(tǒng)已在北京工業(yè)大學2018-2019春季學期的《軟件工程引論》課程中投入使用（出于隱私保護考慮，以序號代替學生學號）。該課程中布置了數(shù)據(jù)流圖建模作業(yè)，并要求學生在建模平臺上完成作業(yè)，最終平臺在作業(yè)期間總共獲取到30位學生的建模信息，其中學生的建模操作數(shù)如表2所示。

通過頻繁序列模式挖掘，本文在學生實際建模行為中，觀察與挖掘到以下兩種有意義的用戶行為習慣模式：

（1）學生更有可能先完成一種類型的所有動作，然后再做其它類型動作。以編號12的動作序列為例，如圖3所示。學生首先執(zhí)行更改鏈接和更改元素的動作集，然后執(zhí)行更改鏈接和編輯文本的操作集。這些順序模式表明該學生更喜歡一次性做同樣的動作，然后轉(zhuǎn)向另一種動作。

（2）根據(jù)統(tǒng)計數(shù)據(jù)，改變的元素除以新添加元素的平均值為21.2，改變的鏈接除以新添加鏈接的平均值為21.4。這些極高的比值證實了學生在添加元素或鏈接后傾向于作大量的模型調(diào)整。

4 結(jié)語

本文針對計算機類課程實踐性強、對學生動手能力要求高的特點，設計并實現(xiàn)了一個學習行為檢測與分析系統(tǒng)。系統(tǒng)利用頻繁序列挖掘技術分析學生操作模式，從而可以有效分析學生學習過程中的優(yōu)點與不足，并及時給予必要的支持和幫助。未來計劃在更多課堂上進行實踐研究，從而對該系統(tǒng)作進一步完善。

參考文獻：

[1] 黃志南，陸星兒，胡賀寧，等. 學習分析主題結(jié)構研究及可視化分析[J]. 開放教育研究，2016，22（5）：102-111.

[2] FERGUSON R. The state of learning analytics in 2012： a review and future challenges [M].? Knowledge Media Institute，The Open University， 2012.

[3] 劉清堂，王洋，雷詩捷，等. 教育大數(shù)據(jù)視角下的學習分析應用研究與思考[J]. 遠程教育雜志， 2017， 35（3）：71-77.

[4] ELIAS T. Learning analytics： definitons， processes and potential[EB/OL]https：//pdfs.semanticscholar.org/732e/452659685fe3950b0e515 a28ce89d9c5592a.pdf.

[5] DRACHSLER H， GRELLER W. Privacy and analytics： it's a DELICATE issue a checklist for trusted learning analytics[C]. Proceedings of the sixth international conference on learning analytics & knowledge， 2016：89-98.

[6] NIEMANN K，WOLPERS M，STOITSIS G，et al. Aggregating social and usage datasets for learning analytics： data-oriented challenges[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge， 2013：245-249.

[7] SWENSON J， DUIN A H. A matrix to address ethical concerns in the design， application， and documentation of learning analytics in postsecondary education[M]. The Wiley Handbook of Educational Policy， 2018： 551-573.

[8] 李艷燕，馬韶茜，黃榮懷. 學習分析技術：服務學習過程設計和優(yōu)化[J]. 開放教育研究， 2012， 18（5）：18-24.

[9] DYCKHOFF A L，LUKAROV V A，CHATTI M A，et al. Supporting action research with learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2013：220-229.

[10] BAKER R S J D， DUVAL E， STAMPER J， et al. Panel： educational data mining meets learning analytics[C]. International Conference On Learning Analytics and Knowledge. ACM， 2012：20.

[11] SCHEFFEL M， DRACHSLER H， SPECHT M. Developing an evaluation framework of quality indicators for learning analytics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：16-20.

[12] DAWSON S， GA？EVI？ D， SIEMENS G， et al. Current state and future trends： a citation network analysis of the learning analytics field[C]. International conference on learning analytics and knowledge. ACM， 2014：231-240.

[13] 張琪， 武法提.? 學習分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術應用前瞻[J].? 電化教育研究， 2016（9）：76-81.

[14] WISE A F，ZHAO Y，HAUSKNECHT S N. Learning analytics for online discussions： a pedagogical model for intervention with embedded and extracted analytics[C]. Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM， 2013：48-56.

[15] LIDDO A D， SHUM S B， QUINTO I， et al. Discourse-centric learning analytics[C]. International Conference on Learning Analytics And Knowledge. ACM， 2011：23-33.

[16] LáRUSSON J A，WHITE B. Monitoring student progress through their written point of originality[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM， 2012：212-221.

[17] SIMSEK D， SANDOR A， SHUM S B， et al. Correlations between automated rhetorical analysis and tutors' grades on student essays[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：355-359.

[18] SHERIN B. Using computational methods to discover student science conceptions in interview data[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：188-197.

[19] ARNOLD K E，PISTILLI M D. Course signals at purdue： using learning analytics to increase student success[C]. International conference on learning analytics and knowledge. ACM，2012：267-270.

[20] LONN S，KRUMM A E，WADDINGTON R J， et al. Bridging the gap from knowledge to action： putting analytics in the hands of academic advisors[C]. International Conference on Learning Analytics and Knowledge. ACM， 2012：184-187.

[21] LAURíA E J， MOODY E W， JAYAPRAKASH S M， et al. Open academic analytics initiative： initial research findings[C].? Proceedings of the Third International Conference on Learning Analytics and Knowledge. ACM：150-154.

[22] PAPAMITSIOU Z K，TERZIS V，ECONOMIDES A A. Temporal learning analytics for computer based testing[C]. International Conference on Learning Analytics and Knowledge. ACM，2014：31-35.

[23] MARTIN T，AGHABABYAN A，PFAFFMAN J，et al. Nanogenetic learning analytics： Illuminating student learning pathways in an online fraction game[C]. International Conference on Learning Analytics and Knowledge. ACM， 2013：165-169.

[24] ZHU M，F(xiàn)ENG G. An exploratory study using social network analysis to model eye movements in mathematics problem solving[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge. ACM，2015：383-387.

[25] VERBERT K，DRACHSLER H，MANOUSELIS N，et al. Dataset-driven research for improving recommender systems for learning[C]. Proceedings of the 1st International Conference on Learning Analytics and Knowledge. ACM，2011：44-53.

[26] SCH？N M， EBNER M，KOTHMEIER G. It's just about learning the multiplication table[C]. Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM，2012：73-81.

[27] TARAGHI B，EBNER M，SARANTI A，et al. On using markov chain to evidence the learning structures and difficulty levels of one digit multiplication[C]. Proceedings of the Fourth International Conference on Learning Analytics And Knowledge. ACM， 2014：68-72.

[28] GRAWEMEYER B，MAVRIKIS M，HOLMES W，et al. Affecting off-task behaviour： how affect-aware feedback can improve student learning[C]. Proceedings of the sixth international conference on learning analytics & knowledge.ACM，2016：104-113.

[29] BROOKS C，THOMPSON C， TEASLEY S. A time series interaction analysis method for building predictive models of learners using log data[C].? International Conference on Learning Analytics and Knowledge. ACM， 2015：126-135.

[30] PARK J， DENARO K， RODRIGUEZ F， et al. Detecting changes in student behavior from clickstream data[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：21-30.

[31] PAPAMITSIOU Z， ECONOMIDES A A， PAPPAS I O， et al. Explaining learning performance using response-time， self-regulation and satisfaction from content： an fsQCA approach[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：181-190.

[32] KOVANOVI？ V， GA？EVI？ D， DAWSON S， et al. Penetrating the black box of time-on-task estimation[C]. Proceedings of the Fifth International Conference on Learning Analytics And Knowledge.ACM，2015：184-193.

[33] XING W， GOGGINS S. Learning analytics in outer space： a Hidden Na？ve Bayes model for automatic student off-task behavior detection[C]. Proceedings of the Fifth International Conference on Learning Analytics and Knowledge. ACM，2015：176-183.

[34] OKADA M， TADA M. Formative assessment method of real-world learning by integrating heterogeneous elements of behavior， knowledge， and the environment[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：1-10.

[35] WATANABE E，OZEKI T， KOHAMA T. Analysis of interactions between lecturers and students[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：370-374.

[36] LIKENS A D，MCCARTHY K S，ALLEN L K，et al. Recurrence quantification analysis as a method for studying text comprehension dynamics[C]. Proceedings of the 8th International Conference on Learning Analytics and Knowledge. ACM，2018：111-120.

[37] ELBADRAWY A，STUDHAM R S，KARYPIS G. Collaborative multi-regression models for predicting students' performance in course activities[C].? International Conference on Learning Analytics and Knowledge. ACM， 2015：103-107.

[38] GWEON G H，LEE H S，DORSEY C， et al. Tracking student progress in a game-like learning environment with a Monte Carlo Bayesian knowledge tracing model[C]. International Conference on Learning Analytics and Knowledge. ACM， 2015：166-170.

[39] ALLEN L K，MILLS C，JACOVINA M E，et al. Investigating boredom and engagement during writing using multiple sources of information： the essay， the writer， and keystrokes[J].? LAK '16 Proceedings of the Sixth International Conference on Learning Analytics & Knowledge，2016：114-123.

[40] KASER T，HALLINEN N R，SCHWARTZ D L. Modeling exploration strategies to predict student performance within a learning environment and beyond[C]. International Learning Analytics & Knowledge Conference. ACM， 2017：31-40.

[41] FANCSALI S E，RITTER S. Context personalization， preferences， and performance in an intelligent tutoring system for middle school mathematics[C]. International Conference on Learning Analytics and Knowledge. ACM， 2014：73-77.

（責任編輯：黃 健）