黃江濤，謝 穎

(南寧師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院;廣西人機(jī)交互與智能決策重點(diǎn)實(shí)驗(yàn)室，廣西 南寧 530001)

0 引言

近年來，一些學(xué)者基于傳統(tǒng)機(jī)器學(xué)習(xí)方法開展了在線學(xué)習(xí)成效預(yù)測研究工作，包括邏輯回歸、馬爾科夫模型、支持向量機(jī)、決策樹、隨機(jī)森林等[3-8]。這些方法在相同的在線課程歷史數(shù)據(jù)分析中可以獲得較好的預(yù)測性能，但一般需要從海量的在線學(xué)習(xí)行為數(shù)據(jù)中提取特征，導(dǎo)致其預(yù)測性能在一定程度上取決于研究者的領(lǐng)域知識和經(jīng)驗(yàn)，實(shí)際應(yīng)用的成效甚微。

鑒于深度學(xué)習(xí)可以直接處理原始數(shù)據(jù)，且其最近十余年在計(jì)算機(jī)視覺、語音識別和自然語言處理等領(lǐng)域取得了巨大成功，一些研究者開始基于深度學(xué)習(xí)開展在線學(xué)習(xí)行為分析與預(yù)測研究。伍斯特理工學(xué)院和哈佛大學(xué)的研究者[9]通過構(gòu)建一個含5個隱藏層的全連接前饋深度神經(jīng)網(wǎng)絡(luò)進(jìn)行輟學(xué)預(yù)測，獲得了比一般線性模型更優(yōu)的性能。清華大學(xué)Feng等[10]在一個統(tǒng)一的框架下融合分析在線學(xué)習(xí)者和課程信息，提出了上下文感知特征交互網(wǎng)絡(luò)(CFIN)深度學(xué)習(xí)模型，在學(xué)堂在線歷史數(shù)據(jù)集分析中取得了良好的性能。

以上方法雖然有助于提高輟學(xué)預(yù)測結(jié)果的準(zhǔn)確性和提升在線學(xué)習(xí)成效，但沒有側(cè)重關(guān)注早期輟學(xué)群體的分析研究。一些研究發(fā)現(xiàn)，大部分的輟學(xué)開始于在線課程的前幾周，例如，文獻(xiàn)[11]發(fā)現(xiàn)75%的輟學(xué)發(fā)生在課程的前幾周，如課程的前3個單元?？紤]到早期輟學(xué)預(yù)測存在數(shù)據(jù)不充分、不平衡和稀疏的問題，提出一種改進(jìn)的長短時記憶神經(jīng)網(wǎng)絡(luò)模型——差分循環(huán)神經(jīng)網(wǎng)絡(luò)(Differential Recurrent Neural Network based on LSTM，DiffLSTM)，利用在線學(xué)習(xí)行為周期統(tǒng)計(jì)信息和相鄰周期學(xué)習(xí)行為變化信息學(xué)習(xí)不同學(xué)習(xí)行為習(xí)慣下在線學(xué)習(xí)者的異常。構(gòu)建差分循環(huán)神經(jīng)網(wǎng)絡(luò)主要基于：雖然不同認(rèn)知水平和學(xué)習(xí)習(xí)慣的在線學(xué)習(xí)者的在線學(xué)習(xí)行為數(shù)據(jù)存在較大的差異，但他們的學(xué)習(xí)行為的時間周期是相似的。若存在輟學(xué)風(fēng)險的在線學(xué)習(xí)者，則在線學(xué)習(xí)行為的時間周期易發(fā)生突變情況，差分?jǐn)?shù)據(jù)分析更易也能更快地學(xué)習(xí)和捕捉到該異常，可以有效提升在線學(xué)習(xí)成效早期預(yù)測的性能。

1 在線學(xué)習(xí)成效預(yù)測

在線學(xué)習(xí)，特別是MOOCs之所以能獲得如此快速的發(fā)展，得益于在線學(xué)習(xí)平臺的優(yōu)質(zhì)資源，包括世界一流大學(xué)提供的優(yōu)質(zhì)課程、入學(xué)限制的取消、成本低、時間不受限制、空間不受限制等。但是，其較高的生師比和師生交流的異步性，導(dǎo)致在線學(xué)習(xí)者的輟學(xué)率一直居高不下，嚴(yán)重阻礙了MOOCs的發(fā)展。在線學(xué)習(xí)與傳統(tǒng)課程教學(xué)的學(xué)習(xí)與交互過程存在著較大的差異，如圖1所示。在傳統(tǒng)課堂教學(xué)中，教師與學(xué)生同一時間，在同一教室進(jìn)行面對面的教學(xué)活動，教師能夠?qū)崟r了解學(xué)生的表現(xiàn)，并可通過評估或者經(jīng)驗(yàn)感知不同學(xué)生的課堂學(xué)習(xí)成效，及時有效地采取相應(yīng)對策為存在學(xué)習(xí)成效不佳的學(xué)生提供輔導(dǎo)。在線學(xué)習(xí)則主要通過在線學(xué)習(xí)平臺遠(yuǎn)程開展教學(xué)活動，在線學(xué)習(xí)者眾多且來自世界各地，在線學(xué)習(xí)者與線上教師的比例非常高，且在線學(xué)習(xí)為異步進(jìn)行，線上教師很難實(shí)時、全面地了解和評估每位在線學(xué)習(xí)者的學(xué)習(xí)成效，難以及時開展有效的教學(xué)干預(yù)?？上驳氖牵诰€學(xué)習(xí)平臺收集了在線學(xué)習(xí)者基本背景信息和海量的在線學(xué)習(xí)行為細(xì)粒度數(shù)據(jù)信息，為在線學(xué)習(xí)行為分析與在線學(xué)習(xí)成效預(yù)測等提供了可能的途徑。

圖1 在線學(xué)習(xí)與傳統(tǒng)課程學(xué)習(xí)的差異

當(dāng)前在線學(xué)習(xí)成效預(yù)測主要聚焦于輟學(xué)預(yù)測，擬通過輟學(xué)預(yù)測及時發(fā)現(xiàn)存在潛在學(xué)習(xí)風(fēng)險的在線學(xué)習(xí)者并施以相應(yīng)的教學(xué)輔助。在這些研究工作中，輟學(xué)定義一般可劃分為從時間維度分析和從時間維度與最終學(xué)習(xí)成效綜合分析兩類。從時間維度分析，常劃分為3類：(1)在接下來的一周內(nèi)沒有參與在線學(xué)習(xí)；(2)在接下來的任意一周均未參與在線學(xué)習(xí)[12,13]；(3)在最后一周沒有參與在線學(xué)習(xí)[14]。從時間維度和最終學(xué)習(xí)成效綜合分析在考慮在線學(xué)習(xí)者某段時間內(nèi)未參與在線學(xué)習(xí)的同時，綜合考慮其是否完成最終課程測驗(yàn)進(jìn)行判斷[15,16]。早期基于傳統(tǒng)機(jī)器學(xué)習(xí)方法開展輟學(xué)預(yù)測的研究中，研究者常把在線學(xué)習(xí)輟學(xué)預(yù)測問題視為序列預(yù)測或分類問題，先從原始的活動記錄數(shù)據(jù)抽取特征，然后按固定時間間隔，如一周，構(gòu)建特征向量，最后通過監(jiān)督學(xué)習(xí)方法或半監(jiān)督學(xué)習(xí)方法實(shí)現(xiàn)分類或預(yù)測。然而，特征提取需要對在線學(xué)習(xí)行為源數(shù)據(jù)深入理解，此外，不同在線學(xué)習(xí)平臺采集的行為記錄也存在著差異。因此，基于傳統(tǒng)機(jī)器學(xué)習(xí)方法的準(zhǔn)確性和可靠性容易受到這些因素的影響從而魯棒性(魯棒性亦稱健壯性、穩(wěn)健性、強(qiáng)健性)不強(qiáng)。近年來基于深度學(xué)習(xí)開展的相關(guān)研究直接在原始在線學(xué)習(xí)行為數(shù)據(jù)上進(jìn)行分析，更易于發(fā)現(xiàn)潛在特征，獲得了較好的預(yù)測性能。基于深度學(xué)習(xí)方法在時間維度和最終學(xué)習(xí)成效綜合分析的輟學(xué)定義上開展早期輟學(xué)預(yù)測研究，構(gòu)建了在線學(xué)習(xí)成效早期預(yù)測模型(Early Learning Performance Prediction Model，ELEPP)。

2 在線學(xué)習(xí)成效早期預(yù)測模型

在線學(xué)習(xí)成效預(yù)測的目的更多地在于及時掌握在線學(xué)習(xí)者的學(xué)習(xí)成效，發(fā)現(xiàn)學(xué)習(xí)上存在困難的學(xué)生，因材施教，及時給予適當(dāng)?shù)慕虒W(xué)干預(yù)，減少在線學(xué)習(xí)中途輟學(xué)率。研究者發(fā)現(xiàn)輟學(xué)發(fā)生在在線課程早期的可能性更大，然而，在線課程早期特別是開課的前幾周，在線學(xué)習(xí)平臺收集到的在線學(xué)習(xí)行為數(shù)據(jù)十分有限，難以準(zhǔn)確地預(yù)測在線學(xué)習(xí)成效以便及時發(fā)現(xiàn)潛在的有教學(xué)輔導(dǎo)需求的在線學(xué)習(xí)者?？紤]到學(xué)習(xí)能力較強(qiáng)的在線學(xué)習(xí)者只需花較少的時間或只需查閱在線教學(xué)資源即可掌握在線課程內(nèi)容，而學(xué)習(xí)能力較弱或基礎(chǔ)知識較為薄弱的在線學(xué)習(xí)者需花費(fèi)較多的時間和精力和進(jìn)行較多形式的在線學(xué)習(xí)活動，將在線學(xué)習(xí)行為時序分析的注意力集中在在線學(xué)習(xí)行為周期的差異上，以便減少不同學(xué)習(xí)能力的群體在在線學(xué)習(xí)行為數(shù)據(jù)上的差異對學(xué)習(xí)成效預(yù)測所帶來的影響，更魯棒地發(fā)現(xiàn)有學(xué)習(xí)意愿卻學(xué)習(xí)受阻的在線學(xué)習(xí)者。

2.1 問題描述

工業(yè)建筑設(shè)計(jì)整體化與住宅設(shè)計(jì)整體化有著相似之處，作為城市內(nèi)部建設(shè)的重要組成部分，工業(yè)建筑不僅要注重自身的整體性，能夠滿足工業(yè)生產(chǎn)多方面使用需求，還需要能夠與城市發(fā)展規(guī)劃相一致。由于工業(yè)建筑所涉及的內(nèi)容較多，在設(shè)計(jì)過程中要重點(diǎn)關(guān)注工程質(zhì)量目標(biāo)，同時還要采用科學(xué)的手段提高建筑經(jīng)濟(jì)效益、環(huán)境效益與社會效益，這樣才能滿足新時期和諧社會發(fā)展要求，實(shí)現(xiàn)人與自然的和諧共融。由此可見，在工業(yè)建筑設(shè)計(jì)中堅(jiān)持整體性原則是優(yōu)化建筑環(huán)境的重要手段，能夠降低工業(yè)建筑對環(huán)境各方面造成的破壞。

構(gòu)建一個模型f(.,.|θ)，然后通過在線課程的歷史數(shù)據(jù)信息學(xué)習(xí)模型參數(shù)，最終實(shí)現(xiàn)當(dāng)前課程在線學(xué)習(xí)者的實(shí)時學(xué)習(xí)成效預(yù)測或輟學(xué)預(yù)測。具體過程可描述為：

(1)

(2)

2.2 DiffLSTM模型構(gòu)建

圖2 差分循環(huán)神經(jīng)網(wǎng)絡(luò)模型

融合兩層LSTM模塊編碼的循環(huán)神經(jīng)網(wǎng)絡(luò)模塊通過構(gòu)建更新門和重置門實(shí)現(xiàn)，實(shí)現(xiàn)過程詳見表達(dá)式(3)至式(6)。

(3)

(4)

(5)

(6)

2.3 在線學(xué)習(xí)者個人信息編碼

為了彌補(bǔ)在線學(xué)習(xí)行為早期分析中數(shù)據(jù)量貧乏的問題，考慮到不同背景和不同認(rèn)知能力的在線學(xué)習(xí)者在在線學(xué)習(xí)行為上存在著一定的差距，綜合分析在線學(xué)習(xí)者的個人背景信息有希望進(jìn)一步細(xì)化不同在線學(xué)習(xí)行為模式，提升在線學(xué)習(xí)成效早期預(yù)測模型的預(yù)測性能。具體實(shí)現(xiàn)過程為，首先提取、清洗、轉(zhuǎn)換在線學(xué)習(xí)者個人背景信息，然后通過獨(dú)熱編碼進(jìn)行編碼，最后構(gòu)建多層感知機(jī)模型進(jìn)行訓(xùn)練學(xué)習(xí)，并獲取有助于早期預(yù)測的隱藏特征，即：

fd=(W×D+b)

(7)

其中，D是學(xué)生個人背景信息的獨(dú)熱編碼， 是非線性激活函數(shù)，W是權(quán)重矩陣，b是偏置矩陣。

2.4 在線學(xué)習(xí)成效早期預(yù)測模型構(gòu)建

在線學(xué)習(xí)成效早期預(yù)測模型(ELEPP)將經(jīng)DiffLSTM分析在線學(xué)習(xí)者在線學(xué)習(xí)行為時序數(shù)據(jù)的結(jié)果和經(jīng)多層感知機(jī)分析在線學(xué)習(xí)者個人信息編碼的結(jié)果串連起來作為其輸入，然后構(gòu)建一分類器實(shí)現(xiàn)最終的分類，完成在線學(xué)習(xí)成效早期預(yù)測，模型架構(gòu)如圖3所示。

圖3 在線學(xué)習(xí)成效早期預(yù)測模型

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集

本研究使用開放大學(xué)學(xué)習(xí)分析數(shù)據(jù)集(Open University Learning Analytics Dataset，OULAD)[17]進(jìn)行實(shí)驗(yàn)分析。OULAD數(shù)據(jù)集收集了虛擬學(xué)習(xí)環(huán)境(Virtual learning environments，VLEs)上在線學(xué)習(xí)者的個人信息(如性別、學(xué)歷背景等)和所有在線學(xué)習(xí)互動行為記錄。該數(shù)據(jù)集包含22個開放大學(xué)課程，涉及2013年和2014年兩年開設(shè)的課程，詳見表1。在線學(xué)習(xí)者有32593名，在線學(xué)習(xí)交互行為記錄共有10655280條。鑒于存在部分在線學(xué)習(xí)者申請課程后并未進(jìn)行學(xué)習(xí)的情況，即個別學(xué)生未產(chǎn)生選修課程的任何在線學(xué)習(xí)交互行為記錄，通過數(shù)據(jù)預(yù)處理過濾了該部分在線學(xué)習(xí)者，形成了表1的各門在線課程的實(shí)際學(xué)生人數(shù)。同時，每一年開設(shè)的在線課程根據(jù)開課的月份設(shè)置了不同的編碼(類似于學(xué)期，如二月份開設(shè)的課程，編碼后綴為“B”)，同一在線課程在不同時間開設(shè)存在著一定的差異，包括時長和內(nèi)容。OULAD數(shù)據(jù)集標(biāo)注了課程類型，包括人文社科類課程和自然科學(xué)類課程。每個學(xué)生學(xué)習(xí)課程會有一個最終評估成績，包括優(yōu)秀、及格、不及格和輟學(xué)四類。

表1 實(shí)驗(yàn)中使用的OULAD數(shù)據(jù)集

本研究從支持教師及時發(fā)現(xiàn)存在學(xué)習(xí)困難的學(xué)生并及時實(shí)施干預(yù)的角度出發(fā)，以提升整體在線學(xué)習(xí)成效為目的，將優(yōu)秀和及格的在線學(xué)習(xí)者劃分為一類，不及格和輟學(xué)的在線學(xué)習(xí)劃分為另一類進(jìn)行實(shí)驗(yàn)分析。

3.2 數(shù)據(jù)預(yù)處理

3.3 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)通過PyTorch包[18]實(shí)現(xiàn)。ELEPP模型訓(xùn)練時，批量大小設(shè)置為100，每次模擬運(yùn)行5000步，學(xué)習(xí)率設(shè)置為0.001。

考慮到人文社科類課程和自然科學(xué)類課程差異較大，本研究將在線課程劃分為人文社科類和自然科學(xué)類后分別進(jìn)行實(shí)驗(yàn)分析。實(shí)驗(yàn)從現(xiàn)實(shí)應(yīng)用需求角度出發(fā)，基于歷史在線課程進(jìn)行訓(xùn)練，用實(shí)時在線課程測試。具體在OULAD數(shù)據(jù)集實(shí)驗(yàn)中，使用2013年的在線課程作為訓(xùn)練集，2014年的在線課程作為測試集。因?yàn)镺ULAD數(shù)據(jù)集的在線課程，即使同一課程，不同學(xué)期在課程時長、課程模塊與流程設(shè)計(jì)上均可能存在一定的差異，這可以很好地模擬現(xiàn)實(shí)應(yīng)用中新開設(shè)在線課程的實(shí)時在線學(xué)習(xí)成效預(yù)測。同時，從2013年在線課程中隨機(jī)抽取20%的樣本作為驗(yàn)證集，已提取更優(yōu)的參數(shù)。

本實(shí)驗(yàn)使用邏輯回歸(LR)和支持向量機(jī)(SVM)作為基線方法。在這些基線方法中，輸入為每位學(xué)生當(dāng)前課程在線學(xué)習(xí)行為輸入向量和個人背景信息輸入向量的串連，即基線方法的輸入向量包括n周在線學(xué)習(xí)行為向量和學(xué)生個人信息獨(dú)熱編碼。鑒于實(shí)現(xiàn)在線學(xué)習(xí)成效早期預(yù)測的目標(biāo)，實(shí)驗(yàn)分別進(jìn)行前10周(n≤10)的在線學(xué)習(xí)行為分析，測試課程時長達(dá)34～39周的在線課程的學(xué)習(xí)成效早期預(yù)測。評價指標(biāo)使用準(zhǔn)確率(Accuracy)和F1值(F1 score)指標(biāo)。

3.4 實(shí)驗(yàn)結(jié)果分析

研究社科類課程和自然科學(xué)類課程的在線學(xué)習(xí)成效早期預(yù)測性能比較(表2、表3)。在同一類型課程的預(yù)測性能實(shí)驗(yàn)中，包含了多門不同課程，例如，自然科學(xué)類包含了CCC、DDD、EEE、FFF 4門不同的課程；而且同一課程不同學(xué)期也存在差異，例如，DDD課程在2013B學(xué)期時長為35周，在2014J學(xué)期時長為38周。同時，有個別課程2013年未開設(shè)，2014年開設(shè)，如，CCC課程，屬于新開設(shè)課程的在線學(xué)習(xí)成效早期預(yù)測性能測試。

表2 在線學(xué)習(xí)成效早期預(yù)測性能比較(人文社科類課程)

表3 在線學(xué)習(xí)成效早期預(yù)測性能比較(自然科學(xué)類課程)

從表2可知，LR、SVM和本研究提出的ELEPP模型在人文社科類課程在線學(xué)習(xí)成效早期預(yù)測準(zhǔn)確率上均能獲得良好的性能。從整體性能上來看，ELEPP模型更加穩(wěn)定，能獲取比LR和SVM更優(yōu)的準(zhǔn)確率性能。如前所述，研究者發(fā)現(xiàn)在線課程輟學(xué)在早期發(fā)生的概率較大，該部分在線學(xué)習(xí)者在線學(xué)習(xí)行為記錄數(shù)存在驟降或明顯減少現(xiàn)象，容易被檢測出來，所以能夠在課程早期就可以獲取良好的預(yù)測準(zhǔn)確率。另一方面，基礎(chǔ)扎實(shí)且學(xué)習(xí)能力強(qiáng)的在線學(xué)習(xí)者的在線學(xué)習(xí)行為記錄數(shù)也相對較少，容易被誤檢，所以，召回率同樣是重要的考量指標(biāo)。良好的召回率性能可以在提升決策支持教師實(shí)施教學(xué)干預(yù)的同時，減少教師錯誤干預(yù)帶來的時間損耗。從綜合分析了精確率和召回率的F1值來看，ELEPP模型的性能更優(yōu)，隨著學(xué)習(xí)周的不斷推進(jìn)，F(xiàn)1值穩(wěn)步提升，更契合現(xiàn)實(shí)情況。ELEPP模型在第10周的F1值達(dá)到80.4%，比LR提升5.48%，比SVM提升3.99%。

從表3可知，ELEPP模型比LR和SVM方法在準(zhǔn)確率和F1值均能獲得更優(yōu)的性能。ELEPP模型在第1周的準(zhǔn)確率分別比LR和SVM方法提升0.74%和0.94%，F(xiàn)1值分別比LR和SVM方法提升5.2%和6.66%。同時，3種方法隨著學(xué)習(xí)周的推進(jìn)，性能均得到穩(wěn)步提升，但ELEPP模型性能提升得更快，一定程度上反映了該模型能夠更有效地捕捉到在線學(xué)習(xí)行為的時序異常。到第10周時，ELEPP模型同樣獲得最優(yōu)的性能，在準(zhǔn)確率上分別比LR和SVM提升了9.16%和6.29%，在F1值上分別比LR和SVM提升了12.91%和10.16%?？梢悦黠@地發(fā)現(xiàn)，在第10周時ELEPP模型比基線方法在學(xué)習(xí)成效預(yù)測性能上的提升比第1周時更加突出。

比較表2和表3可以發(fā)現(xiàn)，人文社科類在線課程的預(yù)測性能整體優(yōu)于自然科學(xué)類在線課程，主要是因?yàn)樽匀豢茖W(xué)類課程在教學(xué)模塊設(shè)計(jì)和教學(xué)流程等方面相互之間差異更大，同時，OULAD數(shù)據(jù)集自然科學(xué)類存在2014年新開設(shè)課程，人文社科類未存在2014年新開設(shè)課程。同時也可以發(fā)現(xiàn)，雖然自然科學(xué)類在線課程學(xué)習(xí)成效預(yù)測性能整體上弱于人文社科類，但ELEPP模型仍然獲得了較好的預(yù)測性能，特別是隨著學(xué)習(xí)周的不斷推進(jìn)，ELEPP模型能夠及時地獲取在線學(xué)習(xí)行為的時序差異信息，并有效地提升模型早期預(yù)測性能，體現(xiàn)了較好的魯棒性，在存在大量新開設(shè)課程的現(xiàn)實(shí)應(yīng)用中明顯要優(yōu)于傳統(tǒng)方法LR和SVM。

4 結(jié) 語

針對在線學(xué)習(xí)成效早期預(yù)測容易因在線學(xué)習(xí)行為數(shù)據(jù)稀缺而難以獲得較好的預(yù)測性能問題，提出了一個差分循環(huán)神經(jīng)網(wǎng)絡(luò)模型DiffLSTM，旨在挖掘不同學(xué)歷背景、不同學(xué)習(xí)習(xí)慣、不同學(xué)習(xí)能力的潛在在線學(xué)習(xí)行為規(guī)律，緩解分類預(yù)測模型的過程擬合現(xiàn)象。在此基礎(chǔ)上，構(gòu)建了在線學(xué)習(xí)成效早期預(yù)測模型ELEPP，融合在線學(xué)習(xí)行為和在線學(xué)習(xí)者背景信息的分析結(jié)果，進(jìn)一步提升在線課程早期學(xué)習(xí)成效預(yù)測性能?；贠ULAD公開數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明ELEPP模型能夠在在線課程學(xué)習(xí)成效早期預(yù)測上獲得較好的預(yù)測性能。同時，實(shí)驗(yàn)也表明了ELEPP模型有更好的魯棒性，在處理跨課程、新開設(shè)課程學(xué)習(xí)成效早期預(yù)測上也能獲得較理想的準(zhǔn)確率和F1值，能夠支持教師及時有效地實(shí)施教學(xué)干預(yù)，具有一定的應(yīng)用前景。