摘要：以數(shù)據(jù)為載體驅(qū)動(dòng)學(xué)生學(xué)習(xí)表現(xiàn)評估是教育領(lǐng)域的重要研究內(nèi)容，鑒于單一學(xué)習(xí)模型在學(xué)習(xí)成績預(yù)測時(shí)會出現(xiàn)泛化效果較差的情況，提出一種融合多個(gè)單一學(xué)習(xí)模型的Stacking集成學(xué)習(xí)模型，以KNN、邏輯斯諦回歸、樸素貝葉斯、決策樹四種模型作為集成學(xué)習(xí)模型的基分類器，選擇XGBoost模型作為次學(xué)習(xí)器。結(jié)果表明，Stacking集成學(xué)習(xí)模型的準(zhǔn)確率為99.4%、F1-score為96.18%，優(yōu)于單一學(xué)習(xí)模型，對在線課程的學(xué)習(xí)成績預(yù)測有較好的效果，能夠有效預(yù)測學(xué)生的學(xué)習(xí)表現(xiàn)，為開展在線教學(xué)的教師提供學(xué)習(xí)預(yù)警。

關(guān)鍵詞：在線學(xué)習(xí)；Stacking；集成學(xué)習(xí)；成績預(yù)測

隨著信息技術(shù)的快速發(fā)展，在線學(xué)習(xí)已成為一種日益普及的教育形式。在線學(xué)習(xí)突破了傳統(tǒng)課堂的時(shí)空限制，使得學(xué)習(xí)方式更加靈活。《教育部2022年工作要點(diǎn)》中明確指出[1]，要積極推進(jìn)教育數(shù)字轉(zhuǎn)型和智能升級，構(gòu)建基于數(shù)據(jù)的教育治理新模式，從而改進(jìn)學(xué)生的評價(jià)模式?，F(xiàn)有的研究表明，學(xué)習(xí)行為和學(xué)習(xí)成績之間存在密切的關(guān)系[2]，學(xué)習(xí)行為是影響學(xué)業(yè)成就的重要因素，及時(shí)評測與干預(yù)學(xué)習(xí)行為會對學(xué)習(xí)成績的改善有促進(jìn)作用[3]。教師在傳統(tǒng)的課堂多采用總結(jié)性評價(jià)方式評估學(xué)生的學(xué)習(xí)質(zhì)量，但是總結(jié)性評價(jià)無法有效體現(xiàn)學(xué)生學(xué)習(xí)過程中的學(xué)習(xí)狀態(tài)。在對學(xué)生的學(xué)習(xí)成績的研究中，自我報(bào)告數(shù)據(jù)會被部分學(xué)者采納，而自我報(bào)告的數(shù)據(jù)不能真實(shí)反映實(shí)際的學(xué)習(xí)行為[4]；在線教育的興起，教育數(shù)據(jù)的迅速增加，以學(xué)習(xí)行為數(shù)據(jù)為載體驅(qū)動(dòng)教育的合理評價(jià)與科學(xué)變革，成為研究學(xué)者所需要思考的問題。針對上述問題，本文采取“集體決策”思路，采用集成學(xué)習(xí)方法構(gòu)建學(xué)習(xí)成績預(yù)測模型，并與單個(gè)分類模型進(jìn)行性能比較分析。

一、相關(guān)研究

機(jī)器學(xué)習(xí)是基于經(jīng)驗(yàn)自動(dòng)改進(jìn)其系統(tǒng)性能的人工智能領(lǐng)域的一門科學(xué)，集成學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種訓(xùn)練思路，旨在將數(shù)據(jù)融合、數(shù)據(jù)建模和數(shù)據(jù)挖掘整合到一個(gè)統(tǒng)一的框架中，在許多應(yīng)用中都表現(xiàn)出明顯的優(yōu)勢。基于學(xué)生的學(xué)習(xí)行為數(shù)據(jù)，可以了解學(xué)生的學(xué)習(xí)情況，國內(nèi)外的學(xué)者應(yīng)用機(jī)器學(xué)習(xí)等算法開展了較多的研究。Jiang等[5]基于Coursera開設(shè)的6門課程數(shù)據(jù)，選取了對課程有影響且所有課程共有的學(xué)習(xí)行為特征對學(xué)習(xí)成果進(jìn)行了預(yù)測。You[4]探究了大學(xué)生的LMS數(shù)據(jù)與課程成績之間的關(guān)系，研究發(fā)現(xiàn)定期學(xué)習(xí)、遲交作業(yè)、課程登錄頻率以及閱讀課程信息包的證明是預(yù)測學(xué)生課程成績的指標(biāo)。

近年來，研究者們開始關(guān)注將不同類型的模型和異構(gòu)數(shù)據(jù)進(jìn)行集成，以更全面地理解學(xué)生學(xué)業(yè)表現(xiàn)，為學(xué)生學(xué)習(xí)情況提供全面的預(yù)測。Priyambada[6]提出了一種結(jié)合集合學(xué)習(xí)和基于集合的漸進(jìn)式雙層集合學(xué)習(xí)技術(shù)，并利用學(xué)生的學(xué)習(xí)行為數(shù)據(jù)和領(lǐng)域知識來預(yù)測當(dāng)前和過去的成績，結(jié)果表明，雙層集合學(xué)習(xí)技術(shù)在學(xué)生數(shù)據(jù)集上的準(zhǔn)確性得到了提高。Teoh等[7]使用三種集成學(xué)習(xí)方法來預(yù)測學(xué)生的表現(xiàn)，通過平衡輸出特征的數(shù)量來建立集成學(xué)習(xí)模型。結(jié)果表明，所提出的AdaBoost型集成分類器的預(yù)測精度最高。陳子健等[8]采用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)的方法對480名的學(xué)生學(xué)習(xí)成績進(jìn)行預(yù)測，研究結(jié)果表明對基分類器的結(jié)果進(jìn)行組合的集成學(xué)習(xí)方法可以有效提升預(yù)測模型的性能。趙宇奔等[9]基于學(xué)情預(yù)測存在數(shù)據(jù)維度單一和數(shù)據(jù)結(jié)構(gòu)不平衡等問題，構(gòu)建高準(zhǔn)確性和高泛化能力的K-XGBoost學(xué)情預(yù)測融合算法，實(shí)驗(yàn)結(jié)果表明，K-XGBoost多個(gè)子類模型的預(yù)測值均較好地逼近真實(shí)值。

二、特征工程

（一）數(shù)據(jù)來源

本研究使用在線課程注冊和學(xué)生參與數(shù)據(jù)集，該數(shù)據(jù)集來自kaggle，該數(shù)據(jù)集包括課程ID、學(xué)生ID、學(xué)生的注冊狀態(tài)信息、是否查看課程內(nèi)容、是否詳細(xì)瀏覽課程內(nèi)容，以及最終是否獲得了課程證書等信息。采集到的數(shù)據(jù)總計(jì)641138條，根據(jù)是否有缺失信息標(biāo)志的字段以及缺失信息的數(shù)據(jù)，共剔除510，339條數(shù)據(jù)，最終保留的數(shù)據(jù)數(shù)為130799條。剔除與學(xué)習(xí)成績預(yù)測無關(guān)的屬性：索引（index）、隨機(jī)數(shù)（Random）、課程id（course_id）、用戶id（userid_DI）、是否注冊（registered）、用戶在課程中的角色（roles）、是否有缺失信息（incomplete_flag），并將參加該課程最后一次活動(dòng)和開始學(xué)習(xí)該課程的日期相減，構(gòu)建學(xué)習(xí)課程天數(shù)新屬性，最終形成每條數(shù)據(jù)記錄共14個(gè)屬性如表1所示。

本研究依據(jù)學(xué)習(xí)者最終是否獲得相應(yīng)的課程證書，將學(xué)習(xí)者的學(xué)習(xí)成績劃分為兩個(gè)層次，其中：沒有獲得課程證書的為0，獲得課程證書的為1。

數(shù)據(jù)集中包含定類變量和數(shù)值變量，為減少數(shù)值變量取值差異對最終預(yù)測產(chǎn)生影響，對數(shù)值變量歸一化處理，讓所有數(shù)值數(shù)據(jù)取值映射在0-1之間。

（二）學(xué)習(xí)成績影響因素的選取

處理后的數(shù)據(jù)中仍包含一些與學(xué)習(xí)成績相關(guān)性較小的變量，與學(xué)習(xí)成績相關(guān)程度較小的學(xué)習(xí)行為屬性需要?jiǎng)h除。本研究選擇對屬性排序的方式確定最終的學(xué)習(xí)成績影響因素，本實(shí)驗(yàn)基于Python的庫SciPy，將學(xué)習(xí)成績影響因素與學(xué)習(xí)成績進(jìn)行相關(guān)性分析并判斷顯著性，選取和學(xué)習(xí)成績相關(guān)性＞0.4且顯著性p＜0.01的6個(gè)變量，分析的結(jié)果如表2所示。

從表2中可以看出，在線學(xué)習(xí)中除瀏覽外是否還對課程內(nèi)容進(jìn)行其他學(xué)習(xí)、課程的考核評價(jià)、互動(dòng)操作的次數(shù)、在課程中活躍的天數(shù)、在課程中點(diǎn)擊視頻次數(shù)、參與互動(dòng)的章節(jié)數(shù)量6個(gè)指標(biāo)與學(xué)習(xí)成績顯著正相關(guān)，其中，課程的考核評價(jià)與學(xué)習(xí)成績的相關(guān)性最大，為0.92，在課程中點(diǎn)擊視頻次數(shù)與學(xué)習(xí)成績的相關(guān)性最小，為0.41，因此選取上述6個(gè)指標(biāo)作為預(yù)測變量。

一、實(shí)驗(yàn)及結(jié)果分析

在本研究中，將是否完成課程并獲得證書視為課程的學(xué)習(xí)成績，預(yù)測類別為：0、1。分類任務(wù)的主要過程是將數(shù)據(jù)集劃分成訓(xùn)練集和測試集，訓(xùn)練集用來讓模型學(xué)習(xí)數(shù)據(jù)特征，測試集用來評估訓(xùn)練的模型性能優(yōu)劣。單一分類器在某些情況下表現(xiàn)出色，但會出現(xiàn)分類效果不佳，模型的泛化能力較差的情況。為提高分類器的性能，本研究采用集成學(xué)習(xí)的方法，將多個(gè)單一分類器組合成一個(gè)效果更好的集成分類器。選取KNN、邏輯斯諦回歸、樸素貝葉斯、決策樹四種模型作為集成學(xué)習(xí)模型的基分類器，選擇XGBoost模型作為次學(xué)習(xí)器。集成學(xué)習(xí)模型框架如圖1所示。

本文采用準(zhǔn)確率（Accuracy），F(xiàn)1得分（F1-score）兩個(gè)指標(biāo)評價(jià)算法的預(yù)測結(jié)果。準(zhǔn)確率是二分類模型中最直觀的評價(jià)指標(biāo)，易于解釋和理解，但是準(zhǔn)確率的局限性在于，當(dāng)數(shù)據(jù)集不平衡時(shí)，即某一類的樣本數(shù)量遠(yuǎn)大于其他類時(shí)，準(zhǔn)確率可能會失去參考價(jià)值。F1得分是綜合考慮精確率和召回率的結(jié)果，可以同時(shí)考慮到模型的精確性和完整性，因此在數(shù)據(jù)不平衡的情況下，F(xiàn)1得分通常比準(zhǔn)確率更能準(zhǔn)確地反映模型的性能。最終的模型實(shí)驗(yàn)結(jié)果如圖2、圖3所示。

從圖2、圖3中可以看出，stacking集成學(xué)習(xí)模型性能優(yōu)于單一學(xué)習(xí)模型。其中：stacking集成學(xué)習(xí)模型的準(zhǔn)確率為99.4%，比單一學(xué)習(xí)模型中表現(xiàn)最好的邏輯斯諦回歸模型高0.09%；stacking集成學(xué)習(xí)模型的F1-score值為96.18%，比單一學(xué)習(xí)模型中表現(xiàn)最好的邏輯斯諦回歸模型高0.59%。

從上述實(shí)驗(yàn)結(jié)果中可以看出，Stacking集成學(xué)習(xí)模型融合KNN、邏輯斯諦回歸、樸素貝葉斯、決策樹以及XGBoost模型的性能效果優(yōu)于單一學(xué)習(xí)模型，這是因?yàn)楫?dāng)多個(gè)基礎(chǔ)學(xué)習(xí)器之間存在差異，在訓(xùn)練過程中模型可能出現(xiàn)局部最小點(diǎn)的情況，但每個(gè)學(xué)習(xí)器都可能在某些方面有所優(yōu)勢通過“博采眾長”的策略，通過結(jié)合多個(gè)基礎(chǔ)學(xué)習(xí)器的預(yù)測效果來生成最終預(yù)測結(jié)果，可以提高模型的準(zhǔn)確性和穩(wěn)定性，有效減少局部最小點(diǎn)風(fēng)險(xiǎn)。

一、總結(jié)

本研究基于“以學(xué)習(xí)行為數(shù)據(jù)為載體驅(qū)動(dòng)教育的合理評價(jià)與科學(xué)變革”的研究問題，鑒于單一學(xué)習(xí)模型的泛化能力較弱的情況，提出一種兩層的Stacking集成學(xué)習(xí)模型，以KNN、邏輯斯諦回歸、樸素貝葉斯、決策樹為初級學(xué)習(xí)器，XGBoost模型為次級學(xué)習(xí)器。通過數(shù)據(jù)清理、相關(guān)性分析、顯著性分析和特征選取等特征工程，確定了新的數(shù)據(jù)集，用于后面模型的學(xué)習(xí)、訓(xùn)練與預(yù)測，通過實(shí)驗(yàn)將Stacking集成學(xué)習(xí)模型與KNN、邏輯斯諦回歸、樸素貝葉斯、決策樹四個(gè)單一學(xué)習(xí)模型進(jìn)行比較。結(jié)果表明：Stacking集成學(xué)習(xí)模型在準(zhǔn)確率和F1-score兩個(gè)性能指標(biāo)均優(yōu)于單一學(xué)習(xí)模型，對在線課程的學(xué)習(xí)成績預(yù)測有較好的效果。由于此次的數(shù)據(jù)集的采集場景為在線課程，后續(xù)研究可以考慮結(jié)合混合式課堂的數(shù)據(jù)，構(gòu)建效果更佳的學(xué)習(xí)成績預(yù)測模型，從而提高學(xué)生學(xué)習(xí)情況的預(yù)測效果。

參考文獻(xiàn)：

• 教育部.教育部2022年工作要點(diǎn)[OL].

http：//www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/202202/t20220208_597666.html.

• CredéM，KuncelNR.Studyhabits，skills，andattitudes：Thethirdpillarsupportingcollegiateacademicperformance[J].Perspectivesonpsychologicalscience，2008，3（6）：425-453.
• JoséHanhama，ACBL，BTT.Theinfluenceoftechnology acceptance，academicself-efficacy，andgenderonacademicachievementthroughonlinetutoring[J].Computers&Education，2021（5）：104252.
• YouJW.IdentifyingsignificantindicatorsusingLMSdatatopredictcourseachievementinonlinelearning[J].TheInternetandHigherEducation，2016，29：23-30.
• ZhuoxuanJ，YanZ，XiaomingL.LearningbehavioranalysisandpredictionbasedonMOOCdata[J].Journalofcomputerresearchanddevelopment，2015，52（3）：614.
• PriyambadaSA，UsagawaT，MahendrawathiER.Two-layerensemblepredictionofstudents’performanceusinglearningbehavioranddomainknowledge[J].ComputersandEducation：ArtificialIntelligence，2023，5：100149.
• TeohCW，HoSB，DollmatKS，etal.Ensemble-Learningtechniquesforpredictingstudentperformanceonvideo-basedlearning[J].InternationalJournalofInformationandEducationTechnology，2022，12（8）：741-745.
• 陳子健，朱曉亮.基于教育數(shù)據(jù)挖掘的在線學(xué)習(xí)者學(xué)業(yè)成績預(yù)測建模研究[J].中國電化教育，2017（12）：75-81+89.
• 趙宇奔，王鑫寧，李崇.基于K-XGBoost融合模型的高校學(xué)生學(xué)情預(yù)測研究[J].南京師大學(xué)報(bào)（自然科學(xué)版），2023，46（03）：89-97.

基金項(xiàng)目：2023年度安徽省科研編制計(jì)劃項(xiàng)目---基于物聯(lián)網(wǎng)和大數(shù)據(jù)的汽車充電樁控制系統(tǒng)設(shè)計(jì)（項(xiàng)目編號：2023AH052385）；2024年度蕪湖職業(yè)技術(shù)學(xué)院校級科學(xué)研究項(xiàng)目（wzyzr202435）；2023年質(zhì)量工程項(xiàng)目（2023jyxm1311）；新時(shí)代職業(yè)學(xué)校名師（名匠）名校長培養(yǎng)計(jì)劃

作者簡介：李杰（1996—），男，安徽合肥人，碩士，蕪湖職業(yè)技術(shù)學(xué)院信息與人工智能學(xué)院助教，研究方向：計(jì)算機(jī)應(yīng)用、數(shù)據(jù)挖掘。