范福蘭 黃艷琳 萬力勇 梅 林 熊 曳

多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)*

范福蘭1黃艷琳1萬力勇1梅 林2熊 曳3

（1．中南民族大學(xué) 教育學(xué)院，湖北武漢 430074；2．湖北開放大學(xué) 導(dǎo)學(xué)中心，湖北武漢 430074；3．華中科技大學(xué)附屬小學(xué)，湖北武漢 430074）

在深化新時(shí)代教育評(píng)價(jià)改革的背景下，充分應(yīng)用多模態(tài)技術(shù)開展混合式學(xué)習(xí)的綜合性評(píng)價(jià)，對(duì)于破除當(dāng)前本科教育教學(xué)中的唯分?jǐn)?shù)學(xué)習(xí)評(píng)價(jià)頑疾具有重要作用?；诖?，文章首先設(shè)計(jì)了多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)框架，并依托此框架通過自動(dòng)錄播、線上平臺(tái)數(shù)據(jù)采集、測(cè)試等多種方式捕獲混合式學(xué)習(xí)環(huán)境下的大學(xué)生多模態(tài)學(xué)習(xí)數(shù)據(jù)；然后篩選最優(yōu)特征選擇方法并融合多種分類算法，形成了大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型；最后依據(jù)模型綜合評(píng)價(jià)學(xué)生的混合式學(xué)習(xí)情況，結(jié)果表明：方差選擇法與決策樹分類算法相結(jié)合，能達(dá)到最優(yōu)評(píng)價(jià)效果；線上學(xué)習(xí)中的章節(jié)學(xué)習(xí)、視頻學(xué)習(xí)時(shí)長、話題討論和線下學(xué)習(xí)中的注意力、學(xué)習(xí)筆記是評(píng)價(jià)學(xué)生混合式學(xué)習(xí)的最佳評(píng)價(jià)特征，其中視頻學(xué)習(xí)時(shí)長對(duì)期末測(cè)試成績的影響最大。文章的研究對(duì)于改進(jìn)大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)，體現(xiàn)評(píng)價(jià)對(duì)提升本科教學(xué)質(zhì)量的促進(jìn)作用具有重要意義。

多模態(tài)數(shù)據(jù)；混合式學(xué)習(xí)；學(xué)習(xí)評(píng)價(jià)；分類算法

混合式學(xué)習(xí)通過線上學(xué)習(xí)和線下教學(xué)的有機(jī)整合，突破了時(shí)空限制，引導(dǎo)學(xué)習(xí)者隨時(shí)隨地學(xué)習(xí)，在教育教學(xué)中得到廣泛應(yīng)用[1]。有效的混合式學(xué)習(xí)評(píng)價(jià)有助于精準(zhǔn)定位學(xué)生的學(xué)習(xí)動(dòng)態(tài)，為及時(shí)調(diào)整教學(xué)提供依據(jù)，是提升混合式學(xué)習(xí)質(zhì)量的關(guān)鍵[2]。然而，紙筆測(cè)試仍是當(dāng)前高?；旌鲜綄W(xué)習(xí)評(píng)價(jià)的主導(dǎo)方式[3]，難以全面刻畫動(dòng)態(tài)、復(fù)雜的混合式學(xué)習(xí)過程，阻礙了混合式學(xué)習(xí)的高效開展。多模態(tài)學(xué)習(xí)評(píng)價(jià)旨在融合兩種及以上來源的數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘分析方法客觀評(píng)價(jià)復(fù)雜的學(xué)習(xí)行為并深入分析[4]，其動(dòng)態(tài)多維、精準(zhǔn)全面的特性與混合式學(xué)習(xí)特征高度契合，為大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)改革提供了新思路。同時(shí)，混合式學(xué)習(xí)的發(fā)生空間與活動(dòng)方式多樣，其產(chǎn)生的大量多模態(tài)數(shù)據(jù)為多模態(tài)學(xué)習(xí)評(píng)價(jià)提供了充足的數(shù)據(jù)源，包括線上學(xué)習(xí)數(shù)據(jù)（如學(xué)習(xí)日志、研討交互、點(diǎn)擊數(shù)據(jù)）[5]、線下學(xué)習(xí)數(shù)據(jù)（如肢體動(dòng)作、頭部姿勢(shì)、面部表情）等[6]。在此背景下，如何應(yīng)用多模態(tài)學(xué)習(xí)評(píng)價(jià)對(duì)復(fù)雜的混合式學(xué)習(xí)活動(dòng)進(jìn)行測(cè)量與分析，成為了當(dāng)前研究的熱點(diǎn)。基于此，本研究以探索混合式學(xué)習(xí)多模態(tài)評(píng)價(jià)中的數(shù)據(jù)特征選擇及其融合方法、構(gòu)建大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型為目標(biāo)，通過數(shù)據(jù)采集、特征選擇與融合、模型構(gòu)建等實(shí)證研究，探索多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)路徑，以期為改進(jìn)混合式學(xué)習(xí)評(píng)價(jià)提供借鑒。

一 文獻(xiàn)綜述

1 混合式學(xué)習(xí)評(píng)價(jià)研究

在混合式學(xué)習(xí)過程中，各類在線學(xué)習(xí)平臺(tái)與分析系統(tǒng)的使用，可實(shí)現(xiàn)學(xué)習(xí)行為的實(shí)時(shí)記錄，并產(chǎn)生了大量的線上學(xué)習(xí)數(shù)據(jù)，如學(xué)習(xí)日志、視頻瀏覽記錄、研討交互數(shù)據(jù)等[7][8]。由于線上學(xué)習(xí)數(shù)據(jù)容易被記錄與存儲(chǔ)，受到了研究者青睞。Van等[9]、Wu等[10]、武法提等[11]通過采集學(xué)生的線上學(xué)習(xí)數(shù)據(jù)，使用機(jī)器學(xué)習(xí)算法構(gòu)建學(xué)習(xí)成績預(yù)測(cè)模型，進(jìn)行學(xué)習(xí)成績預(yù)測(cè)和學(xué)生表現(xiàn)評(píng)估，取得了不錯(cuò)的效果。隨著自動(dòng)錄播設(shè)備、紅外攝像機(jī)等的應(yīng)用，采集線下教學(xué)環(huán)境中的學(xué)習(xí)過程數(shù)據(jù)（如學(xué)生的面部表情、頭部姿勢(shì)、肢體動(dòng)作等[12]）成為現(xiàn)實(shí)，為學(xué)習(xí)評(píng)價(jià)提供了支持。然而，由于線下學(xué)習(xí)數(shù)據(jù)的記錄與分析相對(duì)復(fù)雜，研究者多不愿嘗試，導(dǎo)致當(dāng)前高校混合式學(xué)習(xí)中的線下學(xué)習(xí)評(píng)價(jià)仍以紙筆測(cè)試、問卷調(diào)查為主[13][14]，難以客觀評(píng)價(jià)學(xué)生的學(xué)習(xí)動(dòng)態(tài)，降低了混合式學(xué)習(xí)評(píng)價(jià)結(jié)果的全面性和準(zhǔn)確性。

2 多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)

多模態(tài)數(shù)據(jù)是指兩種及以上不同表示形式或來源通道的數(shù)據(jù)[15]?；旌鲜綄W(xué)習(xí)涉及的多模態(tài)數(shù)據(jù)主要為線上、線下的學(xué)習(xí)過程數(shù)據(jù)，包括文本數(shù)據(jù)、圖像數(shù)據(jù)、音頻數(shù)據(jù)、生理數(shù)據(jù)等[16]。多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)評(píng)價(jià)通過采集和分析多維度學(xué)習(xí)過程數(shù)據(jù)，準(zhǔn)確定位學(xué)習(xí)狀態(tài)，具有與混合式學(xué)習(xí)高度契合的動(dòng)態(tài)、多維的特性：①動(dòng)態(tài)性。紅外攝像機(jī)、FACET、學(xué)習(xí)管理平臺(tái)等能動(dòng)態(tài)采集課堂教學(xué)情境中的自然數(shù)據(jù)并自動(dòng)標(biāo)注[17]，包括學(xué)生的肢體動(dòng)作、面部表情、交互對(duì)話等數(shù)據(jù)[18]，可實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)動(dòng)態(tài)的精準(zhǔn)把握。②空間多維性。多模態(tài)數(shù)據(jù)分析可將物理學(xué)習(xí)空間的言語信息、面部表情等數(shù)據(jù)，與網(wǎng)絡(luò)學(xué)習(xí)空間的日志數(shù)據(jù)、視頻瀏覽量、研討交互數(shù)據(jù)等進(jìn)行整合，實(shí)現(xiàn)對(duì)學(xué)生學(xué)習(xí)的多維、立體評(píng)價(jià)[19][20]。③高準(zhǔn)確性?；诙嗄B(tài)數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)可有效提升數(shù)據(jù)分析的準(zhǔn)確性，比單模態(tài)數(shù)據(jù)高5%[21]。Chango等[22]結(jié)合不同的數(shù)據(jù)融合與分類算法，分析大學(xué)混合課程中的多模態(tài)學(xué)習(xí)數(shù)據(jù)，以評(píng)價(jià)學(xué)生的混合式學(xué)習(xí)情況，結(jié)果表明：REPTree算法的準(zhǔn)確率高達(dá)87.47%，獲得的評(píng)價(jià)效果最佳。

綜上所述，當(dāng)前混合式學(xué)習(xí)評(píng)價(jià)研究側(cè)重線上學(xué)習(xí)行為的評(píng)價(jià)與分析，而線下日常真實(shí)學(xué)習(xí)場(chǎng)景中的數(shù)據(jù)融入不夠，因而存在片面性的問題。多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)能多方位獲取學(xué)生的學(xué)習(xí)數(shù)據(jù)，并通過深入挖掘?qū)崿F(xiàn)對(duì)學(xué)生學(xué)習(xí)過程的精準(zhǔn)評(píng)價(jià)，為混合式學(xué)習(xí)評(píng)價(jià)提供了新思路。因此，如何融合線上學(xué)習(xí)數(shù)據(jù)與線下真實(shí)學(xué)習(xí)環(huán)境中的多模態(tài)細(xì)粒度學(xué)習(xí)過程數(shù)據(jù)來多維度綜合評(píng)價(jià)學(xué)生的學(xué)習(xí)情況，是當(dāng)前混合式學(xué)習(xí)評(píng)價(jià)亟需解決的問題?；诖?，本研究擬重點(diǎn)探討以下問題：①如何構(gòu)建大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型以達(dá)到最佳評(píng)價(jià)效果？②如何融合線上線下多模態(tài)學(xué)習(xí)數(shù)據(jù)開展大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)？

二 研究設(shè)計(jì)

多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)可以更客觀地從多維度分析學(xué)生的真實(shí)學(xué)習(xí)情況，為提高混合式學(xué)習(xí)評(píng)價(jià)的精準(zhǔn)性提供了新思路。本研究通過數(shù)據(jù)采集、特征選擇與融合、模型構(gòu)建等實(shí)證研究，探索大學(xué)生混合式學(xué)習(xí)多模態(tài)評(píng)價(jià)路徑。

1 研究對(duì)象

本研究以武漢市S大學(xué)教育技術(shù)專業(yè)的41名本科生為研究對(duì)象，其中男生9人、女生32人，年齡在20～22歲之間。

2 數(shù)據(jù)來源

本研究的數(shù)據(jù)來源于專業(yè)必修課“教學(xué)系統(tǒng)設(shè)計(jì)”，內(nèi)容包括線下智慧教室中的理論教學(xué)、微格教室環(huán)境下的教學(xué)實(shí)踐、“超星學(xué)習(xí)通”支持的線上學(xué)習(xí)等，共48學(xué)時(shí)。

3 研究工具

表1 大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)框架

注：一節(jié)理論課總時(shí)長為45分鐘。

圖1 多模態(tài)學(xué)習(xí)數(shù)據(jù)的采集與分析框架

4 研究過程

本研究主要從兩個(gè)階段開展多模態(tài)學(xué)習(xí)數(shù)據(jù)的采集與分析，其框架如圖1所示。

（1）階段一：多模態(tài)學(xué)習(xí)數(shù)據(jù)的采集與預(yù)處理

依托線下學(xué)習(xí)數(shù)據(jù)、線上學(xué)習(xí)數(shù)據(jù)和學(xué)習(xí)績效三個(gè)特征維度，本研究從“教學(xué)系統(tǒng)設(shè)計(jì)”課程中收集了以下四種數(shù)據(jù)：①理論教學(xué)數(shù)據(jù)，是通過自動(dòng)錄播系統(tǒng)從理論課堂采集的教學(xué)視頻數(shù)據(jù)。本研究采用半自動(dòng)的方式，隨機(jī)抽取8個(gè)課時(shí)的教學(xué)視頻，將41名大學(xué)生的注意力、學(xué)習(xí)筆記、互動(dòng)情況等學(xué)習(xí)數(shù)據(jù)進(jìn)行編碼標(biāo)注，形成結(jié)構(gòu)化的課堂學(xué)習(xí)數(shù)據(jù)。②實(shí)踐練習(xí)數(shù)據(jù)，是在微格教室環(huán)境下，使用錄播設(shè)備采集的學(xué)生實(shí)踐數(shù)據(jù)，主要來源于教學(xué)模擬實(shí)踐、說課練習(xí)、課程教學(xué)設(shè)計(jì)。③線上學(xué)習(xí)數(shù)據(jù)，是通過在線學(xué)習(xí)平臺(tái)自動(dòng)存儲(chǔ)的學(xué)生線上學(xué)習(xí)過程數(shù)據(jù)，主要涉及課程教學(xué)視頻學(xué)習(xí)、話題討論、章節(jié)學(xué)習(xí)等。④期末測(cè)試數(shù)據(jù)，是學(xué)生在本門課程的期末測(cè)試成績。

數(shù)據(jù)預(yù)處理過程如下：首先，對(duì)數(shù)據(jù)進(jìn)行匿名化和數(shù)據(jù)清洗，刪除不完整的學(xué)習(xí)數(shù)據(jù)，如學(xué)生缺課、缺考等數(shù)據(jù)，以確保數(shù)據(jù)的完整性與有效性；其次，對(duì)學(xué)生的期末測(cè)試成績進(jìn)行離散化處理；最后，對(duì)數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)映射到0～1范圍之內(nèi)。本研究采用L2范數(shù)歸一化方法，使向量歸一化到單位向量，即建立一個(gè)從到的映射，使的范數(shù)為1，其計(jì)算如公式（1）所示。通過對(duì)數(shù)據(jù)的多次校驗(yàn)和處理，最終本研究抽取出36名大學(xué)生的有效數(shù)據(jù)作為研究樣本。

（2）階段二：多模態(tài)數(shù)據(jù)融合與評(píng)價(jià)模型訓(xùn)練

通過相關(guān)性分析、方差選擇法、卡方檢驗(yàn)等多種特征選擇方法，篩選出最重要的學(xué)習(xí)評(píng)價(jià)特征。之后，對(duì)評(píng)價(jià)模型進(jìn)行訓(xùn)練。模型訓(xùn)練分為兩個(gè)階段：第一個(gè)階段是劃分?jǐn)?shù)據(jù)集，將數(shù)據(jù)集隨機(jī)地平均分為10份，其中9份為訓(xùn)練集，剩下1份為測(cè)試集；第二個(gè)階段是分類算法調(diào)參，對(duì)10種分類算法分別調(diào)整其超參數(shù)，調(diào)用分類算法擬合訓(xùn)練集數(shù)據(jù)分布，并在測(cè)試集上測(cè)試分類效果，最后選擇分類效果最佳的超參數(shù)組合作為分類算法參數(shù)，篩選出最佳的特征選擇方法與分類模型組合，形成大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型。

三 數(shù)據(jù)分析

基于多場(chǎng)景數(shù)據(jù)和多種評(píng)價(jià)模型的融合分析方法能更全面地反映學(xué)習(xí)效果與不同學(xué)習(xí)特征之間的關(guān)系，提升評(píng)價(jià)模型的泛化能力[27]?；诖耍狙芯渴褂锰卣鬟x擇和分類算法對(duì)經(jīng)過預(yù)處理的多模態(tài)學(xué)習(xí)數(shù)據(jù)進(jìn)行融合分析。

結(jié)合通州的區(qū)域發(fā)展規(guī)劃及目前的智慧交通管理發(fā)展趨勢(shì)，通州智慧交通管理系統(tǒng)未來的發(fā)展展望可以概括為以下3個(gè)方面：

1 特征選擇

特征選擇是指從已有的M個(gè)特征中選擇N個(gè)最佳特征使系統(tǒng)的特定指標(biāo)最優(yōu)化，可降低數(shù)據(jù)集維度，縮短數(shù)據(jù)處理時(shí)間和模型訓(xùn)練時(shí)間，提升算法性能，是模型識(shí)別中關(guān)鍵的數(shù)據(jù)處理步驟[28]。本研究采用相關(guān)性分析、方差選擇法、卡方檢驗(yàn)等方法，選擇最重要的學(xué)習(xí)評(píng)價(jià)特征。

①相關(guān)性分析：皮爾遜相關(guān)系數(shù)r常用于度量兩個(gè)變量和之間的線性相關(guān)性，其計(jì)算如公式（2）所示。的結(jié)果取值區(qū)間為[-1, 1]，當(dāng)變量之間的線性關(guān)系增強(qiáng)時(shí)，值趨于1或-1。本研究運(yùn)用相關(guān)性分析計(jì)算所有特征對(duì)評(píng)價(jià)結(jié)果的相關(guān)系數(shù)，依據(jù)數(shù)值的高低刪除冗余或不相關(guān)的特征，篩選相關(guān)系數(shù)較高的學(xué)習(xí)特征，主要包括話題討論、視頻學(xué)習(xí)時(shí)長、章節(jié)學(xué)習(xí)、學(xué)習(xí)筆記和注意力。

②方差選擇法：先計(jì)算各個(gè)變量的方差，再根據(jù)閾值選擇方差大于閾值的變量——方差越大，表明信息量越大。本研究運(yùn)用方差選擇法計(jì)算所有特征對(duì)評(píng)價(jià)結(jié)果的方差值，然后選擇方差大于閾值的特征，從中篩選得分較高的學(xué)習(xí)特征，主要包括話題討論、注意力、位置、視頻學(xué)習(xí)時(shí)長、無效聽課和學(xué)習(xí)筆記。

③卡方檢驗(yàn)：檢驗(yàn)定性自變量對(duì)因變量的相關(guān)性。假設(shè)自變量有N種取值，因變量有M種取值，根據(jù)自變量=且因變量=的樣本頻數(shù)的觀察值與理論值之間的偏差判斷理論值的正確率。x為觀察值與理論值之間的偏差，其計(jì)算如公式（3）所示。x越大，變量之間的相關(guān)程度越高。本研究運(yùn)用卡方檢驗(yàn)計(jì)算所有特征對(duì)評(píng)價(jià)結(jié)果的卡方值，選擇大于閾值的特征，從中篩選得分較高的學(xué)習(xí)特征，主要包括注意力、視頻學(xué)習(xí)時(shí)長、章節(jié)學(xué)習(xí)、學(xué)習(xí)筆記和實(shí)踐成績。

2 分類算法與評(píng)價(jià)指標(biāo)

（1）分類算法的選擇

在分類算法的選擇上，決策樹、回歸分析、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等算法常用于分析學(xué)生的學(xué)習(xí)表現(xiàn)與效果[29]。本研究選擇10種常用的分類算法，即K近鄰、決策樹、支持向量機(jī)（SVM）、邏輯斯蒂回歸、隨機(jī)森林、梯度提升樹、多項(xiàng)式樸素貝葉斯、伯努利樸素貝葉斯、Bagging、AdaBoost，來分別比較不同算法對(duì)樣本的評(píng)價(jià)性能。

（2）評(píng)價(jià)指標(biāo)

常用的機(jī)器學(xué)習(xí)分類算法評(píng)價(jià)指標(biāo)有準(zhǔn)確率（Accuracy）、召回率（Recall）、精準(zhǔn)率（Precision）、F1-Score、ROC面積等[30]，本研究主要分析以下評(píng)估指標(biāo)：

①準(zhǔn)確率：用于評(píng)價(jià)正確的樣本數(shù)量占總量的百分比。準(zhǔn)確率的計(jì)算如公式（4）所示，值越大，說明模型的評(píng)價(jià)效果越好。

②F1-Score：是衡量二分類算法精準(zhǔn)度的指標(biāo)，能平衡分類模型的精準(zhǔn)率和召回率，是兩者的調(diào)和均值。F1-Score的計(jì)算如公式（5）所示，其最大值是1、最小值是0；值越大，模型的評(píng)價(jià)效果越好。

③ROC面積：ROC曲線是反映敏感性和特異性連續(xù)變量的綜合指標(biāo)。ROC是一個(gè)定性指標(biāo)，無法對(duì)模型效果進(jìn)行量化，但通過計(jì)算ROC曲線下方面積（即AUC）可實(shí)現(xiàn)模型效果的量化。AUC值一般在0.5～1之間，值越大，說明模型的評(píng)價(jià)效果越好。

3 評(píng)價(jià)模型效果分析

本研究在相關(guān)性分析、方差選擇法、卡方檢驗(yàn)等特征選擇方法篩選最佳特征的基礎(chǔ)上執(zhí)行10種分類算法，采用十折交叉驗(yàn)證法對(duì)各分類算法進(jìn)行訓(xùn)練和測(cè)試，結(jié)果如下：

①基于相關(guān)性分析的模型評(píng)價(jià)效果分析。算法輸出結(jié)果顯示，邏輯斯蒂回歸算法能很好地?cái)M合數(shù)據(jù)特征之間的線性關(guān)系，并且擅長處理二分類問題，其評(píng)價(jià)效果（準(zhǔn)確率為0.717，F(xiàn)1-Score值為0.834，ROC面積為0.783）優(yōu)于其他算法。

②基于方差選擇法的模型評(píng)價(jià)效果分析。算法輸出結(jié)果如表2所示，可以看出：準(zhǔn)確率最高的是K近鄰、決策樹（均為0.775）；F1-Score值最高的是決策樹（0.864）；ROC面積最大的是邏輯斯蒂回歸（0.783）。綜合考慮，評(píng)價(jià)效果最優(yōu)的為決策樹算法（準(zhǔn)確率為0.775，F(xiàn)1-Score值為0.864，ROC面積為0.633）。方差選擇法選取的特征信息量大，但關(guān)聯(lián)性不強(qiáng)，而決策樹算法能夠處理特征不相關(guān)的情況，因此在多個(gè)評(píng)價(jià)指標(biāo)上的表現(xiàn)優(yōu)于其他算法。

表2 基于方差特征選擇的算法輸出結(jié)果

注：準(zhǔn)確率、F1-Score值、ROC面積越靠近1，模型評(píng)價(jià)效果越優(yōu)。下同。

③基于卡方檢驗(yàn)的模型評(píng)價(jià)效果分析。結(jié)果顯示，邏輯斯蒂回歸算法的評(píng)價(jià)效果最優(yōu)（準(zhǔn)確率為0.717，F(xiàn)1-Score值為0.834，ROC面積為0.783）?？ǚ綑z驗(yàn)的原理是檢驗(yàn)兩個(gè)變量的相關(guān)性，而通過卡方檢驗(yàn)選取的兩兩特征之間具有一定的關(guān)聯(lián)。與基于相關(guān)性特征選擇類似，邏輯斯蒂回歸在這些特征集合上的分類表現(xiàn)更優(yōu)，可見邏輯斯蒂回歸能取得較好的評(píng)價(jià)結(jié)果。

四 研究結(jié)果

1 多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型的構(gòu)建結(jié)果

在特征選擇過程中，本研究使用相關(guān)性分析、方差選擇法、卡方檢驗(yàn)等特征選擇方法和10種分類算法評(píng)價(jià)大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型的效果。對(duì)10種分類算法的評(píng)價(jià)效果求平均，結(jié)果如表3所示，可以看出方差選擇法的評(píng)價(jià)效果最優(yōu)（準(zhǔn)確率為0.722，F(xiàn)1-Score值為0.828，ROC面積為0.592）。而在基于方差選擇法的模型評(píng)價(jià)效果分析中，決策樹分類算法的評(píng)價(jià)效果優(yōu)于其他算法。因此，教師在多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)中，宜采用方差選擇法選取特征數(shù)據(jù)，并在此基礎(chǔ)上結(jié)合決策樹分類算法構(gòu)建大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型，以取得最優(yōu)評(píng)價(jià)效果。

表3 三種特征選擇方法下10種分類算法的平均評(píng)價(jià)效果

2 線上線下多模態(tài)學(xué)習(xí)數(shù)據(jù)特征選擇與融合結(jié)果

本研究使用相關(guān)性分析、方差選擇法、卡方檢驗(yàn)等方法選擇最佳特征，對(duì)特征選擇中獲得的特征指標(biāo)重要性值求平均，生成特征權(quán)重值。根據(jù)特征權(quán)重值大小，本研究將權(quán)重值大于0.15的特征確定為評(píng)價(jià)學(xué)生混合式學(xué)習(xí)的最佳特征，包括線上學(xué)習(xí)中的章節(jié)學(xué)習(xí)、視頻學(xué)習(xí)時(shí)長、話題討論和線下學(xué)習(xí)中的注意力、學(xué)習(xí)筆記，具體如表4所示。

表4 特征權(quán)重值

在數(shù)據(jù)融合與分析的基礎(chǔ)上，本研究對(duì)采集的原始數(shù)據(jù)進(jìn)行半自動(dòng)編碼提取特征，之后進(jìn)行離散化處理和歸一化處理，經(jīng)過特征選擇后輸入到?jīng)Q策樹分類算法中進(jìn)行決策融合分析，得到?jīng)Q策樹分類結(jié)構(gòu)圖，如圖2所示。圖2顯示，對(duì)期末測(cè)試成績影響最大的是視頻學(xué)習(xí)時(shí)長，之后依次是章節(jié)學(xué)習(xí)、注意力、學(xué)習(xí)筆記。而話題討論沒有出現(xiàn)在決策樹分類結(jié)構(gòu)圖中，主要原因是決策樹生成后進(jìn)行了剪枝（Pruning）——此方法可通過剪去一些不可靠的分枝來簡化模型，降低數(shù)據(jù)的過擬合風(fēng)險(xiǎn)。結(jié)合決策樹分類結(jié)構(gòu)圖中的路徑，教師可以直觀地分析學(xué)生的混合式學(xué)習(xí)情況。例如，通過節(jié)點(diǎn)0、1、4、7這條路徑可以發(fā)現(xiàn)：學(xué)生的線上視頻學(xué)習(xí)時(shí)長越長，越有可能通過期末測(cè)試。

圖2 決策樹分類結(jié)構(gòu)圖

五 結(jié)語

多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)，可以實(shí)現(xiàn)對(duì)學(xué)習(xí)數(shù)據(jù)的全面采集與分析，提升評(píng)價(jià)的準(zhǔn)確性和全面性。然而，當(dāng)前研究或側(cè)重于更易采集與分析數(shù)據(jù)的線上學(xué)習(xí)環(huán)境，造成了評(píng)價(jià)結(jié)果的片面性；或發(fā)生在實(shí)驗(yàn)室環(huán)境下，通過自動(dòng)錄播、智能可穿戴設(shè)備等完成對(duì)少量學(xué)生多模態(tài)數(shù)據(jù)的采集與分析，難以在日常的課堂教學(xué)中推廣使用。基于此，本研究設(shè)計(jì)了大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)框架。以此為依托，本研究以日常真實(shí)的混合式學(xué)習(xí)課程為例，探索線上學(xué)習(xí)數(shù)據(jù)與日常線下學(xué)習(xí)數(shù)據(jù)的采集和分析方法，多維度準(zhǔn)確定位學(xué)生的混合式學(xué)習(xí)狀態(tài)。研究結(jié)果顯示，特征選擇方法中的方差選擇法與分類算法中的決策樹分類算法相結(jié)合，能構(gòu)建出效果最優(yōu)的大學(xué)生混合式學(xué)習(xí)評(píng)價(jià)模型；線上學(xué)習(xí)中的章節(jié)學(xué)習(xí)、視頻學(xué)習(xí)時(shí)長、話題討論和線下學(xué)習(xí)中的注意力、學(xué)習(xí)筆記是評(píng)價(jià)學(xué)生混合式學(xué)習(xí)的最佳評(píng)價(jià)特征，其中視頻學(xué)習(xí)時(shí)長對(duì)期末測(cè)試成績的影響最大。

上述研究結(jié)果，可供50人以內(nèi)的本科生常態(tài)化混合式課程學(xué)習(xí)評(píng)價(jià)直接使用。一線教師可借鑒特征選擇結(jié)果，合理設(shè)置混合式學(xué)習(xí)評(píng)價(jià)指標(biāo)，并依據(jù)數(shù)據(jù)分析方法構(gòu)建混合式學(xué)習(xí)評(píng)價(jià)模型，以準(zhǔn)確評(píng)價(jià)大學(xué)生的混合式學(xué)習(xí)情況。本研究以智慧教室、在線學(xué)習(xí)平臺(tái)、移動(dòng)學(xué)習(xí)設(shè)備等日常的教育技術(shù)為支撐，采用本科教學(xué)中廣泛應(yīng)用的項(xiàng)目式學(xué)習(xí)、小組協(xié)作學(xué)習(xí)等方法，其研究成果易于借鑒和推廣。但是，由于研究樣本較少，導(dǎo)致精度更高的深度學(xué)習(xí)方法無法開展。后續(xù)研究將進(jìn)一步探索小樣本學(xué)習(xí)方法，深入研究小樣本多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的混合式學(xué)習(xí)評(píng)價(jià)，以更精準(zhǔn)地定位學(xué)生的學(xué)習(xí)動(dòng)態(tài)。

[1]趙濤.智慧技術(shù)支持下混合式學(xué)習(xí)模式建構(gòu)與實(shí)踐研究[J].中國電化教育,2021,(9):137-142.

[2]曹海艷,孫躍東,羅堯成,等.“以學(xué)生為中心”的高校混合式教學(xué)課程學(xué)習(xí)設(shè)計(jì)思考[J].高等工程教育研究,2021,(1):187-192.

[3]吳立寶,曹雅楠,曹一鳴.人工智能賦能課堂教學(xué)評(píng)價(jià)改革與技術(shù)實(shí)現(xiàn)的框架構(gòu)建[J].中國電化教育,2021,(5):94-101.

[4]王一巖,鄭永和.多模態(tài)數(shù)據(jù)融合:破解智能教育關(guān)鍵問題的核心驅(qū)動(dòng)力[J].現(xiàn)代遠(yuǎn)程教育研究,2022,(2):93-102.

[5]牟智佳,武法提.教育大數(shù)據(jù)背景下學(xué)習(xí)結(jié)果預(yù)測(cè)研究的內(nèi)容解析與設(shè)計(jì)取向[J].中國電化教育,2017,(7):26-32.

[6][7]丁華.混合式教學(xué)模式下大學(xué)生學(xué)業(yè)評(píng)價(jià)改革研究[J].中國大學(xué)教學(xué),2021,(5):72-76.

[8][12][17]張琪,武法提,許文靜.多模態(tài)數(shù)據(jù)支持的學(xué)習(xí)投入評(píng)測(cè):現(xiàn)狀、啟示與研究趨向[J].遠(yuǎn)程教育雜志,2020,(1):76-86.

[9]Van Goidsenhoven S, Bogdanova D, Deeva G, et al. Predicting student success in a blended learning environment[A]. Proceedings of the Tenth International Conference on Learning Analytics & Knowledge[C]. New York: ACM, 2020:17-25.

[10]Wu M, Zhao H, Yan X, et al. Student achievement analysis and prediction based on the whole learning process[A]. 2020 15th International Conference on Computer Science & Education (ICCSE)[C]. Delft: IEEE, 2020:123-128.

[11]武法提,田浩.挖掘有意義學(xué)習(xí)行為特征:學(xué)習(xí)結(jié)果預(yù)測(cè)框架[J].開放教育研究,2019,(6):75-82.

[13]翟苗,張睿,劉恒彪.高校混合式教學(xué)形成性評(píng)價(jià)指標(biāo)研究[J].現(xiàn)代教育技術(shù),2020,(9):35-41.

[14]賈鸝宇,張朝暉,趙小燕,等.基于人工智能視頻處理的課堂學(xué)生狀態(tài)分析[J].現(xiàn)代教育技術(shù),2019,(12):82-88.

[15]任澤裕,王振超,柯尊旺,等.多模態(tài)數(shù)據(jù)融合綜述[J].計(jì)算機(jī)工程與應(yīng)用,2021,(18):49-64.

[16]馬志強(qiáng),岳蕓竹,王文秋.基于多模態(tài)交互信息的協(xié)作學(xué)習(xí)投入分析[J].現(xiàn)代教育技術(shù),2021,(1):47-53.

[18]Camacho V L, De La Guia E, Olivares T, et al. Data capture and multimodal learning analytics focused on engagement with a new wearable IoT approach[J]. IEEE Transactions on Learning Technologies, 2020,(4):704-717.

[19]牟智佳,符雅茹.多模態(tài)學(xué)習(xí)分析研究綜述[J].現(xiàn)代教育技術(shù),2021,(6):23-31.

[20]Shewalkar A. Performance evaluation of deep neural networks applied to speech recognition: RNN, LSTM and GRU[J]. Journal of Artificial Intelligence and Soft Computing Research, 2019,(4):235-245.

[21]Huang Y, Du C, Xue Z, et al. What makes multi-modal learning better than single (provably)[J]. Advances in Neural Information Processing Systems, 2021,34:10944-10956.

[22][23]Chango W, Cerezo R, Romero C. Multi-source and multimodal data fusion for predicting academic performance in blended learning university courses[J]. Computers & Electrical Engineering, 2021,89:106908.

[24]Lane E S, Harris S E. A new tool for measuring student behavioral engagement in large university classes[J]. Journal of College Science Teaching, 2015,(6):83-91.

[25]炕留一,葉海智,張瑾,等.基于多維數(shù)據(jù)的課堂教學(xué)行為評(píng)價(jià)研究[J].現(xiàn)代教育技術(shù),2022,(4):68-77.

[26][27][30]胡航,杜爽,梁佳柔,等.學(xué)習(xí)績效預(yù)測(cè)模型構(gòu)建:源于學(xué)習(xí)行為大數(shù)據(jù)分析[J].中國遠(yuǎn)程教育,2021,(4):8-20、76.

[28]陳永波,李巧勤,劉勇國.基于動(dòng)態(tài)相關(guān)性的特征選擇算法[J].計(jì)算機(jī)應(yīng)用,2022,(1):109-114.

[29]王改花,傅鋼善.網(wǎng)絡(luò)學(xué)習(xí)行為與成績的預(yù)測(cè)及學(xué)習(xí)干預(yù)模型的設(shè)計(jì)[J].中國遠(yuǎn)程教育,2019,(2):39-48.

The Blended Learning Evaluation for University Students Driven by Multi-modal Data

FAN Fu-lan1HUANG Yan-lin1WAN Li-yong1MEI Lin2XIONG Ye3

Under the background of deepening the education evaluation reform in the new era, fully applying multi-modal technology to carry out the comprehensive evaluation of blended learning plays an important role in eliminating the stubborn problem of score-only learning evaluation in the current undergraduate education and teaching. Based on this, the paper firstly designed the blended learning evaluation framework for university students driven by multi-modal data, and captured university students’ multi-modal learning data in the blended learning environment through multiple methods of automatic recording, online platform data collection and testing, relying on the constructed framework. Then, the optimal feature selection method was selected and a variety of classification algorithms were integrated to form the blended learning evaluation model for university students. Finally, based on this model, students’ blended learning situation was comprehensively evaluated. The results indicated that the best evaluation results could be achieved through the combination of variance selection method with decision tree classification algorithm. Meanwhile, chapter learning, video learning duration, topic discussion in online learning and attention, learning notes in offline learning were the best evaluation features for evaluating students’ blended learning, among which video learning duration had the greatest impact on final test scores. The research of this paper was of great significance for improving university students’ blended learning evaluation and reflecting the facilitation role of evaluation in promoting the undergraduate teaching quality.

multi-modal data; blended learning; learning evaluation; classification algorithm

G40-057

A

1009—8097（2023）01—0099—09

10.3969/j.issn.1009-8097.2023.01.011

本文受國家社科基金高校思政課研究專項(xiàng)項(xiàng)目“疫情防控背景下高校思政課在線教學(xué)行為模式研究”（項(xiàng)目編號(hào)：20VSZ010）資助。

范福蘭，講師，博士，研究方向?yàn)槎嗄B(tài)學(xué)習(xí)分析與評(píng)價(jià)、信息技術(shù)與課程教學(xué)融合，郵箱為fanfulan@mail.scuec.edu.cn。

2022年7月23日

編輯：小米