關(guān)鍵詞：機(jī)器學(xué)習(xí)；混合教學(xué)模式；隨機(jī)森林方法；學(xué)習(xí)評(píng)價(jià)改革；嵌入式

0 引言

中共中央、國務(wù)院印發(fā)的《中國教育現(xiàn)代化2035》提出了推動(dòng)教育現(xiàn)代化的十大戰(zhàn)略任務(wù)，其中就包括利用現(xiàn)代技術(shù)加快形成現(xiàn)代化的教育管理與監(jiān)測體系，推進(jìn)管理精準(zhǔn)化和決策科學(xué)化，學(xué)習(xí)評(píng)價(jià)改革是其中的重要研究熱點(diǎn)之一。

匹配現(xiàn)代化教學(xué)模式的學(xué)習(xí)評(píng)價(jià)，不僅需要終結(jié)性評(píng)價(jià)，也需要過程評(píng)價(jià)；不僅需要關(guān)注如單元測試等考核結(jié)果，也需要關(guān)注學(xué)習(xí)行為數(shù)據(jù)；不僅需要評(píng)價(jià)線下學(xué)習(xí)行為，也需要評(píng)價(jià)線上學(xué)習(xí)行為。包含上述考慮的學(xué)情大數(shù)據(jù)，數(shù)據(jù)量大，關(guān)系復(fù)雜，均與能力培養(yǎng)、學(xué)習(xí)結(jié)果相關(guān)。如采用人力方式進(jìn)行學(xué)習(xí)評(píng)價(jià)，工作量巨大，無法全面考慮學(xué)情數(shù)據(jù)，更無法做到及時(shí)反饋評(píng)價(jià)。

本文研究在人工智能賦能教育的時(shí)代背景下[1]，將機(jī)器學(xué)習(xí)方法引進(jìn)學(xué)習(xí)評(píng)價(jià)，實(shí)現(xiàn)自動(dòng)的、嵌入學(xué)習(xí)過程的自動(dòng)評(píng)價(jià)，包括增值評(píng)價(jià)。同時(shí)，在能力本位理念指導(dǎo)下建立評(píng)價(jià)體系，助力學(xué)生核心能力提升。

1 建設(shè)目標(biāo)與應(yīng)用價(jià)值

1.1 建設(shè)目標(biāo)

學(xué)習(xí)評(píng)價(jià)是以教育目標(biāo)為依據(jù)，運(yùn)用有效的評(píng)價(jià)技術(shù)和手段，對(duì)教育活動(dòng)的過程和結(jié)果進(jìn)行測定、分析、比較，并給予價(jià)值判斷的過程。本研究從規(guī)范學(xué)情大數(shù)據(jù)并提煉學(xué)情因素、學(xué)情因素權(quán)重獲取、學(xué)情評(píng)價(jià)模型構(gòu)建、評(píng)價(jià)模型應(yīng)用效果驗(yàn)證等方面展開研究，旨在建立一個(gè)基于能力本位和學(xué)情大數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)模型，并嵌入學(xué)習(xí)過程，實(shí)現(xiàn)對(duì)學(xué)習(xí)評(píng)價(jià)與管理機(jī)制的精細(xì)化。

在學(xué)情因素集的探索上，在價(jià)值導(dǎo)向?qū)用嫔戏e極轉(zhuǎn)變，使得評(píng)價(jià)能夠與“更好地促進(jìn)學(xué)習(xí)者的發(fā)展”[65590c787ae7d6323059c6c95c2e4c2716884139a894aed7360106dd473a28b02]的內(nèi)在本質(zhì)相契合。從規(guī)范學(xué)情大數(shù)據(jù)和考慮學(xué)習(xí)者能力本位出發(fā)，通過直接提取可量化指標(biāo)和通過數(shù)據(jù)挖掘、相關(guān)度分析、關(guān)鍵詞提取等分析手段清洗出包括情感態(tài)度在內(nèi)的學(xué)情評(píng)價(jià)指標(biāo)，完成學(xué)情因素集的采集。

1.2 應(yīng)用價(jià)值

學(xué)習(xí)評(píng)價(jià)體系研究作為教育大數(shù)據(jù)分析的重要應(yīng)用之一，也是教育教學(xué)改革中重要的一環(huán)。本案例的學(xué)習(xí)評(píng)價(jià)模型是在學(xué)情評(píng)價(jià)指標(biāo)體系和學(xué)習(xí)云空間大數(shù)據(jù)基礎(chǔ)上，采用機(jī)器學(xué)習(xí)方法，利用歷史學(xué)習(xí)數(shù)據(jù)作為訓(xùn)練集，得到學(xué)習(xí)評(píng)價(jià)訓(xùn)練模型，輸出結(jié)果穩(wěn)定可靠，并可在機(jī)器學(xué)習(xí)過程中不斷學(xué)習(xí)迭代改進(jìn)，達(dá)到智能分析評(píng)價(jià)的目標(biāo)，具有應(yīng)用價(jià)值和學(xué)術(shù)價(jià)值。其應(yīng)用價(jià)值有如下4個(gè)方面。

（1） 教育更注重對(duì)自主學(xué)習(xí)能力、溝通交流能力、問題解決能力和批判性思維等的培養(yǎng)[3]，這種人才評(píng)價(jià)本質(zhì)層面上的改變，也要求在思維變革主導(dǎo)下進(jìn)行學(xué)情因素集合的系統(tǒng)性創(chuàng)新，更應(yīng)將對(duì)學(xué)生培養(yǎng)目標(biāo)的知識(shí)目標(biāo)、能力目標(biāo)、素質(zhì)目標(biāo)整合，對(duì)應(yīng)融入學(xué)習(xí)因素集合設(shè)計(jì)當(dāng)中。本研究利用數(shù)據(jù)挖掘、相關(guān)度分析、關(guān)鍵詞提取等分析手段，清洗出符合規(guī)范的學(xué)情評(píng)價(jià)指標(biāo)有關(guān)數(shù)據(jù)，分析方法成熟可靠，為學(xué)情評(píng)價(jià)模型可靠性夯實(shí)基礎(chǔ)。

（2） 基于學(xué)情大數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)體系的研究，通過挖掘?qū)W情數(shù)據(jù)與學(xué)習(xí)結(jié)果相關(guān)性實(shí)現(xiàn)對(duì)學(xué)習(xí)情況的判定。這種基于過程的嵌入式的評(píng)價(jià)，可為學(xué)生進(jìn)一步的學(xué)習(xí)方向提供可信的依據(jù)，也作為教師調(diào)整教學(xué)活動(dòng)設(shè)計(jì)的重要數(shù)據(jù)支撐，從而進(jìn)一步提升學(xué)習(xí)云空間的學(xué)習(xí)效果。

（3） 嵌入式的、可記錄的學(xué)習(xí)評(píng)價(jià)[4]，方便追蹤學(xué)生在一段時(shí)間內(nèi)學(xué)業(yè)成就的變化，考查學(xué)生學(xué)業(yè)成就的凈增值，更客觀合理地評(píng)價(jià)學(xué)生在學(xué)習(xí)過程中的“增值”，即實(shí)現(xiàn)增值評(píng)價(jià)。學(xué)生在學(xué)習(xí)過程中及時(shí)得到評(píng)價(jià)反饋，促進(jìn)其自身反省、克服不足，改變不良狀態(tài)，并依據(jù)評(píng)價(jià)結(jié)果調(diào)節(jié)、控制、規(guī)范學(xué)習(xí)行為，引導(dǎo)學(xué)生向預(yù)定學(xué)習(xí)目標(biāo)前進(jìn)。

（4） 智能學(xué)情評(píng)價(jià)可解放教師勞動(dòng)力，讓教師更關(guān)注教學(xué)活動(dòng)設(shè)計(jì)本身。及時(shí)反思教學(xué)，從能力本位出發(fā)改革教學(xué)活動(dòng)，提高教學(xué)質(zhì)量，做到以評(píng)促學(xué)，以評(píng)促教，確保教學(xué)改革順利進(jìn)行。

2 建設(shè)內(nèi)容

本研究建設(shè)內(nèi)容包括制訂課程標(biāo)準(zhǔn)、創(chuàng)新教學(xué)模式、學(xué)習(xí)評(píng)價(jià)改革等。建設(shè)重點(diǎn)在于學(xué)習(xí)評(píng)價(jià)改革，其次是評(píng)價(jià)改革的先行基礎(chǔ)，即課程標(biāo)準(zhǔn)的重新制訂以及“半翻轉(zhuǎn)”混合教學(xué)模式的創(chuàng)新。

2.1 重構(gòu)教學(xué)內(nèi)容體系，制定課程標(biāo)準(zhǔn)

基于能力本位教育理念，以提高學(xué)生綜合素質(zhì)、知識(shí)水平和創(chuàng)新能力為原則，結(jié)合教學(xué)改革的最新研究成果，對(duì)教學(xué)內(nèi)容體系包括思政元素進(jìn)行了整合、優(yōu)化，制定適應(yīng)學(xué)生培養(yǎng)目標(biāo)的課程標(biāo)準(zhǔn)。

（1） 明確培養(yǎng)目標(biāo)

以培養(yǎng)學(xué)生的數(shù)據(jù)抽象能力、復(fù)雜程序設(shè)計(jì)的能力、算法實(shí)施與維護(hù)能力為總目標(biāo)。具備理解原理、掌握方法、熟練應(yīng)用的能力；具備設(shè)計(jì)性能優(yōu)、效率高、可讀性強(qiáng)、易維護(hù)的程序的能力；具備解決實(shí)際問題、自主學(xué)習(xí)、探索研究的能力。

（2） 基于教育理念，整合內(nèi)容結(jié)構(gòu)

信息技術(shù)專業(yè)基礎(chǔ)課程體系各門課在內(nèi)容結(jié)構(gòu)上各自不同，又有小部分互相重疊，在體系上是先行、后繼的線性關(guān)系。整合內(nèi)容包括梳理知識(shí)體系的線性關(guān)系，設(shè)計(jì)各自獨(dú)立的實(shí)驗(yàn)?zāi)K和連貫的實(shí)踐項(xiàng)目，讓學(xué)生能通過實(shí)踐項(xiàng)目不斷循環(huán)鞏固實(shí)際項(xiàng)目實(shí)戰(zhàn)中的分析、設(shè)計(jì)、實(shí)施流程，最終形成內(nèi)化的解決實(shí)踐問題的能力。

（3）“ 崗、課、賽、證”分解優(yōu)化，制訂課程標(biāo)準(zhǔn)

將整合的信息技術(shù)專業(yè)基礎(chǔ)課程體系分解到各門課程中去，同時(shí)基于“崗、課、賽、證”梳理知識(shí)點(diǎn)，融入課程思政元素，以此制定課程標(biāo)準(zhǔn)并實(shí)施。

融入思政元素是通過專業(yè)知識(shí)內(nèi)容聯(lián)系生活實(shí)際進(jìn)行思考，引導(dǎo)學(xué)生提高學(xué)生運(yùn)用馬克思主義哲學(xué)的科學(xué)世界觀和方法論來幫助解決實(shí)際思想問題的能力。構(gòu)筑切合大學(xué)生核心價(jià)值觀的關(guān)于課程的世界觀、人生觀和價(jià)值觀。將勞動(dòng)教育、工匠精神與思政元素結(jié)合，落實(shí)立德樹人根本任務(wù)

2.2 創(chuàng)新“半翻轉(zhuǎn)”混合教學(xué)模式

從“以學(xué)習(xí)者為中心”和“信息技術(shù)與教育教學(xué)深度融合”的指導(dǎo)思想出發(fā)，將傳統(tǒng)課堂向線上線下混合教學(xué)模式轉(zhuǎn)變，逐步形成“課堂教學(xué)、實(shí)踐教學(xué)、網(wǎng)絡(luò)學(xué)習(xí)、課外拓展訓(xùn)練”的適合本學(xué)院學(xué)生學(xué)情的“半翻轉(zhuǎn)”混合教學(xué)模式[5]。

創(chuàng)建“ 教賽證合一、三維立體化課堂”，從基礎(chǔ)能力訓(xùn)練出發(fā)，注重實(shí)踐能力培養(yǎng)，提高學(xué)生個(gè)人素質(zhì)。

第一課堂完成基礎(chǔ)能力訓(xùn)練，包括基于MOOC的線上學(xué)習(xí)和課程實(shí)踐教學(xué)。線上學(xué)習(xí)任務(wù)包括基礎(chǔ)理論知識(shí)學(xué)習(xí)和小組協(xié)同實(shí)踐任務(wù)，通過學(xué)生自主學(xué)習(xí)、自主在線測試、分小組協(xié)同學(xué)習(xí)、匯報(bào)交流學(xué)習(xí)成果等形式展開。課程實(shí)踐教學(xué)內(nèi)容包括教學(xué)案例、課堂實(shí)踐，作品評(píng)價(jià)等，完成綜合實(shí)踐能力訓(xùn)練。基于第一課堂的基礎(chǔ)能力訓(xùn)練應(yīng)注重形成性評(píng)價(jià)，再加上期末考試得出課程的總體評(píng)價(jià)。第二課堂則提升實(shí)踐能力，包括提供競賽、考證信息，鼓勵(lì)學(xué)生參與競賽、考證、參與創(chuàng)新實(shí)踐項(xiàng)目等。第三課堂完成素質(zhì)培養(yǎng)，以小組探究式學(xué)習(xí)模式為主，側(cè)重團(tuán)隊(duì)協(xié)作、多科目融合創(chuàng)新能力培養(yǎng)。

2.3 學(xué)習(xí)評(píng)價(jià)改革

（1） 規(guī)范學(xué)情大數(shù)據(jù)，提煉學(xué)情因素

學(xué)情數(shù)據(jù)存在主觀性強(qiáng)、數(shù)據(jù)涉及范圍廣的特征，需要充分考慮學(xué)習(xí)培養(yǎng)目標(biāo)，加強(qiáng)對(duì)于學(xué)生非認(rèn)知能力的評(píng)價(jià)，利用數(shù)據(jù)挖掘、相關(guān)度分析、關(guān)鍵詞提取等分析手段，清洗出包括情感態(tài)度、自我效能在內(nèi)的學(xué)情評(píng)價(jià)指標(biāo)有關(guān)數(shù)據(jù)[6]，建立學(xué)情數(shù)據(jù)規(guī)范?，F(xiàn)有分析方法成熟可靠，為學(xué)情評(píng)價(jià)模型可靠性夯實(shí)基礎(chǔ)。

本研究初步建立了基于多元能力培養(yǎng)目標(biāo)的二級(jí)評(píng)價(jià)指標(biāo)。一級(jí)指標(biāo)情感態(tài)度，觀測點(diǎn)包括登錄次數(shù)、觀看視頻個(gè)數(shù)、查看問題次數(shù)、上傳資源次數(shù)、學(xué)習(xí)進(jìn)度等；一級(jí)指標(biāo)學(xué)習(xí)過程，觀測點(diǎn)包括登錄平臺(tái)時(shí)長、觀看視頻時(shí)長、測評(píng)次數(shù)、測評(píng)結(jié)果、筆記次數(shù)等；一級(jí)指標(biāo)自主學(xué)習(xí)能力，觀測點(diǎn)包括提出問題次數(shù)、拓展知識(shí)完成情況等；一級(jí)指標(biāo)協(xié)作學(xué)習(xí)能力，觀測點(diǎn)包括回答問題次數(shù)、回答問題被點(diǎn)贊數(shù)、參與任務(wù)次數(shù)、任務(wù)完成度、人際交往能力等；一級(jí)指標(biāo)反思與自我效能，觀測點(diǎn)包括學(xué)習(xí)總結(jié)個(gè)數(shù)、反思字?jǐn)?shù)、自我滿意度等。觀測點(diǎn)即為考慮的二級(jí)指標(biāo)。

為保證評(píng)價(jià)可操作性和穩(wěn)定性，指標(biāo)須實(shí)現(xiàn)自動(dòng)獲取并且量化，消除人為帶來的不穩(wěn)定性。

（2） 學(xué)習(xí)評(píng)價(jià)模型構(gòu)建

本部分內(nèi)容基于機(jī)器學(xué)習(xí)訓(xùn)練學(xué)習(xí)評(píng)價(jià)模型，將歷史學(xué)情數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，實(shí)現(xiàn)數(shù)據(jù)隱含價(jià)值的深入挖掘。

第一收集歷史評(píng)估數(shù)據(jù)作為訓(xùn)練集，提煉評(píng)價(jià)有關(guān)指標(biāo)。

第二需要對(duì)指標(biāo)數(shù)據(jù)預(yù)處理，包括指標(biāo)正則化、指標(biāo)向量化和拆分?jǐn)?shù)據(jù)集。指標(biāo)正則化將數(shù)據(jù)歸到制定的區(qū)間[0，1]內(nèi)，抑制異常值的影響。指標(biāo)向量化則采用數(shù)據(jù)標(biāo)注獨(dú)熱編碼，使得數(shù)據(jù)的分類更準(zhǔn)確。拆分?jǐn)?shù)據(jù)集將歷史評(píng)估數(shù)據(jù)80%用于模型訓(xùn)練，20% 用于模型測試。

第三選擇訓(xùn)練模型。線性回歸模型實(shí)現(xiàn)分值評(píng)價(jià)[7-9]，首先假設(shè)自變量和因變量是線性關(guān)系，然后通過對(duì)現(xiàn)有樣本進(jìn)行回歸，進(jìn)而計(jì)算出回歸系數(shù)以確定線性模型，最后使用該模型對(duì)未知樣本進(jìn)行預(yù)測。隨機(jī)森林模型實(shí)現(xiàn)等級(jí)評(píng)價(jià)[10-13]，通過集成學(xué)習(xí)的思想將多棵樹集成，它的基本單元是決策樹，每棵決策樹都是一個(gè)分類器，對(duì)于一個(gè)輸入樣本，N棵樹會(huì)有N個(gè)分類結(jié)果。而隨機(jī)森林集成了所有的分類投票結(jié)果，將投票次數(shù)最多的類別指定為最終的等級(jí)輸出。

評(píng)價(jià)模型構(gòu)建流程如圖1所示。

3 評(píng)價(jià)模型評(píng)估

在測試模型有效性中，用課程歷史學(xué)習(xí)數(shù)據(jù)作為測試數(shù)據(jù)對(duì)預(yù)訓(xùn)練模型性能進(jìn)行評(píng)估，將模型評(píng)價(jià)結(jié)果與專家標(biāo)注對(duì)比，得出的對(duì)比折線圖，如圖2所示。

圖2中虛線表示評(píng)價(jià)模型結(jié)果數(shù)據(jù)，實(shí)線表示專家標(biāo)注數(shù)據(jù)。由圖2可見，評(píng)價(jià)結(jié)果與專家標(biāo)注結(jié)果基本一致。

此外，為驗(yàn)證評(píng)價(jià)結(jié)果的準(zhǔn)確度，我們由教育專家和任課教師組成10人專家小組對(duì)學(xué)情數(shù)據(jù)進(jìn)行評(píng)判，采用delphi方法，得出評(píng)價(jià)結(jié)果，與訓(xùn)練模型得到的評(píng)價(jià)結(jié)果相比對(duì)。

首先將學(xué)情數(shù)據(jù)中考慮的4個(gè)一級(jí)指標(biāo)和20個(gè)二級(jí)指標(biāo)向?qū)＜医M介紹，明確本次評(píng)價(jià)的目標(biāo)是得出總的學(xué)習(xí)評(píng)價(jià)得分與等級(jí)。然后專家組每位專家獨(dú)立匿名評(píng)價(jià)。收集專家組的評(píng)價(jià)，對(duì)其中評(píng)價(jià)結(jié)果有較大差異的部分學(xué)情數(shù)據(jù)打亂，再次分別征詢意見、收集評(píng)價(jià)結(jié)果。如此反復(fù)進(jìn)行三輪匿名評(píng)價(jià)。最后對(duì)所有專家所有學(xué)情數(shù)據(jù)的末次評(píng)價(jià)整理統(tǒng)計(jì)，采用中位數(shù)法，得到專家組的最終評(píng)價(jià)與等級(jí)。delphi方法克服了在專家會(huì)議法中經(jīng)常發(fā)生的專家們不能充分發(fā)表意見的弊端，各位專家能真正充分地發(fā)表自己的預(yù)測意見。

基于隨機(jī)森林模型得到的評(píng)價(jià)等級(jí)結(jié)果和專家組得到的評(píng)價(jià)等級(jí)結(jié)果采用一一比較的方式，具有93.3%的一致性。

基于多級(jí)線性回歸模型得到的評(píng)價(jià)評(píng)分結(jié)果和專家組得到的評(píng)價(jià)評(píng)分結(jié)果采用值方差（value square deviation， VSD）方法驗(yàn)證得分的相似程度，值越小序列越相似。經(jīng)計(jì)算，本評(píng)分結(jié)果與專家評(píng)分結(jié)果的值方差為0.51，準(zhǔn)確程度高。

4 實(shí)踐效果

4.1 評(píng)價(jià)改革解決問題

（1） 解決學(xué)習(xí)評(píng)價(jià)不及時(shí)和缺乏增值評(píng)價(jià)的問題

本案例“評(píng)價(jià)牽引”的動(dòng)態(tài)評(píng)價(jià)機(jī)制，可方便實(shí)現(xiàn)增值評(píng)價(jià)，彌補(bǔ)增值評(píng)價(jià)缺乏的問題。本案例成果“基于機(jī)器學(xué)習(xí)和學(xué)情大數(shù)據(jù)的學(xué)習(xí)評(píng)價(jià)預(yù)測系統(tǒng)”已申請(qǐng)專利并授權(quán)。

（2） 解決學(xué)習(xí)評(píng)價(jià)因素主觀性的問題

本案例依托通信技術(shù)，學(xué)情因素指標(biāo)獲取實(shí)現(xiàn)自動(dòng)獲取并且量化，消除人為因素帶來的主觀性。

（3） 解決學(xué)習(xí)評(píng)價(jià)模型不穩(wěn)定的問題

傳統(tǒng)評(píng)價(jià)模型強(qiáng)調(diào)評(píng)價(jià)因素與結(jié)果的因果關(guān)系，但實(shí)際上，其因果關(guān)系往往難以求證。本模型強(qiáng)調(diào)指標(biāo)與結(jié)果的相關(guān)性，經(jīng)過大量歷史數(shù)據(jù)進(jìn)行模型訓(xùn)練，提高模型準(zhǔn)確性和穩(wěn)定性。

4.2 學(xué)生培養(yǎng)成效

本學(xué)習(xí)評(píng)價(jià)改革在本專業(yè)3門課程中實(shí)踐，結(jié)果表明學(xué)生對(duì)課程學(xué)習(xí)興趣濃厚，并對(duì)教師的教學(xué)以及效果表示滿意，在學(xué)期末對(duì)學(xué)習(xí)課程的打分評(píng)估中，教學(xué)滿意度均達(dá)98%以上。

部分優(yōu)秀畢業(yè)生入職中國移動(dòng)、騰訊、百度、網(wǎng)易等企業(yè)。通過實(shí)地走訪、第三方數(shù)據(jù)調(diào)查公司等方式了解到，用人單位對(duì)本專業(yè)畢業(yè)生的專業(yè)能力素養(yǎng)滿意度處在較高水平，連續(xù)三年滿意度均在95%以上。

5 結(jié)束語

本研究在重構(gòu)教學(xué)內(nèi)容體系，制訂課程標(biāo)準(zhǔn)，以及“半翻轉(zhuǎn)”教學(xué)模式改革的基礎(chǔ)上，研究實(shí)踐相應(yīng)的學(xué)習(xí)評(píng)價(jià)改革，利用人工智能機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)嵌入式自動(dòng)學(xué)習(xí)評(píng)價(jià)。評(píng)價(jià)指標(biāo)體系關(guān)注學(xué)生知識(shí)技能與個(gè)體發(fā)展，包括溝通交流能力、問題解決能力、自主學(xué)習(xí)能力和可持續(xù)發(fā)展能力等，為學(xué)生提供更好的學(xué)習(xí)監(jiān)督體驗(yàn)并刺激學(xué)習(xí)內(nèi)因、提升學(xué)習(xí)效果，真正做到以評(píng)促學(xué)，以評(píng)促教。

本研究成果為包含線上學(xué)習(xí)的教學(xué)模式提供一種可行的評(píng)價(jià)方案，有良好的示范作用。