牟智佳 李雨婷 彭曉玲

[摘 ? 要] 大量的測評(píng)練習(xí)是基礎(chǔ)教育中開展學(xué)習(xí)測評(píng)的一種常態(tài)化評(píng)價(jià)活動(dòng)，學(xué)習(xí)者由此產(chǎn)生的各類測評(píng)數(shù)據(jù)為分析其知識(shí)掌握水平和目標(biāo)達(dá)成情況提供了數(shù)據(jù)基礎(chǔ)。首先，對(duì)個(gè)性化評(píng)價(jià)以及教育測量理論進(jìn)行了分析，將研究問題與理論的優(yōu)劣進(jìn)行耦合，確定以布魯姆教學(xué)目標(biāo)分類學(xué)和Q矩陣?yán)碚摓槔碚撝?，以屬性掌握概率方法為算法?shí)現(xiàn)支撐，結(jié)合教育評(píng)價(jià)的實(shí)施過程構(gòu)建了基于學(xué)習(xí)測評(píng)數(shù)據(jù)的個(gè)性化評(píng)價(jià)模型。該模型包括教學(xué)目標(biāo)達(dá)成情況、知識(shí)點(diǎn)掌握程度兩個(gè)維度以及知識(shí)點(diǎn)掌握度、學(xué)習(xí)風(fēng)險(xiǎn)問題點(diǎn)、學(xué)習(xí)目標(biāo)達(dá)成度、課程成績四個(gè)方面。其次，以江蘇某高中高一50名學(xué)生的學(xué)習(xí)測評(píng)數(shù)據(jù)對(duì)個(gè)性化評(píng)價(jià)模型進(jìn)行了數(shù)據(jù)檢驗(yàn)，測評(píng)數(shù)據(jù)包含關(guān)于《解三角形》和《數(shù)列》的六個(gè)知識(shí)點(diǎn)。最后，在模型構(gòu)建的基礎(chǔ)上設(shè)計(jì)了個(gè)性化評(píng)價(jià)工具原型，并進(jìn)行了UAT測試。研究結(jié)果表明：所構(gòu)建的模型能夠?qū)W(xué)習(xí)者的學(xué)習(xí)結(jié)果進(jìn)行個(gè)性化評(píng)價(jià)，幫助學(xué)生及時(shí)進(jìn)行具有針對(duì)性的補(bǔ)救;相較于認(rèn)知水平，教師更加關(guān)注學(xué)生的知識(shí)點(diǎn)掌握程度，其中，學(xué)習(xí)風(fēng)險(xiǎn)問題點(diǎn)是師生最關(guān)心的個(gè)性化評(píng)價(jià)數(shù)據(jù);學(xué)生的認(rèn)知水平和知識(shí)點(diǎn)的掌握程度正相關(guān)，表明測評(píng)數(shù)據(jù)是學(xué)生對(duì)知識(shí)點(diǎn)內(nèi)化的外顯形式;工具原型在不同維度上的UAT測試平均評(píng)價(jià)得分為8.834，表明該工具整體接受度較高，可用性較好，為后期工具的技術(shù)實(shí)現(xiàn)奠定了基礎(chǔ)。

[關(guān)鍵詞] 測評(píng)數(shù)據(jù); 個(gè)性化評(píng)價(jià); 教學(xué)目標(biāo)分類; Q矩陣?yán)碚? 知識(shí)點(diǎn)掌握

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 牟智佳（1987—），男，山東棲霞人。副教授，博士，主要從事教育大數(shù)據(jù)與學(xué)習(xí)分析、信息技術(shù)與課程整合等方面的研究。E-mail：ambitionyt@163.com。

一、研究背景

測量是評(píng)價(jià)的基礎(chǔ)，評(píng)價(jià)是對(duì)測量結(jié)果教學(xué)意義的闡述。在測量理論指導(dǎo)下，學(xué)習(xí)評(píng)價(jià)結(jié)果逐漸由籠統(tǒng)測驗(yàn)分?jǐn)?shù)轉(zhuǎn)向精準(zhǔn)個(gè)性化診斷結(jié)果[1]，以此來了解學(xué)習(xí)者認(rèn)知結(jié)構(gòu)與學(xué)習(xí)水平。然而，傳統(tǒng)考試中教師多采用人工計(jì)算的方法，對(duì)學(xué)習(xí)者成績、班級(jí)平均分、排名變化等進(jìn)行統(tǒng)計(jì)分析，往往忽略試卷內(nèi)容和試題作答情況等細(xì)節(jié)信息，造成數(shù)據(jù)信息不能得到有效記錄、挖掘和利用。當(dāng)人數(shù)、試題數(shù)及題型過多時(shí)，會(huì)因其計(jì)算時(shí)間長、工作負(fù)荷重導(dǎo)致錯(cuò)誤情況的發(fā)生，影響評(píng)價(jià)結(jié)果的準(zhǔn)確性和時(shí)效性。美國2016國家教育技術(shù)計(jì)劃《未來學(xué)習(xí)準(zhǔn)備：重塑技術(shù)在教育中的角色》[2]和我國《教育信息化2.0行動(dòng)計(jì)劃》[3]都強(qiáng)調(diào)，教育應(yīng)依托大數(shù)據(jù)和人工智能技術(shù)，創(chuàng)新完善教育數(shù)據(jù)系統(tǒng)，促進(jìn)個(gè)性化學(xué)習(xí)和教育治理。當(dāng)前，數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)評(píng)價(jià)逐漸趨向智能化，針對(duì)基礎(chǔ)教育考試數(shù)據(jù)收集不全面、分析淺層次、僅以分?jǐn)?shù)論優(yōu)劣的現(xiàn)狀，本研究基于學(xué)生學(xué)習(xí)測評(píng)數(shù)據(jù)構(gòu)建個(gè)性化測評(píng)模型，從不同教學(xué)目標(biāo)達(dá)成情況、知識(shí)點(diǎn)掌握程度等維度分析學(xué)生的學(xué)習(xí)測評(píng)數(shù)據(jù)，進(jìn)而為學(xué)生和教師提供個(gè)性化的評(píng)價(jià)報(bào)告，為各類學(xué)習(xí)平臺(tái)實(shí)現(xiàn)個(gè)性化評(píng)價(jià)提供有效參考。

二、個(gè)性化評(píng)價(jià)研究現(xiàn)狀分析

為了解近年來國內(nèi)外個(gè)性化評(píng)價(jià)研究的整體狀況，我們對(duì)國內(nèi)外相關(guān)文獻(xiàn)進(jìn)行了梳理和內(nèi)容分析，從而合理把握其整體研究狀態(tài)，洞察其研究現(xiàn)狀，發(fā)現(xiàn)可探索方向和亟待解決的問題。在此基礎(chǔ)上，對(duì)個(gè)性化評(píng)價(jià)相關(guān)文獻(xiàn)運(yùn)用聚類分析及橫縱對(duì)比方法發(fā)現(xiàn)目前相關(guān)研究主要集中在以下方面：

（一）教育測量理論及其差異對(duì)比研究

教育測量是根據(jù)測驗(yàn)理論和心理計(jì)量學(xué)的原理與方法，對(duì)學(xué)生學(xué)業(yè)成績、智力水平、人格特征、品德狀況等教育現(xiàn)象進(jìn)行量化的過程，主要測量的是學(xué)生心理特征，側(cè)重考查學(xué)生對(duì)特定知識(shí)、技能的掌握程度，關(guān)注教育對(duì)個(gè)體產(chǎn)生的影響，具有客觀性、間接性、復(fù)雜性[4]。教育測量領(lǐng)域先后出現(xiàn)了經(jīng)典測量理論、概化理論、項(xiàng)目反應(yīng)理論及認(rèn)知診斷理論等多種理論。其中，經(jīng)典測量理論模型簡單，使用性廣，但是參數(shù)估計(jì)依賴于樣本，試題難度和學(xué)生能力水平難以耦合;概化理論使用條件較容易得到滿足且便于控制測量誤差，但是對(duì)測量設(shè)計(jì)要求較高且容易受隨機(jī)誤差的影響;項(xiàng)目反應(yīng)理論對(duì)學(xué)生和試題的分析估計(jì)準(zhǔn)確，但計(jì)算方法復(fù)雜、工作量大，對(duì)能力的測量比較籠統(tǒng);認(rèn)知診斷理論可以深入學(xué)生的認(rèn)知過程、加工技能和知識(shí)結(jié)構(gòu)層面，但與大腦內(nèi)部加工機(jī)制相關(guān)的描述性指標(biāo)難以量化。

（二）個(gè)性化評(píng)價(jià)模型構(gòu)建與系統(tǒng)設(shè)計(jì)研究

隨著教育測量的發(fā)展和計(jì)算機(jī)輔助教學(xué)的應(yīng)用，個(gè)性化評(píng)價(jià)模型構(gòu)建與系統(tǒng)設(shè)計(jì)研究引起了教育領(lǐng)域和學(xué)術(shù)領(lǐng)域?qū)＜覍W(xué)者的重視。其中，比較具有代表性的是Yankovskaya等基于三個(gè)單棱鏡和兩個(gè)單棱鏡的認(rèn)知組件，構(gòu)建了用于評(píng)估學(xué)生專業(yè)技能、設(shè)計(jì)課程學(xué)習(xí)軌跡的混合診斷智能系統(tǒng)[5]。牟智佳構(gòu)建了基于電子書包的個(gè)性化學(xué)習(xí)評(píng)價(jià)模型，設(shè)計(jì)了基于教育大數(shù)據(jù)的個(gè)性化評(píng)價(jià)層次塔，并通過云管理層實(shí)現(xiàn)對(duì)教育云服務(wù)平臺(tái)、云存儲(chǔ)池和云集群計(jì)算平臺(tái)的調(diào)控和管理，為后面開展個(gè)性化評(píng)價(jià)系統(tǒng)的設(shè)計(jì)與開發(fā)奠定了基礎(chǔ)[6]。Hlaoui Bendaly等提出了一個(gè)名為Cloud-AWAS的云適應(yīng)工作流電子評(píng)估系統(tǒng)，該系統(tǒng)根據(jù)電子評(píng)估活動(dòng)、文件日志和個(gè)人信息等方面提取數(shù)據(jù)，創(chuàng)建了為學(xué)習(xí)者個(gè)體提供個(gè)性化評(píng)價(jià)的個(gè)人資料庫，而且該系統(tǒng)可以無縫集成到任何學(xué)習(xí)管理系統(tǒng)中[7]。

（三）個(gè)性化評(píng)價(jià)的數(shù)據(jù)收集及評(píng)價(jià)標(biāo)準(zhǔn)研究

學(xué)習(xí)測評(píng)數(shù)據(jù)作為學(xué)習(xí)分析的基礎(chǔ)，直接決定學(xué)習(xí)評(píng)價(jià)的信效度。陳明選等認(rèn)為，學(xué)習(xí)測評(píng)數(shù)據(jù)主要包括以知識(shí)點(diǎn)為核心的知識(shí)點(diǎn)內(nèi)容、類別、難度、多知識(shí)點(diǎn)關(guān)系等試題維度的數(shù)據(jù)，以及以學(xué)習(xí)者的作答情況為核心的得分、選項(xiàng)、解題過程等學(xué)習(xí)者維度的數(shù)據(jù)[8]。此外，在網(wǎng)絡(luò)在線學(xué)習(xí)和移動(dòng)學(xué)習(xí)管理系統(tǒng)中，學(xué)習(xí)測評(píng)數(shù)據(jù)還應(yīng)包括在線學(xué)習(xí)時(shí)間、學(xué)習(xí)行為點(diǎn)擊次數(shù)、電子檔案袋等[9-10]。在評(píng)價(jià)標(biāo)準(zhǔn)方面，陳敏等認(rèn)為，不同的學(xué)習(xí)者應(yīng)采用不同的評(píng)價(jià)方案，即不同的學(xué)習(xí)者的評(píng)價(jià)維度、內(nèi)容和標(biāo)準(zhǔn)是不同的[11]?；诖?，他們?cè)O(shè)計(jì)了六種個(gè)性化的評(píng)價(jià)方案，以滿足學(xué)生個(gè)體差異需求。