王辭曉 徐珺巖 郭利明 鄭勤華

多場(chǎng)景人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架研究*——基于層次分析法和熵權(quán)法的分析

王辭曉 徐珺巖 郭利明 鄭勤華[通訊作者]

（北京師范大學(xué) 遠(yuǎn)程教育研究中心，北京 100875）

新一代人工智能技術(shù)促進(jìn)了人機(jī)協(xié)同在線教學(xué)的發(fā)展，如何基于教師與機(jī)器的協(xié)同教學(xué)表現(xiàn)開展在線教學(xué)評(píng)價(jià)是當(dāng)前研究重點(diǎn)。文章首先梳理了當(dāng)前在線教學(xué)評(píng)價(jià)方法，指出開展評(píng)價(jià)需要考慮場(chǎng)景異質(zhì)性。接著，文章分析了教師與機(jī)器在課前導(dǎo)學(xué)、課中活動(dòng)、課后答疑三個(gè)環(huán)節(jié)的在線教學(xué)任務(wù)和教學(xué)表現(xiàn)維度，在此基礎(chǔ)上構(gòu)建了人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架。隨后，文章對(duì)該評(píng)價(jià)框架進(jìn)行了場(chǎng)景異質(zhì)性分析，運(yùn)用層次分析法和熵權(quán)法綜合得出教師與機(jī)器的教學(xué)表現(xiàn)對(duì)在線教學(xué)質(zhì)量的影響權(quán)重。最后，文章總結(jié)了研究結(jié)論，提出：基礎(chǔ)教育場(chǎng)景中教師教學(xué)具有不可替代性，職業(yè)教育與高等教育場(chǎng)景中機(jī)器的整體表現(xiàn)更重要，各場(chǎng)景中教師的課中教學(xué)表現(xiàn)均有較大影響。此研究結(jié)果可為開展多場(chǎng)景在線教學(xué)評(píng)價(jià)提供參考，并能為智能時(shí)代教師的焦慮情緒緩解、場(chǎng)景角色定位提供實(shí)證依據(jù)。

在線教學(xué)評(píng)價(jià)；教師；機(jī)器；層次分析法；熵權(quán)法

實(shí)施在線教學(xué)評(píng)價(jià)是保障在線教育質(zhì)量的關(guān)鍵環(huán)節(jié)，然而現(xiàn)有評(píng)價(jià)方式多以標(biāo)準(zhǔn)化考試成績(jī)?yōu)橹笜?biāo)，這種單一的評(píng)價(jià)標(biāo)準(zhǔn)不僅難以全面、準(zhǔn)確地反映在線教學(xué)質(zhì)量，還不利于提升師生在線教與學(xué)的積極性和主動(dòng)性[1]。2020年，中共中央、國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》，強(qiáng)調(diào)要“堅(jiān)決克服唯分?jǐn)?shù)等頑瘴痼疾”“充分利用信息技術(shù)，提高教育評(píng)價(jià)的科學(xué)性、專業(yè)性、客觀性”[2]。伴隨著新時(shí)代教育評(píng)價(jià)改革的浪潮，在線教學(xué)評(píng)價(jià)研究成為重要的學(xué)術(shù)命題與實(shí)踐議題。而在新一代人工智能技術(shù)的推動(dòng)下，人機(jī)協(xié)同在線教學(xué)已成為現(xiàn)實(shí)，人類教師與智能機(jī)器能夠協(xié)同進(jìn)行學(xué)情分析與反饋、學(xué)習(xí)資源推薦、答疑輔導(dǎo)等[3]，兩者的教學(xué)表現(xiàn)也都與在線教學(xué)質(zhì)量密切相關(guān)。綜合分析人類教師與智能機(jī)器的在線教學(xué)表現(xiàn)，正成為區(qū)別于以往學(xué)生在線學(xué)業(yè)表現(xiàn)評(píng)價(jià)的一種新興在線教學(xué)質(zhì)量評(píng)價(jià)方式。此外，在線教學(xué)場(chǎng)景具有異質(zhì)性特點(diǎn)，會(huì)導(dǎo)致不同教育階段教師與機(jī)器的評(píng)價(jià)側(cè)重點(diǎn)存在不同?；诖?，本研究面向多場(chǎng)景在線教學(xué)，綜合采用專家主觀賦權(quán)和機(jī)器客觀賦權(quán)方法，探索如何基于教師與機(jī)器的協(xié)同教學(xué)表現(xiàn)開展評(píng)價(jià)，并分析不同教育階段的評(píng)價(jià)重點(diǎn)，以期為開展智能時(shí)代的在線教學(xué)評(píng)價(jià)提供參考。

一 文獻(xiàn)綜述

1 當(dāng)前在線教學(xué)評(píng)價(jià)方法及其局限

當(dāng)前，在線教學(xué)評(píng)價(jià)主要采用主觀評(píng)價(jià)和客觀評(píng)價(jià)的方法，且多從學(xué)習(xí)行為、學(xué)習(xí)成績(jī)等“學(xué)”的角度分析在線教學(xué)質(zhì)量：①在主觀評(píng)價(jià)方面，主要通過(guò)問(wèn)卷收集學(xué)生在線學(xué)習(xí)行為、效果等方面的數(shù)據(jù)，進(jìn)而評(píng)價(jià)相應(yīng)的在線教學(xué)質(zhì)量[4]。②在客觀評(píng)價(jià)方面，研究者多結(jié)合在線學(xué)習(xí)行為數(shù)據(jù)評(píng)價(jià)學(xué)習(xí)效果。例如，李華等[5]用學(xué)習(xí)成績(jī)和發(fā)帖質(zhì)量?jī)身?xiàng)指標(biāo)來(lái)反映在線學(xué)習(xí)效果；魏順平[6]設(shè)計(jì)了包含學(xué)習(xí)投入、學(xué)習(xí)產(chǎn)出等維度的在線學(xué)習(xí)評(píng)價(jià)指標(biāo)體系，并采用層次分析法確定各級(jí)指標(biāo)權(quán)重。此外，也有部分研究從教師“教”的角度剖析在線教學(xué)質(zhì)量，如將教師在線教學(xué)表現(xiàn)分為促進(jìn)度、投入度、聯(lián)通度、認(rèn)可度和調(diào)控度[7]，或關(guān)注教師行為的廣度、深度和持續(xù)度等[8]。盡管在線教學(xué)評(píng)價(jià)研究正逐漸轉(zhuǎn)向?qū)處煛敖獭钡年P(guān)注，但少有研究涉及對(duì)人機(jī)協(xié)同教學(xué)中教師與機(jī)器教學(xué)表現(xiàn)的評(píng)價(jià)。此外，現(xiàn)有的在線教學(xué)評(píng)價(jià)指標(biāo)體系主要由層次分析法、德爾菲法、理論演繹法等主觀方法構(gòu)建，而熵權(quán)法、數(shù)據(jù)包絡(luò)分析法等基于實(shí)際數(shù)據(jù)的客觀方法較少應(yīng)用于評(píng)價(jià)指標(biāo)體系構(gòu)建。

2 人機(jī)協(xié)同在線教學(xué)的場(chǎng)景異質(zhì)性

從技術(shù)使能的角度來(lái)看，人機(jī)協(xié)同教學(xué)能夠突破傳統(tǒng)教學(xué)模式單一、反饋不足等局限，在基礎(chǔ)教育、職業(yè)教育、高等教育等在線教學(xué)場(chǎng)景均有應(yīng)用：①在基礎(chǔ)教育領(lǐng)域，黃濤等[9]設(shè)計(jì)了小學(xué)語(yǔ)文寫作的人機(jī)協(xié)同教學(xué)分工，即教師了解學(xué)情與發(fā)布任務(wù)、機(jī)器采集數(shù)據(jù)并推薦個(gè)性化知識(shí)與資源；李艷等[10]在初中語(yǔ)文教學(xué)中應(yīng)用了人機(jī)協(xié)同作文評(píng)價(jià)，由機(jī)器負(fù)責(zé)線上評(píng)價(jià)、反饋學(xué)生語(yǔ)文作文存在的標(biāo)點(diǎn)錯(cuò)誤、語(yǔ)法錯(cuò)誤等低階任務(wù)，而教師負(fù)責(zé)提供構(gòu)思、意義等補(bǔ)充性評(píng)價(jià)與反饋的高階任務(wù)。②在職業(yè)教育領(lǐng)域，對(duì)于動(dòng)作、表達(dá)、思維等技能類課程，如汽車駕駛、商務(wù)英語(yǔ)等，機(jī)器負(fù)責(zé)對(duì)學(xué)生基礎(chǔ)技能的判斷與矯正，教師則負(fù)責(zé)課前、課中、課后各教學(xué)流程的把控以及對(duì)學(xué)生技能掌握的整體評(píng)估[11]。③在高等教育領(lǐng)域，清華大學(xué)與“學(xué)堂在線”合作研發(fā)的“小木”機(jī)器人能夠自動(dòng)回答學(xué)生的知識(shí)類問(wèn)題，使教師有更多時(shí)間投入課中活動(dòng)組織、資源調(diào)控和課后學(xué)生問(wèn)題解決能力等高階思維的培養(yǎng)[12]。綜上可知，由于各教學(xué)場(chǎng)景的異質(zhì)性——基礎(chǔ)教育側(cè)重知識(shí)傳授、職業(yè)教育側(cè)技能掌握、高等教育側(cè)重思維發(fā)展，教師和機(jī)器的在線教學(xué)任務(wù)分工有所不同，這種差異主要體現(xiàn)在課前導(dǎo)學(xué)、課中活動(dòng)、課后答疑三個(gè)環(huán)節(jié)。因此，探索人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)方法需要考慮教師和機(jī)器在各教學(xué)場(chǎng)景中的職能差異。

二 人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架的構(gòu)建

1 場(chǎng)景通用的人機(jī)協(xié)同常見(jiàn)在線教學(xué)任務(wù)分析

依據(jù)各教學(xué)場(chǎng)景通用的一般在線教學(xué)流程，本研究按照課前導(dǎo)學(xué)、課中活動(dòng)、課后答疑三個(gè)環(huán)節(jié)，對(duì)教師和機(jī)器的常見(jiàn)在線教學(xué)任務(wù)進(jìn)行了初步劃分，如表1所示。對(duì)各教學(xué)環(huán)節(jié)的常見(jiàn)在線教學(xué)任務(wù)進(jìn)行劃分，能夠?yàn)樵u(píng)價(jià)教師和機(jī)器的在線教學(xué)表現(xiàn)提供主要依據(jù)。

表1 教師和機(jī)器的常見(jiàn)在線教學(xué)任務(wù)

2 人機(jī)協(xié)同在線教學(xué)表現(xiàn)分析維度設(shè)計(jì)

為進(jìn)一步明確教師和機(jī)器兩大在線教學(xué)主體的教學(xué)職能，本研究設(shè)計(jì)了教師和機(jī)器的在線教學(xué)表現(xiàn)分析維度，如表2所示。具體來(lái)說(shuō)，參考在線教師教學(xué)評(píng)價(jià)理論模型[13]，將教師的在線教學(xué)表現(xiàn)分為投入度、促進(jìn)度、調(diào)控度、認(rèn)可度四個(gè)維度；同時(shí)，參考智能機(jī)器教學(xué)表現(xiàn)理論模型[14]，將機(jī)器的在線教學(xué)表現(xiàn)分為感知、交互、協(xié)同、進(jìn)化四個(gè)維度。

表2 教師和機(jī)器的在線教學(xué)表現(xiàn)分析維度

3 人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架的初步構(gòu)建

綜合人機(jī)協(xié)同在線教學(xué)中教師和機(jī)器的常見(jiàn)在線教學(xué)任務(wù)與教學(xué)表現(xiàn)分析維度，本研究初步構(gòu)建了人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架，如圖1所示。其中，兩大教學(xué)主體（即教師、機(jī)器）和三大教學(xué)環(huán)節(jié)（即課前導(dǎo)學(xué)、課中活動(dòng)、課后答疑）是核心內(nèi)容。接下來(lái)，本研究將應(yīng)用人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架，進(jìn)一步分析教師和機(jī)器兩大教學(xué)主體在基礎(chǔ)教育、職業(yè)教育、高等教育三類場(chǎng)景的重要程度與教學(xué)表現(xiàn)，從而得出各類場(chǎng)景的評(píng)價(jià)重點(diǎn)。

圖1 人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架

三 人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架的場(chǎng)景異質(zhì)性分析

1 異質(zhì)性分析方法

本研究將綜合主客觀指標(biāo)賦權(quán)方法，通過(guò)判斷不同教學(xué)場(chǎng)景下人機(jī)協(xié)同在線教學(xué)過(guò)程中教師和機(jī)器的重要程度，進(jìn)行人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架的場(chǎng)景異質(zhì)性分析。具體來(lái)說(shuō)，本研究擬采用層次分析法（Analytic Hierarchy Process，AHP）和熵權(quán)法（Maximum Entropy Method，EWM）分別計(jì)算評(píng)價(jià)內(nèi)容的權(quán)重，最后綜合兩者進(jìn)行組合賦權(quán)。其中，層次分析法屬于教育專家的主觀賦權(quán)法，而熵權(quán)法屬于基于實(shí)際數(shù)據(jù)的客觀賦權(quán)法。綜合運(yùn)用主客觀賦權(quán)方法，能夠在尊重專家意見(jiàn)的同時(shí)體現(xiàn)數(shù)據(jù)的客觀性，有助于降低不同評(píng)價(jià)方法產(chǎn)生的極化效應(yīng)，從而提高賦權(quán)的科學(xué)性。

2 層次分析法應(yīng)用

（1）數(shù)據(jù)采集與分析

層次分析法旨在通過(guò)兩兩比較教師和機(jī)器常見(jiàn)教學(xué)表現(xiàn)的重要程度，實(shí)現(xiàn)對(duì)教師與機(jī)器教學(xué)表現(xiàn)評(píng)價(jià)指標(biāo)的主觀賦權(quán)。依托人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架，本研究設(shè)計(jì)了“人機(jī)協(xié)同在線教學(xué)表現(xiàn)重要性的專家咨詢問(wèn)卷”，評(píng)價(jià)內(nèi)容包括教師課前導(dǎo)學(xué)、教師課中活動(dòng)、教師課后答疑和機(jī)器課前導(dǎo)學(xué)、機(jī)器課中活動(dòng)、機(jī)器課后答疑共六項(xiàng)指標(biāo)。本研究邀請(qǐng)16名教育專家填寫問(wèn)卷，其基本信息如表3所示。根據(jù)專家填答的問(wèn)卷，分別計(jì)算出專家的判斷依據(jù)值為0.89、熟悉程度值為0.79，兩者均值=0.84＞0.7，表明本次咨詢的專家權(quán)威程度較高，賦權(quán)結(jié)果可靠性較強(qiáng)。

表3 16名教育專家的基本信息

在專家咨詢環(huán)節(jié)，16名教育專家通過(guò)兩兩比較對(duì)六項(xiàng)指標(biāo)的重要性進(jìn)行賦值。具體而言，是以1～9及其倒數(shù)作為標(biāo)度進(jìn)行重要性判別，標(biāo)度含義如表4所示。

表4 層次分析法的標(biāo)度含義

在數(shù)據(jù)分析環(huán)節(jié)，首先計(jì)算專家通過(guò)重要性賦值生成的16個(gè)原始矩陣的幾何平均值，得到判斷矩陣。隨后，計(jì)算判斷矩陣的最大特征根lmax及對(duì)應(yīng)的特征向量W。最后，進(jìn)行一致性檢驗(yàn)，即計(jì)算檢驗(yàn)系數(shù)CR值。一致性指標(biāo)CI的計(jì)算為如公式（1）所示，其中n代表判斷矩陣階數(shù)，即指標(biāo)數(shù)6。根據(jù)隨機(jī)一致性指標(biāo)計(jì)算方法，得到RI值為1.24。

經(jīng)計(jì)算，基礎(chǔ)教育、高職教育、高等教育三類場(chǎng)景層次分析法的CR值分別為0.021、0.010、0.010，均小于0.1，說(shuō)明三類場(chǎng)景通過(guò)一致性檢驗(yàn)，判斷矩陣可用，能夠進(jìn)行權(quán)重分配。

（2）教學(xué)主體權(quán)重確定

層次分析法的賦權(quán)結(jié)果如表5所示。橫向比較三類場(chǎng)景教學(xué)主體的權(quán)重，可以發(fā)現(xiàn)：教師在基礎(chǔ)教育場(chǎng)景的重要性最高，其次是職業(yè)教育，高等教育排最后。進(jìn)一步縱向比較三類場(chǎng)景的指標(biāo)權(quán)重，可以發(fā)現(xiàn)：教師課中活動(dòng)的教學(xué)表現(xiàn)在各類場(chǎng)景中均最為重要。

3 熵權(quán)法應(yīng)用

（1）數(shù)據(jù)采集與分析

熵權(quán)法旨在比較典型在線教學(xué)平臺(tái)中教師和機(jī)器的實(shí)際教學(xué)表現(xiàn)，實(shí)現(xiàn)對(duì)教師與機(jī)器教學(xué)表現(xiàn)評(píng)價(jià)指標(biāo)的客觀賦權(quán)?！办亍弊畛鮼?lái)源于熱力學(xué)相關(guān)概念，主要反映系統(tǒng)的無(wú)序化程度。熵值理論利用系統(tǒng)的混亂程度表征信息量的大小，即某項(xiàng)指標(biāo)攜帶的信息越多，其對(duì)決策的影響越大，該指標(biāo)的權(quán)重也越大。為了解現(xiàn)有在線教學(xué)平臺(tái)中教師和機(jī)器的教學(xué)表現(xiàn)水平，本研究從基礎(chǔ)教育、職業(yè)教育、高等教育各場(chǎng)景分別選取10個(gè)典型在線教學(xué)平臺(tái)作為分析對(duì)象，具體如表6所示。

表5 層次分析法的賦權(quán)結(jié)果

表6 各教學(xué)場(chǎng)景的典型在線教學(xué)平臺(tái)

表7 16名專業(yè)人員的基本信息

依托人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架，本研究設(shè)計(jì)了“人機(jī)協(xié)同在線教學(xué)表現(xiàn)的專業(yè)人員評(píng)價(jià)問(wèn)卷”。本研究共邀請(qǐng)16名專業(yè)的在線教育領(lǐng)域產(chǎn)業(yè)從業(yè)人員參與問(wèn)卷填寫，要求他們?cè)诟鲌?chǎng)景至少選擇5個(gè)典型在線教學(xué)平臺(tái)，并以表2為依據(jù)對(duì)教師和機(jī)器的教學(xué)表現(xiàn)進(jìn)行綜合打分（分值范圍為1～5分），總分越高說(shuō)明表現(xiàn)越好。16名專業(yè)人員的基本信息如表7所示。

經(jīng)計(jì)算，專業(yè)人員判斷依據(jù)和熟悉程度分別賦值為0.84、0.60，兩者均值=0.72>0.7，表明本次咨詢的權(quán)威程度較高，賦權(quán)結(jié)果可靠性較強(qiáng)。剔除評(píng)價(jià)人數(shù)≤8的在線教學(xué)平臺(tái)后，基礎(chǔ)教育、職業(yè)教育、高等教育各場(chǎng)景分別有10、9、7個(gè)平臺(tái)納入熵權(quán)法的計(jì)算。

（2）教學(xué)主體權(quán)重確定

熵權(quán)法通過(guò)計(jì)算指標(biāo)的信息量進(jìn)行賦權(quán)。假設(shè)有m個(gè)評(píng)價(jià)對(duì)象、n個(gè)評(píng)價(jià)指標(biāo)，便能形成原始數(shù)據(jù)矩陣R=(X)m×n。第個(gè)指標(biāo)的信息熵E和差異系數(shù)為F的計(jì)算分別如公式（2）、公式（3）所示。其中，P為第個(gè)指標(biāo)下第個(gè)評(píng)價(jià)對(duì)象指標(biāo)值所占的權(quán)重，按公式（4）計(jì)算。最終，第個(gè)指標(biāo)的權(quán)重W通過(guò)公式（5）計(jì)算得到。

根據(jù)16名專業(yè)人員對(duì)典型在線教學(xué)平臺(tái)上教師和機(jī)器綜合表現(xiàn)的打分，可以計(jì)算出不同平臺(tái)上教師與機(jī)器兩大主體的平均得分，生成基礎(chǔ)教育、職業(yè)教育、高等教育場(chǎng)景的10×2、9×2、7×2原始數(shù)據(jù)矩陣，并計(jì)算出各場(chǎng)景兩大教學(xué)主體的熵值?；谒渺刂?，教師與機(jī)器的賦權(quán)結(jié)果如表8所示，可以看出：機(jī)器在三類場(chǎng)景的重要性均高于教師；但單就教師而言，仍以高等教育場(chǎng)景的重要性為最高，其次是職業(yè)教育，最后是基礎(chǔ)教育，這與層次分析法結(jié)果基本一致。

表8 教師與機(jī)器的賦權(quán)結(jié)果

4 多場(chǎng)景教育主體的組合賦權(quán)

組合權(quán)重計(jì)算的目的是將層次分析法和熵權(quán)法所得指標(biāo)權(quán)重進(jìn)行集成。根據(jù)最小相對(duì)信息熵原理，本研究采用拉格朗日乘子法計(jì)算組合權(quán)重，具體計(jì)算如公式（6）所示。其中，α為主觀賦權(quán)層次分析法計(jì)算所得權(quán)重，而為客觀賦權(quán)熵權(quán)法計(jì)算所得權(quán)重。

組合權(quán)重計(jì)算的賦權(quán)結(jié)果如表9所示，可以看出：基礎(chǔ)教育場(chǎng)景中教師的組合權(quán)重高于機(jī)器，而職業(yè)教育和高等教育的結(jié)果與此相反，說(shuō)明教師僅在基礎(chǔ)教育在線教學(xué)表現(xiàn)的重要性高于機(jī)器；另外，單就教師、機(jī)器在三類場(chǎng)景的組合權(quán)重而言，教師在基礎(chǔ)教育場(chǎng)景的重要性最高、其次是職業(yè)教育、高等教育排最后，而機(jī)器正與此相反。

表9 組合權(quán)重計(jì)算的賦權(quán)結(jié)果

最終，本研究根據(jù)組合權(quán)重計(jì)算的賦權(quán)結(jié)果得到基礎(chǔ)教育、職業(yè)教育、高等教育三類教學(xué)場(chǎng)景的人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)公式，分別如公式（7）、公式（8）、公式（9）所示。需說(shuō)明的是，本研究?jī)H提供教師與機(jī)器兩大教學(xué)主體的整體權(quán)重；至于具體評(píng)價(jià)指標(biāo)的權(quán)重，還需要結(jié)合具體的教學(xué)情境、教學(xué)環(huán)節(jié)等進(jìn)一步設(shè)計(jì)。

基礎(chǔ)教育的人機(jī)協(xié)同在線教學(xué)質(zhì)量=教師教學(xué)表現(xiàn)×0.5139+機(jī)器教學(xué)表現(xiàn)×0.4861公式（7）

職業(yè)教育的人機(jī)協(xié)同在線教學(xué)質(zhì)量=教師教學(xué)表現(xiàn)×0.4832+機(jī)器教學(xué)表現(xiàn)×0.5168公式（8）

高等教育的人機(jī)協(xié)同在線教學(xué)質(zhì)量=教師教學(xué)表現(xiàn)×0.4566+機(jī)器教學(xué)表現(xiàn)×0.5434公式（9）

四 研究結(jié)論

本研究綜合運(yùn)用層次分析法和熵權(quán)法，得到了教師、機(jī)器兩大教學(xué)主體在各教學(xué)場(chǎng)景中的在線教育質(zhì)量評(píng)價(jià)權(quán)重。基于教師和機(jī)器的賦權(quán)結(jié)果，本研究進(jìn)一步分析得到不同場(chǎng)景中教師、機(jī)器的重要程度及其評(píng)價(jià)重點(diǎn)，主要研究結(jié)論如下：

1 基礎(chǔ)教育場(chǎng)景中教師的不可替代性被普遍認(rèn)可

盡管應(yīng)用層次分析法和熵權(quán)法得出的教師和機(jī)器權(quán)重存在差異，但兩者結(jié)果均顯示：教師在基礎(chǔ)教育場(chǎng)景下的重要性最高，其次是職業(yè)教育，高等教育排最后。究其原因，主要在于基礎(chǔ)教育是學(xué)習(xí)者價(jià)值觀的奠基階段；而與機(jī)器相比，教師能夠更加直接、有效地影響學(xué)習(xí)者的人格、品行等，并在學(xué)習(xí)者價(jià)值觀的塑造方面發(fā)揮重要作用。因此，在基礎(chǔ)教育階段，教師應(yīng)發(fā)揮其在學(xué)習(xí)者素養(yǎng)培養(yǎng)和價(jià)值觀塑造方面的影響力，通過(guò)交流與反饋激發(fā)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的積極情感。值得一提的是，隨著人工智能在教育教學(xué)中的應(yīng)用與發(fā)展，中小學(xué)教師對(duì)于自身職業(yè)是否會(huì)被人工智能技術(shù)替代的問(wèn)題產(chǎn)生了較高的焦慮。有研究發(fā)現(xiàn)，教師的技術(shù)信念和技術(shù)感知能夠在一定程度上緩解其人工智能焦慮情緒[15]。本研究不僅驗(yàn)證了教師在基礎(chǔ)教育場(chǎng)景中的不可替代性，而且主張對(duì)教師與機(jī)器的協(xié)同教學(xué)表現(xiàn)進(jìn)行評(píng)價(jià)，這不僅有助于教師反思并改進(jìn)自身教學(xué)，還能幫助教師理解自身和機(jī)器在教學(xué)過(guò)程中的角色屬性，提升技術(shù)感知度，進(jìn)而消解教師對(duì)人工智能的焦慮情緒。

2 職業(yè)教育與高等教育場(chǎng)景中機(jī)器的整體表現(xiàn)更重要

組合權(quán)重計(jì)算的賦權(quán)結(jié)果顯示，與基礎(chǔ)教育相比，職業(yè)教育與高等教育場(chǎng)景中機(jī)器的整體教學(xué)表現(xiàn)更重要。這主要是由于在職業(yè)教育與高等教育階段，在線學(xué)習(xí)者的學(xué)習(xí)目標(biāo)、學(xué)習(xí)偏好和學(xué)習(xí)策略存在較大差異，而機(jī)器能夠借助其算法和算力優(yōu)勢(shì)，以更小的成本和更高的效率實(shí)現(xiàn)個(gè)性化在線教學(xué)，主要表現(xiàn)為：①職業(yè)教育的課中活動(dòng)包括大量的動(dòng)作技能練習(xí)，教師難以及時(shí)發(fā)現(xiàn)并糾正學(xué)習(xí)者的練習(xí)問(wèn)題[16]，但智能技術(shù)支持的虛擬教學(xué)助手、智能導(dǎo)師系統(tǒng)等能在課中活動(dòng)中為學(xué)習(xí)者提供精準(zhǔn)、及時(shí)的反饋[17]。②在高等教育階段，學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)和學(xué)習(xí)能力更強(qiáng)，課后學(xué)習(xí)需求的差異性較大。課后，智能機(jī)器根據(jù)學(xué)習(xí)者的情感和行為特征進(jìn)行個(gè)性化資源和問(wèn)答推薦，能夠有效滿足其高階學(xué)習(xí)需要[18]。例如，智能機(jī)器能夠通過(guò)理解學(xué)習(xí)者的提問(wèn)，檢索并返回答案，或根據(jù)其提問(wèn)情況推薦個(gè)性化學(xué)習(xí)資源。

3 各場(chǎng)景中教師的課中教學(xué)表現(xiàn)均有較大影響

層次分析法的賦權(quán)結(jié)果顯示，教師的課中教學(xué)表現(xiàn)對(duì)各場(chǎng)景在線教學(xué)質(zhì)量的影響都比較大，具體表現(xiàn)為教師課中活動(dòng)的指標(biāo)權(quán)重顯著高于包括教師課前導(dǎo)學(xué)與課后答疑、機(jī)器各教學(xué)環(huán)節(jié)的指標(biāo)權(quán)重。這主要是因?yàn)椋壳氨M管機(jī)器在數(shù)據(jù)收集和分析方面的效率遠(yuǎn)超人類，但教師在情感、價(jià)值、思維方面的教學(xué)價(jià)值仍無(wú)法被替代[19]。尤其是課中教學(xué)環(huán)節(jié)，更加強(qiáng)調(diào)師生共同參與的互動(dòng)過(guò)程，因?yàn)榻處熍c學(xué)習(xí)者的有效溝通和互動(dòng)有助于調(diào)動(dòng)學(xué)習(xí)者學(xué)習(xí)的主動(dòng)性?；诖?，對(duì)于人機(jī)協(xié)同在線教學(xué)質(zhì)量評(píng)價(jià)中的教師評(píng)價(jià)部分，教育管理者應(yīng)著重考察教師在課中教學(xué)活動(dòng)的表現(xiàn)。此外，目前智能機(jī)器在備課、組卷、答疑等方面尚不能完全脫離人類專家或?qū)W科教師的參與，人機(jī)協(xié)同是實(shí)現(xiàn)各教學(xué)環(huán)節(jié)精準(zhǔn)教學(xué)的重要方式[20]。對(duì)教師和機(jī)器的教學(xué)表現(xiàn)進(jìn)行精準(zhǔn)評(píng)價(jià)，不僅有助于教師反思和改進(jìn)自身教學(xué)問(wèn)題，還能為人機(jī)協(xié)同教學(xué)模式的迭代完善提供過(guò)程性依據(jù)?？偟膩?lái)說(shuō)，智能時(shí)代的教師應(yīng)不斷提升自身信息素養(yǎng)和運(yùn)用先進(jìn)智能技術(shù)開展教學(xué)的技能水平，并與機(jī)器在教學(xué)過(guò)程中建立相互促進(jìn)、共同發(fā)展的協(xié)同關(guān)系。

五 結(jié)語(yǔ)

本研究構(gòu)建了人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)框架，并比較了基礎(chǔ)教育、職業(yè)教育、高等教育三類場(chǎng)景中教師與機(jī)器教學(xué)表現(xiàn)的重要程度，有助于從“教”的視角豐富智能時(shí)代的在線教學(xué)質(zhì)量評(píng)價(jià)思路。同時(shí)，本研究指出教師在基礎(chǔ)教育場(chǎng)景中具有不可替代性且其在各場(chǎng)景中的課中教學(xué)表現(xiàn)均有較大影響，為人機(jī)協(xié)同中教師的焦慮情緒緩解和場(chǎng)景角色定位提供了實(shí)證依據(jù)。需要說(shuō)明的是，由于多數(shù)在線教學(xué)平臺(tái)存在數(shù)據(jù)獲取限制，故本研究的熵權(quán)法應(yīng)用存在一定的局限性，如僅通過(guò)問(wèn)卷采集所需信息量?；诖?，后續(xù)研究可通過(guò)數(shù)據(jù)埋點(diǎn)、智能傳感等方式采集教師與機(jī)器在特定教學(xué)平臺(tái)的實(shí)際教學(xué)行為數(shù)據(jù)，并在細(xì)粒度教學(xué)行為指標(biāo)和深度學(xué)習(xí)算法的支撐下，構(gòu)建多層級(jí)人機(jī)協(xié)同在線教學(xué)評(píng)價(jià)體系。

[1]王竹立.后疫情時(shí)代,教育應(yīng)如何轉(zhuǎn)型?[J].電化教育研究,2020,(4):13-20.

[2]新華社.中共中央國(guó)務(wù)院印發(fā)《深化新時(shí)代教育評(píng)價(jià)改革總體方案》[OL].

[3]余勝泉,王琦.“AI+教師”的協(xié)作路徑發(fā)展分析[J].電化教育研究,2019,(4):14-22.

[4]喬偉峰,劉威童,李曼麗.學(xué)生眼里的在線教學(xué):行為、效果與挑戰(zhàn)——基于新冠疫情期間清華大學(xué)學(xué)生在線學(xué)習(xí)行為調(diào)查[J].清華大學(xué)教育研究,2021,(1):57-66.

[5]李華,魏一通.混合式教學(xué)中學(xué)生學(xué)習(xí)行為評(píng)估體系構(gòu)建與應(yīng)用研究[J].中國(guó)電化教育,2020,(10):58-66.

[6]魏順平.在線學(xué)習(xí)自動(dòng)評(píng)價(jià)模式構(gòu)建與應(yīng)用研究[J].中國(guó)遠(yuǎn)程教育,2015,(3):38-45.

[7][13]陳耀華,鄭勤華,孫洪濤,等.基于學(xué)習(xí)分析的在線學(xué)習(xí)測(cè)評(píng)建模與應(yīng)用——教師綜合評(píng)價(jià)參考模型研究[J].電化教育研究,2016,(10):35-41.

[8]魏順平,程罡.數(shù)據(jù)驅(qū)動(dòng)的教育機(jī)構(gòu)在線教學(xué)過(guò)程評(píng)價(jià)指標(biāo)體系構(gòu)建與應(yīng)用[J].開放教育研究,2017,(3):113-120.

[9]黃濤,龔眉潔,楊華利,等.人機(jī)協(xié)同支持的小學(xué)語(yǔ)文寫作教學(xué)研究[J].電化教育研究,2020,(2):108-114.

[10]李艷,劉淑君,李小麗,等.人機(jī)協(xié)同作文評(píng)價(jià)能促進(jìn)寫作教學(xué)嗎?——來(lái)自Z校拓展課的證據(jù)[J].現(xiàn)代遠(yuǎn)程教育研究,2022,(1):63-74.

[11][16]王雯,韓錫斌.面向遠(yuǎn)程技能訓(xùn)練的在線教學(xué)模式研究[J].中國(guó)職業(yè)技術(shù)教育,2021,(26):41-51.

[12]Song Z, Tang J, Liu T X, et al. XiaoMu: An AI-driven assistant for MOOCs[J]. Science China Information Sciences, 2021,(6):1-3.

[14]劉智,孔璽,王泰,等.人工智能時(shí)代機(jī)器輔助教學(xué):能力向度及發(fā)展進(jìn)路[J].開放教育研究,2021,(3):54-62.

[15]趙磊磊,張黎,章璐,等.中小學(xué)教師的人工智能焦慮:現(xiàn)狀分析與消解路向[J].現(xiàn)代教育技術(shù),2022,(3):81-91.

[17]董文娟,黃堯.人工智能賦能職業(yè)教育:實(shí)質(zhì)、路徑與目標(biāo)[J].現(xiàn)代教育技術(shù),2019,(10):28-33.

[18][20]楊重陽(yáng),武法提.精準(zhǔn)教學(xué)與個(gè)性化學(xué)習(xí)場(chǎng)景中教學(xué)支持服務(wù)框架研究[J].現(xiàn)代教育技術(shù),2022,(1):111-117.

[19]陳星,吳葉林.人機(jī)協(xié)同教育治理的障礙與突破[J].現(xiàn)代遠(yuǎn)程教育研究,2022,(1):40-47.

Research on the of Evaluation Framework of Multi-scene Human-machine Collaborative Online Teaching——Based on the Analyses of Analytic Hierarchy Process and Entropy Weight Method

WANG Ci-xiao XU Jun-yan GUO Li-ming ZHENG Qin-hua[Corresponding Author]

The new generation artificial intelligence (AI) technology has promoted the development of human-machine collaborative online teaching. How to carry out the online teaching evaluation based on the collaborative teaching performance of teachers and machines is the current research focus. Firstly, this paper reviewed the current online teaching evaluation methods and pointed out that the implementation of evaluation needs to consider scene heterogeneity. After that, this paper analyzed teachers’ and machines’ online teaching tasks and teaching performance dimensions in the three teaching steps of pre-class guidance, in-class activity and after-class query, and constructed the evaluation framework of human-machine collaborative online teaching. Then, this paper conducted the scene heterogeneity analysis of the evaluation framework, and further obtained the influence weight of teachers’ and machines’ teaching performance on online teaching quality. Finally, the research conclusions were summarized in this paper, and it was proposed that teachers’ teaching in the basic education scene wasirreplaceable, and machines’ overall performance in the vocational and higher education scenes was more important. In addition, in each scene, teachers’ in-class performance all had a great influence. The research results could provide reference for carrying out multi-scene online teaching evaluation and offer an empirical basis for teachers’ anxiety relief and scene role orientation in the intelligent era.

online teaching evaluation; teacher;machine; analytic hierarchy process; entropy weight method

G40-057

A

1009—8097（2023）01—0074—09

10.3969/j.issn.1009-8097.2023.01.008

本文受科技創(chuàng)新2030新一代人工智能重大項(xiàng)目“混合增強(qiáng)在線教育關(guān)鍵技術(shù)與系統(tǒng)研究”（項(xiàng)目編號(hào)：2020AAA0108804）資助。

王辭曉，講師，博士，研究方向?yàn)樵诰€教育、學(xué)習(xí)科學(xué)，郵箱為wangcixiao@bnu.edu.cn。

2022年5月11日

編輯：小米