汪瓊 歐陽(yáng)嘉煜 范逸洲

[摘 ? 要] 同伴互評(píng)是MOOC中經(jīng)常采用的一種教學(xué)活動(dòng)。為了幫助學(xué)習(xí)者自信地對(duì)他人作業(yè)做出客觀公正的評(píng)價(jià)并促進(jìn)自我反思，課程團(tuán)隊(duì)會(huì)提供作業(yè)反思框架，即評(píng)價(jià)量規(guī)，希望學(xué)習(xí)者在使用評(píng)價(jià)量規(guī)撰寫評(píng)語(yǔ)的過程中不斷加深對(duì)課程教學(xué)目標(biāo)的理解，通過觀摩評(píng)議同伴作業(yè)促進(jìn)自我反思。但教學(xué)用意未必所有學(xué)生都能夠領(lǐng)會(huì)并落實(shí)，MOOC中有多少學(xué)習(xí)者在作業(yè)互評(píng)過程中具有反思意識(shí)、反思意識(shí)程度如何、反思意識(shí)與學(xué)業(yè)成效之間是否存在關(guān)聯(lián)，是本研究感興趣的問題。通過對(duì)“教師如何做研究”MOOC課程中79287條同伴互評(píng)數(shù)據(jù)進(jìn)行深入分析后發(fā)現(xiàn)：在自然無干預(yù)的狀態(tài)下，大部分學(xué)習(xí)者有一定的反思意識(shí)，但撰寫的評(píng)語(yǔ)質(zhì)量還有待提升;成績(jī)合格者的評(píng)語(yǔ)長(zhǎng)度和評(píng)語(yǔ)質(zhì)量與學(xué)習(xí)成效呈現(xiàn)顯著正相關(guān)，這表明同伴互評(píng)的評(píng)語(yǔ)長(zhǎng)度及質(zhì)量可以作為學(xué)習(xí)成效的預(yù)測(cè)指標(biāo)。研究在使用定量方法對(duì)MOOC學(xué)習(xí)者評(píng)語(yǔ)數(shù)據(jù)進(jìn)行教學(xué)意義分析方面作了一些方法嘗試，可為后續(xù)研究提供參考。

[關(guān)鍵詞] MOOC; 同伴互評(píng); 反思意識(shí); 評(píng)語(yǔ)字?jǐn)?shù); 評(píng)語(yǔ)質(zhì)量; 學(xué)習(xí)成效

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 汪瓊（1965—），女，安徽合肥人。教授，博士，主要從事教學(xué)設(shè)計(jì)研究。E-mail：wangqiong@pku.edu.cn。

一、問題的提出

同伴作業(yè)互評(píng)是MOOC中常用的一種社會(huì)建構(gòu)學(xué)習(xí)活動(dòng)，學(xué)習(xí)者需要根據(jù)課程團(tuán)隊(duì)提供的評(píng)價(jià)量規(guī)，對(duì)多個(gè)同伴的作業(yè)進(jìn)行批改。在這個(gè)過程中，學(xué)習(xí)者不僅可以加深對(duì)教學(xué)要求的理解，促進(jìn)自我反思[1]，還可以因觀摩他人作業(yè)而取長(zhǎng)補(bǔ)短，豐富觀點(diǎn)和見識(shí)。

已有研究表明，學(xué)習(xí)者參與同伴互評(píng)能夠提高他們的學(xué)習(xí)成績(jī)、激發(fā)學(xué)習(xí)動(dòng)機(jī)[2-4]。例如：“教師如何做研究”這門MOOC課程中就有學(xué)習(xí)者表示非常喜歡這個(gè)活動(dòng)，認(rèn)為“原以為自己已經(jīng)做得很好了，卻看到了別人更出色的作業(yè)”。對(duì)于被評(píng)價(jià)者來說，高質(zhì)量且與被評(píng)價(jià)者相關(guān)的評(píng)語(yǔ)對(duì)其學(xué)習(xí)起到正向促進(jìn)作用[5]，對(duì)于評(píng)價(jià)者來說，寫評(píng)語(yǔ)的過程可以提升其批判性思考等高階思維能力[6]。

雖然作業(yè)評(píng)語(yǔ)是“同伴作業(yè)互評(píng)”活動(dòng)中提升學(xué)生學(xué)習(xí)質(zhì)量的關(guān)鍵要素，但并不是所有學(xué)習(xí)者都能夠意識(shí)到認(rèn)真寫評(píng)語(yǔ)的意義，所撰寫的評(píng)語(yǔ)也并不都是有針對(duì)性的。在一項(xiàng)對(duì)3034條同伴互評(píng)評(píng)語(yǔ)進(jìn)行文本編碼分析的研究中，研究者發(fā)現(xiàn)：多數(shù)學(xué)習(xí)者撰寫的評(píng)語(yǔ)內(nèi)容都不涉及對(duì)作業(yè)的修改建議，即使提出了修改建議，這些建議通常也是不具體的或者難以操作[7]。

在“教師如何做研究”MOOC課程中也有學(xué)習(xí)者反映：同伴并沒有根據(jù)評(píng)價(jià)量規(guī)對(duì)作業(yè)進(jìn)行評(píng)價(jià);評(píng)語(yǔ)內(nèi)容單薄，只有幾個(gè)字，對(duì)后續(xù)修改無指導(dǎo)價(jià)值;等等。我們隨機(jī)抽取了300條“教師如何做研究”MOOC課程的同伴作業(yè)互評(píng)評(píng)語(yǔ)，按照字?jǐn)?shù)由少至多的順序排序后發(fā)現(xiàn)：學(xué)習(xí)者所寫的評(píng)語(yǔ)長(zhǎng)度不一，有些評(píng)語(yǔ)寥寥幾字（如“很好”“厲害”“很有收獲”），有些評(píng)語(yǔ)長(zhǎng)篇大論（字?jǐn)?shù)高達(dá)上千字）;評(píng)語(yǔ)質(zhì)量差異也很大，部分評(píng)語(yǔ)能夠根據(jù)評(píng)價(jià)量規(guī)給出具有建設(shè)性的修改意見，但也有部分評(píng)語(yǔ)看不出與作業(yè)評(píng)價(jià)量規(guī)的關(guān)聯(lián)?？梢?，并不是所有MOOC學(xué)習(xí)者都能夠意識(shí)到評(píng)價(jià)量規(guī)實(shí)際提供了反思的框架，也不是所有學(xué)習(xí)者都能夠根據(jù)評(píng)價(jià)量規(guī)撰寫評(píng)語(yǔ)。那么，有多少M(fèi)OOC學(xué)習(xí)者在參與同伴互評(píng)過程中具有反思意識(shí)或進(jìn)行了審辯思考？由評(píng)語(yǔ)表達(dá)出的反思意識(shí)的強(qiáng)弱與學(xué)習(xí)成效之間是否有相關(guān)性？對(duì)上述問題的回答，將有助于增進(jìn)我們對(duì)MOOC學(xué)習(xí)者學(xué)習(xí)特點(diǎn)的認(rèn)識(shí)，相關(guān)發(fā)現(xiàn)也可以用于優(yōu)化MOOC作業(yè)互評(píng)活動(dòng)設(shè)計(jì)。

二、研究設(shè)計(jì)

本研究希望通過對(duì)MOOC作業(yè)互評(píng)活動(dòng)中作業(yè)評(píng)語(yǔ)的研究，確定MOOC學(xué)習(xí)者在參與同伴作業(yè)互評(píng)過程中的反思意識(shí)強(qiáng)度，研究分析反思意識(shí)強(qiáng)弱與學(xué)習(xí)成效是否存在關(guān)系。

（一）研究數(shù)據(jù)來源

為保障本研究數(shù)據(jù)分析的有效性，本研究在樣本選擇上有以下幾點(diǎn)考慮：一是同伴互評(píng)任務(wù)要具有一定復(fù)雜度，如果同伴互評(píng)任務(wù)過于簡(jiǎn)單，那么學(xué)習(xí)者撰寫的評(píng)語(yǔ)內(nèi)容和修改建議極易雷同;二是同伴互評(píng)的評(píng)價(jià)量規(guī)不能過于單一，否則學(xué)習(xí)者撰寫的評(píng)語(yǔ)同質(zhì)性也會(huì)很高，同質(zhì)性會(huì)大大壓縮評(píng)語(yǔ)的可分析空間;三是為了排除學(xué)習(xí)者對(duì)評(píng)價(jià)內(nèi)容理解程度的差異對(duì)學(xué)習(xí)者所撰寫的評(píng)語(yǔ)內(nèi)容的影響，所選擇分析的同伴互評(píng)活動(dòng)最好是在課程后期進(jìn)行的，一般來說，參與課程最后一周同伴互評(píng)的學(xué)習(xí)者基本都堅(jiān)持學(xué)習(xí)了課程的所有內(nèi)容，這部分學(xué)習(xí)者已經(jīng)了解并掌握了課程的知識(shí)點(diǎn)，他們對(duì)于評(píng)價(jià)量規(guī)的熟悉和理解程度可視為同一水平。

根據(jù)上述考慮，本研究將研究樣本確立為一門面向大中小學(xué)教師的研究方法培訓(xùn)MOOC“教師如何做研究”，該課程共有五周教學(xué)內(nèi)容。學(xué)習(xí)者在學(xué)完五周所有內(nèi)容后需要根據(jù)模板撰寫一份研究申請(qǐng)報(bào)告，作為作業(yè)提交并參與同伴作業(yè)互評(píng)，每個(gè)人至少要評(píng)6份作業(yè)。評(píng)價(jià)量規(guī)共有6個(gè)維度，分別是研究題目、研究關(guān)鍵詞、研究背景、研究?jī)?nèi)容、研究過程和研究創(chuàng)新點(diǎn)和成果。表1列舉了該作業(yè)同伴互評(píng)活動(dòng)的評(píng)價(jià)量規(guī)。學(xué)習(xí)者根據(jù)評(píng)價(jià)量規(guī)給出每個(gè)維度的得分后，平臺(tái)將自動(dòng)計(jì)算總分（每個(gè)維度去掉最高分和最低分后取平均分，然后計(jì)算各個(gè)維度的平均分之和獲得作業(yè)總分，滿分15分），同時(shí)，學(xué)習(xí)者還需要在文本框內(nèi)給出相應(yīng)的評(píng)語(yǔ)，課程團(tuán)隊(duì)要求學(xué)習(xí)者能夠根據(jù)評(píng)價(jià)量規(guī)進(jìn)行評(píng)價(jià)，但平臺(tái)本身對(duì)學(xué)習(xí)者提交的評(píng)語(yǔ)內(nèi)容和評(píng)語(yǔ)字?jǐn)?shù)無任何限制。

本研究收集了該課程第一至第十一期的所有同伴作業(yè)互評(píng)的實(shí)際數(shù)據(jù)，即每位學(xué)員打出的分?jǐn)?shù)，在此基礎(chǔ)上得出每份作業(yè)的實(shí)際互評(píng)成績(jī)作為本研究的分析數(shù)據(jù)，使用Rstudio工具進(jìn)行數(shù)據(jù)分析。數(shù)據(jù)字段包括評(píng)價(jià)者ID、被評(píng)價(jià)者ID、課程ID、學(xué)期ID、作業(yè)ID、每個(gè)評(píng)價(jià)維度的得分、評(píng)語(yǔ)、課程成績(jī)等，共計(jì)10184人次參與了同伴互評(píng)環(huán)節(jié)，產(chǎn)生了79287條有效評(píng)語(yǔ)，相當(dāng)于人均提供了7.78條評(píng)語(yǔ)，即人均批改了近8份作業(yè)，“超額”完成了互評(píng)作業(yè)任務(wù)。這也從一個(gè)側(cè)面說明MOOC學(xué)習(xí)者是很愿意看同伴作業(yè)的。