王康妮+曾美婷

【摘要】本研究分別將基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)模式、基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)與教師評(píng)價(jià)的混合評(píng)價(jià)模式和基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)與同伴互評(píng)混合評(píng)價(jià)模式應(yīng)用于低水平學(xué)生英語(yǔ)寫(xiě)作中。結(jié)果顯示，三個(gè)班學(xué)生的作文成績(jī)都有明顯提高，但是三個(gè)班的進(jìn)步值不存在顯著差異，這說(shuō)明基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)模式能促進(jìn)低年級(jí)學(xué)生的作文水平。

【關(guān)鍵詞】英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng) 低水平學(xué)生 人工評(píng)價(jià)

一、研究背景

在我國(guó)現(xiàn)階段的大學(xué)英語(yǔ)寫(xiě)作教學(xué)中，因?yàn)榻處熃虒W(xué)科研任務(wù)重，每次批改作文需要很長(zhǎng)的時(shí)間，因而無(wú)法及時(shí)給學(xué)生提供反饋，從而使部分學(xué)生對(duì)寫(xiě)作產(chǎn)生消極態(tài)度，同時(shí)，這也導(dǎo)致教師少布置作文，學(xué)生沒(méi)得到足夠?qū)懽饔?xùn)練。學(xué)生的消極態(tài)度和寫(xiě)作訓(xùn)練的不足極大影響了學(xué)生寫(xiě)作水平的提高。大學(xué)英語(yǔ)教學(xué)積極響應(yīng)《大學(xué)英語(yǔ)課程教學(xué)要求》中提倡應(yīng)用現(xiàn)代信息技術(shù)，特別是網(wǎng)絡(luò)技術(shù)為支撐，旨在讓教與學(xué)不受時(shí)間和地點(diǎn)的限制，朝著個(gè)性化和自主學(xué)習(xí)的方向發(fā)展的教學(xué)模式的要求，運(yùn)用計(jì)算機(jī)多媒體技術(shù)于教學(xué)中。英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)（以下簡(jiǎn)稱(chēng)系統(tǒng)），一項(xiàng)基于信息技術(shù)的標(biāo)準(zhǔn)化評(píng)價(jià)工具，也被引入英語(yǔ)寫(xiě)作教學(xué)中，成為英語(yǔ)寫(xiě)作改革的一個(gè)重要切入點(diǎn)。自動(dòng)評(píng)價(jià)系統(tǒng)能提高批閱速度，及時(shí)給學(xué)生反饋，讓學(xué)生得到更多寫(xiě)作訓(xùn)練，進(jìn)而提高學(xué)生的英語(yǔ)寫(xiě)作水平，但其亦有局限性：主要關(guān)注作文的形式方面如單詞拼寫(xiě)和語(yǔ)法錯(cuò)誤等，卻甚少關(guān)注內(nèi)容和組織方面?；诖耍糠盅芯空呓ㄗh系統(tǒng)評(píng)價(jià)應(yīng)與人工評(píng)價(jià)相結(jié)合，使其更好地達(dá)到提高學(xué)生寫(xiě)作水平的目的。

目前，國(guó)內(nèi)已有部分研究者嘗試將基于系統(tǒng)的評(píng)價(jià)與人工評(píng)價(jià)的混合評(píng)價(jià)模式應(yīng)用于寫(xiě)作課堂中，發(fā)現(xiàn)混合評(píng)價(jià)模式比單獨(dú)的人工評(píng)價(jià)更能提高學(xué)生寫(xiě)作水平。然而，鑒于系統(tǒng)評(píng)價(jià)能夠提高學(xué)生寫(xiě)作水平，因其局限性，才進(jìn)而提出系統(tǒng)評(píng)價(jià)與人工評(píng)價(jià)相結(jié)合的混合評(píng)價(jià)模式，因此，后續(xù)研究應(yīng)該把基于系統(tǒng)的評(píng)價(jià)與人工評(píng)價(jià)混合評(píng)價(jià)模式和基于系統(tǒng)的評(píng)價(jià)模式進(jìn)行比較，但目前卻鮮少有這方面的嘗試。故本研究分別將基于系統(tǒng)的評(píng)價(jià)模式、基于系統(tǒng)的評(píng)價(jià)與教師評(píng)價(jià)混合評(píng)價(jià)模式和基于系統(tǒng)的評(píng)價(jià)與同伴互評(píng)混合評(píng)價(jià)模式應(yīng)用于低水平學(xué)生英語(yǔ)寫(xiě)作中，希望能為這一領(lǐng)域的研究提供思路。

二、研究設(shè)計(jì)

1.研究問(wèn)題。本實(shí)驗(yàn)將三種評(píng)價(jià)模式應(yīng)用于教學(xué)中，并研究：（1）三種評(píng)價(jià)模式對(duì)促進(jìn)低水平學(xué)生寫(xiě)作水平是否不同？（2）學(xué)生對(duì)這三種評(píng)價(jià)模式的態(tài)度如何？

2.研究對(duì)象。來(lái)自某院校三個(gè)非英語(yǔ)專(zhuān)業(yè)班級(jí)共107學(xué)生參與本次實(shí)驗(yàn)，這些學(xué)生已經(jīng)完成為期一個(gè)學(xué)期的大學(xué)英語(yǔ)學(xué)習(xí)。

3.研究工具。本研究采用問(wèn)卷調(diào)查和前、后測(cè)英語(yǔ)寫(xiě)作成績(jī)的統(tǒng)計(jì)學(xué)分析，問(wèn)卷調(diào)查在實(shí)驗(yàn)后在三個(gè)班進(jìn)行，包含四個(gè)維度：學(xué)生（1）是否滿意本班實(shí)行的評(píng)價(jià)模式；（2）是否會(huì)認(rèn)真閱讀評(píng)價(jià)并修改；（3）是否認(rèn)為現(xiàn)行評(píng)價(jià)模式能促進(jìn)寫(xiě)作水平；（4）是否滿意實(shí)行的評(píng)價(jià)模式的反饋速度。前、后測(cè)英語(yǔ)寫(xiě)作成績(jī)來(lái)自學(xué)生在實(shí)驗(yàn)前和實(shí)驗(yàn)后的限時(shí)命題寫(xiě)作的初稿。為確保作文難度一致，作文體裁皆為議論文。每份作文最終得分取自兩位教師評(píng)分的平均值。

實(shí)驗(yàn)采用采用的自動(dòng)評(píng)價(jià)系統(tǒng)是冰果英語(yǔ)智能評(píng)閱系統(tǒng)，該系統(tǒng)目前被國(guó)內(nèi)多所高校使用。

4.研究方法與步驟。在實(shí)驗(yàn)班A班和B班中，A班使用基于系統(tǒng)的評(píng)價(jià)與教師評(píng)價(jià)混合評(píng)價(jià)模式，系統(tǒng)先對(duì)作文初稿進(jìn)行評(píng)價(jià)，學(xué)生根據(jù)評(píng)價(jià)做出修改后提交教師，教師評(píng)價(jià)后學(xué)生再修改、定稿并上交。B班采用基于系統(tǒng)的評(píng)價(jià)與同伴互評(píng)混合評(píng)價(jià)模式，同樣先讓系統(tǒng)對(duì)初稿進(jìn)行評(píng)價(jià)，區(qū)別在于學(xué)生修改初稿后交與同伴，同伴根據(jù)教師提供的同伴互評(píng)標(biāo)準(zhǔn)進(jìn)行修改、反饋，學(xué)生在同伴提供的反饋基礎(chǔ)上，再次進(jìn)行修改定稿并上交。在實(shí)驗(yàn)前，教師先提供互評(píng)標(biāo)準(zhǔn)并對(duì)學(xué)生進(jìn)行培訓(xùn)。前兩次的同伴互評(píng)在課堂上進(jìn)行，教師在旁邊給予指導(dǎo)。由于培訓(xùn)的緣故，實(shí)驗(yàn)班第一學(xué)期布置3篇作文，第二學(xué)期增加到4篇。對(duì)照班C采用基于系統(tǒng)的評(píng)價(jià)模式，使用系統(tǒng)對(duì)作文進(jìn)行評(píng)改，對(duì)照班每個(gè)學(xué)期布置6篇作文。

5.研究結(jié)果和分析。結(jié)果分析與討論。前測(cè)結(jié)果顯示三個(gè)班學(xué)生成績(jī)有顯著性差異（P=0.003<0.05），說(shuō)明實(shí)驗(yàn)組和對(duì)照組在實(shí)驗(yàn)前英語(yǔ)寫(xiě)作能力有差異。SPSS計(jì)算出三個(gè)班學(xué)生前測(cè)的平均成績(jī)?nèi)绫?所示。由于前測(cè)成績(jī)有顯著性差異，我們將三個(gè)班實(shí)驗(yàn)后的進(jìn)步值進(jìn)行比較，以觀察實(shí)驗(yàn)方法和對(duì)照方法對(duì)學(xué)生寫(xiě)作能力發(fā)展的影響。通過(guò)對(duì)三個(gè)班學(xué)生進(jìn)步值的比較，發(fā)現(xiàn)他們的進(jìn)步值沒(méi)有顯著性差異（P=0.077>0.05），結(jié)果如表2所示，實(shí)驗(yàn)A班和B班分別提高了2.3289分和2.1324分，對(duì)照班C班提高了1.5600分，說(shuō)明三種評(píng)價(jià)模式都有助于低水平學(xué)生寫(xiě)作能力的發(fā)展，都對(duì)學(xué)生的寫(xiě)作起促進(jìn)作用。

表1 實(shí)驗(yàn)組和對(duì)照組平均成績(jī)比較（前測(cè)）

小班 人數(shù) 平均數(shù) 標(biāo)準(zhǔn)差

實(shí)驗(yàn)組A班 38 7.5132 1.53115

實(shí)驗(yàn)組B班 34 8.7059 1.69275

對(duì)照組C班 35 8.5543 1.50555

表2 實(shí)驗(yàn)組和對(duì)照組進(jìn)步值比較

小班 人數(shù) 平均數(shù) 標(biāo)準(zhǔn)差

實(shí)驗(yàn)組A班 38 2.3289 2.12856

實(shí)驗(yàn)組B班 34 2.1324 1.31027

對(duì)照組C班 35 1.5600 1.94516

實(shí)驗(yàn)后的問(wèn)卷調(diào)查結(jié)果顯示，A 班有68.42%對(duì)現(xiàn)行評(píng)價(jià)模式滿意，B班有62.86%，C班最低，只有56.25%。其中A 班有高達(dá)65.79%學(xué)生認(rèn)為現(xiàn)行評(píng)價(jià)模式能促進(jìn)寫(xiě)作水平，而B(niǎo)班和C班分別只有51.43%和50.00%。然而當(dāng)問(wèn)到對(duì)反饋速度的滿意度，對(duì)照C班顯示最高的滿意度，有84.38%表示滿意，而A班和B班只有65.79%和51.43%。反饋速度也進(jìn)而影響學(xué)生對(duì)反饋內(nèi)容的閱讀以及對(duì)作文的修改。C班有65.63%的學(xué)生會(huì)經(jīng)常閱讀反饋并有53.13%的同學(xué)表示會(huì)根據(jù)評(píng)價(jià)修改。A班則有60.53%的學(xué)生閱讀作文的反饋，只有42.11%的學(xué)生會(huì)經(jīng)常修改；B班最低，只有51.43%的同學(xué)會(huì)閱讀反饋并有37.14%的同學(xué)會(huì)修改。

從實(shí)驗(yàn)結(jié)果可以看出，基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)模式、基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)與教師評(píng)價(jià)混合評(píng)價(jià)模式和基于寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)的評(píng)價(jià)與同伴互評(píng)混合評(píng)價(jià)模式都能促進(jìn)低水平學(xué)生寫(xiě)作水平的發(fā)展，實(shí)驗(yàn)班學(xué)生寫(xiě)作成績(jī)的進(jìn)步值高于對(duì)照班，但是他們之間的進(jìn)步值沒(méi)有形成顯著差異，這主要是系統(tǒng)的特點(diǎn)導(dǎo)致的。系統(tǒng)評(píng)價(jià)的最大特點(diǎn)是關(guān)注作文的形式方面如單詞拼寫(xiě)和語(yǔ)法錯(cuò)誤等，卻甚少關(guān)注內(nèi)容和組織方面。參與實(shí)驗(yàn)的學(xué)生都是大一學(xué)生，他們的英語(yǔ)水平還比較低，作文中充斥著高頻率的詞匯和語(yǔ)法方面的錯(cuò)誤，系統(tǒng)能夠提供比教師更詳細(xì)更準(zhǔn)確的語(yǔ)法和拼寫(xiě)反饋，幫助學(xué)生極大地減少作文的錯(cuò)誤，明顯提高作文的質(zhì)量。同時(shí)，對(duì)照班學(xué)生比實(shí)驗(yàn)班學(xué)生多將近一倍的寫(xiě)作練習(xí)，使得對(duì)照班學(xué)生可以多次操練，多次修改，因而他們的作文在詞匯和語(yǔ)法方面都比實(shí)驗(yàn)班得到更大進(jìn)步。然而，仔細(xì)閱讀學(xué)生的作文，就會(huì)發(fā)現(xiàn)對(duì)照班學(xué)生在內(nèi)容和組織方面基本沒(méi)有取得進(jìn)步，這是系統(tǒng)很少在這些方面給予有效反饋導(dǎo)致的。因而，雖然實(shí)驗(yàn)班在詞匯、語(yǔ)法、內(nèi)容和結(jié)構(gòu)方面都取得有進(jìn)步，但是對(duì)照班在詞匯和語(yǔ)法方面的巨大進(jìn)步彌補(bǔ)了在內(nèi)容和結(jié)構(gòu)方面的不足，使得實(shí)驗(yàn)班和對(duì)照班的進(jìn)步值沒(méi)有顯著差異。

從上面的分析不難看出，基于系統(tǒng)的評(píng)價(jià)模式對(duì)低年級(jí)學(xué)生的寫(xiě)作更有幫助，但對(duì)高年級(jí)學(xué)生寫(xiě)作水平是否提高還有待斟酌。這和周穎[8]和魯艷輝等[9]的發(fā)現(xiàn)相吻合。低年級(jí)學(xué)生作文充斥著大量的語(yǔ)法和詞匯錯(cuò)誤，系統(tǒng)在這方面能夠提供比人工更準(zhǔn)確更強(qiáng)大的支持，因而基于系統(tǒng)的評(píng)價(jià)模式和基于系統(tǒng)的評(píng)價(jià)與人工評(píng)價(jià)混合評(píng)價(jià)模式一樣能促進(jìn)低年級(jí)學(xué)生的作文水平。然而隨著學(xué)習(xí)不斷積累，學(xué)生作文中的語(yǔ)法和拼寫(xiě)錯(cuò)誤逐漸減少，如何把觀點(diǎn)和內(nèi)容更好地呈現(xiàn)給讀者成為他們面臨的主要問(wèn)題，系統(tǒng)卻很難在這些方面提供有效的反饋，這時(shí)過(guò)于依賴(lài)系統(tǒng)評(píng)價(jià)反而會(huì)限制學(xué)生作文水平的提高，人工評(píng)價(jià)介入成為必要。

現(xiàn)代化信息技術(shù)評(píng)價(jià)工具應(yīng)用于英語(yǔ)寫(xiě)作教學(xué)中是一個(gè)不可避免的趨勢(shì)，如何根據(jù)學(xué)生寫(xiě)作特點(diǎn)，發(fā)揮系統(tǒng)評(píng)價(jià)的優(yōu)點(diǎn)并且避免其缺點(diǎn)，使系統(tǒng)能有效地為教學(xué)服務(wù)需要我們教師和研究者不斷地探討和實(shí)踐，我們相信，通過(guò)一線教師和研究者的不懈努力，一定能找出一個(gè)讓教師和學(xué)生都受益的模式。

參考文獻(xiàn)：

[1]教育部高等教育司.大學(xué)英語(yǔ)課程教學(xué)要求[M].上海：上海外語(yǔ)教育出版社，2007：5.

[2]Attali，Y.Exploring the feedback and revision Features of Criterion[C].Paper Presented at the Meeting of the National Council on Measurement in Education （NCME），San Diego，CA.2004.

[3]Shermis，M.J.，Burstein，J.C.& Bliss.L.The impact of automated essay scoring on high stakes writing assessments[R].Paper presented at the Annual Meeting of the National Council on Measurement in Education，San Diego，CA.2004.

[4]Chen，C.F.E.& Cheng，W.Y.Beyond the Design of Automated Writing Evaluation：Pedagogical Practices and Perceived Learning Effectiveness in EFL Writing Classes.Language learning & technology.2008（2），94-112.

[5]唐錦蘭.寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)在大學(xué)英語(yǔ)教學(xué)中的應(yīng)用研究[J].外語(yǔ)教學(xué)理論與實(shí)踐，2014（1）：49-57.

[6]冰果英語(yǔ)智能作文評(píng)閱系統(tǒng)http：//write.bingoenglish.com/.

[7]蔣學(xué)清，蔡靜，唐錦蘭.探析自動(dòng)作文評(píng)價(jià)系統(tǒng)對(duì)大學(xué)生英語(yǔ)寫(xiě)作能力發(fā)展的影響[J].山東外語(yǔ)教學(xué)，2011（6）：36-43.

[8]周穎.在線形成性評(píng)價(jià)工具在英語(yǔ)寫(xiě)作中的應(yīng)用——困難及對(duì)策探究[J].現(xiàn)代教育技術(shù)，2011（9）：88-93.

[9]魯艷輝，譚福民，彭舜.智能寫(xiě)作評(píng)分系統(tǒng)在大學(xué)英語(yǔ)寫(xiě)作中的實(shí)證研究[J].現(xiàn)代教育技術(shù)，2010（6）：56-58.

【基金項(xiàng)目】該文為2012年海南醫(yī)學(xué)院教學(xué)改革項(xiàng)目（HYP201208）“英語(yǔ)作文自動(dòng)評(píng)價(jià)后人工跟進(jìn)評(píng)價(jià)的研究”部分研究成果。