[摘要]作文批改與反饋是英語寫作教學(xué)的一個(gè)重要環(huán)節(jié)，對提高學(xué)生的英語寫作能力有著不可低估的作用。將在線寫作自動(dòng)評改系統(tǒng)與課堂教學(xué)整合是英語寫作教學(xué)改革的重要途徑。本研究以句酷批改網(wǎng)為例，以學(xué)生的作文樣本為研究語料，以問卷調(diào)查和訪談等為研究手段，著重探析了在線寫作自動(dòng)評改系統(tǒng)的有效性，并提出應(yīng)增強(qiáng)在線自動(dòng)評改系統(tǒng)的智能性及構(gòu)建多元寫作反饋機(jī)制。

[關(guān)鍵詞]在線寫作自動(dòng)評改系統(tǒng)：英語寫作教學(xué)；反饋

[中圖分類號]G40-057 [文獻(xiàn)標(biāo)識碼]A [論文編號]1009-8097（2012）10-0067-05

一、引言

作文批改與反饋（feedback）是英語寫作教學(xué)的一個(gè)重要環(huán)節(jié)，其目的是向?qū)懽髡咛峁┬薷淖魑牡男畔?，使其明白自己作文的“組織邏輯性不強(qiáng)”，或“內(nèi)容發(fā)展不夠”，或“用詞和時(shí)態(tài)等錯(cuò)誤”。這些信息有的是針對學(xué)習(xí)者作文表層錯(cuò)誤的糾錯(cuò)性反饋（corrective feedback）；有的是面向作文語篇層面（如內(nèi)容和組織結(jié)構(gòu)）的反饋；評語和評分也是信息反饋的重要方面。有研究表明，學(xué)生依據(jù)反饋信息對作文進(jìn)行修改，是第二寫作過程，對提高學(xué)生的語言能力有著極重要的作用例。

傳統(tǒng)反饋多以紙質(zhì)形式呈現(xiàn)，很多教師由于教學(xué)任務(wù)繁重，對學(xué)生的作文批改常常流于形式，給學(xué)生的反饋非常有限；大部分學(xué)生無法從教師提供的反饋中看到自己作文中實(shí)際存在的問題，更遑論進(jìn)行第二寫作過程。

隨著現(xiàn)代教育技術(shù)的發(fā)展，人們對利用網(wǎng)絡(luò)平臺提升學(xué)生的寫作興趣、寫作方法以及寫作應(yīng)用能力等進(jìn)行了有益的教學(xué)實(shí)驗(yàn)和探索。例如，郭曉英研究了博客環(huán)境下寫作能力的培養(yǎng)模式，而張文霞等、楊永林介紹了清華大學(xué)外語系研發(fā)的“易得”寫作軟件的理論背景、技術(shù)探索和系統(tǒng)設(shè)計(jì)過程。但對利用在線寫作評改系統(tǒng)加強(qiáng)英語作文反饋的研究還不多見。

二、在線寫作自動(dòng)評改系統(tǒng)的技術(shù)特點(diǎn)及其應(yīng)用

1.技術(shù)特點(diǎn)

所謂自動(dòng)寫作評改系統(tǒng)（Automated Essay Scoring，AES），就是利用計(jì)算機(jī)技術(shù)對作文進(jìn)行評估與評分。該方向的研究至今已歷時(shí)近四十年，在此過程中，采用了統(tǒng)計(jì)、自然語言處理及人工智能等方面的最新成果，并于1999年進(jìn)入實(shí)際應(yīng)用階段。自動(dòng)作文評改系統(tǒng)的研究與應(yīng)用在國內(nèi)外已成為計(jì)算機(jī)輔助外語寫作教學(xué)的熱點(diǎn)。

國外研發(fā)成功并投入使用的自動(dòng)評改系統(tǒng)有十余種，其中最具代表性的是EG（Project Essay Grade）、IEA（IntelligentEssay Assessor）和E-rater。它們各具特色，PEG重語言形式，IEA重作文內(nèi)容，E-rater則既重形式又重內(nèi)容，但這些自動(dòng)評改系統(tǒng)多應(yīng)用于以英語為母語的寫作評估與反饋中，對中國學(xué)生的英文寫作適用性不太強(qiáng)。

目前在國內(nèi)多所高校推廣使用的句酷批改網(wǎng)（http：//www.pigai.org，以下簡稱批改網(wǎng)）是一種網(wǎng)上智能批改系統(tǒng)，以SAAS（軟件即服務(wù)）的方式為教師和英語學(xué)習(xí)者提供英語作文的在線自動(dòng)批改服務(wù)，旨在為學(xué)生提供一個(gè)寫作環(huán)境，給出實(shí)時(shí)評分與診斷性反饋，激發(fā)學(xué)生積極修改作文，不斷提高寫作能力；同時(shí)還能減輕教師的作文批改工作量，并幫助教師更加直觀地了解學(xué)生的英文寫作水平。

句酷批改網(wǎng)具有以下特點(diǎn)：

（1）使用便捷

教師登錄批改網(wǎng)，布置作文，寫明要求，系統(tǒng)生成作文號；學(xué)生獲得作文號后，在學(xué)生帳戶頁面搜索作文號，找到教師布置的作文題目進(jìn)行寫作并提交；

（2）反饋及時(shí)

系統(tǒng)對學(xué)生作文進(jìn)行分析，自動(dòng)識別詞匯、搭配、語法等常見錯(cuò)誤，實(shí)時(shí)給出修改建議和分?jǐn)?shù)。

（3）按句點(diǎn)評

系統(tǒng)除了指出作文每一句中存在的拼寫、語法、詞匯、搭配錯(cuò)誤外，還分析錯(cuò)誤類型，為學(xué)生用戶提供特定知識點(diǎn)的擴(kuò)展訓(xùn)練、搭配推薦、參考例句等，為學(xué)生提供全面的寫作指導(dǎo)，幫助學(xué)生自主學(xué)習(xí)。

（4）抄襲檢測

句酷批改網(wǎng)在學(xué)生提交作文后，以句子為單位，查驗(yàn)該作文是否與本班其他同學(xué)作文有內(nèi)容重復(fù)、與本校學(xué)生作文是否有重復(fù)、與語料庫是否有重復(fù)、與互聯(lián)網(wǎng)網(wǎng)頁內(nèi)容是否有重復(fù)，并提供重復(fù)度指標(biāo)供教師參考。

（5）進(jìn)度報(bào)告

進(jìn)步報(bào)告記錄了一個(gè)學(xué)校、一個(gè)班級或某個(gè)具體學(xué)生寫作能力的成長過程。該報(bào)告有利于學(xué)校和老師掌握學(xué)校、班級學(xué)生總體薄弱點(diǎn)和個(gè)體薄弱點(diǎn)，了解各知識點(diǎn)掌握程度的變化趨勢，為學(xué)校和教師進(jìn)行英語教學(xué)的安排提供數(shù)據(jù)支持。

2.在英語寫作教學(xué)中的應(yīng)用

自2011年下半年以來，批改網(wǎng)在我校英語教學(xué)中得到推廣使用。在使用過程中，教師和學(xué)生發(fā)現(xiàn)，批改網(wǎng)確實(shí)具有上述優(yōu)點(diǎn)，但也發(fā)現(xiàn)了一些問題（如批改網(wǎng)評分與教師評分很多時(shí)候不一致）。因此，有必要對以批改網(wǎng)代表的在線寫作自動(dòng)評價(jià)系統(tǒng)做一番研究，分析其在英文寫作教學(xué)中的適切性與局限性，以便使教師和學(xué)生更科學(xué)合理地使用該工具。

三、在線寫作自動(dòng)評改系統(tǒng)的有效性研究

1.研究問題

本研究旨在探討以批改網(wǎng)為代表的在線寫作自動(dòng)評改系統(tǒng)對提高學(xué)生英語寫作能力的有效性。鑒于此，具體研究問題為：（1）大學(xué)一年級學(xué)生英文寫作中主要存在什么問題？（2）作為一種在線自動(dòng)評改系統(tǒng)，批改網(wǎng)能否幫助學(xué)生提高英語寫作水平？在哪一方面對學(xué)生幫助最大？（3）人工批改與在線工具批改具有什么明顯差異？（4）批改網(wǎng)在作文評改與反饋方面還存在哪些局限性？如何改進(jìn)？

2.研究對象

為了客觀、準(zhǔn)確地反映實(shí)際情況，本研究在抽取研究對象時(shí)，考慮了專業(yè)特點(diǎn)、學(xué)生的寫作能力、在線寫作經(jīng)歷等因素，選取了英語專業(yè)本科一年級兩個(gè)自然班（27人+28人）以及非英語專業(yè)本科一年級3個(gè)自然班（33人+35人+38人），共161人。這些學(xué)生都必須每周在線提交一篇作文，并由批改網(wǎng)提供反饋意見與評分。

3.研究工具

針對研究問題，本研究采用了作文樣本分析、問卷調(diào)查、訪談等研究工具。

（1）作文樣本（writing samples）。對每個(gè)自然班采用隨機(jī)抽樣的方式選取作文各5篇，總共25篇，由批改網(wǎng)與任課教師分別批改，對比分析兩者在批改形式、批改側(cè)重點(diǎn)、批改結(jié)果、評語、分?jǐn)?shù)等幾個(gè)方面的異同點(diǎn)。

（2）問卷調(diào)查（questionnaire）。學(xué)生在進(jìn)行了為期10周的批改網(wǎng)寫作訓(xùn)練后做了該項(xiàng)問卷調(diào)查。該問卷共有30題，主要涵蓋4個(gè)方面的內(nèi)容：①對英文寫作目的、英文寫作中包含的重要因素以及自己英文寫作水平的總體認(rèn)知；②對自己作文中的錯(cuò)誤如何糾正的看法；③使用批改網(wǎng)的具體情況；④對批改網(wǎng)的評價(jià)以及使用批改網(wǎng)后的效果。

（3）訪談（interview）。本研究還分別對教師和學(xué)生進(jìn)行了半結(jié)構(gòu)訪談（semi-structured interview），更深入地了解教師和學(xué)生對批改網(wǎng)的評價(jià)以及在使用過程中出現(xiàn)的問題。接受訪談的教師為4位任課教師：學(xué)生為每個(gè)班的批改網(wǎng)系統(tǒng)中記載的成績好、中、差各2名學(xué)生，共10名學(xué)生。

4.研究結(jié)果

（1）問卷調(diào)查的結(jié)果。

1）學(xué)生對自己英語寫作水平的認(rèn)知。在152份有效問卷中，大多數(shù)學(xué)生認(rèn)為自己的英語寫作水平一般或較差；在被問及到作文中的主要問題時(shí)，學(xué)生的回答較為多樣：42.7%的學(xué)生認(rèn)為是思想表達(dá)不清，37.5%的學(xué)生認(rèn)為是前后不連貫，整體性差；63.2%的學(xué)生認(rèn)為是用詞不當(dāng)或詞匯單調(diào)；67.1%的學(xué)生認(rèn)為是語法錯(cuò)誤多，56.6%的學(xué)生認(rèn)為是句型單一（見表1）。多數(shù)學(xué)生認(rèn)為自己在詞匯、語法、句型方面有待提高。

2）對自己作文中的錯(cuò)誤如何糾正的看法。

在回答喜歡老師面批還是書面批改時(shí)，152份有效問卷中，絕大多數(shù)學(xué)生喜歡教師個(gè)別式面批；而在教師書面批改中，59.9%的學(xué)生喜歡教師詳細(xì)評點(diǎn)語法及用詞上的錯(cuò)誤，喜歡教師“標(biāo)出錯(cuò)處、留待學(xué)生改正”的只占21.1%；只有少數(shù)學(xué)生喜歡教師“簡單談?wù)劥篌w印象”這種方式或“只寫出分?jǐn)?shù)或等級”（見表2）。

3）學(xué)生使用批改網(wǎng)的情況。

大多數(shù)學(xué)生（86.8%）很希望并很有信心（78.3%）能通過使用批改網(wǎng)提高自己的英語寫作水平，對此有很大的期待；但很多學(xué)生（65.1%）只是在老師要求時(shí)才使用批改網(wǎng)寫作文；一些學(xué)生（47.4%）會根據(jù)批改網(wǎng)提供的點(diǎn)評重新修改自己的作文直至得到滿意的分?jǐn)?shù)。

4）學(xué)生對批改網(wǎng)的評價(jià)及使用的效果。

從表3可以看出，被試學(xué)生認(rèn)為，批改網(wǎng)最大的優(yōu)勢是批改及時(shí)，其次是能很快獲知自己作文的分?jǐn)?shù)?！鞍淳潼c(diǎn)評”也被很多學(xué)生認(rèn)為是批改網(wǎng)較大的優(yōu)勢，但對“提供同義詞、擴(kuò)大了詞匯量”和“提供評語，能了解作文的每一項(xiàng)情況”，不贊同的學(xué)生數(shù)明顯上升。

被試學(xué)生認(rèn)為，批改網(wǎng)最大的問題是提供的詞匯和語法方面的反饋較多，但關(guān)于作文的思想內(nèi)容、邏輯性和連貫性以及篇章結(jié)構(gòu)方面提供的反饋較少。

從表4可以看出，近一半左右（48%）的學(xué)生對使用批改網(wǎng)持非常喜歡和比較喜歡的態(tài)度；一些學(xué)生（36.2%）會根據(jù)批改網(wǎng)提供的點(diǎn)評意見反復(fù)修改自己的作文，直至滿意的分?jǐn)?shù)；批改網(wǎng)對學(xué)生作文中的詞匯和語法幫助最大。

（2）作文樣本分析結(jié)果。

為了更深入地了解批改網(wǎng)的優(yōu)點(diǎn)與不足，我們對人工批改與網(wǎng)絡(luò)批改進(jìn)行了定量和定性分析。

首先，我們按錯(cuò)誤類型對25份作文樣本進(jìn)行了統(tǒng)計(jì)，具體包括以下幾個(gè)參數(shù)：1）思想內(nèi)容（主題是否明確、有新意；文章是否跑題）；2）篇章結(jié)構(gòu)（內(nèi)容是否分引言、正文和結(jié)尾，是否分段論述，是否有中心思想句和主題句）；3）連貫性（段落是否銜接良好）；4）語法（主謂一致、名詞單復(fù)數(shù)、動(dòng)詞時(shí)態(tài)、冠詞等）；5）句型（句子的結(jié)構(gòu)是否正確）；6）詞法（用詞是否正確、貼切，搭配是否合理）；7）寫作常規(guī)（大小寫、標(biāo)點(diǎn)符號、拼寫等）。根據(jù)的錯(cuò)誤性質(zhì)不同，這些參數(shù)予以不同的加權(quán)，有的1個(gè)錯(cuò)是1個(gè)百分點(diǎn)：1=1%，有的是3個(gè)錯(cuò)算1個(gè)百分點(diǎn)：3=1%。統(tǒng)計(jì)結(jié)果見表5。

其次，我們還對作文樣本做了詳細(xì)的定性分析，其結(jié)果發(fā)現(xiàn)：1）批改網(wǎng)給出的反饋信息多為提示性的，內(nèi)容比較寬泛，不夠具體；而教師給出的反饋信息則比較直觀明了。大多教師不僅劃出作文中的錯(cuò)誤，還給出了修改建議，或直接修改錯(cuò)誤點(diǎn)；2）批改網(wǎng)提供大量近義詞辨析，而教師評改則較少提供類似信息；3）批改網(wǎng)大多不改變學(xué)生作文中的原有句型，而教師評改則更加靈活。

例如，針對學(xué)生作文中的錯(cuò)誤句“In China，English is took to be a foreigh language which many student choosed to learn”，兩者的反饋信息各有側(cè)重（見表6）

5.分析與討論

從上述研究結(jié)果可以看出，絕大多數(shù)學(xué)生喜歡教師個(gè)別式面批，或詳細(xì)評點(diǎn)語法及用詞上的錯(cuò)誤，但一般情況下，由于教師教學(xué)工作量大，難以滿足每個(gè)學(xué)生的這一需求。批改網(wǎng)能充分滿足學(xué)生個(gè)性化評改和反饋的需求，并在詞匯、語法層面給予學(xué)生比較充分的評改與反饋，因此，大多數(shù)學(xué)生喜歡使用批改網(wǎng)，并會根據(jù)批改網(wǎng)的點(diǎn)評意見反復(fù)修改自己的作文，直至得到滿意的分?jǐn)?shù)。這對提高學(xué)生的寫作能力起到了積極的作用，因?yàn)檫^程寫作理論認(rèn)為，寫作過程是非直線性的。一篇結(jié)構(gòu)完整、表達(dá)清楚、讀者易懂的作品最終得以完成，需要經(jīng)過反復(fù)思考，反復(fù)修改。

然而，目前自動(dòng)寫作評改系統(tǒng)對學(xué)生作文的評價(jià)主要集中在詞匯層面和部分較為成熟的語法分析。由此，自動(dòng)寫作評改系統(tǒng)的評分只是對作文中語言使用的一個(gè)大概的評估，無法準(zhǔn)確地評估作文的內(nèi)在質(zhì)量，如寫作的流暢性、句子結(jié)構(gòu)的復(fù)雜度、文章的措辭、內(nèi)部的邏輯性與關(guān)聯(lián)性等，因而也就無法全面評估學(xué)生的英文寫作水平。

針對這一問題，可采取以下兩種方法彌補(bǔ)其不足。

第一，信息技術(shù)人員與應(yīng)用語言學(xué)家共同努力，提升在線自動(dòng)評改系統(tǒng)的信度。充分利用人工智能技術(shù)，尤其是自然語言處理及智能語言輔導(dǎo)技術(shù)，構(gòu)建新的寫作自動(dòng)評改系統(tǒng)模型（見圖4），使之不僅能提供每篇作文的總分，還能提供寫作內(nèi)容、篇章結(jié)構(gòu)、語體、詞匯、語法及格式規(guī)范的各單項(xiàng)分及個(gè)性化反饋，更多關(guān)注對文章思想內(nèi)容的評估。

第二，在大學(xué)英語寫作教學(xué)中構(gòu)建多元反饋機(jī)制。建立一種融教師反饋、自動(dòng)評改工具反饋及利用網(wǎng)絡(luò)平臺的同伴反饋（peerfeedback，即同學(xué)間互相評改作文）的多元反饋機(jī)制，以彌補(bǔ)單一反饋模式的不足。有研究表明，同伴反饋能（1）增強(qiáng)學(xué)生的讀者意識；（2）提高學(xué)生學(xué)習(xí)和掌握英語寫作技巧的積極性；（3）提高學(xué)生的文章質(zhì)量意識：（4）明顯提高學(xué)生作文內(nèi)容和語言質(zhì)量；（5）幫助學(xué)生形成英語學(xué)習(xí)社群。利用網(wǎng)絡(luò)平臺進(jìn)行同伴反饋是較好的彌補(bǔ)手段。

四、結(jié)語

在線寫作自動(dòng)評改系統(tǒng)的實(shí)時(shí)反饋有效激發(fā)了學(xué)生的寫作興趣，增加了作文的修改頻次，達(dá)到了以評促學(xué)的目的，凸現(xiàn)了過程寫作學(xué)習(xí)法的重要性。由于系統(tǒng)自身的技術(shù)特點(diǎn)，在詞匯和語法層面給予學(xué)生的幫助較大，但在篇章結(jié)構(gòu)、內(nèi)容邏輯性和連貫性層面的優(yōu)勢并不明顯。因此，既要增強(qiáng)評改系統(tǒng)的智能性；也要補(bǔ)充其他反饋手段，以彌補(bǔ)其不足。

本研究時(shí)間短，調(diào)查范圍也有限，因此具有一定的局限性。后續(xù)研究將擴(kuò)大研究范圍，更深入地探討在線自動(dòng)評改系統(tǒng)在寫作教學(xué)中的應(yīng)用效果及對學(xué)生寫作能力的影響。

基金項(xiàng)目：本文為江蘇省教育廳2012年度高校哲學(xué)社會科學(xué)研究基金項(xiàng)目‘‘基于網(wǎng)絡(luò)平臺的人際互動(dòng)與話語結(jié)構(gòu)研究”（編號2012SJB740024）、江蘇省現(xiàn)代教育技術(shù)研究2012年度重點(diǎn)課題"Blackboard網(wǎng)絡(luò)課程管理系統(tǒng)支持下的整合型外語教學(xué)研究”（編號2012-R-21572）、南通大學(xué)2011年度教學(xué)研究課題“基于Blackboard網(wǎng)絡(luò)平臺的《綜合英語》立體式教學(xué)的行動(dòng)研究”（編號2011826）的階段性研究成果。

作者簡介：石曉玲，南通大學(xué)外國語學(xué)院副教授、碩士生導(dǎo)師。研究方向：語言與文化，應(yīng)用語言學(xué)，計(jì)算機(jī)輔助外語教學(xué)。

收稿日期：2012年5月21日

編輯：李婷