王 健 徐 芳

(安徽理工大學(xué)外國語學(xué)院，安徽 淮南 232001)

作文批改與反饋是大學(xué)英語寫作教學(xué)中的重要一環(huán)，目的是為了向?qū)W習(xí)者提供作文評改的信息，明白自己的習(xí)作中或“內(nèi)容不夠充實(shí)”“文章缺乏邏輯性”，或“用詞和語法有誤”[1]等。這些信息有的是有關(guān)作文表層錯誤的糾錯性反饋，有的是針對文章內(nèi)容邏輯性或篇章結(jié)構(gòu)的反饋，另外，評語和得分也是寫作反饋的重要組成部分。已有研究表明，寫作過程呈現(xiàn)非直線性，學(xué)生根據(jù)提供的反饋信息對作文進(jìn)行再思考和修改是第二寫作過程，對提高學(xué)生的寫作能力至關(guān)重要[2]，反饋是激勵和鞏固學(xué)習(xí)的關(guān)鍵因素[3]。

傳統(tǒng)的寫作反饋通常以教師書面反饋的形式呈現(xiàn)。當(dāng)前大學(xué)英語普遍采取大班授課模式，每個教師所教授的學(xué)生多達(dá)一兩百人，由于有限的時(shí)間和精力，寫作反饋的內(nèi)容大多只限于總體評語和分?jǐn)?shù)，即使部分教師能夠提供比較詳盡的反饋內(nèi)容，他們的反饋在時(shí)間上也往往嚴(yán)重滯后，導(dǎo)致學(xué)生的寫作訓(xùn)練機(jī)會遠(yuǎn)遠(yuǎn)不足，同時(shí)學(xué)生不能及時(shí)獲得有關(guān)寫作問題的有效反饋信息。這在很大程度上影響了學(xué)生英語寫作的熱情和積極性，成為學(xué)生寫作能力長期停滯不前的重要原因之一。

隨著現(xiàn)代教育技術(shù)的迅速發(fā)展，學(xué)界對利用網(wǎng)絡(luò)平臺提升英語寫作教學(xué)效果及學(xué)生英語寫作能力等方面進(jìn)行了有益的探索，如何艷萍通過實(shí)證研究探討了基于QQ網(wǎng)絡(luò)平臺的英語寫作教學(xué)新模式的有效性[4]，馬瑩嘗試將博客的理念和技術(shù)應(yīng)用到外貿(mào)函電寫作教學(xué)中，構(gòu)建了基于網(wǎng)絡(luò)博客的外貿(mào)函電寫作教學(xué)新模式[5]，吳松江、鄭新民通過英語專業(yè)研究生使用“易得”寫作軟件的案例分析，研究了該軟件對提升寫作課程教學(xué)質(zhì)量及學(xué)生自我寫作效能的影響[6]?？v觀以往研究，關(guān)于利用在線評改系統(tǒng)句酷批改網(wǎng)進(jìn)行寫作評改反饋的系統(tǒng)性研究目前仍不多見。

一、自動寫作評分系統(tǒng)及批改網(wǎng)的特點(diǎn)

自動寫作評改系統(tǒng)(Automated Essay Scoring, 簡稱AES)指的是利用計(jì)算機(jī)技術(shù)對寫作進(jìn)行評估與打分，是機(jī)輔語言測試走向智能化發(fā)展的具體體現(xiàn)。該領(lǐng)域的研發(fā)工作已歷時(shí)40多年，綜合了自然語言處理、統(tǒng)計(jì)學(xué)及人工智能等領(lǐng)域的最新成果，1999年開始進(jìn)入實(shí)際應(yīng)用階段。近年來，自動寫作評改系統(tǒng)的研究與應(yīng)用已日益成為國內(nèi)外計(jì)算機(jī)輔助外語寫作教學(xué)的熱點(diǎn)。

國外最具代表性的自動寫作評改系統(tǒng)包括IEA (Intelligent Essay Assessor)、PEG (Project Essay Grader)和E-rater (Electronic Essay Rater)。IEA基于一種潛在語義分析的技術(shù)軟件對文本意義自動進(jìn)行評估，能夠?qū)ψ魑牡膶懽黠L(fēng)格、寫作機(jī)制、語法、思想內(nèi)容、篇章結(jié)構(gòu)及用詞等進(jìn)行反饋，更多關(guān)注文本的內(nèi)容相關(guān)特性而非形式；PEG主要依據(jù)文章質(zhì)量尤其是其接近性和內(nèi)在性進(jìn)行反饋評分，為的是使大規(guī)模的寫作評改過程更實(shí)際、更有效，更注重文本的表層特征；E-rater則采用一種混合性方法，結(jié)合自然語言處理技術(shù)，對作文的用詞、語法、思想內(nèi)容、語體特征、寫作風(fēng)格、組織結(jié)構(gòu)等進(jìn)行總體性評分和實(shí)時(shí)評閱反饋。

以上這些AES系統(tǒng)各具特色，IEA關(guān)注作文內(nèi)容，PEG重視語言形式，而E-rater內(nèi)容和形式并重，但它們主要針對英語本族語者而設(shè)計(jì)，對于以英語為外語或二語的學(xué)習(xí)者的寫作反饋適用性不強(qiáng)。鑒于一語和二語/外語學(xué)習(xí)者的寫作過程和作文文本特征存在著顯著差異，有必要開發(fā)一種針對英語非本族語學(xué)習(xí)者作文評改的AES系統(tǒng)。近年來，梁茂成教授研制了“大規(guī)模考試英語寫作自動評改系統(tǒng)”，得到了國內(nèi)專家學(xué)者的一致好評，此外還有冰果英語智能作文評閱系統(tǒng)和句酷批改網(wǎng)。冰果注重對作文的整體評價(jià)，只給出總體評語和評分，不提供關(guān)于文章細(xì)節(jié)的反饋信息。相比較而言，針對中國英語學(xué)習(xí)者的寫作特點(diǎn)和學(xué)生平常寫作訓(xùn)練中的反饋需求，句酷批改網(wǎng)(以下簡稱批改網(wǎng))目前在高校英語寫作教學(xué)中使用更廣泛。

批改網(wǎng)是基于語料庫和云計(jì)算技術(shù)，通過比對學(xué)生作文和標(biāo)準(zhǔn)語料庫之間的距離對其進(jìn)行實(shí)時(shí)評閱反饋的自動作文批改系統(tǒng)。作為一種本土化的在線寫作評改系統(tǒng)，批改網(wǎng)具有流程簡單、易于操作、反饋及時(shí)、按句點(diǎn)評、重復(fù)度檢測、避免抄襲等一些優(yōu)勢。另外，批改網(wǎng)提供進(jìn)度報(bào)告，便于教師掌握學(xué)生整體或個體寫作中的強(qiáng)項(xiàng)和弱項(xiàng)，及時(shí)了解他們知識點(diǎn)掌握程度的變化趨勢，也為教師靈活合理地進(jìn)行教學(xué)安排和科研創(chuàng)作提供了數(shù)據(jù)支持。

目前眾多高校在大學(xué)英語寫作教學(xué)中推廣使用批改網(wǎng)，然而許多教師和學(xué)生在一致認(rèn)可其反饋優(yōu)勢的同時(shí)也發(fā)現(xiàn)，批改網(wǎng)在使用過程中仍存在著一些不足和亟需解決的問題。因此，有必要對這一在線自動評改系統(tǒng)作一番系統(tǒng)性研究，探究它在大學(xué)英語寫作教學(xué)中的有效性，以便教師和學(xué)生在今后英語學(xué)習(xí)中更加科學(xué)合理地使用該工具。

二、研究設(shè)計(jì)

(一)研究對象

參與本實(shí)證研究的為安徽省某重點(diǎn)高校兩個大學(xué)英語教學(xué)班的學(xué)生，隨機(jī)抽取一班為實(shí)驗(yàn)班(73人)，教師使用批改網(wǎng)系統(tǒng)輔助寫作教學(xué)，另一班(75人)為對照班，仍采用傳統(tǒng)的教師書面反饋來評閱作文，整個教學(xué)實(shí)驗(yàn)持續(xù)一個學(xué)期。兩個班學(xué)生均由同一教師授課，使用同一教材，授課內(nèi)容和授課進(jìn)度完全一樣，唯一不同的是作文的評改反饋模式。為了避免影響本實(shí)驗(yàn)的效度，兩個班學(xué)生事先未被告知他們在參與教學(xué)實(shí)驗(yàn)。

(二)研究問題

本研究基于教學(xué)實(shí)驗(yàn)和以批改網(wǎng)為輔助的大學(xué)英語寫作教學(xué)模式，具體探討以下三個方面的問題：

1.與傳統(tǒng)的教師書面反饋相比，批改網(wǎng)的反饋評閱是否能更有效促進(jìn)學(xué)生寫作水平的提高？

2.批改網(wǎng)的使用是否更有利于增強(qiáng)學(xué)生的寫作興趣和自主寫作意識？

3.學(xué)生對批改網(wǎng)在英語寫作教學(xué)中的使用有怎樣的評價(jià)和認(rèn)可度？

(三)研究方法及工具

針對本研究的問題，筆者采用了定量研究和定性研究相結(jié)合的方法。研究工具包括使用SPSS17.0統(tǒng)計(jì)軟件對實(shí)驗(yàn)班和對照班學(xué)生實(shí)驗(yàn)前后英語寫作成績進(jìn)行檢測，采用Worthsmith4.0軟件對兩班學(xué)生后測作文語料進(jìn)行統(tǒng)計(jì)分析；實(shí)驗(yàn)后對實(shí)驗(yàn)班學(xué)生進(jìn)行問卷調(diào)查，問卷采取半開放式，包括選擇題和問答題，內(nèi)容涉及學(xué)生的寫作興趣和自主寫作意識在實(shí)驗(yàn)后是否有提高，批改網(wǎng)在哪些方面對學(xué)生的寫作學(xué)習(xí)幫助較大，他們對批改網(wǎng)這一在線評改系統(tǒng)的評價(jià)和認(rèn)可如何。為了進(jìn)一步檢驗(yàn)實(shí)驗(yàn)結(jié)果，了解批改網(wǎng)在寫作教學(xué)中的使用情況以及存在的問題，根據(jù)實(shí)驗(yàn)班批改網(wǎng)系統(tǒng)多次評改反饋結(jié)果，從好、中、差三個等級中各選出2名學(xué)生，對他們共6人進(jìn)行訪談。

(四)研究過程

本研究整個實(shí)驗(yàn)時(shí)長一學(xué)期，共19周。確定了實(shí)驗(yàn)班和對照班后，教師在實(shí)驗(yàn)前對實(shí)驗(yàn)班學(xué)生進(jìn)行了關(guān)于批改網(wǎng)使用的培訓(xùn)，使他們能夠熟悉批改網(wǎng)的使用流程，避免因?qū)υ撓到y(tǒng)的使用不當(dāng)而影響寫作質(zhì)量。由于大學(xué)英語沒有設(shè)置專門的寫作課，寫作課的教學(xué)內(nèi)容穿插在大學(xué)英語課程的學(xué)習(xí)中。教師每完成一個單元的大學(xué)英語授課，會布置學(xué)生寫一篇與該單元主題相關(guān)的作文。實(shí)驗(yàn)班學(xué)生在批改網(wǎng)上在線寫作并提交，根據(jù)批改網(wǎng)的反饋信息對作文自行進(jìn)行修改，修改次數(shù)不限；對照班的作文則由教師提供傳統(tǒng)的書面反饋，并鼓勵學(xué)生參照反饋內(nèi)容自行修改、完善作文。實(shí)驗(yàn)后，統(tǒng)計(jì)對比實(shí)驗(yàn)班和對照班學(xué)生后測英語寫作成績，并將它們和實(shí)驗(yàn)前的寫作成績進(jìn)行比較分析，統(tǒng)計(jì)實(shí)驗(yàn)班和對照班學(xué)生后測作文語料的相關(guān)信息，同時(shí)對實(shí)驗(yàn)班學(xué)生進(jìn)行問卷調(diào)查和訪談。

三、結(jié)果與討論

(一)實(shí)驗(yàn)前后測作文成績分析

為了確保兩個班實(shí)驗(yàn)對象的同質(zhì)性，實(shí)驗(yàn)前收集了實(shí)驗(yàn)班和對照班學(xué)生作文成績，滿分計(jì)為15分。利用SPSS17.0對數(shù)據(jù)進(jìn)行獨(dú)立樣本t檢驗(yàn)，結(jié)果如表1所示：

檢驗(yàn)結(jié)果顯示，實(shí)驗(yàn)前雖然實(shí)驗(yàn)班學(xué)生作文平均成績稍低于對照班，但兩者之間無顯著性差異(P=0.581>0.05)，表明兩班學(xué)生作文大體處于同一水平。

表1 實(shí)驗(yàn)班和對照班作文前測成績獨(dú)立樣本t檢驗(yàn)

實(shí)驗(yàn)后對收集的實(shí)驗(yàn)班和對照班學(xué)生作文成績再一次利用SPSS17.0進(jìn)行獨(dú)立樣本t檢驗(yàn)，結(jié)果如表2所示：

表2 實(shí)驗(yàn)班和對照班作文后測成績獨(dú)立樣本t檢驗(yàn)

表2中后測寫作成績結(jié)果表明，兩班實(shí)驗(yàn)后作文成績比實(shí)驗(yàn)前都有了提高，但實(shí)驗(yàn)班成績提高的幅度更大(2.1438>1.4134)，且實(shí)驗(yàn)班和對照班后測作文成績存在著顯著性差異(P=0.001<0.05)，這說明寫作教學(xué)中使用批改網(wǎng)反饋比傳統(tǒng)的教師反饋模式更有利于學(xué)生作文水平的提高，批改網(wǎng)在大學(xué)英語寫作教學(xué)中的使用是值得推廣的。

(二)實(shí)驗(yàn)后測作文語料分析

作文的質(zhì)量不能僅從寫作成績角度考察，還應(yīng)綜合考慮其它多種相關(guān)因素，例如作文字?jǐn)?shù)、詞匯的使用情況、詞匯豐富度、句長等。表3中使用軟件Wordsmith4.0統(tǒng)計(jì)出了實(shí)驗(yàn)班和對照班后測作文語料的相關(guān)信息。

表3 實(shí)驗(yàn)班和對照班后測作文語料統(tǒng)計(jì)表

表3顯示，除了平均句長，實(shí)驗(yàn)班學(xué)生的作文語料在庫容量、形符、類符、標(biāo)準(zhǔn)化類符形符比、平均詞長等指標(biāo)方面均大于對照班。實(shí)驗(yàn)班語料的庫容量為17068，對照班為13650。雖然我們不能說作文總是越長質(zhì)量越高，但王初明等[7]認(rèn)為作文的長度可以作為寫作質(zhì)量的一個指標(biāo)。另外大學(xué)英語四六級考試在作文字?jǐn)?shù)上的不同要求也從側(cè)面上反映了作文長度是評價(jià)作文質(zhì)量的一個重要指標(biāo)。標(biāo)準(zhǔn)化類符形符比能反映詞匯使用的豐富程度，其比例越高，說明學(xué)習(xí)者詞匯選擇的多樣性越大。實(shí)驗(yàn)班標(biāo)準(zhǔn)化類符形符比為35.28，大于對照班(33.67)，因此實(shí)驗(yàn)班學(xué)生詞匯更豐富，用詞變化更大。平均詞長不是作文質(zhì)量的重要指標(biāo)，但它能部分反映詞匯的復(fù)雜程度。實(shí)驗(yàn)班平均詞長(4.685)大于對照班(4.14)，實(shí)驗(yàn)班學(xué)生的用詞復(fù)雜度較強(qiáng)。同平均詞長一樣，平均句長也不是反映學(xué)生作文質(zhì)量的重要指標(biāo)，實(shí)驗(yàn)班學(xué)生在平均句長這一指標(biāo)上稍微低于對照班。

由此可見，實(shí)驗(yàn)班在使用批改網(wǎng)反饋后，在作文分?jǐn)?shù)、作文長度、用詞豐富程度、平均詞長等方面均優(yōu)于對照班，而在平均句長這一作文質(zhì)量非重要指標(biāo)上對照班略高一些。

(三)問卷調(diào)查和訪談結(jié)果與分析

為了進(jìn)一步驗(yàn)證實(shí)驗(yàn)數(shù)據(jù)的有效性，了解批改網(wǎng)的使用是否增強(qiáng)了學(xué)生的英語寫作興趣和自主寫作意識，以及學(xué)生對批改網(wǎng)在寫作反饋使用中的評價(jià)如何，實(shí)驗(yàn)結(jié)束后對實(shí)驗(yàn)班73名學(xué)生進(jìn)行了問卷調(diào)查，收回有效問卷73份，并訪談了6名學(xué)生，結(jié)果如下：

大多數(shù)學(xué)生對批改網(wǎng)在英語寫作教學(xué)中的使用持肯定支持的態(tài)度，83.5%的學(xué)生認(rèn)為批改網(wǎng)激發(fā)了寫作興趣和寫作欲望，調(diào)動了自主寫作意識和積極性，僅有6.4%的學(xué)生不贊同使用批改網(wǎng)系統(tǒng)。另外，78.9%的學(xué)生認(rèn)為批改網(wǎng)的使用對寫作中語法和用詞的改善幫助非常大，72%的學(xué)生認(rèn)為批改網(wǎng)有效提高了寫作中內(nèi)容和詞匯的豐富性。86.9&的學(xué)生認(rèn)為使用批改網(wǎng)后整體英語寫作水平有了一定的提高，這也與本研究數(shù)據(jù)的定量分析結(jié)果相一致。

參與問卷調(diào)查和訪談的大部分學(xué)生認(rèn)為，批改網(wǎng)具有如下優(yōu)點(diǎn)：1.反饋及時(shí)、按句點(diǎn)評。學(xué)生在線提交作文后，批改網(wǎng)能實(shí)時(shí)針對拼寫、搭配、用詞、語法等按句點(diǎn)評，提供“學(xué)習(xí)提示”“拓展辨析”“推薦表達(dá)”等參考信息，并即刻給出總體反饋評語和評分，這有益于增強(qiáng)學(xué)生正確的語言使用意識，他們能積極主動地根據(jù)批改網(wǎng)的反饋信息對作文進(jìn)行反復(fù)修改提交，直到得到滿意的結(jié)果。2.批改網(wǎng)在實(shí)時(shí)反饋的同時(shí)，提供了大量實(shí)用的寫作語料信息供學(xué)生參考。學(xué)生可以對照反饋意見，參照“句子錯誤”“學(xué)習(xí)提示”“語法檢查”“推薦表達(dá)”等修改提示進(jìn)行修改。此外他們還可以隨時(shí)打開“學(xué)習(xí)提示”“拓展辨析”等鏈接的批改網(wǎng)在線寫作知識庫、語料庫等，搜索查閱各種相關(guān)寫作信息。學(xué)生在自我修改過程中不斷自我思考、自我發(fā)現(xiàn)，發(fā)現(xiàn)語言使用規(guī)律，這對于其自我糾錯能力和自主學(xué)習(xí)能力的提升非常有幫助。3.批改網(wǎng)為學(xué)生提供了個性化的寫作成長軌跡和成績軌跡電子檔案。批改網(wǎng)在成長軌跡中保存了學(xué)生每次修改作文的記錄和時(shí)間，以方便學(xué)生和教師可以隨時(shí)查看。學(xué)生多次在線提交作文后，系統(tǒng)會詳細(xì)記錄下每次學(xué)生修改作文的痕跡，學(xué)生對作文的詳細(xì)處理情況一目了然，并且系統(tǒng)會自動生成一個“成績軌跡”表，直觀地記錄了學(xué)生的寫作成長過程和進(jìn)步情況，有利于學(xué)生進(jìn)行寫作學(xué)習(xí)的自我反思。4.優(yōu)秀作文、文檔共享功能及論壇功能。訪問批改網(wǎng)提供的教師個人網(wǎng)站，學(xué)生可以查閱教師推薦的每次布置的寫作任務(wù)中最優(yōu)秀的作品，同伴間的相互學(xué)習(xí)變得異常便捷。學(xué)生還可以通過“共享文檔”功能，分享教師上傳的學(xué)習(xí)資源。批改網(wǎng)還有自己的寫作論壇(http://bbs.pigai.org/)，學(xué)生可以在論壇上自由交流寫作習(xí)得和體會，教師能夠參與其中對學(xué)生進(jìn)行寫作方面的指導(dǎo)。這種師生、生生間的交流溝通，很多學(xué)生表示非常喜歡。

學(xué)生同時(shí)也指出，批改網(wǎng)在使用中仍存在著一些問題：1.批改網(wǎng)注重拼寫、語法和用詞方面的反饋，但對文章內(nèi)容、邏輯性、篇章結(jié)構(gòu)等關(guān)注得較少，學(xué)生在這些方面獲取的幫助甚微。例如，訪談中學(xué)生談到，有同學(xué)對作文“The Effects of Mobile Phone Addiction”題目理解錯了，從正反兩方面寫了手機(jī)的影響，但批改網(wǎng)仍給出了12.5分的高分(滿分15分)。另外批改網(wǎng)對于The sun is cooking happily in the kitchen for her children”之類的句子目前只能從語法上判斷是正確的，卻無法從語義上進(jìn)行識別。部分學(xué)生作文寫成一段、兩段內(nèi)容，而不是通常的三段、四段，作文的得分好像也沒有什么影響。2.批改網(wǎng)做出的反饋有時(shí)比較籠統(tǒng)，對寫作的指導(dǎo)性不強(qiáng)。比如訪談中學(xué)生指出，批改網(wǎng)能指出作文中的“疑似中式英語”，但是卻沒有提供具體的修改建議，一些基礎(chǔ)較弱的學(xué)生往往不知如何改正，他們希望教師能基于此添加具體的反饋意見。3.部分嚴(yán)重的語法或用詞錯誤批改網(wǎng)識別不了，反饋的準(zhǔn)確性亟待提高。例如，“Nowadays, since entering university school, many students exposed with poor self-care ability.”，這句話中，university school應(yīng)改為universities，exposed改成exhibit/demonstrate，批改網(wǎng)對上述明顯的兩處錯誤都沒能識別出，這對學(xué)生寫作質(zhì)量的提升顯然具有負(fù)面作用，也使批改網(wǎng)反饋的可信度大打折扣，這也是一些英語教師遲遲不敢使用批改網(wǎng)的原因之一。此時(shí)需要教師及時(shí)添加在線點(diǎn)評，與批改網(wǎng)反饋形成互補(bǔ)。

四、結(jié)語

本研究實(shí)驗(yàn)結(jié)果表明，相對于傳統(tǒng)的教師書面反饋，批改網(wǎng)的反饋評閱在大學(xué)英語寫作教學(xué)中更能有效促進(jìn)學(xué)生寫作水平的提高，實(shí)驗(yàn)班在作文分?jǐn)?shù)、作文長度、用詞豐富程度、平均詞長等方面均優(yōu)于對照班；對學(xué)生的問卷調(diào)查和訪談顯示，多數(shù)學(xué)生對批改網(wǎng)的使用持積極的認(rèn)可態(tài)度，認(rèn)為批改網(wǎng)有助于發(fā)揮其寫作學(xué)習(xí)的主觀能動性，激發(fā)了寫作熱情，語法、用詞、內(nèi)容等方面也有了很大改善，提高了整體寫作水平。在充分肯定批改網(wǎng)具有的反饋及時(shí)、按句點(diǎn)評、提供個性化寫作成長軌跡等優(yōu)點(diǎn)的同時(shí)，大多數(shù)學(xué)生一致認(rèn)為批改網(wǎng)仍具有一些不足，如重語法用詞、輕內(nèi)容結(jié)構(gòu)、反饋準(zhǔn)確性不強(qiáng)等。針對這一問題，未來需要批改網(wǎng)研發(fā)人員和一線英語教師一起努力，逐步改進(jìn)和完善這一自動批改系統(tǒng)，增強(qiáng)它的作文評改信度和效度；另外，英語教師可以綜合不同寫作反饋方式的優(yōu)勢，嘗試構(gòu)建一個融批改網(wǎng)反饋、教師反饋及同伴互評為一體的多元寫作反饋模式，以切實(shí)提高大學(xué)英語寫作反饋質(zhì)量，最終提高學(xué)生的英語寫作能力。未來研究可以就如何構(gòu)建這樣一個合理有效的多元寫作反饋模式作更進(jìn)一步的探索。