張 敏

（西華師范大學(xué) 公共外語學(xué)院，四川 南充637009）

英語寫作是衡量學(xué)生英語綜合水平和應(yīng)用能力的重要指標(biāo)。但是，長期以來，傳統(tǒng)的大學(xué)英語寫作教學(xué)收效甚微，教學(xué)效果差強人意。在全國大學(xué)英語四、六級考試中，聽和讀的成績近年來都有比較明顯的提高，但是，寫作成績卻少有改善[1]。一方面，由于近年來各高校紛紛擴招，大學(xué)英語教學(xué)通常是大班教學(xué)，學(xué)生人數(shù)眾多，教師教學(xué)任務(wù)繁重，因此，很難做到仔細評閱作文。很多時候，教師的作文評閱只是流于形式：許多教師評閱時只是給個分?jǐn)?shù)或等級，缺少持續(xù)性評價；由于學(xué)生英語水平參差不齊，寫作水平相差較大，教師難以從語法、句法、篇章結(jié)構(gòu)、內(nèi)容等方面進行細致的點評；此外，教師評價多是指出作文的不足之處，很少給予學(xué)生鼓勵性的評價語，甚至部分教師不能及時給予反饋。另一方面，大學(xué)生對英語寫作普遍缺乏熱情，認(rèn)為“費時低效”，因此常常是被動接受寫作任務(wù)，敷衍了事，消極怠工，最終阻礙其英語寫作水平的切實提高[2]。為了緩解教師的作文批閱壓力，同時培養(yǎng)大學(xué)生的自主學(xué)習(xí)能力，許多高校在大學(xué)英語寫作教學(xué)中紛紛使用各種在線寫作系統(tǒng)。這樣的在線寫作系統(tǒng)對于提高不同水平的非英語專業(yè)學(xué)生的寫作水平究竟有多大幫助是廣大教育工作者和英語學(xué)習(xí)者關(guān)注的話題。因此，探究自動寫作評分系統(tǒng)對不同水平非英語專業(yè)學(xué)生寫作水平的影響就顯得非常必要。

一、自動寫作評分系統(tǒng)簡介

自動寫作評分（Automated Essay Scoring）系統(tǒng)的研發(fā)是機輔語言測試走向智能化的體現(xiàn)。該系統(tǒng)利用專業(yè)化的計算機程序，依據(jù)有效性、公正性和可靠性對教學(xué)中的作文文本特征進行評估與記分[3]。該系統(tǒng)的研發(fā)始于20世紀(jì)60年代的美國，到90年代進入實際應(yīng)用階段。目前國外較著名的AES系統(tǒng)有Project Essay Grade(PEG)、Intelligent Essay Assessor(IEA)、Electronic Essay Rater(E-rater)、IntellMetric、Bayesian Essay Test Scoring System(BETSY)等[4]。PEG基于對一篇文章語言特征的分析來評估作文的水平，但不涉及作文內(nèi)容[5]。后來的評分系統(tǒng)如E-rater和IntellMetric使用統(tǒng)計和自然語言處理的技術(shù)提取作文的語言學(xué)特征，對照人工評分的標(biāo)準(zhǔn)作文集進行打分，增加了對文本內(nèi)容和結(jié)構(gòu)的分析，評價更加科學(xué)。IEA利用潛在語義分析技術(shù)，考慮到詞義和語境因素，更側(cè)重于對文本內(nèi)容的評價[6]。

目前國內(nèi)覆蓋面較廣的是北京詞網(wǎng)科技有限公司開發(fā)的“句酷批改網(wǎng)”和外語教學(xué)與研究出版社的“i-write”?！熬淇崤木W(wǎng)”使用與E-rater和IntellMetric相似的技術(shù)，采用基于語料庫的方法建模，通過測試樣本作文與語料庫建模作文的差距來給作文評分[7]。2015年和2016年批改網(wǎng)組織了兩次全國范圍內(nèi)的百萬同題寫作大賽，得到了許多高校大學(xué)生的積極響應(yīng)。這說明當(dāng)代大學(xué)生愿意嘗試新型的教學(xué)模式，這從主觀意識層面為自動寫作評分系統(tǒng)進入高校大學(xué)英語課堂提供了保障。

關(guān)于自動寫作評分系統(tǒng)的早期研究主要集中在評分系統(tǒng)自身的效度上，即系統(tǒng)評分與人工評分的相似度。隨著系統(tǒng)的逐漸完善，關(guān)注系統(tǒng)在教學(xué)中的實際應(yīng)用的研究也逐漸豐富起來。研究者發(fā)現(xiàn)：無論是對于中小學(xué)生還是大學(xué)生，在線自動寫作評分系統(tǒng)都能在一定程度上促進其寫作成績的提高，在糾正語言錯誤方面起到積極作用[8]。但是針對批改網(wǎng)對非英語專業(yè)不同水平學(xué)生寫作水平影響的實證研究尚不多。

二、研究過程

（一）研究問題

通過一段時間的“批改網(wǎng)”寫作練習(xí)，本研究探討以下兩個問題：該寫作模式對不同水平非英語專業(yè)學(xué)生的英語寫作成績會產(chǎn)生怎樣的影響？從作文的字?jǐn)?shù)、語法、詞匯、篇章結(jié)構(gòu)等衡量寫作質(zhì)量的要素來看，“批改網(wǎng)”對不同水平學(xué)習(xí)者會產(chǎn)生怎樣的影響？

（二）研究對象

本次調(diào)查以四川省某高校一年級非英語專業(yè)121名本科生為研究對象。根據(jù)他們高考英語成績分組，115分以下90分以上的被試為一般水平組，115分及以上的被試為較高水平組。其中，一般水平組65人，較高水平組56人。

（三）研究過程

2016年11月，教師布置名為“on Children’Independence”的作文，要求學(xué)生利用“批改網(wǎng)”在半個月內(nèi)完成一篇120～200詞之間的議論文。教師要求學(xué)生在最初三天內(nèi)只是完成作文的初稿，不能進行修改，以便研究人員及時記錄初次作文的相關(guān)數(shù)據(jù)。該數(shù)據(jù)即為本次實驗的前測資料。在此后的幾個月內(nèi)，任課教師每個月在“批改網(wǎng)”上布置一次寫作任務(wù)，要求被試借助批改網(wǎng)的反饋，對作文進行自我修改，直到自己對作文滿意為止。2017年4月，任課教師要求學(xué)生半個月內(nèi)在“批改網(wǎng)”上完成名為“Fighting against Drunk Driving”的作文，字?jǐn)?shù)在120～200詞之間，在截止日期前，學(xué)生可以不斷對文章進行修改。最后，研究人員收集該作文的最后一次相關(guān)數(shù)據(jù)，作為本次實驗的后測數(shù)據(jù)。通過對比首末次作文的成績及相關(guān)數(shù)據(jù)檢測批改網(wǎng)對不同水平大學(xué)生英語寫作水平的影響。

（四）數(shù)據(jù)收集

在規(guī)定時間內(nèi)絕大多數(shù)被試均按要求完成了各次寫作練習(xí)。但是，17名被試沒有每次都完成寫作任務(wù)，為了確保本研究結(jié)果的真實性，這部分同學(xué)沒有列入最后的研究對象。在收集到的數(shù)據(jù)中，有15人的作文被系統(tǒng)判斷為“相似”或“跑題”，對于這部分作文，研究人員進行了人工評閱，得出的結(jié)論與系統(tǒng)一致。因此，筆者將這15篇作文判為不合格作文，從數(shù)據(jù)中剔除出去。最后，本次研究共收集到合格的作文89篇，其中一般水平組45篇，較高水平組44篇，將文本的相關(guān)信息，如作文分?jǐn)?shù)、字?jǐn)?shù)、平均詞長、平均句長、從句總數(shù)、篇章連詞、高頻詞匯、學(xué)術(shù)詞匯等輸入電腦，借助SPSS 19.0進行數(shù)據(jù)分析。

三、數(shù)據(jù)分析

（一）首末次作文分?jǐn)?shù)對比

從表1可以看出，一般水平學(xué)習(xí)者和較高水平學(xué)習(xí)者都可以借助批改網(wǎng)的反饋，對作文進行修改，從而提高作文分?jǐn)?shù)。一般水平組被試首次作文平均成績是71.36分，末次作文平均成績?yōu)?8.64分，平均分提高了7.28分，且形成顯著性差異（t=-7.058,p＜0.001）。較高水平組被試平均分由73.40分提高到了79.84分，平均分增加了6.44分，該差異呈現(xiàn)出極大的顯著性（p＜0.001)?？梢?，當(dāng)代非英語專業(yè)大學(xué)生已經(jīng)具備一定的自主學(xué)習(xí)能力，他們可以借助批改網(wǎng)的修改建議進行自我修改，提高寫作分?jǐn)?shù)。

表1 首末次作文分?jǐn)?shù)對比

（二）寫作質(zhì)量前后對比

評價一篇作文不能只看成績，作文字?jǐn)?shù)、詞匯、句型、內(nèi)容等都是評價寫作水平的重要指標(biāo)。

1.字?jǐn)?shù)對比

字?jǐn)?shù)是衡量寫作水平的重要指標(biāo)，想要充分地表達思想，字?jǐn)?shù)是保障。2007年教育部頒布的《大學(xué)英語課程教學(xué)要求》對非英語專業(yè)本科生的英語書面表達能力要求分為三個層次，即一般要求、較高要求和更高要求。一般要求就是學(xué)生能在半小時內(nèi)寫出不少于120詞的短文，較高要求即學(xué)生能在半小時內(nèi)寫出不少于160詞的短文，更高要求即學(xué)生能在半小時內(nèi)寫出不少于200詞的短文[9]。如表2所示，在本次研究中，一般水平組被試首次作文平均詞數(shù)為137，末次作文平均詞數(shù)為154，增加了7個單詞，該差異為顯著性差異（t=-2.783，p＜0.001）。較高水平組被試首次作文平均詞數(shù)為145，末次作文詞數(shù)為151，平均字?jǐn)?shù)增加了6個單詞，但該差異不具有顯著性(p＞0.05)?？梢?，無論是一般水平的學(xué)習(xí)者還是高水平的學(xué)習(xí)者，他們經(jīng)過一段時間的在線寫作練習(xí)后，都可以提高文本的詞數(shù)，但是，一般水平學(xué)習(xí)者提高的幅度更大。

表2 首末次作文字?jǐn)?shù)對比

2.詞匯使用對比

寫文章猶如砌房子，詞匯則如同磚頭。只有選擇好的磚頭才可以砌出漂亮、堅固的樓房。詞匯是寫作的基礎(chǔ)[10]，詞匯的選擇對文章質(zhì)量有著重大影響。本研究考察了被試作文中的高頻詞匯和學(xué)術(shù)詞匯。高頻詞匯為常用詞匯，學(xué)術(shù)詞匯則多為低頻詞匯。顧名思義，高頻詞匯使用范圍更廣，頻率更高、更常見，而學(xué)術(shù)詞匯則更長更難，使用頻率較低。如表3所示，在本次研究中，兩組被試末次作文的高頻詞匯使用量都有所下降，且呈現(xiàn)出顯著性差異（p＜0.01)，在學(xué)術(shù)詞匯的使用上，兩組被試在修改后均有所增加，并且呈現(xiàn)出顯著性差異（p＜0.01）。但是，在平均詞長上，一般水平組被試的末次作文有所下降，而較高水平組被試的末次作文卻有所增加。但是兩者均未構(gòu)成顯著性差異（p＞0.05）。平均詞長雖然不是衡量作文質(zhì)量的重要指標(biāo)，但是它可以在一定程度上反映出學(xué)習(xí)者的用詞難度、復(fù)雜度。一般認(rèn)為詞匯越長難度越大[7]。

表3 首末次作文詞匯使用對比

筆者認(rèn)為出現(xiàn)該現(xiàn)象的原因在于批改網(wǎng)對于詞匯的選擇給出了詳細的建議，被試根據(jù)修改意見，意識到學(xué)術(shù)詞匯使用的重要性，因此盡量選用了較難的、不常見的新單詞，從而增加文章用詞的復(fù)雜度和豐富度。在詞匯的選擇上，兩組被試都取得了明顯的進步，這再次證明當(dāng)代大學(xué)生具有較強的自主學(xué)習(xí)能力。

篇章連詞的正確使用可以極大地增強文章的連貫性和可讀性。因此，篇章連詞是衡量寫作質(zhì)量的一個重要指標(biāo)。但是許多學(xué)習(xí)者在寫作過程中，往往會忽略連詞的使用。本次研究中一般水平組的末次作文中篇章連詞的使用比首次作文有所下降，但未形成顯著性差異（p＞0.05），而較高水平組末次作文篇章連詞的使用雖然有所增加，但沒有形成顯著性差異（p＞0.05），如表4所示。這充分說明被試在作文修改中對篇章連詞的使用仍然沒有給予應(yīng)有的重視，而是把修改的重點放在了詞匯層面。這可能是由于被試長期的學(xué)習(xí)習(xí)慣所致：偏重對單詞、語法的學(xué)習(xí)，而缺乏對文章整體的把握。當(dāng)然，這與“批改網(wǎng)”側(cè)重對詞匯層面的反饋不無關(guān)系。有研究者曾指出：“批改網(wǎng)”對文章提出的修改建議多是詞匯層面，而對文章篇章結(jié)構(gòu)、文體修辭等方面的評價不足[11]。由于批改網(wǎng)在這方面給出的反饋不夠，而一般水平組由于自身英語水平有限，所以未能很好地從文章整體把握上增加連詞的使用，而較高水平組雖然有所增加，但是該方面的能力還有待提高。因此，教師在借助批改網(wǎng)等在線寫作系統(tǒng)進行寫作練習(xí)時，還需要從文章整體的把握上加強對學(xué)生的指導(dǎo)。

表4 篇章連詞使用對比

3.從句的使用對比

從句的使用情況是衡量寫作水平的一個重要指標(biāo)。從句的適量使用可以在一定程度上增強文章的連貫性和可讀性，避免文章過于零散。英語文章比中文緊湊，因此，從句的使用情況與使用者的英語水平有很大的關(guān)聯(lián)。從表5可以看出，一般水平組末次作文的從句總數(shù)稍有增加，但并未呈現(xiàn)出顯著性差異（p＞0.05）?？梢?，根據(jù)在線反饋，一般水平組開始有意識地增加從句的使用，但是鑒于現(xiàn)有的英語水平，其提高的幅度不大。另一方面，較高水平組末次作文的從句總數(shù)卻有所下降。針對這一現(xiàn)象，筆者與部分被試進行訪談，發(fā)現(xiàn)部分較高水平組學(xué)習(xí)者對于借助批改網(wǎng)進行寫作練習(xí)雖然一開始是積極肯定的態(tài)度，但是隨著練習(xí)次數(shù)的增加，逐漸持否定態(tài)度，他們認(rèn)為“詞數(shù)越多，批改網(wǎng)給出的分?jǐn)?shù)就越高，這與四六級作文評分不一樣”。所以，經(jīng)過多次在線寫作練習(xí)后，他們對該寫作模式逐漸失去了興趣，消極對待寫作任務(wù)。由此可見，較高水平組英語學(xué)習(xí)者具有較強的批判思維能力，在選擇學(xué)習(xí)資料方面，他們更具有獨立意識，這也可看做是他們對于英語學(xué)習(xí)更自信的表現(xiàn)。因此，在批改網(wǎng)的使用過程中，教師應(yīng)該加強對學(xué)生學(xué)習(xí)方法的指導(dǎo)，充分研究學(xué)生的心理傾向[12]，及時了解他們在使用過程中遇到的困難，幫助他們合理利用教學(xué)輔助系統(tǒng)取得更大的進步。

表5 首末次作文從句使用對比

4.句長及詞數(shù)對比

平均句長雖然不是衡量寫作水平的重要指標(biāo)，但是，它可以在一定程度上反映出文章句型的變化及難易程度。在本次研究中，一般水平組末次文作文的平均句長有所下降，最長句詞數(shù)略有增加（p＞0.05），最短句詞數(shù)有所下降，但都沒有形成顯著性差異（p＞0.05），較高水平組的末次作文平均句長、最長句詞數(shù)及最短句詞數(shù)均有所下降，未形成顯著性差異（p＞0.05），如表6所示。在訪談中，被試反映批改網(wǎng)雖然給出的反饋非常豐富，但多是詞語選擇、同義詞區(qū)分、詞法搭配方面的內(nèi)容，過多的詞匯信息反而會讓他們覺得困惑。而在語法、句法、內(nèi)容等方面，批改網(wǎng)只是給出一個整體的評價，并未詳細地指出具體的錯誤和修改方法?；蛟S正是由于缺乏句法方面的反饋，所以導(dǎo)致兩組被試在句法層面表現(xiàn)欠佳。當(dāng)然，這與被試的寫作態(tài)度有一定的關(guān)聯(lián)。如上所述，到寫作練習(xí)后期，許多學(xué)生對批改網(wǎng)這種寫作方式失去了興趣，故而導(dǎo)致其消極怠工，影響了寫作質(zhì)量的提高。

表6 首末次作文平均句長及詞數(shù)對比

四、結(jié)語

在信息技術(shù)迅速發(fā)展和普及的今天，外語教學(xué)現(xiàn)代化已經(jīng)成為發(fā)展趨勢，在線寫作系統(tǒng)在各高校大學(xué)英語教學(xué)中得到廣泛使用。雖然不同水平的非英語專業(yè)學(xué)生可以根據(jù)在線反饋進行自我修改，提高寫作成績，在一定程度上提升寫作質(zhì)量，但是，鑒于學(xué)生的英語水平和長期以來養(yǎng)成的學(xué)習(xí)習(xí)慣，在在線寫作系統(tǒng)的使用過程中，教師的指導(dǎo)是非常必要的。從學(xué)習(xí)方法到學(xué)生的薄弱環(huán)節(jié)，如句法、篇章掌握等，教師都應(yīng)該加大指導(dǎo)力度。任何技術(shù)都只是教學(xué)的輔助手段，切記不能完全依賴在線寫作系統(tǒng)而忽略了對學(xué)生應(yīng)有的指導(dǎo)，只有人機結(jié)合才能事半功倍。

[1]唐錦蘭,吳一安.寫作自動評價系統(tǒng)在大學(xué)英語教學(xué)中的應(yīng)用研究[J].外語與外語教學(xué),2012(4):53-59.

[2]秦朝霞.國內(nèi)大學(xué)英語寫作研究現(xiàn)狀及發(fā)展趨勢分析[J].現(xiàn)代外語,2009(2):195-204.

[3]CHUNG G K,BAKER E L.Issues in the reliability and validity of automated scoring of constructed responses[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:23-40.

[4]陳瀟瀟,葛詩利.自動作文評分研究綜述[J].解放軍外國語學(xué)院學(xué)報,2008(5):78-83.

[5]PAGE E B.Project essay grade:PEG[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:43-54.

[6]LANDAUER T K,LAHAM D,FOLTI P W.Automated scoring and annotation of essays with the Intelligent Essay Assessor[C]//SHERMIS M D,BURSTEIN J.Automatic essay scoring:a cross-disciplinary perspective.Mahwah,NJ:Lawrence Erlbaum Associates,2003:87-112.

[7]胡學(xué)文.在線作文自我修改對大學(xué)生英語寫作結(jié)果的影響[J].外語電化教學(xué),2015(3):45-49.

[8]吳一安,唐錦蘭.融入自動評價系統(tǒng)的英語寫作實驗教學(xué)對高校英語教師的影響研究[J].外語電化教學(xué),2012(4):3-10.

[9]教育部高等教育司.大學(xué)英語課程教學(xué)要求[M].上海：上海外語教育出版社，2007：3-4.

[10]段廷婷,楊敏.英語寫作的有效性教學(xué)策略實踐研究[J].重慶文理學(xué)院學(xué)報(社會科學(xué)版),2015(3):140-143.

[11]何旭良.句酷批改網(wǎng)英語作文評分的信度和效度研究[J].現(xiàn)代教育技術(shù),2013(5):64-67.

[12]郭艷紅.教育敘事研究在大學(xué)英語后續(xù)課程中的應(yīng)用——以英美報刊選讀課程為例[J].重慶高教研究,2013(1):63-67.