“全民英檢”高級(jí)寫(xiě)作紙筆與電腦化測(cè)驗(yàn)之平行研究初探

2013-09-27 00:29吳若蕙

當(dāng)代外語(yǔ)研究 2013年8期

吳若蕙

（財(cái)團(tuán)法人語(yǔ)言訓(xùn)練測(cè)驗(yàn)中心，臺(tái)灣）

1.前言

由于電腦資訊產(chǎn)業(yè)的蓬勃發(fā)展，在英語(yǔ)能力測(cè)試方面，電腦化測(cè)驗(yàn)、電腦化適性測(cè)驗(yàn)與網(wǎng)路測(cè)驗(yàn)已漸趨常見(jiàn)，也普遍受到學(xué)習(xí)者與受測(cè)者的認(rèn)同。美國(guó)教育測(cè)驗(yàn)服務(wù)社（ETS）的“托?！保═OEEL）電腦化測(cè)驗(yàn)始于1998年7月，并自2000年10月起在臺(tái)灣開(kāi)始實(shí)施電腦化適性測(cè)驗(yàn)，隨后又于2006年5月改為網(wǎng)絡(luò)測(cè)驗(yàn)。目前在臺(tái)灣，不論政府單位或民間組織自行主辦的大型測(cè)驗(yàn)采用電腦化的情形尚未普遍。雖然如此，電腦化測(cè)驗(yàn)在臺(tái)灣愈來(lái)愈受到重視，政府單位（例如：考選部）已意識(shí)到電腦化的趨勢(shì)，自2004年起實(shí)施航海人員電腦化測(cè)驗(yàn)，并計(jì)劃逐年擴(kuò)大實(shí)施電腦化測(cè)驗(yàn)，選擇其他考試類(lèi)科辦理；而民間組織方面（例如：語(yǔ)言訓(xùn)練測(cè)驗(yàn)中心），也自2010年起實(shí)施“全民英檢”高級(jí)電腦化寫(xiě)作測(cè)驗(yàn)，提供受測(cè)者在原有傳統(tǒng)紙筆寫(xiě)作測(cè)驗(yàn)外之另一選擇。

教育測(cè)驗(yàn)、評(píng)量與資訊科技結(jié)合的突破確實(shí)簡(jiǎn)化了試務(wù)流程，提高了考試的效率及效益。對(duì)以選擇題為主的測(cè)驗(yàn)型式而言，電腦計(jì)分非常單純，但對(duì)于非選擇題的測(cè)驗(yàn)型式，題型的文字界面及多元計(jì)分等均涉及測(cè)驗(yàn)的信度、效度。美國(guó)心理學(xué)會(huì)也對(duì)此提出呼吁，希望測(cè)驗(yàn)專(zhuān)業(yè)正視電腦化測(cè)驗(yàn)上有關(guān)信度與效度之議題，而這也是發(fā)展語(yǔ)言電腦化測(cè)試刻不容緩的研究課題。特別是語(yǔ)言測(cè)驗(yàn)從原來(lái)的傳統(tǒng)紙筆測(cè)驗(yàn)?zāi)Ｊ睫D(zhuǎn)型成電腦化測(cè)驗(yàn)?zāi)Ｊ降倪^(guò)程中，因現(xiàn)實(shí)因素之限制（例如：電腦化測(cè)驗(yàn)考場(chǎng)地不足），必須紙筆測(cè)驗(yàn)與電腦化測(cè)驗(yàn)雙軌并行，也就是說(shuō)，讓一部分受測(cè)者接受紙筆測(cè)驗(yàn)，而另一部分受測(cè)者接受電腦化測(cè)驗(yàn)。如此一來(lái)就產(chǎn)生這兩種不同應(yīng)考環(huán)境下，即使是考題一樣、測(cè)試時(shí)間相同，受測(cè)者的表現(xiàn)是否相當(dāng)、對(duì)評(píng)分者是否造成影響等疑問(wèn)。如受測(cè)者因接受電腦化測(cè)驗(yàn)而較紙筆測(cè)驗(yàn)的受測(cè)者表現(xiàn)佳或差，皆造成測(cè)試不公平，對(duì)測(cè)驗(yàn)的信度與效度亦皆形成挑戰(zhàn)。

“全民英語(yǔ)能力分級(jí)檢定測(cè)驗(yàn)”（簡(jiǎn)稱(chēng)“全民英檢”）由臺(tái)灣教育部補(bǔ)助財(cái)團(tuán)法人語(yǔ)言訓(xùn)練測(cè)驗(yàn)中心（簡(jiǎn)稱(chēng)LTTC）研發(fā)?！叭裼z”自2000年施測(cè)以來(lái)廣受采用，迄今已達(dá)510萬(wàn)人次報(bào)考，成績(jī)獲申請(qǐng)入學(xué)、畢業(yè)、甄選、國(guó)際學(xué)程等采認(rèn)?！叭裼z”檢測(cè)對(duì)象為一般社會(huì)人士及在校學(xué)生，共分五級(jí)：初級(jí)、中級(jí)、高級(jí)、高級(jí)及優(yōu)級(jí)；測(cè)驗(yàn)內(nèi)容包含初試（聽(tīng)、讀）、復(fù)試（說(shuō)、寫(xiě)）四項(xiàng)；初試通過(guò)者始能報(bào)考復(fù)試，初復(fù)試皆通過(guò)者獲頒該級(jí)通過(guò)證書(shū)。各級(jí)綜合能力說(shuō)明如下（更多有關(guān)“全民英檢”的資訊可查閱“全民英檢”網(wǎng)站http：∥www.gept.org.tw）。

初級(jí)：具有基礎(chǔ)英語(yǔ)能力，能理解和使用淺易日常用語(yǔ)，相當(dāng)國(guó)中畢業(yè)者。

中級(jí)：具有使用簡(jiǎn)單英語(yǔ)進(jìn)行日常生活溝通的能力，相當(dāng)高中畢業(yè)者。

中高級(jí)：英語(yǔ)能力逐漸成熟，應(yīng)用領(lǐng)域擴(kuò)大，雖有錯(cuò)誤，但無(wú)礙溝通，相當(dāng)大學(xué)非英語(yǔ)主修系所畢業(yè)者。

高級(jí)：英語(yǔ)流利順暢，僅有少許錯(cuò)誤，應(yīng)用能力擴(kuò)及學(xué)術(shù)或?qū)I(yè)領(lǐng)域，相當(dāng)國(guó)內(nèi)大學(xué)英語(yǔ)主修系所或曾赴英語(yǔ)系國(guó)家進(jìn)修并取得學(xué)位者。

優(yōu)級(jí)：英語(yǔ)能力接近受過(guò)高等教育之母語(yǔ)人士，各種場(chǎng)合均能使用適當(dāng)策略作最有效的溝通。

正如國(guó)際著名語(yǔ)言測(cè)驗(yàn)學(xué)者Lyle E Bachman教授（1990）所言：“測(cè)驗(yàn)不是在一個(gè)與社會(huì)價(jià)值完全隔絕的試管中所研發(fā)出來(lái)或被使用的產(chǎn)物，測(cè)驗(yàn)應(yīng)以服務(wù)教育、社會(huì)為最終目的?！倍嗄陙?lái)“全民英檢”不論在研發(fā)或?qū)嶋H運(yùn)作方面努力與國(guó)內(nèi)英語(yǔ)教學(xué)建立合作、互動(dòng)的機(jī)制，產(chǎn)生正面的回沖效應(yīng)（washback effect）。在這基礎(chǔ)上，LTTC持續(xù)進(jìn)行效度研究，以期提升“全民英檢”的測(cè)驗(yàn)品質(zhì)，發(fā)揮推廣全民學(xué)習(xí)英語(yǔ)的功效（Wu 2012）。本文所提的“全民英檢”高級(jí)寫(xiě)作電腦化測(cè)驗(yàn)的開(kāi)發(fā)就是一個(gè)例子。

考慮到“全民英檢”高級(jí)寫(xiě)作測(cè)驗(yàn)字?jǐn)?shù)要求約為500字，加上受測(cè)者大多為成年學(xué)習(xí)者，為求測(cè)驗(yàn)方式更加貼近其平時(shí)的寫(xiě)作習(xí)慣，LTTC認(rèn)為有需要研議增加電腦化測(cè)驗(yàn)的選項(xiàng)。LTTC在開(kāi)發(fā)“全民英檢”高級(jí)寫(xiě)作電腦化測(cè)驗(yàn)?zāi)Ｊ綍r(shí)，即決定采紙筆、電腦兩種模式并存，因此在維持測(cè)驗(yàn)的公平性、不影響測(cè)驗(yàn)效度之前提下，進(jìn)行“全民英檢”高級(jí)寫(xiě)作紙筆測(cè)驗(yàn)與電腦化測(cè)驗(yàn)是否平行之實(shí)證研究。本文說(shuō)明該研究過(guò)程與結(jié)果，由作者摘譯自原英文研究報(bào)告（Wu&Chao 2011）并補(bǔ)充文獻(xiàn)探討等后改寫(xiě)而成。以下為“全民英檢”高級(jí)寫(xiě)作測(cè)驗(yàn)的介紹。

“全民英檢”高級(jí)寫(xiě)作測(cè)驗(yàn)的題型為任務(wù)型導(dǎo)向（task-based），希望反映出與現(xiàn)實(shí)相符的學(xué)術(shù)性寫(xiě)作（academic writing），例如“從讀至寫(xiě)”（reading-towrite）。本測(cè)驗(yàn)設(shè)計(jì)獲學(xué)者高度肯定，認(rèn)為是學(xué)術(shù)英語(yǔ)能力評(píng)量的佳作（Roever&Pan 2008；Weir 2005）。受測(cè)者須在限定時(shí)間內(nèi)分別完成兩個(gè)大題。第一大題作答時(shí)間為60分鐘，題目包括兩篇英文文章（每篇文章長(zhǎng)度約350字至400字，難度設(shè)在中高級(jí)的程度），文章分別就同一議題抒發(fā)不同的看法?；卮饍?nèi)容須包括兩篇文章的重點(diǎn)摘要，并提出個(gè)人對(duì)該議題的看法，長(zhǎng)度約250字。第二大題作答時(shí)間為45分鐘，題目是與同一議題相關(guān)的兩個(gè)圖表。回答內(nèi)容須包括兩份圖表的重點(diǎn)訊息，并提出解決方案，長(zhǎng)度約250字。評(píng)分方面，評(píng)分量表分為兩種：一是整體式（holistic）量表，二是分項(xiàng)式（analytical）量表，包含內(nèi)容、組織、遣詞用字及文法結(jié)構(gòu)。寫(xiě)作測(cè)驗(yàn)的兩大題分別給分，標(biāo)準(zhǔn)為0-5整數(shù)級(jí)分。測(cè)驗(yàn)總分為所有分項(xiàng)分?jǐn)?shù)的平均數(shù)，且總分需達(dá)3級(jí)分以上始能通過(guò)寫(xiě)作測(cè)驗(yàn)。每篇文章皆由兩位評(píng)分員評(píng)閱，一旦評(píng)分員之間的給分差異過(guò)大，再由資深評(píng)分員第三次評(píng)分，并決定最終成績(jī)。另每篇文章的整體式評(píng)分與分項(xiàng)式總分差異過(guò)大時(shí)也須重閱?！叭裼z”高級(jí)寫(xiě)作測(cè)驗(yàn)的試題樣例與評(píng)分量表見(jiàn)附錄。

“全民英檢”高級(jí)寫(xiě)作電腦化測(cè)驗(yàn)在電腦教室進(jìn)行，有別于紙筆測(cè)驗(yàn)，電腦化測(cè)驗(yàn)提供復(fù)制粘貼、自動(dòng)字?jǐn)?shù)統(tǒng)計(jì)、自動(dòng)儲(chǔ)存檔、字體大小調(diào)整、計(jì)時(shí)等功能。為控制電腦化與紙筆測(cè)驗(yàn)之差異，兩者作答時(shí)間一樣，且寫(xiě)作題目?jī)?nèi)容（含閱讀文章與圖表）皆以紙本方式呈現(xiàn)，而答卷也印出來(lái)，同紙筆測(cè)驗(yàn)的答卷以紙本方式交由評(píng)分員評(píng)分。

2.文獻(xiàn)探討

電腦化測(cè)驗(yàn)運(yùn)用在語(yǔ)言教育上，對(duì)學(xué)習(xí)者的影響是正面或負(fù)面，關(guān)鍵在于測(cè)驗(yàn)進(jìn)行時(shí)是否有作答時(shí)間的限制。Mead和Drasgow（1993）在整理分析近160篇有關(guān)探討電腦施測(cè)影響的論文后，指出無(wú)作答時(shí)間限制的電腦施測(cè)（power tests）對(duì)受測(cè)者的作答表現(xiàn)并無(wú)負(fù)面影響；但是具作答時(shí)間限制的電腦施測(cè)（speed tests）卻對(duì)受測(cè)者的作答表現(xiàn)造成負(fù)面影響。因此，Mead和Drasgow（1993）呼吁在比較紙筆測(cè)驗(yàn)與電腦化測(cè)驗(yàn)（具作答時(shí)間限制）是否相當(dāng)（equivalence）時(shí)，需確定電腦化測(cè)驗(yàn)的品質(zhì)、效度與其原有的紙筆測(cè)驗(yàn)相同。這也表示在有時(shí)間限制的作答環(huán)境下，不論是在紙筆測(cè)驗(yàn)或電腦化測(cè)驗(yàn)的模式下應(yīng)考，受測(cè)者的成績(jī)表現(xiàn)是可能相同的，但前提是應(yīng)事先確定兩者是相當(dāng)?shù)?。這點(diǎn)也深獲其他學(xué)者（例如：Van de Vijver&Harsveld 1994；McDonald 2002）的認(rèn)同，并主張應(yīng)透過(guò)實(shí)證研究，證明兩種測(cè)驗(yàn)?zāi)Ｊ绞窍喈?dāng)?shù)模∕cDonald 2002：300）。

在進(jìn)行紙筆測(cè)驗(yàn)與電腦化測(cè)驗(yàn)是否相當(dāng)、平行的研究（comparability studies）時(shí)，最直接的就是比較受測(cè)者在這兩種測(cè)驗(yàn)?zāi)Ｊ较碌淖鞔鸨憩F(xiàn)：一個(gè)是受測(cè)者所得的分?jǐn)?shù)；另一個(gè)是受測(cè)者在作文中所使用的語(yǔ)言、文字，下簡(jiǎn)稱(chēng)文本分析。以下即依每一項(xiàng)分別說(shuō)明。

2.1 分?jǐn)?shù)比較（score comparability）

寫(xiě)作測(cè)驗(yàn)多依賴(lài)人工判斷、評(píng)分，因此測(cè)驗(yàn)?zāi)Ｊ降母淖円部赡軙?huì)對(duì)評(píng)分者造成影響，進(jìn)而影響評(píng)分。紙筆測(cè)驗(yàn)時(shí)，受測(cè)者用手寫(xiě)的方式作答（handwritten text），可能因受測(cè)者的字跡工整度而影響評(píng)分者的判斷；相對(duì)地，電腦測(cè)驗(yàn)時(shí)，受測(cè)者用打字方式作答（typed text），評(píng)分者評(píng)閱時(shí)所讀的全是工整的印書(shū)體。因此，電腦測(cè)驗(yàn)作答的呈現(xiàn)方式很可能是影響評(píng)分的變數(shù)之一，但是它對(duì)于受測(cè)者的得分到底是利或弊？一般人認(rèn)為電腦打字的作答呈現(xiàn)方式應(yīng)該對(duì)受測(cè)者較有利，因?yàn)槭謱?xiě)作答可能因字跡問(wèn)題影響了評(píng)分者對(duì)其寫(xiě)作能力的判斷。但是根據(jù)研究（Powerset al.1994；Russell&Tao 2004a），事實(shí)上相同的文章以手寫(xiě)方式接受評(píng)分，其得分高于電腦打字方式?？赡艿脑虬弘娔X打字方式的作答讓錯(cuò)誤更明顯易見(jiàn)；評(píng)分者對(duì)于受測(cè)者能運(yùn)用電腦作答有更高的期待；手寫(xiě)方式較人性化；縮短與評(píng)閱者的距離；手寫(xiě)作答看起來(lái)較長(zhǎng)、較費(fèi)心力等。但是這些問(wèn)題應(yīng)可從加強(qiáng)評(píng)分者的訓(xùn)練予以防范。Russell和Tao（2004b）比較手寫(xiě)、電腦打字、電腦模擬手寫(xiě)三種不同的受測(cè)者寫(xiě)作，發(fā)現(xiàn)評(píng)分者對(duì)電腦打字寫(xiě)作的給分較其他兩種模式低，而手寫(xiě)與電腦模擬手寫(xiě)的得分并無(wú)顯著差異。但經(jīng)評(píng)分者在三種不同模式下練習(xí)評(píng)閱后，即有效降低了作答呈現(xiàn)方式對(duì)評(píng)分造成的影響。然而有其他研究（如Russell&Haney 1997；Aydin 2006）發(fā)現(xiàn)相反的結(jié)果，也就是受測(cè)者在電腦化寫(xiě)作測(cè)驗(yàn)上的表現(xiàn)得分高于紙筆測(cè)驗(yàn)。他們認(rèn)為可能的原因是：電腦化寫(xiě)作測(cè)驗(yàn)提高受測(cè)者作答的意愿；評(píng)分者對(duì)電腦化寫(xiě)作測(cè)驗(yàn)的評(píng)分工作持較正面看法?？傊?，寫(xiě)作測(cè)驗(yàn)作答的呈現(xiàn)方式對(duì)受測(cè)者的得分是利或是弊并無(wú)定論。

靠人工判斷、評(píng)分的測(cè)驗(yàn)，向來(lái)注重測(cè)驗(yàn)信度，特別是評(píng)分者之間的一致性（inter-rater consistency），或稱(chēng)為評(píng)分者間信度（inter-rater reliability）。因此，在進(jìn)行紙筆測(cè)驗(yàn)與電腦化測(cè)驗(yàn)是否相當(dāng)、平行的研究時(shí)，除比較兩者分?jǐn)?shù)的變化外，也應(yīng)檢視兩者之評(píng)分者間信度有否差異。Aydin（2006）將40位學(xué)生平分成能力相當(dāng)?shù)膬山M，一組參加紙筆寫(xiě)作測(cè)驗(yàn)，另一組參加電腦化寫(xiě)作測(cè)驗(yàn)；每組接受前測(cè)（pretest）、后測(cè)（posttest）。之后所有學(xué)生的作文由兩位評(píng)分者評(píng)閱，依其評(píng)分計(jì)算出每組的前、后測(cè)評(píng)分者間信度（Cronbach Alpha）并加以比較。結(jié)果顯示電腦化寫(xiě)作測(cè)驗(yàn)的評(píng)分者間信度明顯高于紙筆測(cè)驗(yàn)，但是該研究未進(jìn)一步探究信度提高的原因。值得一提的是，該研究中前、后測(cè)所使用的題目是不同的，這可能是影響結(jié)果的原因之一。

2.2 文本分析（textual and linguistic features）

有別于分?jǐn)?shù)的比較，我們也可針對(duì)受測(cè)者在兩種作答模式的文字表現(xiàn)進(jìn)行文本分析，以檢視兩者是否相當(dāng)，項(xiàng)目包含：詞匯、組織（句子、段落）、拼字、標(biāo)點(diǎn)符號(hào)等。Chambers（2008）研究中針對(duì)英國(guó)劍橋大學(xué)考試院（Cambridge ESOL）中級(jí)測(cè)驗(yàn)（PET），比較電腦、紙筆兩種寫(xiě)作模式下受測(cè)者的作答文本分析。該研究運(yùn)用Wordsmith Tools（Scott 1998）、Range（Nation&Heatley 1996）、SPSS等工具分析上述項(xiàng)目，發(fā)現(xiàn)在詞匯方面，受測(cè)者的作答量（作文的總字?jǐn)?shù)）兩者間大致相當(dāng)，但電腦化的作文詞匯較有變化、較豐富。句子、段落方面，兩者句長(zhǎng)相當(dāng)，但是電腦化的作文平均句數(shù)、段落數(shù)皆較紙筆作文少。而拼字、標(biāo)點(diǎn)符號(hào)的錯(cuò)誤量?jī)烧呦喈?dāng)，有趣的是發(fā)現(xiàn)錯(cuò)誤的類(lèi)型不同。電腦化的錯(cuò)誤屬于打字輸入的失誤（電腦化寫(xiě)作測(cè)驗(yàn)時(shí)電腦不具“拼字檢查”的功能），例如：ask打成aks；紙筆的錯(cuò)誤多數(shù)字跡亂而影響理解。

上述的研究發(fā)現(xiàn)讓我們了解作答模式的改變對(duì)受測(cè)者語(yǔ)言能力表現(xiàn)的影響。但值得注意的是該研究所使用的寫(xiě)作測(cè)驗(yàn)為敘述文，且受測(cè)者的母語(yǔ)背景皆熟悉羅馬字母，因此，電腦化測(cè)驗(yàn)對(duì)于其他文體、其他母語(yǔ)背景的受測(cè)者是否有類(lèi)似的影響，尚需更多的研究。

3.本研究概況

過(guò)去“全民英檢”高級(jí)寫(xiě)作測(cè)驗(yàn)只采用紙筆作答，有鑒于寫(xiě)作測(cè)驗(yàn)的字?jǐn)?shù)要求約為500字，加上受測(cè)者大多為成年學(xué)習(xí)者，于是考慮增加電腦作答的選項(xiàng)，希望更能貼近受測(cè)者平時(shí)的寫(xiě)作習(xí)慣。為此，本研究于2009年進(jìn)行，目的即為檢驗(yàn)在紙筆與電腦化兩種不同的應(yīng)考方式下，受測(cè)者的寫(xiě)作表現(xiàn)是否相當(dāng)，包括：分?jǐn)?shù)與文本分析比較。

同年度報(bào)名高級(jí)寫(xiě)作測(cè)驗(yàn)的56位受測(cè)者獲邀參加本研究，和正式測(cè)驗(yàn)的受測(cè)者背景（如性別、年齡、教育等）相同。隨機(jī)將這些受測(cè)者分成兩組，其中44位在本研究中以電腦作答，但在兩周后的正式測(cè)驗(yàn)則以紙筆作答，目的在比較他們?cè)趦蓤?chǎng)測(cè)驗(yàn)中的表現(xiàn)，以判斷不同的應(yīng)考方式是否會(huì)對(duì)評(píng)分與作答表現(xiàn)造成影響。為排除前后測(cè)使用不同試題帶來(lái)可能干擾的變數(shù)，本研究安排另12位受測(cè)者在兩場(chǎng)測(cè)驗(yàn)中皆使用紙筆作答，目的是比較他們?cè)趦蓤?chǎng)測(cè)驗(yàn)的表現(xiàn)，以確認(rèn)本研究（前測(cè)）和正式測(cè)驗(yàn)（后測(cè)）所使用的題目難易度相當(dāng)。此外，本研究將這12位受測(cè)者的前測(cè)手寫(xiě)作文以電腦重打，制成電腦打字版付印，并將這些具有同樣寫(xiě)作內(nèi)容，但以不同方式呈現(xiàn)的答卷隨機(jī)分配給同批評(píng)分員評(píng)閱，以檢視評(píng)分員面對(duì)不同呈現(xiàn)方式的答卷是否能保持評(píng)分一致性。

4.結(jié)果

4.1 檢驗(yàn)本研究與正式測(cè)驗(yàn)題目難易度是否相當(dāng)

為確認(rèn)本研究與正式測(cè)驗(yàn)中所使用的題目難易度是相當(dāng)，本研究就上述12位受測(cè)者在兩場(chǎng)測(cè)驗(yàn)的表現(xiàn)進(jìn)行一配對(duì)樣本T 檢定，結(jié)果顯示兩者僅在第二大題的文章字?jǐn)?shù)有顯著差異（p＜.05），而第一大題的字?jǐn)?shù)、兩者的平均句長(zhǎng)和分?jǐn)?shù)均大致相當(dāng)。換句話(huà)說(shuō)，兩場(chǎng)測(cè)驗(yàn)的難易度應(yīng)大致相當(dāng)（表1）。

表1 分?jǐn)?shù)、作文平均字?jǐn)?shù)與句長(zhǎng)比較

（續(xù)表）

4.2 評(píng)分一致性

為檢驗(yàn)不同形式的答卷是否會(huì)影響評(píng)分，我們將這12位受測(cè)者前測(cè)的紙筆作答制成電腦打字版付印，與其原來(lái)的手寫(xiě)下答卷共24份答（手寫(xiě)和打字各12份），隨機(jī)分配給3位評(píng)分員評(píng)閱，每份答卷皆經(jīng)其中兩位評(píng)分員評(píng)分。經(jīng)比較手寫(xiě)和打字兩組的得分無(wú)顯著差異（p>.05），結(jié)果大致相當(dāng)（表2）。另依每篇作文的兩組得分計(jì)算相關(guān)性，相關(guān)系數(shù)達(dá).85、.91；兩者分?jǐn)?shù)均差距0.5級(jí)分內(nèi)，這表示評(píng)分應(yīng)未受到答卷呈現(xiàn)形式的影響。

表2 手寫(xiě)組和打字組之得分比較

表3 手寫(xiě)組和打字組之得分相關(guān)性分析

4.3 比較受測(cè)者在不同應(yīng)考方式下之寫(xiě)作表現(xiàn)

本研究中有44位受測(cè)者以電腦作答，這些受測(cè)者在本研究的兩周后參加正式測(cè)驗(yàn)（以紙筆作答方式進(jìn)行），因此得以比較他們?cè)谇昂髢蓤?chǎng)測(cè)驗(yàn)的表現(xiàn)，以判斷不同的應(yīng)考方式是否會(huì)對(duì)其得分與作答表現(xiàn)造成影響。

在得分方面，兩場(chǎng)測(cè)驗(yàn)（電腦、紙筆）的平均得分皆為2.59（p=1.00），相關(guān)性分析顯示：無(wú)論是分項(xiàng)或整體分?jǐn)?shù)均顯著相關(guān)，相關(guān)系數(shù)介于0.37-0.68，屬中度相關(guān)（表4）。

表4 兩場(chǎng)測(cè)驗(yàn)（電腦、紙筆）得分之相關(guān)系數(shù)

在寫(xiě)作表現(xiàn)方面，本研究比較兩場(chǎng)測(cè)驗(yàn)（電腦、紙筆）作答的長(zhǎng)度（字?jǐn)?shù)）、句構(gòu)復(fù)雜度（句長(zhǎng)），并進(jìn)行配對(duì)樣本t檢定。結(jié)果顯示兩者在第一大題的作答長(zhǎng)度有顯著差異（p＜.05），第二大題則相當(dāng)；而兩者的平均句長(zhǎng)相當(dāng)，差異未達(dá)顯著（表5）。

因兩場(chǎng)測(cè)驗(yàn)所使用的題目已獲檢驗(yàn)難易度相當(dāng)，又評(píng)分員不受手寫(xiě)或打字的答卷呈現(xiàn)方式影響，綜合上述結(jié)果，這44名受測(cè)者在電腦、紙筆兩場(chǎng)測(cè)驗(yàn)的表現(xiàn)（含得分、實(shí)際作答長(zhǎng)度、句長(zhǎng)）相當(dāng)，顯示受測(cè)者未因應(yīng)考方式不同而受影響。

表5 兩場(chǎng)測(cè)驗(yàn)（電腦、紙筆）字?jǐn)?shù)與句長(zhǎng)比較

5.討論與結(jié)論

本研究結(jié)果顯示，大致上不同的應(yīng)考方式不影響受測(cè)者的得分、文章字?jǐn)?shù)和句子長(zhǎng)度，雖然電腦作答的文章（第一大題）長(zhǎng)度較紙筆測(cè)驗(yàn)的作答長(zhǎng)。這可能是參加“全民英檢”高級(jí)寫(xiě)作測(cè)驗(yàn)者多為成人學(xué)習(xí)者，他們習(xí)慣使用電腦打字從事長(zhǎng)篇英文寫(xiě)作，而非通過(guò)手寫(xiě)的方式。因此，有了電腦的復(fù)制粘貼功能，受測(cè)者往往會(huì)產(chǎn)出篇幅較長(zhǎng)的文章。然而根據(jù)參與本研究的評(píng)分員表示，電腦打字的拼字錯(cuò)誤比手寫(xiě)作答更容易發(fā)現(xiàn)，而且許多拼字錯(cuò)誤皆屬打字錯(cuò)誤。按結(jié)果推論，大多數(shù)的受測(cè)者沒(méi)有花時(shí)間重新檢閱文章。評(píng)分員也表示，盡管他們比較偏向評(píng)閱電腦作答的答卷，但實(shí)際上除非手寫(xiě)筆跡過(guò)于潦草，否則手寫(xiě)和打字的答卷并無(wú)太大差別。這些看法與前述文獻(xiàn)探討及本研究結(jié)果相符。

本研究有兩個(gè)主要不足之處：第一、樣本數(shù)量偏少。其實(shí)目前全民英檢高級(jí)寫(xiě)作測(cè)驗(yàn)每次大約200-300名受測(cè)者，本研究樣本數(shù)（56）約占20-30%，應(yīng)不算過(guò)少。但考量研究的嚴(yán)謹(jǐn)度，樣本數(shù)量宜增加。第二、文本分析本次僅做文章表層的分析（字?jǐn)?shù)、句長(zhǎng)），未能深入文本分析，例如：用字、組織、錯(cuò)誤分析等（Chambers 2008）。此外，受測(cè)者的作答認(rèn)知過(guò)程（cognitive process）在兩種測(cè)驗(yàn)?zāi)Ｊ较率欠裣嗤?？這也是探討測(cè)驗(yàn)理論效度（theory-based validity）的重要課題（Weiret al2007）。

因本研究結(jié)果顯示“全民英檢”高級(jí)寫(xiě)作電腦化測(cè)驗(yàn)的結(jié)果大致與紙筆測(cè)驗(yàn)的結(jié)果相當(dāng)，兩者并存是可行的，該測(cè)驗(yàn)研究委員會(huì)乃議自2010年起試辦電腦化測(cè)驗(yàn)，并由受測(cè)者自由選擇報(bào)考紙筆或電腦測(cè)驗(yàn)；同時(shí)收集更多受測(cè)者作答資料，持續(xù)進(jìn)行相關(guān)研究，致力確保紙筆、電腦化測(cè)驗(yàn)具有相同的效度、品質(zhì)。

附錄

GEPT Advanced Writing Test

General Instructions：In this test，you will have an opportunity to demonstrate how well you can extract main ideas from both verbal and non-verbal input，organize these ideas effectively in writing tasks and make clear your own viewpoint on these main ideas.There are two tasks in this test.Each task has a different time limit.You must complete both tasks or your test will not be marked.Detailed instructions will be given to you at the beginning of each task.

Read these instructions carefully and plan ahead so that you can complete all the requirements within the time limit.Insufficient development of any part of either task will result in a lower score for that task.Your performance will be scored according to the following criteria：relevance and adequacy，coherence and organization，lexical use，and grammatical use.

The entire writing test takes 105 minutes.

Task 1

You are going to take part in the GEPT Composition Contest and the winning prize is an NT$S5，000 book voucher.The title of the composition isThe Advantages and Disadvantages of Advertising.Information about this topic is provided in the two articles on the following pages.

·Eirst，read each text to establish the main points the writer is making.You can use the space provided on your test paper to make notes.

·Then，in your own wordsas far as possible，write a composition that summarizes themain ideas of both textsconcerning the pros and cons of advertising.If you use more than three consecutive words from the articles，use quotation marks（“ ”）.Plagiarism will result in failure.

·In the final part of the composition，you should make clear your own viewpoint on these main ideas and come to a conclusion.

Your composition must be about250 words.You have60 minutesto complete Task

The Advantages and Disadvantages of Advertising

The Disadvantages of Advertising

Anyone who lives in America is aware of advertising.Reading newspapers and magazines，we see full-page ads urging us to buy clothes，autos，cigarettes，and kitchen appliances.Television and radio programs include commercials；we all have heard the phrases“brought to you by”and“sponsored by”hundreds of times.If we drive，we see road signs or billboards proclaiming the qualities of products or the location of restaurants or motels.If we commute on a transit system，we cannot help but notice the prominent signs displayed on the buses and subways.And in our mail，along with the bills and the letters，come shiny flyers and circulars promoting products and announcing sales.

Advertisements in some form intrude into nearly every waking minute of our lives.We simply cannot get away from their pounding，incessant messages.Because ads permeate radio and television，we find ourselves singing their silly jingles and repeating their“cute”lines.Sellers admonish us to buy through a profusion of techniques：hard sell，soft sell，music，comedy，and appeals to all our emotions and fears.

Some ads areeven potentially harmful.Perplexing or misleading sales pitches may lure unwary buyers into financial trouble.It is always best to remember：“caveat emptor”—let the buyer beware.Many commercials go far beyond the mere transmitting of information when they attempt to transform our values and attitudes.Cigarettes ads，for example，often imply that smoking is a manly or sexy habit.It is neither.

Because of these problems，many people have become extremely critical of commercials，especially those directed at children.As adults，we are often skeptical of what we read or hear in advertisements.Children，because they are not as mature or experienced as we are，cannot judge how reasonable or accurate ads are.If the man on TV says chocolate-covered，sugar-coated wheat toasts are healthful and nutritious，children may very well believe it.Many parents feel sellers take unfair advantage of children's inability to evaluate what they see or hear.

Unfortunately，despite their problems，commercials and ads are an established part of modern life.Providers of goods and services will always try to persuade us to purchase what they are selling.As consumers，we must learn not to believe everything we hear or read，so that we will not be fooled into buying things we don't need.

（Adapted from the article by Dennis Keen）

NOTES

The Advantages of Advertising

Advertising plays an extremely important role in our society.Perhaps most obviously，it keeps us informed about the latest products and services，thus enabling us to buy intelligently.Advertising also has a positive impact on our economy，by providing funding for the media and stimulating competition among goods and service providers.In addition，advertising can be used to promote public welfare，thus exerting a positive social impact on society.

We as consumers benefit greatly from advertising.By reading bank ads，for example，we might decide to transfer our money from our current bank to one offering better rates or more convenient hours.When traveling，we can save hundreds of dollars on transcontinental airfares by comparing the ads in the travel section of the newspaper.

Advertising can also be used to increase awareness in society about particular issues，and in so doing，it becomes a form of education.Anti-drug advertising such as“Just say NO”，and drunk driving campaigns are just two examples of how society uses the advertising industry as a means to promote public welfare.

In addition to the social benefits，advertising also brings huge economic benefits to society.Without advertising，the media—including newspaper，television，radio，etc.—would be much less vigorous.Advertising provides revenue for commercial mediums which would otherwise need to be funded by the actual consumer of these mediums.Eor example，a newspaper would cost up to three times as much money（since advertising provides two-thirds of the revenue of the print media），or all television，bar government funded networks，would be pay-TV（since nearly all revenue for television is currently provided by advertising）.The price a consumer may have to pay to receive very cheap，or even free，news and entertainment may include sitting through a 30-second commercial break while watching a television program，or flicking a couple of extra pages in a magazine，to get through the advertisements to the articles.

Although advertising might appear to raise the prices of goods and services，a closer look will show that it actually helps to keep prices low.Advertising stimulates economic activity，with vigorous competition between institutions and higher buying rates of products.This，in turn，leads to lower product costs for the consumer.

（Adapted from article found at：http：∥www.essayworld.com/members/essays/30/4020.shtml）

NOTES

GEPT-Advanced Writing Test

Task 2

A local English newspaper has just printed some worrying statistics on the traffic accidents that occurred in the downtown area in June.The data are shown in Eigures 1 and 2 below.As a citizen，you would like to help improve the situation.

Write to the Opinion section of this local English newspaper：

·Eirstly，summarize what you think are themain findingsfrom the reported data and discuss the possible causes.

·Secondly，make suggestions about what can be done to reduce the number of accidents in the downtown area.Your report must be about250 words.You have45 minutesto complete Task 2.