鄒紹艷

(1.上海交通大學(xué) 外國(guó)語(yǔ)學(xué)院，上海 200240；2.青島農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，山東 青島 266109)

?

語(yǔ)料庫(kù)在語(yǔ)言測(cè)試中的應(yīng)用：回顧與反思*

鄒紹艷1,2

(1.上海交通大學(xué) 外國(guó)語(yǔ)學(xué)院，上海 200240；2.青島農(nóng)業(yè)大學(xué) 外國(guó)語(yǔ)學(xué)院，山東 青島 266109)

近年來(lái)，語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用得到廣泛認(rèn)可，其應(yīng)用潛力和前景也備受關(guān)注。本文首先回顧并梳理了語(yǔ)料庫(kù)在國(guó)際語(yǔ)言測(cè)試領(lǐng)域四個(gè)方面的應(yīng)用：考試開(kāi)發(fā)、考試效度驗(yàn)證、自動(dòng)評(píng)分系統(tǒng)、語(yǔ)言能力量表構(gòu)建，然后對(duì)語(yǔ)料庫(kù)在國(guó)內(nèi)語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用情況進(jìn)行了反思，并以中國(guó)英語(yǔ)學(xué)習(xí)者寫(xiě)作能力量表的構(gòu)建為例，闡述了語(yǔ)料庫(kù)在構(gòu)建寫(xiě)作能力量表中的應(yīng)用。

語(yǔ)料庫(kù)；語(yǔ)言測(cè)試；中國(guó)英語(yǔ)學(xué)習(xí)者寫(xiě)作能力量表

一、引言

自20世紀(jì)60年代第一個(gè)計(jì)算機(jī)化的語(yǔ)料庫(kù)——Brown語(yǔ)料庫(kù)在美國(guó)問(wèn)世以來(lái)，語(yǔ)料庫(kù)作為一種新興的研究方法逐漸滲透到語(yǔ)言學(xué)研究的相關(guān)領(lǐng)域。20世紀(jì)90年代中期，隨著大型本族語(yǔ)者語(yǔ)料庫(kù)的建立(例如，英國(guó)國(guó)家語(yǔ)料庫(kù)British National Corpus，以下簡(jiǎn)稱(chēng)BNC和美國(guó)國(guó)家語(yǔ)料庫(kù)American National Corpus，以下簡(jiǎn)稱(chēng)ANC)，語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用前景開(kāi)始引起語(yǔ)言測(cè)試界的關(guān)注。 Alderson在1996年就預(yù)測(cè)了語(yǔ)料庫(kù)在語(yǔ)言測(cè)試中的一系列用途：設(shè)計(jì)考試題目、確立考試構(gòu)念、分?jǐn)?shù)評(píng)定與報(bào)道等等。[1]自此之后，語(yǔ)料庫(kù)開(kāi)始被頻繁地用于大規(guī)模標(biāo)準(zhǔn)化考試、整體性測(cè)評(píng)以及發(fā)展性測(cè)評(píng)中。2003年，在英國(guó)雷丁大學(xué)召開(kāi)的第26屆國(guó)際語(yǔ)言測(cè)試研究大會(huì)專(zhuān)門(mén)就語(yǔ)料庫(kù)和語(yǔ)言測(cè)試的關(guān)系成立了一個(gè)專(zhuān)題研討會(huì)，學(xué)者們分別聚焦本族語(yǔ)者語(yǔ)料庫(kù)和二語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)在寫(xiě)作測(cè)試、閱讀測(cè)試以及口語(yǔ)測(cè)試中的應(yīng)用，闡明語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用前景。[2]

當(dāng)前，我國(guó)正在調(diào)動(dòng)英語(yǔ)教學(xué)和測(cè)試各方面的資源制定中國(guó)英語(yǔ)能力等級(jí)量表(China Standards of English，簡(jiǎn)稱(chēng)CSE)。在這種背景下，我們重新回顧和反思語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用，不僅有助于豐富學(xué)界對(duì)這一領(lǐng)域研究現(xiàn)狀的認(rèn)識(shí)，也希望發(fā)現(xiàn)值得借鑒的經(jīng)驗(yàn)亦或可能存在的不足，進(jìn)而探索語(yǔ)料庫(kù)在構(gòu)建中國(guó)英語(yǔ)能力等級(jí)量表中的應(yīng)用前景。

二、語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用回顧

縱觀語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用，基本涉及以下幾個(gè)方面：第一、語(yǔ)料庫(kù)用于開(kāi)發(fā)、設(shè)計(jì)試題；第二、語(yǔ)料庫(kù)用于考試效度驗(yàn)證；第三、語(yǔ)料庫(kù)用于開(kāi)發(fā)自動(dòng)評(píng)分系統(tǒng)；第四、語(yǔ)料庫(kù)用于構(gòu)建語(yǔ)言能力量表。以下將結(jié)合語(yǔ)言測(cè)試領(lǐng)域的相關(guān)理論和研究，分別回顧與梳理語(yǔ)料庫(kù)在這四個(gè)方面的應(yīng)用情況。

(一)考試開(kāi)發(fā)

20世紀(jì)80年代中期以來(lái)，隨著交際語(yǔ)言能力理論在應(yīng)用語(yǔ)言學(xué)領(lǐng)域逐漸被接受并得到廣泛應(yīng)用，語(yǔ)言測(cè)試的模式也從傳統(tǒng)的分離式語(yǔ)言測(cè)試(discrete- point language test)轉(zhuǎn)向交際語(yǔ)言測(cè)試(communicative language test)。交際語(yǔ)言測(cè)試是一種行為測(cè)試，是在真實(shí)或接近真實(shí)的情景中通過(guò)完成實(shí)際的交際任務(wù)來(lái)測(cè)量考生運(yùn)用語(yǔ)言知識(shí)的能力。[3]可見(jiàn)，真實(shí)性、情景化是交際語(yǔ)言測(cè)試的關(guān)鍵。Bachman認(rèn)為，真實(shí)性就是語(yǔ)言測(cè)試任務(wù)特征和目標(biāo)語(yǔ)言使用特征之間的吻合程度，是根據(jù)語(yǔ)言測(cè)試的成績(jī)做出推斷的前提。[4]

語(yǔ)料庫(kù)研究方法的興起為提高語(yǔ)言測(cè)試的真實(shí)性提供了有效的解決途徑。20世紀(jì)90年代中期，除了本族語(yǔ)者語(yǔ)料庫(kù)之外，大型學(xué)習(xí)者語(yǔ)料庫(kù)(如CLC)以及一些學(xué)術(shù)英語(yǔ)語(yǔ)料庫(kù)(如Michigan Corpus of Academic Spoken English，簡(jiǎn)稱(chēng)MCASE；British Academic Written English corpus，簡(jiǎn)稱(chēng)BAWE語(yǔ)料庫(kù)，等)也相繼建立。這些語(yǔ)料庫(kù)的主要用途之一便是開(kāi)發(fā)與目標(biāo)語(yǔ)使用相一致的測(cè)試。[5]例如，CLC就是一個(gè)含有錯(cuò)誤標(biāo)注(error- tagged)、測(cè)試文本和學(xué)習(xí)者信息的語(yǔ)料庫(kù)，劍橋考試中心的測(cè)試設(shè)計(jì)者們利用該語(yǔ)料庫(kù)來(lái)設(shè)計(jì)和修訂考試。具體而言，測(cè)試開(kāi)發(fā)者可以借助語(yǔ)料庫(kù)了解本族語(yǔ)者在語(yǔ)言使用中的詞匯、語(yǔ)法特點(diǎn)，包括詞匯和短語(yǔ)的相對(duì)頻率、句式、搭配和類(lèi)聯(lián)接、語(yǔ)法結(jié)構(gòu)、程式化表達(dá)、詞序等。Park指出，考試的構(gòu)念(test construct)正是通過(guò)觀察這些特征而產(chǎn)生的。[5]

在語(yǔ)料庫(kù)用于考試開(kāi)發(fā)的研究方面，Sharpling報(bào)告了BAWE語(yǔ)料庫(kù)在設(shè)計(jì)Warwick英語(yǔ)測(cè)試的語(yǔ)法和語(yǔ)言使用部分試題中的應(yīng)用，他建議在計(jì)算機(jī)化考試和語(yǔ)料庫(kù)之間建立更加緊密的聯(lián)系，通過(guò)相互關(guān)聯(lián)的數(shù)據(jù)庫(kù)來(lái)輔助考試開(kāi)發(fā)。[6]Weir和Milanovic指出，在設(shè)計(jì)側(cè)重考核詞匯、語(yǔ)法的測(cè)試任務(wù)時(shí)(如多項(xiàng)選擇式的完形填空、句子轉(zhuǎn)換等)，可以利用語(yǔ)料庫(kù)設(shè)計(jì)真實(shí)的測(cè)試題目，以及潛在的干擾項(xiàng)。[7]Barker肯定了語(yǔ)料庫(kù)對(duì)于提高語(yǔ)言測(cè)試真實(shí)性的作用，他認(rèn)為本族語(yǔ)者語(yǔ)料庫(kù)和學(xué)習(xí)者語(yǔ)料庫(kù)的建立，使得語(yǔ)言測(cè)試的設(shè)計(jì)者們能夠根據(jù)更加真實(shí)的語(yǔ)言和文本來(lái)設(shè)計(jì)測(cè)試任務(wù)，而且在設(shè)計(jì)任務(wù)時(shí)能夠更直接地定位到與目標(biāo)受試者最為相關(guān)的語(yǔ)言使用。[8]劍橋大學(xué)出版社的官方網(wǎng)站上提供了語(yǔ)料庫(kù)使用的諸多案例，其中一例便是學(xué)習(xí)者語(yǔ)料庫(kù)有助于甄別處于某種水平的學(xué)習(xí)者易犯的典型錯(cuò)誤，使得這一受試群體的測(cè)試題目或測(cè)試任務(wù)設(shè)計(jì)更有針對(duì)性。

Park總結(jié)了語(yǔ)料庫(kù)在開(kāi)發(fā)、設(shè)計(jì)試題中的應(yīng)用，即語(yǔ)言測(cè)試的設(shè)計(jì)者們可以根據(jù)本族語(yǔ)者語(yǔ)料庫(kù)或?qū)W習(xí)者語(yǔ)料庫(kù)中包含的豐富信息，如詞匯、語(yǔ)法、搭配、句式、程式化表達(dá)等等開(kāi)發(fā)和設(shè)計(jì)語(yǔ)言測(cè)試，而且正是通過(guò)觀察語(yǔ)料庫(kù)中的這些信息，語(yǔ)言測(cè)試的構(gòu)念才能得以確立。[5]總之，正如鄒申等人所言，在設(shè)計(jì)與編制試題方面，語(yǔ)料庫(kù)可以為我們提供真實(shí)的、可供參考的語(yǔ)料，為制定決策提供客觀的數(shù)據(jù)。[9]

(二)考試效度驗(yàn)證

效度是語(yǔ)言測(cè)試最重要的屬性，[4]也是語(yǔ)言測(cè)試的基本出發(fā)點(diǎn)。效度研究貫穿于考試的整個(gè)過(guò)程:即從開(kāi)發(fā)到驗(yàn)證其有效性，具體包括：語(yǔ)言能力構(gòu)念的界定、測(cè)試任務(wù)的設(shè)計(jì)(如何實(shí)現(xiàn)其真實(shí)性和交互性)、評(píng)分標(biāo)準(zhǔn)的制定(如何保證其科學(xué)性和可行性)、評(píng)分信度(如何實(shí)現(xiàn)評(píng)分員之間或自身的一致性)、考試分?jǐn)?shù)的解釋和使用等等。[4]Alderson(1996)曾指出，語(yǔ)料庫(kù)的應(yīng)用可以提高考試的內(nèi)容效度，因?yàn)闇y(cè)試材料選自真實(shí)語(yǔ)言文本，具有自然語(yǔ)言特征。[1]繼Alderson之后，Hawkey和Barker也指出，語(yǔ)料庫(kù)用于語(yǔ)言測(cè)試的效度驗(yàn)證，主要優(yōu)勢(shì)在于語(yǔ)料庫(kù)的發(fā)現(xiàn)可以為效度檢驗(yàn)提供證據(jù)。[10]

美國(guó)教育考試服務(wù)中心(簡(jiǎn)稱(chēng)ETS)就是采用基于語(yǔ)料庫(kù)的方法來(lái)驗(yàn)證其旗下的TOEFL考試和GRE考試的效度。例如，為了檢驗(yàn)TOEFL 2000聽(tīng)力和閱讀測(cè)試中使用的文本是否代表真實(shí)的口語(yǔ)和學(xué)術(shù)語(yǔ)言使用，Biber等人建立了TOEFL 2000學(xué)術(shù)口語(yǔ)和書(shū)面語(yǔ)語(yǔ)料庫(kù)(T2K- SWAL)，并從語(yǔ)法、詞匯量、詞塊、詞匯分布等方面對(duì)該語(yǔ)料庫(kù)的文本進(jìn)行了語(yǔ)言分析，然后把分析的結(jié)果與課堂活動(dòng)中所用語(yǔ)言的特征進(jìn)行了對(duì)比，從而驗(yàn)證TOEFL 2000聽(tīng)力和口語(yǔ)測(cè)試的效度。[11]Biber還利用T2K- SWAL語(yǔ)料庫(kù)檢驗(yàn)了詞塊的用法，發(fā)現(xiàn)立場(chǎng)標(biāo)記詞塊(stance bundles)在課堂教學(xué)中的使用頻率遠(yuǎn)遠(yuǎn)高于在課本中的使用頻率，盡管這兩種語(yǔ)域在態(tài)度確定和目標(biāo)實(shí)現(xiàn)這兩方面都包含了豐富的信息，但是它們卻采用不同的會(huì)話來(lái)實(shí)現(xiàn)各自的目標(biāo)。[12]換言之，詞塊體現(xiàn)了一種語(yǔ)域的語(yǔ)言模式，因而對(duì)詞塊的分析有助于完整地描述學(xué)習(xí)者的語(yǔ)言和語(yǔ)言需要。根據(jù)這一發(fā)現(xiàn)，Biber建議在對(duì)TOEFL考試以及其它同類(lèi)考試進(jìn)行效度驗(yàn)證時(shí)，可開(kāi)展類(lèi)似的語(yǔ)料庫(kù)分析?？傊?，Taylor和Barker強(qiáng)調(diào)，可以定期地運(yùn)用學(xué)習(xí)者語(yǔ)料庫(kù)驗(yàn)證測(cè)試設(shè)計(jì)者對(duì)于語(yǔ)言特征以及不同水平等級(jí)的語(yǔ)言頻率的直覺(jué)判斷。[13]

(三)自動(dòng)評(píng)分系統(tǒng)

在語(yǔ)言測(cè)試領(lǐng)域，自動(dòng)評(píng)分系統(tǒng)主要用于口語(yǔ)和寫(xiě)作這兩種產(chǎn)出性語(yǔ)言能力的評(píng)分。最早利用語(yǔ)料庫(kù)開(kāi)展寫(xiě)作自動(dòng)評(píng)分系統(tǒng)的國(guó)家是美國(guó)。上世紀(jì)60年代，美國(guó)杜克大學(xué)的Ellis Page教授等人應(yīng)美國(guó)大學(xué)委員會(huì)的請(qǐng)求，開(kāi)發(fā)了Page Essay Grade(PEG)。PEG首先對(duì)一篇文章的可測(cè)量特征如長(zhǎng)度以及平均句長(zhǎng)等進(jìn)行多元回歸分析，然后基于人工評(píng)判的大量作文語(yǔ)料庫(kù)建立評(píng)分模型。[14]PEG的評(píng)分準(zhǔn)確率高，但該系統(tǒng)使用的文本特征都是與語(yǔ)言的形式特征有關(guān)，對(duì)內(nèi)容、組織、體裁等語(yǔ)義方面的信息卻束手無(wú)策。為了彌補(bǔ)這些不足，上世紀(jì)90年代，美國(guó)的ETS和Vantage learning又分別研制了E- rater和Intellimetric。這兩種評(píng)分系統(tǒng)同PEG一樣，也是基于人工評(píng)判的作文語(yǔ)料庫(kù)建立評(píng)分模型，但是包含了更多關(guān)于語(yǔ)義信息方面的元素，因此操作起來(lái)更加復(fù)雜。到本世紀(jì)初，由以上評(píng)分系統(tǒng)衍生的自動(dòng)評(píng)分軟件如My Access、Criterion等被先后開(kāi)發(fā)出來(lái)。除了提供總分之外，這些評(píng)分系統(tǒng)還針對(duì)寫(xiě)作的內(nèi)容、組織結(jié)構(gòu)、語(yǔ)體使用、詞匯和語(yǔ)法等方面提供單項(xiàng)分。不僅如此，這些評(píng)分系統(tǒng)還能提供詳略不等的個(gè)性化反饋。Park詳細(xì)介紹了現(xiàn)代化自動(dòng)評(píng)分系統(tǒng)(以下簡(jiǎn)稱(chēng) AES)的運(yùn)作：該系統(tǒng)通過(guò)測(cè)量作文中蘊(yùn)含的多種特征，并參考一個(gè)囊括結(jié)構(gòu)、銜接詞、錯(cuò)誤、詞匯和句法復(fù)雜度、篇章組織和展開(kāi)的特征集進(jìn)行評(píng)分。[5]在把特征集和相關(guān)理論應(yīng)用到實(shí)際評(píng)分的過(guò)程中，大多數(shù)AES系統(tǒng)都會(huì)啟用一個(gè)培訓(xùn)數(shù)據(jù)庫(kù)，即一個(gè)已經(jīng)被人工評(píng)閱的作文語(yǔ)料庫(kù)，該語(yǔ)料庫(kù)被設(shè)為最佳基準(zhǔn)，與人工評(píng)閱高度相關(guān)的特征被篩選出來(lái)收錄入特征集。

AES系統(tǒng)的設(shè)計(jì)初衷是節(jié)省成本、時(shí)間和人力，提高評(píng)分信度。但是，正如Park所言，AES系統(tǒng)究竟在多大程度上實(shí)現(xiàn)了這些目標(biāo)，尤其是在評(píng)判內(nèi)容和語(yǔ)言的說(shuō)服力方面，仍然不得而知。[5]有的學(xué)者指出，AES系統(tǒng)的使用導(dǎo)致寫(xiě)作從一種思辨型極強(qiáng)的創(chuàng)造性活動(dòng)降格為只追求表面特征和形式特征的活動(dòng)，這必然對(duì)學(xué)生的寫(xiě)作產(chǎn)生負(fù)面影響。[15]顯然，目前的AES技術(shù)還不足以仿效人工評(píng)閱，但是很多研究已經(jīng)表明在機(jī)器評(píng)分與人工評(píng)分之間的存在很高的相關(guān)關(guān)系，[16]說(shuō)明這方面的技術(shù)在不斷進(jìn)步。Warschauer和Ware認(rèn)為，隨著性能的提高，AES系統(tǒng)必將在語(yǔ)言測(cè)試領(lǐng)域大放異彩，廣泛應(yīng)用于評(píng)分員培訓(xùn)、交互性語(yǔ)言測(cè)試、以及展示學(xué)生的歷時(shí)語(yǔ)言表現(xiàn)等多個(gè)方面。[17]

(四)語(yǔ)言能力量表構(gòu)建

除上述三個(gè)方面的應(yīng)用之外，語(yǔ)料庫(kù)在語(yǔ)言測(cè)試中發(fā)揮的又一個(gè)重要作用便是對(duì)傳統(tǒng)的評(píng)分大綱進(jìn)行補(bǔ)充，對(duì)不同水平學(xué)習(xí)者的語(yǔ)言能力采用“能做”描述。Park曾指出，語(yǔ)料庫(kù)能夠幫助測(cè)試開(kāi)發(fā)者發(fā)現(xiàn)哪些語(yǔ)言特征是哪種水平的學(xué)習(xí)者所特有的。[5]例如，Hawkey和Barker通過(guò)對(duì)學(xué)習(xí)者語(yǔ)料庫(kù)進(jìn)行分析，篩選出不同水平學(xué)習(xí)者的寫(xiě)作特征，然后根據(jù)這些特征構(gòu)建了一個(gè)二語(yǔ)寫(xiě)作能力量表。[10]Granger和Thewissen利用一個(gè)包含錯(cuò)誤標(biāo)注的學(xué)習(xí)者語(yǔ)料庫(kù)展示了學(xué)習(xí)者的錯(cuò)誤如何與現(xiàn)有的評(píng)定標(biāo)準(zhǔn)(例如《歐洲語(yǔ)言共同參考框架》，簡(jiǎn)稱(chēng)《歐框》)進(jìn)行關(guān)聯(lián)，以便達(dá)到評(píng)估的目的。他們指出，如果人工評(píng)分員參考《歐框》對(duì)國(guó)際英語(yǔ)學(xué)習(xí)者語(yǔ)料庫(kù)(ICLE)中的某一部分進(jìn)行評(píng)分，就會(huì)標(biāo)識(shí)出與《歐框》的每個(gè)等級(jí)相吻合的錯(cuò)誤，這些錯(cuò)誤可以進(jìn)一步用于判斷一篇作文的錯(cuò)誤類(lèi)型以及錯(cuò)誤頻率。[18]Thewissen則更具體地實(shí)現(xiàn)了這一想法，他在語(yǔ)法錯(cuò)誤類(lèi)型與《歐框》具體的等級(jí)之間建立了關(guān)聯(lián)。[19]

在利用語(yǔ)料庫(kù)補(bǔ)充語(yǔ)言能力量表方面，歐洲理事會(huì)自2005年起開(kāi)展的EP項(xiàng)目(English Profile Program)備受矚目。該項(xiàng)目旨在利用CLC語(yǔ)料庫(kù)補(bǔ)充與完善《歐框》從A1級(jí)到C2級(jí)的描述語(yǔ)，彌補(bǔ)某些等級(jí)描述較為粗略、籠統(tǒng)的不足。Hawkins和 Buttery指出，EP項(xiàng)目引入的一個(gè)重要概念就是“判別性特征”(criterial features)，即與《歐框》的六個(gè)等級(jí)相對(duì)應(yīng)的語(yǔ)言特征。[20]具體而言，該項(xiàng)目旨在確立這些特征與學(xué)習(xí)者變量(如水平和母語(yǔ)背景)之間的相關(guān)關(guān)系，核心理念是我們可以期望低水平的學(xué)習(xí)者犯某種類(lèi)型的錯(cuò)誤或者表現(xiàn)出一些不太地道的語(yǔ)言使用特征(即消極特征)，而高水平的學(xué)習(xí)者表現(xiàn)出這些負(fù)面特征的頻率相對(duì)較少。另外，與低水平的學(xué)習(xí)者相比，高水平學(xué)習(xí)者的語(yǔ)言使用具有更加復(fù)雜的語(yǔ)言特征(即積極特征)。例如，新手寫(xiě)作者所產(chǎn)出的文本中很少會(huì)包含語(yǔ)法上比較復(fù)雜的結(jié)構(gòu)，如主從句、述謂結(jié)構(gòu)或者程式化表述以及搭配等等；而與之相反，高水平的學(xué)習(xí)者寫(xiě)出的文本包含的消極特征較少，除了復(fù)雜的語(yǔ)法和程式化表述、[21]更加恰當(dāng)?shù)膽?yīng)答標(biāo)記詞、[22][23]短語(yǔ)動(dòng)詞以外，[24]還有更多其它的積極特征。一旦確定某種判別性特征與特定的水平或等級(jí)相關(guān)聯(lián)，就可以采用更加客觀的描述語(yǔ)來(lái)補(bǔ)充傳統(tǒng)評(píng)分大綱的不足。

目前，盡管這種利用判別性特征來(lái)補(bǔ)充評(píng)分量表的做法的準(zhǔn)確性還有待于進(jìn)一步驗(yàn)證，但是與傳統(tǒng)的評(píng)分大綱相比，這種基于語(yǔ)料庫(kù)和語(yǔ)言學(xué)理論構(gòu)建的評(píng)分量表無(wú)疑為測(cè)試設(shè)計(jì)者以及測(cè)試的使用者提供了更多關(guān)于受試者語(yǔ)言使用的真實(shí)案例。

三、語(yǔ)料庫(kù)在中國(guó)語(yǔ)言測(cè)試領(lǐng)域的應(yīng)用反思

如前所述，語(yǔ)料庫(kù)在語(yǔ)言測(cè)試領(lǐng)域的用途廣泛。但是與國(guó)外研究取得的成果相比，目前中國(guó)學(xué)者對(duì)于語(yǔ)料庫(kù)在外語(yǔ)測(cè)試領(lǐng)域的應(yīng)用仍然缺乏足夠的認(rèn)識(shí)和重視。

首先，在考試設(shè)計(jì)方面，國(guó)內(nèi)幾乎沒(méi)有關(guān)于語(yǔ)料庫(kù)在該領(lǐng)域應(yīng)用的報(bào)道。一方面，可能由于大規(guī)?？荚嚨母唢L(fēng)險(xiǎn)與機(jī)密性，相關(guān)的研究人員無(wú)法獲取考試設(shè)計(jì)的相關(guān)信息；另一方面，盡管?chē)?guó)內(nèi)學(xué)者建立了一些學(xué)習(xí)者語(yǔ)料庫(kù)，但這些語(yǔ)料庫(kù)并沒(méi)有隨著時(shí)間的推移得到及時(shí)的更新與補(bǔ)充，因此在考試開(kāi)發(fā)方面的作用有待進(jìn)一步探索。例如，楊惠中等人2003年建成的中國(guó)學(xué)習(xí)者英語(yǔ)語(yǔ)料庫(kù)(Chinese Learner English Corpus，簡(jiǎn)稱(chēng)CLEC)和文秋芳等人2005年建立的英語(yǔ)專(zhuān)業(yè)學(xué)生口筆語(yǔ)語(yǔ)料庫(kù)(Spoken and Written English Corpus of Chinese Learners，SWECCL)的規(guī)模都較大，但是都已建立10年有余。在這10年中，自然科學(xué)領(lǐng)域、社會(huì)科學(xué)領(lǐng)域新的成果不斷涌現(xiàn)，網(wǎng)絡(luò)信息技術(shù)飛速發(fā)展，新的詞匯、新的術(shù)語(yǔ)源源不斷地補(bǔ)充到英語(yǔ)語(yǔ)言中，而且學(xué)習(xí)者的認(rèn)知能力和學(xué)習(xí)方式也發(fā)生了很大的變化，這一切都使得庫(kù)中語(yǔ)料的代表性受到挑戰(zhàn)。Park曾指出大規(guī)?？荚嚨脑O(shè)計(jì)者可以利用語(yǔ)料庫(kù)甄辨某種水平的學(xué)習(xí)者易犯的錯(cuò)誤，并對(duì)考試的難度進(jìn)行相應(yīng)的調(diào)整。[5]但如果語(yǔ)料的代表性不強(qiáng)，那么基于語(yǔ)料庫(kù)開(kāi)發(fā)的考試內(nèi)容的真實(shí)性也會(huì)因此受到威脅。

其次，國(guó)內(nèi)學(xué)者利用語(yǔ)料庫(kù)開(kāi)展考試效度研究的案例比較匱乏，即便開(kāi)展此類(lèi)研究，所用語(yǔ)料的代表性和相關(guān)性也不夠充分。例如，穆惠峰借助自建小型語(yǔ)料庫(kù)、SWECCL語(yǔ)料庫(kù)、以及BNC語(yǔ)料庫(kù)對(duì)大學(xué)英語(yǔ)四級(jí)考試完形填空題的內(nèi)容效度進(jìn)行了驗(yàn)證。[25]但SWECCL語(yǔ)料庫(kù)中的口、筆語(yǔ)語(yǔ)料均來(lái)自中國(guó)高校的英語(yǔ)專(zhuān)業(yè)學(xué)生，因此其在該研究中的相關(guān)性和代表性值得探討。中國(guó)的外語(yǔ)考試種類(lèi)繁多，而且規(guī)模較大，風(fēng)險(xiǎn)較高。在考試的效度驗(yàn)證方面，語(yǔ)料庫(kù)的作用仍有待進(jìn)一步挖掘和發(fā)揮。

再次，與國(guó)外研究相比，國(guó)內(nèi)學(xué)者在利用語(yǔ)料庫(kù)開(kāi)發(fā)自動(dòng)評(píng)分系統(tǒng)方面起步較晚，而且大都偏重于介紹和探討。例如，王金銓和文秋芳回顧了國(guó)內(nèi)外機(jī)器自動(dòng)評(píng)分系統(tǒng)的現(xiàn)狀、內(nèi)容和特點(diǎn)，并進(jìn)一步探討了現(xiàn)有的機(jī)器自動(dòng)評(píng)分技術(shù)對(duì)中國(guó)學(xué)生翻譯自動(dòng)評(píng)分系統(tǒng)開(kāi)發(fā)的啟示。[26]近年來(lái)，國(guó)內(nèi)學(xué)者在作文自動(dòng)評(píng)分系統(tǒng)的研發(fā)方面也取得了一定的成果。例如，梁茂成教授研制的大規(guī)模英語(yǔ)考試作文自動(dòng)評(píng)分系統(tǒng)(EFL Essay Evaluator，簡(jiǎn)稱(chēng)EEE)1.0，基于大量人工評(píng)判的中國(guó)大學(xué)生作文語(yǔ)料庫(kù)建立評(píng)分模型，從語(yǔ)言、內(nèi)容和組織結(jié)構(gòu)三個(gè)方面對(duì)作文進(jìn)行評(píng)價(jià)。還有基于網(wǎng)絡(luò)的作文批改系統(tǒng)(如句酷作文批改網(wǎng))，已經(jīng)在全國(guó)許多高校的大學(xué)英語(yǔ)教學(xué)中使用。但是，這些自動(dòng)作文批改系統(tǒng)在被廣泛應(yīng)用的同時(shí)，也飽受詬病。例如,蔣艷和馬武林指出，目前的自動(dòng)評(píng)分系統(tǒng)“只能從語(yǔ)言上判斷水平,不能從語(yǔ)義上判斷內(nèi)容,無(wú)法對(duì)作文內(nèi)容錯(cuò)誤進(jìn)行識(shí)別、部分語(yǔ)言錯(cuò)誤無(wú)法識(shí)別”。[27](P76)可能正是因?yàn)榇嬖谏鲜霰锥?，目前這種基于語(yǔ)料庫(kù)開(kāi)發(fā)的自動(dòng)評(píng)分系統(tǒng)尚未在國(guó)內(nèi)大規(guī)模外語(yǔ)考試中得以推廣和應(yīng)用。在未來(lái)的研究中，如能繼續(xù)改進(jìn)或完善語(yǔ)料庫(kù)在這一領(lǐng)域的應(yīng)用，必將極大地緩解大規(guī)?？荚囍腥斯ぴu(píng)分的壓力，節(jié)省閱卷的成本，提高評(píng)分的信度。

最后，在國(guó)內(nèi)，盡管有學(xué)者開(kāi)始倡導(dǎo)利用現(xiàn)有的語(yǔ)言能力量表對(duì)語(yǔ)料庫(kù)中的語(yǔ)料進(jìn)行分級(jí)，[28]但如何利用語(yǔ)料庫(kù)構(gòu)建語(yǔ)言能力量表仍未得到相應(yīng)的關(guān)注。目前，我國(guó)自主開(kāi)發(fā)的英語(yǔ)能力等級(jí)量表項(xiàng)目正在如火如荼地開(kāi)展進(jìn)行中。根據(jù)該項(xiàng)目負(fù)責(zé)人劉建達(dá)教授的介紹，CSE量表描述語(yǔ)的分級(jí)主要采用專(zhuān)家判斷、教師評(píng)定學(xué)生和學(xué)生自評(píng)的方式進(jìn)行，[29]這在很大程度上與《歐框》的構(gòu)建方法相吻合。盡管有了Rasch模型等先進(jìn)統(tǒng)計(jì)手段的支撐，這種“自上而下”(top- down)構(gòu)建量表的方法能夠比較科學(xué)地對(duì)不同來(lái)源的描述語(yǔ)進(jìn)行難度排序，但也存在一定的問(wèn)題。例如，Hustijin曾批判《歐框》制定過(guò)程中所采用的實(shí)證研究方法并非以二語(yǔ)學(xué)習(xí)者真實(shí)的數(shù)據(jù)為基礎(chǔ)，在很多情況下，教師不得不參照自己所教的某位學(xué)生的能力判斷描述語(yǔ)的難度，這在一定程度上影響了描述語(yǔ)判斷的客觀性。[30]鑒于此，我們建議在構(gòu)建中國(guó)英語(yǔ)能力等級(jí)量表的過(guò)程中充分發(fā)揮語(yǔ)料庫(kù)的作用，尤其是在量表的后期效度驗(yàn)證階段，可以利用語(yǔ)料庫(kù)對(duì)量表進(jìn)行自下而上(bottom- up)的效度檢驗(yàn)。以下就以中國(guó)英語(yǔ)學(xué)習(xí)者寫(xiě)作能力量表(以下簡(jiǎn)稱(chēng)寫(xiě)作能力量表)的開(kāi)發(fā)為例，具體闡述語(yǔ)料庫(kù)在量表開(kāi)發(fā)中的應(yīng)用。

四、語(yǔ)料庫(kù)在構(gòu)建中國(guó)英語(yǔ)學(xué)習(xí)者寫(xiě)作能力量表中的應(yīng)用

寫(xiě)作能力量表的構(gòu)建主要遵循CSE總的構(gòu)建方案，基于前期收集、整理的大量寫(xiě)作能力描述語(yǔ)，邀請(qǐng)專(zhuān)家、教師和學(xué)生對(duì)描述語(yǔ)的難度進(jìn)行判斷，從而實(shí)現(xiàn)描述語(yǔ)的分級(jí)驗(yàn)證。但是寫(xiě)作能力作為一種產(chǎn)出型語(yǔ)言能力，其獨(dú)特的優(yōu)勢(shì)在于大量可收集、可保存、可觀察的寫(xiě)作文本。而且我國(guó)學(xué)者已經(jīng)建立了一些大型的書(shū)面語(yǔ)語(yǔ)料庫(kù)(見(jiàn)表1)，我們應(yīng)該充分利用語(yǔ)料庫(kù)提供的信息，彌補(bǔ)專(zhuān)家和教師判斷過(guò)程中可能出現(xiàn)的主觀性過(guò)強(qiáng)的問(wèn)題，從而對(duì)量表進(jìn)行補(bǔ)充和完善。具體方案如下：

表1 我國(guó)學(xué)者建立的漢語(yǔ)為母語(yǔ)的英語(yǔ)學(xué)習(xí)者書(shū)面語(yǔ)語(yǔ)料庫(kù)

首先，從表1可以看出，目前我國(guó)學(xué)者建立的書(shū)面語(yǔ)語(yǔ)料庫(kù)主要源自大學(xué)階段的英語(yǔ)寫(xiě)作文本。低端(如小學(xué)和初中)和高端(英語(yǔ)專(zhuān)業(yè)碩士、博士和高翻人才)學(xué)習(xí)者的語(yǔ)料庫(kù)比較稀缺，因此建議相關(guān)研究人員或機(jī)構(gòu)廣泛收集這兩個(gè)群體的寫(xiě)作語(yǔ)料，建立高、低端英語(yǔ)學(xué)習(xí)者的寫(xiě)作語(yǔ)料庫(kù)，使得各個(gè)英語(yǔ)學(xué)習(xí)階段的寫(xiě)作語(yǔ)料庫(kù)互相銜接，形成“一條龍”。對(duì)于已經(jīng)建成的語(yǔ)料庫(kù)，可以利用近年來(lái)大規(guī)模考試的寫(xiě)作文本或?qū)W生的日常習(xí)作對(duì)庫(kù)中的語(yǔ)料進(jìn)行補(bǔ)充和完善，使得庫(kù)中的語(yǔ)料更具代表性。

其次，在對(duì)語(yǔ)料庫(kù)進(jìn)行補(bǔ)充和完善之后，需要重新審核和修訂庫(kù)中語(yǔ)料的分級(jí)。王麗和張立英介紹了四種不同的語(yǔ)料庫(kù)分級(jí)方法：學(xué)習(xí)者背景、教師判斷、測(cè)試成績(jī)以及量表等級(jí)。[28]第一種方法需要考慮學(xué)習(xí)者學(xué)習(xí)目標(biāo)語(yǔ)的時(shí)間以及受教育的程度；第二種方法一般是教師對(duì)學(xué)生水平或?qū)W生作文進(jìn)行判斷，劃分不同的等級(jí)水平；第三種方法是根據(jù)學(xué)生在標(biāo)準(zhǔn)化考試中的成績(jī)進(jìn)行分級(jí)；第四種方法是在語(yǔ)料庫(kù)和比較知名的語(yǔ)言能力量表(如《歐框》)之間建立對(duì)接，根據(jù)量表的等級(jí)劃分語(yǔ)料庫(kù)的等級(jí)。由于我國(guó)目前尚未建成符合我國(guó)英語(yǔ)學(xué)習(xí)者特點(diǎn)的語(yǔ)言能力量表，所以第四種方法暫時(shí)無(wú)法采用。在構(gòu)建寫(xiě)作量表的過(guò)程中，我們可以綜合運(yùn)用前三種方法，對(duì)寫(xiě)作語(yǔ)料進(jìn)行初步分級(jí)。

再次，語(yǔ)料庫(kù)初步分級(jí)之后，可以利用相關(guān)的語(yǔ)料庫(kù)分析工具(如Wordsmith，Coh- metrix，Concordancer等)，并借助先進(jìn)的統(tǒng)計(jì)手段，對(duì)庫(kù)中不同水平的文本從詞匯、詞頻、搭配、銜接、句長(zhǎng)等方面進(jìn)行特征分析和對(duì)比。在這方面，我們可以參考?xì)W洲理事會(huì)EP項(xiàng)目的研究成果。例如，2012年由Hawkins教授和Filipovic教授主編、劍橋大學(xué)出版社出版的CriterialFeaturesinL2English這本著作展現(xiàn)了英語(yǔ)學(xué)習(xí)者的語(yǔ)法特征。另外，劍橋大學(xué)出版社的官方網(wǎng)站上也在EnglishProfileJournal這本電子期刊上定期刊載該項(xiàng)目最新的研究動(dòng)態(tài)和成果，這些研究采用的工具和方法值得我們學(xué)習(xí)和借鑒。

最后，根據(jù)語(yǔ)料庫(kù)分析提取的文本特征或做出的發(fā)現(xiàn)對(duì)前期通過(guò)“自上而下”的方法初步構(gòu)建的寫(xiě)作能力量表進(jìn)行效度驗(yàn)證，并在此基礎(chǔ)上補(bǔ)充、修改和完善量表，使得量表的等級(jí)劃分更加科學(xué)，語(yǔ)言能力描述更加細(xì)致、具體。當(dāng)然，在寫(xiě)作能力量表建成之后，也可以反過(guò)來(lái)用其驗(yàn)證語(yǔ)料庫(kù)的分級(jí)。量表和語(yǔ)料庫(kù)相互驗(yàn)證、互相補(bǔ)充，共同服務(wù)于我國(guó)的外語(yǔ)教學(xué)和測(cè)試。

五、結(jié)語(yǔ)

在大數(shù)據(jù)時(shí)代，語(yǔ)料庫(kù)提供的豐富信息無(wú)疑是其他研究方法無(wú)法比擬的。但是，語(yǔ)料庫(kù)的補(bǔ)充、完善和修訂如同CSE量表的構(gòu)建一樣，需要語(yǔ)言教學(xué)部門(mén)、測(cè)試機(jī)構(gòu)、專(zhuān)業(yè)技術(shù)人員以及教育管理部門(mén)的通力合作。在構(gòu)建CSE的過(guò)程中，我們需要綜合運(yùn)用不同來(lái)源的證據(jù)，例如理論上的證據(jù)、專(zhuān)家和教師以及學(xué)習(xí)者評(píng)判情況的證據(jù)、語(yǔ)料庫(kù)分析的證據(jù)。唯有如此，量表的效度才能得到充分驗(yàn)證，開(kāi)發(fā)出來(lái)的量表才能既有相關(guān)理論支持，又能反映我國(guó)英語(yǔ)學(xué)習(xí)者的特點(diǎn)和規(guī)律，從而更好地服務(wù)于中國(guó)的英語(yǔ)教學(xué)、學(xué)習(xí)和測(cè)試。

[1] Alderson，J. C. Do corpora have a role in language assessment?[A]//Usingcorporaforlanguageresearch. London：Longman，1996：248- 259.

[2] Taylor，L.，Thompson，P.，McCarthy，M. & Barker，F(xiàn). Exploring the relationship between language corpora and language testing. In Symposium at 25th Language Testing Research Colloquium， Reading，UK，2003: 22- 25.

[3] Carroll，B. J. & Hall，P. J.MakeyourownlanguageTests：APracticalGuidetoWritingLanguagePerformanceTests[M]. Oxford：Pergamon Press，1985.

[4] Bachman，L. F.FundamentalConsiderationsinLanguageTesting[M]. Oxford： Oxford University Press， 1990.

[5] Park，K. Corpora and language assessment：the state of the art[J].LanguageAssessmentQuarterly，2014，(11)：27- 44.

[6] Sharpling，G. P. When BAWE meets WELT：the use of a corpus of student writing to develop items for a proficiency test in grammar and English usage[J].JournalofWritingResearch，2010，(2)：175- 189.

[7] Weir，C. & Milanovic，M.ContinuityandInnovation：RevisingtheCambridgeProficiencyinEnglishExamination1913- 2002(StudiesinLanguageTesting，Volume15)[M]. Cambridge：UCLES/Cambridge University Press，2003.

[8] Barker，F(xiàn). Using Corpora in Language Testing：Research and validation of language tests[J].ModernEnglishTeacher，2004，(13)：63- 67.

[9] 鄒申，楊任明.語(yǔ)料庫(kù)在試題設(shè)計(jì)和驗(yàn)證中的應(yīng)用研究[J].外語(yǔ)電化教學(xué)，2008，(5)：10- 15.

[10] Hawkey，R. & Barker，F(xiàn). Developing a common scale for the assessment of writing[J].AssessingWriting，2004，(9)：122- 159.

[11] Biber，D.，Conrad，S.，Reppen，R.，Byrd，P.，Helt，M.，Clark，V.，Cortes, V.，Csomay，E. & Urzua，A.RepresentingLanguageUseintheUniversity：AnalysisoftheTOEFL2000SpokenandWrittenAcademicLanguageCorpus，report Number：RM- 04- 03. Educational Testing Service，Princeton，NJ，2004.

[12] Biber，D.UniversityLanguage：ACorpus-basedStudyofSpokenandWrittenRegisters[M]. Amsterdam：John Benjamins，2006.

[13] Taylor，L. & Barker，F(xiàn). Using corpora for language assessment [A]//EncyclopediaofLanguageandEducation. New York：Springer Science+Business Media，LLC，2008：241- 254.

[14] 唐錦蘭，吳一安.在線英語(yǔ)寫(xiě)作自動(dòng)評(píng)價(jià)系統(tǒng)應(yīng)用研究述評(píng)[J].外語(yǔ)教學(xué)與研究，2011，(2)：273- 282.

[15] Ericsson，P. F. & Haswell，R. H.Machinescoringofstudentessays：Truthandconsequences[C]. Logan：Utah State University Press，2006.

[16] Attali, Y. & Burstein, J. Automated essay scoring with e- rater?v. 2[J].TheJournalofTechnology,LearningandAssessment, 2006,4(3)： 3- 30.

[17] Warschauer, M. & Ware, P. Automated writing evaluation: Defining the classroom research agenda[J].LanguageTeachingResearch, 2006，(10)： 157- 180.

[18] Granger，S. & Thewissen，J. The contribution of error- tagged learner corpora to the assessment of language proficiency[A]. Paper presented at the 27th language testing research colloquium. Ottawa，Canada，2005.

[19] Thewissen，J. The phraseological errors of French- ，German- and Spanish- speaking EFL learners：Evidence from an error- tagged learner corpus[A]//Proceedingsfromthe8thteachingandlanguagecorporaconference. Lisbon，Portugal：Associa??o de Estudos e de Investigo??o Científica do ISLA- Lisboa，2008: 300- 306.

[20] Hawkins，J. A. & Buttery，P. Criterial features in learner corpora：Theory and illustrations[J].EnglishProfileJournal，2010，(1)：e5.

[21] McCarthy，M. Spoken fluency revisited[J].EnglishProfileJournal，2010，(1)： e4.

[22] Farr，F(xiàn). Engaged listenership in spoken academic discourse：The case of student- tutor meetings[J].JournalofEnglishforAcademicPurposes，2003，(2)：67- 85.

[23] McCarthy，M. Good listenership made plain： British and American non- minimal response tokens in everyday conversation[A]//UsingCorporatoExploreLinguisticVariation. Amsterdam：John Benjamins，2002：49- 71.

[24] Negishi，M.，Tono，Y. & Fujita，Y. A validation study of the CEFR levels of phrasal verbs in the English vocabulary profile[J].EnglishProfileJournal，2012，(3)：e3.

[25] 穆惠峰.基于語(yǔ)料庫(kù)的大學(xué)英語(yǔ)四級(jí)完型填空測(cè)試內(nèi)容效度驗(yàn)證研究 [J].外語(yǔ)電化教學(xué)，2011，(4)：66- 70.

[26] 王金銓?zhuān)那锓?國(guó)內(nèi)外機(jī)器自動(dòng)評(píng)分系統(tǒng)評(píng)述——兼論對(duì)中國(guó)學(xué)生翻譯自動(dòng)評(píng)分系統(tǒng)的啟示[J].外語(yǔ)界，2010，(1)：75- 81，91.

[27] 蔣艷，馬武林.中國(guó)英語(yǔ)寫(xiě)作教學(xué)智能導(dǎo)師系統(tǒng):成就與挑戰(zhàn)——以句酷批改網(wǎng)為例[J].電化教育研究， 2013,(7)：76- 81.

[28] 王麗，張立英.學(xué)習(xí)者語(yǔ)料庫(kù)分級(jí)方法研究:反思與啟迪[J].中國(guó)海洋大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版)，2016，(2)：107- 113.

[29] 劉建達(dá).我國(guó)英語(yǔ)能力等級(jí)量表研制的基本思路.中國(guó)考試，2015，(1)：7- 11.

[30] Hulstijn，J. H. The shaky ground beneath the CEFR: Quantitative and qualitative dimensions of language Proficiency1. The Modern Language Journal，2007，(4)：663- 667.

責(zé)任編輯：周延云

The Application of Corpora in Language Assessment——Review and Reflection

Zou Shaoyan1,2

(1. College of Foreign Languages, Shanghai Jiao Tong University, Shanghai 200240;2. College of Foreign Languages, Qingdao Agricultural University, Qingdao 266109, China)

The application of corpora in language assessment has gained wide recognition in recent years and the potential and prospects of its application have been attracting increasing attention as well. Situated in such a context, this research firstly reviewed and combed the application of corpora in the four areas of language assessment: developing and designing test items, validating tests, scoring essays and constructing rating scales. Based on the review, the research reflected the use of corpora in language assessment in China and further elaborated its potential use in developing the writing scales of China Standards of English. writing scales.

Corpora; Language assessment; the Writing Scales of China Standards of English

2016-09-09

教育部哲學(xué)社會(huì)科學(xué)研究重大課題攻關(guān)項(xiàng)目--中國(guó)英語(yǔ)能力等級(jí)量表建設(shè)研究(15JZD049)

鄒紹艷(1979- )，女，山東青島人，上海交通大學(xué)外國(guó)語(yǔ)學(xué)院在讀博士，青島農(nóng)業(yè)大學(xué)外國(guó)語(yǔ)學(xué)院講師，主要從事語(yǔ)言測(cè)試和外語(yǔ)教學(xué)研究。

H05

A

1672-335X(2016)06-0109-06