張文星
(景德鎮(zhèn)陶瓷學(xué)院 人文社科學(xué)院,江西 景德鎮(zhèn)333001)
語料庫是指按照一定的語言學(xué)原則,運(yùn)用隨機(jī)抽樣方法,收集自然出現(xiàn)的連續(xù)的語言文本或話語片段而建成的具有一定容量的大型電子文庫。[1]語料庫的快速發(fā)展促成了語料庫語言學(xué)的建立。語料庫語言學(xué)的出現(xiàn)對語言研究產(chǎn)生了巨大影響,“毫不夸張地說,語料庫及語料庫研究在過去幾十年里給語言研究以及語言應(yīng)用研究帶來了一場革命性的變化”。[2]此外,語料庫還廣泛應(yīng)用于機(jī)器翻譯、自然語言處理和語言教學(xué)研究等領(lǐng)域。語料庫應(yīng)用于語言測試要追溯到上世紀(jì)90年代,Al derson(1996)首先大膽構(gòu)想了語料庫在語言測試開發(fā)、選材、編寫、評分等各階段中的潛能。[3]新托??荚囎钜俗⒛康淖兓撬谜Z料取自于真實(shí)學(xué)術(shù)語言環(huán)境的語料庫。在我國,曾用強(qiáng)已設(shè)計(jì)出基于語料庫的中國學(xué)生英語詞匯能力診斷測試系統(tǒng)。[4]白雅利用CLEC(Chinese Learner English Corpus)語料庫和BNC語料庫對高考英語短文改錯(cuò)試題的真實(shí)性進(jìn)行了驗(yàn)證。[5]鄒申等以英語學(xué)習(xí)者語料庫(CEM)和BNC語料庫為參照,探討了語料庫在內(nèi)容效度驗(yàn)證中的功能。[6]本文從語料庫應(yīng)用于語言測試的理論基礎(chǔ)出發(fā),探討語料庫在英語語言測試中的具體應(yīng)用。
上世紀(jì)90年代中后期,學(xué)者們才開始嘗試在語言測試中運(yùn)用語料庫,雖起步較晚,但這兩者的結(jié)合不是偶然的,它們的理論基礎(chǔ)存在一些關(guān)聯(lián)和交叉。
目前已經(jīng)發(fā)展到第四代語料庫——Web多媒體或多模態(tài)語料庫。語料庫根據(jù)研究目的和用途的不同可以有不同的分類的不同。不管語料庫如何分類,它們都需具備一些共同特征:(1)語料庫中存放的語言材料在語言實(shí)際使用中真實(shí)出現(xiàn)過。語料庫中的語料來自生活中的自然語言,其容量遠(yuǎn)遠(yuǎn)超過以往傳統(tǒng)方法收集的有限語料,涉及到了自然語言的方方面面,這無疑確保了它的真實(shí)性和可靠性。(2)語料庫是承載語言知識的基礎(chǔ)資源,但并不等于語言知識。語料庫只是一種載體,不等于語言知識本身。(3)要想成為有用的資源,研究者需要對語料進(jìn)行分析和加工處理。自然語言經(jīng)過收集之后還不能算是“真正”的語料庫語料,它還要經(jīng)過分析和處理,才能用于研究。不同的語料庫可能采取不同的標(biāo)注賦碼工具,旨在降低標(biāo)注錯(cuò)誤率。如今第四代Web或多模態(tài)語料庫以互聯(lián)網(wǎng)為基礎(chǔ),能更便捷地提供人們所需的語料,同時(shí)能及時(shí)補(bǔ)充糾正和更新升級語料,做到與時(shí)俱進(jìn)。
語言測試從語言學(xué)、語言教學(xué)法和學(xué)習(xí)論取得科學(xué)內(nèi)容,從心理測量學(xué)獲得科學(xué)手段,語言測試是一門跨學(xué)科的綜合性科學(xué)。[7]當(dāng)今社會催生出各種各樣的測試。語言測試有其目的和要求。Henning指出語言測試有多少種目的,就有多少種測試類別。[8]語言測試主要用途有:(1)評估教學(xué)的實(shí)際效果,并為改進(jìn)教學(xué)中的問題提供參考。(2)為選拔人才提供依據(jù)。對于各種有關(guān)人的語言能力的假說,需要實(shí)證性數(shù)據(jù)的證實(shí),語言測試在這方面可以為語言研究提供信息,發(fā)揮重要作用。(3)語言測試研究能夠?yàn)榈诙Z言習(xí)得研究提供更為可靠而有效的方法和手段。傳統(tǒng)語言測試主要關(guān)注考試的信度和效度。信度是考試分?jǐn)?shù)質(zhì)量指標(biāo),一個(gè)完全可靠的分?jǐn)?shù)應(yīng)該沒有任何測量誤差。按照美國心理測量協(xié)會1985年的定義,效度是指根據(jù)考試分?jǐn)?shù)所做出的推測或決策的有意義、適當(dāng)、有用的程度,也就是必須要保證考試只測量了該能力,幾乎不測量任何其它的東西。
由此可見,語料庫與語言測試所具有的共性有:
(1)現(xiàn)代語料庫容量超大,時(shí)效性較強(qiáng)。如此之大的語料來源(書面語料庫和口語語料庫),可以為不同規(guī)模、要求和目的的語言測試服務(wù)。加之,語料庫是自然語言零零總總的集合,能夠保證語言測試最大限度的真實(shí)性。
(2)語言研究者通過對語料庫中語言現(xiàn)象的分析研究,可以驗(yàn)證二語習(xí)得發(fā)展過程中共有的規(guī)律,可以合理定位被測試者的外語水平,這些信息經(jīng)反饋傳達(dá)到語言測試設(shè)計(jì)開發(fā)者那里,為他們的素材選擇提供了指導(dǎo),能較大程度地保證合理的考試效度。
(3)語料庫的構(gòu)建是基于語言學(xué)理論上的,反過來這些理論要求也同樣適用于語言測試。同時(shí)語料庫的發(fā)展也將帶動語言測試的發(fā)展,因?yàn)檎Z料庫或多或少能糾正和升級所儲存的語料內(nèi)容,而這又為語言測試的設(shè)計(jì)開發(fā)和評估量表等制作打下了基礎(chǔ)。
語料庫研究方法在語言研究和自然語言處理等領(lǐng)域的成果較多,因此語料庫運(yùn)用到語言測試的成果也逐漸豐富。
語料庫在測試開發(fā)的各階段都發(fā)揮著較大作用,尤其在試題的選材、編寫和校對方面可以為命題人員提供重要信息。[3]在試題選材上,傳統(tǒng)做法是以教材為依據(jù)并以之前的考試資源為參照,設(shè)計(jì)者憑直覺和經(jīng)驗(yàn)再做些修改或補(bǔ)充,由此造成某些試題項(xiàng)以訛傳訛。這樣做有個(gè)很大的弊端就是所測的語言知識可能是設(shè)計(jì)者杜撰的,跟自然語言使用或是語境脫節(jié),使測試效度受到損害,因?yàn)樵囶}的代表性和真實(shí)性是試題效度的重要保障。而語料庫的出現(xiàn)為試題開發(fā)設(shè)計(jì)者提供了便利,他們可以通過語料庫的各種檢索快速地找到本試題所需要的真實(shí)語料(書面的或是口語的)。中國英語語言測試專家更要注意使用各種學(xué)習(xí)者語料庫,因?yàn)樗鼈兡茏屧O(shè)計(jì)者了解掌握學(xué)習(xí)者在二語習(xí)得過程中的難點(diǎn)和規(guī)律,這些重要信息在試題中都應(yīng)有體現(xiàn)。此外,語料庫不能自動生成試題,所以設(shè)計(jì)者還應(yīng)會使用語料庫輔助工具,來幫助設(shè)計(jì)基于語料庫的篇章和句子層面的語言測試。
詞匯大綱的概念最初由Sinclair和Renouf提出,并由Willis給予了大綱性的論述。Willis認(rèn)為詞匯大綱應(yīng)該注重以下幾點(diǎn):(1)語言的最基本詞形;(2)詞的中心用法;(3)詞的最典型搭配。[9]考試大綱詞匯表的作用不容置疑,它能指導(dǎo)試題開發(fā)者了解大綱內(nèi)詞匯和大綱外詞匯,而以前的詞匯表大多由相關(guān)領(lǐng)域?qū)<腋鶕?jù)自己的知識經(jīng)驗(yàn)制訂,帶有較大的主觀性和隨意性,不能反映以上詞匯大綱的三個(gè)重點(diǎn)內(nèi)容。而依據(jù)語料庫制訂的考試大綱詞匯表更加客觀和可信,如Ball(2002)制訂的商業(yè)英語考試詞匯表。此外,研究者還可以根據(jù)自身需要選擇語料庫來制訂考試詞匯大綱表,如通過本族語語料庫和學(xué)習(xí)者語料庫來制訂考研英語詞匯表。
自動評分技術(shù)的研究始于上世紀(jì)60年代。近幾十年來,隨著計(jì)算機(jī)硬件和軟件性能的快速提高,自然語言處理等技術(shù)獲得了長足的發(fā)展,國外一批作文自動評分系統(tǒng)相繼問世。如第一套作文自動評分系統(tǒng)PEG(Project Essay Grader)于1966年由美國杜克大學(xué)的Ellis Page等人開發(fā);基于潛在語義分析的IEA(Intelligent Essay Assessor)由美國科羅拉多大學(xué)的Tho mas Landauer等學(xué)者開發(fā);由美國教育考試服務(wù)中心(ETS)開發(fā)旨在評估GMAT考試作文質(zhì)量的E-rater。[10]自動評分系統(tǒng)的原理是在對已進(jìn)行過人工評分的大量樣本的分析基礎(chǔ)之上,找出可參照的語言特點(diǎn),然后對其它作文評分。[3]現(xiàn)階段,自動評分系統(tǒng)主要應(yīng)用在寫作部分,英語作文自動評分已在TOFEL和GRE考試評閱中使用。
在我國,自動評分技術(shù)研究取得了一定的突破,正逐漸縮短與英美國家的距離。梁茂成(2012)設(shè)計(jì)的自動評分系統(tǒng)的評分信度最高達(dá)到r=0.83以上,作文評分系統(tǒng)的評分結(jié)果與人工評分的結(jié)果之間的吻合率高于ETS的E-rater,表明所設(shè)計(jì)的英語作文自動評分系統(tǒng)已達(dá)到可操作水平。同時(shí),英漢互譯自動評分系統(tǒng)的研發(fā)也取得了一定進(jìn)步,秦穎和文秋芳探討了在理論論證基礎(chǔ)上如何借助NLP技術(shù)實(shí)現(xiàn)自動評分,并構(gòu)建了學(xué)習(xí)者譯文評分的理論框架,嘗試和對比了n-gram模型,擴(kuò)展了ngra m模型和線性回歸模型。[11]自動評分系統(tǒng)開始涉及到傳統(tǒng)意義上的主觀題型,隨著技術(shù)的逐漸成熟和系統(tǒng)的逐步完善,考試自動評分規(guī)?;溉湛纱?。但是,自動評分系統(tǒng)的研發(fā)離不開各種語料庫的使用,因?yàn)檎Z料庫中儲存了歷年考生的試題和答案,因而系統(tǒng)開發(fā)者要利用其進(jìn)行試卷間的任務(wù)類型、難度、考生答題表現(xiàn)等諸方面的比較分析,以及與系統(tǒng)所用算法進(jìn)行匹配。
語料庫語言學(xué)的學(xué)科體系日漸成熟,語料庫方法也廣泛應(yīng)用于語言研究、語言教學(xué)研究和機(jī)器翻譯等領(lǐng)域。同時(shí),在國外,語料庫在語言測試中的應(yīng)用研究方興未艾,國內(nèi)的相關(guān)研究也已起步。語言測試設(shè)計(jì)者們已把語料庫作為試題開發(fā)和試題研究的重要手段和工具。語料庫的三大優(yōu)點(diǎn)可以使設(shè)計(jì)的試題內(nèi)容更加接近自然語言使用情況,更加真實(shí)可靠。基于語料庫的各種自動評分系統(tǒng)逐步得到完善,同時(shí)口語自動評分系統(tǒng)的開發(fā)潛力巨大。總之,語料庫在語言測試研究和開發(fā)中的作用不容小視,語言測試研究者們應(yīng)掌握相關(guān)技術(shù),積極運(yùn)用語料庫來改進(jìn)和完善我國的英語語言測試。
[1] 楊惠中.語料庫語言學(xué)導(dǎo)論[M].上海:上海外語教育出版社,2002:33.
[2] Hunston,S.Corpora in Applied Linguistics[M].Cambridge:Cambridge University Press,2002:15.
[3] 孔 文,鄒 申.語料庫在語言測試中的應(yīng)用[J].外語電化教學(xué),2007(4):47-51.
[4] 楊惠中,衛(wèi)乃興.中國學(xué)習(xí)者英語口語語料庫建設(shè)與研究[M].上海:上海外語教育出版社,2005.
[5] 白 雅.基于語料庫方法的高考短文改錯(cuò)的真實(shí)性研究[D].廣東外語外貿(mào)大學(xué),2005:6.
[6] 鄒 申,楊任明.語料庫在試題設(shè)計(jì)和驗(yàn)證中的應(yīng)用研究[J].外語電化教學(xué),2008(5):10-15.
[7] 楊惠中.語言測試與語言教學(xué)[J].外語界,1999(1):16.
[8] Henning,G.A Guide to Language Testing:Developing,Evaluation,Research[M].New Yor k:Newburg House,1987.
[9] 權(quán)立宏.Power GREP在外語詞匯教學(xué)中的應(yīng)用——以數(shù)據(jù)驅(qū)動學(xué)習(xí)為理念[J].山東外語教學(xué),2010(1):31-36.
[10]梁茂成.大規(guī)模考試英語作文的自動評分系統(tǒng)的研制[M].北京:高等教育出版社,2012:6.
[11]秦 穎,文秋芳.大規(guī)??荚囉h互譯的自動評分系統(tǒng)的研發(fā)與應(yīng)用[M].北京:高等教育出版社,2012:14-18.