王聰穎

摘 要：Bachman L.F.和Palmer A.S.都是響譽(yù)世界的當(dāng)代應(yīng)用語言學(xué)專家和語言測試專家，二人在語言學(xué)領(lǐng)域成績斐然?！墩Z言測評實(shí)踐——現(xiàn)實(shí)世界中的測試開發(fā)與使用論證》是二人合作的又一全新力作，是語言測試領(lǐng)域最新、最前沿成果之一。在該書中，作者提出測試使用論證（AUA）這一新概念，并以此為框架，對語言測試開發(fā)進(jìn)行論證，并制定了世界中語言測試開發(fā)的流程與規(guī)范，這對于指導(dǎo)語言測試開發(fā)具有重要意義，同時也將對語言測試領(lǐng)域產(chǎn)生深遠(yuǎn)的影響。

關(guān)鍵詞：語言測試；測試使用論證；述評

中圖分類號：H0 文獻(xiàn)標(biāo)識碼：A 文章編號：1673-2596（2017）08-0093-03

一、內(nèi)容概要

《語言測評實(shí)踐：現(xiàn)實(shí)世界中的測試開發(fā)與使用論證》這本書是2016年暑期我參加外語教學(xué)與研究出版社（以下簡稱“外研社”）舉辦的“外語教學(xué)中的測試與評估”研修班上獲得的。拿到這本書之后，我感覺如獲至寶。這本書是外研社推出的“全國高等學(xué)校外語教師叢書”系列叢書之一。本書的作者Lyle Bachman和Adrian Palmer都是蜚聲中外的應(yīng)用語言學(xué)專家，他們的測評思想獨(dú)到、影響深遠(yuǎn)。本書也是繼1990年出版的《語言測試要略》、1996年出版的《語言測試實(shí)踐》等書之后，Bachman本人在語言測試領(lǐng)域的又一力作，將對語言測試領(lǐng)域產(chǎn)生深遠(yuǎn)影響。

本書大體分為四個部分：第一部分是簡介，這部分獨(dú)立成章，主要介紹本書的目的、撰寫源由及語言測試的意義等。第二部分包括第二章至第五章。這部分重點(diǎn)闡釋語言測試開發(fā)與使用的理論基礎(chǔ)。第二章討論了語言測試開發(fā)和使用過程中的一些重要概念和議題，如語言測試（language assessment）的本質(zhì)等。本章還提出了本書的核心概念——測試使用論證（Assessment Use Argument），AUA框架的內(nèi)容貫穿語言測試?yán)碚摷軜?gòu)建構(gòu)及實(shí)際開發(fā)運(yùn)用整個過程，這是重中之重。第三部分是測試使用及論證，包括第六章到第十二章，這部分內(nèi)容涉及語言測試開發(fā)和使用的總體規(guī)劃、初步設(shè)計(jì)、構(gòu)建測試AUA框架、測試結(jié)果預(yù)期及評價(jià)反饋、語言測試產(chǎn)品使用及影響。第四部分從第十三章到二十一章，介紹如何在現(xiàn)實(shí)世界中進(jìn)行實(shí)際開發(fā)和使用測試產(chǎn)品，包括對現(xiàn)實(shí)世界的資源分析評估、設(shè)計(jì)方案的撰寫、測試任務(wù)的編制、考生作答記錄、測試藍(lán)圖的撰寫、測試指令的撰寫、試測及改進(jìn)、測試開發(fā)及實(shí)施資源的調(diào)度等方面。

二、語言測試和語言能力

什么是“語言測試”？任何術(shù)語的使用都要有特定的背景和條件，語言測試也不例外。關(guān)于“語言測試”這個概念，作者采用了“l(fā)anguage assessment”，因?yàn)樵谧髡呖磥?，沒有必要過分糾纏于“assessment”、“measurement”、“test”等概念的差別，它們本質(zhì)上意義都是相同的，都有“收集信息并做出判斷”之意。如果一定要區(qū)分的話，作者認(rèn)為，“評價(jià)（evaluation）”是“測試（assessment）的一種使用方式”，因?yàn)椤霸u價(jià)”是基于信息做出有價(jià)值的判斷和決定，并且收集信息、做出決定（decisions）是語言測試的主要目的。

語言測試是一種測量，那么，語言測試測量的是什么[1]？什么是語言能力？在本書中，作者進(jìn)一步說明，語言能力（language ability）是語言使用者創(chuàng)造和解釋語篇的能力。語言能力包括語言知識（language knowledge）和策略能力（strategic competence）兩部分。語言知識是在位于語言使用者記憶中的用以表達(dá)或理解話語的信息域，由語言組構(gòu)知識（organizational knowledge，由語法知識和語篇知識所構(gòu)成）和語用知識（pragmatic knowledge，由功能知識和社會知識）構(gòu)成。策略能力是指在語言使用和其他認(rèn)知活動中能夠起到管理功能的高度有序的元認(rèn)知策略，包括目標(biāo)設(shè)定（goal setting）、評價(jià)（appraising）與計(jì)劃（planning）能力。語言使用體現(xiàn)了使用者的語言能力。語言使用（language use）指個體對話語意義的表達(dá)與理解，或某一特定的情境中一人或多人之間對于意義的動態(tài)協(xié)商。當(dāng)互動中涉及兩個或更多的人，這種互動被稱作“往復(fù)性（reciprocal）語言使用”，而只涉及一個語言使用者的情景被稱作“非往復(fù)性（non-reciprocal）語言使用”。互動性是語言使用的本質(zhì)。按照互動中是否涉及語言使用任務(wù)也可以將互動的類型分為兩種：語言使用者特質(zhì)之間的互動稱為內(nèi)在互動（internally interactive）、使用者特質(zhì)與語言使用任務(wù)（情境）特征之間的互動視為外在互動（externally interactive）。在語言使用者特質(zhì)中，除語言能力特質(zhì)外，還包括個人特質(zhì)（personal attributes）、話題知識（topical knowledge）、情感圖式（affective schemata，如對某些特定話題的看法等）以及認(rèn)知策略（cognitive strategies，即語言運(yùn)用過程中執(zhí)行元認(rèn)知策略時所使用的具體策略）。

語言使用離不開特定的場景，這就涉及到使用域的概念。目標(biāo)語言使用域（target language use domain）是指除測試任務(wù)本身之外的需要被測者完成語言使用任務(wù)的特定的情景。語言使用也離不開具體的語言使用任務(wù)，本書中的語言使用任務(wù)（language use task）是指在特定的情境中個人為實(shí)現(xiàn)特定目標(biāo)而使用語言完成的具體活動（activity）。與此對應(yīng)的目標(biāo)語言使用任務(wù)（target language use task）是指在特定的情景中，個人為實(shí)現(xiàn)特定目標(biāo)使用語言完成的活動。測試是通過考生完成語言測試任務(wù)的具體表現(xiàn)來推測考生完成目標(biāo)語言使用域任務(wù)的表現(xiàn)，近而對其語言能力做出解釋。目標(biāo)語言使用域的任務(wù)不同，語言使用者的表現(xiàn)可能會有所差異，因?yàn)槿蝿?wù)的具體特征會對語言使用者的表現(xiàn)會帶來影響。所以，我們要考慮目標(biāo)語言使用域的范圍，以目標(biāo)語言使用域的任務(wù)為參照設(shè)計(jì)和改進(jìn)測試任務(wù)。另外，在本書中，描述語言特征的框架與Bachman在1990年提出的“任務(wù)特征框架”（task characteristics）基本相同，包括“情境特征”、“任務(wù)說明特征”、“任務(wù)輸入特征”、“任務(wù)期望作答反映特征”、“任務(wù)輸入與期望作答反映之間的關(guān)系”五大方面及各自的具體要素構(gòu)成。

三、語言測試的AUA框架

人們都希望測試的結(jié)果能給相關(guān)的利害者（測試的開發(fā)者、使用者、決策者以及個人、團(tuán)體組織等潛在的利害人）帶來積極的影響。但是，如何證明這一點(diǎn)呢？也就是怎樣證明語言測試的科學(xué)性、合理性和可靠性？這需要對其進(jìn)行“論證”（justify），為此，作者提出了測試使用論證（Assessment Use Argument，以下簡稱“AUA”）。

語言測試的AUA框架是測試?yán)碚摰募軜?gòu)，是語言測試的理論基礎(chǔ)，能夠有效地指導(dǎo)實(shí)際測試開發(fā)及使用。AUA有兩大用途：第一，指導(dǎo)測試開發(fā)，例如做出改進(jìn)已有的某個測試的決定；第二，指導(dǎo)測試使用，例如，做出錄取錄用的決定、做出某個學(xué)習(xí)課程的分層決定等。教學(xué)與測試是相生相伴的，語言教學(xué)與學(xué)習(xí)中的測試決策（decisions）可以是形成性的，也可以是總結(jié)性的。測試的一個主要目的是收集信息并用于決策，那么這些決策一定對測試的“利益攸關(guān)者（stake holders）”帶來影響。我們希望所做出的決定對于教學(xué)和學(xué)習(xí)帶來“有益影響”（beneficial consequences）。那么，我們怎樣能夠評價(jià)測試開發(fā)的題目是科學(xué)、有效的，并且能夠帶來積極正面的影響呢？這就需要對AUA框架進(jìn)行論證。測試論證（Assessment Justification）是闡述AUA構(gòu)架并且收集證據(jù)證明其架構(gòu)的過程。這里，作者以哲學(xué)家Stephen Toulmin（1958，2003）的推理模型為理論依據(jù)：一個論證（argument）是由事實(shí)（data）推導(dǎo)結(jié)論（主張，即claim）的過程；一個主張（claim）包括一個有明確主體（entity）的命題，并且規(guī)定了主體的一個或多個屬性。理由是用來推導(dǎo)出主張的命題，因此，推導(dǎo)過程應(yīng)以理由（warrants）作為支撐。理由自身也要有相關(guān)證據(jù)（backing）加以證明。推理的可靠性取決于證據(jù)的可靠性和反駁（rebuttal，指理由不成立情況下的聲明）是否成立。AUA體系中，主張（claim）是有關(guān)測試“結(jié)果”的各類聲明（statements），由測試結(jié)果（outcome）（如影響intended consequences，決策decisions，解釋interpretation與測試記錄assessment records）以及描述這些結(jié)果質(zhì)量的“屬性quality”（如公平性fairness）所組成。AUA中的理由指針對主張質(zhì)量屬性延伸出的更為詳實(shí)的聲明，反駁指否定主張的聲明。根據(jù)作者的觀點(diǎn)，我們在設(shè)計(jì)開發(fā)語言測試的過程中，要采用自上而下的方式，測試結(jié)果的“影響”決定我們所做的“決策”，“決策”與做出的測試“解釋”有關(guān)，“解釋”直接取決于“測試記錄”，而“測試記錄”直接與被測試者的測試表現(xiàn)相關(guān)，這樣，“影響”、“決策”、“解釋”、“測試記錄”、“考生作答表現(xiàn)”之間開成了一個環(huán)環(huán)相扣、層層推理的過程。每一次推理都需要論證，下一推理過程的“主張”成為上一推理過程的“事實(shí)”，由此開成一個“事實(shí)-主張”的推理機(jī)制。AUA框架將測試論證引入測試開發(fā)和使用過程的各個環(huán)節(jié)，使得整個過程更加科學(xué)、規(guī)范、嚴(yán)謹(jǐn)，測試產(chǎn)品也更有說服力和可信度。

在書中，作者用了大量的篇幅來介紹如何在理論上構(gòu)建AUA測試框架。圍繞語言測試的預(yù)期影響，作者指出，應(yīng)主要考慮的問題有兩方面：第一，測試和決策應(yīng)帶來哪些“有益”：（beneficial）的影響；第二，明確相關(guān)利害關(guān)系人。支撐影響主張的理由有兩類：一類涉及測試使用所產(chǎn)生的影響；一類涉及決策制定所產(chǎn)生的影響。在構(gòu)建與“決策”有關(guān)的主張時，應(yīng)闡明下三個問題：（1）決策的具體內(nèi)容；（2）相關(guān)的利害關(guān)系人；（3）決策者。支撐測試影響的“理由“需要考慮以下三方面：（1）決策的制定要與當(dāng)前的教育體系、社會價(jià)值觀和相關(guān)的法律法規(guī)相一致（values sensitivity）；（2）要充分認(rèn)識和評估錯誤的積極影響和消極影響的嚴(yán)重性（seriousness）；（3）分?jǐn)?shù)的劃定要確保公平性（equitability）。另外，作者同樣花費(fèi)了很長的篇幅探討了語言能力“解釋”的問題。關(guān)于“解釋”主張的理由涉及五方面：第一類與語言測試的參照體系（理論支撐）有關(guān)，搞清楚構(gòu)念的定義，對于測試的解釋有意義（meaningfulness）；第二類與考生的作答條件有關(guān)，也就是對于語言能力的解釋要做到公平、公正、沒有偏頗（impartiality）；第三類與語言測試的任務(wù)類型有關(guān)，即測試任務(wù)是有代表性和概括性的（generalizability）；第四類指語言測試的決策和解釋之間的相關(guān)性（relevance）；第五類指語言能力的解釋的充分性（sufficiency）。對于與“測試記錄”有關(guān)的主張、理由的構(gòu)建方法，主要需要關(guān)注的問題是測試記錄的一致性（consistency），理由的闡釋涉及考試實(shí)施、評分、培訓(xùn)等環(huán)節(jié)。

四、總結(jié)

這本書是語言測試領(lǐng)域最新、最前沿的成果之一，十分難得。相較以往的闡釋，本書中即有理論支撐，又系統(tǒng)地介紹了如何具體操作，對于指導(dǎo)測試開發(fā)意義重大。文章概念清晰，論證嚴(yán)謹(jǐn)，舉例豐富，是語言測試學(xué)習(xí)者和研究者的營養(yǎng)大餐。作者獨(dú)辟蹊徑，提出了一個非常重要的概念——測試使用論證（AUA框架），從一個全新的角度解釋語言測試，進(jìn)一步發(fā)展深化了語言測試的理論，將語言測試的研究推向一個新的高度。隨后，作者以AUA框架為綱領(lǐng)，從語言測試的理論建構(gòu)到實(shí)際操作再到最后總結(jié)反饋，逐步展開，娓娓道來，的確使讀者深受啟發(fā)。貫穿語言測試整個過程的AUA框架，同時服務(wù)于測試開發(fā)與使用，高屋建翎地概覽了語言測試的全貌，對于學(xué)習(xí)者從全局上把握語言測試具有重要意義。另外，本書提出了一些新的語言測試相關(guān)的“術(shù)語”，例如，針對語言能力的“解釋”的“標(biāo)準(zhǔn)”或“原則”，作者提出了“意義性（meaningfulness）”、“無偏性（impartiality）”、“概括性（generalizability）”、“關(guān)聯(lián)性（relevance）”、“充分性（sufficiency）”，這與過去很長時間以來，測試學(xué)界流行的“信度”、“效度”、“真實(shí)性”、“交互性（interactiveness）”[2]這些術(shù)語不同，是Bachman基于AUA框架對于語言測試的新解釋，也是對測試?yán)碚摰耐七M(jìn)和發(fā)展。

參考文獻(xiàn)：

〔1〕李筱菊.語言測試科學(xué)與藝術(shù)[M].長沙：湖南教育出版社，2001.

〔2〕Bachman， L. F.2008.Fundamental Considerations in Language Testing.Shanghai： Shanghai Foreign Language Education Press.

（責(zé)任編輯 王文江）