孫桐

一、引言

聽力理解測(cè)量是一項(xiàng)復(fù)雜的技術(shù)， 優(yōu)質(zhì)的任務(wù)設(shè)計(jì)是測(cè)試效度的重要保障（Field，2013），是聽力測(cè)試開發(fā)和使用過(guò)程中的核心問(wèn)題。 盡管21 世紀(jì)以來(lái)，學(xué)界已圍繞聽力理解理論模型、聽力理解策略、相關(guān)效度驗(yàn)證框架、 特定任務(wù)特征及后效作用等話題開展了一定數(shù)量的研究（Buck，2001；Field，2008；Rost，2002，2011；Vandergrift and Goh，2012；Geranpayeh and Taylor，2013；Wagner，2014；Goh and Aryadoust，2016）， 但尚未有文獻(xiàn)針對(duì)聽力測(cè)試設(shè)計(jì)與開發(fā)的實(shí)踐技術(shù)提供全面且深入細(xì)致的指導(dǎo)。 針對(duì)這一空缺，Rita Green 憑借多年語(yǔ)言測(cè)試設(shè)計(jì)開發(fā)及培訓(xùn)的經(jīng)驗(yàn)，撰寫了《聽力測(cè)試設(shè)計(jì)：實(shí)用方法介紹》（Designing Listening Tests：A Practical Approach）一書，介紹聽力測(cè)試設(shè)計(jì)的科學(xué)原則、方法、步驟和流程， 由 Palgrave Macmillan 出版社于 2017 年正式發(fā)行。 該專著針對(duì)聽力測(cè)試的設(shè)計(jì)與開發(fā)進(jìn)行了全面系統(tǒng)的介紹，搭建了理論和實(shí)踐之間的橋梁，為語(yǔ)言測(cè)試的開發(fā)者、 使用者及研究人員的工作帶來(lái)了便利。 本文將介紹這一著作主要內(nèi)容，總結(jié)其主要特色及不足之處，并提出改進(jìn)建議。

二、內(nèi)容簡(jiǎn)介

該著作共分七章， 每章分別由一個(gè)簡(jiǎn)潔的問(wèn)題作為標(biāo)題引導(dǎo)， 各章編排以嚴(yán)謹(jǐn)?shù)倪壿嬳樞蛲暾尸F(xiàn)了聽力測(cè)試設(shè)計(jì)與開發(fā)的重要理念、 步驟和程序等相關(guān)內(nèi)容。 第一章為全書引言和對(duì)聽力測(cè)試開發(fā)流程的簡(jiǎn)介。 第二章和第三章分別從測(cè)試設(shè)計(jì)細(xì)則（test specifications）和語(yǔ)音文件的開發(fā)利用等方面細(xì)致講解了任務(wù)設(shè)計(jì)之前的準(zhǔn)備工作。 第四章和第五章詳細(xì)介紹了不同聽力測(cè)試任務(wù)類型設(shè)計(jì)中的注意事項(xiàng)、方法與原則：首先收集總結(jié)相關(guān)理念，其后通過(guò)實(shí)例分析，展示任務(wù)設(shè)計(jì)實(shí)踐。 第六章和第七章聚焦于聽力測(cè)試的結(jié)果分析和使用方法， 包括對(duì)聽力任務(wù)試測(cè)及改進(jìn)的探討， 以及測(cè)試分?jǐn)?shù)的報(bào)告和解讀方式。

第一章名為 “聽力測(cè)試涉及哪些問(wèn)題 （What is involved assessing listening?）”，是該書的引言，言簡(jiǎn)意賅地介紹了聽力測(cè)試的基本問(wèn)題， 作為其余章節(jié)的基礎(chǔ)。 作者首先追隨聽力理解研究的最新成果，基于Field（2013）的理論模型探討了聽力理解過(guò)程的本質(zhì)和特點(diǎn)。 其后，分別從聽力的目的、聽者特征、聽覺輸入的特點(diǎn)以及口頭和書面用語(yǔ)的差異等方面介紹了聽力理解的多樣性。 在此基礎(chǔ)上，該章總結(jié)了影響聽力理解難度的主要因素， 包括與語(yǔ)音材料的性質(zhì)、信息加工的復(fù)雜性、聽力輸入、聽力任務(wù)、收聽環(huán)境以及說(shuō)話者和聽者自身相關(guān)的一系列特征。 最后該章解釋了聽力的用途及聽力測(cè)試的重要意義，并在小結(jié)中完整介紹了聽力測(cè)試開發(fā)的循環(huán)性流程。該流程從測(cè)試開發(fā)者培訓(xùn)、 試題設(shè)計(jì)的準(zhǔn)備工作開始，直到測(cè)試實(shí)施后的結(jié)果分析，共16 個(gè)主要步驟，各步驟之間存在較為錯(cuò)綜復(fù)雜的聯(lián)系。

第二章名為 “測(cè)試設(shè)計(jì)細(xì)則有何助益（How can test specifications help?）”，全面介紹了 “測(cè)試設(shè)計(jì)細(xì)則” 的概念、涵蓋的內(nèi)容及使用原因，并在小結(jié)中為讀者提供了普適的測(cè)試設(shè)計(jì)細(xì)則模板。 這一章開篇指出，測(cè)試設(shè)計(jì)細(xì)則應(yīng)在測(cè)試正式設(shè)計(jì)之前撰寫，它是考試設(shè)計(jì)的綱領(lǐng)、規(guī)劃和藍(lán)圖，在測(cè)試開發(fā)全程中都發(fā)揮著關(guān)鍵作用。 隨后描述了聽力測(cè)試設(shè)計(jì)細(xì)則中應(yīng)包含的各方面信息，包括測(cè)試目的、考生特征、測(cè)試構(gòu)念、 聽力材料以及任務(wù)設(shè)計(jì)等方面的詳細(xì)規(guī)劃。 作者指出，測(cè)試設(shè)計(jì)細(xì)則是聽力測(cè)試質(zhì)量的重要保障，有利于構(gòu)念界定的明確性、任務(wù)與測(cè)量目標(biāo)對(duì)應(yīng)的合理性， 還可有效促進(jìn)測(cè)試開發(fā)團(tuán)隊(duì)的合作成效。 最后，第二章以一個(gè)表格（表2.6）作為測(cè)試設(shè)計(jì)細(xì)則的模板，并將該章主要內(nèi)容在表中作了總結(jié)。

第三章名為 “如何開發(fā)聲音文件（How do we exploit sound files?）”， 詳細(xì)講解了幫助聽力測(cè)試科學(xué)選材的 “語(yǔ)篇制圖（textmapping）” 技術(shù)。 該章在介紹了 “語(yǔ)篇制圖” 技術(shù)的緣起之后，對(duì)這一概念進(jìn)行了界定，并描述了其基本特征。 語(yǔ)篇制圖是測(cè)試開發(fā)中對(duì)音頻材料或文本內(nèi)容集體意義構(gòu)建的系統(tǒng)性流程。 在聽力測(cè)試中，語(yǔ)篇制圖必須以音頻文件為分析和判斷的基礎(chǔ)。 參與者應(yīng)將自己視為真實(shí)語(yǔ)境中的聽者，而非測(cè)試設(shè)計(jì)者，并在收聽語(yǔ)音文件后根據(jù)特定要求匯報(bào)自己真實(shí)理解的內(nèi)容。 對(duì)于每個(gè)獨(dú)立的聽力語(yǔ)篇， 測(cè)試開發(fā)者需要至少與3 位工作人員合作，并確定大多數(shù)人對(duì)特定內(nèi)容理解一致，該材料才能進(jìn)入任務(wù)設(shè)計(jì)環(huán)節(jié)。 其后，這一章詳細(xì)探討了三種不同的語(yǔ)篇制圖流程， 分別基于測(cè)量主旨要義（gist）、細(xì)節(jié)性信息（specific information and important detail，簡(jiǎn)稱SIID）以及主要觀點(diǎn)和支撐性細(xì)節(jié)（main ideas and supporting details， 簡(jiǎn)稱 MISD） 的聽力材料。 這三種流程雖然在細(xì)節(jié)上有所差異，但都涵蓋五個(gè)主要步驟：（1）合理選材并組織相關(guān)人員；（2）介紹語(yǔ)篇制圖的目的和具體任務(wù)要求；（3）播放聽力錄音并記錄聽者收集的信息；（4）整理、分析相關(guān)信息，并以表格歸納多數(shù)人共同理解的意義；（5）根據(jù)語(yǔ)篇制圖分析的結(jié)果， 決定聽力材料是否直接進(jìn)入任務(wù)設(shè)計(jì)環(huán)節(jié)。 第三章進(jìn)一步指出，某些首次無(wú)法通過(guò)的聽力材料， 可以改變測(cè)量目標(biāo)， 并重復(fù)語(yǔ)篇制圖的流程。 在進(jìn)行結(jié)果分析前，測(cè)試開發(fā)者還可調(diào)查聽者對(duì)聽力材料的難度、 話題適切性及語(yǔ)篇長(zhǎng)度等方面的感受，作為材料適用與否的輔助性證據(jù)。

第四章名為 “如何設(shè)計(jì)聽力任務(wù)（How do we develop a listening task?）”， 主要介紹聽力測(cè)試試題編寫中的實(shí)用方法和原則。 這一章首先介紹了一種制作 “任務(wù)名片（task identifier）” 的實(shí)用方法，以便收集有關(guān)任務(wù)的重要信息。 其后，探討了任務(wù)設(shè)計(jì)中需重點(diǎn)考慮的因素，包括任務(wù)說(shuō)明、測(cè)試方法、聽力材料、輸入和輸出形式、 外觀設(shè)計(jì)以及評(píng)分等多個(gè)方面的問(wèn)題。 作者重點(diǎn)總結(jié)了聽力測(cè)試中常見任務(wù)類型如多項(xiàng)選擇題 （Multiple Choice Questions）、 簡(jiǎn)答題（Short Answer Questions） 和 多 項(xiàng) 匹 配 題 （Multiple Matching）的特點(diǎn)，并詳盡列舉了任務(wù)編寫的各個(gè)方面及同行審查（peer review）中的注意事項(xiàng)，為試題設(shè)計(jì)的實(shí)踐工作提供了實(shí)用參考。

第五章名為 “何謂優(yōu)質(zhì)的聽力任務(wù)（What makes a good listening task?）”，對(duì)一系列典型的聽力測(cè)試任務(wù)設(shè)計(jì)進(jìn)行了細(xì)致的評(píng)析。 該章共選擇了八個(gè)聽力任務(wù)，涵蓋了第四章中提及的多項(xiàng)選擇題、簡(jiǎn)答題和多項(xiàng)匹配題全部三種任務(wù)類型。 前三個(gè)任務(wù)為不同形式的多項(xiàng)匹配題（問(wèn)題與答案的匹配、圖片匹配題和句子首尾匹配），任務(wù)四和任務(wù)五為問(wèn)答形式的簡(jiǎn)答題， 任務(wù)六為填空類簡(jiǎn)答題， 任務(wù)七為圖片選擇題，任務(wù)八是四選項(xiàng)的多項(xiàng)選擇題。 對(duì)于每個(gè)任務(wù)，作者主要從語(yǔ)音文件和任務(wù)特征等方面對(duì)其設(shè)計(jì)進(jìn)行評(píng)價(jià)；對(duì)于任務(wù)特征，從聽力能力（listening behavior）、測(cè)試方法的適切性和外觀形式等三個(gè)方面分別評(píng)析。 最后，該章總結(jié)了一個(gè)合格的聽力任務(wù)所具備的五種特征：任務(wù)構(gòu)念的有效測(cè)量、清晰明確的任務(wù)說(shuō)明、合理的測(cè)試方法、適切的選材以及合適的語(yǔ)音材料。

第六章名為 “如何知曉聽力任務(wù)的效果（How do we know if the listening task works?）”，詳細(xì)介紹了聽力測(cè)試試測(cè)階段的實(shí)踐工作。 這一章首先指出了試測(cè)的重要意義， 并討論了其對(duì)測(cè)試開發(fā)各個(gè)環(huán)節(jié)以及任務(wù)設(shè)計(jì)不同方面的益處。 其后，詳細(xì)說(shuō)明了聽力測(cè)試試測(cè)準(zhǔn)備和實(shí)施過(guò)程中需注意的問(wèn)題。 最后，介紹了試測(cè)結(jié)果的處理方法。 在講解數(shù)據(jù)分析的用途之后， 作者列舉了試測(cè)需匯報(bào)的量化指標(biāo) （作答頻率、區(qū)分度、信度和難度系數(shù)等），并講解了基于數(shù)據(jù)分析結(jié)果的不同決策（測(cè)試項(xiàng)目的棄用、改進(jìn)及存檔）。

第七章名為 “如何報(bào)告分?jǐn)?shù)并設(shè)置合格標(biāo)準(zhǔn)（How do we report scores and set pass marks?）”，主要介紹了聽力測(cè)試分?jǐn)?shù)匯報(bào)和標(biāo)準(zhǔn)設(shè)定（standard setting）的方法與原則。該章首先介紹了測(cè)試分?jǐn)?shù)報(bào)告的不同形式和主要方法。 其后，對(duì)標(biāo)準(zhǔn)設(shè)定的概念、意義及過(guò)程進(jìn)行了詳細(xì)的講解。 所謂標(biāo)準(zhǔn)設(shè)定是測(cè)試通過(guò)科學(xué)的方法和流程設(shè)立其分?jǐn)?shù)線的過(guò)程， 該章以CEFR 中的聽力水平等級(jí)為參照標(biāo)準(zhǔn)，描述了對(duì)相關(guān)人員進(jìn)行培訓(xùn)的方法以及設(shè)定分?jǐn)?shù)線的操作程序。 此外，這一章介紹了 “測(cè)試人員會(huì)議（stakeholder meetings）”， 作為在條件有限的情況下，標(biāo)準(zhǔn)設(shè)定的另一種形式；還建議以提供任務(wù)樣例和網(wǎng)站建設(shè)等形式，作為標(biāo)準(zhǔn)設(shè)定的補(bǔ)充性信息的來(lái)源。 最后，該章還簡(jiǎn)明地論述了測(cè)試結(jié)束后項(xiàng)目分析的必要性，并指明了相關(guān)的統(tǒng)計(jì)方法。

三、主要特色

《聽力測(cè)試設(shè)計(jì)：實(shí)用方法介紹》是學(xué)界首部系統(tǒng)全面地介紹聽力測(cè)試設(shè)計(jì)與開發(fā)的著作，為聽力理解研究、聽力教學(xué)及測(cè)評(píng)的理論和實(shí)踐之間搭建了橋梁。 在現(xiàn)有的經(jīng)典著作中，Buck（2001）對(duì)聽力測(cè)試的理論和實(shí)踐進(jìn)行了綜合性介紹，Rost（2002，2011）和 Field（2008）主要關(guān)注聽力理解過(guò)程的本質(zhì)以及聽力教學(xué)中的重點(diǎn)問(wèn)題，Vandergrift和Goh （2012） 聚焦于聽力測(cè)試中的元認(rèn)知策略，Geranpayeh 和Taylor（2013）的著作則圍繞聽力測(cè)試的 “社會(huì)認(rèn)知效度驗(yàn)證框架（Socio-Cognitive Validation Framework）” 進(jìn)行。 這些著作雖然或多或少地包含了聽力測(cè)試研發(fā)的問(wèn)題， 但從未面面俱到、細(xì)致入微地講解過(guò)測(cè)試任務(wù)設(shè)計(jì)和開發(fā)的步驟、流程及原則。 Rita Green 的著作填補(bǔ)了學(xué)界對(duì)聽力測(cè)試設(shè)計(jì)與開發(fā)實(shí)踐性指導(dǎo)的空缺，使得眾多語(yǔ)言測(cè)試開發(fā)人員、研究者、教師以及教材開發(fā)者能夠遵循系統(tǒng)規(guī)范的流程， 設(shè)計(jì)出高質(zhì)量的聽力測(cè)試任務(wù)。相關(guān)程序按照其邏輯順序， 貫穿于全書各章節(jié)中，具體步驟經(jīng)過(guò)串聯(lián)，形成了一套清晰、嚴(yán)謹(jǐn)、精密的循環(huán)性的流程（見著作1.7.1 小節(jié)），便于讀者學(xué)習(xí)參考。

該著作的具體內(nèi)容也獨(dú)具特色，主要體現(xiàn)在聽力材料的選擇、多樣化的任務(wù)設(shè)計(jì)和全面的典型案例分析等三個(gè)方面。 首先，對(duì)于聽力測(cè)試的選材，該著作在第三章中主張以 “語(yǔ)篇制圖” 的方法，盡可能還原真實(shí)的聽力理解語(yǔ)境，并通過(guò)征求大多數(shù)聽者的統(tǒng)一解讀方式，科學(xué)嚴(yán)謹(jǐn)?shù)嘏袛嗪蜻x語(yǔ)音材料是否適合測(cè)量選定的聽力技能。 這一輪篩選注重聽力材料的真實(shí)性和實(shí)用性，可以為后續(xù)的任務(wù)設(shè)計(jì)環(huán)節(jié)節(jié)省時(shí)間和精力，是著作中的一大亮點(diǎn)。 其次，該著作還對(duì)不同任務(wù)類型在設(shè)計(jì)方法和原則方面的差異進(jìn)行了細(xì)致的辨析和探討。 第四、五兩章中，聽力任務(wù)被分為三個(gè)主要類別， 分別為多項(xiàng)匹配題、簡(jiǎn)答題和多項(xiàng)選擇題。 特別值得稱贊的是，聽力多項(xiàng)匹配題在該著作中被視為獨(dú)立的任務(wù)類型，其獨(dú)有的特色也得到了充分重視，這比起認(rèn)為該任務(wù)類型是 “多項(xiàng)選擇題的一種變體” 的傳統(tǒng)觀點(diǎn)（Elliott and Wilson 2013：166）無(wú)疑是一種進(jìn)步。 再次，針對(duì)三個(gè)主要類別的聽力測(cè)試任務(wù)，該著作在第五章中以八個(gè)鮮明生動(dòng)的任務(wù)實(shí)例分析，展示了豐富多彩且科學(xué)嚴(yán)謹(jǐn)?shù)娜蝿?wù)設(shè)計(jì)，彰顯了語(yǔ)言測(cè)試的科學(xué)與藝術(shù)。 這些任務(wù)用途廣泛，在不同水平的標(biāo)準(zhǔn)化測(cè)試、聽力教學(xué)、課堂評(píng)價(jià)以及教材開發(fā)中都可應(yīng)用。

四、有待改進(jìn)之處

這一專著當(dāng)前內(nèi)容為2017 年發(fā)行的第一版，難免存在一些不足之處，有待在未來(lái)版本中不斷改進(jìn)。 本文在此提出四個(gè)針對(duì)細(xì)節(jié)性內(nèi)容的建議。

首先，該著作中涵蓋的測(cè)評(píng)形式和內(nèi)容尚且比較局限，現(xiàn)實(shí)中的聽力測(cè)試任務(wù)設(shè)計(jì)開發(fā)往往較之更為復(fù)雜。 例如，聽力測(cè)試中的視覺元素研究當(dāng)前頗受關(guān)注，學(xué)界一直在探索視頻和圖片輔助型聽力任務(wù)的理論價(jià)值及應(yīng)用效果 （如 Batty，2015；Suvorov，2015），相關(guān)研究反映了聽力評(píng)價(jià)研究的一種未來(lái)發(fā)展趨勢(shì)（Wagner，2014）。 遺憾的是，視覺元素雖然在Green 的著作中有所涉及，但并未作為重點(diǎn)深入探討（Yang and Wu，2017）。 建議該著作在未來(lái)版本中詳細(xì)介紹聽力測(cè)試的配套視頻、靜態(tài)照片及圖表等內(nèi)容的設(shè)計(jì)方法和使用原則。

其次，該著作對(duì)多項(xiàng)匹配題的設(shè)計(jì)原則和任務(wù)特征的部分認(rèn)識(shí)還有待商榷。 第四章中提到匹配任務(wù)在試測(cè)中應(yīng)設(shè)置干擾項(xiàng)，以避免 “完美匹配（perfect matching）” 的情況（Nitko and Brookhart，2011），降低考生以排除法猜對(duì)答案的可能性。 但在多項(xiàng)匹配題任務(wù)設(shè)計(jì)的實(shí)踐中， 干擾項(xiàng)的設(shè)置主要針對(duì)每個(gè)選項(xiàng)只能使用一次的匹配任務(wù)， 而對(duì)于每個(gè)選項(xiàng)可使用不止一次的情況， 干擾項(xiàng)的設(shè)置就并非是必需的。 如CPE 聽力測(cè)試2013 年以前曾經(jīng)使用的 “三項(xiàng)匹配題（3-way matching）”，全部項(xiàng)目共享三個(gè)可允許多次選擇的共同選項(xiàng)（Boroughs，2003；Elliott and Wilson，2013）；以及 FCE 測(cè)試“閱讀和語(yǔ)言運(yùn)用” 部分沿用至今的段落匹配題，實(shí)質(zhì)上是一種 “四項(xiàng)匹配題（4-way matching）”，比三項(xiàng)匹配題多一個(gè)選項(xiàng)， 同樣不設(shè)干擾項(xiàng) （ 孫桐，2019）。 此外，第五章任務(wù)三的句子首尾匹配題（名為A Diplomat Speaks）中，由于很多句子開頭和結(jié)尾的語(yǔ)法結(jié)構(gòu)和內(nèi)容差別較大， 可能會(huì)導(dǎo)致考生容易根據(jù)題干和選項(xiàng)的內(nèi)容猜對(duì)答案， 這一問(wèn)題必將損害該任務(wù)的效度。 新版著作可考慮改進(jìn)任務(wù)設(shè)計(jì)或更換案例。

再次，該書對(duì) “簡(jiǎn)答題” 的分類似乎有欠精準(zhǔn)，因其囊括了直接回答問(wèn)題以及句子填空等多種形式。在一些標(biāo)準(zhǔn)化聽力測(cè)試中，簡(jiǎn)答題的界定十分明確具體，如 Field（2013）、Elliott 和 Wilson（2013）都將Green 所指的“簡(jiǎn)答題” 稱為“建構(gòu)性作答方式 （constructed response format）” 的 任 務(wù) ， 包 括 “ 句子及摘要填空題”、“圖表填空題” 和 “筆記填空題” 等類別。 在 IELTS 中，“簡(jiǎn)答題” 僅限直接以簡(jiǎn)短的文字回答問(wèn)題的任務(wù)， 獨(dú)立于與另外幾種填空任務(wù) （Cambridge English Language Assessment，2016）。 因此，建議該書選用 “建構(gòu)性作答方式” 這一概念，或?qū)?“簡(jiǎn)答題” 的概念及分類做出明確、清晰的闡釋。

最后，第二章末尾處提供的測(cè)試設(shè)計(jì)細(xì)則模板內(nèi)容太過(guò)籠統(tǒng)，真實(shí)性有限。 建議使用一個(gè)標(biāo)準(zhǔn)化聽力測(cè)試的實(shí)例，并置于附錄中。 此外，可考慮在表格中總結(jié)詳細(xì)的任務(wù)特征，并呈現(xiàn)具體任務(wù)與測(cè)試構(gòu)念之間的對(duì)應(yīng)，如此可增強(qiáng)內(nèi)容的指導(dǎo)性。

五、結(jié)語(yǔ)

作為首部全面系統(tǒng)介紹聽力測(cè)試設(shè)計(jì)開發(fā)的著作，該書雖然存在不足之處，但其重要價(jià)值不容忽視，可為標(biāo)準(zhǔn)化聽力測(cè)試、聽力課堂測(cè)評(píng)設(shè)計(jì)與應(yīng)用、聽力教材開發(fā)以及聽力測(cè)試學(xué)術(shù)研究提供理論支持和實(shí)踐指導(dǎo)。 可將該著作作為重要參考，評(píng)價(jià)和反思我國(guó)聽力測(cè)試設(shè)計(jì)與開發(fā)的實(shí)踐工作，提高測(cè)試開發(fā)者和使用者的評(píng)價(jià)素養(yǎng)，促進(jìn)相關(guān)領(lǐng)域的發(fā)展。