李清平

鄭娜新

中南大學

語用能力測試研究綜述*1

李清平

鄭娜新

中南大學

現(xiàn)代外語教學越來越注重培養(yǎng)學生的語用能力，如何開發(fā)有效的語用能力測量工具也日益受到人們的關注。然而，目前關于語用能力的測試研究還未能形成相對一致的意見。本文主要論述了國內(nèi)外學者關于語用能力測量的研究，并總結了語用測試研究所存在的挑戰(zhàn)與發(fā)展趨勢。

1.引言

近一二十年，外語教學越來越注重培養(yǎng)學生的語用能力。語用能力包括語用語言能力和社交語用能力兩部分(Leech,1983)。Bachman認為語用能力是交際能力不可或缺的組成部分(Bachman,1990 ; Bachman & Palmer,1996)，但在外語環(huán)境中，這種能力有可能只有通過教學才能發(fā)展，因此語用能力是否可教以及如何教一直是個熱門話題(Rose & Kasper,2001)。然而，外語課堂上教師有可能不愿教語用，原因之一就是沒有合適的工具測量語用能力(劉建達，2006)。教師的這種不情愿促使人們越來越關注如何開發(fā)有效的語用能力測量工具。遺憾的是，目前關于語用能力測試的研究相對較少，國內(nèi)相關文獻更是不多見，有限的幾個研究也未能得出相對一致的結果。鑒于此，本文主要對國內(nèi)外學者關于語用能力測量的研究進行了綜述，并總結了語用測試研究所存在的挑戰(zhàn)與發(fā)展趨勢，希望對今后的研究能起到一定的參考和指導作用。

2.基于言語行為的語用測試

2.1 Hudson,Detmer,Brown的研究

20世紀80-90年代,人們對跨文化語用學產(chǎn)生了興趣，這種興趣催生了著名的“跨文化言語行為實現(xiàn)項目”(Cross-Cultural Speech Act Realization Project,CCSARP)(Blum-Kulka,House,& Kasper,1989)，該項目基于請求和道歉兩個言語行為進行分析，并在7門語言中進行對比研究，主要采用話語填充測試(Discourse Completion Test,DCT)來收集數(shù)據(jù)，這種做法奠定了語用測試研究的基礎。Hudson(1995)等人的語用測試研究便是在CCSARP的理論框架下進行的。

Hudson等人以DCT為原型，提出了六種語用測試工具來考察學習者的請求、道歉和拒絕三種言語行為知識。這六種測試工具分別為1)書面話語填充(Written Discourse Completion Tasks,WDCT)，要求受試者讀一段情景描述并寫下在該情境下要說的話；2)多項選擇話語填充(Multiple-choice Discourse Completion Tasks,MDCT)，受試者從三段備選話語中選出在指定情境下最合適的話語；3)聽說話語填充(Listening Oral Discourse Completion Tasks,ODCT)，受試者說出在某一情境下自己將會說的話；4)話語角色扮演(Discourse Role-play Tasks,DRPT)，受試者與母語者在指定情境下進行角色扮演，并在其引導下做出請求、道歉、拒絕等言語行為；5)話語自我評價(Discourse Self-assessment Tasks,DSAT),受試者自我評價在話語填充測試中的表現(xiàn)；以及6)角色扮演自我評價(Role-play Self-assessment,RPSA)，受試者自我評價在角色扮演中的表現(xiàn)。

Hudson等人詳細介紹了以上六種語用測試工具的開發(fā)過程。為了減少變量，Hudson等人對測試中每個情景及項目的選擇也制定了嚴格的限制，比如，規(guī)定交談雙方的性別；明確交談雙方必須面對面，不能通過電話或信件交流；保證每個場景都與交談雙方的角色有關等。Hudson等人設計的各個情景主要涉及了三種社交語用變量：地位、熟悉程度和嚴重性(Leech,1983)。25名母語為日語的英語學習者參加了測試。評卷采用 1(非常不合適) 至 5 (完全恰當)五個級別對每道題目進行評分。評判受試者話語的恰當性的標準包括語言表達的正確性、信息量的大小、話語的正式程度、言語策略的直接性和禮貌度五個維度。

Hudson等人并沒有進一步對六種語用測試工具進行信度和效度的檢驗，而且他們的研究只包括了三種言語行為，對學習者的其他言語行為、會話含義、習慣用語等語用知識并沒有做過多的考察。然而，Hudson等人進行的研究仍是目前為止語用測試領域影響最大的,這是由于他們詳細地介紹了六種測試工具的開發(fā)過程(Roever,2011)。后來的研究基本上都是在Hudson等人的方法框架下進行。

2.2 在Hudson 等人的框架下進行的其它研究

Yamashita(1996)將Hudson等人設計的測試卷翻譯成日語，對其效度與信度進行了檢驗，在日本3所高校的47名母語為英語的日語學習者中進行了測試。研究結果表明除了MDCT，其它五種測試工具都有較高的信度和效度。學習者與目標語文化接觸的時間越長，在DRPT和ODCT中的表現(xiàn)越好，并且他們的語言水平與他們在WDCT、ODCT、DRPT的測試成績顯著相關。Yoshitake-Strain(1997)和Enochs and Yoshitake-Strain(1996,1999)用Hudson 等人的原始測試卷在日本對25名英語學習者進行了測試，他們的TOEFL成績從423分到577分不等。結果表明MDCT與WDCT信度并不高，并且受試者的TOEFL成績與他們的語用能力沒有顯著相關。但這兩個研究中的受試者數(shù)量過少，且水平層次單一，這一局限可能影響研究結果。

21世紀以來，在 Hudson 等人的框架下進行的語用測試研究進一步深入。Hudson(2001)考察了書面話語填充測試(WDCT)、在實驗室中進行的聽說話語填充測試(ODCT)和話語角色扮演(DRPT)三種語用測試工具的信度，25名來自日本的較低水平英語學習者參與了測試。結果表明WDCT、ODCT、DRPT的信度都不錯，分別為.86、.78、.75，并且受試者在WDCT與DRPT中的表現(xiàn)要好于在實驗室中錄制的ODCT的表現(xiàn)。Brown(2001)基于Yoshitake-Strain與Yamashita收集的數(shù)據(jù)對六種測試手段在英語作為外語(EFL)與日語作為第二語言(JSL)兩種環(huán)境下的實際應用進行了比較，發(fā)現(xiàn)試卷采用日語譯文比英語原文的語用測試效果好，考生的母語文化對考生的表現(xiàn)有一定影響。并且在EFL和JSL兩種環(huán)境下，MDCT的信度是六種測試工具中最低的。Ahn(2005)將Hudson等人的語用測試卷翻譯成韓語，用了除MDCT之外的五種測試工具，對53名韓語作為外語(KFL)的大學生的請求、拒絕和道歉三種言語行為進行了測試，結果表明這五種測試工具的信度很高，基本都在.90以上。Yamashita(JSL)和Ahn(KFL)的研究中，除MDCT外五種測試工具的信度明顯高于Hudson 等人(ESL) 和Yoshitake(EFL)的研究，這說明至少在這些研究中，采用日語和韓語譯文試卷比英語原版試卷測試效果好。Tada(2005)利用視頻提示開發(fā)了ODCT和MDCT的試題，他發(fā)現(xiàn)兩種測試工具的信度都在.75左右，并發(fā)現(xiàn)高水平組和低水平組在產(chǎn)出測試中(ODCT)的表現(xiàn)有明顯差異。Brown(2008)基于Ahn的數(shù)據(jù)考察了WDCT、ODCT、DRPT和RPSA四種測試方法，旨在探討不同語用功能數(shù)量、評估者數(shù)量及題型對不同語用能力測試工具的信度的影響，結果表明語用功能的數(shù)量及類別對測試信度影響不大，而評估者數(shù)量和題型是誤差的主要來源。

劉建達(2006,2007)開發(fā)了一套新的MDCT、WDCT和DSAT語用測試卷，測試了99名中國英語學習者的請求和道歉兩種言語行為。試卷中考察了地位、熟悉程度和嚴重性三個變量。試卷的開發(fā)包括五個步驟：情景采樣、情景可能性篩選、元語用調(diào)查、試測和 MDCT 選項設計。值得注意的是，劉建達的MDCT試卷的信度高達.83，這與Yoshitake-Strain和Yamashita的研究結果不同。這可能是由于劉建達嚴格、系統(tǒng)的試卷開發(fā)過程。試卷中所有的情景與干擾選項都是在受試者的語言文化背景下經(jīng)過五個步驟收集的，有可能這一做法有效地提高了測試的信度和效度。然而，劉建達的研究也有一定的局限性。他開發(fā)的試卷并沒有包含地位、熟悉程度和嚴重性這三種變量所有的分布情況，因此我們沒法判斷受試者的語用表現(xiàn)到底如何受社交語用變量的影響。其次，在中國語境(EFL)下，劉建達開發(fā)的MDCT與WDCT信度和效度很高，但這些情景是否適用于其他語言文化背景并不能確定，這需要進一步的研究，并且這些測試卷是否適用于其他言語行為也需要更多的研究。

3.語用測試的新發(fā)展

3.1 基于會話含義的語用測試

如前文所述，Hudson等人的研究雖然奠定了語用測試的基礎，但只涉及有限的幾個言語行為，顯然需要更多的研究考察語用能力在其它層面的表現(xiàn)。Bouton的一系列研究(1988,1994a,1994b,1999)測試了外語學習者對會話含義的理解能力。Bouton根據(jù)Grice(1975)的會話含義理論，區(qū)分了“特殊隱含義”(idiosyncratic implicature)和“程式化隱含義”(formulaic implicature)，并針對母語不是英語的留學生(NNS)的會話含義理解能力的發(fā)展做了縱向研究。Bouton首先對304名剛入學的NNS做了前測，接著分別在第17個月和第33個月后對他們進行了測試。同時，Bouton測試了分別入學4年、7年的來自中國的留學生。77名母語是英語的學生(NS)作為參照組，也參與了所有測試。結果表明，NNS在特殊隱含義測試中的得分少于程式化隱含義測試。經(jīng)過一段時間的學習，NNS對會話含義的理解能力有所提高。在對特殊隱含義的理解上，NNS甚至可以接近NS的水平。

Taguchi(2005,2007,2008)繼續(xù)了Bouton對會話含義測試的研究，開發(fā)了一套英語作為外語(EFL)的測試卷和一套日語作為外語(JFL)的測試卷，分別測試了160名EFL學習者和63名JFL學習者的會話含義理解能力，并考察學習者外語語言水平和會話含義理解能力的關系。Taguchi同樣對學習者會話含義理解能力的發(fā)展做了縱向研究，并以理解的準確性和理解速度作為評判標準。結果表明受試者的外語語言水平與其會話含義理解能力顯著相關(r=0.39)。理解的準確性和理解速度并沒有明顯的聯(lián)系，而且題目類型會影響受試者理解的準確性，但不會影響其理解速度。然而，Taguchi的研究也有一定局限性，首先他的研究并沒有包括高水平學習者的參與者。其次，對學習者會話含義理解能力的考查僅局限于完整的話語，排除了省略、不完整句、不流利現(xiàn)象等。最后，測試中包含的題目大多來自于以往文獻，而不是受試者的生活，這有可能影響學習者的語用表現(xiàn)。

3.2 Roever基于言語行為、會話含義和習慣用語理解的語用測試

Roever(2005、2006)基于網(wǎng)絡采用DCT測量ESL/EFL學習者的言語行為、用MDCT測量學習者的會話含義和習慣用語的理解，一方面拓寬了語用能力的測試范圍，另一方面革新了語用測試的方式。Roever在其研究中介紹基于網(wǎng)絡的36個測試題目的開發(fā)過程。共267名ESL/EFL學習者在網(wǎng)上進行了測試，受試者的語言水平從初學者到高級水平不等。結果表明言語行為DCT測試的評分員間信度高達.96，這可能是由于Roever精心設計了DCT試卷，受試填充的話語被對應的回應語限制。受試者會話含義理解能力與語言水平呈正相關，而與學習者在二語環(huán)境中接觸目標語的時間長短無關，這與Bouton的研究結果有所不同。至于構念效度，Roever發(fā)現(xiàn)言語行為、會話含義和習慣用語理解三部分都考察了受試者的同一種能力，即語用語言能力，而每一部分考察了學習者語用語言能力的不同方面。并且，Roever的語用測試卷的可行性很高，評分比較容易而且費用較低。然而，Roever的研究只是針對學習者的語用語言能力，并沒有考察學習者的社交語用能力。

3.3 基于話語分析的語用測試

20世紀70年代以來，基于話語分析(conversational analysis,CA)的語言研究受到國內(nèi)外許多語言學家的重視。近年來，有不少語用測試研究者開始將CA應用于二語口語語用測試研究中，他們認為傳統(tǒng)的基于言語行為的語用測試缺乏真實的話語數(shù)據(jù)，例如Golato(2003)經(jīng)對比發(fā)現(xiàn)人們在WDCT中做出贊美言語行為使用“thank you”的頻率達12.4%，而在實際交際中贊美對方使用“thank you”的頻率為零，這充分說明DCT語用測試缺少真實性，從而缺乏有效性。另外，“效度”這一概念的發(fā)展也推動了CA在語用測試中的應用，效度不再是“可測量的”，它需要更多的定性研究從不同角度來判斷整體，而CA研究方法正是通過定性分析來考察測試的效度問題。

Walters (2004、2007、2009)通過CA的方法測量了學習者的語用能力，這是首次脫離言語行為理論，在CA框架下進行的系統(tǒng)的語用測試研究。Walters認為基于CA的語用測試研究，首先其語料往往從人們自然交際的錄音或錄像中轉寫而來，研究的是真實的語料，能充分考慮話語的語境；其次，CA研究方法避免了基于NS直覺對語言使用的類型化(categorization)，它通過分析說話人的認知策略來剖析其話語的展開過程。Walters(2007)主要考察了兩位受過CA訓練的評分員在評分中的表現(xiàn)，對CA方法的運用。Walters的研究中，NS考官和ESL受試者進行直接角色扮演，通過口語產(chǎn)出測試對三個話題進行討論，在討論中NS引導受試者做出評價、贊揚和預示語列(pre-sequence)三種語用行為。兩位評分員，NNS、NS各一位，將說話者表示贊同、反對、轉折等的標記語、停頓語及重復現(xiàn)象記錄下來，依據(jù)受試者話語中有無對評價反應進行操控的跡象(以“評價”語用行為為例)和對相鄰語對的解析(parse targeted adjacency pairs)進行評分。評分員的筆記顯示他們在評判過程中都用了CA方法，且無論是測試過程還是評分過程用的時間都不長，在可行范圍內(nèi)。但測試結果信度并不高，評分員間的一致性比較低，Walters認為這可能是由于CA方法的評分標準有些模糊?？傊?，雖然基于CA研究方法比基于言語行為的語用測試有更多優(yōu)勢，但這個年輕的領域還存在不少問題與挑戰(zhàn)，需要更多的學者去嘗試。

4.結語

二語學習者的語用能力是交際能力的重要組成部分，因此語用能力測試是二語學習者語言能力測試中不可或缺的一部分。本文對語用測試的研究現(xiàn)狀進行了綜述，介紹了學者基于言語行為進行的語用測試、語用測試工具的開發(fā)和語用能力測試在測量工具和分析模式上新的研究進展。這些研究一方面為語用能力的測試作出了貢獻，但也存在一些挑戰(zhàn)和未解決的問題。這些問題主要表現(xiàn)在：第一，現(xiàn)在的研究大多以NS的話語作為標準，在英語正在成為國際通用語的今天，NS是否可以作為語用測試中受試者話語恰當性的標準受到質疑。這是因為NS這個群體中本身存在種族、地位、年齡、性別等差異，話語恰當性的標準也存在差異。在真實的語境中，NS并沒有用基于自己文化背景的標準來評判NNS說出的話是否恰當(McNamara & Roever,2006)。第二，Hudson等人提出的六種語用測試方法并沒有在真實的語用環(huán)境中考察學習者的語用能力，不由得讓人質疑這些工具是否能真正測出受試者的語用能力，但在真實的語篇中考察學習者的語用能力是難以實現(xiàn)的，即使數(shù)據(jù)收集不困難，分析框架也存在問題(參見Walters,2004,2007,2009)。角色扮演在一定程度上反應了受試者真實的反應(Kasper & Rose,2002)，但角色扮演不僅評分麻煩而且花費很高，可行性不大。

網(wǎng)絡科技的發(fā)展也許可以解決花費高的問題(Roever,2011)，目前基于計算機和網(wǎng)絡的交流技術(computer mediated communication,CMC )已滲透到二語習得研究的許多領域。最近，Yanguas(2010)的研究表明通過Skype軟件進行的口語CMC聊天和面對面交流中話輪轉換的形式相似性很高，但與書面CMC聊天中話輪的轉換不盡相同，也許未來通過網(wǎng)絡進行的口語測試可以代替面對面的角色扮演。但語用測試受到教學與測試過程中各種因素的影響，如考官的個人因素、受試者對計算機的熟悉程度等，口語CMC語用測試是否能真正等效于面對面的交流還有待考察。不可否認的是，基于網(wǎng)絡的語用測試，相較于傳統(tǒng)的角色扮演，在保證語料真實性的同時節(jié)省了大量的人力物力，為今后語用測試的研究提供了新的出路，是未來語用測試發(fā)展的方向。

總之，語用能力測試的研究雖然取得了很多進展，但仍存在一些未解決的問題。在未來的研究中，也許依靠計算機網(wǎng)絡可以收集能反映學習者語用能力的真實語料，而且費用較低，但這種語料如何分析需要進一步研究。就目前看來，任何途徑帶給我們的問題似乎比解決方案要多，也正因為此，語用測試呈現(xiàn)給我們的是一個無比廣闊的研究領域。

Ahn,R.C.2005.Five measures of interlanguage pragmatics in KFL(Korean as a foreign language) learners.Unpublished phD thesis,University of Hawaii at Manoa.

Bachman,L.F.1990.FundamentalConsiderationsinLanguageTesting[M].Oxford：Oxford University Press.

Bachman,L.F.& Palmer,A.1996.LanguageTestinginPractice[M].Oxford：Oxford University Press.

Blum-Kulka,S.,House,J.& Kasper,G.(Eds.).1989.Cross-culturalPragmatics：RequestandApologies[M].Norwood,NJ：Ablex.

Bouton,L.F.1988.A cross-cultural study of ability to interpret implicatures in English[J].WorldEnglishes(7)：183-196.

Bouton,L.F.1994a.Conversational implicature in a second language：Learned slowly when not deliberately taught[J].JournalofPragmatics(22)：157-167.

Bouton,L.F.1994b.Can NNS skill in interpreting implicature in American English be improved through explicit instruction—A pilot study.L.F.Bouton(Ed.)PragmaticsandLanguageLearning[C].Urbana,IL:University of Illinois at Urbona Champaign,88-109.

Bouton,L.F.1999.Developing nonnative speaker skills in interpreting conversational implicatures in English：Explicit teaching can ease the process[A].In E.Hinkel(Eds.).CultureinSecondLanguageTeachingandLearning[C].Cambridge：Cambridge University Press,47-70.

Brown,P.2001.Pragmatics tests：Different purpose,different tests[A].In Rose,K.& Kasper,G.(Eds.).PragmaticsinLanguageTeaching[C].Cambridge：Cambridge University Press,301-305.

Brown,P.2008.Raters,functions,item types and the dependability of L2 pragmatics tests[A].In Soler.E.A.,and Martinez-Flor.A.(Eds.).InvestigatingPragmaticsinForeignLanguageLearning,TeachingandTesting[C].Bristol：Multilingual Matters,224-248.

Enochs,K.& Yoshitake-Strain,S.1996.Self-assessment and role plays for evaluating appropriateness in speech act realizations[J].ICULanguageReasearchBulletin(11):57-76.

Enochs,K.& Yoshitake-Strain,S.1999.Evaluating six measures of EFL learners’ pragmatic competence[J].JALTJournal(21):29-50.

Grice,H.P.1975.Logic and conversation[A].Cole.P.& Morgan,J.(Eds.).SyntaxandSemantics:SpeechActs[C].New York:Academic Press.

Golato,A.2003.Studying compliment responses：A comparison of DCTs and recordings of naturally occurring talk[J].AppliedLinguistics(1)：1-54.

Hudson,T.,Detmer,E.& Brown.J.D.1995.Developing prototypic measures of cross-cultural pragmatics(Technical Report 7).Honolulu：University of Hawaii,Second Language Teaching and Curriculum Center.

Hudson,T.2001.Indicators for cross-cultural pragmatic instruction：some quantitative tools[A].In Rose,K.& Kasper,G.(Eds.).PragmaticsinLanguageTeaching[C].Cambridge：Cambridge University Press,283-300.

Kasper,G.& Rose,K.R.2002.PragmaticDevelopmentinaSecondLanguage[M].Oxford：Basil Blackwell.

Leech,G.1983.PrinciplesofPragmatics[M].London：Longman.

McNamara,T.F.& Roever,C.2006.LanguageTesting：TheSocialDimension[M].Oxford：Basil Blackwell.

Roever,C.2005.TestingESLPragmatics[M].Frankfurt：Peter Lang.

Roever,C.2006.Validation of a web-based test of ESL pragmalinguistics[J].LanguageTesting(2):229-256.

Roever,C.2011.Testing of second language pragmatics：Past and future[J].LanguageTesting(4):463-481.

Rose,K.& Kasper.G.2001.PragmaticsinLanguageTeaching[M].New York：Cambridge University Press.

Tada,M.2005.Assessment of ESL pragmatic production and perception using video prompts[D].Unpublished doctoral dissertation,Temple University,Japan.

Taguchi,N.2005.Comprehending implied meaning in English as a foreign language[J].TheModernlanguagejournal(89)(4):543-562.

Taguchi,N.2007.Development of speed and accuracy in pragmatic comprehension in English as a foreign language[J].TESOLQuarterly(2):313-338.

Taguchi,N.2008.Pragmatic comprehension in Japanese as a foreign language[J].TheModernLanguageJournal(4):558-576.

Walters,F.S.2004.An application of conversation analysis to the development of a test of second language pragmatic competence[D].Unpublished doctoral dissertation,University of Illinois at Urbana-Champaign.

Walters,F.S.2007.A conversation-analytic hermeneutic rating protocol to assess L2 oral pragmatic competence[J].LanguageTesting(2):155-183.

Walters,F.S.2009.A conversation analysis-informed test of L2 aural pragmatic comprehension[J].TESOLQuarterly(1):29-54.

Yamashita,S.O.1996.Six measures of JSL pragmatics(Technical Peport 14).Honolulu：University of Hawaii,Second Language Teaching and Curriculum Center.

Yoshitake-Strain,S.1997.Measuring inteerlanguage pragmatic competence of Japanese students of English as a foreign language：A mutli-test framework evaluation[D].Unpublished doctoral dissertation,Columbia Pacific University,Novata,CA.

劉建達，2006，中國學生英語語用能力的測試[J],《外語教學與研究》(4)：259-265。

劉建達，2007，語用能力測試的評卷對比研究[J],《現(xiàn)代外語》(4)：395-404。

(李清平：中南大學外國語學院教授； 鄭娜新：中南大學外國語學院碩士研究生)

通訊地址：410083湖南省長沙市岳麓區(qū)中南大學新校區(qū)外國語學院

*本文系2012-2014湖南省哲學社會科學基金(項目號12YBA336)和2013年中南大學研究生自主創(chuàng)新研究項目(項目號2014zzts118)的部分成果。

H319

A

2095-9648(2015)01-0067-05

2014-12-16