鄒紹艷

(青島農(nóng)業(yè)大學(xué),青島,266109)

1.引言

英語(yǔ)分級(jí)考試的主要目的是通過(guò)對(duì)學(xué)生的英語(yǔ)水平進(jìn)行測(cè)量,將他們分配到合適的英語(yǔ)學(xué)習(xí)環(huán)境中,最大限度地優(yōu)化他們的學(xué)習(xí)經(jīng)歷,為之提供多元化的英語(yǔ)教學(xué)。自20世紀(jì)八十年代以來(lái),根據(jù)教育部頒發(fā)的《大學(xué)英語(yǔ)教學(xué)大綱》(1985,1986)的要求,中國(guó)絕大部分高校都在分析本校教學(xué)需求和現(xiàn)狀的基礎(chǔ)上,實(shí)行了大學(xué)英語(yǔ)分級(jí)教學(xué),部分高校還開(kāi)發(fā)設(shè)計(jì)了新生英語(yǔ)分級(jí)考試,以便更準(zhǔn)確地測(cè)量學(xué)生的英語(yǔ)學(xué)習(xí)起點(diǎn)(金艷2008:60)。

Westrick(2005)認(rèn)為,開(kāi)發(fā)一種有效的分級(jí)考試不僅包括設(shè)計(jì)與真實(shí)課程相關(guān)的題目、對(duì)題目進(jìn)行試測(cè)、分析考試數(shù)據(jù),更重要的是應(yīng)該不斷地完善考試,以確?？荚嚪?jǐn)?shù)的可靠性以及決策的合理性。盡管目前各高校自行開(kāi)發(fā)設(shè)計(jì)的英語(yǔ)分級(jí)考試被廣泛用于制定重要的分級(jí)教學(xué)決策,但是關(guān)于這類(lèi)校本考試的效度研究卻鮮有報(bào)道。本研究選取山東省某所高校開(kāi)發(fā)設(shè)計(jì)的校本英語(yǔ)分級(jí)考試(以下簡(jiǎn)稱(chēng)QDAU英語(yǔ)分級(jí)考試)①為研究對(duì)象,檢驗(yàn)校本英語(yǔ)分級(jí)考試的構(gòu)念效度,以期進(jìn)一步完善此類(lèi)考試,保證分級(jí)教學(xué)決策的合理性。

2.構(gòu)念效度概述以及分級(jí)考試的研究現(xiàn)狀

美國(guó)心理學(xué)會(huì)(American Psychological Associ-ation)等機(jī)構(gòu)把“根據(jù)考試成績(jī)所做出的推論的恰當(dāng)性、意義性和有用性”歸納為效度(1985:9),并且把效度認(rèn)定為考試開(kāi)發(fā)和考試評(píng)估中最基本的要素(1999:9)。傳統(tǒng)上,效度分為內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度和構(gòu)念效度等幾種不同類(lèi)型,但是心理測(cè)量學(xué)家越來(lái)越把效度看作是一個(gè)整體概念(Bachman 1990)。在Bachman和Palmer(1996)提出的測(cè)試有用性的公式中,構(gòu)念效度取代了傳統(tǒng)意義上的效度概念。Messick(1998:3)認(rèn)為,“效度是一個(gè)統(tǒng)一的概念,即只有構(gòu)念效度這一種效度,而并非傳統(tǒng)意義上的多種概念。統(tǒng)一概念的意思是蘊(yùn)含在構(gòu)念效度中的分?jǐn)?shù)意義存在于所有基于分?jǐn)?shù)的推斷之中。”簡(jiǎn)而言之,構(gòu)念效度指的是考試分?jǐn)?shù)在多大程度上能夠代表我們想要測(cè)量的能力或構(gòu)念。

國(guó)外針對(duì)英語(yǔ)作為外語(yǔ)或第二語(yǔ)言學(xué)習(xí)者(EFL,ESL)的分級(jí)考試的效度研究起步較早,成果也比較豐富。Wall等人(1994)研究了用于診斷學(xué)術(shù)英語(yǔ)環(huán)境中受試者語(yǔ)言能力弱點(diǎn)的Lancaster大學(xué)英語(yǔ)分班考試,并指出效度研究中最大的困難就是進(jìn)行同期效度檢驗(yàn)。Fulcher(1997)對(duì)Surrey大學(xué)的英語(yǔ)分級(jí)考試預(yù)試試卷進(jìn)行了信度和效度驗(yàn)證。Green和Weir(2004)用項(xiàng)目反應(yīng)理論和因子分析法對(duì)全球語(yǔ)言學(xué)校通用的英語(yǔ)分級(jí)考試進(jìn)行了研究,并對(duì)這種基于語(yǔ)法的測(cè)試能否為教學(xué)提供足夠的診斷性信息提出了質(zhì)疑。國(guó)內(nèi)學(xué)者對(duì)分級(jí)考試的研究起步較晚,而且研究方法主要以理論綜述和試卷結(jié)構(gòu)描述分析為主(如王瑞2006；彭家海2007；劉立2009),并沒(méi)有對(duì)分級(jí)考試的效度進(jìn)行深入全面的實(shí)證性研究。

Anderson等人(1991)認(rèn)為對(duì)構(gòu)念效度的研究是一個(gè)不斷收集各種證據(jù),支持分?jǐn)?shù)解釋的持續(xù)的過(guò)程。QDAU英語(yǔ)分級(jí)考試盡管已實(shí)施十年有余,但是其構(gòu)念效度卻未曾受到關(guān)注與驗(yàn)證。鑒于該考試在大學(xué)英語(yǔ)分級(jí)教學(xué)決策中的關(guān)鍵性作用,所以有必要開(kāi)展相關(guān)研究,驗(yàn)證考試的構(gòu)念效度。

3.研究設(shè)計(jì)

3.1 研究問(wèn)題

Messick(1989,1992)提出分?jǐn)?shù)的解釋和相應(yīng)的構(gòu)念效度有兩種情況:1)構(gòu)念表現(xiàn)不足,即構(gòu)念中的某些重要特征被遺漏,測(cè)試分?jǐn)?shù)不能通過(guò)該構(gòu)念得到充分恰當(dāng)?shù)亟忉專(zhuān)?)構(gòu)念不相關(guān),測(cè)試分?jǐn)?shù)可能因?yàn)檫@些與測(cè)試目的不相關(guān)的構(gòu)念而被曲解,從而影響效度。根據(jù)這一理論,本文擬定總體上研究的一個(gè)大問(wèn)題是:校本英語(yǔ)分級(jí)考試的構(gòu)念效度如何？具體而言,將探討以下三個(gè)小問(wèn)題:

(1) QDAU分級(jí)考試的內(nèi)部結(jié)構(gòu)是否具有一致性？(2) QDAU分級(jí)考試的構(gòu)念中包括幾個(gè)因子？是否存在構(gòu)念表現(xiàn)不足或構(gòu)念不相關(guān)的現(xiàn)象？(3) 受試對(duì)QDAU分級(jí)考試的態(tài)度如何？是否認(rèn)可該考試的效度？

3.2 研究對(duì)象、工具和方法

QDAU分級(jí)考試的考試大綱、試卷是本文的主要研究對(duì)象?？荚嚧缶V主要規(guī)定考查學(xué)生的語(yǔ)言知識(shí)以及語(yǔ)言知識(shí)的應(yīng)用能力,具體包括:詞匯語(yǔ)法知識(shí)、閱讀理解能力,以及語(yǔ)言知識(shí)的綜合應(yīng)用能力。

QDAU分級(jí)考試的試卷包括五個(gè)測(cè)試任務(wù):快速閱讀(Skimming and Scanning)、選錯(cuò)(Error-selecting)、仔細(xì)閱讀(Careful Reading)、詞匯和語(yǔ)法(Vocabulary and Grammar)以及完形填空(Cloze),所占比例分別是10%、15%、50%、15%和10%,滿(mǎn)分為100。所有的測(cè)試任務(wù)都是客觀題,采用多項(xiàng)選擇題型(Multiple Choice Items)。根據(jù)開(kāi)發(fā)該考試的主要負(fù)責(zé)教師介紹,考試試卷之所以不設(shè)計(jì)聽(tīng)力、口語(yǔ)和寫(xiě)作任務(wù)主要是考慮到施測(cè)的方便性和閱卷的客觀性。

問(wèn)卷調(diào)查是本研究使用的主要研究工具。問(wèn)卷設(shè)計(jì)采用里克特五級(jí)量表的形式:1代表非常不認(rèn)同,2代表不太認(rèn)同,3代表一般,4代表比較認(rèn)同,5代表非常認(rèn)同。問(wèn)卷的內(nèi)容涉及到考試試卷的整體效度和分項(xiàng)效度。

本文采用定量和定性分析相結(jié)合的方法,首先用SPSS14.0軟件對(duì)QDAU分級(jí)考試的分?jǐn)?shù)分布進(jìn)行正態(tài)分布檢驗(yàn),然后對(duì)五個(gè)測(cè)試任務(wù)的分?jǐn)?shù)進(jìn)行相關(guān)性分析和因子分析,檢驗(yàn)試卷內(nèi)部結(jié)構(gòu)是否具有一致性,并探索試卷所要考核的構(gòu)念,最后用問(wèn)卷調(diào)查了解考生對(duì)試卷總體效度及對(duì)各分項(xiàng)效度的意見(jiàn)。

3.3 實(shí)驗(yàn)對(duì)象和數(shù)據(jù)收集

本研究的受試是山東省一所普通高校分屬四個(gè)不同專(zhuān)業(yè)班級(jí)的128名大一新生。他們來(lái)自全國(guó)不同地區(qū),學(xué)習(xí)英語(yǔ)的背景存在一定的差異,但這并不影響基于考試分?jǐn)?shù)所做出的決定的公平性。Eckes和Grotjahn(2006:291)認(rèn)為,“在分級(jí)考試中,我們經(jīng)常需要對(duì)受試者在多樣化的目標(biāo)語(yǔ)使用情境中的能力進(jìn)行快速有效地判斷,勿需考慮他們各自的語(yǔ)言學(xué)習(xí)歷史”。

受試于2011年9月參加了該校組織的QDAU分級(jí)考試,時(shí)長(zhǎng)為2個(gè)小時(shí)。為確保收集到有效可靠的數(shù)據(jù),本文的作者及其他五位外語(yǔ)教師單獨(dú)監(jiān)考。考試結(jié)束后,監(jiān)考人員向128名受試發(fā)放了問(wèn)卷,讓他們用15分鐘完成,然后全部收回。

4.結(jié)果與討論

由于參加該研究的樣本總量小于200人,因此,我們首先對(duì)受試的分?jǐn)?shù)進(jìn)行正態(tài)分布檢驗(yàn),看正態(tài)分布條件是否符合,然后再進(jìn)一步開(kāi)展其它的統(tǒng)計(jì)分析與研究。

圖1 受試者在QDAU分級(jí)考試中的成績(jī)分布圖

圖1是對(duì)受試在QDAU分級(jí)考試中的分?jǐn)?shù)的正態(tài)分布檢驗(yàn)圖。從圖中可以看出,該考試的分?jǐn)?shù)基本呈現(xiàn)正態(tài)分布,但考試的分?jǐn)?shù)比較趨中,也就是說(shuō)分布在60分左右的人數(shù)最多。

表1 QDAU分級(jí)考試的描述性參數(shù)

表1是受試考試分?jǐn)?shù)的描述性統(tǒng)計(jì)結(jié)果。從表1可知,測(cè)試的均值和標(biāo)準(zhǔn)差分別是63.92和14.77,說(shuō)明分?jǐn)?shù)的離散程度較高,能夠區(qū)分不同水平的受試者。研究者認(rèn)為,圖1所反應(yīng)的考試分?jǐn)?shù)的趨中現(xiàn)象應(yīng)該是由參與研究的樣本較小造成的結(jié)果。

4.1 QDAU分級(jí)考試項(xiàng)目?jī)?nèi)部一致性分析

QDAU分級(jí)考試各子項(xiàng)目之間以及子項(xiàng)目與總分之間的相關(guān)矩陣如表2所示。

表2 相關(guān)矩陣

注:**p<0.01， *p<0.05

從表2可知,所有子項(xiàng)目與總分的相關(guān)都在0.01水平上顯著?！案鶕?jù)經(jīng)典測(cè)量理論,子項(xiàng)目和總分的相關(guān)可能被期望達(dá)到0.7或者更高,因?yàn)榭偡质菍?duì)語(yǔ)言能力的綜合測(cè)量”(Aldersonetal.1995:184)。在所有子項(xiàng)目與總分的相關(guān)中,仔細(xì)閱讀與總分相關(guān)系數(shù)最大,相關(guān)性最為明顯。其余測(cè)試項(xiàng)目如快速閱讀、選錯(cuò)、詞匯、完形填空與總分的相關(guān)關(guān)系雖然也在0.01的水平上顯著,但都低于0.7,表明這些測(cè)試項(xiàng)目對(duì)總分的影響雖然顯著,但并未達(dá)到經(jīng)典測(cè)試?yán)碚撍谕闹笜?biāo)。這一結(jié)果說(shuō)明,在五個(gè)測(cè)試項(xiàng)目中,仔細(xì)閱讀對(duì)總分的解釋力最強(qiáng)。

Alderson等(1995)認(rèn)為,測(cè)試中之所以設(shè)計(jì)不同項(xiàng)目是因?yàn)樗鼈兡軌蚩己瞬煌哪芰?因此我們預(yù)期的相關(guān)也比較低,可能在0.3～0.5之間。而在分級(jí)考試各子項(xiàng)目之間的相關(guān)中,閱讀理解與選錯(cuò)、閱讀理解與詞匯語(yǔ)法、詞匯語(yǔ)法與完形填空之間的相關(guān)關(guān)系都在0.01的水平上顯著。但是快速閱讀與詞匯的相關(guān)系數(shù)非常低,僅為0.090,快速閱讀與完形填空之間竟然呈現(xiàn)負(fù)相關(guān)關(guān)系。這說(shuō)明快速閱讀考查的語(yǔ)言能力與詞匯語(yǔ)法和完形填空是完全異質(zhì)的。另外,選錯(cuò)部分與完形填空部分的相關(guān)也非常低,只有0.153,說(shuō)明這兩部分考核的語(yǔ)言能力也是異質(zhì)的。而且值得注意的是,快速閱讀和仔細(xì)閱讀的相關(guān)系數(shù)為0.202,僅在0.05水平上顯著。

產(chǎn)生這種相關(guān)關(guān)系的原因可能有以下幾點(diǎn):第一,仔細(xì)閱讀部分在整份試卷中所占的比例最大(50%),而相比之下,其它測(cè)試項(xiàng)目所占的比例較小,因此除了閱讀理解與總分的相關(guān)系數(shù)高于0.7以外,其他測(cè)試項(xiàng)目與總分的相關(guān)系數(shù)都未達(dá)到0.7。第二,快速閱讀這種測(cè)試任務(wù)目前盡管已在大規(guī)模考試(如CET、TEM、TOEFL等)中被廣泛應(yīng)用,但是對(duì)于大一新生而言,這是一種比較陌生的題型,他們不太了解完成這種任務(wù)所需要的策略和技巧,因此這一項(xiàng)目的分?jǐn)?shù)與其他項(xiàng)目的分?jǐn)?shù)相關(guān)性較差。第三,QDAU分級(jí)考試的選錯(cuò)部分要求考生從15個(gè)所給句子中選出錯(cuò)誤,但是并未提供充分的語(yǔ)篇信息,這與高考英語(yǔ)的改錯(cuò)部分不太一樣,因此受試在這種題型上表現(xiàn)出的能力也較弱,導(dǎo)致這一項(xiàng)目的得分與其它項(xiàng)目得分的相關(guān)性不太明顯。

總之,在所有子項(xiàng)目之間的相關(guān)關(guān)系中,只有選錯(cuò)與仔細(xì)閱讀、仔細(xì)閱讀與詞匯語(yǔ)法以及詞匯語(yǔ)法與完形填空之間的相關(guān)關(guān)系在0.01的水平上顯著,而其余子項(xiàng)目之間的相關(guān)關(guān)系都未達(dá)到0.01的顯著性水平,說(shuō)明QDAU分級(jí)考試的試卷內(nèi)部結(jié)構(gòu)一致性不太理想,有待于進(jìn)一步提高。

4.2 QDAU分級(jí)考試構(gòu)念的因子分析

為了進(jìn)一步探索QDAU分級(jí)考試所考核的構(gòu)念,我們需要對(duì)表2中的相關(guān)矩陣進(jìn)行因子分析。首先對(duì)相關(guān)矩陣進(jìn)行KMO與Bartlett球形檢驗(yàn),結(jié)果顯示KMO檢驗(yàn)系數(shù)為0.660,Bartlett球形檢驗(yàn)的卡方值為49.240,p=0.01,滿(mǎn)足對(duì)表2中的相關(guān)矩陣進(jìn)行因子分析的條件。表3和表4分別是利用主成份分析法提取的公因子方差以及被解釋的方差總計(jì)。

表3 公因子方差

從表3可以看出,在5個(gè)測(cè)試項(xiàng)目中,快速閱讀能夠解釋公因子中最大的方差,達(dá)0.714；其次是完形填空,達(dá)0.641；仔細(xì)閱讀、詞匯語(yǔ)法和選錯(cuò)這三部分能夠解釋的公因子的方差值依次是0.553、0.536和0.441。這說(shuō)明提取的公因子能夠較好地代表這5個(gè)變量。而5個(gè)測(cè)試項(xiàng)目所考核的構(gòu)念在公因子中得到最大程度體現(xiàn)的是快速閱讀和完形填空。

表4 被解釋的方差總計(jì)

表4顯示,5個(gè)因子中特征值大于1的因子有兩個(gè),它們的特征值分別是1.810和1.079。經(jīng)過(guò)正交旋轉(zhuǎn)后,它們的特征值略有變化,分別是1.809和1.080,這兩個(gè)因子能夠解釋的方差百分比是36.185%和21.599%,也就是說(shuō)這兩個(gè)因子總共能夠解釋五個(gè)變量中56.783%的方差。表5中顯示的是主成分分析法提取的兩個(gè)因子在五個(gè)項(xiàng)目中的負(fù)荷。

表5 被提取的因子負(fù)荷矩陣

a.兩個(gè)因子被提取

從表5可以看出,主成分分析法提取了兩個(gè)主要因子,其中因子1在詞匯語(yǔ)法和完形填空兩個(gè)部分的負(fù)荷都高于0.6,可以把它看作是詞匯語(yǔ)法知識(shí)及其在語(yǔ)篇中的運(yùn)用能力。而因子2在快速閱讀部分的負(fù)荷最大,達(dá)到0.813。另外它在選錯(cuò)和仔細(xì)閱讀部分的負(fù)荷也比較大,分別是0.567和0.573,因此應(yīng)該把因子2確定為閱讀理解能力。

根據(jù)因子分析的結(jié)果,可以得出結(jié)論,QDAU分級(jí)考試的構(gòu)念主要包括兩個(gè)因子:第一是詞匯語(yǔ)法知識(shí)及其在語(yǔ)篇中的運(yùn)用能力；第二是閱讀理解能力。這與QDAU分級(jí)考試大綱規(guī)定考核的構(gòu)念基本一致,但是大綱中擬考核的“語(yǔ)言知識(shí)的運(yùn)用能力”并沒(méi)有在5個(gè)測(cè)試項(xiàng)目中得到充分體現(xiàn),而且總分中仍然有大約43%的方差沒(méi)有被提取的公因子所解釋,也就是說(shuō)考試的分?jǐn)?shù)中仍然存在構(gòu)念表現(xiàn)不足的現(xiàn)象。

4.4 問(wèn)卷調(diào)查結(jié)果

回收的128份問(wèn)卷中,剔除4份未作任何回答的問(wèn)卷,剩下124份視為有效問(wèn)卷。問(wèn)卷共包含10道題目,其中1～9是選擇題,而最后1個(gè)題目則是開(kāi)放式問(wèn)題。前5個(gè)問(wèn)題的調(diào)查結(jié)果如表6所示。

表6 Q1-Q5的調(diào)查結(jié)果

注:Q1=您在考前非常了解本次考試的目的和意義；Q2=試卷整體結(jié)構(gòu)設(shè)計(jì)合理；Q3=試卷指令清晰,便于理解；Q4=試卷能夠準(zhǔn)確測(cè)出您的英語(yǔ)水平；Q5=試卷能夠有效地區(qū)分不同水平的英語(yǔ)學(xué)習(xí)者。

表6顯示,受試對(duì)第1個(gè)問(wèn)題的贊同比例較低,只有23%的受試考前對(duì)這次分級(jí)考試的目的和意義比較了解。但是,受試對(duì)考試目的和意義的了解會(huì)直接影響他們?cè)诳荚囍械谋憩F(xiàn)或考試的分?jǐn)?shù)。第2到第5個(gè)問(wèn)題旨在調(diào)查受試者對(duì)試卷表面效度的態(tài)度,從表6中可以看出,他們對(duì)這幾個(gè)問(wèn)題所涉及的內(nèi)容的認(rèn)同度都略高于50%,這4個(gè)問(wèn)題的得分均值都在3.4以上,說(shuō)明大多數(shù)受試者對(duì)試卷的整體效度比較肯定。

Q6～Q9旨在調(diào)查受試對(duì)5個(gè)測(cè)試項(xiàng)目的意見(jiàn),調(diào)查結(jié)果如表7所示。

表7 第6-9個(gè)問(wèn)題的調(diào)查結(jié)果

從表7可以看出,受試對(duì)五個(gè)測(cè)試項(xiàng)目的意見(jiàn)有較大差異。對(duì)于Q6即哪個(gè)測(cè)試任務(wù)最能準(zhǔn)確地測(cè)量您的英語(yǔ)水平這一問(wèn)題,42%的受試者選擇詞匯語(yǔ)法,31%的人則選擇仔細(xì)閱讀,這說(shuō)明絕大多數(shù)受試者比較認(rèn)同這兩個(gè)傳統(tǒng)測(cè)試任務(wù)的效度。對(duì)Q7即哪個(gè)測(cè)試任務(wù)最不能反映您目前的英語(yǔ)水平這一問(wèn)題,受試的反應(yīng)幾乎同他們對(duì)Q6的反應(yīng)決然相反。選擇快速閱讀和選錯(cuò)的人分別占了48%和22%,這說(shuō)明大多數(shù)受試者不太認(rèn)同這兩種測(cè)試任務(wù)的效度,尤其是快速閱讀的效度。Q8問(wèn)的是哪個(gè)測(cè)試任務(wù)最難,58%的人的答案為快速閱讀。受試對(duì)這一問(wèn)題的反應(yīng)同第7個(gè)問(wèn)題的調(diào)查結(jié)果恰好一致,說(shuō)明對(duì)他們來(lái)說(shuō)較難的測(cè)試任務(wù),效度也難以得到認(rèn)可。Q9問(wèn)的是哪個(gè)測(cè)試任務(wù)最簡(jiǎn)單,56%的受試者選擇詞匯語(yǔ)法,說(shuō)明多數(shù)受試者認(rèn)為傳統(tǒng)測(cè)試項(xiàng)目比較簡(jiǎn)單,而且能夠測(cè)量出他們的實(shí)際水平。

最后1個(gè)開(kāi)放式問(wèn)題旨在了解學(xué)生對(duì)于QDAU分級(jí)考試的試卷設(shè)計(jì)是否還有別的意見(jiàn)或建議。對(duì)于這一問(wèn)題,34%的受試者沒(méi)有回答,而其他的受試者則提出了各種各樣的意見(jiàn),如:“全是選擇題,很枯燥”；“為什么不考寫(xiě)作,我很擅長(zhǎng)寫(xiě)作啊”；“既然是分級(jí)考試,聽(tīng)力和口語(yǔ)也很重要”；“Skimming and Scanning文章篇幅實(shí)在太長(zhǎng)太難了”；“選錯(cuò)題應(yīng)該提供上下文,像高考一樣”；……

問(wèn)卷的結(jié)果給了我們?nèi)缦轮匾獑⑹?

一方面,考試的開(kāi)發(fā)或施測(cè)部門(mén)應(yīng)在考前向考生充分說(shuō)明考試目的和意義,唯有如此,考生才會(huì)以一種積極的態(tài)度參加考試,發(fā)揮出最佳水平,考試的結(jié)果才具備可比性。受試對(duì)測(cè)試任務(wù)的態(tài)度很大程度上取決于自身水平的高低以及他們對(duì)測(cè)試任務(wù)的熟悉程度。仔細(xì)閱讀、詞匯語(yǔ)法和完形填空都是受試者在中學(xué)階段就已經(jīng)比較熟悉的項(xiàng)目,而快速閱讀和選錯(cuò)對(duì)于受試者來(lái)說(shuō)則是比較陌生的題型。

另一方面,受試的意見(jiàn)反映出他們對(duì)考核口語(yǔ)、聽(tīng)力和寫(xiě)作的需求,即交際語(yǔ)言能力的需求。Bachman(1990)提出的交際語(yǔ)言能力(communicative language ability)框架認(rèn)為,語(yǔ)言能力包括語(yǔ)言知識(shí)或能力,以及在具體的交際情景中對(duì)這種能力的恰當(dāng)使用。QDAU分級(jí)考試的測(cè)試任務(wù)全部采用多項(xiàng)選擇題型,不能充分考核受試者的交際能力,尤其是產(chǎn)出性語(yǔ)言能力,這是此次考試最大的缺陷?？荚囬_(kāi)發(fā)者也應(yīng)該把受試的實(shí)際語(yǔ)言能力需求放在首位。

QDAU英語(yǔ)分級(jí)考試還存在以下幾個(gè)問(wèn)題值得進(jìn)一步探討:第一,既然分級(jí)考試目的是為了保障分級(jí)教學(xué)的順利進(jìn)行,那么考試大綱的制定是否應(yīng)該考慮到后續(xù)教學(xué)要求？第二,分級(jí)考試所考核的構(gòu)念與考試大綱界定的構(gòu)念應(yīng)怎樣進(jìn)行合理的銜接？第三,快速閱讀作為一種對(duì)閱讀策略和技巧要求較高的測(cè)試任務(wù),是否應(yīng)該在分級(jí)考試中使用？

5.結(jié)語(yǔ)

本研究以QDAU分級(jí)考試為例,嘗試驗(yàn)證了校本英語(yǔ)分級(jí)考試的構(gòu)念效度。研究結(jié)果表明,在校本英語(yǔ)分級(jí)考試的開(kāi)發(fā)和設(shè)計(jì)中存在一定的問(wèn)題,此類(lèi)考試的構(gòu)念效度有待于進(jìn)一步提高。例如,QDAU分級(jí)考試大綱中界定的“語(yǔ)言知識(shí)的使用能力”這一構(gòu)念比較籠統(tǒng),可能不利于命題者設(shè)計(jì)相關(guān)的測(cè)試任務(wù)。嚴(yán)明(2012)提出,對(duì)于測(cè)試設(shè)計(jì)者而言,首先要考慮的是如何把抽象的語(yǔ)言能力具體化,使其在實(shí)踐中指導(dǎo)測(cè)試開(kāi)發(fā)和設(shè)計(jì)。考試的開(kāi)發(fā)和設(shè)計(jì)應(yīng)該綜合考慮受試的實(shí)際語(yǔ)言需求和考試的可操作性,否則無(wú)法充分彰顯考試的有用性。

受限于研究條件,本文只分析了一所學(xué)校開(kāi)發(fā)的分級(jí)考試的小樣本數(shù)據(jù),雖在一定程度上體現(xiàn)此類(lèi)考試的構(gòu)念效度,但是鑒于分級(jí)考試是大學(xué)英語(yǔ)分級(jí)教學(xué)實(shí)施的重要依據(jù),且對(duì)教學(xué)可能產(chǎn)生巨大的反撥作用,我們建議從多個(gè)角度在更多的規(guī)模上對(duì)這類(lèi)考試進(jìn)行更加全面的研究。

附注:

① QDAU英語(yǔ)分級(jí)考試是山東省某高校開(kāi)發(fā)設(shè)計(jì)的校本英語(yǔ)分級(jí)考試。

Alderson, J.C.etal.1995.LanguageTestConstructionandEvaluation[M].Cambridge: Cambridge University Press.

American Psychological Association.1985.StandardsforEducationalandPsychologicalTesting[S].Washington, DC: American Psychological Association.

American Psychological Association, American Educational Research Association, and National Council on Measurement in Education.1999.StandardsforEducationalandPsychologicalTesting[S].Washington, D.C.: American Educational Research Association.

Bachman, L.F.1990.FundamentalConsiderationsinLanguageTesting[M].Oxford: Oxford University Press.

Bachman, L.F.& A.S.Palmer.1996.LanguageTestinginPractice:DesigningandDevelopingUsefulLanguageTests[M].Oxford: Oxford University Press.

Fulcher, G.1997.An English language placement test: Issues in reliability and validity[J].LanguageTesting14(2):113-38.

Green, A.B.& C.J.Weir.2004.Can placement tests inform instructional decisions[J].LanguageTesting21(4):467-94.

Messick, S.A.1989.Validity[A].In R.Linn (ed.).EducationalMeasurement[C].New York: Macmillan.13-103.

Messick, S.A.1992.Validity of test interpretation and use[A].In M.C.Alkin (ed.).EncyclopediaofEducationalResearch(6th edition)[C].New York: Macmillan.

Messick, S.A.1998.Consequences of test interpretation and use: the fusion of validity and values in psychological assessment (RR-98-48)[R].Princeton: ETS.

Nakamura, Y.2007.A Rasch-based analysis of an in-house English placement test[R].Sendai.

Wall, D.etal.1994.Evaluating a placement test[J].LanguageTesting11(3):321-44.

Westrick, P.2005.Score reliability and placement testing[J].JALT27(1):71-92.

金艷.2008.關(guān)于大學(xué)英語(yǔ)教學(xué)改革的思考:評(píng)價(jià)與教學(xué)[J].中國(guó)外語(yǔ)教育(3):57-66.

劉立.2009.完形填空考點(diǎn)效度分析及語(yǔ)篇教學(xué)——個(gè)案分析中央民族大學(xué)2008級(jí)新生入學(xué)英語(yǔ)分級(jí)測(cè)試試卷[J].廣西民族大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版)(S1):127-29.

彭家海.2007.提高大學(xué)英語(yǔ)分級(jí)測(cè)試信度和效度的途徑淺議[J].南方論刊(12):76-77.

王瑞.2006.大學(xué)英語(yǔ)入學(xué)分級(jí)水平交際能力測(cè)試研究[J].黑龍江高教研究(10):167-68.

嚴(yán)明.2012.商務(wù)英語(yǔ)能力構(gòu)念界定和測(cè)試[J].當(dāng)代外語(yǔ)研究(2):23-28.

鄒紹艷.2012.高等農(nóng)業(yè)院校大學(xué)英語(yǔ)分級(jí)考試的校標(biāo)關(guān)聯(lián)效度研究[J].中國(guó)農(nóng)業(yè)教育(2):11-13.