（合肥工業(yè)大學(xué) 外語(yǔ)學(xué)院大外部，安徽 合肥 230009）

引言

目前大學(xué)英語(yǔ)教學(xué)面臨的一大難題是考進(jìn)同一所學(xué)校甚至同一個(gè)專(zhuān)業(yè)的學(xué)生英語(yǔ)水平參差不齊，個(gè)體差異很大。大部分高校為了了解學(xué)生的英語(yǔ)學(xué)習(xí)水平和學(xué)習(xí)能力，以便根據(jù)教育部頒發(fā)的《大學(xué)英語(yǔ)教學(xué)大綱（1985）》的要求更有效地組織教學(xué)都實(shí)施了校本分級(jí)考試。根據(jù)學(xué)生的分級(jí)考試成績(jī)將他們分到不同班級(jí)進(jìn)行分級(jí)教學(xué)，能更好地因材施教，最大限度地優(yōu)化學(xué)生英語(yǔ)學(xué)習(xí)效果。分級(jí)考試是大學(xué)英語(yǔ)分級(jí)教學(xué)的第一步，也是關(guān)鍵的環(huán)節(jié)，將會(huì)對(duì)隨后的英語(yǔ)教學(xué)產(chǎn)生較大影響。分級(jí)考試是否公正可靠，能不能有效區(qū)分學(xué)生不同的英語(yǔ)學(xué)習(xí)水平和學(xué)習(xí)能力，依據(jù)分級(jí)考試分?jǐn)?shù)劃分的分級(jí)標(biāo)準(zhǔn)在多大程度上具備合理性，效度檢驗(yàn)便是一項(xiàng)重要的驗(yàn)證方法。因此對(duì)分級(jí)考試的效度進(jìn)行研究就很有必要，只有對(duì)考試的每一步進(jìn)行充分的研究，才能找到考試的不足和問(wèn)題所在，從而知道考試是否達(dá)到它所要考的目的，反過(guò)來(lái)更好地促進(jìn)教學(xué)。HFUT英語(yǔ)分級(jí)考試已實(shí)施了十多年，但未曾對(duì)其進(jìn)行過(guò)驗(yàn)證和研究。鑒于分級(jí)考試在大學(xué)英語(yǔ)分級(jí)教學(xué)中的關(guān)鍵性作用，本文擬對(duì)HFUT 2018級(jí)的分級(jí)考試效度進(jìn)行探索性研究。語(yǔ)言測(cè)試的效度理論經(jīng)過(guò)了不同時(shí)期代系的發(fā)展，共有5到8種效度，李筱菊將其分為4大類(lèi)，即內(nèi)在效度、外在效度、使用效度和超考試效度。其中，構(gòu)念效度和內(nèi)容效度是內(nèi)在效度，指的是測(cè)試本身的效度，本文主要分析內(nèi)在效度。

1 研究方法

1.1 研究對(duì)象

本文選取HFUT 2018級(jí)大學(xué)英語(yǔ)分級(jí)考試試卷作為研究對(duì)象(隨機(jī)抽取了123名來(lái)自全校5個(gè)不同專(zhuān)業(yè)的2018級(jí)大一新生的分級(jí)考試試卷)，該試卷的設(shè)計(jì)目的主要是考查學(xué)生的語(yǔ)言知識(shí)及其應(yīng)用能力，具體包括：詞匯語(yǔ)法知識(shí)、閱讀理解能力和獲取口頭信息的能力。此次測(cè)試的試卷包括三大測(cè)試任務(wù)：聽(tīng)力理解、詞匯與結(jié)構(gòu)和閱讀理解。各項(xiàng)所占分值分別為40%、20%、40%，滿(mǎn)分100分。全卷共60道題，各項(xiàng)平均20道題，除詞匯與結(jié)構(gòu)項(xiàng)每道題1分外，聽(tīng)力和閱讀理解兩項(xiàng)每道題2分。所有試題都是客觀題，采用多項(xiàng)選擇題型，每份試卷都配有專(zhuān)用答題紙，機(jī)器閱卷。

1.2 研究工具

研究工具為社會(huì)統(tǒng)計(jì)軟件包SPSS21、Microsoft Word 2007和Flesch易讀度美國(guó)參考量表。

2 結(jié)果與分析

首先對(duì)123名新生的分級(jí)考試分?jǐn)?shù)進(jìn)行正態(tài)分布檢驗(yàn)。

圖1 123人在HFUT 2018級(jí)分級(jí)測(cè)試中的成績(jī)分布圖

圖1.是對(duì)123名學(xué)生在HFUT2018級(jí)分級(jí)測(cè)試中分?jǐn)?shù)的正態(tài)分布檢驗(yàn)圖。從圖中可看出，此次考試的分?jǐn)?shù)基本呈正態(tài)分布，分布在50-60分左右的人數(shù)最多。

表1 HFUT 2018級(jí)123人分級(jí)考試的描述性參數(shù)

表1是123人考試分?jǐn)?shù)的描述性統(tǒng)計(jì)結(jié)果。從表1可看到總分均值為60.92，標(biāo)準(zhǔn)差為12.46，顯示學(xué)生的分?jǐn)?shù)分布較為合理，離散程度較高，可以將不同水平的學(xué)生區(qū)分出來(lái)。通過(guò)計(jì)算得出分布圖的峰值和傾斜度分別為-0.308和0.107(正常范圍為 -2～2），表明本次分級(jí)考試成績(jī)呈正態(tài)分布，有較好的信度，因此可對(duì)其進(jìn)行效度驗(yàn)證。

2.1 構(gòu)念效度 （construct validity）

構(gòu)念效度是效度中最重要的，其核心是顯示分?jǐn)?shù)意義及其解釋的可靠性。一項(xiàng)測(cè)試構(gòu)念效度的高低可通過(guò)計(jì)算出組成測(cè)試各部分之間的相互關(guān)聯(lián)性來(lái)檢驗(yàn)，就語(yǔ)言測(cè)試而言,組成試卷的試題各部分之間的相關(guān)系數(shù),楊惠中和weir通過(guò)研究得出在0.3-0.7之間是合適的，他們認(rèn)為如果兩部分試題之間的相關(guān)系數(shù)太高，則說(shuō)明這兩部分考的是相同的能力，將其中的一個(gè)部分留下即可，以避免考試內(nèi)容的重復(fù)；如果太低，則表明兩者考的是完全不同的能力[1]61。HFUT 2018級(jí)分級(jí)考試各部分之間及與總分之間的相關(guān)矩陣如表2所示。

表2 相關(guān)矩陣

從表2可看出聽(tīng)力、詞匯與結(jié)構(gòu)、閱讀各部分與總分之間的相關(guān)系數(shù)分別為0.188、0.207和0.424，且只在0.05水平上顯著。根據(jù)經(jīng)典測(cè)試?yán)碚?，各?xiàng)目與總分的相關(guān)系數(shù)可能被期望達(dá)到0.7±或更高，因?yàn)榭偡质菍?duì)語(yǔ)言能力的綜合測(cè)量[2]184。但是本次測(cè)試的各部分與總分的相關(guān)系數(shù)都與0.7相差較遠(yuǎn)，沒(méi)有達(dá)到經(jīng)典測(cè)試?yán)碚撍谕闹笜?biāo)，從而缺乏對(duì)總分的解釋力。

各部分之間的相關(guān)系數(shù)只有詞匯與結(jié)構(gòu)和閱讀為0.367，處在合適的范圍內(nèi)，在0.01水平上顯著；而聽(tīng)力和其它兩部分之間的相關(guān)系數(shù)都非常低，與閱讀之間的相關(guān)系數(shù)最低，僅為0.100，這說(shuō)明聽(tīng)力考查的語(yǔ)言能力與詞匯與結(jié)構(gòu)、閱讀兩者考的是完全不同的能力。只有閱讀和詞匯結(jié)構(gòu)之間的相關(guān)關(guān)系在0.01的水平上顯著，其余各部分之間的相關(guān)關(guān)系都沒(méi)有達(dá)到0.01的顯著性水平。由此可見(jiàn)，本次分級(jí)考試聽(tīng)力部分的考題設(shè)計(jì)存在較大問(wèn)題，試卷的內(nèi)部結(jié)構(gòu)一致性不理想。

2.2 內(nèi)容效度 （content validity）

內(nèi)容效度指的是考試是否考了要考的規(guī)定內(nèi)容，考試的內(nèi)容越是與考試大綱相關(guān)，符合考試大綱的規(guī)定和要求，越是能代表它所要求的測(cè)量任務(wù)和目標(biāo)，就越能夠獲得較高的內(nèi)容效度。李筱菊認(rèn)為因?yàn)橛邪准埡谧值拇缶V作依據(jù)，內(nèi)容效度是可檢驗(yàn)的。

此次考試的第一項(xiàng)是聽(tīng)力理解，它的內(nèi)容效度具體體現(xiàn)在材料的選取、語(yǔ)篇的長(zhǎng)度、語(yǔ)速的快慢等聽(tīng)力技能方面。此部分由新聞報(bào)道、長(zhǎng)對(duì)話(huà)和短文各兩篇組成，共20道考題，每道考題后留有10秒的答題時(shí)間，相較于《全國(guó)大學(xué)英語(yǔ)四級(jí)考試大綱（2006修訂版》（以下簡(jiǎn)稱(chēng)《考試大綱》）規(guī)定的答題時(shí)間15秒[3]，少了5秒；各部分的語(yǔ)速分別為每分鐘120詞、160詞和122詞，根據(jù)《大學(xué)英語(yǔ)課程教學(xué)要求（2007）》（以下簡(jiǎn)稱(chēng)《教學(xué)要求》）中的一般要求，大學(xué)生的聽(tīng)力能力是能聽(tīng)懂語(yǔ)速為每分鐘130-150詞的聽(tīng)力材料[4]，《考試大綱》規(guī)定，聽(tīng)力部分的語(yǔ)速為每分鐘130詞，據(jù)此可看出，第二部分語(yǔ)速較快，其它兩部分語(yǔ)速在正常范圍之內(nèi)。在新聞報(bào)道中，第一條新聞是關(guān)于索馬里及非洲另外三個(gè)國(guó)家遭受饑荒和疾病急需國(guó)際社會(huì)援助的糟糕現(xiàn)狀（共184詞）；第二條新聞是報(bào)道中國(guó)小米手機(jī)在印度市場(chǎng)的占有情況（共178詞），這兩類(lèi)話(huà)題對(duì)學(xué)生來(lái)說(shuō)都比較熟悉，理解起來(lái)難度不大。兩篇長(zhǎng)對(duì)話(huà)分別是有關(guān)周末生活安排（共277詞）和是否要去現(xiàn)場(chǎng)觀看足球比賽的討論（共281詞），有6-7輪對(duì)話(huà)，符合《考試大綱》的5-8輪對(duì)話(huà)的規(guī)定，但語(yǔ)速較快。短文的第一篇是說(shuō)研究者發(fā)現(xiàn)嬰兒發(fā)笑的原因（共233詞），第二篇是關(guān)于古埃及的社會(huì)生活（共252詞），根據(jù)《考試大綱》的規(guī)定每篇短文的長(zhǎng)度為200-250詞，這兩篇聽(tīng)力短文長(zhǎng)度符合大綱的要求。此次考試的聽(tīng)力材料語(yǔ)篇總長(zhǎng)度達(dá)到了1205詞，而高考(全國(guó)卷)聽(tīng)力材料的語(yǔ)篇總長(zhǎng)度多年穩(wěn)定在800詞左右[5]46，由此可見(jiàn)，較長(zhǎng)的語(yǔ)篇對(duì)剛參加完高考還沒(méi)開(kāi)始大學(xué)英語(yǔ)學(xué)習(xí)的考生們來(lái)說(shuō)，會(huì)對(duì)他們的聽(tīng)力理解產(chǎn)生不利的影響。在語(yǔ)速方面，長(zhǎng)對(duì)話(huà)的語(yǔ)速為每分鐘160詞，遠(yuǎn)遠(yuǎn)高出高中課程標(biāo)準(zhǔn)中的語(yǔ)速為每分鐘110詞的規(guī)定，對(duì)他們來(lái)說(shuō)難度較大。不同于閱讀，在英語(yǔ)學(xué)習(xí)中聽(tīng)力歷來(lái)就是中國(guó)學(xué)生最大的難點(diǎn)和薄弱部分，過(guò)快的語(yǔ)速瞬間使考生緊張起來(lái)并且容易使他們產(chǎn)生焦慮情緒，從而影響答題正確率，影響考試的效度，這與構(gòu)念效度分析是一致的。

閱讀理解部分的測(cè)試目的是考查考生通過(guò)閱讀獲取書(shū)面信息的能力，HFUT2018級(jí)分級(jí)考試的閱讀理解部分為仔細(xì)閱讀，由4篇短文組成，分值40%，與《考試大綱》規(guī)定的分值占35%基本一致，每篇長(zhǎng)度分別為248詞、320詞、391詞和348詞，基本符合《考試大綱》每篇300-350詞的規(guī)定，但在題型上沒(méi)有簡(jiǎn)答題和選詞填空題。4篇短文的體裁皆為敘述文，但《考試大綱》對(duì)體裁的規(guī)定則要求多樣，包括敘述文、說(shuō)明文、議論文等。因每一種文章的體裁都有其特定的寫(xiě)作結(jié)構(gòu)和不同的圖解，針對(duì)不同體裁的閱讀材料考生會(huì)用其對(duì)應(yīng)的圖解來(lái)進(jìn)行詮釋和理解，文章的體裁不同會(huì)對(duì)閱讀理解產(chǎn)生很大的影響，一般來(lái)說(shuō)，像議論文和說(shuō)明文相比記敘文讀起來(lái)就更難理解。4篇短文的話(huà)題皆有關(guān)社會(huì)生活和文化，缺乏廣泛性，而諸如人文科學(xué)、社會(huì)科學(xué)、自然科學(xué)等領(lǐng)域都是大綱規(guī)定的考試題材，應(yīng)盡可能涉及。不同的話(huà)題對(duì)考生能產(chǎn)生顯著的影響，碰上熟悉話(huà)題考生答起題來(lái)就會(huì)得心應(yīng)手，其答題的準(zhǔn)確率也會(huì)高于對(duì)話(huà)題不熟悉的考生，這就要求閱讀部分所選文章的題材應(yīng)該盡可能廣泛，盡可能多地涉及規(guī)定的領(lǐng)域，覆蓋多個(gè)方面。

測(cè)試與能力密不可分，每項(xiàng)測(cè)試都考查考生特定的能力，在閱讀技能考查方面，大綱要求考查考生是否具備在不同層面上的英語(yǔ)閱讀理解能力，包括理解文章的主旨大意及其重要細(xì)節(jié)、文章中沒(méi)有明說(shuō)而隱含的意義、根據(jù)上下文推測(cè)詞義、通過(guò)作者的用詞和語(yǔ)氣來(lái)判斷其觀點(diǎn)和態(tài)度等，楊惠中和Weir把詞匯或句子層面的技能劃定為低層次技能，即理解文章中事實(shí)及某個(gè)細(xì)節(jié)、單詞和句子、概念等，而高層次技能則是如大綱中規(guī)定的理解主旨大意、隱含意義等技能，不局限于表面的理解而是涉及到語(yǔ)篇水平上深層次的閱讀理解。本次閱讀測(cè)試的20道考題中考查事實(shí)細(xì)節(jié)類(lèi)題有10題，主旨大意類(lèi)題有3題，隱含意義類(lèi)的有3題，有關(guān)作者態(tài)度的有2題，推測(cè)判斷類(lèi)的有1題，根據(jù)上下文推測(cè)詞義的有1題，高低閱讀技能都得到了考查，符合大綱要求。但是仔細(xì)觀察不難發(fā)現(xiàn)，考查事實(shí)細(xì)節(jié)類(lèi)的低層次技能題就占了50%，各項(xiàng)技能的考查比例不均衡。此外，為測(cè)定語(yǔ)篇的易讀度，本文參考了Flesch易讀度（Flesch Reading Ease）公式和易讀度美國(guó)參考量表，使用了Microsoft Office Word的拼寫(xiě)和語(yǔ)法功能進(jìn)行計(jì)算，4篇短文的易讀度分別為62.1、76.0、64.9和61.8。Flesh易讀度以100—0百分制來(lái)評(píng)定閱讀材料的難易度，分值越高難度越低越易理解，而分值越低則難度越高越難讀。根據(jù)Flesch易讀度參考量表[6]211-233，分值為60-70的是“標(biāo)準(zhǔn)”的閱讀材料，具有此等閱讀技能的人群在全美成年人中占比75%，相當(dāng)于美國(guó)7-8年級(jí)的學(xué)生；70-80的是“相當(dāng)簡(jiǎn)單”的閱讀材料，具有此等閱讀技能的人群在全美成年人中占比80%，相當(dāng)于美國(guó)6年級(jí)的學(xué)生，由此可見(jiàn)，此次測(cè)試的語(yǔ)篇易讀度對(duì)于已學(xué)習(xí)英語(yǔ)至少八年的學(xué)生來(lái)說(shuō)偏容易了。

最后一部分的詞匯與結(jié)構(gòu)由20道多項(xiàng)選擇題組成，其中一道題考的是詞組搭配，另有兩道題考的是介詞的運(yùn)用，其它考的都是詞匯題。這20道題的出題范圍是5000多詞匯的大學(xué)英語(yǔ)詞匯表，對(duì)剛?cè)雽W(xué)的大學(xué)新生來(lái)說(shuō)，詞匯量的要求較高，答對(duì)較難。

2.3 問(wèn)題分析與討論

總體來(lái)看，此次考試試卷的內(nèi)在效度不高，尤其是構(gòu)念效度較低，如何提高分級(jí)考試的效度亟待研究。目前國(guó)內(nèi)學(xué)者的研究主要是對(duì)分級(jí)考試的某個(gè)效度或多個(gè)效度進(jìn)行驗(yàn)證和分析，并沒(méi)有從分級(jí)考試的特點(diǎn)和目的出發(fā)進(jìn)行有針對(duì)性的研究。作者認(rèn)為以下幾方面需要我們認(rèn)真思考：首先，要明確分級(jí)考試的性質(zhì)，分級(jí)考試不同于高考那樣的選拔性考試，也不同于四、六級(jí)考試那樣具有明確的水平標(biāo)準(zhǔn)的水平考試，分級(jí)考試的目的是把受試者的不同水平和特點(diǎn)區(qū)分開(kāi)，測(cè)定受試者當(dāng)前的英語(yǔ)水平和英語(yǔ)學(xué)習(xí)能力適合今后什么層次的英語(yǔ)學(xué)習(xí)和什么特點(diǎn)的英語(yǔ)學(xué)習(xí)，以決定教學(xué)起點(diǎn)，因材施教，并不要求受試者必須達(dá)到劃定的分?jǐn)?shù)線(xiàn)，這樣的考試特點(diǎn)決定了分級(jí)考試試題的重點(diǎn)在甄別，也就是試題的區(qū)分度要高、題型要多樣、題量不能少、難度要適中。

分析HFUT 2018級(jí)大學(xué)英語(yǔ)分級(jí)考試試卷，其題量較少，一套全面的外語(yǔ)考試如以客觀題為主，總題量不應(yīng)少于80至100[7]92；其次，題型少、體裁單一，閱讀理解部分的文章總體偏容易，沒(méi)有考查到受試者的多方面語(yǔ)言能力；聽(tīng)力題的語(yǔ)速、篇幅、答題時(shí)間都存在一定的問(wèn)題，答題難度大，難以答對(duì)。一般來(lái)說(shuō)，太難或太容易的試題都不便于區(qū)分出受試者的水平高低?！霸囶}要適宜于要考它的受試者，受試群要適宜于他們要考的試題。”[7]47所以試題設(shè)計(jì)的原則應(yīng)深入了解受試者的語(yǔ)言能力需求，即參加分級(jí)考試的考生們，他們是剛剛參加完高考，剛?cè)雽W(xué)還沒(méi)有開(kāi)始大學(xué)英語(yǔ)學(xué)習(xí)的新生，那么什么樣的試題難度對(duì)他們是合適的，這是在試題設(shè)計(jì)時(shí)必須要考慮的。因全國(guó)各高校的學(xué)生情況不一樣，分級(jí)考試試卷的難易度應(yīng)參考本?？忌呖嫉挠⒄Z(yǔ)成績(jī)，結(jié)合本校一直以來(lái)新生入學(xué)時(shí)的英語(yǔ)水平背景，合理設(shè)計(jì)。就HFUT新生入學(xué)時(shí)英語(yǔ)水平的狀況，試題的難度應(yīng)稍高于高考試題的難度，接近大學(xué)英語(yǔ)一級(jí)的程度較為合適。另外，本次考試試題全為多項(xiàng)選擇客觀題，雖然選擇題適用機(jī)器閱卷，具有避免人為因素影響的優(yōu)勢(shì)，但是考試中考生容易作弊，帶有出題者的主觀性等缺陷也不容忽視，而選擇題很難測(cè)試出考生對(duì)英語(yǔ)語(yǔ)言的應(yīng)用能力，在將來(lái)的分級(jí)考試試卷設(shè)計(jì)中應(yīng)增加一些主觀回答的題型，進(jìn)一步完善分級(jí)考試試卷。有鑒于分級(jí)考試是在大學(xué)課堂學(xué)習(xí)開(kāi)始之前舉行的，所以在試卷設(shè)計(jì)時(shí)也要考慮中學(xué)到大學(xué)的過(guò)渡和銜接，尤其是聽(tīng)力。

分級(jí)考試是每年進(jìn)行的反復(fù)性考試，每次考試結(jié)束后應(yīng)將數(shù)據(jù)收集起來(lái)，對(duì)考試進(jìn)行分析評(píng)估，以逐步提高試題質(zhì)量、提升考試的效度。各?？筛鶕?jù)自己學(xué)校學(xué)生的實(shí)際情況確定考試構(gòu)念并制定詳細(xì)的分級(jí)考試要求和命題細(xì)則，起到考試大綱的作用，保持考試所考核的內(nèi)容、語(yǔ)言技能要求及試題結(jié)構(gòu)的穩(wěn)定性，以保證考試題目不會(huì)偏離受試者的需求太遠(yuǎn)，從而使受試者能按考試的要求，公平地考出實(shí)際水平，使分級(jí)考試更好地為教學(xué)和學(xué)習(xí)服務(wù)。

結(jié)論

本研究從構(gòu)念效度和內(nèi)容效度的角度對(duì)HFUT2018級(jí)的英語(yǔ)分級(jí)考試進(jìn)行了效度研究，得出了一些有益的結(jié)論：

(1)大學(xué)英語(yǔ)分級(jí)考試有其特殊性，對(duì)校本英語(yǔ)分級(jí)考試的特點(diǎn)和效度進(jìn)行研究可幫助評(píng)估考試質(zhì)量、查找存在問(wèn)題、尋求改進(jìn)措施。

(2)構(gòu)念效度分析可為內(nèi)容效度分析做出有益提示，內(nèi)容效度分析可具體反映測(cè)試試卷存在的效度問(wèn)題。本次分級(jí)考試的總體效度偏低，閱讀理解部分偏容易，其它兩部分難度較大，試卷的內(nèi)部結(jié)構(gòu)不一致。

(3)分級(jí)考試試卷的難易度應(yīng)參考本?？忌呖嫉挠⒄Z(yǔ)成績(jī)，結(jié)合本校長(zhǎng)期以來(lái)新生入學(xué)時(shí)的英語(yǔ)水平背景，合理設(shè)計(jì)。就HFUT新生入學(xué)時(shí)英語(yǔ)水平的狀況，試題的難度應(yīng)稍高于高考試題的難度，接近大學(xué)英語(yǔ)一級(jí)的程度較為合適。