鄒 申
(上海外國(guó)語(yǔ)大學(xué),上海,200083)
當(dāng)前,“公平”已成為人們?cè)u(píng)價(jià)教育的重要標(biāo)桿。比如,義務(wù)教育階段適齡學(xué)童能否都享受到優(yōu)質(zhì)教育資源;同等能力的高考考生在錄取時(shí)能否不受地域影響。換言之,社會(huì)給予每個(gè)人的機(jī)遇(求學(xué)、求職等)是否均等。在這個(gè)大背景下,考試作為選拔人才和檢查(教與學(xué))質(zhì)量的一種手段,也應(yīng)該接受“公平”考量,來(lái)檢驗(yàn)其是否具備公平性。然而,一個(gè)考試是否公平,除了外部因素,在一定程度上與相關(guān)人員對(duì)考試公平性的認(rèn)識(shí)和實(shí)踐有關(guān)。也就是說(shuō),考試公平性有其外部和內(nèi)部因素組成。本文將通過(guò)問(wèn)卷方式,調(diào)查英語(yǔ)教師對(duì)考試公平性的認(rèn)識(shí)和做法,并在此基礎(chǔ)上提出相關(guān)建議。
Xi(2010:149-53)指出學(xué)界對(duì)考試公平性有三種解釋維度:公平性是一獨(dú)立于效度之外的測(cè)試特質(zhì);公平性是一種涵蓋并超越效度的測(cè)試特質(zhì);公平性與效度直接關(guān)聯(lián)。
美國(guó)教育研究學(xué)會(huì)等機(jī)構(gòu)編制的《教育與心理測(cè)量標(biāo)準(zhǔn)》(以下簡(jiǎn)稱“標(biāo)準(zhǔn)”)(1999)從第三個(gè)維度闡述和規(guī)范測(cè)試中的公平性。該“標(biāo)準(zhǔn)”共分三個(gè)部分,其中一個(gè)部分涉及考試公平性。公平性在教育和心理測(cè)量中舉足輕重的地位由此可見(jiàn)一斑。
“標(biāo)準(zhǔn)”對(duì)公平性作了如下詮釋。第一,公平性即為無(wú)偏頗(lack of bias)。偏頗可產(chǎn)生于考試本身的缺陷,或者由于考試的使用導(dǎo)致不同考生群體的考試結(jié)果具有不同意義。比如,考試內(nèi)容包括測(cè)試技能或能力范疇和測(cè)試材料的體裁或題材。如果所選擇的內(nèi)容樣本缺乏代表性或覆蓋面,其結(jié)果就可能會(huì)影響部分考生的成績(jī)。鑒于此,考試有可能產(chǎn)生偏頗。另外,考試偏頗也有可能來(lái)自考試的答題形式。比如,考試采用某種答題形式,但該形式對(duì)部分學(xué)生來(lái)說(shuō)是陌生的。那么,選用該形式會(huì)影響這部分考生的成績(jī)。因此,偏頗會(huì)使考試成績(jī)出現(xiàn)偏差,無(wú)法真實(shí)反映所測(cè)試的技能或能力(即測(cè)試構(gòu)念)。也就是說(shuō),偏頗屬于與測(cè)試構(gòu)念無(wú)關(guān)的因素,它的存在會(huì)降低考試構(gòu)念效度。因此,要提升考試公平性,我們就需要關(guān)注并盡可能地消除影響考試構(gòu)念效度的偏頗。
第二,公平性體現(xiàn)在考試過(guò)程的公平上。具體而言,就是在施考過(guò)程給予所有考生公正待遇。比如,考生都應(yīng)該獲得均等機(jī)會(huì),來(lái)展示考試所要測(cè)試的技能或能力。又如,要給考生提供恰當(dāng)?shù)目荚嚄l件,以便他們發(fā)揮理想。另外,在考前準(zhǔn)備上,考生都應(yīng)有機(jī)會(huì)接觸考試復(fù)習(xí)材料。與第一點(diǎn)相比,第二點(diǎn)所關(guān)注的是考試外部因素(考試條件和考前準(zhǔn)備)。但是,它們對(duì)保證考試公平性有著同等重要作用。
第三,公平性也體現(xiàn)在基于考試結(jié)果的決策之上。一個(gè)具有公平性的考試(標(biāo)準(zhǔn)參照)應(yīng)該保證不同考生群體之間的通過(guò)率具有可比性。如果是選拔性考試(常模參照),那么同類表現(xiàn)的考生應(yīng)該享有均等的選拔機(jī)遇。由此可見(jiàn),公平性不僅體現(xiàn)在考試本身質(zhì)量上,也應(yīng)體現(xiàn)在基于考試分?jǐn)?shù)的決策上。
第四,公平性指均等的學(xué)習(xí)機(jī)會(huì)。這條標(biāo)準(zhǔn)主要針對(duì)標(biāo)準(zhǔn)參照性考試如學(xué)業(yè)考試。在多數(shù)情況下,學(xué)業(yè)考試旨在檢查考生經(jīng)過(guò)學(xué)習(xí)后知識(shí)或能力掌握程度。如果有些學(xué)生未有機(jī)會(huì)學(xué)習(xí)相關(guān)內(nèi)容,但考試又包括了這些內(nèi)容,那么學(xué)生很有可能得低分。特別是當(dāng)考試成績(jī)要用來(lái)決定升留級(jí)或是否頒發(fā)證書之時(shí),學(xué)習(xí)機(jī)會(huì)均等就顯得尤為重要。
另外,Spaan(2001:35)認(rèn)為公平性的提升具有社會(huì)性,即需要考試有關(guān)人員參與,比如考試開發(fā)人員、教師、考試使用人員、考生等。只有當(dāng)他們之間形成一種合作型良性循環(huán)和互動(dòng),考試公平性才能得以提升。Bachman(2001:40)曾在一篇文章中呼吁:對(duì)語(yǔ)言測(cè)試工作者而言,考試公平性不僅需要體現(xiàn)在語(yǔ)言測(cè)試的設(shè)計(jì)和實(shí)施之中,而且(或許更為重要的)需要培養(yǎng)和培訓(xùn)未來(lái)的語(yǔ)言測(cè)試工作者。
由以上論述我們可以看出,考試公平性涉及諸多方面:考試效度、考試實(shí)施過(guò)程、考前準(zhǔn)備、考試結(jié)果使用及考試內(nèi)容的學(xué)習(xí)機(jī)會(huì)。這里既有考試本身質(zhì)量,也有考試外部條件;既有考試用途,也有考試成績(jī);既涉及考前、也涉及過(guò)程和考后階段。由此可見(jiàn),考試公平性與效度密切相關(guān),且貫穿整個(gè)考試過(guò)程,是任何類別考試賴以存在或使用的基礎(chǔ)。
公正性牽涉考試的方方面面。那么,在考試設(shè)計(jì)和開發(fā)過(guò)程中我們?nèi)绾蝸?lái)提高和保證考試公正性呢?Kunnan(2001:1-10)在總結(jié)Code of Fair Testinh Practices in Education(Joint Committee on Testing Practices 1988)的基礎(chǔ)上,提出考試公平性包括三個(gè)維度:validity(效度)、access(可行性)和justice(公正)。效度關(guān)注對(duì)不同考生群體分?jǐn)?shù)解釋的公平性。可行性側(cè)重考試是否能從以下方面有利于考生:考試費(fèi)用、考點(diǎn)設(shè)置、所考內(nèi)容的學(xué)習(xí)以及對(duì)考試形式和設(shè)備的熟悉程度等。公正指社會(huì)公平(societal equity)。這個(gè)維度已超越考試本身,它關(guān)注考試結(jié)果的使用能否維護(hù)社會(huì)公正。根據(jù)Kunnan的觀點(diǎn),這三個(gè)維度貫穿考試開發(fā)的各個(gè)階段,即規(guī)劃階段(thinking)、命題階段(writing)、預(yù)測(cè)階段(piloting)、分析階段(analyzing)和持續(xù)研究階段(maintenance and research)。
在Kunnan的論述中,每個(gè)階段有其側(cè)重點(diǎn),但公平性的三個(gè)維度貫穿始終。以效度為例。效度作為考試公平性的重要指標(biāo),在不同階段顯現(xiàn)不同涵義。在規(guī)劃階段,效度主要關(guān)注測(cè)試構(gòu)念和范疇的科學(xué)界定以及測(cè)試形式的確立。與此同時(shí),該階段的效度還包括對(duì)評(píng)分和報(bào)分的考慮。在命題階段,效度則側(cè)重測(cè)試任務(wù)設(shè)計(jì)、話題選擇等。預(yù)測(cè)階段的效度則體現(xiàn)在標(biāo)準(zhǔn)和建模樣本的確定上。在分析階段,人們通過(guò)多層面的數(shù)據(jù)統(tǒng)計(jì)分析來(lái)建立效度。持續(xù)研究階段的效度則涵蓋上述階段的所有內(nèi)容。另外值得一提的是,公正作為公平性的指標(biāo)是評(píng)判每個(gè)階段工作的最終標(biāo)準(zhǔn)。也就是說(shuō),我們?cè)诳荚囬_發(fā)過(guò)程中的所作所為都應(yīng)該有助于社會(huì)公平。
總而言之,考試公平性是檢驗(yàn)考試的重要標(biāo)準(zhǔn)。語(yǔ)言測(cè)試工作者和語(yǔ)言教師在實(shí)際操作過(guò)程中要把促進(jìn)考試公平性放在首位,并落實(shí)到考試的每個(gè)步驟或階段。
“標(biāo)準(zhǔn)”和之后出現(xiàn)的考試公平性理論框架(Kunnan 2001,2005)積極地推動(dòng)了對(duì)考試公平性的研究。迄今為止,相關(guān)研究大致聚焦以下幾個(gè)方面:(1)檢驗(yàn)不同類別考試的效度,以驗(yàn)證考試在測(cè)試構(gòu)念、測(cè)試內(nèi)容等方面的公平性(Lowenberg 2001;Douglas&Myers 2001;Elder 2001;Stansfieldet al.2001);(2)口語(yǔ)測(cè)試中考官行為、考生(考官)性別、評(píng)分之間的相互作用或?qū)忌憩F(xiàn)的影響(Meiron&Schick 2001;O'Loughlin 2002;Brown 2003);(3)寫作評(píng)分法研究(Sakyi 2001);(4)題目偏頗性研究(Lee 2001;Eerne&Rupp 2007);(5)選擇題特質(zhì)研究(Brown 1999;Khodadady&Herriman 2001);(6)公平性檢驗(yàn)框架(Xi 2010)。
從上述簡(jiǎn)述中我們可以看出,研究?jī)?nèi)容涉及考試的多個(gè)層面,且研究對(duì)象多為考試過(guò)程中的參與者(考官、考生)。也就是說(shuō),公平性研究基本集中在分析階段和持續(xù)研究階段(即考后階段),而針對(duì)規(guī)劃、命題等考前階段的公平性研究則較少。然而,根據(jù)Kunnan(2001)的觀點(diǎn),規(guī)劃、命題階段也是考試開發(fā)的必要環(huán)節(jié),對(duì)于實(shí)現(xiàn)和保證公平性具有同等重要的意義。同時(shí),在這個(gè)過(guò)程中有一個(gè)群體不容忽視,值得我們?nèi)パ芯浚耗蔷褪且痪€教師。因?yàn)?,除了少?shù)大規(guī)模標(biāo)準(zhǔn)化考試外,現(xiàn)實(shí)中的大部分考試都是由教師參與設(shè)計(jì)、命題和實(shí)施。他們對(duì)公平性的理解對(duì)于促進(jìn)考試公平性具有舉足輕重的作用。因此,本研究擬通過(guò)問(wèn)卷調(diào)查形式,了解英語(yǔ)教師對(duì)考試公平性的看法以及在教學(xué)實(shí)踐中的具體做法。
如前所述,考試公平性已成為語(yǔ)言測(cè)試研究領(lǐng)域的一個(gè)重要課題,眾多研究已從多種角度探討考試如何體現(xiàn)其公平性。本研究擬從另一個(gè)角度(即教師角度)調(diào)查和分析語(yǔ)言測(cè)試相關(guān)人員對(duì)公平性的認(rèn)識(shí)以及對(duì)語(yǔ)言測(cè)試實(shí)踐的影響。在此基礎(chǔ)上,本文將提出如何提升和保障考試公平性的建議。鑒于此,本文主要研究以下兩個(gè)問(wèn)題:
(1)英語(yǔ)教師如何理解公平性?
(2)英語(yǔ)教師如何在實(shí)際過(guò)程中體現(xiàn)公平性?
本研究采用問(wèn)卷為研究工具①。問(wèn)卷由筆者本人設(shè)計(jì),設(shè)計(jì)理論基礎(chǔ)為“標(biāo)準(zhǔn)”以及Kunnan(2001)對(duì)公平性的闡述和論述。問(wèn)卷共有35題:第1~4題為個(gè)人信息題,包括性別、學(xué)歷、職稱和教齡;第5~35題為正式調(diào)查題。該部分調(diào)查兩大主題:教師對(duì)公平性的認(rèn)識(shí)和理解(第5~18題)和教師在實(shí)際操作過(guò)程中的做法(第19~35題)。為了能最大限度獲取信息量,問(wèn)卷回答均采用五級(jí)量表形式。問(wèn)卷在正式使用前曾在小范圍內(nèi)征求相關(guān)專家意見(jiàn)并作修改。
問(wèn)卷調(diào)查于2013年5月中旬進(jìn)行,調(diào)查對(duì)象為當(dāng)時(shí)參加高等學(xué)校英語(yǔ)專業(yè)4級(jí)考試閱卷的英語(yǔ)教師。調(diào)查開始之前筆者通過(guò)閱卷組長(zhǎng)和閱卷網(wǎng)絡(luò)中心,告知各位教師本項(xiàng)調(diào)查的目的及意義。今年共有213名教師參加閱卷,他們來(lái)自全國(guó)約160所院校。
共有210名教師在網(wǎng)上回答問(wèn)卷題目,最后回收有效問(wèn)卷為197份,有效率為93.8%。隨后數(shù)據(jù)輸入SPSS 17.0(SPSS Inc.2008)進(jìn)行處理。表1為第1~4題信息匯總:
表1 教師信息匯總
筆者對(duì)其余的31題進(jìn)行信度檢驗(yàn),Cronbach's Alpha系數(shù)為.934,數(shù)據(jù)較為理想,可以作進(jìn)一步分析。筆者隨后計(jì)算了每道題的平均值、中位數(shù)和標(biāo)準(zhǔn)差,并運(yùn)用非參數(shù)獨(dú)立樣本方法檢驗(yàn)不同教齡組之間是否存在差異。此外,KMO檢驗(yàn)表明變量間的偏相關(guān)非常理想,已達(dá)到.90,Bartlett球形檢驗(yàn)結(jié)果也顯示變量間的相關(guān)顯著(p<.01),說(shuō)明數(shù)據(jù)適合作因子分析(表2)。
表2 KMO&Bartlett球形檢驗(yàn)
本文采用主成分提取法,共提取了6個(gè)特征值大于1的因子,可解釋方差總量的63.86%。然而,碎石圖顯示比較明顯的因子只有兩個(gè)(圖1)。
圖1 碎石圖
鑒于此,本文采用Alpha因子提取法和斜交旋轉(zhuǎn)以了解這兩個(gè)因子的相關(guān)情況。由此產(chǎn)生的因子結(jié)構(gòu)矩陣較為清晰地顯示了變量(31道題目)和因子的關(guān)系(表3)。第5~18題屬于第二因子,而第19~35題(除第16題外)屬于第一因子。對(duì)照問(wèn)卷題目?jī)?nèi)容后,筆者發(fā)現(xiàn)第一因子與語(yǔ)言測(cè)試實(shí)踐的公平性有關(guān),第二因子與對(duì)語(yǔ)言測(cè)試公平性的認(rèn)識(shí)相關(guān)。本文第4部分便按此分類進(jìn)行分析和討論。
表3 因子結(jié)構(gòu)矩陣
表4顯示有關(guān)公平性觀念題目的平均值、標(biāo)準(zhǔn)差以及選第4、5選項(xiàng)(基本同意或完全同意)的百分比。教師按照教齡分成四組后用Kruskal Wallis檢驗(yàn),未發(fā)現(xiàn)組間差異在任何題目上達(dá)到顯著性水平(p<.05)。
表4 5-18題平均值、標(biāo)準(zhǔn)差和贊同度百分比
本部分有6道題目的標(biāo)準(zhǔn)差小于1,這從一定程度上表明教師回答時(shí)的觀點(diǎn)相對(duì)集中。對(duì)于第5題(考試應(yīng)該做到對(duì)每個(gè)考生都公平),教師不僅觀點(diǎn)較為集中,而且贊同度達(dá)到92.4%。這說(shuō)明教師在考試應(yīng)不應(yīng)該公平這點(diǎn)上看法一致且持肯定態(tài)度。相比之下,第6題的贊同率略低,因?yàn)橄喈?dāng)一部分教師(約20%)持不確定態(tài)度。這表明在一定程度上部分教師對(duì)考試能不能做到對(duì)每個(gè)考生都公平心存疑慮。第12題調(diào)查教師對(duì)答題要求的公平性看法,大部分教師持肯定態(tài)度,但還是有約12%的教師不確定,其余持否定態(tài)度。然而,至少數(shù)據(jù)表明,在答題要求上還是能夠做到公平性。第15題調(diào)查把保證考試公平性作為教師職責(zé)的認(rèn)同程度。我們可以看到,教師的認(rèn)同程度非常高,達(dá)到89.9%。這說(shuō)明大部分教師自覺(jué)地把保證公平性作為己任。第17、18題涉及公平性在檢驗(yàn)教學(xué)質(zhì)量和考試效度中的重要性。從數(shù)據(jù)中我們可以看出,教師的看法集中且具有較高的認(rèn)可程度。這也從一個(gè)角度表明,教師在公平性的重要作用上有一定共識(shí)。
本部分其余8道題目的標(biāo)準(zhǔn)差均大于1,故也集中一起分析。其中有3道題(8、9、16)的標(biāo)準(zhǔn)差均在1.2左右,且贊同度未超過(guò)51%。第8和第9題均涉及及格線設(shè)定與考試公平性的問(wèn)題。數(shù)據(jù)顯示,教師在這兩道題上的意見(jiàn)分散,且持不確定的比例較高,特別是第9題達(dá)到24.9%,為本部分14題中的最高比例。這似乎表明,教師對(duì)該問(wèn)題的認(rèn)識(shí)尚未明確。第16題的贊同率最低,可能是導(dǎo)致其不屬于第二因子的原因。但是它從另外一個(gè)角度佐證了教師對(duì)第15題的反饋:教師已意識(shí)到保證考試公平性是自己的職責(zé)。第7題調(diào)查公平性與分?jǐn)?shù)用途關(guān)系。數(shù)據(jù)顯示,教師的看法比較分散,贊同比例僅為62.5%,17.3%的教師持不確定態(tài)度,說(shuō)明部分教師不清楚公平性與分?jǐn)?shù)用途之間的關(guān)系。第10、11、13、14題的標(biāo)準(zhǔn)差非常接近,但第10、11題和13、14題的平均值與贊同率不盡相同。第10、11題調(diào)查施考程序和考試內(nèi)容的公平性,平均值不到4,教師贊同率也未達(dá)到70%,且兩題的不確定比例分別為19.3%和22.8%。這說(shuō)明部分教師對(duì)施考程序和考試內(nèi)容能否做到公平持懷疑或否定態(tài)度。相比之下,教師對(duì)第13、14題的肯定程度要高得多,平均值和贊同率均反映這個(gè)事實(shí),說(shuō)明教師認(rèn)為公平性涵蓋考前均等學(xué)習(xí)機(jī)會(huì)和對(duì)考試熟悉程度。
綜上所述,參與問(wèn)卷調(diào)查的大部分教師顯示較強(qiáng)的公平意識(shí),視保證公平性為己任,并且能意識(shí)到公平性對(duì)保障教學(xué)質(zhì)量和考試效度的重要意義。下面筆者參照“標(biāo)準(zhǔn)”,對(duì)數(shù)據(jù)作進(jìn)一步討論?!皹?biāo)準(zhǔn)”認(rèn)為,公平性指考試內(nèi)容、答題形式/要求等無(wú)偏頗,即避兔考生因上述原因而影響其成績(jī)。在答題要求上教師的認(rèn)識(shí)與“標(biāo)準(zhǔn)”比較一致,而在考試內(nèi)容無(wú)偏頗上教師的認(rèn)可度與“標(biāo)準(zhǔn)”要求有一定距離。這也從某種程度上反映兩個(gè)問(wèn)題:(1)教師或許缺乏這方面的培訓(xùn),在教學(xué)實(shí)踐過(guò)程不知從何入手;(2)在考試內(nèi)容上做到無(wú)偏頗只是相對(duì)而言,所謂的無(wú)偏頗要根據(jù)具體考試目的和考生特征等因素來(lái)確定?!皹?biāo)準(zhǔn)”又指出公平性即為過(guò)程公平,包括施考程序和對(duì)考試的熟悉程度等。教師對(duì)施考過(guò)程公平性的認(rèn)識(shí)與“標(biāo)準(zhǔn)”有差距,而對(duì)后者的看法與“標(biāo)準(zhǔn)”較為一致。這說(shuō)明施考程序的公平性在實(shí)際過(guò)程中可能會(huì)受到一些阻礙,但程序公平是考試公平性的一個(gè)重要基礎(chǔ),不可忽略或輕視?!皹?biāo)準(zhǔn)”中對(duì)公平性的第三個(gè)定義涉及基于分?jǐn)?shù)的決策公平性(即分?jǐn)?shù)用途)。在這點(diǎn)上僅三分之二的教師(第7題)與“標(biāo)準(zhǔn)”持相同觀點(diǎn)。如果把對(duì)及格線的界定也作為一種決策的話(第8、9題),那么與“標(biāo)準(zhǔn)”相近觀點(diǎn)的比例剛達(dá)到50%。也就是說(shuō),在決策中如何體現(xiàn)公平性,教師的認(rèn)識(shí)還有待于進(jìn)一步提高。教師的認(rèn)識(shí)模糊性可能與缺乏專業(yè)培訓(xùn)有關(guān),這足以證明培訓(xùn)的重要性。正如Bachman之前(2001:40)所說(shuō),公平性的一個(gè)重要體現(xiàn)就是培養(yǎng)和培訓(xùn)相關(guān)人員?!皹?biāo)準(zhǔn)”的第四條定義提及均等的學(xué)習(xí)機(jī)會(huì)。在這點(diǎn)上大部分教師的認(rèn)識(shí)程度與“標(biāo)準(zhǔn)”相吻合(第13題),表明這已成為一線教師的共識(shí)。
表5顯示有關(guān)公平性措施題目的平均值、標(biāo)準(zhǔn)差以及選第4、5選項(xiàng)(基本同意或完全同意)的百分比。教師按照教齡分成四組后用Kruskal Wallis檢驗(yàn),未發(fā)現(xiàn)組間差異在任何題目上達(dá)到顯著性水平(p<.05)。
表5 19-35題平均值、標(biāo)準(zhǔn)差和符合度百分比
本部分17題中標(biāo)準(zhǔn)差小于1的共13題,這反映在多數(shù)題目上教師的做法較為一致。第19-24題調(diào)查教師在規(guī)劃階段考慮的因素(考試目的、分?jǐn)?shù)用途、測(cè)試技能、考試效度、分?jǐn)?shù)報(bào)道以及預(yù)期效應(yīng))。除第20題外,題目的平均值均高于4,標(biāo)準(zhǔn)差低于.90,符合程度達(dá)到80%以上。這表明大多數(shù)教師會(huì)在此階段兼顧上述因素。第20題數(shù)據(jù)顯示,只有略高于三分之一的教師表示會(huì)在規(guī)劃階段考慮分?jǐn)?shù)用途,而且選擇不確定的比例為13.2%,為該類6題中最高。這顯示部分教師在該階段未把考試分?jǐn)?shù)用途作為規(guī)劃要素。第25~28題調(diào)查命題階段的考慮因素:話題、難度、材料及考生特征??v觀數(shù)據(jù),符合程度均達(dá)到85%以上,第26題甚至高達(dá)95%。這說(shuō)明上述四個(gè)因素均在大多數(shù)教師考慮范圍之內(nèi),其中語(yǔ)言難度最為關(guān)注。相比之下,避兔使用帶有歧視性內(nèi)容材料的教師比例略低,另外一些教師表示未能做到避兔該類內(nèi)容,故標(biāo)準(zhǔn)差大于1。第29~30題調(diào)查翻譯/寫作評(píng)分標(biāo)準(zhǔn)和評(píng)分方式。大多數(shù)教師表示會(huì)制定翻譯/寫作評(píng)分標(biāo)準(zhǔn);但評(píng)閱時(shí)采用雙評(píng)模式的比例只有64.5%,另有19.3%的教師選擇不確定。同時(shí),第30題也是本部分標(biāo)準(zhǔn)差值最大的題目,說(shuō)明雙評(píng)并不是一個(gè)普遍采用的評(píng)閱模式。第31~33題有關(guān)考試結(jié)果分析和反饋。數(shù)據(jù)顯示,大多數(shù)教師會(huì)作簡(jiǎn)單分析,然而作進(jìn)一步的分析(比如信度)或向?qū)W生反饋分析的比例略低。第32、33題的不確定比例分別為20.8%和12.2%。這意味著教師在深度分析和分析反饋方面還需要改進(jìn)。第34-35題涉及考試對(duì)教學(xué)的影響和促進(jìn)。數(shù)據(jù)明確顯示,絕大部分教師會(huì)關(guān)注考試效應(yīng)并根據(jù)考試結(jié)果調(diào)整教學(xué),這也與教師在規(guī)劃階段關(guān)注點(diǎn)相吻合。
考試的各個(gè)階段是保障公平性的重要環(huán)節(jié),只有當(dāng)我們關(guān)注每個(gè)具體環(huán)節(jié)并確保其效度,才有可能真正實(shí)現(xiàn)公平性(Kunnan 2001)。以下部分從規(guī)劃、命題和分析階段分析教師行為。在規(guī)劃階段教師的表現(xiàn)總體較為理想:他們能夠考慮考試預(yù)期目的和效應(yīng)、采用的分?jǐn)?shù)報(bào)道形式以及測(cè)試技能的界定。這些效度因素都是建立考試公平性的基本條件。然而,對(duì)于另一個(gè)基本條件(分?jǐn)?shù)用途),部分教師顯然未作考慮。這對(duì)分?jǐn)?shù)解釋或在此基礎(chǔ)上的決策可能會(huì)帶來(lái)問(wèn)題,或影響考試的公平性。教師在命題階段能夠考慮到相關(guān)因素,且關(guān)注面較廣。其中最關(guān)注的是語(yǔ)言難度,但他們對(duì)材料選擇的關(guān)注度略低。這意味著關(guān)注程度不太均衡,或許部分教師未意識(shí)到材料選擇對(duì)實(shí)現(xiàn)考試公平性的重要作用。在本階段教師對(duì)主觀題(翻譯/寫作)效度給予足夠重視,大部分教師提到命題時(shí)制定評(píng)分標(biāo)準(zhǔn)。這也是提高公平性的一個(gè)先決條件。但是,實(shí)際評(píng)分過(guò)程中采用雙評(píng)模式的教師并非占絕大多數(shù),這顯然會(huì)影響信度,乃至效度及公平性。在分析階段大部分教師表示會(huì)分析題目/試卷,但分析缺乏一定深度,且一部分教師未向?qū)W生反饋分析結(jié)果。盡管如此,教師很重視考試對(duì)教學(xué)的影響,并能適時(shí)作教學(xué)調(diào)整。由此可見(jiàn),分析階段的教師行為具有雙重性:一方面有利于效度和公平性的提升,另一方面可能對(duì)效度和公平性產(chǎn)生負(fù)面影響。
公平性是考試的重要特征,實(shí)現(xiàn)和維護(hù)公平性需要相關(guān)人員的共同努力。其中,教師是一個(gè)關(guān)鍵群體,這是本文選擇教師作為研究對(duì)象的目的所在。研究結(jié)果顯示,教師對(duì)公平性的認(rèn)識(shí)與“標(biāo)準(zhǔn)”既有相近之處也有偏離之點(diǎn);在操作層面上也存在非均衡性:他們能考慮一些與公平性關(guān)聯(lián)的環(huán)節(jié),但同時(shí)又忽略其他同等重要的環(huán)節(jié)。這從一個(gè)方面表明培訓(xùn)的重要性。正如Spaan(2001:35)和Bachman(2001:40)所指出的,公平性的提升需要有關(guān)人員的參與,需要加強(qiáng)對(duì)他們(包括教師)的培養(yǎng)和培訓(xùn)。為此,筆者最后建議:重視考試公平性就要重視對(duì)教師的培訓(xùn)。只有當(dāng)教師對(duì)公平性有了更全面的認(rèn)識(shí),才可能在實(shí)踐中采取更有效措施實(shí)現(xiàn)公平性。
附注
①如需查詢問(wèn)卷,請(qǐng)與作者聯(lián)系。