張麗強(qiáng)

編者按

2018年11月，浙江省因英語高考分?jǐn)?shù)調(diào)整而引發(fā)了一場不小的風(fēng)波?，F(xiàn)在風(fēng)波雖已平靜，但結(jié)果卻讓人唏噓不已。原本是為了維護(hù)廣大考生的合法利益，卻因?yàn)椴僮髁鞒虇栴}引發(fā)了考生和家長質(zhì)疑。因此，唏噓之余，我們清醒地意識(shí)到，我們有責(zé)任、有義務(wù)為教育行政管理者、老師、學(xué)生以及家長普及考試科學(xué)化的知識(shí)，有必要用淺顯易懂的語言將有關(guān)教育評估和考試科學(xué)化的知識(shí)細(xì)致、清晰地呈現(xiàn)在大家面前。為此，2019年，我刊新增了“督導(dǎo)與評估”專欄，并邀請?jiān)谛睦韺W(xué)與教育測量學(xué)方面有較大影響的北京語言大學(xué)語言科學(xué)院教育測量研究所的專家學(xué)者為我們提供專業(yè)指導(dǎo)，同時(shí)也將先行者的經(jīng)驗(yàn)、做法、思考介紹給廣大讀者，以期為普及教育評價(jià)乃至考試科學(xué)化知識(shí)、促進(jìn)考試科學(xué)化水平的提高盡一份綿薄之力。此系列文章語言雖力求淺顯易懂，但由于專業(yè)性較強(qiáng)，還是需要廣大讀者朋友們花一些時(shí)間去慢慢研讀、靜心思考，若能潛心閱讀，讀者必將受益匪淺。

2018年12月5日，隨著浙江省公布2018年11月高考英語科目加權(quán)賦分情況的調(diào)查結(jié)果，有關(guān)責(zé)任人被免職、處分，這次考試的加權(quán)賦分被取消，原始得分恢復(fù)。關(guān)于浙江省高考英語分?jǐn)?shù)調(diào)整的風(fēng)波似已塵埃落定，但掩卷沉思，其中引發(fā)的問題卻不容忽略。

這場風(fēng)波表面上看是由分?jǐn)?shù)調(diào)整引起，其中卻涉及了預(yù)估難度與實(shí)測難度、分?jǐn)?shù)調(diào)整和等值、考試的公平性和科學(xué)性等諸多問題。這也啟示我們，對于涉及考生切身利益的高考改革一定要科學(xué)論證，謹(jǐn)慎行事，同時(shí)也要做好教育測量學(xué)理論與知識(shí)的科普工作，否則就極有可能前功盡棄、重蹈覆轍。

一、預(yù)估難度與實(shí)測難度

從媒體披露的信息來看，這次風(fēng)波的起因是英語科目的部分試題偏難，考生的得分和整體的平均分偏低。也就是說，通過實(shí)測的檢驗(yàn)，英語部分試題的難度預(yù)估出現(xiàn)了較大偏差。為了彌補(bǔ)偏差，考試機(jī)構(gòu)采用了加權(quán)賦分的方式對這部分試題的難度進(jìn)行了調(diào)整。

眾所周知，難度是評價(jià)試題質(zhì)量的重要指標(biāo)，通常以計(jì)算考生的通過率來得出。通俗地講，考生答對的題目多，說明考試簡單;考生答對的少，說明考試難。難度決定了考生得分的多少，決定了考試分?jǐn)?shù)的分布，對實(shí)現(xiàn)考試評價(jià)與選拔的功能起到至關(guān)重要的作用。

難度在實(shí)際應(yīng)用和研究中又細(xì)分為預(yù)估難度和實(shí)測難度。預(yù)估難度是在考前的命題階段由專家或計(jì)算機(jī)結(jié)合試題內(nèi)容，通過構(gòu)建標(biāo)準(zhǔn)常模，進(jìn)行合理地推測、估計(jì)而得到的試題難度。預(yù)估難度常用的方法有主觀評判法和配對比較法等。主觀評判法是指專家根據(jù)個(gè)人的經(jīng)驗(yàn)、觀點(diǎn)，直接對題目的難易程度作出主觀的判斷，這是一種比較傳統(tǒng)的難度預(yù)估法。配對比較法是指專家只需要對試題逐個(gè)進(jìn)行難度比較，然后使用改良的IRT 模型分析試題配對比較的數(shù)據(jù)，最后便可計(jì)算出每道題的IRT參數(shù)，這是一種比較新穎的難度預(yù)估法。對于高考這類高利害考試來說，為了保密，事先無法進(jìn)行預(yù)測，即使采用小規(guī)模的考前試做也可能出現(xiàn)失密或估計(jì)偏差。因此，考試機(jī)構(gòu)通常會(huì)采用難度預(yù)估的方式，估計(jì)試卷的難度或盡量平衡同一測試的不同測驗(yàn)版本的難度。但這種方式有一定的缺陷和風(fēng)險(xiǎn)，無論是專家的經(jīng)驗(yàn)估計(jì)還是模型的推演，終究還屬于經(jīng)驗(yàn)型的主觀判斷。專家的專業(yè)背景、教學(xué)經(jīng)驗(yàn)以及對學(xué)生學(xué)習(xí)狀況的熟悉程度等因素都可能使預(yù)估的結(jié)果出現(xiàn)偏差。

實(shí)測難度是在考后得到的考生樣本的統(tǒng)計(jì)值，它也會(huì)隨著統(tǒng)計(jì)樣本選取的不同而有所變化。如果題目過易，考生的得分普遍會(huì)高，標(biāo)準(zhǔn)差會(huì)小，分?jǐn)?shù)分布會(huì)集中或偏態(tài)，容易形成天花板效應(yīng)，考試的區(qū)分度會(huì)減低;如果題目太難，考生的得分普遍會(huì)低，標(biāo)準(zhǔn)差也會(huì)小，分?jǐn)?shù)分布也會(huì)集中或偏態(tài)，容易形成地板效應(yīng)，考試的區(qū)分度也會(huì)減低，同樣也會(huì)對分?jǐn)?shù)線的劃定和考試的錄用帶來困難。

提高預(yù)估難度的準(zhǔn)確性是考試界的難題。除上述兩種主觀預(yù)估方法外，研究者們還提出通過計(jì)算機(jī)提取題目的特征值來建立估計(jì)模型，如通過多元回歸分析模型與人工神經(jīng)網(wǎng)絡(luò)模型等來預(yù)測試題難度。雖然這些研究也取得了可喜的進(jìn)步，但從離考試的實(shí)際需求來說依然有不小的距離。就目前的技術(shù)水平來看，無論采用哪種方法，預(yù)估難度只能將誤差減小，并不能消除誤差。也就是說，即使浙江考試機(jī)構(gòu)汲取了這次命題的經(jīng)驗(yàn)教訓(xùn)，或許命題的質(zhì)量會(huì)提高，難度預(yù)估比今年更準(zhǔn)，但如果難度預(yù)估的方法沒有得到根本性的改變，難度估不準(zhǔn)、出現(xiàn)偏差的風(fēng)險(xiǎn)就依然存在。這是難度預(yù)估方法自身的局限，不會(huì)被人們的意志和愿望所左右。對此，人們必須有清醒的認(rèn)識(shí)。

二、分?jǐn)?shù)調(diào)整和等值

難度預(yù)估一旦出現(xiàn)偏差應(yīng)該怎么辦？業(yè)界通常的做法是對分?jǐn)?shù)進(jìn)行調(diào)整。分?jǐn)?shù)調(diào)整是在考試結(jié)束后，通過對比前后兩次測驗(yàn)的難度，對分?jǐn)?shù)進(jìn)行干預(yù)的做法。事實(shí)上，這是測量界的慣例，只是人們不熟悉罷了。為了彌補(bǔ)難度預(yù)估帶來的偏差，同時(shí)也是為了維護(hù)考試的公平性，測量界一般會(huì)通過分?jǐn)?shù)調(diào)整的方式來縮小誤差。其中，加權(quán)賦分就是一種分?jǐn)?shù)調(diào)整的方法，此外，還有預(yù)測、量表化、等值等。

實(shí)行多次考試，首先要解決的就是不同次考試的分?jǐn)?shù)可比性問題，這也是實(shí)現(xiàn)英語一年兩考，成績兩年有效的前提。為此就要進(jìn)行不同次考試間的分?jǐn)?shù)等值。等值可以理解為將測驗(yàn)不同版本的分?jǐn)?shù)統(tǒng)一在一個(gè)量表上的過程。從等值的本質(zhì)上來看，其實(shí)就是把不同平行測驗(yàn)的分?jǐn)?shù)放到同一量表上，使分?jǐn)?shù)能夠進(jìn)行比較。當(dāng)然，并不是所有的測驗(yàn)分?jǐn)?shù)之間都可以進(jìn)行等值，只有滿足等值的前提條件，才可以進(jìn)行等值。我們可以把一個(gè)合理的、有效的等值處理需要滿足的條件概括為：被等值的兩份試卷具有測量相同的構(gòu)念、相似的信度、分?jǐn)?shù)的轉(zhuǎn)換具有對稱性、分?jǐn)?shù)具有等價(jià)性、跨樣本一致性這五個(gè)基本條件。

被等值的兩份試卷測量相同的構(gòu)念，指的是兩個(gè)測驗(yàn)必須是測量相同的心理特質(zhì)或特質(zhì)領(lǐng)域。對測試完全不同的心理特質(zhì)的測驗(yàn)進(jìn)行等值是沒有意義的。比如，體育成績和數(shù)學(xué)成績之間是不同性質(zhì)的分?jǐn)?shù)，二者不具有可比性，因而對其進(jìn)行等值是沒有意義的。理解測驗(yàn)信度相似，首先要明確信度的含義。信度是指測驗(yàn)的可靠性和穩(wěn)定性程度。不同信度上的分?jǐn)?shù)不能進(jìn)行等值，如果一個(gè)不可靠的測驗(yàn)上的分?jǐn)?shù)可以等值到一個(gè)可靠的測驗(yàn)上，那么就不會(huì)有人研究可靠的測驗(yàn)了。所以，被等值的兩個(gè)測驗(yàn)必須有相同的信度水平。比如，有兩個(gè)測驗(yàn)分別是測驗(yàn)X和測驗(yàn)Y。假設(shè)測驗(yàn)X的信度高，測驗(yàn)Y的信度低，那么測驗(yàn)X等值到測驗(yàn)Y，有可能導(dǎo)致分?jǐn)?shù)的測量誤差變大，分?jǐn)?shù)也變得不穩(wěn)定。對稱性是指被等值的兩個(gè)測驗(yàn)的等值轉(zhuǎn)換關(guān)系是雙向的。即從測驗(yàn)X等值到測驗(yàn)Y上的分?jǐn)?shù)與從測驗(yàn)Y等值到測驗(yàn)X上的分?jǐn)?shù)是一樣的。樣本組間一致性是指等值處理的結(jié)果應(yīng)該不受進(jìn)行等值處理所采用的考生樣本組的影響。比如，測驗(yàn)分?jǐn)?shù)不能因性別差異而有所變化。分?jǐn)?shù)具有等價(jià)性應(yīng)該是一種弱等價(jià)，意味著具有相同水平的考生在測驗(yàn)X和測驗(yàn)Y上所得分?jǐn)?shù)的平均數(shù)相同就可以。

在實(shí)際考試當(dāng)中，以上等值條件往往很難滿足。因而需要進(jìn)行分?jǐn)?shù)“連接（linking）”。連接相對于等值來說，是一個(gè)比較寬泛的概念，等值只是“連接”在條件嚴(yán)格滿足的情況下進(jìn)行的分?jǐn)?shù)調(diào)整。如果進(jìn)行等值，應(yīng)考慮兩個(gè)問題，一個(gè)是數(shù)據(jù)收集的問題，也就是等值設(shè)計(jì)的問題;另一個(gè)是數(shù)據(jù)處理的問題，也就是等值方法的問題。

等值設(shè)計(jì)是指收集等值數(shù)據(jù)的方法，有兩種思路：一種圍繞“共同組”展開，另一種圍繞“共同題”展開，共同題也稱為“錨題”。共同組是要求考生的能力水平分布相同，讓考生參加兩次測驗(yàn)。因?yàn)閰⒓涌荚嚨目忌芰λ较嗤?，所以在兩個(gè)測驗(yàn)上的分?jǐn)?shù)理應(yīng)相同，如果分?jǐn)?shù)不同，則可能是難度不同所造成的。共同題是指考生做的兩份試卷有相同的試題，如果考生在兩份試卷的共同題的得分上有差異，則是由于考生的能力差異造成的。

雖然媒體沒有明說這次浙江省高考英語的分?jǐn)?shù)是如何調(diào)整的，但推測很有可能是圍繞共同組進(jìn)行的。因?yàn)楦呖紴榱丝荚嚨陌踩?，不能用共同題，只能從共同組的角度考慮。再者，可以假設(shè)參加這兩次考試的考生有可能會(huì)是相同的考生群體，考生的能力水平?jīng)]有發(fā)生很大的變化，因此可以對兩次考試的難度加以比較，對分?jǐn)?shù)進(jìn)行調(diào)整。

除了高考，一年多考的考試、同一考試分不同批次進(jìn)行的大規(guī)模的測試項(xiàng)目，比如托?？荚嚕═OEFL）、中國少數(shù)民族漢語水平等級考試（MHK）等都會(huì)用等值來進(jìn)行分?jǐn)?shù)調(diào)整。這就是說，等值方法本身沒有問題，關(guān)鍵是如何進(jìn)行等值。據(jù)此，我們可以做出初步的判斷，浙江省這次進(jìn)行分?jǐn)?shù)調(diào)整的初衷沒有問題，理論依據(jù)也是可靠的，問題就出現(xiàn)在流程上。一是事先沒有告知。即考生和家長不清楚一旦試題的難度出現(xiàn)偏差，事后要對分?jǐn)?shù)進(jìn)行必要的調(diào)整，考生和家長的思想和心理準(zhǔn)備不足。二是方法不嚴(yán)謹(jǐn)?？荚嚈C(jī)構(gòu)僅做了模擬推演，沒有進(jìn)行細(xì)致的分?jǐn)?shù)驗(yàn)證，沒有進(jìn)行必要的專家論證。由此，原本是為了維護(hù)本次考試考生的整體利益，卻因?yàn)樽龇ǖ膯栴}遭到了考生和家長的質(zhì)疑，引起了軒然大波。

三、考試的公平性和科學(xué)性

浙江省這次面向所有考生，對難度較大的第二部分（閱讀理解）、第三部分（語言運(yùn)用）的部分試題進(jìn)行了難度系數(shù)的調(diào)整，實(shí)施了加權(quán)賦分。目前尚不清楚他們究竟是如何改變權(quán)重的，推想很有可能是把這兩部分題目的分?jǐn)?shù)權(quán)重減小，增大了其他題目的權(quán)重。如果不做精心的設(shè)計(jì)，單純改變部分題目的權(quán)重風(fēng)險(xiǎn)很大，危害至少有兩點(diǎn)：一是降低了考試的區(qū)分度，給考生的排名和報(bào)志愿帶來了困難;二是由于成績兩年有效，實(shí)際上造成了2018級和2019級考生間的不公平。這其中涉及了考試的公平性和科學(xué)性問題。

高考制度作為我國的人才培養(yǎng)和選拔制度，在百姓的心目中有著至高無上的地位。公平性和科學(xué)性是衡量、評價(jià)考試質(zhì)量的重要指標(biāo)，公平性以科學(xué)性為基礎(chǔ)，科學(xué)性以公平性為前提，二者相輔相成。對于高考這種高利害考試來說，公平性和科學(xué)性均需保障，兩者缺一不可。

考試作為測量考生能力水平的一種工具，像是一把尺子，而考生的能力水平就是尺子測量的對象。這把尺子本身可能存在誤差，而且考生能力水平很難被準(zhǔn)確地測量出來，因而測量出來的結(jié)果難免會(huì)有誤差。這雖然是常識(shí)，但未必所有人都能認(rèn)知其本質(zhì)。特別是作為當(dāng)事人深陷其中時(shí)，很難保障其不出現(xiàn)不清醒、不冷靜的行為。無論是難度預(yù)估，還是分?jǐn)?shù)調(diào)整，本身都是為了維護(hù)考生的利益，保證考試公平，讓考試更加科學(xué)。只是很多人還不明白分?jǐn)?shù)調(diào)整的科學(xué)性，認(rèn)為分?jǐn)?shù)調(diào)整反而影響了考試的公平性。這就啟示正在進(jìn)行高考改革的省份，既要做好頂層設(shè)計(jì)，也要未雨綢繆做好預(yù)案，做好宣傳，特別是要做好考生和家長的宣傳工作，避免倉促行事。否則一旦出現(xiàn)問題，后果很難收拾。

考試作為一項(xiàng)重要的人才選拔方式已滲透到人們生活的方方面面，與個(gè)人的發(fā)展息息相關(guān)。比較而言，人們似乎更專注考試的公平性，因?yàn)樗秋@性的，更容易被人們所感知，更容易引起人們的注意;而科學(xué)性往往是隱性的，甚至可能是費(fèi)解的、晦澀的，人們要理解它、接受它有一定的難度。自然兩者都兼顧更好，但現(xiàn)實(shí)未必都如人愿。當(dāng)公平性和科學(xué)性發(fā)生沖突時(shí)，科學(xué)性往往會(huì)讓位于公平性，以使事態(tài)盡快平息。但這樣是要付出代價(jià)的，人們對此卻往往會(huì)忽視。可以說，這次浙江分?jǐn)?shù)調(diào)整風(fēng)波沒有勝利者，責(zé)任人雖然受到了懲罰，但考生也不得不咽下本次考試得分低的苦酒。這就意味著下次考試的風(fēng)險(xiǎn)將加大，命題工作自然會(huì)更加細(xì)致謹(jǐn)慎，命題的成本無疑會(huì)增加。同時(shí)，沒有本次考試托底，一年兩考實(shí)際上回歸了一年一考，考生考試的風(fēng)險(xiǎn)也將加大，緊張、疏忽都可能帶來無法挽回的風(fēng)險(xiǎn)。這是考生和考生家長不得不面臨的殘酷現(xiàn)實(shí)。

改變“一考定終身”，降低一次考試的風(fēng)險(xiǎn)，實(shí)現(xiàn)一年兩考，是高考改革的發(fā)展方向和趨勢。改革中還有很長的路要走。改革中，既不可盲目草率，也不能因噎廢食。這次浙江考試分?jǐn)?shù)調(diào)整風(fēng)波只是新高考改革之路的插曲，不會(huì)改變新高考改革的大方向。但它至少起到了警示的作用，預(yù)示著高考改革并不會(huì)一帆風(fēng)順，進(jìn)兩步退一步，甚至迂回向前、螺旋式上升均有可能。因此，在關(guān)注考試公平性的同時(shí)，還要下力氣提高考試的科學(xué)化水平。因?yàn)闆]有科學(xué)性的保障，考試的公平性始終是脆弱的。