關(guān)丹丹 程力 門東平

（教育部考試中心，北京 100084）

基于經(jīng)典測(cè)量理論（CTT）對(duì)試題進(jìn)行分析，其指標(biāo)和方法都已經(jīng)相當(dāng)成熟。難度和區(qū)分度是最為熟知的評(píng)價(jià)指標(biāo)，但如何給命題人員呈現(xiàn)分析結(jié)果，或者如何幫助命題人員更好地理解試題的難度、區(qū)分度等指標(biāo)及其意義，這些問題仍然值得探討。事實(shí)上，我們經(jīng)常會(huì)看到兩個(gè)試題具有同樣的難度，但對(duì)不同水平考生起到的區(qū)分作用可能不同。如果以圖形形式呈現(xiàn)試題對(duì)于不同能力水平考生所表現(xiàn)出來的難度、區(qū)分度情況，可能更有助于命題專家獲得直觀的理解。選項(xiàng)分析（distractor analysis）近幾年被國內(nèi)外考試機(jī)構(gòu)廣泛使用，日益顯示出圖形分析的強(qiáng)大生命力[1]。如何對(duì)選擇題進(jìn)行選項(xiàng)分析，選項(xiàng)分析的結(jié)果如何解讀？多級(jí)計(jì)分的主觀題是否能夠同樣通過圖形分析來豐富試題的統(tǒng)計(jì)特征所傳達(dá)的信息？如何對(duì)非選擇題進(jìn)行圖形分析，結(jié)果又如何解讀？本文試圖解答這些問題。

1 圖形分析法的邏輯：基于條件概率估計(jì)

通常而言，題目的難度等統(tǒng)計(jì)特征值都是以總體水平的概率進(jìn)行估計(jì)的，如二級(jí)計(jì)分題目難度（即正確率）=正確回答該題目的考生數(shù)/考生總數(shù)，多級(jí)計(jì)分題目難度（即得分率）=該題目的平均得分/題目滿分。如某選擇題的難度為0.6，就意味著在總體上有60%的考生正確作答了該題，但是不同水平的考生正確作答該題的概率是不一樣的，一般而言，能力水平低的考生正確作答該題的概率較低，而能力水平高的考生正確作答該題的概率較高。不同能力水平的考生正確作答試題的概率變化，不僅能豐富試題難度的信息，也豐富了試題區(qū)分度信息。因此，與基于總體的概率估計(jì)相比，美國ETS的統(tǒng)計(jì)學(xué)家認(rèn)為，基于條件概率估計(jì)提供的統(tǒng)計(jì)信息是最有用的題目分析信息[1]。如果說基于總體的概率估計(jì)是相對(duì)于總體平均水平而言的，那么基于條件概率的估計(jì)就是相對(duì)于每一個(gè)具體能力水平的考生群體而言的，即對(duì)于任何效標(biāo)變量（如試卷總分或IRT參數(shù)等）上的每一個(gè)可能值，基于條件概率的估計(jì)可以顯示該水平的考生正確回答某一題目或者選擇某個(gè)選項(xiàng)，或者至少獲得某一分?jǐn)?shù)的可能性。對(duì)于選擇題而言，基于條件概率的估計(jì)可以將不同水平的考生選擇某一選項(xiàng)的反應(yīng)曲線（包括正確選項(xiàng)和干擾選項(xiàng)）以圖形形式直觀顯示出來。對(duì)于命題人員來說，選擇題的重要統(tǒng)計(jì)特征如題目的難度、對(duì)于不同水平考生而言難度的變化、干擾選項(xiàng)的迷惑性、干擾選項(xiàng)對(duì)于不同水平考生的迷惑性變化等在圖形中就可以直觀顯示出來[2]。同理，對(duì)于多級(jí)計(jì)分題目而言，如果把可能獲得的每一個(gè)得分點(diǎn)作為一個(gè)分析對(duì)象，再考慮獲得低分?jǐn)?shù)是獲得高分?jǐn)?shù)的前提，那么就可以使用基于條件概率的估計(jì)，將不同水平的考生獲得每一個(gè)可能分?jǐn)?shù)的累積概率以圖形形式直觀顯示出來。這樣的圖形分析不僅能幫助命題人員直觀地理解題目難度的變化，也能從不同分?jǐn)?shù)的累積概率曲線的稀疏和密集程度上直觀地判斷分步計(jì)分梯度設(shè)計(jì)的合理性。

按照條件概率估計(jì)，對(duì)于0/1計(jì)分題目，如選擇題的選項(xiàng)分析，按照該科目總分從低到高將考生分為n組，將每組考生在正確選項(xiàng)以及干擾選項(xiàng)上的選擇率分別連成折線，即可直觀看出不同能力水平的考生對(duì)各個(gè)選項(xiàng)選擇的情況及變化趨勢(shì)。對(duì)于單選題而言，該題有幾個(gè)選項(xiàng)就有幾條折線；對(duì)于多選題而言，則有幾種選項(xiàng)組合就有幾條折線。理想的模式是，正確選項(xiàng)的選擇率隨著考生水平的提高呈單調(diào)遞增趨勢(shì)，干擾選項(xiàng)的選擇率則呈單調(diào)遞減趨勢(shì)[2]。

對(duì)于多級(jí)計(jì)分題目，如主觀題，同樣按照該科目總分從低到高將考生分為n組，將每組考生在可能獲得的每一個(gè)得分點(diǎn)上的累積百分比連成折線，即可直觀看出隨著考生能力水平的遞增，考生在可能獲得的每一個(gè)分?jǐn)?shù)點(diǎn)上的情況和變化趨勢(shì)。該題有幾個(gè)可能獲得的分?jǐn)?shù)點(diǎn)就有幾條折線，當(dāng)然，當(dāng)分?jǐn)?shù)點(diǎn)過多時(shí)，也可根據(jù)需要，有針對(duì)性地展示其中幾條分?jǐn)?shù)折線。理想的模式是，所有的可能獲得的分?jǐn)?shù)點(diǎn)的累積百分比折線都是隨著考生水平的提高呈單調(diào)遞增趨勢(shì)，不同分?jǐn)?shù)點(diǎn)的累積百分比折線之間疏密程度比較均衡，特別是沒有交叉的情況。

為簡(jiǎn)單方便起見，在以考生水平（試卷得分）為橫坐標(biāo)時(shí)，可以按四分位數(shù)將考生由低到高分為4組，也可以按五分位數(shù)將考生分為5組，分別計(jì)算每一組的情況。當(dāng)然也可以根據(jù)試卷總分以1分或者10分為單位將考生水平劃分為多個(gè)組。本文是按五分位數(shù)將考生從低到高分為5組。

2 圖形分析法結(jié)果解讀：以高考物理試題為例

我們基于2017年全國高考抽樣數(shù)據(jù)，對(duì)相應(yīng)科目的高考試題進(jìn)行了圖形分析。下面以2017年高考物理試題及其圖形分析結(jié)果為例，詳細(xì)展示選擇題和非選擇題（在統(tǒng)計(jì)上主要表現(xiàn)為計(jì)分形式不同）圖形分析法的結(jié)果及其解讀。

2.1 單項(xiàng)選擇題的圖形分析

例1（2017年高考理科綜合能力測(cè)試全國Ⅰ卷第15題）

發(fā)球機(jī)從同一高度向正前方依次水平射出兩個(gè)速度不同的乒乓球（忽略空氣的影響）。速度較大的球越過球網(wǎng)，速度較小的球沒有越過球網(wǎng)；其原因是

A.速度較小的球下降相同距離所用的時(shí)間較多

B.速度較小的球在下降相同距離時(shí)在豎直方向上的速度較大

C.速度較大的球通過同一水平距離所用的時(shí)間較少

D.速度較大的球在相同時(shí)間間隔內(nèi)下降的距離較大

本題難度為0.83，區(qū)分度為0.50，正確選項(xiàng)為C。對(duì)該題考生答題情況進(jìn)行圖形分析，見圖1。表1列出了各組考生選擇各選項(xiàng)的百分比。

圖1 2017年高考理科綜合能力測(cè)試全國Ⅰ卷第15題的圖形分析

表1 2017年高考理科綜合能力測(cè)試全國Ⅰ卷第15題各組考生各選項(xiàng)選擇比例%

從圖1可以看出，正確選項(xiàng)C隨著考生能力水平的遞增，選擇率呈上升趨勢(shì)，干擾選項(xiàng)則隨著考生能力水平的遞增，選擇率呈下降趨勢(shì)?？傮w上該題較容易，對(duì)中低段考生有較好區(qū)分度，試題作答正確率從組1的45.69%快速增加到組3的93.50%。對(duì)低分段考生來說，選項(xiàng)B比較具有迷惑性，比如能力水平最低的1組選擇率為30.01%。本題情境貼近生活實(shí)際，主要考查考生對(duì)平拋運(yùn)動(dòng)的理解能力。對(duì)于選項(xiàng)B來說，無論水平初速度多大，下降相同的豎直距離，乒乓球在豎直方向的速度和時(shí)間均相等。

例2（2017年高考理科綜合能力測(cè)試全國Ⅱ卷第14題）

一光滑大圓環(huán)固定在桌面上，環(huán)面位于豎直平面內(nèi)，在大圓環(huán)上套著一個(gè)小環(huán)。小環(huán)由大圓環(huán)的最高點(diǎn)從靜止開始下滑，在小環(huán)下滑的過程中，大圓環(huán)對(duì)它的作用力

A.一直不做功

B.一直做正功

C.始終指向大圓環(huán)圓心

D.始終背離大圓環(huán)圓心

本題難度為0.46，區(qū)分度為0.52，正確選項(xiàng)為A。對(duì)該題考生答題情況進(jìn)行圖形分析，見圖2。

圖2 2017年高考理科綜合能力測(cè)試全國Ⅱ卷第14題的圖形分析

從圖2可以看出，本題對(duì)所有考生都具有良好的區(qū)分度。能力最低的組1正確答對(duì)的概率為13%，低于考生隨機(jī)作答的正確概率。能力最高的組5正確答對(duì)的概率超過80%。本題設(shè)置了小環(huán)在光滑大圓環(huán)上下滑的情境，考查考生對(duì)力與功的關(guān)系、物體做圓周運(yùn)動(dòng)時(shí)的向心力等概念的理解。由于在小環(huán)下落過程中，大環(huán)對(duì)小環(huán)的作用力始終垂直于小環(huán)的運(yùn)動(dòng)方向，因此，大圓環(huán)對(duì)小環(huán)的作用力一直不做功。從圖2可以看出，選項(xiàng)C對(duì)考生的迷惑性比較大。能力最低的組1有超過50%的學(xué)生選擇C，成績(jī)中等的組3也有超過30%的考生選擇此選項(xiàng)。從選擇選項(xiàng)C的比例可以看出，考生對(duì)物體在運(yùn)動(dòng)變化過程中的受力分析還存在一定的問題。

例3（2017年高考理科綜合能力測(cè)試全國Ⅱ卷第15題）

A.衰變后釷核的動(dòng)能等于α粒子的動(dòng)能

B.衰變后釷核的動(dòng)量大小等于α粒子的動(dòng)量大小

C.鈾核的半衰期等于其放出一個(gè)α粒子所經(jīng)歷的時(shí)間

D.衰變后α粒子與釷核的質(zhì)量之和等于衰變前鈾核的質(zhì)量

本題難度為0.38，區(qū)分度為0.39，正確選項(xiàng)為B。對(duì)該題考生答題情況進(jìn)行圖形分析，見圖3。

從圖3可以看出，本題對(duì)低分段考生來說較難，對(duì)高分段考生具有較好的區(qū)分度。組1至組3考生正確回答的概率與考生隨機(jī)應(yīng)答正確的概率相當(dāng)，從組4至組5考生正確回答的概率顯著升高，兩組正確回答的概率從接近40%升高到接近80%。選項(xiàng)D對(duì)于各組考生來說具有很大的迷惑性，特別是對(duì)于中等能力的考生迷惑性更大。本題通過具體的原子核的衰變方程，考查考生對(duì)于動(dòng)量守恒、質(zhì)量虧損、能量守恒、半衰期等物理概念的理解。由于衰變前鈾核是靜止的，其動(dòng)量為零，因此衰變后釷核的動(dòng)量與α粒子的動(dòng)量的矢量和應(yīng)該為零，兩者大小相等，方向相反，選項(xiàng)B正確。鈾核在發(fā)生衰變時(shí)，存在質(zhì)量虧損，衰變后α粒子與釷核的質(zhì)量之和小于衰變前鈾核的質(zhì)量，選項(xiàng)D錯(cuò)誤。一般在化學(xué)方程式兩邊反應(yīng)物與生成物的質(zhì)量相等，考生選擇錯(cuò)誤選項(xiàng)D，可能是受到這些規(guī)律的影響，沒有仔細(xì)分析兩類反應(yīng)的異同。

2.2 多項(xiàng)選擇題的圖形分析

例4（2017年高考理科綜合能力測(cè)試全國Ⅱ卷第19題）

海王星繞太陽沿橢圓軌道運(yùn)動(dòng)，P為近日點(diǎn)，Q為遠(yuǎn)日點(diǎn)，M、N為軌道短軸的兩個(gè)端點(diǎn)，運(yùn)行的周期為T0。若只考慮海王星和太陽之間的相互作用，則海王星在從P經(jīng)M、Q到N的運(yùn)動(dòng)過程中

A.從P到M所用的時(shí)間等于T0/4

B.從Q到N階段，機(jī)械能逐漸變大

C.從P到Q階段，速率逐漸變小

D.從M到N階段，萬有引力對(duì)它先做負(fù)功后做正功

本題難度為0.47，區(qū)分度為0.49，正確選項(xiàng)為C、D。對(duì)該題考生答題情況進(jìn)行圖形分析，見圖4。

圖4 2017年高考理科綜合能力測(cè)試全國Ⅱ卷第19題的圖形分析

本題是多項(xiàng)選擇題，有兩個(gè)正確選項(xiàng)，選對(duì)但不全的（即僅選選項(xiàng)C或選項(xiàng)D）得一半分。從圖4可以看出，試題對(duì)所有考生都具有良好的區(qū)分度。隨著考生能力水平的遞增，組3至組5正確回答的概率分別為接近20%、40%和75%，本題對(duì)中高分段考生區(qū)分明顯。低分段雖然選對(duì)的概率很低，但正確選擇選項(xiàng)C的考生比例和正確選擇D選項(xiàng)的考生比例較其他選擇高，也可得一半分，因此本題對(duì)低分段考生也有很好的鑒別作用。干擾選項(xiàng)B最具有迷惑性，隨著考生能力水平遞增，選擇率呈下降趨勢(shì)。本題考查考生對(duì)萬有引力定律、功能原理、機(jī)械能守恒定律等物理概念和規(guī)律的理解。海王星繞太陽沿橢圓軌道運(yùn)動(dòng)，在近日點(diǎn)P，它的速率最大，在遠(yuǎn)日點(diǎn)Q時(shí)，速率最小。若只考慮海王星和太陽之間的相互作用，由于萬有引力是保守力，因此，海王星在繞太陽的運(yùn)動(dòng)過程中機(jī)械能守恒。從Q到N的運(yùn)動(dòng)過程，萬有引力做正功，海王星動(dòng)能增加，引力勢(shì)能減小，機(jī)械能不變。選擇選項(xiàng)B的考生在機(jī)械能守恒、動(dòng)能、勢(shì)能等概念和規(guī)律的理解上存在問題。

2.3 非選擇題的圖形分析

例5（2017年高考物理海南卷第12題）

某同學(xué)用伏安法測(cè)量待測(cè)電阻的阻值?，F(xiàn)有器材為：待測(cè)電阻R（阻值約為5 W），電源（電動(dòng)勢(shì)3 V），滑動(dòng)變阻器（阻值范圍0～10 W），電流表（量程0.6 A，3 A），電壓表（量程3 V，15 V），開關(guān)、導(dǎo)線若干。實(shí)驗(yàn)要求在測(cè)量電路中將電流表外接，滑動(dòng)變阻器起限流作用?；卮鹣铝袉栴}：

（1）按照實(shí)驗(yàn)要求在圖（a）中畫出實(shí)物連線圖。

圖（a）

（2）若已按實(shí)驗(yàn)要求接線，閉合開關(guān)后移動(dòng)滑動(dòng)變阻器的滑片，電壓表的示數(shù)始終約為3 V，電流表的示數(shù)始終接近0。寫出產(chǎn)生這種現(xiàn)象的一個(gè)原因：__________。

（3）在連線正確后，閉合開關(guān)。電壓表和電流表的示數(shù)分別如圖（b）和圖（c）所示。由圖可知，電壓表讀數(shù)為___V，電流表讀數(shù)為___A。由此可得待測(cè)電阻的阻值為___W（結(jié)果保留3位有效數(shù)字）。

圖（b）

圖（c）

本題難度為0.41，區(qū)分度為0.77，答案略。對(duì)該題考生答題情況進(jìn)行圖形分析，見圖5。

圖5 2017年高考物理海南卷第12題的圖形分析

本題是一道實(shí)驗(yàn)題，滿分為12分。橫坐標(biāo)依然是對(duì)考生群體從低到高分為5組，縱坐標(biāo)為獲得某一分?jǐn)?shù)的累積比例，可以展示1～12分每一個(gè)得分隨著考生能力水平遞增的趨勢(shì)，此處為使圖形更清晰，以2分為一個(gè)遞增單位，僅展示了其中的6條曲線。比如，最上面的“2分”線為隨著考生能力水平的遞增得分等于和超過2分的累積比例變化趨勢(shì)，最下面的“12分”線為隨著考生能力水平的遞增得分等于12分的比例變化趨勢(shì)。從圖5各得分線的斜率可以看出，“2分”線對(duì)于中低段的考生區(qū)分較好，“4分”線和“6分”線對(duì)于所有的考生都有較好的區(qū)分度，“8分”線和“10分”線對(duì)中高水平的考生有較好的區(qū)分度，“12分”線對(duì)高分段特別是拔尖的考生有很好的區(qū)分度。不同得分線之間間距比較大且比較均衡，說明本題不同給分點(diǎn)在分值設(shè)計(jì)上是合理的，能夠很好地把不同思維層次區(qū)分開來。本題考查考生的實(shí)驗(yàn)探究能力，涉及伏安法測(cè)量電阻的基本原理和方法，要求考生在理解實(shí)驗(yàn)原理的基礎(chǔ)上，設(shè)計(jì)恰當(dāng)?shù)膶?shí)驗(yàn)電路，選擇合適的儀器檔位，正確使用各種電表。本題第（2）問要求考生分析電路出現(xiàn)故障的原因，具有一定的開放性，考查考生的探究能力，對(duì)考生的能力要求較高。本題既有基礎(chǔ)實(shí)驗(yàn)技能的考查，同時(shí)也有探究能力的考查，從圖5可以看出，試題難度合適，能力層級(jí)搭配合理，對(duì)不同分?jǐn)?shù)段的考生均具有很好的區(qū)分效果。

3 結(jié)語

本文以高考物理試題的考試數(shù)據(jù)圖形分析結(jié)果為例，探討了如何基于條件概率估計(jì)對(duì)不同計(jì)分形式的題目進(jìn)行圖形分析以及如何解讀圖形分析結(jié)果?；诳傮w的題目難度、區(qū)分度等統(tǒng)計(jì)特征信息固然重要，但基于條件概率（不同水平考生條件下）的統(tǒng)計(jì)特征圖形分析法更加直觀和有意義，為評(píng)價(jià)試題質(zhì)量提供了更加豐富的視角。對(duì)于過難的題目、過易的題目或者區(qū)分度過低的題目，圖形分析法能夠更容易地幫助命題人員找到題目的問題所在。

本文為操作簡(jiǎn)單且方便讀者理解，將考生按能力水平從低到高分為5組，得到的是概率折線。事實(shí)上，在進(jìn)行圖形分析時(shí)也可以采用平滑技術(shù)對(duì)每一個(gè)能力水平上的觀察數(shù)據(jù)進(jìn)行平滑處理，從而可以使曲線更加平滑[1]。

總體上，基于條件概率估計(jì)給出的題目統(tǒng)計(jì)特征圖形，外形上雖然與項(xiàng)目反應(yīng)理論中的項(xiàng)目反應(yīng)曲線很相似，但其不依賴于任何數(shù)學(xué)模型，原理簡(jiǎn)單直觀，結(jié)果容易解釋。但以圖形的方式直觀表示統(tǒng)計(jì)特征，不像統(tǒng)計(jì)特征數(shù)值本身，是比較難以建立公認(rèn)的判斷準(zhǔn)則的，因此，尚需根據(jù)經(jīng)驗(yàn)積累逐步產(chǎn)生經(jīng)驗(yàn)判斷準(zhǔn)則。

[1]LIVINGSTON S A,DORANS N J.A Graphical Approach to Item Analysis:ETS Research Report:RR-04-10[R].Princeton:NJ,2004.

[2]楊志明.提高選擇題區(qū)分度的若干方法[J].教育測(cè)量與評(píng)價(jià),2017（2）:5-10.