劉云飛 張亞權(quán) 沈 群 薛海彥 于天禾

1 引言

高校自主招生考試，現(xiàn)階段對(duì)社會(huì)和教育具有廣泛的影響，越來越受考生、家長以及社會(huì)各界的關(guān)注，而對(duì)自主招生試題的質(zhì)量分析相對(duì)較少。目前，對(duì)試卷或者試題進(jìn)行質(zhì)量分析，主要基于教育測量學(xué)和教育統(tǒng)計(jì)學(xué)的基本原理，根據(jù)經(jīng)典測量理論計(jì)算出一系列的指標(biāo)，這里常用指標(biāo)包含難度、區(qū)分度、鑒別指數(shù)、分?jǐn)?shù)分布等[1]。本文以2014年某大學(xué)Q類自主招生的數(shù)學(xué)試卷數(shù)據(jù)統(tǒng)計(jì)分析為基礎(chǔ)，從實(shí)證的角度出發(fā)，分析基于數(shù)據(jù)的自主招生試題質(zhì)量。

2 試題的質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)

2.1 學(xué)科水平總體描述

我們對(duì)參加2014年該大學(xué)Q類自主招生的239名考生數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析，如表1所示。本文中，得分率可以表示試題的難度系數(shù)，選拔性測驗(yàn)的難度系數(shù)最好接近錄取率；試題的區(qū)分度采用相關(guān)系數(shù)法計(jì)算，即考生在該題的得分與該科目測驗(yàn)得分的相關(guān)系數(shù)；鑒別指數(shù)則采用占考生總?cè)藬?shù)27%的高、低分組的得分率之差[2]。

由表1可見，2014年該大學(xué)Q類自主招生考生數(shù)學(xué)滿分為150分，考生最高分為122分，平均分為75.05分，得分率為50.03%。2014年該大學(xué)Q類自主招生考生數(shù)學(xué)試卷的區(qū)分度達(dá)到0.47，說明該年數(shù)學(xué)試卷能夠較好地區(qū)分考生水平。

表1 2014年該大學(xué)Q類自主招生數(shù)學(xué)成績數(shù)據(jù)分析

表2是2014年該大學(xué)Q類自主招生數(shù)學(xué)成績各個(gè)分?jǐn)?shù)段的人數(shù)分布表，我們將數(shù)學(xué)成績分成四個(gè)分?jǐn)?shù)段分別進(jìn)行統(tǒng)計(jì)，結(jié)果顯示：優(yōu)秀，數(shù)學(xué)成績?cè)?10分（含110分）以上的考生比率僅占3.77%；良好，95～109分的占12.13%；合格，80～94分的占25.10%；低分，低于80分的占59.00%。

根據(jù)表2所列的數(shù)學(xué)成績數(shù)據(jù)分布情況，以數(shù)學(xué)“得分”為橫坐標(biāo)，以該得分“人數(shù)”為縱坐標(biāo)，繪制出2014年該大學(xué)Q類自主招生考生的“數(shù)學(xué)成績分布曲線”，如圖1所示。均值75.05分，中數(shù)75.00分，眾數(shù)84.00分，偏度為-0.13，峰度為-0.03，考生的數(shù)學(xué)成績總體上接近于正態(tài)分布，處于平均分右側(cè)的考生略多于左側(cè)。

2.2 考生水平對(duì)比分析

首先按2014年該大學(xué)Q類自主招生數(shù)學(xué)成績由高到低排序，再根據(jù)考生人數(shù)平均分成G1、G2、G3、G4、G5和G6六組，然后分別統(tǒng)計(jì)各組考生的平均分、標(biāo)準(zhǔn)差和區(qū)分度等指標(biāo)，并作對(duì)比分析。

如表3所示，Q類自主招生考生中，高分端（G1）考生的平均分為103.40分，低分端（G6）考生的平均分為45.18分，兩極端組的平均分差距為58.22分；G1組至G6組，標(biāo)準(zhǔn)差呈現(xiàn)先依次遞減后逐漸遞增趨勢，G4組的標(biāo)準(zhǔn)差最小，為2.24，說明高分端和低分端的考生成績分布較離散，而中間段的考生成績分布較集中，也符合考生成績正態(tài)分布的特點(diǎn)，即在平均分附近有較多的學(xué)生分布；兩個(gè)極端組G1和G6的標(biāo)準(zhǔn)差和區(qū)分度都比較大，說明這兩組考生的數(shù)學(xué)成績差異較為明顯，與考生總分的相關(guān)性也更強(qiáng)，有利于優(yōu)秀考生的篩選；G2和G3兩組的區(qū)分度較大，標(biāo)準(zhǔn)差卻均小于3，說明這兩組考生的數(shù)學(xué)成績與其總分相關(guān)度比較高，但成績分布較集中，差異不明顯；G4和G5兩組的區(qū)分度均低于0.2，標(biāo)準(zhǔn)差偏小，考生成績比較接近，區(qū)分度較差。

表2 2014年該大學(xué)Q類自主招生數(shù)學(xué)成績?nèi)藬?shù)分布

圖1 2014年該大學(xué)Q類自主招生數(shù)學(xué)成績?nèi)藬?shù)分布

2.3 試題解答水平分析

對(duì)于選拔性考試來說，試題的難度和區(qū)分度是最重要的功能指標(biāo)。對(duì)于難、中、易試題的具體度量標(biāo)準(zhǔn)沒有清晰定義，在各種標(biāo)準(zhǔn)中，0.50被作為一個(gè)重要基線，將考試的難度或得分率設(shè)置在0.50左右時(shí)，試卷的區(qū)分能力最大[3]。只有當(dāng)試題的難度范圍與考生的能力范圍大致相當(dāng)?shù)那闆r下，考試才能真正考查出考生的實(shí)際水平。

如表4所示，2014年該大學(xué)Q類自主招生數(shù)學(xué)試卷中難題（難度系數(shù)0.3以下）有12、14兩道解答題，占總分值的26.67%；其余均為中等題（難度系數(shù)0.30～0.69），占總分值的73.33%；值得注意的是，全部試題無難度系數(shù)大于0.7的容易題，這也符合錄取率較低的2014年該大學(xué)Q類自主招生考試的要求，這點(diǎn)與高考不同，無須考慮多個(gè)不同的目標(biāo)群體和多個(gè)分界點(diǎn)，選拔性的自主招生考試更多關(guān)注高分目標(biāo)群體的區(qū)分度，評(píng)價(jià)自主招生試卷質(zhì)量應(yīng)基于試卷能否有效區(qū)分目標(biāo)群體與其他群體。

區(qū)分度計(jì)算采用相關(guān)法，即把某個(gè)小題得分與試卷總分的相關(guān)系數(shù)作為該題的區(qū)分度[4]。分析結(jié)果顯示，區(qū)分度大于0.4的優(yōu)秀試題有填空題和解答第11、13題，占總分的73.33%；區(qū)分度良好的試題（0.30～0.39）有解答第14題，占13.33%；區(qū)分度較差的（0.2～0.29）有解答第12題，占13.33%；無區(qū)分度在0.2以下，需要淘汰的試題。

3 對(duì)試題質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)的進(jìn)一步討論

以表4中區(qū)分度最低的解答第12題為例，得分率僅0.15，試題難度很大，如果僅從難度系數(shù)和區(qū)分度來分析，這道試題在普通考試中應(yīng)定位于勉強(qiáng)可用、需修改[5]，但在本來難度較大、通過率較低的選拔性自主招生考試中，這道試題的可用性還需進(jìn)一步分析。因?yàn)樽灾髡猩荚囉衅涮厥獾哪繕?biāo)群體，這時(shí)評(píng)價(jià)試題是不能看一個(gè)整體性的難度指標(biāo)，而應(yīng)更多考慮試題的目標(biāo)群體得分率，以及考慮試題能否明顯區(qū)分目標(biāo)群體與其他群體[4]。

表3 2014年該大學(xué)Q類自主招生數(shù)學(xué)成績分組對(duì)比分析

表4 2014年該大學(xué)Q類自主招生數(shù)學(xué)試題分析

按上面的分組方法，分成G1、G2、G3、G4、G5和G6六組，分析各組在各試題上的得分率差，如果相鄰兩組的得分率差較大，則說明該試題對(duì)這兩組群體區(qū)分性良好，反之，則區(qū)分性較差。從表5中的數(shù)據(jù)可以看出，G1～G6組在各題上的得分率大致呈依次遞減趨勢，并且在不同試題上的得分率差別較大。各組在選擇題上的得分率變化較均衡，說明選擇題對(duì)整體考生的區(qū)分作用都較好；表4中解答題（11）區(qū)分度0.47，鑒別指數(shù)0.59，指標(biāo)都非常高，對(duì)考生的區(qū)分應(yīng)該非常好，但從表5中看出，所有相鄰兩組得分率差中，G1與G2組、G5與G6組得分率差比較大，說明該題對(duì)能有效區(qū)分高分端G1組和低分端G6組，而對(duì)其他組區(qū)分較弱；再看解答題（12）得分率0.15，區(qū)分度0.27，按數(shù)值看顯然該題過難，區(qū)分度也不夠理想，該題應(yīng)該淘汰，但從表5可以看出，該題在區(qū)分低分端和中間分段時(shí)不理想，但G1與G2組得分率差值卻不小，還是能有效的區(qū)分高分端G1組，說明該題作為自主招生考試試題還是可用的；表4中解答題（14）的得分率只有0.15，難度非常大，僅從試卷質(zhì)量評(píng)價(jià)整體指數(shù)看，該題質(zhì)量較低，但表5中該題G1組和G2組的得分率差高達(dá)0.22，是所有試題中相鄰兩組得分率差最大的，說明該題能非常有效的區(qū)分目標(biāo)群體G1組與其他組，有利于選拔自主招生中的優(yōu)秀學(xué)生，非常適合作低通過率自主招生的試題。

以上例子說明。區(qū)分度和鑒別指數(shù)這兩個(gè)指標(biāo)可能更說明試題區(qū)分的全貌，但對(duì)于局部的目標(biāo)群體的說明不是很有力，這一點(diǎn)在試題難度較大時(shí)表現(xiàn)的尤為明顯。對(duì)于自主招生這種選拔性考試，很多時(shí)候命題者關(guān)注的不是對(duì)全局的區(qū)分，而是會(huì)適當(dāng)提高試題的難度，關(guān)注對(duì)高分目標(biāo)群體的區(qū)分，換言之，關(guān)注試題對(duì)高分群體的鑒別能力，使得目標(biāo)群體能脫穎而出。

總之，在實(shí)際分析試題的區(qū)分能力時(shí)，不僅要看其區(qū)分度和鑒別指數(shù)等整體的數(shù)值，還要根據(jù)其目標(biāo)群體得分率差來判斷其是否對(duì)目標(biāo)群體產(chǎn)生了良好的區(qū)分。當(dāng)自主招生試題難度較大時(shí)，這種分析尤為重要，通過目標(biāo)群體得分率差的分析也使得對(duì)試題的適用性定位更為準(zhǔn)確。

4 結(jié)語

對(duì)自主招生試題的質(zhì)量評(píng)價(jià)，區(qū)分度和鑒別指數(shù)等可作為整體指標(biāo)來評(píng)價(jià)試題的質(zhì)量，同時(shí)要考慮到自主招生與普通高考的區(qū)別，可以按分?jǐn)?shù)把考生劃分為多個(gè)群體，根據(jù)目標(biāo)群體和其他群體的得分率差，從而分析試題是否能有效區(qū)分目標(biāo)群體。目標(biāo)群體得分率差分析要比整體指標(biāo)更能揭示自主招生試題的本質(zhì)特征，目標(biāo)群體得分率差與整體指標(biāo)結(jié)合使用，才能比較客觀全面地評(píng)價(jià)自主招生試題的科學(xué)性和適用性。

表5 2014年該大學(xué)Q類自主招生數(shù)學(xué)試題分組得分率

[1] 張警麟，鄭啟躍.考試研究的新課題:對(duì)考試的評(píng)價(jià)[J].教育科學(xué)研究，2005（12）.

[2] 湖南省教育考試院高考評(píng)價(jià)課題組.2013年湖南省高考數(shù)學(xué)學(xué)科（理科）考生水平評(píng)價(jià)及教學(xué)建議[J].教育測量與評(píng)價(jià)，2013（11）.

[3] 岳偉.高考試卷難度的設(shè)計(jì)與控制[J].考試研究，2007，3（4）.

[4] 趙海燕，臧鐵軍.CTT框架下基于數(shù)據(jù)分析的高考實(shí)體質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)[J].中國考試，2009（8）.

[5] 牛學(xué)敏.相關(guān)系數(shù)在試卷質(zhì)量分析中的應(yīng)用[J].考試研究，2007,3（4）.