劉艷娜 劉敏 王瑞

在“以學生為中心”的現(xiàn)代教育理念中，考試的診斷性功能和發(fā)展性功能在不斷強化。通過測量與評價，判斷課程整體的教學效果，幫助測評者與被測評者盡快發(fā)現(xiàn)問題，及時調(diào)整與修正教學中存在的不足，可以達到以考促教、以考促學、以考促建的目的。

2017—2020年，我院《工程數(shù)學》課程使用試卷庫隨機抽題的形式進行課程終結(jié)考核。隨著考核方式的優(yōu)化，規(guī)范地、科學地開展教育測量與評價，挖掘并反饋數(shù)據(jù)關(guān)系中隱藏的大量教育信息，準確地把握學生對知識的掌握程度，對于后續(xù)課程的教學和考核評價工作具有重要的意義和價值，準確、科學的試卷質(zhì)量評價工作使試卷庫考核評價方式形成閉環(huán)。

一、試卷質(zhì)量分析指標體系

根據(jù)教育測量學的理論，常用衡量試卷質(zhì)量的檢驗指標主要有信度、效度、難度和區(qū)分度，即試卷的成績能否反映學員的學習水平、考核內(nèi)容能否反映教學重點、考核難度是否適中、學員水平是否能區(qū)分等，下面分別說明四個指標的含義和計算方法。

（一）信度

信度即測驗結(jié)果的可信程度，它是反映測驗結(jié)果的一致性、可靠性和穩(wěn)定性的指標。常用的信度系數(shù)有三種：再測信度系數(shù)、復本信度系數(shù)、內(nèi)部一致性系數(shù)。內(nèi)部一致性系數(shù)是反映一個測驗中被測各題所得分數(shù)的一致性指標，可用來估計測驗內(nèi)部一致性信度，常用的內(nèi)部一致性系數(shù)有分半信度系數(shù)、庫德—理查遜系數(shù)和克倫巴赫系數(shù)三種。針對不同的測驗可使用以上三種方法中的一種。

（二）效度

效度是指測驗結(jié)果的有效程度。通俗地說，效度是度量測驗是否達到了預期目的的指標，是評鑒測驗質(zhì)量的重要指標。效度是教育測量中最基本也是最重要的問題。根據(jù)不同的角度，可將效度分為不同的類型，按照測驗目標對效度進行分類：內(nèi)容效度、構(gòu)想效度和效標關(guān)聯(lián)效度、結(jié)果效度。內(nèi)容效度是指測驗內(nèi)容與預定要測的內(nèi)容之間的一致程度，它反映了測驗題目在所要測量的內(nèi)容范圍和教學目標內(nèi)取樣是否充分和確切的問題，主要用于學科成績測驗。內(nèi)容效度的評估方法分為定性分析和定量分析兩種。定性分析的方法為專家判斷法。定量分析的統(tǒng)計分析法有：克倫巴赫法、前后測對比法、評分一致性考查法。

（三）難度

難度是指測驗題目的難易程度，一般以能夠正確回答試題的人數(shù)與參加測驗的總?cè)藬?shù)之比作為難度指標。測驗試題的難度可以反映出被測者的能力水平能否得到真實的體現(xiàn)，因而恰當?shù)碾y度是一個好的測驗的重要質(zhì)量指標。

（四）區(qū)分度

區(qū)分度是指試題對不同考生的知識、能力水平的鑒別程度。計算區(qū)分度的方法有：極端分組法和相關(guān)法。

二、試卷質(zhì)量分析指標等級判定

以2017年《概率論與數(shù)理統(tǒng)計》試卷為例說明分析過程，其他年份方法相同。首先使用SPSS軟件對考核結(jié)果進行描述性統(tǒng)計分析。

（一）試卷成績的頻率直方圖和箱線圖

為了直觀反映學員的成績分布情況，繪制成績的頻率直方圖和箱線圖，如圖1、圖2所示。

由圖1頻率直方圖可以看到：成績有一個峰，中間高、兩頭低，比較對稱，接近正態(tài)分布，可進行正態(tài)分布的檢驗。箱線圖是基于最小值、第一四分位數(shù)、中位數(shù)、第三四分位數(shù)、最大值以上5個數(shù)的圖形概括，圖上標出了第一四分位數(shù)67、中位數(shù)76、第三四分位數(shù)85三條數(shù)值線。

從圖2箱線圖中，我們可以看到：箱線圖從最小值到最大值被分成四個區(qū)間，區(qū)間的長短反映了成績的集中程度，即區(qū)間越短說明成績落在該區(qū)間比較集中，說明學員成績不存在兩極分化的現(xiàn)象。箱線圖中位數(shù)所在的位置就是數(shù)據(jù)集的中心，若中位數(shù)位于箱子的中間位置，則數(shù)據(jù)分布較為對稱。另外，最小值與中位數(shù)的距離比最大值與中位數(shù)的距離大，說明成績的數(shù)據(jù)分布向左傾斜，由頻率直方圖也可以發(fā)現(xiàn)此規(guī)律。將成績低于45分的標為離群點，并在圖上可以看到對應(yīng)的編號。

（二）試卷成績的描述性統(tǒng)計分析

2017年《概率論與數(shù)理統(tǒng)計》結(jié)課試卷成績的描述性統(tǒng)計分析見表1。

表1 2017年概率統(tǒng)計試卷描述性統(tǒng)計分析

標準差：學生成績的標準差一般在滿分的5%—10%以內(nèi)是正常的，即100分試題的標準差為5—10分是合理的。經(jīng)計算2017年試卷的標準差為13.84分，成績離散度比較大，說明學員兩極分化的情況比較嚴重，例如最低分17分，與平均分相距過大導致。

偏度值：描述數(shù)據(jù)分布的對稱性。經(jīng)計算偏度值為-0.803，說明大部分學員的成績集中于平均分左側(cè)，即學員成績小于平均分的人數(shù)略多于高于平均分的人，屬于負偏態(tài)分布。正態(tài)分布是一種不作任何教學要求的成績的隨機分布，教師期待的學生成績分布不應(yīng)該是正態(tài)分布。對于有教學目標、有教學要求的教學，學生成績的頻率呈負偏態(tài)分布是更期望的結(jié)果。

峰度值：描述數(shù)據(jù)圍繞平均分分布的緊密程度。經(jīng)計算峰度值為1.109，屬于低峰態(tài)，成績中間部分的少，兩端人數(shù)相對較多，屬于兩極分化。

（三）試卷信度分析

分半信度系數(shù)是將一個測驗分成兩個等值且獨立的部分，如按照奇數(shù)、偶數(shù)將試題分成兩部分。分組之后，求兩部分得分的積差相關(guān)系數(shù)，即分半信度系數(shù)。由于計算題共九道大題，為了使分類后兩組試題分數(shù)和相同，舍去最后一道大題，每組有十道題目，對分好后的兩組得分數(shù)據(jù)進行分半信度系數(shù)的計算。首先計算每一名學生的奇數(shù)題總分和偶數(shù)題總分；其次由積差相關(guān)系數(shù)公式計算分類的兩組題目的相關(guān)系數(shù)作為分半信度系數(shù)rxy=0.58；最后使用斯皮爾曼—布朗公式校正分半信度系數(shù)得到矯正后的信度系數(shù)r=0.735。信度是測驗中隨機誤差大小的反映，試卷信度大于0.5為宜，故該試卷測得的分數(shù)具有較高的可靠性。

（四）試卷效度分析

計算試卷的效度采用計算克倫巴赫系數(shù)的方法?？藗惏秃辗ㄍㄟ^計算克倫巴赫系數(shù)a來判別測驗的內(nèi)容效度?？藗惏秃照J為，內(nèi)容效度可由一組被測在測驗試卷的兩個等值復本上得分的相關(guān)系數(shù)來表示。當相關(guān)系數(shù)較高時，可以推斷測驗具有較高的內(nèi)容效度；當相關(guān)系數(shù)較低時，則說明測驗的內(nèi)容效度較低。經(jīng)計算本套試卷的克倫巴赫系數(shù)為0.713，可見試卷內(nèi)容具有較高的效度。效度是對測驗中系統(tǒng)誤差大小的反映，是對測試所要研究的問題而言，檢驗測試是否測量了想測量的知識和技能，主要回答測量工具是否合適，即測試結(jié)果的正確性問題。

（五）試卷難度分析

針對不同的題型類別計算試題難度的方法是不同的，一般的試題難度評判等級如下：極高（0.3以下），較高（0.3—0.6），中等（0.6—0.8），較低（0.8以上）。下面針對不同題型分別給出其計算方法。

二值記分題就是每個題目只有兩種評分結(jié)果，比如選擇題，答對記3分，不答或答錯記0分，這些屬于二值記分題。二值記分題的難度值計算公式為P=K/N；其中P為難度值，N為被測試的人數(shù)，K為答對該題目的人數(shù)。難度值P越大說明這道題越容易做，即難度越小。選擇題第6小題難度值為0.425，級別屬于較高。多值記分題的難度值計算方法：多值記分題至少有3種可能的記分結(jié)果，學科測試中的簡答題、計算題論述題等都屬于多值記分題。多值記分題的難度值計算公式為P=X/Xmax，其中P代表題目難度，X為被試在某題目上的平均得分，Xmax為該題目的滿分。填空題、計算題4、5難度值接近較高的級別，計算題1、綜合題1、2、3都屬于中等難度的題目。整張試卷的平均分為74.46分，故試卷的難度值為0.7446，屬于難度中等。

（六）試卷區(qū)分度分析

區(qū)分度計算方法也依據(jù)主觀性試題和客觀性試題具有不同的計算方法。一般的考試成績的區(qū)分度評判等級如下：好（0.4—1），良好（0.3—0.4），尚可（0.2—0.3），差（0.2以下）。下面根據(jù)不同的題型給出其計算方法：

客觀性試題的區(qū)分度計算公式D=PH-PL，其中D為區(qū)分度，PH為高分組通過率，PL為低分通過率?？陀^性試題（選擇題）的區(qū)分度良好和好的題目有第5題和第6題。主觀性試題的區(qū)分度計算公式：D=（XH-XL）/N（H-L），其中D為區(qū)分度，XH為高分組的總分，XL為低分組的總分，H為該試題的最高得分，L為該試題的最低得分，N為考生總?cè)藬?shù)的25%。主觀題（填空題、計算題）區(qū)分度良好的題目有填空題和計算題1；區(qū)分度好的題目有計算題4、5，綜合題2、3。最后，試卷客觀題區(qū)分度為0.201，屬于尚可等級；主觀題區(qū)分度為0.356，屬于良好等級；試卷的區(qū)分度為0.326，屬于良好等級。

三、試卷質(zhì)量分析的結(jié)論與啟示

《概率論與數(shù)理統(tǒng)計》作為我院最早開始建設(shè)試題庫的課程，2017年投入使用。筆者從四個維度對試卷的質(zhì)量進行分析，得到以下的一些結(jié)論和啟示：

（一）試卷質(zhì)量的情況

表 2017—2020年概率統(tǒng)計試卷質(zhì)量分析指標值

通過對試卷質(zhì)量多項指標體系進行定量的計算，并依據(jù)評定標準對概率統(tǒng)計試卷的質(zhì)量做出評定結(jié)論。由表可以看到，四年的試卷在效度、難度和區(qū)分度上都比較接近，并且其評定結(jié)論也比較理想，說明試卷達到了科學有效地評估學生學習成績的目的。同時，為了突出試卷的診斷性和發(fā)展性功能，我們對試卷難度和區(qū)分度進行詳細的分析和評估，并對難度較大、區(qū)分度較好的知識點進行了梳理，如一維隨機變量的綜合題、抽樣分布判別參數(shù)、無偏性等知識點失分較多，針對每類失分較多的題目總結(jié)其原因有：綜合性題目涉及多個知識點對分析能力有要求、如抽樣分布等抽象概念學生存在原理理解困難的情況、無偏性等題目題型靈活要求學生邏輯推理能力等。

（二）注重核心概念和數(shù)學思想的考查

通過對四年試卷的題型進行分析，試卷的計算題和綜合題側(cè)重考查課程的基本方法和應(yīng)用，試卷的選擇題和計算題則側(cè)重考查基本概念和基本理論。在題目內(nèi)容的設(shè)計上，選擇題和填空題雖然分值略少，但是一部分題目分量不小，很多核心概念和性質(zhì)的考查非常細致，學生對于概念的掌握稍微模糊一點就會出錯。在綜合題中，試卷設(shè)計了考查學生對區(qū)間估計思想方法的題目，構(gòu)造教材上沒有給出的參數(shù)的置信區(qū)間。對于抽象性強的課程而言，學生能夠理解并準確地使用數(shù)學語言描述問題、解決問題是考查的一個重點，因此對于核心概念和數(shù)學思想的考查應(yīng)成為課程考核和試卷質(zhì)量分析的關(guān)注點。

（三）增加應(yīng)用問題的考查

當下，學生用數(shù)學解決問題的能力已經(jīng)成為很多選拔性考試關(guān)注的焦點。數(shù)學應(yīng)用意識是主體運用所獲得的數(shù)學觀點和方法，主動地從數(shù)學的角度觀察事物，闡述現(xiàn)象，分析問題，用數(shù)學的語言、知識、思想方法描述、理解和解決各種問題。課程考核中，可以將應(yīng)用性問題以大作業(yè)的形式作為形成性考核的內(nèi)容，還可以設(shè)計數(shù)學實驗，引導學生了解、使用數(shù)學計算平臺進行數(shù)值模擬和計算，在實踐中增加用數(shù)學解決實際問題的體驗感，反過來對數(shù)學的繼續(xù)學習起到引導作用。

（四）提倡開放性問題的考查

教師要鼓勵學生一題多解，從不同的角度對問題進行分析與求解。一題多解要求學生對問題有深入的思考，對知識體系還要能夠達到融會貫通的能力。

運用數(shù)理統(tǒng)計的方法分析試卷可以準確地掌握學員在知識學習中集中存在的問題，幫助教師準確掌握本班級的教學情況，發(fā)現(xiàn)學生在學習中存在的困難與問題，準確掌握學生學習的知識點盲區(qū)，包括對概念、定理和計算方面存在的不足等，從而及時對教學內(nèi)容進行完善與優(yōu)化，進而科學地制定、改進教學計劃，提出改進策略。通過對試卷進行科學、規(guī)范地分析，還可以為試題庫或試卷庫的建設(shè)提供數(shù)據(jù)支撐，刪除或替換區(qū)分度、效度不高的題目，提高試題庫質(zhì)量，達到有效合理使用教學測量與評價的目的。

（焦? 佳）