趙紅波　張海濤　黃生健　司慧迎　曹志勇

摘要：對試卷進(jìn)行分析是教學(xué)效果評價與考核的主要依據(jù)和內(nèi)容?；诮?jīng)典教育測量原理的評價指標(biāo)和試卷分析方法，設(shè)計并開發(fā)實現(xiàn)了相應(yīng)的評價系統(tǒng)軟件。實踐結(jié)果表明，這種基于網(wǎng)絡(luò)動態(tài)數(shù)據(jù)庫設(shè)計的評價系統(tǒng)，穩(wěn)定可靠，方便快捷，信息易于共享，可對試卷進(jìn)行科學(xué)的分析，對指導(dǎo)教學(xué)、準(zhǔn)確評價，提高教學(xué)質(zhì)量，具有重要意義。

關(guān)鍵詞：教學(xué)效果；試卷分析；評價指標(biāo)；系統(tǒng)設(shè)計；系統(tǒng)實現(xiàn)

[中圖分類號] G202 [ 文獻(xiàn)標(biāo)識碼] A

0 引 言

教育是一個復(fù)雜的系統(tǒng)工程，教學(xué)是這個系統(tǒng)工程中的重要環(huán)節(jié)，是引導(dǎo)教育培養(yǎng)高素質(zhì)人才、幫助社會充分利用教育成果和促進(jìn)教育健康發(fā)展的保障。教學(xué)和質(zhì)量保障體系運(yùn)行的有效度是教育部最新的高校本科教學(xué)評估核心之一，教學(xué)效果的好壞將直接影響教育的質(zhì)量。保障教育質(zhì)量的主要方式是對教師和學(xué)生進(jìn)行監(jiān)控和管理，關(guān)注點集中在教學(xué)的環(huán)節(jié)上]。教學(xué)效果的測試手段主要是考試，試卷是教學(xué)內(nèi)容、考試要求和學(xué)生知識應(yīng)用的綜合載體，整個試卷是否基本反映了大綱的規(guī)定和要求，能否正確地反映考生對教學(xué)內(nèi)容和應(yīng)掌握知識的吸收運(yùn)用能力及教師對教學(xué)內(nèi)容的把握和熟練程度，因此只有質(zhì)量合格的考試才能有效地檢測教學(xué)效果。對教學(xué)效果的評價最直接的方式就是利用現(xiàn)代的教育統(tǒng)計學(xué)、教育測量學(xué)，通過對試卷分析，得到具體的數(shù)量指標(biāo)來檢測考試的質(zhì)量。教育測量技術(shù)的科學(xué)性和準(zhǔn)確性取決于測量規(guī)則和測量工具。測驗或者考試、測試是教育測量的基礎(chǔ)工具，它們都是通過試卷來實現(xiàn)的。

1 開發(fā)評價系統(tǒng)的目標(biāo)

考試是教學(xué)評價的重要手段，為認(rèn)識教與學(xué)過程中的各種因素提供依據(jù)。教學(xué)是否達(dá)到預(yù)期效果，就需要對試卷進(jìn)行科學(xué)的分析與評價。目前考試成績絕大多數(shù)用于檢測學(xué)生的學(xué)習(xí)效果，卻很少用于對教師教學(xué)效果的反饋，這主要因為試卷分析是建立在統(tǒng)計量之上，公式繁雜，數(shù)據(jù)繁多，計算量大，絕大多數(shù)老師都難以用科學(xué)的方法對試卷做出細(xì)致地分析，并難以得到一個對教學(xué)效果的基本評價。地方普通高等學(xué)校對教學(xué)評價往往采用教學(xué)督導(dǎo)對課堂教學(xué)進(jìn)行評價，并根據(jù)反饋的評價信息進(jìn)行綜合評定教學(xué)效果。教學(xué)評分來自教學(xué)督導(dǎo)員對課堂教學(xué)評價依據(jù)的客觀標(biāo)準(zhǔn)的把握和對授課教師授課水平的主觀認(rèn)定，因此存在教學(xué)督導(dǎo)員評分差異和教學(xué)評價權(quán)威性的問題。

評價教學(xué)效果采用對試卷質(zhì)量進(jìn)行分析，應(yīng)真實反映教師的教和學(xué)生的學(xué)兩個方面，并且應(yīng)具有客觀的評價方法和指標(biāo)。試卷分析是對學(xué)生的考試試卷進(jìn)行定量與定性分析，以試卷的評估、考試結(jié)果和對試題的分析結(jié)果作為依據(jù)，對試卷進(jìn)行系統(tǒng)而科學(xué)的分析。試卷分析中對試題的評估包括試卷信度和考試效度；而對試題的分析包括了試題的難度和區(qū)分度等指標(biāo)；考試結(jié)果的數(shù)據(jù)即為學(xué)生考試成績統(tǒng)計。試卷分析的結(jié)果能夠反映出考試是否真正檢查出學(xué)生的知識水平與能力，也可以將此結(jié)果作為評價教學(xué)過程是否成功的依據(jù)。王云利用SPSS對網(wǎng)絡(luò)環(huán)境下適應(yīng)性考試進(jìn)行分析，驗證了可行性和實用性。王鐵等人使用了Web技術(shù)對試卷分?jǐn)?shù)進(jìn)行了分?jǐn)?shù)段的可視化?，F(xiàn)在很多試卷分析都以微軟的Execl或者使用單機(jī)版軟件在本地實現(xiàn)，基本無法對教師的信息處理結(jié)果進(jìn)行匯總，所以學(xué)校也就缺乏對教學(xué)效果的客觀衡量依據(jù)。趙永華等對100多篇高校試卷分析相關(guān)論文進(jìn)行分析后認(rèn)為目前的應(yīng)用主要是針對單一課程試卷的分析，信息利用率不高，并且沒有廣泛開展試卷分析，因而未能為教學(xué)過程提供足夠的反饋控制信息。要改變這一現(xiàn)狀，一方面離不開相關(guān)試卷分析觀念的轉(zhuǎn)變、相關(guān)管理制度的確立及教師自身試卷分析素質(zhì)的提高，另一方面也離不開相關(guān)理論及易于使用的專用試卷分析軟件的支持。

目前各高校都建立了各類型教學(xué)教務(wù)系統(tǒng)，多數(shù)情況下各教學(xué)業(yè)務(wù)科室站在各自角度對數(shù)據(jù)的理解和定義，都有自己的數(shù)據(jù)規(guī)范，往往會出現(xiàn)相同的業(yè)務(wù)、用戶有不同的定義。當(dāng)需要進(jìn)行跨業(yè)務(wù)的數(shù)據(jù)合作時，往往會發(fā)現(xiàn)數(shù)據(jù)邏輯上的孤立，溝通成本極高。這種數(shù)據(jù)孤島現(xiàn)象是普遍存在的，高校教學(xué)效果評價需要大量數(shù)據(jù)，急需消除各系統(tǒng)之間的數(shù)據(jù)孤島現(xiàn)象，對數(shù)據(jù)大集中，發(fā)展和創(chuàng)造出各種渠道、模式讓數(shù)據(jù)協(xié)作得更好，從而發(fā)揮數(shù)據(jù)自身的價值。利用現(xiàn)代信息技術(shù)手段將數(shù)據(jù)庫技術(shù)、Web技術(shù)等開發(fā)技術(shù)集合起來，認(rèn)證分析當(dāng)前系統(tǒng)模型，開發(fā)基于B/S模式的效果評價系統(tǒng)，可以很好地針對高校試卷分析的具體需求（主要對考試試卷做出各項指標(biāo)的分析，得出分析結(jié)果），并能有效地利用校園網(wǎng)的軟硬件資源，為高校的教學(xué)效果評價提供一種交互、開放、易用的全新環(huán)境。建立基于校園網(wǎng)的試卷分析系統(tǒng)網(wǎng)絡(luò)動態(tài)數(shù)據(jù)庫，可以提供一個共享平臺，使學(xué)校的各個部門之間共享教學(xué)效果評價中的不同指標(biāo)信息，諸如學(xué)生的各科成績、試題的難易程序等均可以通過網(wǎng)絡(luò)一目了然。一方面可以使試卷信息的管理工作更加快捷、方便；另一方面可以實現(xiàn)學(xué)校各級教學(xué)部門的試卷協(xié)調(diào)工作在網(wǎng)絡(luò)上的自然完成，可以避免由于學(xué)校各級部門之間由于信息不流通所掌握的學(xué)生情況不一致，造成對學(xué)生成績信息的管理十分不便。因此，建立基于試卷分析的完整的高校教學(xué)效果評價系統(tǒng)及網(wǎng)絡(luò)動態(tài)數(shù)據(jù)庫是十分必要的。

2 關(guān)鍵評價指標(biāo)

教學(xué)效果評價系統(tǒng)的關(guān)鍵評價指標(biāo)可以劃分為3個方面：學(xué)生成績評價指標(biāo)、試題評價指標(biāo)和試卷評價指標(biāo)。

2.1 學(xué)生成績評價指標(biāo)

學(xué)生成績評價指標(biāo)就是對具體參加某科目考試的所有學(xué)生的統(tǒng)計結(jié)果，主要包括學(xué)生的成績統(tǒng)計指標(biāo)和成績分布曲線指標(biāo)。

成績統(tǒng)計指標(biāo)包括試卷的平均分、最高分、最低分；各分?jǐn)?shù)段學(xué)生人數(shù)及其所占的比例、及格率、不及格率、優(yōu)秀率。通過成績統(tǒng)計指標(biāo)可以清楚地知道考生在這次考試中的答題情況，各分?jǐn)?shù)段的人數(shù)和百分比，也可以從中方便地看出該次考試的及格率、不及格率、優(yōu)秀率等指標(biāo)。通過最高分，最低分這兩個極端指標(biāo)可以知道試卷出題是否超過了哪個極端，或者幫助教師發(fā)現(xiàn)該班級中存在的個別學(xué)生。平均分體現(xiàn)了該班級考生在這次考試中的平均答題水平，一定程度上代表了該班級考生對該試卷學(xué)科知識的掌握程度。

成績分布曲線指標(biāo)可以清晰地顯示出學(xué)生考試成績分布是否合理。根據(jù)經(jīng)典測量理論，在正常情況下，如果試卷的考試成績呈正態(tài)分布，則試卷的質(zhì)量較高，否則較低。通過對各分?jǐn)?shù)段學(xué)生人數(shù)及其所占的比例統(tǒng)計建立一個曲線圖，對學(xué)生成績分布曲線進(jìn)行評價是最形象直接的方法。

2.2 試題評價指標(biāo)

2.2.1 試題難度

主要檢測試題對于考察的學(xué)生來說究竟是偏難還是偏容易，試題難度過大或過小，易造成全部學(xué)生得高分或得低分現(xiàn)象，從而不能區(qū)分學(xué)生水平，也影響試卷的信度和效度。

難度總是在0到1之間變化的，難度值愈大，試題愈容易；難度值愈小，試題愈難。一般認(rèn)為，選拔性考試試題難度值在0.3到0.7之間為宜。P值大于0.7的題目約占30%，P值為0.3～0.7的題目約占60%，P值小于0.3的題目約占10%。

2.2.2 試題區(qū)分度

試題區(qū)分度是指試題對學(xué)生實際水平的區(qū)分程度或鑒別能力。區(qū)分度高的試題能對不同知識水平和能力的學(xué)生加以區(qū)分，使能力高的學(xué)生得高分，能力低的學(xué)生得低分；區(qū)分度低的試題則不能對學(xué)生的能力進(jìn)行很好的鑒別，使水平高和水平低的學(xué)生得分相差不大或沒有規(guī)律可循。

客觀性試題：將試題分?jǐn)?shù)從高到低排列，分為兩段，各取25%為高分組和低分組，PH和PL分別為高分組和低分組在該題上的通過率。則該題區(qū)分度D為

2.3 試卷評價指標(biāo)

2.3.1 試卷信度

試卷質(zhì)量分析主要評價試卷信度， 試卷信度只在試題數(shù)至少為2才有效。試卷信度是針對試卷所反映出的考分穩(wěn)定性的評估，即考試結(jié)果的穩(wěn)定性和可靠程度，是衡量考分與考生真實水平的指標(biāo)。采用克隆巴赫（信度）系數(shù)（Cronbach's alpha），設(shè)K代表題目總數(shù)， 代表考試總分方差， 代表第j題得分的方差，則試卷信度R為：

影響信度的因素：影響信度的因素很多，比如測驗內(nèi)容、考試的環(huán)境、考生的狀況等，都能導(dǎo)致測驗分?jǐn)?shù)的不一致，從而降低信度值。試題過易或過難都會影響信度。一般題目多，信度就會高；區(qū)分能力強(qiáng)的題目越多信度也會越高；考生能力的差異越大，信度越高。通?？荚嚨脑嚲硇哦戎笜?biāo)要求在0.6以上，而大規(guī)模標(biāo)準(zhǔn)化考試信度要求在0.7以上。

2.3.2 試卷難度

主要檢測試卷對于被考查的學(xué)生來說究竟是偏難還是偏容易，無論是太容易還是太難都認(rèn)為這份試卷是失敗的。試題難度過大或過小，宜造成全部學(xué)生得高分或得低分現(xiàn)象，從而不能區(qū)分學(xué)生水平，也影響試卷的信度和效度。試卷難度的測定是建立在試題難度的基礎(chǔ)上，以試題難度為變量，以試題滿分值為權(quán)數(shù)的加權(quán)平均值。選拔性測試P=0.5左右為宜，通常期末考試為目標(biāo)參照性考試，P可適當(dāng)偏高，全卷平均難度以0.7左右為宜，0.6～0.8為正常。難度適中能更客觀地反映出學(xué)生的學(xué)習(xí)效果。

2.3.3 試卷區(qū)分度

指試卷區(qū)分考生水平差異的程度。區(qū)分度越高，說明試卷區(qū)分考生水平差異的能力越強(qiáng)，反之，區(qū)分能力就越差。采用試題區(qū)分度的加權(quán)平均計算得到。一般以0.4～0.6為宜。

3 評價系統(tǒng)的實現(xiàn)

3.1 概念模型

概念模型如圖1所示。

3.3 程序設(shè)計實現(xiàn)

使用ASP.NET的內(nèi)置對象、組件和ADO組件開發(fā)出功能強(qiáng)大的Web數(shù)據(jù)庫應(yīng)用程序，并將系統(tǒng)數(shù)據(jù)信息存儲在SQL SERVER進(jìn)行訪問，很好地解決了全校各級教學(xué)部門的數(shù)據(jù)信息共享問題，構(gòu)建較完善的網(wǎng)絡(luò)數(shù)據(jù)庫管理系統(tǒng)。通過該開發(fā)平臺開發(fā)的試卷分析平臺可以很直觀地體現(xiàn)出學(xué)生的學(xué)習(xí)狀態(tài)、學(xué)習(xí)成績的分布、試題區(qū)分度等指標(biāo)。

系統(tǒng)與學(xué)校的教務(wù)管理系統(tǒng)進(jìn)行無縫連接，成為教務(wù)系統(tǒng)的一部分。每個使用者以一個唯一用戶名登錄，可進(jìn)行創(chuàng)建一個新的試卷分析記錄或編輯使用原有試卷分析記錄兩種操作。第一步，在線填寫考試的基本信息；第二步，填寫考卷中題型和大題、小題數(shù)量；第三步，系統(tǒng)分層抽樣自動得到學(xué)生名單，按學(xué)生名單在線填寫或?qū)敕謹(jǐn)?shù)；第四步，評價系統(tǒng)生成各項指標(biāo)，由教師根據(jù)評價指標(biāo)進(jìn)行補(bǔ)充說明。試卷分析結(jié)果以圖形和表格形式表現(xiàn)，給出各項指標(biāo)、文字分析結(jié)果。內(nèi)容包括：考試基本信息、成績分布圖、試卷信度、區(qū)分度、難度等，如圖3所示。

3.4 實例分析

實例1：168人參加考試，試卷難度0.789，試卷區(qū)分度0.397，試卷信度-1.973。該試卷的試卷難度和試卷區(qū)分度較理想，卻出現(xiàn)了信度不達(dá)標(biāo)，無法對教學(xué)效果進(jìn)行評價。究其原因發(fā)現(xiàn)在80～90分?jǐn)?shù)段集中了接近70%的學(xué)生，而在總分相近的情況下，各大題和小題得分差異卻很大，所以就出現(xiàn)了試卷難度區(qū)分度尚可，信度指標(biāo)是負(fù)數(shù)。針對以上情況建議教師在以后試卷中增加題量，這樣可使每個題目上的隨機(jī)誤差相互抵消，從而提高信度；在一個測試中避免安排許多性質(zhì)不同的內(nèi)容，這樣會降低一致性，影響信度。

實例2：65人參加考試，試卷難度0.768，試卷區(qū)分度0.36，試卷信度0.917。由于考試屬目標(biāo)性檢測，對區(qū)分度要求不是太高，故并不影響本試卷的可靠性。對于難度較低的問題，我們分析了每道試題的難度，題目中超過70分的試題難度指標(biāo)在0.83以上，相應(yīng)題目的區(qū)分度指標(biāo)也就很差，導(dǎo)致了高分段考生人數(shù)偏多。針對以上情況建議教師改進(jìn)題目的質(zhì)量，將試題難度控制在中等，區(qū)分度要大。

實例3：99人參加考試，試卷難度0.631，試卷區(qū)分度0.622，試卷信度0.929，優(yōu)7人，良21人，中22人，及格20人，及格以下29人。此次考試為統(tǒng)一命題，試卷題目質(zhì)量較高，難易程度合理。統(tǒng)一閱卷，流水作業(yè)，降低了個人行為的誤差。擔(dān)任此教學(xué)班教學(xué)任務(wù)的教師教齡超過20年，具備豐富的教學(xué)經(jīng)驗?？梢娫u價指標(biāo)很好地對教學(xué)效果進(jìn)行了反映。

4 結(jié) 語

教學(xué)效果評價對改進(jìn)教學(xué)過程提供了必要的反饋信息，這是教學(xué)效果評價直接的、主要的功能；對學(xué)生學(xué)習(xí)成績優(yōu)劣、好壞的區(qū)別，與教師和學(xué)生的動機(jī)有緊密的聯(lián)系，因而很重要，也是調(diào)控教學(xué)過程所需要的信息。認(rèn)識到這一點，有助于我們積極、主動地利用和開發(fā)教學(xué)效果評價系統(tǒng)的全部功能，提高教學(xué)的質(zhì)量和效率。

在實際應(yīng)用中，完全符合高校情況，采用無紙化試卷分析，化簡煩瑣的工作模式，使得教師們從復(fù)雜的日常工作中解放出來，節(jié)省了大量的人力和物力，避免了重復(fù)性的工作。系統(tǒng)上線以來，共有1確100多名教師做了32 000余份分析報告，受到教師的高度評價。教師進(jìn)行定性分析、教學(xué)反思等環(huán)節(jié)結(jié)合教學(xué)效果評價系統(tǒng)中定量數(shù)據(jù)找出教學(xué)中存在的問題，總結(jié)教學(xué)經(jīng)驗，不斷改進(jìn)教學(xué)，提高教學(xué)質(zhì)量。豐富的評價數(shù)據(jù)結(jié)合相關(guān)數(shù)據(jù)挖掘方法在教育學(xué)中的應(yīng)用，可進(jìn)一步進(jìn)行數(shù)據(jù)分析，發(fā)現(xiàn)重要的數(shù)據(jù)模式，對教學(xué)研究做出更多貢獻(xiàn)。

主要參考文獻(xiàn)

[1]教育部.普通高等學(xué)校本科教學(xué)工作審核評估方案[EB/OL].http：//www moe edu cn/publicfiles/business/htmlfiles/moe/s7168/201312/160919，html.

[2]李明.整合策略，切實改進(jìn)高校質(zhì)量保障體系[J].中國高等教育.2011（11）：40-42.

[3]徐美.高校教學(xué)督導(dǎo)員課堂教學(xué)評價的權(quán)威性：問題與對策.[J].教育理論與實踐，2014（3）：6-8.

[4]王云，楊芳.相關(guān)系數(shù)法在適應(yīng)性考試試卷分析中的應(yīng)用研究[J].教育理論與實踐，2015（27）：52-54.

[5]王鐵，劉婧姝，耿春明.基于Web技術(shù)的試卷分析系統(tǒng)的設(shè)計與實現(xiàn)[J].齊齊哈爾大學(xué)學(xué)報，哲學(xué)社會科學(xué)版2009（2）：178-180.

[6]趙永華，李海櫻.高校試卷分析研究的內(nèi)容分析[J].考試周刊，2011（87）：3-4.

[7]張敏強(qiáng).教育測量學(xué)[M].北京：人民教育出版社，1998.

[8]王松桂，程維虎，等.概率論與數(shù)理統(tǒng)計[M].北京：科學(xué)出版社，2000.

[9]楊毅.數(shù)據(jù)庫系統(tǒng)原理及應(yīng)用[M].北京：科學(xué)出版社，2004.

[10]耿玉清，張春生一種試卷分析及數(shù)據(jù)挖掘系統(tǒng)的開發(fā)[J].計算機(jī)技術(shù)與發(fā)展，2010（10）：241-245.