商寅 姜有為

【摘 要】考核是系統(tǒng)化培訓(xùn)方法實(shí)施階段的重要環(huán)節(jié)，是衡量培訓(xùn)有效性最有效的方式之一，也是最及時(shí)的方式。而試卷作為考核的一個(gè)重要載體，試卷的分析與評(píng)估應(yīng)得到足夠的重視。本文討論了核電培訓(xùn)領(lǐng)域中考試分析的現(xiàn)狀及其重要性，介紹了國(guó)際原子能機(jī)構(gòu)推薦的考試分析的各項(xiàng)指標(biāo)及意義，并以此建立了基于Excel的考試分析方法。

【關(guān)鍵詞】系統(tǒng)化培訓(xùn)方法;考試分析;培訓(xùn)有效性

中圖分類(lèi)號(hào)： F272.92;F426.61文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2019）07-0266-003

DOI：10.19694/j.cnki.issn2095-2457.2019.07.111

【Abstract】Assessment is an important part of the implementation stage of systematic training methods. It is one of the most effective ways to measure the effectiveness of training， and it is also the most timely way. As an important carrier of the examination， the examination and evaluation of the examination paper should receive sufficient attention. This paper discusses the status quo and importance of exam analysis in the field of nuclear power training， introduces the indicators and significance of the IAEA-recommended exam analysis， and establishes an Excel-based exam analysis method.

【Key words】Systematic training method; Test analysis; Training effectiveness

0 前言

目前世界上絕大多數(shù)核電廠普遍采用系統(tǒng)化培訓(xùn)方法（SAT）進(jìn)行人員培訓(xùn)。各國(guó)核電廠大多以國(guó)際原子能機(jī)構(gòu)（IAEA）出版的《建立并保持核電廠人員資格和能力導(dǎo)則》為指引，遵循SAT的原則，根據(jù)自身能力和客觀條件開(kāi)展培訓(xùn)工作。SAT是一種培訓(xùn)組織形式，它把整個(gè)培訓(xùn)活動(dòng)分為分析、設(shè)計(jì)、開(kāi)發(fā)、實(shí)施和評(píng)估五個(gè)階段，并在各個(gè)階段進(jìn)行有效反饋。其中評(píng)估是SAT的重要環(huán)節(jié)，通過(guò)培訓(xùn)全過(guò)程的評(píng)估，對(duì)培訓(xùn)工作進(jìn)行監(jiān)督和評(píng)價(jià)，以確保培訓(xùn)目標(biāo)的實(shí)現(xiàn)，保證核電廠人員取得崗位要求的全面工作的能力?？荚嚪治鰧儆谂嘤?xùn)評(píng)估的組成部分，主要是針對(duì)培訓(xùn)實(shí)施階段的考核結(jié)果進(jìn)行定量、系統(tǒng)地分析，將分析結(jié)果反饋到SAT的其他階段，以改進(jìn)培訓(xùn)的質(zhì)量，從而使培訓(xùn)的有效性得到不斷提升。

1 考試分析的現(xiàn)狀及其重要性

1.1 考試分析的現(xiàn)狀

培訓(xùn)項(xiàng)目的考試分析一般僅統(tǒng)計(jì)考試的通過(guò)率、平均分及最高分/最低分，可以從總體上定性地了解培訓(xùn)項(xiàng)目的實(shí)施情況，但不足以為改進(jìn)培訓(xùn)方式/內(nèi)容、提高培訓(xùn)有效性提供定量的數(shù)據(jù)依據(jù)。而且，培訓(xùn)考核從試題開(kāi)發(fā)到考核評(píng)估，主要依托于教員的個(gè)人能力及工作經(jīng)驗(yàn)，缺乏系統(tǒng)的考試分析將導(dǎo)致考核的有效性未得到及時(shí)、持續(xù)地驗(yàn)證及改進(jìn)。

1.2 考試分析的重要性

考試是檢驗(yàn)學(xué)員學(xué)習(xí)情況最有效的手段之一。通過(guò)考試可以測(cè)量學(xué)員對(duì)培訓(xùn)目標(biāo)的掌握情況，獲取有用的信息，而不僅僅是為了得到一些分?jǐn)?shù)?？荚嚱Y(jié)果的分析與評(píng)價(jià)是SAT評(píng)估階段的重要環(huán)節(jié)，通過(guò)分析可以了解教員的命題水平、授課質(zhì)量和教學(xué)效果，了解學(xué)員對(duì)培訓(xùn)目標(biāo)的掌握情況，對(duì)優(yōu)化教學(xué)內(nèi)容、把握教學(xué)水平、提高教學(xué)質(zhì)量具有重要意義。

2 考試分析的指標(biāo)及建立方法

考試分析包括試題和成績(jī)的分析，本文選取IAEA所推薦的考試評(píng)價(jià)指標(biāo)，采用定量評(píng)價(jià)和定性評(píng)價(jià)相結(jié)合的方法，將考試分析中常用的指標(biāo)分為定量指標(biāo)和定性指標(biāo)兩類(lèi)。下文將通過(guò)這兩方面討論各主要指標(biāo)的內(nèi)容和意義，并以此建立考試分析的方法。

2.1 試題分析

試題分析是以評(píng)估試題的難度和區(qū)分性和試題選項(xiàng)的有效性而審查每位學(xué)員答案的過(guò)程。評(píng)估試題可以識(shí)別試題的問(wèn)題并提出可行的建議。它可以判斷學(xué)員是否掌握培訓(xùn)目標(biāo)，也能用來(lái)提高教員的試題開(kāi)發(fā)技能。試題分析主要包括以下三方面：

（1）試題難度系數(shù)

（3）選項(xiàng)分析

選項(xiàng)分析是審查選擇題各選項(xiàng)的過(guò)程，以驗(yàn)證選項(xiàng)的合理性[2]。像區(qū)分性一樣，選項(xiàng)分析可以計(jì)算每道題的系數(shù)，也可以通過(guò)直接審查選項(xiàng)結(jié)果進(jìn)行分析。

以上的例子共50人參加考核，通過(guò)給出各選項(xiàng)的選擇人數(shù)及其平均分進(jìn)行試題選項(xiàng)的評(píng)估。如試題1，干擾項(xiàng)C沒(méi)有任何考生選擇，雖然并不能說(shuō)明該試題存在問(wèn)題，但在后續(xù)的開(kāi)發(fā)或升版中，可考慮增加選項(xiàng)的迷惑性。而試題3，選擇正確答案C的人數(shù)為40人，這些人的平均分達(dá)到18.93分，但是選擇干擾項(xiàng)A的考生平均分也達(dá)到了18分的較高分?jǐn)?shù)，這就需要教員進(jìn)行試題的重新評(píng)估，可能是干擾項(xiàng)A迷惑性太強(qiáng)、干擾項(xiàng)B/D明顯錯(cuò)誤或是干擾項(xiàng)A本身的缺陷等。

2.2 成績(jī)分析

僅有高質(zhì)量的試題，還不一定有高質(zhì)量的考試，所以應(yīng)追求試卷整體質(zhì)量的優(yōu)化，同時(shí)為保證考核的有效性，其主要指標(biāo)為可靠性、有效性和正態(tài)分布。成績(jī)分析是考試分析的重要組成，它主要是對(duì)數(shù)據(jù)指標(biāo)進(jìn)行計(jì)算，包括參考人數(shù)、最高分、最低分、平均分、難度、標(biāo)準(zhǔn)差、信度、效度、成績(jī)是否符合正態(tài)分布等。下面簡(jiǎn)述主要的數(shù)據(jù)指標(biāo)：

（1）信度

（2）效度

效度是指一次考試能有效地測(cè)量學(xué)員的實(shí)際學(xué)習(xí)水平的程度。我們可采用測(cè)量?jī)?nèi)容效度來(lái)定性推斷考試內(nèi)容的質(zhì)量。主要的方式是通過(guò)組織技術(shù)專(zhuān)家對(duì)考試試題與原定內(nèi)容范圍的吻合程度做出判斷，這其實(shí)也是對(duì)培訓(xùn)設(shè)計(jì)階段開(kāi)發(fā)試題的反饋。

2.3 考試分析方法的建立及優(yōu)點(diǎn)

2.3.1 考試分析方法的建立

基于上文所述的考試分析指標(biāo)，建立了旨在用于考試分析的Excel表格。考試分析表分為原始數(shù)據(jù)子表和4個(gè)結(jié)果輸出模塊。

（1）基本信息模塊

基本信息模塊包括考試基本信息和學(xué)員排名兩個(gè)部分?？荚嚮拘畔⒅饕▽W(xué)員人數(shù)、題量、平均分、最高分、最低分、通過(guò)率和信度系數(shù)等。學(xué)員排名包括學(xué)員成績(jī)單和考試排名。

（2）試卷信息模塊

試卷信息模塊包括試卷分析和成績(jī)分布兩個(gè)部分。試卷分析包括試卷的難度系數(shù)和區(qū)分系數(shù)等相關(guān)信息。成績(jī)分布包括學(xué)生成績(jī)的直方圖、成績(jī)分布曲線。

（3）試題信息模塊

試題信息模塊包括試題數(shù)據(jù)、試題數(shù)據(jù)圖和選項(xiàng)分析三個(gè)部分。試題數(shù)據(jù)和試題數(shù)據(jù)圖包括各試題的詳細(xì)信息，如難度系數(shù)、區(qū)分系數(shù)、正確率等。選項(xiàng)分析主要介紹了單選題各選項(xiàng)的被選情況。

（4）專(zhuān)項(xiàng)信息模塊

專(zhuān)項(xiàng)信息模塊包括分類(lèi)掌握、分類(lèi)掌握?qǐng)D和學(xué)員表現(xiàn)三個(gè)部分。在系統(tǒng)化培訓(xùn)方法中，通過(guò)培訓(xùn)目標(biāo)開(kāi)發(fā)相應(yīng)的試題，故試題與培訓(xùn)目標(biāo)相對(duì)應(yīng)，可按培訓(xùn)目標(biāo)對(duì)試題進(jìn)行分類(lèi)，總結(jié)學(xué)員各類(lèi)試題的得分，即可了解學(xué)員各類(lèi)培訓(xùn)目標(biāo)的完成情況，從而得出學(xué)員各方面的能力表現(xiàn)和薄弱點(diǎn)。分類(lèi)掌握即是根據(jù)試題所屬培訓(xùn)目標(biāo)類(lèi)別，統(tǒng)計(jì)各類(lèi)別的正確率。而學(xué)員表現(xiàn)是比較學(xué)員與平均水平的差距，得出相應(yīng)的雷達(dá)比較圖。

（5）考試分析報(bào)告的生成

考試分析表可根據(jù)考試分析的結(jié)果，自動(dòng)生成考試分析報(bào)告，便于數(shù)據(jù)的存檔和形成相應(yīng)的書(shū)面報(bào)告。

2.3.2 考試分析方法的優(yōu)點(diǎn)

（1）建立標(biāo)準(zhǔn)化的試卷評(píng)估體系，能科學(xué)、準(zhǔn)確地分析試卷

試卷分析的指標(biāo)較多，每個(gè)指標(biāo)的分析計(jì)算方法也不完全相同，進(jìn)行試卷評(píng)估，可以得出定量的分析數(shù)據(jù)。通過(guò)對(duì)考試指標(biāo)的分析，進(jìn)而評(píng)價(jià)考試質(zhì)量，確保測(cè)量結(jié)果有意義。

（2）為教員改進(jìn)教學(xué)工作提供依據(jù)

通過(guò)試卷分析，教員可以找出教學(xué)工作中的薄弱環(huán)節(jié)和學(xué)員學(xué)習(xí)過(guò)程中的普遍性問(wèn)題，在教學(xué)中加以改善，以便于因材施教。

（3）減少工作量，節(jié)省時(shí)間，提高效率

傳統(tǒng)的考試結(jié)果統(tǒng)計(jì)和分析需要占用大量的時(shí)間。本考試分析方法僅需錄入考試結(jié)果信息，即可產(chǎn)生相應(yīng)的試卷、試題分析結(jié)果。

3 結(jié)論

考試是檢驗(yàn)學(xué)員培訓(xùn)目標(biāo)掌握情況的最有效手段之一，考試結(jié)果的分析與評(píng)價(jià)是SAT評(píng)估階段的重要環(huán)節(jié)，通過(guò)分析可以了解教員的命題水平、授課質(zhì)量和教學(xué)效果，了解學(xué)員對(duì)培訓(xùn)目標(biāo)的掌握情況，對(duì)改進(jìn)培訓(xùn)、提高培訓(xùn)有效性具有重要意義。

【參考文獻(xiàn)】

[1]Simpson，E.J.，“The Classification of Educational Objectives： Psychomotor Domain，”Illinois Teacher of Home Economics，10（4）， pages 110-144，1966.

[2]The Principles of Training System Development Manual， Addendum II：Examinations：Design，Development and Implementation.（ACAD 88-002）.

[3]郁張海.標(biāo)準(zhǔn)化考試中的試題分析，山西大學(xué)學(xué)報(bào)，2009年第14卷.