汪存友

科學(xué)設(shè)定職業(yè)資格考試合格標(biāo)準(zhǔn)

汪存友

設(shè)定合格標(biāo)準(zhǔn)是實(shí)施職業(yè)資格考試制度的重要環(huán)節(jié)。本文首先從合格標(biāo)準(zhǔn)與行業(yè)最低基本要求間的對(duì)應(yīng)關(guān)系著手，闡明了設(shè)定合格標(biāo)準(zhǔn)的基本原理；隨后探討了基于Angoff法設(shè)定職業(yè)資格考試合格標(biāo)準(zhǔn)的核心思想，指出實(shí)施Angoff法必須把握好的幾個(gè)關(guān)鍵要素；最后結(jié)合職業(yè)資格考試合格標(biāo)準(zhǔn)設(shè)定實(shí)踐，提出了“最低基本要求對(duì)照策略”、“兩輪設(shè)定策略”和“綜合決策策略”等三種設(shè)定合格標(biāo)準(zhǔn)的策略。

職業(yè)資格考試；合格標(biāo)準(zhǔn)；標(biāo)準(zhǔn)設(shè)定；Angoff法

1 設(shè)定合格標(biāo)準(zhǔn)的內(nèi)涵

職業(yè)資格考試（occupational qualification exami?nation）屬行業(yè)準(zhǔn)入考試，旨在評(píng)價(jià)職業(yè)申請(qǐng)者是否具備從事相關(guān)職業(yè)所必需的專(zhuān)業(yè)知識(shí)、技能與能力（Knowledge、Skills&Abilities，KSA），也即執(zhí)業(yè)者應(yīng)達(dá)到的“最低基本要求”（Minimally Basic Require?ments，MBR）。所謂“設(shè)定合格標(biāo)準(zhǔn)”，又稱(chēng)標(biāo)準(zhǔn)設(shè)定（Standard Setting），通常指確定考生的測(cè)驗(yàn)得分達(dá)到何種程度（How much to be enough）方被裁定為達(dá)到“最低基本要求”（也即“合格”）的方法和過(guò)程。

如果將所有考生按照KSA的水平由低到高排序、形成一條KSA連續(xù)譜（如圖1所示），那么，在KSA連續(xù)譜上存在一個(gè)“最低基本要求”分界線，位于該分界線左端的考生的KSA水平較弱，屬于不合格者；位于其右端的考生的KSA則較強(qiáng)，屬于合格者。進(jìn)一步，如果將所有考生的考試得分由低到高排序、形成一條測(cè)驗(yàn)分?jǐn)?shù)連續(xù)譜，位于KSA連續(xù)譜最左端的考生，其考試得分也位于分?jǐn)?shù)連續(xù)譜的左端；而位于KSA連續(xù)譜最右端的考生，其考試得分也位于分?jǐn)?shù)連續(xù)譜的右端。顯然，對(duì)于KSA恰好處于“最低基本要求”分界線的考生，他們的考試得分將會(huì)在分?jǐn)?shù)連續(xù)譜上也形成一個(gè)分界線，得分位于分界線左端的考生，可以推斷其KSA未達(dá)到“最低基本要求”，故將被裁定為不合格，而位于分界線右端的考生，可以推斷其KSA已達(dá)到“最低基本要求”，故將被裁定合格。設(shè)定合格標(biāo)準(zhǔn)的目標(biāo)，就是要將KSA連續(xù)譜上的“最低基本要求”轉(zhuǎn)換為分?jǐn)?shù)連續(xù)譜上的“考試合格標(biāo)準(zhǔn)”。

圖1 設(shè)定合格標(biāo)準(zhǔn)原理

理論上，由于人的主觀界定存在模糊性，“最低基本要求”常常是一個(gè)區(qū)間；同時(shí)，由于考試存在測(cè)量誤差，考試合格標(biāo)準(zhǔn)也存在一個(gè)區(qū)間（如圖1所示）；但實(shí)際操作中，出于考試權(quán)威性的考慮，考試合格標(biāo)準(zhǔn)總是一個(gè)確定的分界分?jǐn)?shù)。如果此時(shí)所設(shè)定的合格標(biāo)準(zhǔn)明顯高于“最低基本要求”，則導(dǎo)致的結(jié)果是：部分實(shí)際上已合格的考生將被拒絕在行業(yè)之外，造成對(duì)部分有能力的考生不公平；如果此時(shí)所設(shè)定的合格標(biāo)準(zhǔn)明顯低于“最低基本要求”，則導(dǎo)致的結(jié)果是：部分實(shí)際上不合格的考生也能通過(guò)考試并獲得資格，影響整個(gè)行業(yè)的服務(wù)質(zhì)量等?？梢?jiàn)，科學(xué)合理設(shè)定合格標(biāo)準(zhǔn)，對(duì)于實(shí)施職業(yè)資格考試、提高行業(yè)服務(wù)水平至關(guān)重要。

2 設(shè)定合格標(biāo)準(zhǔn)的基本方法

設(shè)定合格標(biāo)準(zhǔn)通常被形容為“做翻譯”，即怎樣順利、準(zhǔn)確地將抽象的“最低基本要求”翻譯為具體的測(cè)驗(yàn)分?jǐn)?shù)[1]。迄今為止，設(shè)定合格標(biāo)準(zhǔn)的方法已達(dá)數(shù)百種，而在職業(yè)資格考試中應(yīng)用最為廣泛的是Angoff法[2]。該方法要求：遴選一批行業(yè)或?qū)W科領(lǐng)域的專(zhuān)家（judge），組織他們共同界定一組知識(shí)、技能或能力狀態(tài)恰好位于掌握/未掌握、合格/不合格邊緣的考生（恰好合格考生），并估計(jì)這些考生在每道試題上的表現(xiàn)，據(jù)此設(shè)定分?jǐn)?shù)線[3]。其核心思想如圖2所示。

首先，要事先根據(jù)試題所屬的考試內(nèi)容范圍，明確該題所對(duì)應(yīng)的“最低基本要求”，也即執(zhí)業(yè)者在這個(gè)點(diǎn)上應(yīng)該“至少知道什么、會(huì)做什么；還不知道什么、不會(huì)做什么”；其次，組織專(zhuān)家參照該“最低基本要求”，回想自己工作中接觸的某些典型人員的業(yè)務(wù)表現(xiàn)，并在頭腦中構(gòu)造一個(gè)“恰好合格考生”形象，他們的業(yè)務(wù)表現(xiàn)恰好稱(chēng)得上合格；最后，專(zhuān)家需審閱試題的題干、選項(xiàng)和難度，并估計(jì)“恰好合格考生”在該題上的可能作答表現(xiàn)。由圖2可見(jiàn)，執(zhí)行Angoff法的關(guān)鍵有三：一是必須明確界定好“最低基本要求”，二是必須幫助專(zhuān)家構(gòu)造出“恰好合格考生”的清晰形象，三是專(zhuān)家怎樣估計(jì)“恰好合格考生”的作答表現(xiàn)。

圖2 Angoff法的核心思想

對(duì)于第一個(gè)關(guān)鍵點(diǎn)，需要在設(shè)定合格標(biāo)準(zhǔn)之前，組織行業(yè)專(zhuān)家采用工作分析法或關(guān)鍵事件法分析行業(yè)對(duì)執(zhí)業(yè)者的知識(shí)、技能或能力素質(zhì)的要求，制定一份關(guān)于執(zhí)業(yè)“最低基本要求”清單，明確合格的執(zhí)業(yè)者所必須掌握的知識(shí)、技能或能力。美國(guó)注冊(cè)護(hù)士職業(yè)資格考試、新一代TOEFL考試的合格標(biāo)準(zhǔn)設(shè)定即采用了此策略。

對(duì)于第二個(gè)關(guān)鍵點(diǎn)，需要引導(dǎo)專(zhuān)家根據(jù)試題所考查的內(nèi)容或知識(shí)點(diǎn)，對(duì)照“最低基本要求”清單中關(guān)于此內(nèi)容或知識(shí)點(diǎn)的知識(shí)、技能或能力描述，從其所熟悉的考生群中鎖定一個(gè)或若干個(gè)典型人員，構(gòu)造“恰好合格考生”的形象。例如：Impara&Plake教授主持的加拿大Nebraska省學(xué)業(yè)水平測(cè)試的合格標(biāo)準(zhǔn)設(shè)定即采用此策略[4]。

對(duì)于第三個(gè)關(guān)鍵點(diǎn)，應(yīng)該適當(dāng)向?qū)＜姨峁┮恍╆P(guān)于試題難度的信息，比如：不同測(cè)驗(yàn)分?jǐn)?shù)段的考生在該題上的實(shí)際作答表現(xiàn)、全體考生在該題上的答對(duì)比例等；此外，應(yīng)該引導(dǎo)專(zhuān)家將其對(duì)試題難度的理解轉(zhuǎn)化為“恰好合格考生”的作答表現(xiàn)。一般地，專(zhuān)家有四種估計(jì)方式，一是估計(jì)“恰好合格考生”答對(duì)還是答錯(cuò)，二是估計(jì)“恰好合格考生”答對(duì)的可能性（概率），三是給定若干個(gè)概率選項(xiàng)（10%、20%，30%……），專(zhuān)家從中選擇一個(gè)最能反映“恰好合格考生”答對(duì)可能性的值，四是采用區(qū)間概率估計(jì)法。關(guān)于上述四種估計(jì)形式，都有相關(guān)的實(shí)證研究進(jìn)行論證。目前，應(yīng)用最為廣泛的有兩種：對(duì)錯(cuò)估計(jì)和概率估計(jì)。

3 基于Angoff法設(shè)定職業(yè)資格考試合格標(biāo)準(zhǔn)的若干策略

Angoff法的思想雖然簡(jiǎn)單，但設(shè)定合格標(biāo)準(zhǔn)卻是一項(xiàng)系統(tǒng)工程，除了引導(dǎo)專(zhuān)家合理地判斷“恰好合格考生”在試題上的作答表現(xiàn)外，還需要精心安排、組織、實(shí)施一系列的配套活動(dòng)，如界定“最低基本要求”、“遴選學(xué)科專(zhuān)家”、“專(zhuān)家培訓(xùn)”、“結(jié)果反饋”、“事后調(diào)查”、“統(tǒng)計(jì)分析”、“效度評(píng)估”等。美國(guó)的教育服務(wù)社（ETS）、大學(xué)入學(xué)考試（ACT）、醫(yī)師考試委員會(huì)（NBME）、國(guó)家教育進(jìn)步評(píng)估（NAEP）等大型考試服務(wù)機(jī)構(gòu)或項(xiàng)目，都十分重視合格標(biāo)準(zhǔn)設(shè)定的整個(gè)過(guò)程的科學(xué)性、組織性和完整性。Cizek（2001）認(rèn)為合格標(biāo)準(zhǔn)雖然具有自然科學(xué)的專(zhuān)業(yè)性質(zhì)，但由于融入了較多的藝術(shù)、政治和文化成分，因而更接近社會(huì)科學(xué)[5]。

3.1 “最低基本要求”對(duì)照策略

該策略在前面已提到，即首先，在合格標(biāo)準(zhǔn)設(shè)定會(huì)議之前，組織行業(yè)專(zhuān)家對(duì)行業(yè)的知識(shí)、技能或能力（KSA）的最低基本要求（MBR）進(jìn)行分析；其次，要組織學(xué)科專(zhuān)家明確界定每道試題所屬的內(nèi)容范圍；最后，組織專(zhuān)家建立起“內(nèi)容范圍”與“最低基本要求”間的對(duì)應(yīng)關(guān)系。這樣，對(duì)于所有的試題，將形成一張對(duì)照表：“試題——所屬內(nèi)容范圍——最低基本要求”。由于“最低基本要求”界定的合格考生“知道什么、會(huì)做什么，以及還不知道什么、還不會(huì)做什么”，因此專(zhuān)家在對(duì)每道試題進(jìn)行Angoff估計(jì)時(shí)，都能實(shí)時(shí)查找到該題對(duì)應(yīng)的“最低基本要求”，從而有助于專(zhuān)家合理界定“恰好合格考生”，提高估計(jì)的準(zhǔn)確性。美國(guó)教育進(jìn)展評(píng)估項(xiàng)目（NAEP）目前正在推廣的Bookmark法就使用了該策略。

3.2 多輪設(shè)定策略

關(guān)于合格標(biāo)準(zhǔn)設(shè)定中進(jìn)行多輪設(shè)定的實(shí)證研究相當(dāng)多。Hambleton(1998)[6]認(rèn)為，在第一輪設(shè)定完畢時(shí)，應(yīng)給予專(zhuān)家相互討論的機(jī)會(huì)。“……通常，試題的統(tǒng)計(jì)信息、以及合格標(biāo)準(zhǔn)所對(duì)應(yīng)的分?jǐn)?shù)通過(guò)率情況等對(duì)專(zhuān)家的評(píng)判是很有參考價(jià)值的。那么，第二輪的估計(jì)相對(duì)而言更為充分，可以消除誤差源（誤解、粗心、不已知、錯(cuò)誤）。”兩輪設(shè)定雖然會(huì)花費(fèi)較多的人力、物力、財(cái)力等，但這對(duì)于提高合格標(biāo)準(zhǔn)的可靠性和準(zhǔn)確性是至關(guān)重要的。NBME早期的實(shí)證研究也表明，專(zhuān)家對(duì)采用兩輪設(shè)定且在此期間提供試題難度信息的做法最為認(rèn)同[7]。

Angoff法自提出時(shí)就存在兩種估計(jì)形式：對(duì)錯(cuò)估計(jì)和概率估計(jì)[8]。Plake&Impara（1997）[9]、Chinn&Hurtz(2002)[10]的研究表明，“對(duì)錯(cuò)”估計(jì)方式相對(duì)于“概率”估計(jì)方式更為簡(jiǎn)單。筆者的研究表明，“對(duì)錯(cuò)”估計(jì)方式與“概率”估計(jì)方式具有較強(qiáng)的互補(bǔ)性，而且“概率”估計(jì)方式更加穩(wěn)定。因此，可采用“對(duì)錯(cuò)”估計(jì)與“概率”估計(jì)相結(jié)合的專(zhuān)家判斷策略，即組織專(zhuān)家先初步估計(jì)“恰好合格考生”能否答對(duì)試題，再采用“概率”估計(jì)慎重估計(jì)。

此外，大量早期實(shí)證研究表明，提供試題實(shí)測(cè)信息，如難度、正確答案等，對(duì)于提高專(zhuān)家估計(jì)的可靠性和準(zhǔn)確性是很有幫助的[11]。因此，對(duì)于第一輪的對(duì)錯(cuò)估計(jì)，可采用頻數(shù)分布圖的形式向?qū)＜姨峁┎煌梅侄紊系目忌饘?duì)試題的比例，對(duì)于第二輪的概率估計(jì)，可提供全體考生實(shí)際答對(duì)試題的比例以及試題的正確答案。

3.3 綜合決策策略

采用多種方法設(shè)定合格標(biāo)準(zhǔn)，是大規(guī)模、高風(fēng)險(xiǎn)職業(yè)資格考試的基本策略，這樣可以避免單一方法因執(zhí)行力度不夠而導(dǎo)致合格標(biāo)準(zhǔn)偏離實(shí)際。由于執(zhí)行Angoff法時(shí)，專(zhuān)家通常關(guān)注單一的試題，因此，Angoff法也被稱(chēng)為“基于單一試題的專(zhuān)家判斷法”。許多學(xué)者指出，Angoff法使專(zhuān)家忽略了試題的整體關(guān)系，易造成合格標(biāo)準(zhǔn)設(shè)定過(guò)高。Plake（1998）主張將Angoff法與以整體判斷為特色的合格標(biāo)準(zhǔn)設(shè)定方法相結(jié)合，如Beuk法和Hofstee法等，她認(rèn)為這樣有助于將專(zhuān)家從關(guān)注單一的試題轉(zhuǎn)移到測(cè)驗(yàn)全局上，若此時(shí)提供了所設(shè)定合格標(biāo)準(zhǔn)對(duì)應(yīng)的通過(guò)率，還能及時(shí)對(duì)專(zhuān)家的期望通過(guò)率進(jìn)行驗(yàn)證[12]。

以Hofstee法為例，其操作十分簡(jiǎn)單，只需要專(zhuān)家根據(jù)自己對(duì)考試內(nèi)容和考生群體的大致了解，預(yù)估此次考試的合格標(biāo)準(zhǔn)的可能區(qū)間（最低分?jǐn)?shù)、最高分?jǐn)?shù)）和考生的通過(guò)率情況（最高通過(guò)率、最低通過(guò)率）[13]。采用Hofstee法，一方面能夠?qū)?zhuān)家的注意力轉(zhuǎn)移到對(duì)整個(gè)測(cè)驗(yàn)、全體考生的期望上來(lái)，另一方面通過(guò)建立合格標(biāo)準(zhǔn)與通過(guò)率的對(duì)照?qǐng)D，從而能將合格標(biāo)準(zhǔn)對(duì)通過(guò)率的影響直觀地顯示出來(lái)。因此，將Angoff法與Hofstee法相結(jié)合設(shè)定合格標(biāo)準(zhǔn)，在美國(guó)注冊(cè)護(hù)士職業(yè)資格考試、美國(guó)醫(yī)師資格考試以及其他的資格認(rèn)證考試中有著廣泛的應(yīng)用。

4 總結(jié)

職業(yè)資格考試是我國(guó)職業(yè)證書(shū)制度的重要組成部分，而設(shè)定合格標(biāo)準(zhǔn)又是實(shí)施職業(yè)資格考試的重點(diǎn)和難點(diǎn)。自20世紀(jì)90年代我國(guó)開(kāi)展職業(yè)資格考試以來(lái)，越來(lái)越多的機(jī)構(gòu)和群體開(kāi)始關(guān)注合格標(biāo)準(zhǔn)的確定辦法，這其中也包括非心理與教育測(cè)量背景的專(zhuān)家學(xué)者。雖然職業(yè)資格考試合格標(biāo)準(zhǔn)的設(shè)定在國(guó)外早已是研究熱點(diǎn)，相繼提出了許多方法，但在國(guó)內(nèi)，無(wú)論是研究的數(shù)量還是水平都處于較低的層次。隨著我國(guó)大規(guī)模、高風(fēng)險(xiǎn)考試科學(xué)化的推進(jìn)，科學(xué)合理設(shè)定合格標(biāo)準(zhǔn)已成為衡量考試水平的重要依據(jù)。

[1]Reckase M D.Innovative methods for helping standard-setting par?ticipants to perform their task:the role of feedback regarding con?sistency,accuracy,and impact[M].Setting Performance Stan?dards:Concepts,Methods,and Perspectives,Cizek G J,Mahwah,N.J.:Lawrence Erlbaum Associates,Inc.,2001,159-173.

[2]Hess B,Subhiyah R G,Giordano C.Convergence Between Cluster Analysis and the Angoff Method for Setting Minimum Passing Scores on Credentialing Examinations.[J].Evaluation&the Health Professions.2007,30(4):362-375.

[3][8]Angoff W H.Scales,norms and equivalent scores[M].Education?al Measurement,2nd ed.ed;Thorndike R L,Washington,DC:American Council on Education,1971,508-600.

[4][9]Impara J C,Plake B S.Standard Setting:An Alternative Aproach[J].Journal of Educational Measurement.1997,34(4):353-366.

[5]Cizek G J.Conjectures on the rise and call of standard setting:An introduction to context and practic[M].Setting Performance Stan?dards:Concepts,Methods,and Perspectives,Cizek G J,Mahwah,N.J.:Lawrence Erlbaum Associates,Inc.,2001,3-17.

[6]Hambleton R K.Setting performance standards on achievement tests:Meeting the requirements of Title I[M].Handbook for the de?velopment of performancee standards:Meeting the requirements of Title I,hansche L N,Washington,DC:Council of Chief State School Officers,1998,97-104.

[7]Swanson D B,Dillon G F,Ross L E.Setting content-based stan?dards for national board exams:initial research for the Comprehen?sive Part I Examination[J].Academic Medicine.1990,65(9):17-18.

[10]Chinn R N,Hertz N R.Alternative Approaches to Standard Setting for Licensing and Certification Examinations.[J].Applied Measure?ment in Education.2002,15(1):1-14.

[11]Brandon P R.Conclusions About Frequently Studied Modified An?goff Standard-Setting Topics[J].Applied Measurement in Educa?tion.2004,17(1):59-88.

[12]Plake B S.Setting Performance Standards for Professional Licen?sure and Certification[J].Applied Measurement in Education.1998,11(1):65-80.

[13]Bower J J,Shindoll R R.A comparison of the Angoff,Beuk,and Hofstee Methods for Setting a Passing Score[R].ACT,1989.

Setting Performance Standard Scientifically for Occupational Qualification Examination

WANG Cunyou

Standard setting is the key step of conducting occupational qualification examination.The principle and meaning of standard setting were explained Firstly,by focusing on the correspondent relationship between the standard and minimally basic requirements.Secondly,the kernel of Angoff method,which was used to set the standard of occupational qualification examination,was explored,as well as the key points during carrying out it.And at last,in terms of occupational qualification examination practice,several standard setting strategies were proposed here.

Occupational Qualification Examination;Performance Standard;Standard Setting;Angoff Method

G405

A

1005-8427(2012)04-0043-5

本文系山西省教育科學(xué)“十二五”規(guī)劃立項(xiàng)課題（批準(zhǔn)號(hào)：GH-11056）的階段性成果。

山西師范大學(xué)