陳 鋒,侯世科,樊毫軍
我國(guó)國(guó)家衛(wèi)生應(yīng)急隊(duì)伍分為緊急醫(yī)學(xué)救援、突發(fā)急性傳染病防控、突發(fā)中毒事件應(yīng)急處置、核和輻射突發(fā)事件衛(wèi)生應(yīng)急4類。衛(wèi)生應(yīng)急隊(duì)伍的成員來自醫(yī)療衛(wèi)生等機(jī)構(gòu)的工作人員,平時(shí)承擔(dān)所在單位日常工作,應(yīng)急時(shí)承擔(dān)衛(wèi)生應(yīng)急處置任務(wù)。依據(jù)《全國(guó)衛(wèi)生應(yīng)急工作培訓(xùn)大綱(2011~2015年)》的要求,國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)每年培訓(xùn)一次,每次80個(gè)學(xué)時(shí)。培訓(xùn)內(nèi)容包括“緊急醫(yī)學(xué)救援總論、緊急醫(yī)學(xué)救援隊(duì)伍組織管理、傷員分檢與后送、現(xiàn)場(chǎng)急救基本技術(shù)、常見創(chuàng)傷醫(yī)學(xué)急救要點(diǎn)、救援現(xiàn)場(chǎng)公共衛(wèi)生管理”7個(gè)方面。培訓(xùn)大綱中也明確“可根據(jù)每次培訓(xùn)班的特點(diǎn)確定培訓(xùn)和考核方式”,為此我們依托衛(wèi)生應(yīng)急綜合培訓(xùn)演練中心制訂了考核方案,開發(fā)實(shí)施了專門設(shè)計(jì)的OSCE對(duì)緊急醫(yī)學(xué)救援培訓(xùn)人員進(jìn)行結(jié)業(yè)考核,并對(duì)OSCE的質(zhì)量和結(jié)果進(jìn)行分析、解釋,為構(gòu)建規(guī)范化、標(biāo)準(zhǔn)化的緊急醫(yī)學(xué)救援培訓(xùn)考核模式提供參考[1]。
1.1 對(duì)象 2012年6月7日至17日,某國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)共計(jì)36名隊(duì)員(其中男隊(duì)員29人,女隊(duì)員7人;管理人員3人,臨床醫(yī)生25人,技師2人,護(hù)士6人),平均年齡37±1.7歲。除3名管理人員外,33名醫(yī)療隊(duì)員在衛(wèi)生應(yīng)急綜合培訓(xùn)演練中心完成了80個(gè)學(xué)時(shí)的緊急醫(yī)學(xué)救援全部培訓(xùn),采用專門設(shè)計(jì)的OSCE進(jìn)行操作技能結(jié)業(yè)考核,見圖1。
圖1 結(jié)業(yè)考核綜合演練過程
1.2 方法
1.2.1 組織考試的方法 組織了包括災(zāi)害醫(yī)學(xué)領(lǐng)域?qū)<?、中?guó)國(guó)際救援隊(duì)醫(yī)療分隊(duì)隊(duì)員在內(nèi)的9人命題組,所有命題人對(duì)被測(cè)驗(yàn)的隊(duì)員和所要達(dá)到的技能水平有充分的了解,所有病例都是以他們?cè)诰o急醫(yī)療救援實(shí)踐中遇到的真實(shí)病人為基礎(chǔ)設(shè)計(jì)的。設(shè)計(jì)的OSCE由10站組成,涵蓋了國(guó)家緊急醫(yī)學(xué)救援培訓(xùn)大綱的主要培訓(xùn)內(nèi)容,每個(gè)考站都編寫了相應(yīng)的考試目的、考生指導(dǎo)、評(píng)分考核表、標(biāo)準(zhǔn)化病人指導(dǎo)、所需設(shè)備清單,并對(duì)考官和標(biāo)準(zhǔn)化病人進(jìn)行了培訓(xùn)。隨機(jī)確定33名隊(duì)員的考試順序,所有隊(duì)員均按OSCE流程完成考試,考官依據(jù)評(píng)分標(biāo)準(zhǔn)評(píng)定成績(jī)。考官用掌上電腦代替紙質(zhì)評(píng)分檢核表進(jìn)行成績(jī)?cè)u(píng)定,每個(gè)考生在每一站的評(píng)分會(huì)通過無限網(wǎng)絡(luò)及時(shí)上傳統(tǒng)計(jì),提高了成績(jī)的匯總和評(píng)定的效率。每個(gè)考站都安裝了監(jiān)控設(shè)備,對(duì)考試進(jìn)行全程錄音錄像,便于考官和考生在考試后分析總結(jié)。
1.2.2 數(shù)據(jù)統(tǒng)計(jì)方法 將所有考生的成績(jī)數(shù)據(jù)采用SPSS19.0進(jìn)行錄入和統(tǒng)計(jì)分析。
2.1 考試結(jié)構(gòu)分析 該OSCE的考試時(shí)間為120分鐘,分為三部分:第一部分為5個(gè)SP考站,病人全部采用SP,需完成病史采集、體格檢查、以及5個(gè)病例相關(guān)選擇選擇題;第二部分為3個(gè)計(jì)算機(jī)模擬考站,隊(duì)員在計(jì)算機(jī)上完成模擬考試;第三部分為2個(gè)臨床技能考站,提供相關(guān)設(shè)備和器材,隊(duì)員在醫(yī)學(xué)模擬人上進(jìn)行操作技能考核,見表1。在考站5和考站6之間、考站7和考站8之間各設(shè)1個(gè)輪換休息站。
表1 緊急醫(yī)學(xué)救援培訓(xùn)結(jié)業(yè)OSCE結(jié)構(gòu)表
2.2 考試成績(jī)分析 匯總隊(duì)員的平時(shí)成績(jī),總分100分,由考勤、理論課成績(jī)、實(shí)踐課成績(jī)等3部分構(gòu)成,其平均分為75.9±8.3。每個(gè)考站分?jǐn)?shù)為100分,10個(gè)考站按每個(gè)考站所考核內(nèi)容的重要性給出權(quán)重,依據(jù)權(quán)重整個(gè)OSCE滿分為100分,33名隊(duì)員的 OSCE 成績(jī)?cè)?59.1 至 89.9 之間(72.3 ±7.1)。33名醫(yī)療隊(duì)員平時(shí)成績(jī)接近正態(tài)分布,w檢驗(yàn)P=0.554,Sk=0.232,Ku=0.477,見圖 2;結(jié)業(yè)考核OSCE成績(jī)接近正態(tài)分布,w檢驗(yàn) P=0.644,Sk=0.445,Ku=0.265,見圖3。
圖2 33名國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)隊(duì)員平時(shí)成績(jī)頻率分布
2.3 合格標(biāo)準(zhǔn)的確定 由12名考官組成考核組,用基于考試內(nèi)容(試題)的專家判斷法來設(shè)定合格標(biāo)準(zhǔn),即擴(kuò)展的Angoff法。首先將10個(gè)考站的評(píng)分表作為單個(gè)試題對(duì)待,在此基礎(chǔ)上參考培訓(xùn)目標(biāo)的要求估計(jì)邊界組考生的分?jǐn)?shù),12名考官分別對(duì)每個(gè)考站的得分進(jìn)行估計(jì),然后計(jì)算每個(gè)考站的平均得分,將這些平均得分相加就得出合格分?jǐn)?shù):63.2,見表2[2]。依據(jù)合格分?jǐn)?shù)將隊(duì)員的能力水平分為優(yōu)秀(約10%,4 人)、良好(約30%,10 人)、合格(約50%,16 人)和不合格(約10%,3人)4個(gè)等級(jí),見表1。
圖3 33名國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)隊(duì)員OSCE成績(jī)頻率分布
2.4 難度和區(qū)分度分析 難度(Difficulty)是指題目的難易程度,或說測(cè)驗(yàn)的難易程度。按主觀題計(jì)算OSCE的難度,公式:P=X/M(X為試題平均得分,M為試題滿分),10個(gè)考站的難度在0.48至0.83之間,整體難度為 0.72。區(qū)分度(Discrimination)是指測(cè)驗(yàn)題目對(duì)學(xué)業(yè)水平不同的學(xué)生的區(qū)分程度或鑒別能力。按主觀題用Pearson積差相關(guān)分析計(jì)算OSCE各考站區(qū)分度,10個(gè)考站的區(qū)分度在0.11 至0.89 之間,見表2。
2.5 信度和效度分析 信度(Reliability)是指同一個(gè)測(cè)驗(yàn)對(duì)同一組被試,施測(cè)兩次或多次得分的一致程度。一般認(rèn)為,標(biāo)準(zhǔn)化考試的信度系數(shù)應(yīng)該在0.9以上。本文采用Cronbach α系數(shù)對(duì)OSCE的同質(zhì)性信度進(jìn)行檢驗(yàn),α值為0.941。效度(Validity)是指測(cè)驗(yàn)?zāi)軌驕y(cè)出它所要測(cè)量事物的程度,即試卷準(zhǔn)確地測(cè)量了考試目的及欲測(cè)內(nèi)容的多少。本文采用積差相關(guān)法(Pearson法)求效度利用效標(biāo)關(guān)聯(lián)效度法進(jìn)行分析,把隊(duì)員的平時(shí)成績(jī)作為效度分析的效標(biāo),得出OSCE成績(jī)與平時(shí)成績(jī)的相關(guān)系數(shù)為0.899。
表2 各考站平均分、總分和邊界組分?jǐn)?shù)
考核是培訓(xùn)工作的重要組成部分。合理、高效的考核方式不僅可以準(zhǔn)確反應(yīng)考生的能力水平,還可以反饋教學(xué)中存在的顯性和隱性問題。但是考試成績(jī)本身不能說明這些問題,必須對(duì)考試結(jié)果進(jìn)行統(tǒng)計(jì)分析并進(jìn)行正確的解釋,才能得到豐富的深層次信息,從某種角度來講,這些信息比考試成績(jī)更重要。
全國(guó)衛(wèi)生應(yīng)急工作培訓(xùn)的主要培訓(xùn)與考核方式有:集中培訓(xùn)考核分理論考試和操作考試兩種形式;進(jìn)修培訓(xùn)考核采取理論考試與專項(xiàng)調(diào)查報(bào)告相結(jié)合的方式,也可根據(jù)每次培訓(xùn)班的特點(diǎn)確定培訓(xùn)和考核方式。本研究將OSCE作為緊急醫(yī)學(xué)救援培訓(xùn)的操作技能結(jié)業(yè)考試??荚嚱Y(jié)果顯示,33名隊(duì)員的OSCE 成績(jī)?cè)?9.1 至89.9 之間(72.3 ±7.1),成績(jī)接近正態(tài)分布;OSCE的整體難度為0.72,10個(gè)考站的難度在0.48至0.83之間,區(qū)分度在0.11至0.89之間,OSCE的同質(zhì)性信度進(jìn)行檢驗(yàn) α值為0.941,OSCE成績(jī)與平時(shí)成績(jī)的相關(guān)系數(shù)為0.899。這表明,OSCE的難度適中,具有良好的區(qū)分度、信度和效度,考試結(jié)果真實(shí)可信,客觀評(píng)價(jià)了國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)隊(duì)員的操作技能水平,OSCE可以作為緊急醫(yī)學(xué)救援培訓(xùn)操作技能的考核方式。
考試分?jǐn)?shù)須與特定的參照系統(tǒng)比較才有意義。衛(wèi)生應(yīng)急工作培訓(xùn)的考核是為了評(píng)價(jià)培訓(xùn)人員是否己經(jīng)充分掌握了培訓(xùn)內(nèi)容,是否已經(jīng)達(dá)到了既定的培訓(xùn)目標(biāo),因此OSCE是一種標(biāo)準(zhǔn)參照性考試。本研究運(yùn)用考試后的擴(kuò)展的Angoff法,確定了邊界組分?jǐn)?shù)(合格分?jǐn)?shù))為63.2,有3人不合格。如果按60分作為劃界分?jǐn)?shù),就有1人不合格。這表明,在衛(wèi)生應(yīng)急工作培訓(xùn)考核中運(yùn)用基于標(biāo)準(zhǔn)的教育考試對(duì)合格標(biāo)準(zhǔn)進(jìn)行確定,更能準(zhǔn)確地反映受試者是否達(dá)到了合格標(biāo)準(zhǔn)[3]。
由于《全國(guó)衛(wèi)生應(yīng)急工作培訓(xùn)大綱(2011~2015年)》中只列了國(guó)家級(jí)緊急醫(yī)學(xué)救援隊(duì)培訓(xùn)大綱,具體培訓(xùn)實(shí)施計(jì)劃需要各單位結(jié)合實(shí)際制訂,培訓(xùn)效果受到培訓(xùn)條件、培訓(xùn)內(nèi)容、培訓(xùn)方式、師資力量、評(píng)價(jià)指標(biāo)、考核方式等多種因素的制約。我國(guó)衛(wèi)生應(yīng)急隊(duì)伍培訓(xùn)還處于起步階段,還要進(jìn)一步探索建立專業(yè)化、標(biāo)準(zhǔn)化的培訓(xùn)體系。本研究表明OSCE適用于緊急醫(yī)學(xué)救援隊(duì)培訓(xùn)結(jié)業(yè)考核,但是由于醫(yī)學(xué)救援隊(duì)任務(wù)的復(fù)雜性及多樣性,較高的考核合格率并不能直接反映隊(duì)員已經(jīng)具備應(yīng)對(duì)各種災(zāi)害的實(shí)際能力,在完善我國(guó)醫(yī)學(xué)救援培訓(xùn)體系的過程中要重視這些問題。由于樣本量的限制,以及隊(duì)員自身不同的專業(yè)背景對(duì)OSCE成績(jī)的影響,本研究還需要進(jìn)一步深入研究,在此基礎(chǔ)上建立全國(guó)衛(wèi)生應(yīng)急工作培訓(xùn)考核試題庫,逐步建立規(guī)范化的衛(wèi)生應(yīng)急培訓(xùn)考核評(píng)估體系。
[1] 安淑媛,張 陽,劉 強(qiáng),等.OSCE在臨床技能評(píng)價(jià)中的應(yīng)用[J].醫(yī)學(xué)教育探索,2009,8(3):251-252.
[2] 王曉華.基于標(biāo)準(zhǔn)的教育考試合格標(biāo)準(zhǔn)研究[J].教育科學(xué),2012,28(5):15-21.
[3] 何 懼,何 佳,安 滔,等.Angoff法及其衍生方法在資格考試合格線設(shè)定中的比較研究[J].中國(guó)考試(研究版),2007(6):23-26.