陳宇清 郭伊莉
摘要:通過對肇慶醫(yī)學(xué)高等專科學(xué)校2018級高職護理專業(yè)2個班級2019至2020學(xué)年第一學(xué)期《基礎(chǔ)護理學(xué)》課題期末理論考試網(wǎng)絡(luò)護理學(xué)(高職)題庫抽題組卷試卷214份定量分析,顯示網(wǎng)絡(luò)護理學(xué)題庫的網(wǎng)絡(luò)平臺組卷試卷的難度、區(qū)分度、信度、效度、穩(wěn)定性都能較好地滿足設(shè)計要求,對學(xué)生進行有效評估。但也存在A、B兩卷均有個別相互提示題、知識點之間的重疊,并有部分超綱的題目,缺少“病人的安全”“護士職業(yè)防護”內(nèi)容等問題,不能滿足《基礎(chǔ)護理學(xué)》課程標準對教學(xué)內(nèi)容的全部要求。因此,應(yīng)定期更新試題,使題庫試題與學(xué)科發(fā)展、教材建設(shè)等保持同步,并繼續(xù)完善網(wǎng)絡(luò)題庫試題質(zhì)量以及組題方法,以保證科學(xué)評價教學(xué)效果。
關(guān)鍵詞:基礎(chǔ)護理學(xué);試題庫;試卷分析
中圖分類號:R471;G642文獻標識碼:A文章編號:2095-6916(2021)16-0111-03
考試是檢驗教學(xué)效果最有效的手段,提高考試的準確性、客觀性和可靠性,已成為職業(yè)院校教學(xué)與考試改革的重要任務(wù)。教考分離是指將教學(xué)與考試分離進行,即將由任課教師命題及評分的做法,改為由教學(xué)管理部門組織人員從規(guī)范、標準的試題庫中科學(xué)篩選、組合出符合要求的試卷,并統(tǒng)一組織考試,統(tǒng)一評閱試卷[1]。題庫建設(shè)是實現(xiàn)考試規(guī)范化、科學(xué)化的重要措施,是實現(xiàn)考教分離,體現(xiàn)考試的公正與公平原則,促進教學(xué)質(zhì)量提高,保證人才培養(yǎng)質(zhì)量的重要手段[2]?!秶抑虚L期教育改革和發(fā)展規(guī)劃綱要(2010—2020年)》[3]中提出了“在高等教育中需強化信息技術(shù)的應(yīng)用”,在推進護理學(xué)專業(yè)教育改革發(fā)展,加快教育信息化的進程,促進考試工作科學(xué)化、標準化、規(guī)范化的過程中,網(wǎng)絡(luò)題庫作為護理學(xué)專業(yè)教育評價的重要載體發(fā)揮著重要作用?!痘A(chǔ)護理學(xué)》是護理學(xué)專業(yè)的核心課程 [2],本研究擬在我校進行網(wǎng)絡(luò)題庫《基礎(chǔ)護理學(xué)》題庫的測試,對考試成績、試題難度、區(qū)分度以及試卷的信度和效度等進行分析,提出切實可行的網(wǎng)絡(luò)平臺試卷命題意見,為建立一個優(yōu)質(zhì)、可靠、系統(tǒng)、有效的《基礎(chǔ)護理學(xué)》網(wǎng)絡(luò)題庫提供依據(jù)。
一、對象與方法
(一) 研究對象
選擇肇慶醫(yī)學(xué)高等??茖W(xué)校2018級高職護理專業(yè)2個班級2019至2020學(xué)年第一學(xué)期《基礎(chǔ)護理學(xué)》課程期末理論考試網(wǎng)絡(luò)題庫抽題組卷試卷214份作為研究對象,其中試卷A108份,試卷B106份,合計214份。
(二)研究方法
本研究采用資料分析法。
(三)組卷及考試實施
1.組卷及試題設(shè)置
考試的題目來源于某公司網(wǎng)絡(luò)題庫(護理學(xué))基礎(chǔ)護理學(xué)學(xué)科的一類題庫,題庫共有2880道試題,包括填空題、選擇題、簡答題及案例分析等題型。本次組卷使用網(wǎng)絡(luò)題庫平臺系統(tǒng)的“智能組卷”功能,通過填寫題庫平臺的“雙向細目表”設(shè)置題型、子題數(shù)量、分值、難易度比例及考核內(nèi)容要求等,試卷整體難度控制中等,其中較易10%,易20%,中50%,難10%,較難10%,試題按照課程標準要求(了解、熟悉、掌握)及認知分級(記憶、理解、應(yīng)用)設(shè)置合適比例并由試題庫智能化根據(jù)“雙向細目表”隨機出題。組卷完成后,教研室組織非任課教師進行全卷及細目表查看,將超綱的題目進行試題的替換操作。為與護士執(zhí)業(yè)資格考試題型接軌,本次試題題型全部采用單項選擇題(Al/A2、A3/A4),共計120小題。使用系統(tǒng)的防作弊功能,將同一試卷的試題隨機排序并對每道試題設(shè)置為不能回看。
2.考試實施
課程結(jié)束后1周對學(xué)生進行閉卷考核,學(xué)生登錄指定網(wǎng)址,進入題庫平臺客戶端,填寫賬號信息,完成考試;對監(jiān)考教師及任課教師進行統(tǒng)一培訓(xùn),保證考試的公平及公正;考試前對全體學(xué)生開展考試系統(tǒng)的學(xué)習(xí)培訓(xùn),確保每個學(xué)生均掌握了系統(tǒng)的操作方法;考前1天,做好各項硬件設(shè)施的調(diào)試,并安排計算機技術(shù)人員參與監(jiān)考,確保當考試系統(tǒng)出現(xiàn)問題時能被正確處理,保證考試不被耽誤。
二、結(jié)果
(一)試卷基本情況
試題的考試時間設(shè)置為90分鐘,全部學(xué)生均在90分鐘內(nèi)交卷,其中1名學(xué)生考試過程出現(xiàn)過中斷,重新登錄后順利完成考試。試卷覆蓋了《基礎(chǔ)護理學(xué)》課程的17章49節(jié),章節(jié)知識覆蓋率為89.1%,A卷有2題相互提示,2個考點出現(xiàn)重復(fù),B卷有1個考點出現(xiàn)重復(fù)。
(二) 成績分布
2套考試平均成績分別為92.3分、91.4分(換算成百分制為分75.8及76.6分),及格率為94.4%、95.3%,具體結(jié)果詳見表1??荚嚦煽兎植?套試卷考試成績均基本符合正態(tài)分布(圖1)。
表1護理專業(yè)214名學(xué)生《基礎(chǔ)護理學(xué)》課程考試成績
試題人數(shù)平均分最高分最低分及格率(%)優(yōu)秀率(%)A卷10892.31164494.47.4B卷10691.41176395.36.6合計21491.91174494.87.0注:及格率為成績≥72分(百分制60分);優(yōu)秀率為成績≥108分(百分制90分)的學(xué)生比例
圖1試卷成績分布直方圖
(三)試卷質(zhì)量評價指標
1.難度
難度是指試題或試卷的難易程度,是評價試題或試卷質(zhì)量的主要指標之一。本研究采試題的通過率作為難度的指標,P=X/W,X為樣本平均得分,W為試題總分,當P0.3表示試題難度高,0.3
2.試卷的區(qū)分度
區(qū)分度是指試卷區(qū)分考生能力的程度,是評價試卷質(zhì)量、篩選試題的主要指標和依據(jù)。本研究采用高低分組法[4]計算區(qū)分度,采用公式為D=(PH-PL)/F計算,其中PH代表高分組(成績排序前面27%的部分為高分組)的平均分,PL代表低分組(成績排序后27%的部分為低分組)的平均分,F(xiàn)代表總分。D0.40表示區(qū)分度很好;0.30D<0.4表示區(qū)分度良好;0.20D<0.30表示區(qū)分度尚可,須跟進修改;D<0.19表示區(qū)分度差[5]。結(jié)果顯示,試題區(qū)分度波動在0~0.8之間,其中兩卷均存在區(qū)分度為0的題目,A卷整卷的區(qū)分度為0.23,B卷整卷的區(qū)分度為0.22,區(qū)分度尚可。
3.試卷的信度
信度是指測量工具的可靠性、精確性和穩(wěn)定性的程度,是測量分數(shù)不受測量誤差影響的程度。因?qū)W生期末考試的不可重復(fù)性,采用Cronbach's系數(shù)法衡量所有題目間的一致性程度。一般認為, Cronbach's系數(shù)大于0.7, 即信度較高。統(tǒng)計結(jié)果顯示,A卷Cronbach's系數(shù)為0.726;B卷Cronbach's系數(shù)為0.715,說明2份試卷的信度良好。
4. 效度
測量效度是指測量者想從實際收集和分析的結(jié)果中得到印證的程度,在教育評價領(lǐng)域,測量效度具有準確性、關(guān)聯(lián)性和實用性方面的屬性。效度分析包括內(nèi)容效度和試卷效度系數(shù),內(nèi)容效度指考卷的內(nèi)容對所要考查的全部內(nèi)容的代表程度(符合課程標準的情況),參照課程標準,試卷章節(jié)覆蓋率和細目覆蓋率即為內(nèi)容效度,試卷根據(jù)雙向細目表在網(wǎng)絡(luò)題庫中智能組卷,選題滿足考試要求,且避免主觀因素的影響,通過網(wǎng)絡(luò)題庫組卷具有較高的內(nèi)容效度,其期望值在90%~95%。后者通過信度系數(shù)的算術(shù)根(X效=α)評價。當X效>0.87,表示試卷效度很好,當0.75 52套試卷成績的比較 使用單因素方差分析對2套試卷的成績進行比較,A、B2套試卷的成績比較(見表2)。 表2A、B2套試卷成績比較 平方和自由度均方F值P值組間16.418116.4180.1270.722三、討論 (一) 試卷基本情況分析 2018級高職護理專業(yè)A卷考生106人,B卷考生108人,共計214人,從課程考試成績的基本情況(表1)和分數(shù)分布情況(圖1)來看,試卷總體情況達考試要求,2套試卷成績呈現(xiàn)正態(tài)分布,90~100分占比最大,且全部學(xué)生均在90分鐘內(nèi)交卷,說明課程教學(xué)效果較好。從試卷的內(nèi)容分析,A、B2卷均有個別題相互提示,及個別考點重復(fù),在組卷時,應(yīng)保持各個題目的獨立性,提示在題庫中的網(wǎng)絡(luò)試題知識點的歸類及編碼應(yīng)確保其正確性,同時要避免知識點之間的重疊,并且需要重視超綱、重復(fù)考點以及答案選項不合適等問題,同時某一試題的表述不能成為另外一個試題的答案或答案提示。試卷覆蓋了《基礎(chǔ)護理學(xué)》課程的十六章四十九節(jié),章節(jié)知識覆蓋率為89.1%,說明網(wǎng)絡(luò)題庫題量大,考核范圍較全面,但也有部分超綱的題目,故題庫智能抽題組卷的內(nèi)容是否適合考生,仍需要教師進行審核。同時,在編制“雙相細目表”時發(fā)現(xiàn),題庫內(nèi)容不能滿足《基礎(chǔ)護理學(xué)》課程標準對教學(xué)內(nèi)容的全部要求,缺少“病人的安全”“護士職業(yè)防護”等內(nèi)容,因此,應(yīng)定期更新試題(題型、內(nèi)容),使題庫試題與學(xué)科發(fā)展、教材建設(shè)等保持同步。2套試卷中難度值較大的題目主要是A3/A4型題,該題型以臨床案例為題干,要求學(xué)生具有較強的評判性思維的能力及綜合分析能力,提示學(xué)生將基礎(chǔ)知識運用于臨床實際案例還有一定的難度。護理學(xué)是一門應(yīng)用型學(xué)科,在教學(xué)中應(yīng)需要進一步理論結(jié)合實際,提高學(xué)生的臨床判斷、臨床決策和綜合分析能力。 (二)試卷質(zhì)量分析 高質(zhì)量的試卷應(yīng)難易度適中,覆蓋面廣,且具有較高的區(qū)分度、信度和效度,學(xué)生考試成績呈正態(tài)分布[5]。2卷難度分別為0.76及0.77,整體難度適中,題目難度的確定,主要取決于考試的目的和類型,本次考試的目的主要是檢驗指定年級學(xué)生的《基礎(chǔ)護理學(xué)》課程的學(xué)習(xí)情況,考試難度應(yīng)該是中等難度[3],該網(wǎng)絡(luò)題庫的智能組卷功能可以預(yù)設(shè)試題難度,調(diào)整不同難度題目的比例。由此可見,高質(zhì)量的網(wǎng)絡(luò)題庫網(wǎng)絡(luò)平臺出卷可以更好地控制試卷整體難度,較好地實現(xiàn)考試目的。2套試卷的區(qū)分度均大于0.22,提示考題對學(xué)生能力的區(qū)分度尚可,課程評價型考核對區(qū)分度要求不高,適中即可,主要是試卷內(nèi)容的覆蓋面要廣。試題的區(qū)分度波動0~0.8,在其中2卷均存在區(qū)分度為0的題目,一方面可能確實存在需要刪除的題目,另一方面也可能與本研究的樣本量較小有關(guān)。2套試題信度系數(shù)均大于0.70,提示試題的穩(wěn)定性和可靠性程度在正常范圍,考試結(jié)果可信,此次成績能較為真實地反映學(xué)生實際水平。試卷的內(nèi)容效度達89.1%,提示題庫已有題目跟“雙向細目表”匹配度高,試卷效度系數(shù)均為0.85,效度等級為“較好”,說明試卷與要考核的內(nèi)容比較吻合。2套試卷比較的單因素方差分析P值為0.722,P值大于0.05,提示2套試卷的成績沒有統(tǒng)計學(xué)差異,說明該網(wǎng)絡(luò)題庫試題屬性,如題目內(nèi)容、參考答案、所屬章節(jié)、難度系數(shù)、知識點歸類等準確性高,基于網(wǎng)絡(luò)題庫的《基礎(chǔ)護理學(xué)》課程試題組卷題目質(zhì)量穩(wěn)定、可靠,在隨機智能組卷的考試中能滿足試題考試設(shè)計要求,且保證考試的公平性。 結(jié)論 基于網(wǎng)絡(luò)護理學(xué)題庫的網(wǎng)絡(luò)平臺自動組卷,提高了出卷的效率,可通過“雙向細目表”從題庫中準確、高效地挑選合適的題目,基于網(wǎng)絡(luò)題庫的組卷試卷的難度、區(qū)分度、信度、效度、穩(wěn)定性都能較好地滿足設(shè)計要求,說明試題可靠有效,整卷質(zhì)量較好,能真實反映學(xué)生的學(xué)習(xí)效果,達到考核目的,是對學(xué)生該門課程理論水平的有效評估方法。為適應(yīng)護理學(xué)學(xué)科發(fā)展趨勢,護理學(xué)專業(yè)題庫內(nèi)試題的內(nèi)容和題型需要不斷更新和完善,開發(fā)有效可靠的測試題是一個持續(xù)改進的過程,可基于規(guī)劃教材知識內(nèi)容變化進行試題增刪,對難度過大或區(qū)分度較差的題型,進行適當修改或刪除,同時應(yīng)進一步完善題庫的功能(選題、組卷和反饋等),使試卷更真實反映教學(xué)效果及學(xué)生的知識掌握情況。網(wǎng)絡(luò)題庫試題的基本類型包括選擇題、名詞解釋、填空題、簡答題和案例分析等,本研究僅對護士執(zhí)業(yè)考試相關(guān)題型進行了分析,接下來會根據(jù)教學(xué)環(huán)節(jié)的需要,進一步開展對于其他題型的測試研究。 參考文獻: [1] 張雪艷,馬立立.高?!敖炭挤蛛x”多元化評價機制的構(gòu)建[J].沈陽師范大學(xué)學(xué)報,2016(5). [2] 陳明.基于教考分離制度的藥理學(xué)試題庫建設(shè)研究[J].衛(wèi)生職業(yè)教育,2016(15). [3] DIANEM,BILLINGS,JUDIH A HALSTEAD,等.護理教師必讀——實用教學(xué)指導(dǎo)[M].孫宏玉,主譯.北京:北京大學(xué)出版社,2019. [4] 楊永利,程志偉,杜玉慧,等.預(yù)防醫(yī)學(xué)專業(yè)《衛(wèi)生統(tǒng)計學(xué)》試卷質(zhì)量評價[J].中國衛(wèi)生統(tǒng)計,2016(4). [5] 閆平,王榮福,張春麗,等.八年制臨床醫(yī)學(xué)專業(yè)核醫(yī)學(xué)課程考試成績和試卷分析的評價與思考[J].中華醫(yī)學(xué)教育雜志,2017(1). 作者簡介:陳宇清(1980—),女,漢族,廣東肇慶人,單位為肇慶醫(yī)學(xué)高等專科學(xué)校,主要研究方向為護理教育和腫瘤護理。 郭伊莉(1984—),女,漢族,廣東潮州人,單位為肇慶醫(yī)學(xué)高等??茖W(xué)校,主要研究方向為護理教育和護理心理。 (責任編輯:董惠安)