張麗君 王海燕
(1.中國氣象局氣象干部培訓(xùn)學(xué)院 新疆分院,新疆 烏魯木齊830013;2.新疆信息工程學(xué)校,新疆 烏魯木齊830013)
教育培訓(xùn)教學(xué)質(zhì)量評估是培訓(xùn)管理的一個重要環(huán)節(jié),開展教學(xué)質(zhì)量評估有助于學(xué)員了解培訓(xùn)內(nèi)容,掌握培訓(xùn)情況,從而調(diào)整學(xué)習(xí)過程;有助于培訓(xùn)者了解學(xué)員的學(xué)習(xí)情況,對學(xué)員做出評價,發(fā)現(xiàn)培訓(xùn)中存在的問題,從而調(diào)整培訓(xùn)過程。 加強教學(xué)質(zhì)量評估,對于優(yōu)化培訓(xùn)過程,提高教育培訓(xùn)質(zhì)量,引導(dǎo)教育培訓(xùn)機構(gòu)健康有序發(fā)展,有著重要意義。
培訓(xùn)效果評估有很多方法,目前國內(nèi)外運用得最為廣泛的培訓(xùn)效果評估方法仍然是“柯氏模型”。 目前,新疆分院以柯氏“四級評估模型”為導(dǎo)向,通過對培訓(xùn)管理過程的全面系統(tǒng)分析,建立了一套滿足氣象教育培訓(xùn)評估需要的評估指標(biāo)體系,以促進培訓(xùn)評估科學(xué)化和規(guī)范化,提高培訓(xùn)的質(zhì)量和效果。
“柯氏模型”是由美國學(xué)者Kirkpatrick 于1959 年提出的“反應(yīng)”、“學(xué)習(xí)”、“行為”和“結(jié)果”的四層培訓(xùn)效果評估模型,Kirkpatrick 把培訓(xùn)評估分成四個層次:
反應(yīng)層評估(一級評估):是指學(xué)員對培訓(xùn)項目的看法,包括對培訓(xùn)設(shè)計、學(xué)習(xí)資料、授課教師、培訓(xùn)環(huán)境、培訓(xùn)保障等的看法。通過這個層面的評估,了解學(xué)員對本次培訓(xùn)的總體反應(yīng)和感受。
學(xué)習(xí)層評估(二級評估):是目前最常見、常用到的一種評價方式。該層評估主要是測量學(xué)員對知識和技能的掌握程度。
行為層評估(三級評估):主要考察學(xué)員培訓(xùn)后在實際崗位工作中行為的變化,以判斷所學(xué)知識、技能對實際工作的影響。
結(jié)果層評估(四級評估):其目的是評估學(xué)員經(jīng)過培訓(xùn)后,在實際工作中由于行為的改變, 在多大程度上提高了個人績效和組織績效。這個層面評估內(nèi)容是一個部門組織培訓(xùn)的最終目的。
表1 氣象教育培訓(xùn)評估層次模型
由于評估指標(biāo)體系不夠健全,我們在培訓(xùn)效果的評估上還存在著一些問題,這主要表現(xiàn)在以下四個方面:
2.1 培訓(xùn)效果評估層次選用不徹底
從評估的深度和難度來看, 柯氏培訓(xùn)評估模型一共有四個層次,這四個層次實施從易到難。 在實際運用中, 怎么選用這四個層次? 該評估到哪一個層級? 由于沒有進行深入的思考研究, 導(dǎo)致培訓(xùn)評估只停留在初級階段, 沒有做第三、 第四層次的評估, 即沒有對學(xué)員培訓(xùn)后在工作崗位上行為的改變和給單位業(yè)績帶來的變化進行跟蹤。
2.2 培訓(xùn)效果評估工具選用不恰當(dāng)
培訓(xùn)評估工作現(xiàn)在正處于探索階段, 在各個層面評估的具體工具、方法的選用上不成熟,導(dǎo)致培訓(xùn)評估流于形式,未能真正起到改進培訓(xùn)、改善績效的作用。
表2 反應(yīng)層評估指標(biāo)及內(nèi)涵
2.3 培訓(xùn)效果評估缺乏反饋環(huán)節(jié)
對于培訓(xùn)是否滿足學(xué)員培訓(xùn)需求或者滿足學(xué)員需求的程度,在哪些方面滿足了學(xué)員的培訓(xùn)需求,學(xué)員還有哪些潛在需求等,沒有行之有效的措施和辦法, 培訓(xùn)效果評估不能提供富有價值的反饋信息,對于改進培訓(xùn)難以起到實際效果。評估往往只停留于學(xué)員對培訓(xùn)的滿意度、對課程或教師授課的滿意率等表面的量化指標(biāo),缺乏深度。培訓(xùn)效果的檢驗僅僅局限于培訓(xùn)過程中, 沒有融入實際工作, 造成了培訓(xùn)與日常工作脫節(jié)。
2.4 由于培訓(xùn)考核涉及到培訓(xùn)前后學(xué)員所發(fā)生的變化, 對于學(xué)員在培訓(xùn)前的狀況如果沒有進行測評,很難將培訓(xùn)后的變化和訓(xùn)前進行對照,從而難以準(zhǔn)確測評出學(xué)員培訓(xùn)前后的變化,難以真實評估培訓(xùn)效果。而且,由于教育培訓(xùn)具有滯后性特點,學(xué)員培訓(xùn)后的收獲可能要經(jīng)過一段時間才能在工作中得到體現(xiàn), 因而也就難以準(zhǔn)確評估學(xué)員培訓(xùn)后發(fā)生的變化。 即使在培訓(xùn)前后對學(xué)員進行了測評,也很難說學(xué)員所發(fā)生的變化是由培訓(xùn)所引起的。這些情況給培訓(xùn)效果評估帶來一定的困難。
柯氏模型偏重于培訓(xùn)評估的定性研究。在培訓(xùn)實踐中有很大的局限性,比如它沒有給出具體的評估指標(biāo)體系,不能對培訓(xùn)效益進行定量的評估等等。 為了解決這一問題,本文以柯氏“四級評估模型”為導(dǎo)向,結(jié)合氣象教育培訓(xùn)對人才的需求,以及被培訓(xùn)對象的需求。運用科學(xué)的理論和系統(tǒng)分析的方法,從反應(yīng)層、學(xué)習(xí)層、行為層、結(jié)果層四個層面逐層進行分析和研究,來確定相應(yīng)評估方法和評估指標(biāo)。 具體評估指標(biāo)體系如下:
3.1 反應(yīng)層評估
反應(yīng)層評估,是指培訓(xùn)部門評估學(xué)員對培訓(xùn)設(shè)計與安排、授課教師、教學(xué)設(shè)備保障、餐飲服務(wù)及公寓服務(wù)等的反應(yīng)。 其目的在于,培訓(xùn)部門及時了解學(xué)員對有關(guān)環(huán)節(jié)或整個培訓(xùn)項目的真實感受,聽取他們的意見、建議,以彌補培訓(xùn)工作中的不足,積累培訓(xùn)經(jīng)驗,不斷改進培訓(xùn)工作。
3.2 學(xué)習(xí)層評估
學(xué)習(xí)層評估,主要是評估學(xué)員學(xué)到了哪些知識,這些知識是如何運用到實踐中去的。通過學(xué)習(xí)內(nèi)容收獲和學(xué)習(xí)效果兩個項目來評估學(xué)員的學(xué)習(xí)效果及培訓(xùn)對工作崗位和個人能力提升的幫助。
表3 學(xué)習(xí)層評估指標(biāo)及內(nèi)涵
3.3 行為層評估
行為層的評估,主要是評價學(xué)員在品德、領(lǐng)導(dǎo)力、專業(yè)技能等方面的典型行為在培訓(xùn)前后的改變。我們選取兩個時點對學(xué)員的行為進行評估:培訓(xùn)前行為評估和培訓(xùn)后行為評估。通過前后對照,觀測培訓(xùn)結(jié)束時學(xué)員行為的改變情況。
(1)培訓(xùn)前學(xué)員行為評估。 這是指在培訓(xùn)前或培訓(xùn)開始后不久對學(xué)員行為進行的評估。 評估的方式主要是調(diào)查問卷法。 即在培訓(xùn)實施前的需求調(diào)查中,運用調(diào)查問卷法,從學(xué)員的直接領(lǐng)導(dǎo)、學(xué)員本人、學(xué)員下屬三個側(cè)面對學(xué)員的典型行為進行了評估。并形成典型行為評估數(shù)據(jù),這些數(shù)據(jù)既可以用于培訓(xùn)需求分析,也可以用于行為評估。
(2)培訓(xùn)結(jié)束后學(xué)員行為評估。 在培訓(xùn)結(jié)束回到工作單位一段時間后,再次通過調(diào)查問卷法對學(xué)員行為進行評估,以獲取對比數(shù)據(jù),借此評估學(xué)員行為的改變程度。 在使用調(diào)查問卷法時,與培訓(xùn)前評估典型行為使用的調(diào)查問卷相同,在完成以上評估工作后,把培訓(xùn)前、培訓(xùn)后學(xué)員行為評估的數(shù)據(jù)進行整理,編制出學(xué)員行為評估報告。 本文設(shè)計了工作態(tài)度、工作能力、工作效率三個指標(biāo)來對學(xué)員行為的轉(zhuǎn)變程度進行評估,以判斷學(xué)員在多大程度上將培訓(xùn)中所學(xué)到的內(nèi)容應(yīng)用到具體的工作中。
3.4 結(jié)果層評估
結(jié)果層的評估是培訓(xùn)評估中最為重要的部分。其目的是評估學(xué)員在實際工作中由于行為的改變,在多大程度上提高了個人績效和組織績效。結(jié)果層評估要注意選擇合適的評估時間,時間間隔太短,學(xué)員可能還未熟練掌握培訓(xùn)所獲;或者雖已掌握,但還未來得及運用到實際中;或是已把培訓(xùn)所獲運用到實際中,但還未產(chǎn)生實際效果。時間間隔太長,影響工作績效、學(xué)員行為變化的其他因素增多,培訓(xùn)在學(xué)員行為變化、工作績效提高方面的作用難以評估。一般來說,培訓(xùn)項目結(jié)束后一年進行評估比較合適,主要采用深度訪談法獲取素材,訪談的對象有學(xué)員的主管領(lǐng)導(dǎo)、學(xué)員的同事、下屬和學(xué)員本人。
表4 行為層評估指標(biāo)及內(nèi)涵
表5 結(jié)果層評估指標(biāo)及內(nèi)涵
本文以柯克帕特里克模型為導(dǎo)向,結(jié)合氣象教育培訓(xùn)特點,嘗試構(gòu)建了基于柯氏評估模型的氣象教育培訓(xùn)評估指標(biāo)體系。 但是,由于培訓(xùn)目標(biāo)的差異性,在針對某一培訓(xùn)項目的專項評估工作中,還需進一步細(xì)化和調(diào)整,在具體實施過程中,還需根據(jù)實際情況,不斷調(diào)整充實評估方案。
[1]“部門行業(yè)教育培訓(xùn)機構(gòu)核心能力建設(shè)研究”課題組.論教育培訓(xùn)機構(gòu)的核心能力:部門行業(yè)教育培訓(xùn)機構(gòu)核心能力建設(shè)研究報告[J].現(xiàn)代企業(yè)教育,2008(13).
[2]張憑博.基干AHP 模糊綜合評價法的企業(yè)培訓(xùn)效果評估研究[D].大連海事大學(xué),2008,06.
[3]柯克帕特里克,等.如何做好培訓(xùn)評估:柯氏四級評估法[M].機械工業(yè)出版社,2007.
[4]李莉.KIRKPATR ICK1 培訓(xùn)效果評估模型解析[J].中國電力教育,2005(4):25-281.
[5]彭劍鋒,荊小娟.員工素質(zhì)模型設(shè)計瞰[M].北京:中國人民大學(xué)出版社,2002.