遠程職業(yè)教育績效評價指標體系的設計

張琳1，詹青龍2

(1.山西機電職業(yè)技術學院，山西 長治 046000；2.天津職業(yè)技術師范大學，天津 300222)

摘要：隨著我國遠程職業(yè)教育的蓬勃發(fā)展，學習者的學習績效問題日益引起人們的關注與爭議。為保證學習者高質量高績效的學習，借鑒了一些績效評價模型和網(wǎng)絡學習評價理論，初步設計了一套遠程職業(yè)教育的學習績效評價指標體系。

關鍵詞：遠程職業(yè)教育；績效評價；評價指標

收稿日期：2015-08-13

作者簡介：張琳(1986-)，女，山西運城人，山西機電職業(yè)技術學院助教，碩士；詹青龍(1970-)，男，湖北襄樊人，天津職業(yè)技術學院師范大學副教授，博士后，碩士生導師.

中圖分類號：G720

隨著經濟的蓬勃發(fā)展，備受重視的職業(yè)教育面臨著一些師資缺乏、設備匱乏和操作危險的問題，于是遠程職業(yè)教育這種新型的教育模式迅速發(fā)展起來。在遠程職業(yè)教育領域還沒有一套具體的、針對性強的績效評價指標體系，使遠程職業(yè)教育客觀評價學習者的學習情況沒有統(tǒng)一的標準。因此，設計出一套具體可行的績效評價指標體系，使遠程職業(yè)領域的學習者能夠得到更好的評價，學習質量可以得到更好的保證。

績效評價指標是績效評價的根本和依據(jù)，無論是對學生基本知識的評價，還是對學生實踐技能的評價，首先都需要考慮建立一套合理的、科學的、適合于遠程職業(yè)教育的評價標準，從而確定具體從哪些

方面對遠程職業(yè)學習者的學習質量進行評價。對于遠程職業(yè)學習者，由于學習者學習環(huán)境的特殊、評價的角度和評價的方式不同，評價指標也將是繁多復雜的。在制定績效評價指標體系時，指標項的選擇、指標權重的設計是評價指標體系的關鍵環(huán)節(jié)。

1績效評價指標項的確定

參考文獻根據(jù)指標設計原則，對大量進行總結，結合對專家的問卷調查結果，結合遠程職業(yè)教育的特征和學習目標，設計出各項指標。如表1所示。

表1　遠程職業(yè)教育學習者績效評價指標

續(xù)表1　遠程職業(yè)教育學習者績效評價指標

上表中所列指標主要從學習者的學習行為、學習態(tài)度、習得技能、學習成果和學生發(fā)展五方面來進行設計，并進一步細分評價指標項，它能較全面地反映遠程學習者的學習效果和操作技能。但由于每個學習者的具體情況不同，在實際的操作過程中，可以根據(jù)不同需要不同類別選取不同指標項進行評價考核。如有的學習者還沒有進入工作崗位，則從除學生發(fā)展外的四項指標來對學生進行評價。

2績效評價指標權重的確定

權重或稱權數(shù)是指根據(jù)一項評價指標在整個評價指標體系中作用和地位的不同而賦予一定量的數(shù)值。權重對評價指標體系起著非常重要的作用，它反映了各指標之間存在的客觀差異性，并通過數(shù)量上的規(guī)定盡可能使每項指標的重要程度刻畫準確。同時，評價指標的權重也具有很強的導向性，學習者在學習的過程中，應該通過學習目標、績效指標和權重的導向機制來實現(xiàn)。

參考文獻評價指標項設計好之后，對大量的進行研究總結，再加上一些專家的建議，根據(jù)遠程職業(yè)教育中各評價因素所起的作用和所占地位輕重的程度，對遠程職業(yè)教育評價學習者的一級評價指標權重結果進行匯總，利用AHP法確定評價指標的權重，得出判斷矩陣B，如圖1所示。

圖1　判斷矩陣B

矩陣B中的值是由行/列得出來的。如矩陣中第一行的1/5是由學習行為/學習技能得到的，即學習技能比學習行為明顯重要。

層次分析法計算的關鍵是計算出判斷矩陣的最大特征根及其對應的特征向量，一般采用的近似計算方法有和積法、方根法等。本研究采用了和積法，權重的計算步驟如下：

1．計算兩兩比較矩陣中每一列和的值

bn1= b11+ b21+ b31+ b41 +b51=1+4++5+3+1/2=17/2

同理可得：bn2 =1/4+1+2+1/3+1/5=227/60

bn3=1/5+1/2+1+1/2+1/5=12/5

bn4=1/3+3+2+1+1/4=79/12

bn5=2+5+5+4+1=17

2．將兩兩矩陣比較矩陣中的每一項都除以它所在列的總和，得出的矩陣即為標準兩兩矩陣B1

3．將標準兩兩比較矩陣中的每一行的算術平均數(shù)計算出來，這些平均數(shù)即為其權重。

一級指標學習行為的權重a1=(2/17+15/227+1/12+4/79+2/17)/5=0.087

同理可得：學習態(tài)度的權重a1=0.222

學習技能的權重a1=0.426

學習成果的權重a1=0.207

學習發(fā)展的權重a1=0.058

4．對判斷矩陣進行一致性檢驗

層次分析法(AHP)提供了測量判斷矩陣的一致性程度，如果一致性達不到要求，需要進行重新審核并修改。

λmax的計算過程如下：

最大特征根λmax=(0.413/0.087+1.694/0.222+2.009/0.426+1.70/0.207+0.283/0.058)/5=6.037

5．由于對判斷矩陣的一致性檢驗不符合條件，所以需要返回去重新設計判斷矩陣。

然后根據(jù)層次分析法(AHP)的執(zhí)行步驟按上述過程重新計算一級和二級指標的權重。如表所示。

表2　一級指標權重

表3　學習行為的二級指標權重

表4　學習態(tài)度的二級指標權重

表5　學習技能的二級指標權重

表6　學習成果的二級指標權重

表7　學習發(fā)展的二級指標權重

3績效評價主體權重的確定

為了使遠程職業(yè)教育中學習者的績效評價結果全面客觀，本文選取了多元評價主體。評價主體分別有教師、同伴、計算機、社會環(huán)境、學習者自身。對大量參考文獻進行研究總結，再加上一些專家的建議，對遠程職業(yè)教育評價學習者的學習主體所占的重要程度進行匯總，利用AHP法得出判斷矩陣，如圖2所示。

教師同伴計算機社會環(huán)境自我

圖2　判斷矩陣

然后根據(jù)上述步驟計算出各評價主體的權重，如表8所示。

表8　評價主體的權重

4績效評價指標體系的確定

完整的績效評價指標體系是由指標項和指標權重組成的。在指標項和指標權重都設置完成后，遵循指標體系的設計原則，一個完整的評價指標體系就確定了，如表9所示。

表9　遠程職業(yè)教育績效評價指標體系

5績效評價指標體系的應用

績效評價指標體系基本確立后，就可以根據(jù)權重對遠程職業(yè)教育學習者進行評分考核。

①首先確定各項指標集

評價指標集：{學習行為，學習態(tài)度，習得技能，學習成果，學習發(fā)展}

指標權重集：{0.097，0.211，0.408，0.203，0.081}

評價信息量化集：{優(yōu)秀，良好，一般，較差，很差}量化為{100，85，65，50，30}

評價主體及權重集：{教師，同伴，計算機，社會環(huán)境，自我}，{0.318，0.149，0.159，0.297，0.077}

②展開評價

按照評價指標體系進行評分，以評價信息量化集的形式表示。下面以評價指標體系中的“學習行為”為例展開評價，其他指標項的評價與此類似。

例如選取5名教師對張三進行評價，他們的評定結果為表10所示。

表10　對一級指標“學習行為”的評價匯總

張三在學習行為上的加權結果為：

為了能更直觀地表示張三的評價結果，將加權結果轉化為評價集的量化分數(shù)：

這只是計算出教師對學習者在學習行為方面的量化分數(shù)，還要根據(jù)各評價主體的權重，用同樣的方法計算出在其它評價指標上的量化分數(shù)，最后對學習者做出一個客觀的判斷。

需要說明的是，績效評價是一個評價主體多元化、評價要素多維度的方法，還有許多元素不是通過簡單的計算就可以得出的，還需要在實際應用過程中采用適當?shù)姆椒`活應用績效評價指標體系。遠程職業(yè)教育績效評價指標體系已基本建立，具體的實施還要根據(jù)實際情況配合其他的環(huán)節(jié)，如評價信息的收集、評價信息的處理等。只有當這些環(huán)節(jié)全部都做好準備，績效評價指標體系才算完整的建立起來，才能切實地應用到遠程職業(yè)教育中。

(責任編輯侯中巖)

①數(shù)值0.4表示5名教師中有40%的人認為該生在學習準備方面表現(xiàn)優(yōu)秀.