黎光明， 張敏強(qiáng)，劉曉瑜

(華南師范大學(xué)a.心理學(xué)院；b.教育科學(xué)學(xué)院，廣州510631)

高校教師教學(xué)水平評(píng)價(jià)的反思與改進(jìn)：基于概化理論的視角

黎光明a， 張敏強(qiáng)a，劉曉瑜b

(華南師范大學(xué)a.心理學(xué)院；b.教育科學(xué)學(xué)院，廣州510631)

目前高校教師教學(xué)水平的評(píng)價(jià)存在著評(píng)價(jià)因素單一、缺乏統(tǒng)一問(wèn)卷、評(píng)價(jià)時(shí)間局限、學(xué)生數(shù)難確定、分?jǐn)?shù)合成困難等問(wèn)題。使用概化理論，能夠?qū)Ω咝＝處熃虒W(xué)水平評(píng)價(jià)作出改進(jìn)，主要包括找出影響教師教學(xué)水平評(píng)價(jià)的主要因素、編制適合國(guó)內(nèi)高校統(tǒng)一使用的評(píng)教問(wèn)卷(量表)、考察學(xué)生評(píng)價(jià)教師教學(xué)水平的最佳時(shí)間、確定評(píng)價(jià)教師教學(xué)水平的最少學(xué)生參評(píng)人數(shù)、探索評(píng)價(jià)分?jǐn)?shù)的合成方法等。

概化理論；高校教師；教學(xué)水平評(píng)價(jià)；反思；改進(jìn)

高校教師教學(xué)水平評(píng)價(jià)是診斷和改進(jìn)教學(xué)、幫助管理部門做出有關(guān)教師個(gè)人的人事決策的基礎(chǔ)。這一工作直接影響到教師積極性的調(diào)動(dòng)和教學(xué)質(zhì)量的提高，以及管理部門人事決策的準(zhǔn)確性。高校教師的中心任務(wù)是教學(xué)，是培養(yǎng)人才。對(duì)于一所高校，教師的教學(xué)水平跟不上，所培養(yǎng)的學(xué)生質(zhì)量堪憂，即使其出了大量的科研成果，這所高校也是不成功的。因此，高校應(yīng)高度重視教師教學(xué)水平的評(píng)價(jià)。

一、當(dāng)前高校教師教學(xué)水平評(píng)價(jià)存在的問(wèn)題

高校教師教學(xué)水平評(píng)價(jià)的目的是為了監(jiān)控教育質(zhì)量，提高教師的教學(xué)水平[1]。然而，目前高校教師教學(xué)水平的評(píng)價(jià)卻遠(yuǎn)未達(dá)到此目的，評(píng)價(jià)中還存在許多問(wèn)題：

第一，評(píng)價(jià)因素單一。大部分高校僅把“學(xué)生評(píng)教”作為考察教師教學(xué)水平的唯一依據(jù)，這樣做是欠妥的。其原因是：除了評(píng)價(jià)者因素外，影響高校教師教學(xué)水平評(píng)價(jià)還存在其它許多因素，如評(píng)價(jià)項(xiàng)目、評(píng)價(jià)場(chǎng)合、評(píng)價(jià)時(shí)間、評(píng)價(jià)課程、評(píng)價(jià)專業(yè)等。

第二，缺乏統(tǒng)一問(wèn)卷。各個(gè)高校采用自己設(shè)計(jì)的評(píng)價(jià)問(wèn)卷來(lái)評(píng)價(jià)教師教學(xué)水平，是否科學(xué)值得商榷。另外，各個(gè)高校采用不同的評(píng)價(jià)內(nèi)容和題目，造成了各個(gè)高校教師教學(xué)水平難以比較，不便于高校教學(xué)水平質(zhì)量監(jiān)測(cè)。

第三，評(píng)價(jià)時(shí)間局限。各高校一般均要求學(xué)生在學(xué)期中或?qū)W期結(jié)束前對(duì)每個(gè)任課教師進(jìn)行評(píng)分，再對(duì)每個(gè)教師的所得分?jǐn)?shù)進(jìn)行加權(quán)。這種做法具有一定的合理性，但評(píng)估的準(zhǔn)確性難以保證，其原因是：參與評(píng)價(jià)的一些學(xué)生礙于期末考試教師評(píng)分的壓力，往往不會(huì)作出如實(shí)評(píng)價(jià)，一些學(xué)生害怕給教師打低分造成“自己”低分，往往都給高分。另外，許多高校教師會(huì)在評(píng)價(jià)前對(duì)學(xué)生實(shí)施“分?jǐn)?shù)承諾”(給學(xué)生高分)，所以很可能造成學(xué)生評(píng)價(jià)失真。

第四，學(xué)生數(shù)難確定。到底多少學(xué)生參評(píng)才能保證高校教師教學(xué)水平評(píng)價(jià)的可靠性呢？沒有統(tǒng)一和科學(xué)的規(guī)定。一些高校規(guī)定1門課程的參評(píng)學(xué)生數(shù)不得低于10人，但此規(guī)定并無(wú)科學(xué)理?yè)?jù)。

第五，分?jǐn)?shù)合成困難。大多數(shù)高校合成分?jǐn)?shù)采用如下做法：一位教師擔(dān)任多門課程教學(xué)任務(wù)的按不同課程統(tǒng)計(jì)；一門課程不同班級(jí)由不同教師承擔(dān)教學(xué)任務(wù)的按不同教師統(tǒng)計(jì)；一門課程不同班級(jí)由同一教師承擔(dān)教學(xué)任務(wù)的按一門課程合班統(tǒng)計(jì)。這種合成分?jǐn)?shù)的做法缺乏科學(xué)性。

教學(xué)和科研是高校教師始終面臨的一對(duì)矛盾。一方面，一些教師長(zhǎng)期不從事科研，學(xué)術(shù)水平低、知識(shí)陳舊、創(chuàng)造力低下；另一方面，一些教師關(guān)注科研，但對(duì)教學(xué)投入不足，教學(xué)中敷衍應(yīng)付。在高校的職稱評(píng)定中，長(zhǎng)期存在著“一手硬，一手軟”的情況，即科研(項(xiàng)目、經(jīng)費(fèi)、論文)是硬指標(biāo)，教學(xué)(教學(xué)工作量、教學(xué)效果)是軟指標(biāo)。在許多高校，教師只要科研水平高，就踏上了“快車道”，許多教學(xué)好的教師卻沒有這么幸運(yùn)。究其原因：對(duì)于高校教師的科研水平和科研成果的評(píng)定比較容易量化，但不易科學(xué)地評(píng)價(jià)教師的教學(xué)水平，這是一個(gè)“老大難”問(wèn)題。

二、概化理論應(yīng)用于高校教師教學(xué)水平評(píng)價(jià)的優(yōu)勢(shì)

概化理論是現(xiàn)代心理與教育測(cè)量理論之一，可以解決高校教師教學(xué)水平評(píng)價(jià)存在的上述問(wèn)題，其理由如下：第一，概化理論可以一并考察評(píng)價(jià)多個(gè)因素。第二，概化理論可以開發(fā)科學(xué)的標(biāo)準(zhǔn)化量表。第三，概化理論可以分析不同時(shí)間對(duì)評(píng)價(jià)的影響。第四，概化理論可以探討最佳的評(píng)價(jià)學(xué)生數(shù)。第五，概化理論可以合理利用各種權(quán)重指標(biāo)合成全域分?jǐn)?shù)。相對(duì)于經(jīng)典測(cè)量理論，分析高校教師教學(xué)水平評(píng)價(jià)，概化理論具有如下優(yōu)勢(shì)：一是能夠根據(jù)不同情境進(jìn)行可靠性分析；二是運(yùn)用多元概化理論可以對(duì)問(wèn)卷評(píng)估指標(biāo)的權(quán)重作出最佳估計(jì)；三是可以預(yù)測(cè)在一定的問(wèn)卷評(píng)估可靠性下需要多少參評(píng)學(xué)生。

國(guó)內(nèi)外學(xué)者已將概化理論應(yīng)用于高校教師教學(xué)水平評(píng)價(jià)中。國(guó)內(nèi)使用概化理論分析教師教學(xué)水平評(píng)價(jià)的研究相對(duì)較少，有待發(fā)展和推動(dòng)。羅發(fā)友、王記志和劉友(2002)運(yùn)用概化理論，對(duì)高校教師教學(xué)水平測(cè)評(píng)問(wèn)題進(jìn)行設(shè)計(jì)，定量研究評(píng)分者因素對(duì)高校教師教學(xué)水平測(cè)評(píng)信度與一致性的影響，并研究減少評(píng)分者人數(shù)的可行性[2]。楊志明和張雷 (2003) 認(rèn)為教學(xué)測(cè)評(píng)的數(shù)據(jù)符合概化理論的研究設(shè)計(jì)，但情況相當(dāng)復(fù)雜，因?yàn)樗婕暗降挠^測(cè)全域與概化理論中的觀測(cè)全域的概念有所差別，但當(dāng)需要進(jìn)行教學(xué)評(píng)價(jià)或已經(jīng)就教學(xué)評(píng)價(jià)的結(jié)果做出決策之后，其決策的可信度問(wèn)題是應(yīng)該重視的[3]。黎光明等人(2004, 2009)針對(duì)一個(gè)屬多元嵌套不平衡設(shè)計(jì)教學(xué)人員測(cè)評(píng)方案，運(yùn)用多元概化分析，估出測(cè)量目標(biāo)及側(cè)面的方差協(xié)方差分量、探索控制誤差的方法，并為改進(jìn)不同情形下教學(xué)人員測(cè)評(píng)提供實(shí)際參考價(jià)值[4]。

國(guó)外學(xué)者使用概化理論分析教師教學(xué)水平評(píng)價(jià)相對(duì)成熟。Kane, Gillmore,和 Crooks(1976)[5]用概化理論進(jìn)行教師水平評(píng)價(jià)方面的分析，認(rèn)為學(xué)生側(cè)面數(shù)的樣本容量以10～20位為宜，因?yàn)闃颖救萘砍^(guò)20個(gè)以后，概化系數(shù)的增加量十分小，特別值得注意的是，當(dāng)參與教學(xué)評(píng)價(jià)的學(xué)生人數(shù)少于10個(gè)以后，其測(cè)評(píng)信度或可靠性程度會(huì)隨著人數(shù)的減少而大幅度地變小。Crooks和Kane(1981)[6]曾通過(guò)改變?cè)u(píng)價(jià)量表中項(xiàng)目容量的方法，對(duì)Gillmore等人的研究數(shù)據(jù)進(jìn)行重復(fù)研究，發(fā)現(xiàn)課程效應(yīng)的數(shù)值令人滿意，表明課程效應(yīng)在不同設(shè)計(jì)下的效應(yīng)是不同的，教師是造成課程評(píng)價(jià)結(jié)果不一致的因素，即學(xué)生對(duì)課程的評(píng)價(jià)在某種程度上取決于這門課程是由誰(shuí)來(lái)教，但這又與教師主效應(yīng)不影響課程質(zhì)量水平順序的情況相混淆。Pratt(1997)[7]研究中的概化理論研究設(shè)計(jì)是把教師和課程合為一體作為測(cè)評(píng)目標(biāo)。這種聯(lián)合體可以稱之為教學(xué)事件，研究發(fā)現(xiàn)教師和課程的主效應(yīng)不再被區(qū)分。Chang和Hocevar(2000)[8]發(fā)現(xiàn)影響教學(xué)評(píng)價(jià)數(shù)據(jù)的因素中測(cè)量條件可以區(qū)分為5個(gè)方面，分別是教師、課程、學(xué)生、項(xiàng)目和場(chǎng)合。Dolmans,Wolfhagen,Scherpbier和van der Vleuten(2003)[9]研究發(fā)現(xiàn)，當(dāng)學(xué)生數(shù)為理想狀態(tài)時(shí)，基于一門課程教學(xué)評(píng)價(jià)的概化系數(shù)也能達(dá)到可以接受的水平(0.60或更高)，將課程作為測(cè)量目標(biāo)與教師作為測(cè)評(píng)目標(biāo)相比，發(fā)現(xiàn)任教同一門課程的教師數(shù)量比課程數(shù)量對(duì)概化系數(shù)影響更大。

三、概化理論對(duì)高校教師教學(xué)水平評(píng)價(jià)的改進(jìn)

使用概化理論，能夠在以下方面對(duì)高校教師教學(xué)水平評(píng)價(jià)作出改進(jìn)，包括找出影響高校教師教學(xué)水平評(píng)價(jià)的主要因素、編制適合國(guó)內(nèi)高校統(tǒng)一使用的評(píng)教問(wèn)卷(量表)、考察學(xué)生評(píng)價(jià)教師教學(xué)水平的最佳時(shí)間、確定評(píng)價(jià)教師教學(xué)水平的最少學(xué)生參評(píng)人數(shù)、探索評(píng)價(jià)分?jǐn)?shù)的合成方法等五個(gè)方面。

(一)找出影響高校教師教學(xué)水平評(píng)價(jià)的主要因素。對(duì)于教師教學(xué)水平評(píng)價(jià)的概化理論分析，測(cè)量目標(biāo)是教師的實(shí)際教學(xué)水平，測(cè)量影響因素可能包括學(xué)生、班級(jí)、課程和專業(yè)等。概化理論可以一并考慮這些影響因素。一個(gè)教師的教學(xué)效果好或壞，水平高或低，不能僅憑大學(xué)生的評(píng)分，而應(yīng)將領(lǐng)導(dǎo)評(píng)價(jià)、學(xué)生評(píng)價(jià)和同行評(píng)價(jià)綜合起來(lái)考察。因?yàn)榇髮W(xué)生還不成熟，他們對(duì)于教師的評(píng)價(jià)還很難做到客觀、公正。大學(xué)生在校時(shí)對(duì)教師的評(píng)價(jià)和畢業(yè)后對(duì)教師的評(píng)價(jià)可能會(huì)大相徑庭。影響高校教師教學(xué)水平評(píng)價(jià)的因素是多方面的，不僅是評(píng)價(jià)者，可能還包括班級(jí)、場(chǎng)合、項(xiàng)目、課程和專業(yè)等其它影響因素。概化分析過(guò)程中需要注意隱藏側(cè)面(hidden facets)對(duì)測(cè)量目標(biāo)的影響，忽視隱藏側(cè)面可能會(huì)夸大概化系數(shù)(Brennan, 2001)[10]，需探測(cè)出主要的影響因素，可構(gòu)建若干設(shè)計(jì)，如i×(s: t)、i×(s: t: c)、s×t|c、i×[s: (t ×c)]等，考察因素在不同設(shè)計(jì)中的影響效果，若影響效應(yīng)較小，則可忽略不計(jì)，若影響效應(yīng)較大，則是主要影響因素，可認(rèn)為是影響教師教學(xué)評(píng)價(jià)的主要因素。

(二)編制適合國(guó)內(nèi)高校統(tǒng)一使用的評(píng)教問(wèn)卷(量表)。目前各高校通常是根據(jù)一定的評(píng)估體系自編問(wèn)卷在網(wǎng)上或現(xiàn)場(chǎng)發(fā)放由學(xué)生對(duì)教師教學(xué)水平進(jìn)行評(píng)價(jià)，然后由教務(wù)處根據(jù)各個(gè)指標(biāo)的分值求取平均分來(lái)表示教師的教學(xué)水平。缺乏統(tǒng)一的問(wèn)卷(量表)，既不能保證數(shù)據(jù)的可靠性有效性，也不能比較各校教師之間的分?jǐn)?shù)，量化數(shù)據(jù)的功能性和適用性大大削弱。因此，開發(fā)一套科學(xué)的經(jīng)過(guò)標(biāo)準(zhǔn)化的“高校教師教學(xué)水平評(píng)價(jià)量表”勢(shì)在必行。根據(jù)不同情境對(duì)問(wèn)卷(量表)進(jìn)行可靠性分析，有利于問(wèn)卷編制，也能保證編制出的問(wèn)卷(量表)的信效度，并給出具體指標(biāo)。在找出主要因素的基礎(chǔ)上，編制適合國(guó)內(nèi)高校統(tǒng)一使用的評(píng)教問(wèn)卷(量表)。問(wèn)卷(量表)需考慮多個(gè)維度和高校的實(shí)際情況，區(qū)分不同的分問(wèn)卷，如教師用、同事用、上級(jí)用、文科用等。

(三)考察學(xué)生評(píng)價(jià)教師教學(xué)水平的最佳時(shí)間。通過(guò)分析場(chǎng)合(occasion)這個(gè)因素對(duì)概化理論方差分量模型的貢獻(xiàn)，探討評(píng)估場(chǎng)合和評(píng)估時(shí)間是否可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。設(shè)置四個(gè)時(shí)間段來(lái)考察學(xué)生評(píng)價(jià)教師教學(xué)水平的時(shí)間效果，分別是開學(xué)初(time1)、學(xué)期中期(time2)、學(xué)期結(jié)束(time3)和下一開學(xué)初(time4)。將四個(gè)時(shí)間段的數(shù)據(jù)結(jié)果進(jìn)行比較，主要參考指標(biāo)為無(wú)效問(wèn)卷百分比、學(xué)生實(shí)際愿意作答的態(tài)度以及教師評(píng)價(jià)分?jǐn)?shù)效果的差異。這里面還要進(jìn)行一個(gè)“教育實(shí)驗(yàn)”，即考察不同時(shí)間段學(xué)生評(píng)價(jià)教師教學(xué)水平的效果差異。

(四)確定評(píng)價(jià)教師教學(xué)水平的最少學(xué)生參評(píng)人數(shù)。通過(guò)構(gòu)建不同研究設(shè)計(jì)，在保證誤差一定條件下，預(yù)測(cè)出在減少學(xué)生人數(shù)的條件下多少學(xué)生數(shù)就能保證一般評(píng)估的可靠性。樣本水平數(shù)的改變不僅會(huì)影響評(píng)價(jià)的局部可靠性，也影響評(píng)估的整體可靠性。為了保證0.80的信度，在不降低可靠性的基礎(chǔ)上，確定評(píng)價(jià)教師教學(xué)水平的最少學(xué)生參評(píng)人數(shù)。另外，是否需要所有學(xué)生都參與評(píng)分，是隨機(jī)抽取選擇學(xué)生還是全部學(xué)生都參與評(píng)價(jià)，目前的研究尚沒有明確的結(jié)論。如果一定數(shù)量的學(xué)生就可以滿足評(píng)價(jià)要求，那么所有學(xué)生參與評(píng)價(jià)，就顯得多余。在保證一定評(píng)價(jià)效果之下，如果能夠減少學(xué)生數(shù)量，那么就可以大大節(jié)省高校教師教學(xué)評(píng)價(jià)的資源，不用浪費(fèi)大量的人力、物力和財(cái)力，給高校減負(fù)，節(jié)約成本。

(五)探索評(píng)價(jià)分?jǐn)?shù)的合成方法。運(yùn)用多元概化理論可以對(duì)問(wèn)卷評(píng)估指標(biāo)的權(quán)重作出最佳估計(jì)，克服人為規(guī)定權(quán)重的做法，并給出對(duì)應(yīng)的合成分?jǐn)?shù)。評(píng)價(jià)問(wèn)卷有若干個(gè)維度，如教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法和教學(xué)效果等。是相等權(quán)重好，還是不等權(quán)重好，需要進(jìn)行探討。當(dāng)然，可以通過(guò)改變權(quán)重計(jì)算合成的可靠性Φc，找出Φc最大值，得出對(duì)應(yīng)的各維度權(quán)重，即為最佳權(quán)重。然后，根據(jù)最佳權(quán)重合成分?jǐn)?shù)，并使用最后合成的評(píng)價(jià)教師教學(xué)水平的分?jǐn)?shù)，標(biāo)定教師教學(xué)水平，并作相互比較。這種合成分?jǐn)?shù)，不同于目前采用的“簡(jiǎn)單”相加的方法(有些學(xué)校采用每門課程的最終結(jié)果是去掉評(píng)價(jià)分?jǐn)?shù)高分的10%和低分的10%后的平均分)，原因是不同班級(jí)不同課程不同專業(yè)，教師所得分?jǐn)?shù)統(tǒng)一于一個(gè)量綱之下。根據(jù)心理與教育測(cè)量學(xué)可知，處于同一量綱之下的分?jǐn)?shù)，其單位是一樣的，能進(jìn)行加、減、乘、除等數(shù)學(xué)運(yùn)算。誠(chéng)然，若不能加、減、乘、除等數(shù)學(xué)運(yùn)算，就不能給出高校教師一個(gè)合成的可供比較的分?jǐn)?shù)，那么比較高校教師教學(xué)水平的高低只是無(wú)稽之談。

四、結(jié)語(yǔ)

使用概化理論，從科學(xué)的視角可以探究出哪些主要因素影響了學(xué)生對(duì)教師的教學(xué)水平評(píng)價(jià)，能夠?yàn)闆Q策者提供參考。在探討高校教師教學(xué)水平評(píng)價(jià)概化理論研究設(shè)計(jì)中，分析信度或其它指標(biāo)，能夠給出一個(gè)最優(yōu)方案，從而完善高校內(nèi)部質(zhì)量保障體系，更好地推動(dòng)高校教師教學(xué)改革。

目前，國(guó)內(nèi)高校尚無(wú)統(tǒng)一的有關(guān)教師教學(xué)測(cè)評(píng)的標(biāo)準(zhǔn)化量表，現(xiàn)實(shí)的情況是每個(gè)高校所采用的教學(xué)測(cè)評(píng)問(wèn)卷各不相同。這也就是說(shuō)，各個(gè)高校用不同的教學(xué)測(cè)評(píng)問(wèn)卷來(lái)評(píng)價(jià)教師的教學(xué)水平。所施測(cè)的問(wèn)卷不同，評(píng)價(jià)的方式和過(guò)程也不一樣，在學(xué)生人數(shù)和評(píng)價(jià)時(shí)間上就不能作出一個(gè)科學(xué)的規(guī)定，這對(duì)高校教師教學(xué)水平評(píng)價(jià)的實(shí)施帶來(lái)了嚴(yán)重影響。然而，對(duì)于高校教師教學(xué)水平評(píng)價(jià)中出現(xiàn)的這些問(wèn)題，基于概化理論的優(yōu)勢(shì)，大多能夠得到良好的解決。概化理論能夠?yàn)楦咝＝處熃虒W(xué)水平評(píng)價(jià)提供借鑒、有效建議及改進(jìn)措施。

[1][4]黎光明,張敏強(qiáng).用概化理論分析高校教師教學(xué)水平評(píng)估[J].高教發(fā)展與評(píng)估，2009,(2):68-73.

[2]羅發(fā)友, 王記志, 劉友金.概化理論在教學(xué)水平測(cè)評(píng)中的應(yīng)用[J]. 理工高教研究, 2002，(4):61-63.

[3]楊志明, 張 雷. 測(cè)評(píng)的概化理論及其應(yīng)用[M]. 北京: 教育科學(xué)出版社,2003.

[5]Kane, M. T., Gillmore, G. M., & Crooks, T. J. Student Evaluations of Teaching: The Generalizability of Class Means. Journal of Educational Measurement, 1976.13(3)：171-183.

[6]Crooks, T. J., & Kane, M. T. The generalizability of student rating of instructors: Item specificity and section effects. Research in Higher Education,1981.15: 305-313.

[7]Pratt, D. D. Reconceptualizing the evaluation of teaching in higher education. Higher Education,1997.34:23-44.

[8]Chang, L., & Hocevar, D. Models of generalizability theory in analyzing existing faculty evaluation data. Applied Measurement in Education,2000.13(3):255-275.

[9]Dolmans, D. J., Wolfhagen, H. P., Scherpbier, A. J., & van der Vleuten,C.P.Development of an Instrument to Evaluate the Effectiveness of Teachers in Guiding Small Groups. Higher Education,2003.46(4):431-446.

[10]Brennan,R.L.Generalizability theory.New York:Springer-Verlag.2001.

(責(zé)任編輯顧冠華)

G642

1003-8418(2014)06-0087-03

A

10.13236/j.cnki.jshe.2014.06.024

黎光明(1977—)，男，江西廣昌人，華南師范大學(xué)心理學(xué)院副教授、博士；張敏強(qiáng)(1955—)，男，廣東河源人，華南師范大學(xué)心理學(xué)院教授、博士生導(dǎo)師；劉曉瑜(1958—)，女，海南海口人，華南師范大學(xué)副教授。

2014年國(guó)家自然科學(xué)基金面上項(xiàng)目(31470050)；教育部人文社會(huì)科學(xué)研究青年基金項(xiàng)目(12YJC190016)；廣東省教育科學(xué)“十二五”規(guī)劃2011年度研究項(xiàng)目(2011TJK161)。