程 楠 ，鄧皓遠(yuǎn) ，殷建忠 ，吳 蒙 ，羅 媛 ，孟 瓊

（1）昆明醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，云南 昆明 650500;2）保山中醫(yī)藥高等專(zhuān)科學(xué)校，云南 保山 678000;3）南京醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，江蘇 南京 210000;4）貴州醫(yī)科大學(xué)公共衛(wèi)生學(xué)院，貴州 貴陽(yáng) 550025）

國(guó)家教育部每年都要發(fā)表《全國(guó)普通高校本科教育教學(xué)質(zhì)量報(bào)告》[1]，可見(jiàn)高等教育大眾化后，各高校教學(xué)質(zhì)量已成為社會(huì)關(guān)注的熱點(diǎn)話題，而高校教師的教學(xué)質(zhì)量高低能夠一定程度上折射學(xué)校的教學(xué)水平。學(xué)生是教師開(kāi)展教學(xué)的主體，對(duì)教師的整體素質(zhì)水平有直觀的了解，很多研究者認(rèn)為開(kāi)展學(xué)生評(píng)教可以增強(qiáng)教師關(guān)注學(xué)生的課程體驗(yàn)，可以促進(jìn)教學(xué)質(zhì)量的提升，能為高校管理者提供決策依據(jù)[2]。有學(xué)者[3]認(rèn)為學(xué)生評(píng)教是維持醫(yī)學(xué)教學(xué)專(zhuān)業(yè)發(fā)展的最重要、最低廉方式之一，其中醫(yī)學(xué)生個(gè)人興趣和特殊動(dòng)機(jī)可能會(huì)導(dǎo)致普通高等教育與醫(yī)學(xué)教育學(xué)生評(píng)教差異[4]。在學(xué)生評(píng)教過(guò)程中，研究者常常關(guān)注評(píng)價(jià)工具質(zhì)量如何、抽選多少個(gè)學(xué)生進(jìn)行測(cè)量合適、不同測(cè)量時(shí)間和不同測(cè)量場(chǎng)景下研究結(jié)果是否有差異等問(wèn)題。要探查回答以上問(wèn)題，就需要運(yùn)用現(xiàn)代測(cè)量理論中的概化理論來(lái)分析。概化理論包括了一元概化理論（univariate generalizability theory，UGT）和多元概化理論（multivariate generalizability theory，MGT）。多元概化理論是在單變量概化理論基礎(chǔ)上發(fā)展起來(lái)的，能處理多維度、多側(cè)面情況下的特質(zhì)測(cè)評(píng)，是一種備受關(guān)注的現(xiàn)代教育測(cè)量理論[5]。相較于經(jīng)典測(cè)量理論，MGT 的優(yōu)勢(shì)在于用一次測(cè)量的數(shù)據(jù)資料，研究者可以在多個(gè)概化全域下，計(jì)算不同測(cè)量側(cè)面樣本容量下的誤差方差分量和信度系數(shù)。本研究通過(guò)對(duì)《醫(yī)藥類(lèi)院校教師課堂教學(xué)水平學(xué)生評(píng)價(jià)量表》進(jìn)行多元概化理論分析，旨在評(píng)價(jià)其測(cè)量學(xué)信度的同時(shí)對(duì)各維度條目數(shù)優(yōu)化提出建議，并確定學(xué)生評(píng)教實(shí)踐中適宜的學(xué)生人數(shù)。

1 對(duì)象與方法

1.1 研究對(duì)象

隨機(jī)抽取某醫(yī)科大學(xué)2018 年9月至2019 年1 月修流行病學(xué)的5 個(gè)班級(jí)（由5 位不同教師授課），對(duì)選中班級(jí)的全體學(xué)生共422 人發(fā)放問(wèn)卷進(jìn)行課堂教學(xué)水平評(píng)價(jià)調(diào)查，排除無(wú)效問(wèn)卷1 份，最終納入問(wèn)卷421 份。

1.2 研究設(shè)計(jì)

采用多元隨機(jī)雙面嵌套不平衡測(cè)量設(shè)計(jì)(s?:t?)×i°，其對(duì)應(yīng)的一元概化設(shè)計(jì)為(s:t)×(i:h)，測(cè)量目標(biāo)為教師的教學(xué)水平，有兩個(gè)測(cè)量側(cè)面，測(cè)量側(cè)面中i為量表的條目，s為評(píng)價(jià)者學(xué)生，h表示量表的領(lǐng)域。該設(shè)計(jì)不僅考慮評(píng)教學(xué)生s嵌套于被評(píng)教師t中，同時(shí)考慮評(píng)價(jià)量表不同條目分屬于不同領(lǐng)域即評(píng)價(jià)條目嵌套于維度h中，兩者交叉設(shè)計(jì)，即由ns位學(xué)生使用同一份劃分為nh個(gè)維度、每個(gè)維度含有ni個(gè)條目的量表來(lái)評(píng)價(jià)教師t。

1.3 學(xué)生評(píng)教量表的制定

在自主研制的《高校教師教學(xué)水平學(xué)生評(píng)價(jià)指標(biāo)體系》量表[6]基礎(chǔ)上，經(jīng)過(guò)教師和學(xué)生進(jìn)行訪談→提出增補(bǔ)條目→德?tīng)柗茖?zhuān)家咨詢法篩選條目→課題組討論后，新增9 條目形成了《醫(yī)藥類(lèi)院校教師課堂教學(xué)水平學(xué)生評(píng)價(jià)量表》，量表總共33 個(gè)條目，劃分為教學(xué)組織（5 個(gè)條目）、教學(xué)領(lǐng)域（7 個(gè)條目）、教學(xué)方法（8 個(gè)條目）、教學(xué)態(tài)度（7 個(gè)條目）、教學(xué)效果（6 個(gè)條目）等五個(gè)領(lǐng)域。評(píng)分采用Likert scale 五點(diǎn)評(píng)分（1=一點(diǎn)也不；2=有一點(diǎn)；3=有些；4=相當(dāng)；5=非常）。

1.4 數(shù)據(jù)統(tǒng)計(jì)與分析

使用Epidata3.1 軟件建立數(shù)據(jù)庫(kù)，采用雙錄入并邏輯核查。運(yùn)用mGENOVA 軟件，概化理論分為G 研究和D 研究，首先在G 研究中估計(jì)各種誤差來(lái)源的方差分量及其占比，然后在D 研究中利用G 研究結(jié)果通過(guò)調(diào)整各測(cè)量側(cè)面的樣本數(shù)以改變測(cè)量設(shè)計(jì)，重新構(gòu)建各概括全域[7]，分別計(jì)算出各領(lǐng)域相對(duì)誤差和絕對(duì)誤差的方差分量、各領(lǐng)域概化系數(shù)和可靠性指數(shù)、合成的相對(duì)誤差與絕對(duì)誤差方差分量、合成的概化系數(shù)和可靠性指數(shù)等指標(biāo)，從而提出量表?xiàng)l目數(shù)分配優(yōu)化建議和評(píng)價(jià)者最適宜人數(shù)的建議。

概化理論中的絕對(duì)誤差（Δ）是指被試觀測(cè)值與概化全域上的全域分?jǐn)?shù)之差，而相對(duì)誤差（δ）是指所有隨機(jī)誤差引起的測(cè)量誤差。概率理論中有兩個(gè)反映信度的指標(biāo)分別是概化系數(shù)和可靠性指數(shù)，概化系數(shù)（G）被定義為測(cè)量目標(biāo)的有效方差占測(cè)量目標(biāo)有效方差與相對(duì)誤差方差之和的比值；而可靠性指數(shù)（Φ）被定義為測(cè)量目標(biāo)的有效方差占測(cè)量目標(biāo)有效方差與絕對(duì)誤差方差之和的比值。即概化系數(shù)和可靠性指數(shù)的計(jì)算公式如下：

式中，σ2(P)表示測(cè)量目標(biāo)的方差分量，σ2(Δ)表示絕對(duì)誤差的方差分量，σ2(δ)表示相對(duì)誤差的方差分量。

本研究設(shè)定當(dāng)概化系數(shù)或可靠性指數(shù)在0.80及以上時(shí)研制的量表信度較好。

2 結(jié)果

2.1 評(píng)價(jià)者基本信息

參與評(píng)教的421 名學(xué)生中有6 名學(xué)生性別信息缺失，其中男性153 人（占36.9%）；女性262人（占62.3%）。年級(jí)構(gòu)成方面：二年級(jí)學(xué)生有39 人，占9.3%；三年級(jí)學(xué)生有282 人，占67.0%，四年級(jí)學(xué)生有100 人，占23.8%。專(zhuān)業(yè)構(gòu)成方面：醫(yī)學(xué)實(shí)驗(yàn)技術(shù)班39 人，臨床醫(yī)學(xué)班90 人，全科醫(yī)學(xué)班119 人，臨床醫(yī)學(xué)班（全科方向）73 人，預(yù)防醫(yī)學(xué)班100 人。

2.2 G 研究主要結(jié)果

對(duì)各個(gè)領(lǐng)域的變異來(lái)源分解后發(fā)現(xiàn)：學(xué)生嵌套于教師效應(yīng)的方差分量最大，學(xué)生條目交互并嵌套于教師的效應(yīng)其次，條目效應(yīng)及條目教師交互效應(yīng)的方差分量均較小。橫向比較反映教師（t）的各領(lǐng)域方差分量，最大的是教學(xué)方法，其次是教學(xué)效果，最小的是教學(xué)組織，見(jiàn)表1。

表1 各領(lǐng)域方差及協(xié)方差分量估計(jì)Tab.1 The estimated variance-covariance components for every domain

2.3 原始測(cè)量長(zhǎng)度的D 研究

原始測(cè)量長(zhǎng)度條件下的多元D 研究結(jié)果呈現(xiàn)于表2 中。各領(lǐng)域上，相對(duì)誤差方差和絕對(duì)誤差方差均小于0.05，概化系數(shù)均大于0.8，可靠性指數(shù)除教學(xué)組織與教學(xué)方法兩個(gè)領(lǐng)域大于0.8 但小于0.7 外，其余領(lǐng)域均大于0.8。總量表上看，合成相對(duì)誤差方差和合成絕對(duì)誤差方差小于0.005，合成概化系數(shù)為0.915 2 和合成可靠性指數(shù)為0.898 1。

表2 基于原始測(cè)量長(zhǎng)度條件下多元D 研究結(jié)果Tab.2 D-study results for design based on original test length

進(jìn)一步分析表明：在教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果領(lǐng)域中，領(lǐng)域全域分?jǐn)?shù)對(duì)合成全域分?jǐn)?shù)的方差貢獻(xiàn)率接近各領(lǐng)域條目數(shù)比例；而在教學(xué)組織領(lǐng)域與教學(xué)方法領(lǐng)域中，領(lǐng)域全域分?jǐn)?shù)對(duì)合成全域分?jǐn)?shù)的方差貢獻(xiàn)率與領(lǐng)域條目數(shù)比例間相差較大，見(jiàn)表3。

表3 各個(gè)領(lǐng)域的領(lǐng)域條目數(shù)比例與方差貢獻(xiàn)率間比較Tab.3 Comparison between the CRCUS and the PDS in every domain

2.4 調(diào)整條目側(cè)面樣本數(shù)的多元D 研究

鑒于教學(xué)組織和教學(xué)方法領(lǐng)域可靠性指數(shù)小于0.8，基于原始量表各個(gè)領(lǐng)域的條目分配情況（模型1），在這教學(xué)組織和教學(xué)方法領(lǐng)域上分別增加1 個(gè)條目，而在其余領(lǐng)域分別減少1 個(gè)條目形成了模型2；在這教學(xué)組織和教學(xué)方法領(lǐng)域上分別增加2 個(gè)條目，而在其余領(lǐng)域分別減少3 個(gè)條目形成了模型3。結(jié)果顯示無(wú)論增添還是刪減條目數(shù)，對(duì)合成概化系數(shù)和合成可靠性指數(shù)均影響較小。即使將教學(xué)組織和教學(xué)方法領(lǐng)域的條目數(shù)增加為7 條和10 條時(shí)，領(lǐng)域可靠性指數(shù)也仍然小于0.80。即使教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果三個(gè)領(lǐng)域條目減少為原來(lái)一半，各領(lǐng)域概化系數(shù)和可靠性指數(shù)也仍大于0.80，見(jiàn)表4。

表4 不同測(cè)量長(zhǎng)度下各領(lǐng)域及共性量表的兩信度系數(shù)間比較Tab.4 Comparison of two reliability coefficients of every domains and universe under different test length

2.5 調(diào)整學(xué)生側(cè)面樣本數(shù)的多元D 研究

為探討保證一定測(cè)量信度前提下需要的最少學(xué)生人數(shù)實(shí)施了一系列D 研究。通過(guò)保持原始量表測(cè)量條目數(shù)不變，而調(diào)整學(xué)生人數(shù)來(lái)形成不同模型再計(jì)算各模型的概化系數(shù)和可靠性指數(shù)。其中模型A 保持了原始測(cè)量學(xué)生數(shù)（各班人數(shù)依次為90、119、73、39、99），模型B、模型C 及模型D 依次是調(diào)整各班人數(shù)為原始人數(shù)的2/3、1/2及1/3（無(wú)法整除時(shí)四舍五入）；模型E 至模型F中各班人數(shù)一致，即班級(jí)數(shù)為5，每班抽樣人數(shù)相等，從模型E 到F 各班學(xué)生數(shù)依次為90、60、30、28、27、25、20。結(jié)果發(fā)現(xiàn)若按模型H（五班各取樣28 人）來(lái)抽取學(xué)生，合成概化系數(shù)和合成可靠性指數(shù)仍然在0.8 以上；若按模型I（五班各取樣27 人），合成概化系數(shù)等于0.8 但合成可靠性指數(shù)低于0.8。若按模型K（五班各取樣20 人），合成概化系數(shù)和可靠性指數(shù)均是小于0.8 但大于0.7，見(jiàn)表5。

表5 不同樣本下各領(lǐng)域及共性量表的兩信度系數(shù)間比較Tab.5 Comparison of the two reliability coefficients of every domains and universe under different samples size

3 討論

G 研究發(fā)現(xiàn)變異來(lái)源中條目及教師條目交互效應(yīng)的占比均較小，提示量表?xiàng)l目變異小，測(cè)量工具質(zhì)量好。而學(xué)生嵌套于教師效應(yīng)的占比最大，提示在學(xué)生評(píng)教中影響教師水平的有很多是來(lái)自學(xué)生方面的因素，如有研究顯示男女兩類(lèi)學(xué)生對(duì)于不同性別教師評(píng)價(jià)具有差異[8]，亦有研究認(rèn)為學(xué)生對(duì)教師的教學(xué)評(píng)價(jià)更多在于學(xué)生期望值與實(shí)際教學(xué)距離[9-10]。在五個(gè)領(lǐng)域中，教學(xué)方法和教學(xué)效果兩領(lǐng)域方差分量具有更大變異性，提示在學(xué)生評(píng)教中教師的教學(xué)方法和教學(xué)效果對(duì)最終評(píng)價(jià)影響較大。

概化系數(shù)及可靠性指數(shù)均可作為該量表評(píng)價(jià)信度指標(biāo)，其中概化系數(shù)側(cè)重指示常模參照測(cè)驗(yàn)，可靠性指數(shù)側(cè)重指示標(biāo)準(zhǔn)參照測(cè)驗(yàn)。通常對(duì)同一個(gè)領(lǐng)域，概化系數(shù)高于可靠性指數(shù)。教學(xué)水平評(píng)價(jià)的應(yīng)用可能有兩個(gè)目的，一是應(yīng)用評(píng)價(jià)結(jié)果對(duì)教師水平排序以便開(kāi)展績(jī)效考核，此時(shí)屬于常模參照測(cè)驗(yàn)；二是建立一個(gè)水平線以評(píng)判教師教學(xué)水平是否達(dá)到某個(gè)標(biāo)準(zhǔn)，此時(shí)屬于標(biāo)準(zhǔn)參照測(cè)驗(yàn)。通常研究者決策風(fēng)險(xiǎn)越高，對(duì)信度系數(shù)的要求越高[11]。關(guān)于信度系數(shù)多大時(shí)表示信度較好，多數(shù)研究者[12-13]認(rèn)為：概化系數(shù)或可靠性指數(shù)在0.80 及以上時(shí)表示測(cè)量工具信度較好。學(xué)生評(píng)教的結(jié)果有可能用于對(duì)教師水平進(jìn)行排序，也有可能是需要建立一個(gè)應(yīng)達(dá)到的水平線。結(jié)合本研究中原始測(cè)量長(zhǎng)度下D 研究的結(jié)果（合成概化系數(shù)及合成可靠性指數(shù)均高于0.80），量表已達(dá)常模參照測(cè)驗(yàn)及標(biāo)準(zhǔn)參照測(cè)驗(yàn)要求，測(cè)量信度好，可推廣于實(shí)踐應(yīng)用。而各領(lǐng)域的概化系數(shù)均大于0.80，僅有教學(xué)組織和教學(xué)方法可靠性指數(shù)低于0.80 但大于0.70，提示這兩個(gè)領(lǐng)域可作為下一步量表優(yōu)化重點(diǎn)領(lǐng)域。

本研究嘗試通過(guò)增加教學(xué)組織和教學(xué)方法領(lǐng)域的條目數(shù)來(lái)提高這兩個(gè)領(lǐng)域的可靠性指數(shù)，但發(fā)現(xiàn)條目增加對(duì)可靠性指數(shù)影響甚微，因此建議若需修訂量表，可考慮在教學(xué)方法和教學(xué)組織內(nèi)容上修訂或合理劃分新領(lǐng)域。另一方面，實(shí)際學(xué)生評(píng)教中，同樣信度下條目精簡(jiǎn)的量表更佳，本研究以保證信度系數(shù)達(dá)到0.80 標(biāo)準(zhǔn)為前提，對(duì)教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果等三個(gè)領(lǐng)域的條目數(shù)進(jìn)行減少方向的調(diào)整，結(jié)果發(fā)現(xiàn)以上三個(gè)領(lǐng)域條目數(shù)減少為原來(lái)一半后信度依舊較好。因此下一步修訂時(shí)，可考慮將教學(xué)內(nèi)容、教學(xué)態(tài)度和教學(xué)效果等三個(gè)領(lǐng)域的條目數(shù)調(diào)整為4、4、3。

有研究[14]表明不同人數(shù)學(xué)生評(píng)教樣本數(shù)對(duì)評(píng)教結(jié)果具有顯著影響，本研究也同樣發(fā)現(xiàn)在現(xiàn)有量表各領(lǐng)域條目分配方案下，學(xué)生容量越大信度系數(shù)越高，但是實(shí)際測(cè)評(píng)中，筆者期望能夠確定信度較好前提下的最少學(xué)生人數(shù)。如前所述，本研究以信度系數(shù)在0.80 以上為信度好的標(biāo)準(zhǔn)，若目的是按某一水平線來(lái)評(píng)價(jià)教師教學(xué)水平是否達(dá)標(biāo)，則每班最低需抽取25 人；若目的是依據(jù)學(xué)生評(píng)教結(jié)果對(duì)教師教學(xué)水平進(jìn)行排序，則每班需最低需抽取28 人。