李爍 李貴安
摘? 要 教育教學(xué)研究離不開(kāi)評(píng)價(jià),評(píng)價(jià)量表是評(píng)價(jià)可靠性與有效性的最主要影響因素之一,要保證量表的信效度,必須經(jīng)過(guò)科學(xué)的流程進(jìn)行編制與優(yōu)化。研究顯示,在教育教學(xué)研究中,量表編制與優(yōu)化的一般流程包括明確測(cè)量對(duì)象、劃分測(cè)量維度、項(xiàng)目的編制、初步篩選、專家評(píng)審、樣本試測(cè)、基于試測(cè)的優(yōu)化。本研究著眼于流程中的細(xì)節(jié)問(wèn)題進(jìn)行探討,并結(jié)合實(shí)例數(shù)據(jù)加以分析,以供廣大研究者參考。
關(guān)鍵詞 教育教學(xué)研究;量表編制與優(yōu)化;因素分析;信度分析
中圖分類號(hào):G652? ? 文獻(xiàn)標(biāo)識(shí)碼:B
文章編號(hào):1671-489X(2020)17-0076-03
1 問(wèn)題的提出
教育教學(xué)研究離不開(kāi)評(píng)價(jià),沒(méi)有評(píng)價(jià)過(guò)程的反饋,易使研究過(guò)于主觀化,研究結(jié)果難以令人信服。隨著評(píng)價(jià)理論的不斷發(fā)展,形成不同種類的評(píng)價(jià)方式,但無(wú)論哪種評(píng)價(jià)方式,最終都離不開(kāi)測(cè)量量表。要保證量表測(cè)量的數(shù)據(jù)可靠可信,就必須在量表編制與優(yōu)化過(guò)程中使用科學(xué)的流程與方法。本研究基于中外測(cè)量學(xué)的文獻(xiàn)及教育學(xué)和心理學(xué)領(lǐng)域?yàn)橹鞯挠嘘P(guān)文獻(xiàn),總結(jié)出普遍適用于教育教學(xué)研究中量表編制的科學(xué)流程,著眼于細(xì)節(jié)問(wèn)題進(jìn)行探討,并依據(jù)SPSS V21的樣本數(shù)據(jù)作為實(shí)例加以分析,以供廣大研究者參考。
2 量表編制
前期準(zhǔn)備工作? 編制一個(gè)量表,第一步要明確所測(cè)量的對(duì)象,這個(gè)測(cè)量對(duì)象一般是研究中的主要概念或主要概念的一部分(如核心素養(yǎng))。明確測(cè)量對(duì)象后,還要厘清測(cè)量的意義所在。一般而言,在教育教學(xué)研究中測(cè)量的意義分為兩個(gè)方面:
1)研究教育理論時(shí)需要獲得量化的測(cè)量數(shù)據(jù),以佐證已有理論或進(jìn)行理論結(jié)構(gòu)與內(nèi)容的探究;
2)教學(xué)實(shí)踐者在進(jìn)行某項(xiàng)干預(yù)后需要通過(guò)量化的數(shù)據(jù)來(lái)得到干預(yù)對(duì)象的某個(gè)特質(zhì)在干預(yù)前后的變化情況,從而證明干預(yù)的效果。
許多教育研究者認(rèn)為,對(duì)于想要測(cè)量的東西心里早就清清楚楚,但結(jié)果卻發(fā)現(xiàn)自己最初的想法比想象的要含糊得多。如果測(cè)量對(duì)象沒(méi)有明晰的理論支撐就著手進(jìn)行量表項(xiàng)目的編制,會(huì)導(dǎo)致很多可靠性與結(jié)構(gòu)上的問(wèn)題,這樣如果到了后面的工作中再來(lái)彌補(bǔ)這些問(wèn)題,將比一開(kāi)始就把測(cè)量對(duì)象用完整科學(xué)的理論了解清楚要多出成倍的工作量。在量表編制的前期準(zhǔn)備過(guò)程中,一定要對(duì)量表測(cè)量的對(duì)象所包含的內(nèi)容與結(jié)構(gòu)十分明晰。
將測(cè)量對(duì)象所包含的因素進(jìn)行分類是十分有幫助的。若測(cè)量對(duì)象的概念已有明確的結(jié)構(gòu)框架,就可以直接使用,否則需要研究者自己進(jìn)行分類與歸納。注意:不能只將測(cè)量對(duì)象的概念劃分為幾個(gè)維度,由于其在教育教學(xué)研究中,測(cè)量的有關(guān)因素一般比較復(fù)雜,因此至少需要將其中的每一個(gè)維度繼續(xù)劃分成多個(gè)次維度,按需要可以再將每個(gè)次維度繼續(xù)細(xì)分,以此類推。
生成初始項(xiàng)目池? 項(xiàng)目就是構(gòu)成量表的基本單位。理論上,一個(gè)好的量表,其項(xiàng)目應(yīng)該是從有關(guān)項(xiàng)目宇(Universe)
中隨機(jī)抽取的。由于假定項(xiàng)目宇為無(wú)窮大,這就基本上迫使人們打消實(shí)際去列舉項(xiàng)目宇中所有項(xiàng)目并從其中隨機(jī)取樣的希望。在這一步工作中應(yīng)該盡量多地羅列所有有關(guān)測(cè)量對(duì)象內(nèi)容的項(xiàng)目,無(wú)須考慮量表長(zhǎng)度的問(wèn)題。因?yàn)樵谶@一步,主觀認(rèn)為某個(gè)項(xiàng)目“不重要”是沒(méi)有客觀依據(jù)的。
項(xiàng)目的形式多種多樣,現(xiàn)在最常見(jiàn)的是李克特型,其他還有瑟斯頓治標(biāo)法、能力測(cè)驗(yàn)題等形式,根據(jù)測(cè)量對(duì)象選擇適合的形式即可。如果測(cè)量對(duì)象的內(nèi)容很廣,可能一些維度的測(cè)量不適合用同樣的形式,那么這時(shí)候可以將不同的維度分別采用不同的項(xiàng)目形式,制作各自維度的分量表,最后再通過(guò)設(shè)計(jì)如相加或加權(quán)后相加等方式來(lái)計(jì)算總分。
在項(xiàng)目編制過(guò)程中需要注意以下三點(diǎn)。
1)避免冗長(zhǎng)。冗長(zhǎng)的項(xiàng)目一般過(guò)于復(fù)雜,難以保證項(xiàng)目的清晰度,容易引發(fā)受測(cè)者的負(fù)面情緒,但前提是不能以犧牲內(nèi)容的代價(jià)來(lái)?yè)Q取表面上的項(xiàng)目簡(jiǎn)潔性。
2)避免有歧義的項(xiàng)目。如“我喜歡學(xué)習(xí),因?yàn)閷W(xué)習(xí)讓我快樂(lè)”,這個(gè)項(xiàng)目包含多個(gè)導(dǎo)向,做這種題目時(shí)受測(cè)者會(huì)感到困擾與為難,效度較低。
3)避免過(guò)于寬泛。如“有扎實(shí)的學(xué)科專業(yè)知識(shí)”,明顯不能客觀體現(xiàn)被測(cè)者的學(xué)科專業(yè)知識(shí)水平。
3 量表優(yōu)化
試測(cè)前的優(yōu)化? 初始項(xiàng)目池一般會(huì)比較龐大。考慮到最終量表的簡(jiǎn)潔性,首先要對(duì)量表項(xiàng)目進(jìn)行初步篩選,主要依照三個(gè)方面進(jìn)行:
1)刪改表述有問(wèn)題的項(xiàng)目;
2)高度重復(fù)的項(xiàng)目保留其一;
3)刪改相關(guān)性有問(wèn)題的項(xiàng)目。
邀請(qǐng)有關(guān)專家來(lái)對(duì)池中的項(xiàng)目進(jìn)行評(píng)審,并根據(jù)需要請(qǐng)他們對(duì)項(xiàng)目進(jìn)行重新分類。邀請(qǐng)的專家建議包含兩個(gè)領(lǐng)域:
1)對(duì)量表測(cè)量對(duì)象有深入研究的專家,他們對(duì)測(cè)量對(duì)象有深刻理解,主要可以檢驗(yàn)項(xiàng)目的內(nèi)容效度;
2)測(cè)量學(xué)領(lǐng)域的專家,他們對(duì)如何提高量表的信效度有豐富的經(jīng)驗(yàn)。
他們對(duì)于量表的建議很多都是建設(shè)性的,可以參考其建議對(duì)項(xiàng)目進(jìn)行修改與增減。但也要考慮到專家本身也有一定的主觀性,所以在更改或刪除項(xiàng)目時(shí),尤其需要反復(fù)斟酌。經(jīng)過(guò)初步篩選與專家評(píng)審兩個(gè)環(huán)節(jié)后,試測(cè)量表就生成了,之后應(yīng)進(jìn)行試測(cè),使用試測(cè)獲得的數(shù)據(jù)對(duì)量表進(jìn)行進(jìn)一步優(yōu)化。
探索性因子分析? 因子分析(又叫因素分析)能使研究者把一組反應(yīng)事物性質(zhì)、狀態(tài)、特點(diǎn)等的幾個(gè)變量簡(jiǎn)化為少數(shù)幾個(gè)能反映事物內(nèi)在聯(lián)系、固有的、決定事物本質(zhì)特征的因子。它對(duì)重新認(rèn)識(shí)測(cè)量對(duì)象的內(nèi)容結(jié)構(gòu)有重要意義。
以下將介紹一些基于探索性因子分析的量表優(yōu)化方法,使用SPSS V21.0軟件,處理軟件自帶樣本數(shù)據(jù)“breakfast”,并進(jìn)行實(shí)例探討。因子分析的方法有很多種,還有因子旋轉(zhuǎn)的問(wèn)題,以下使用的是較常用的主成分分析法與最大變異正交旋轉(zhuǎn)。
首先是確認(rèn)因子個(gè)數(shù),任一量表的任一項(xiàng)目都與無(wú)數(shù)個(gè)因子有關(guān),但要的只是最主要能反應(yīng)量表項(xiàng)目的那些因子。如何判斷應(yīng)該取多少個(gè)因子合適呢?主要有三種方法。
1)特征值法。因子的特征值對(duì)應(yīng)的是該因素的方差貢獻(xiàn),因素分析時(shí)只需要取特征值較大的幾個(gè)因子即可,公認(rèn)的方法是取特征值大于1的因子。如表1所示,按照該方法,樣本數(shù)據(jù)應(yīng)該取前四個(gè)因子進(jìn)行分析。
2)累計(jì)方差貢獻(xiàn)率法。因子的方差貢獻(xiàn)率是該因子的特征值與所有因子特征值之和的比值,也可以體現(xiàn)因子解釋項(xiàng)目得分變動(dòng)能力。累計(jì)方差貢獻(xiàn)率就是幾個(gè)因子方差貢獻(xiàn)率的和,這個(gè)值達(dá)到一定的百分比,就說(shuō)明所取的這些因子已經(jīng)可以解釋量表中項(xiàng)目得分的大部分變動(dòng)。在測(cè)量學(xué)中閾值一般被規(guī)定為80%。如表1所示,按照該方法,樣本數(shù)據(jù)應(yīng)該取前七個(gè)因子進(jìn)行分析。
3)碎石檢驗(yàn)。這是由R.B.卡特爾提出的決定因子個(gè)數(shù)的方法。碎石圖的橫軸是特征值從大到小排列的各個(gè)因素,縱軸是各個(gè)因素對(duì)應(yīng)的特征值。如圖1所示,根據(jù)該方法,樣本數(shù)據(jù)可取前3~5個(gè)因子。
因素分析可以將項(xiàng)目進(jìn)行分類,見(jiàn)表2的旋轉(zhuǎn)成分矩陣。表中數(shù)據(jù)是各個(gè)項(xiàng)目在不同因子上的載荷值,這個(gè)值越大,說(shuō)明該因子越能解釋項(xiàng)目的變異。根據(jù)數(shù)據(jù),可以將某個(gè)因子的載荷值較高的一些項(xiàng)目歸為一類,原則是每個(gè)因子至少需要三個(gè)項(xiàng)目,之后再觀察這些被歸為一類的項(xiàng)目有什么共同特征。如果一個(gè)項(xiàng)目在兩個(gè)因子上的載荷絕對(duì)值都超過(guò)0.4(如表2中的項(xiàng)目4與項(xiàng)目5),則說(shuō)明從整個(gè)量表的結(jié)構(gòu)上看,這個(gè)項(xiàng)目是不良的,綜合考慮其重要性后,可以考慮刪除。
信度分析? 信度,又叫可靠性,是指問(wèn)卷的可信程度。它主要表現(xiàn)檢驗(yàn)結(jié)果的一貫性、一致性、再現(xiàn)性和穩(wěn)定性。一般分析量表信度的方法有克隆巴赫α信度、分半信度等。本文基于克隆巴赫α信度,介紹量表信度需要達(dá)到的標(biāo)準(zhǔn)與信度分析中可以用來(lái)進(jìn)行量表優(yōu)化的數(shù)據(jù)。使用SPSS V21.0軟件,處理軟件自帶樣本數(shù)據(jù)“TV survey”,并進(jìn)行實(shí)例探討。
表3中顯示了量表的克隆巴赫α值與基于標(biāo)準(zhǔn)化項(xiàng)的克隆巴赫α值。在教育研究中,一般認(rèn)為總量表的克隆巴赫α值在70%以上就是可靠的。表3中兩項(xiàng)都大于70%,證明該樣本數(shù)據(jù)的量表信度達(dá)標(biāo)。如果克隆巴赫α值大于90%,則可能說(shuō)明項(xiàng)目過(guò)多,可以通過(guò)相關(guān)性分析或探索性因素分析進(jìn)行篩選。
此外,信度分析也可以提供篩選項(xiàng)目的參考數(shù)據(jù)。一般認(rèn)為,如果刪除該項(xiàng)目對(duì)信度影響不大,甚至反而增加了信度,則這個(gè)項(xiàng)目可以考慮刪除。但對(duì)信度的影響較小,只能作為刪除項(xiàng)目的一個(gè)必要條件,不能作為充分條件。很多時(shí)候雖然刪除一個(gè)項(xiàng)目對(duì)信度基本沒(méi)有影響,但如果它在量表中有其特殊的意義,或在因素分析中是一個(gè)因子僅有的三個(gè)項(xiàng)目之一,則應(yīng)該保留。
表4中列出假設(shè)刪除該項(xiàng)目后這個(gè)量表的克隆巴赫α值,通過(guò)數(shù)據(jù)可以得知前兩個(gè)項(xiàng)目是肯定不可以刪除的,因?yàn)閯h除這些項(xiàng)目會(huì)大大降低量表的克隆巴赫α值;而最后一個(gè)項(xiàng)目刪除后反而增加了克隆巴赫α值,就可以考慮刪除它。
4 結(jié)語(yǔ)
綜上所述,在教育教學(xué)研究中,量表編制與優(yōu)化的一般流程包括:明確測(cè)量的對(duì)象與意義、劃分測(cè)量維度、項(xiàng)目的編制、項(xiàng)目的初步篩選、專家評(píng)審、樣本試測(cè)、基于試測(cè)的優(yōu)化。嚴(yán)格落實(shí)這些步驟而產(chǎn)生的量表信效度才有保證,所測(cè)量的數(shù)據(jù)才可具有較高的科學(xué)性,從而可很好地支撐研究?jī)?nèi)容,使人信服。在當(dāng)今信息爆炸的時(shí)代,廣大教育教學(xué)研究者也更應(yīng)該注重量化數(shù)據(jù)的收集,在量表編制與優(yōu)化上下功夫,才能為自己的研究打下堅(jiān)實(shí)的基礎(chǔ),以使研究?jī)?nèi)容更為真實(shí),研究結(jié)果更有意義?!?/p>
參考文獻(xiàn)
[1]德威利斯.量表編制:理論與應(yīng)用[M].3版.重慶:重慶大學(xué)出版社,2016:15-166.
[2]陳勝可.SPSS統(tǒng)計(jì)分析:從入門到精通[M].北京:清華大學(xué)出版社,2010:10-324.
[3]張勇.大學(xué)生自主性學(xué)習(xí)量表編制方法的研究[J].教學(xué)研究,2010,33(6):7-10.
[4]王登峰,崔紅.中國(guó)人人格量表(QZPS)的編制過(guò)程與初步結(jié)果[J].心理學(xué)報(bào),2003,35(1):127-136.
[5]Wang K T, WEI M, ZHAO R, et al. The Cross-Cultural
Loss Scale: Development and Psychometric Evaluation
[J].Psychological Assessment,2014,27(1):42-53.
[6]金艷,揭薇.中國(guó)英語(yǔ)能力等級(jí)量表的“口語(yǔ)量表”制定原則和方法[J].外語(yǔ)界,2017(2):10-19.
[7]連榕,楊麗嫻,吳蘭花.大學(xué)生的專業(yè)承諾、學(xué)習(xí)倦怠的關(guān)系與量表編制[J].心理學(xué)報(bào),2005,37(5):632-636.
[8]淡鑫.統(tǒng)計(jì)學(xué)編制量表的基本程序[J].新西部,2015(9):
144,132.