摘 要：科學(xué)、客觀、可行的評(píng)價(jià)指標(biāo)體系，是得到科學(xué)、客觀、公正的評(píng)估結(jié)論的基礎(chǔ)。基于元評(píng)價(jià)的視角對(duì)評(píng)估指標(biāo)體系的可靠性和有效性進(jìn)行分析，若評(píng)估指標(biāo)所反映的內(nèi)容不在同一目標(biāo)上，說(shuō)明有部分評(píng)估指標(biāo)偏離了評(píng)估目標(biāo)，即評(píng)價(jià)目標(biāo)與評(píng)估指標(biāo)的一致性較差，導(dǎo)致評(píng)估指標(biāo)體系的穩(wěn)定性較差。在對(duì)指標(biāo)體系有效性分析的基礎(chǔ)上，若某些末級(jí)指標(biāo)處于相同的結(jié)構(gòu)狀態(tài)中，則可認(rèn)為這些指標(biāo)是整個(gè)指標(biāo)體系中最為合理的指標(biāo)；若某兩個(gè)指標(biāo)被納入同層結(jié)構(gòu)，但歸為不同的二級(jí)指標(biāo)，表明這兩項(xiàng)指標(biāo)具有分散的特征。

關(guān)鍵詞：元評(píng)價(jià)；教育評(píng)價(jià)指標(biāo)體系；可靠性；有效性

中圖分類號(hào)：G40-058 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1002-0845（2013）03-0072-02

一、元評(píng)價(jià)理論

“元（meta）”來(lái)自希臘文，也是英語(yǔ)和德語(yǔ)的單詞，其原意為“在……之后”，引申為“對(duì)……的反思”，表示一種更高的邏輯形式。這一概念自1969年提出至今，其所包含的內(nèi)容越來(lái)越豐富，由最早的對(duì)一項(xiàng)評(píng)估、評(píng)估系統(tǒng)或評(píng)估工具的評(píng)價(jià)，發(fā)展到對(duì)評(píng)估自身、評(píng)估結(jié)果、評(píng)估技術(shù)、評(píng)估反饋等方面的評(píng)價(jià)。目前，“元評(píng)價(jià)”受到了國(guó)內(nèi)外學(xué)者的廣泛關(guān)注。

元評(píng)價(jià)就是對(duì)評(píng)價(jià)本身的評(píng)價(jià)， 是提高教育評(píng)價(jià)質(zhì)量、促進(jìn)教育評(píng)價(jià)健康發(fā)展的重要手段。元評(píng)價(jià)的主要目的是檢驗(yàn)評(píng)價(jià)中可能出現(xiàn)的各種偏差，運(yùn)用統(tǒng)計(jì)的方法估計(jì)產(chǎn)生的偏差對(duì)評(píng)估結(jié)論的影響，因而評(píng)價(jià)中的各種問(wèn)題都應(yīng)該是元評(píng)價(jià)考慮的對(duì)象。候光文教授認(rèn)為，教育評(píng)價(jià)的元評(píng)價(jià)是評(píng)價(jià)的重要組成部分，它與一般的評(píng)價(jià)活動(dòng)在方法的運(yùn)用上有許多共同之處。

對(duì)于一項(xiàng)評(píng)估活動(dòng)而言，指標(biāo)體系的構(gòu)建是教育評(píng)價(jià)的前提和依據(jù)。構(gòu)建科學(xué)、客觀、可行的評(píng)估指標(biāo)體系，是得到科學(xué)、客觀、公正的評(píng)估結(jié)論的基礎(chǔ)，是評(píng)估功能得以有效發(fā)揮的前提。本文基于元評(píng)價(jià)的理論視角，運(yùn)用數(shù)據(jù)統(tǒng)計(jì)軟件SPSS10.0對(duì)指標(biāo)體系的有效性和可靠性進(jìn)行分析，以期探索一種有效的元評(píng)價(jià)分析方法。

二、對(duì)評(píng)價(jià)指標(biāo)體系的可靠性和有效性的分析

筆者以某區(qū)專業(yè)評(píng)估為例，以其使用的指標(biāo)體系為研究對(duì)象，對(duì)指標(biāo)體系的可靠性和有效性進(jìn)行統(tǒng)計(jì)分析。

1.指標(biāo)體系的可靠性分析

從理論的角度來(lái)看，評(píng)估結(jié)果的客觀性依賴于指標(biāo)體系的可靠性。指標(biāo)體系的可靠性，即指標(biāo)體系的可靠程度，應(yīng)理解為指標(biāo)體系本身應(yīng)具備的穩(wěn)定性，表現(xiàn)為指標(biāo)體系內(nèi)部各級(jí)指標(biāo)的一致性。如果指標(biāo)體系具有較好的可靠性，則指標(biāo)體系的科學(xué)性較高，評(píng)估結(jié)果的信度系數(shù)較好。

本文采用分半法對(duì)評(píng)估指標(biāo)體系的可靠性進(jìn)行分析。一般情況下采用奇偶分半、難度分半、內(nèi)容分半等方法進(jìn)行分半。在實(shí)際應(yīng)用中，指標(biāo)體系的末級(jí)指標(biāo)一般是依據(jù)一個(gè)評(píng)估目標(biāo)分解而成的，具有較高的獨(dú)立性，采用奇偶分半可使兩半的指標(biāo)體系在難度上基本相等，本文采納奇偶分半法對(duì)末級(jí)指標(biāo)進(jìn)行分半。

運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件，定義二十七項(xiàng)末級(jí)指標(biāo)分別為ZB1、ZB2、ZB3……ZB27，分別錄入各個(gè)專業(yè)對(duì)應(yīng)的自評(píng)得分。在“分析”選項(xiàng)中選中“一致性分析”一項(xiàng)，并將“一致性分析”對(duì)話框中的方法選擇定義為“分半系數(shù)”，得到的分析結(jié)果如下：

Correlation between forms （相關(guān)系數(shù)）= 0.2460

Unequal-length Spearman-Brown （不等長(zhǎng)距離分半系數(shù)）=0.3950

其中“不等長(zhǎng)距離分半系數(shù)”是指在本次分析中，“一半指標(biāo)”與“二半指標(biāo)” 的數(shù)量不同，“一半指標(biāo)”有十四項(xiàng)末級(jí)指標(biāo)，“二半指標(biāo)”有十三項(xiàng)末級(jí)指標(biāo)。本研究采用不等長(zhǎng)距離分半系數(shù)，即專業(yè)評(píng)估指標(biāo)體系的可靠性系數(shù)為0.3950。

2.指標(biāo)體系的有效性分析

從教育統(tǒng)計(jì)與測(cè)量的角度來(lái)看，有效性是指一次測(cè)量的有效程度。如果一次測(cè)量能測(cè)出指標(biāo)體系的特性，則認(rèn)為這個(gè)測(cè)驗(yàn)或量表是有效的。

評(píng)估指標(biāo)的有效性可以理解為評(píng)估指標(biāo)能夠在多大程度上描述評(píng)估對(duì)象的特質(zhì)。在教育評(píng)估中，如果確立的指標(biāo)不能反映或不能完全反映評(píng)估對(duì)象的特性，那么該指標(biāo)體系就不具備有較高的有效性。

本文采用結(jié)構(gòu)效度分析法分析指標(biāo)體系的有效性，即首先是計(jì)算各指標(biāo)協(xié)方差矩陣的特征值和特征向量，并構(gòu)造各指標(biāo)的加權(quán)組合，再?gòu)母鱾€(gè)加權(quán)組合中尋找“統(tǒng)計(jì)結(jié)構(gòu)”，最后考察“統(tǒng)計(jì)結(jié)構(gòu)”和原結(jié)構(gòu)是否一致，如果一致，則認(rèn)為有效度較高，即有效性良好。

采用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)分析，定義二十七項(xiàng)末級(jí)指標(biāo)分別為ZB1到ZB27，用于記錄二十七項(xiàng)末級(jí)指標(biāo)的得分，分析結(jié)果顯示數(shù)據(jù)有誤。經(jīng)過(guò)對(duì)二十七項(xiàng)末級(jí)指標(biāo)原始數(shù)據(jù)的核查，發(fā)現(xiàn)第十二項(xiàng)末級(jí)指標(biāo)（ZB12）的數(shù)據(jù)全部為4，從數(shù)據(jù)統(tǒng)計(jì)分析的角度看，此數(shù)據(jù)不具有區(qū)別度，對(duì)需要提取的公因子的貢獻(xiàn)率為0，為此在進(jìn)行因素分析前，需剔除末級(jí)指標(biāo)ZB12。

剔除末級(jí)指標(biāo)ZB12后，對(duì)剩余的二十六項(xiàng)末級(jí)指標(biāo)的因素分析結(jié)果為：二十六項(xiàng)末級(jí)指標(biāo)可以由11個(gè)因子進(jìn)行解釋。這11個(gè)因子的特征值都大于1，方差貢獻(xiàn)率（%）分別為13.580、10.789、9.039、7.411、7.035、6.146、5.463、5.068、4.277、3.944和3.874，累計(jì)方差解釋率為76.624%，能夠解釋原始變量方差的76.624%以上。從理論上看，有關(guān)二十六項(xiàng)末級(jí)指標(biāo)的因素分析是科學(xué)有效的，其提取的公因子的解釋率達(dá)到76.624%。因此，應(yīng)在剔除第十二個(gè)指標(biāo)后尋找指標(biāo)的統(tǒng)計(jì)結(jié)構(gòu)。運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件，運(yùn)用主成分分析法分析11個(gè)公因子（G1-G11）的初始載荷矩陣，可以得出二十六項(xiàng)指標(biāo)在每個(gè)公共因子上的權(quán)值。在初始載荷矩陣中，有的變量在公共因子上的載荷分配不太理想，出現(xiàn)了同一個(gè)一級(jí)指標(biāo)的載荷值過(guò)高或過(guò)低的情況，難以決定公因子的意義。為此需要用斜交旋轉(zhuǎn)的方法進(jìn)行轉(zhuǎn)軸，解決載荷分配不理想的問(wèn)題。運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件，在旋轉(zhuǎn)方法選項(xiàng)中選擇斜交旋轉(zhuǎn)方法，并選擇剔除絕對(duì)值小于0.1的斜因子載荷值的選項(xiàng)。在結(jié)構(gòu)矩陣中，可以根據(jù)各指標(biāo)在斜因子軸上投影值的大小來(lái)決定因子的意義，或以此作為因子命名的依據(jù)。

可對(duì)二十六項(xiàng)指標(biāo)進(jìn)行第一次歸屬分析，以完成對(duì)末級(jí)指標(biāo)的歸類。對(duì)于有三級(jí)甚至四級(jí)結(jié)構(gòu)的評(píng)估指標(biāo)體系，為了準(zhǔn)確判斷該評(píng)估指標(biāo)體系的有效性，應(yīng)在上述分析的基礎(chǔ)上進(jìn)行第二次因素分析，以尋找更高一級(jí)的內(nèi)在結(jié)構(gòu)。

三、結(jié)果與討論

1.指標(biāo)體系可靠性分析的結(jié)果與討論

通過(guò)以上分析結(jié)果可知，專業(yè)評(píng)估所采用的指標(biāo)體系的可靠性系數(shù)為0.3950，分析結(jié)果說(shuō)明本次評(píng)估所采用的指標(biāo)體系的可靠程度并不高。

指標(biāo)的設(shè)計(jì)應(yīng)遵循一項(xiàng)重要的原則，即指標(biāo)同層次間相互獨(dú)立的原則。由于教育現(xiàn)象的復(fù)雜性，導(dǎo)致在設(shè)計(jì)指標(biāo)的過(guò)程中要做到同層次所有指標(biāo)間完全相互獨(dú)立是十分困難的。在這種情況下，指標(biāo)體系只要達(dá)到了低度相關(guān)，則可認(rèn)為指標(biāo)間的獨(dú)立性較好。在對(duì)本例專業(yè)評(píng)估指標(biāo)體系可靠性的分析中，“一半指標(biāo)”與“二半指標(biāo)”之間的相關(guān)系數(shù)為0.2460，說(shuō)明指標(biāo)間的獨(dú)立性較好。表明在末級(jí)指標(biāo)這一層次上，指標(biāo)之間存在因果關(guān)系的可能性較小，每一個(gè)指標(biāo)各自代表一個(gè)獨(dú)立的內(nèi)容，它們之間重疊的部分不多，包含與被包含的關(guān)系不明顯，也沒(méi)有出現(xiàn)高度相關(guān)的情況，符合指標(biāo)同層次間相互獨(dú)立的原則。然而，指標(biāo)體系的獨(dú)立性較好并不代表指標(biāo)的內(nèi)容設(shè)計(jì)具有合理性，這僅是確定評(píng)估指標(biāo)應(yīng)遵循的原則之一。

從分析結(jié)果來(lái)看，本例專業(yè)評(píng)估指標(biāo)體系的可靠性系數(shù)僅為0.3950，說(shuō)明指標(biāo)體系的可靠程度不高，二十七項(xiàng)評(píng)估指標(biāo)體系所反映的內(nèi)容不在同一目標(biāo)上。評(píng)估指標(biāo)是對(duì)評(píng)估目標(biāo)的具體化，是由評(píng)價(jià)目標(biāo)分解而成的，其集合應(yīng)該是對(duì)評(píng)估目標(biāo)的可靠性的反映，這樣才能形成一個(gè)相對(duì)穩(wěn)定的指標(biāo)體系，才能判斷出被評(píng)估對(duì)象的真實(shí)價(jià)值。而評(píng)估指標(biāo)所反映的內(nèi)容不在同一目標(biāo)上，說(shuō)明指標(biāo)較分散，有部分評(píng)估指標(biāo)偏離評(píng)估目標(biāo)，評(píng)估目標(biāo)與評(píng)估指標(biāo)的一致性較差，從而導(dǎo)致評(píng)估指標(biāo)體系的穩(wěn)定性較差。此外，評(píng)估主體不同，也是導(dǎo)致評(píng)估指標(biāo)體系可靠性較低的原因之一。

2.指標(biāo)體系有效性分析的結(jié)果與討論

在對(duì)指標(biāo)體系有效性進(jìn)行分析的基礎(chǔ)上，與原指標(biāo)體系結(jié)構(gòu)進(jìn)行對(duì)比，得出如下結(jié)論：

其一，第一次分析中，有7項(xiàng)末級(jí)指標(biāo)在原指標(biāo)體系中同屬一個(gè)二級(jí)指標(biāo)，說(shuō)明這幾項(xiàng)指標(biāo)無(wú)論是在原指標(biāo)體系中，還是在因素分析的指標(biāo)內(nèi)部結(jié)構(gòu)中，都處于相同的結(jié)構(gòu)狀態(tài)，因而這7項(xiàng)末級(jí)指標(biāo)是整個(gè)指標(biāo)體系中最為合理的指標(biāo)。

其二，在第一次因素分析中，公因子G6的解釋指標(biāo)一（ZB1）和解釋指標(biāo)六（ZB6）同屬于原指標(biāo)體系的一級(jí)指標(biāo)中。說(shuō)明這兩項(xiàng)指標(biāo)具有共同的數(shù)據(jù)特征，可被納入同層結(jié)構(gòu)中，但歸為不同的二級(jí)指標(biāo)，表明這兩項(xiàng)指標(biāo)在同層結(jié)構(gòu)中仍表現(xiàn)出分散的特征。

其三，分析發(fā)現(xiàn)，除上述幾項(xiàng)指標(biāo)能在原指標(biāo)體系中找到相應(yīng)的結(jié)構(gòu)外，其余的公因子無(wú)法被還原到原指標(biāo)體系的結(jié)構(gòu)中，但在因素分析中卻被歸為一類。說(shuō)明這幾項(xiàng)指標(biāo)有共同的數(shù)據(jù)特征，但在原指標(biāo)體系中歸為不同的一級(jí)指標(biāo)，表明這幾項(xiàng)指標(biāo)的設(shè)計(jì)較為分散，因而這樣的設(shè)計(jì)是不合理的。

其四，從微觀層面來(lái)看，屬于同一個(gè)一級(jí)指標(biāo)的各個(gè)末級(jí)指標(biāo)的設(shè)計(jì)是較為合理的。公因子E1的末級(jí)解釋指標(biāo)跨越了原指標(biāo)體系中的四項(xiàng)一級(jí)指標(biāo)，公因子E2的末級(jí)解釋指標(biāo)跨越了原指標(biāo)體系中的三項(xiàng)一級(jí)指標(biāo)，公因子E3的末級(jí)解釋指標(biāo)跨越了原指標(biāo)體系中的四項(xiàng)一級(jí)指標(biāo)，公因子E4的末級(jí)解釋指標(biāo)跨越了原指標(biāo)體系中的三項(xiàng)一級(jí)指標(biāo)，說(shuō)明原指標(biāo)體系的結(jié)構(gòu)中存在的問(wèn)題較大。

最后，在第二次因素分析中，指標(biāo)分散的特征再次凸顯。在公因子E1的解釋指標(biāo)中，指標(biāo)九（ZB9）單獨(dú)屬于一個(gè)一級(jí)指標(biāo)；在公因子E2的解釋指標(biāo)中，指標(biāo)十三（ZB13）和指標(biāo)十六（ZB16）分別屬于不同的一級(jí)指標(biāo)；在公因子E3的解釋指標(biāo)中，指標(biāo)十（ZB10）和指標(biāo)十五（ZB15）也分別屬于不同的一級(jí)指標(biāo)；在公因子E4的解釋指標(biāo)中，指標(biāo)十一（ZB11）單獨(dú)屬于一個(gè)一級(jí)指標(biāo)。說(shuō)明本例專業(yè)評(píng)估采用的指標(biāo)體系的分散特征較為明顯，在進(jìn)行指標(biāo)修正時(shí)需要對(duì)指標(biāo)的結(jié)構(gòu)進(jìn)行調(diào)整。

參考文獻(xiàn)：

[1]候光文. 試論教育評(píng)價(jià)元評(píng)價(jià)[J]. 教育理論與實(shí)踐，1998（4）： 24-27.

[2]賀祖斌. 高等教育評(píng)價(jià)的元評(píng)價(jià)及其量化分析模型[J]. 教育 科學(xué)，2001（3）：57-59.

[3]程書肖. 教育評(píng)價(jià)方法技術(shù)[M]. 北京：北京師范大學(xué)出版社， 2004：159-160.

[4]余劍英，何旭宏. 數(shù)據(jù)統(tǒng)計(jì)分析與SPSS應(yīng)用[M]. 北京：人民郵 電出版社，2003：294-310.

[5]賀祖斌. 高等教育評(píng)價(jià)的元評(píng)價(jià)及其量化分析模型[J]. 教育科 學(xué)，2001（3）：56-58.

[6]劉康寧. 教育評(píng)估指標(biāo)相關(guān)性的問(wèn)題研究[J]. 評(píng)價(jià)與管理， 2005，12（4）：29-31.

[7]譚杰鋒. 評(píng)估指標(biāo)體系中相關(guān)性分析[J]. 統(tǒng)計(jì)與決策，2005 （11）：145-146.

〔責(zé)任編輯：張 華〕

收稿日期：2012-12-30

基金項(xiàng)目：廣西新世紀(jì)高等教育教學(xué)改革項(xiàng)目（2011JGA234）

作者簡(jiǎn)介：潘杰寧（1980-）女，南寧人，講師，碩士，從事高等教育管理與評(píng)估研究。