凡細(xì)珍 任 杰
近30多年來,教育評價領(lǐng)域興起了一種新的評價方式——增值性評價(Value-added Assessment),即通過追蹤研究設(shè)計,收集學(xué)生在一段時間內(nèi)不同時間點上的標(biāo)準(zhǔn)化測驗成績,通過比較學(xué)生實際的學(xué)習(xí)結(jié)果與預(yù)期獲得的學(xué)習(xí)結(jié)果之間的差異,即增值,對學(xué)生的學(xué)習(xí)表現(xiàn)及教師和學(xué)校的教學(xué)效能進(jìn)行評估的教育評價體系。[1]與基于一次考試平均成績的終結(jié)性評價相比,增值性評價以“增值”作為評價指標(biāo),關(guān)注學(xué)生的進(jìn)步和成長,從而保證了更加公平、科學(xué)的比較。本文以新疆學(xué)業(yè)水平監(jiān)測五年級漢語學(xué)科的教學(xué)質(zhì)量評價為例,采用四年級和五年級的漢語學(xué)科考試數(shù)據(jù)進(jìn)行了增值性評價的實證研究,嘗試將增值的理念引入新疆雙語教學(xué)質(zhì)量評價的實踐中,進(jìn)一步改進(jìn)和完善新疆雙語教學(xué)質(zhì)量評價體系,促進(jìn)新疆地區(qū)雙語教學(xué)的蓬勃發(fā)展。
隨著學(xué)生接受學(xué)校教育時間的增加,人們期望學(xué)生的成績會有所提高。“增值(Value-added)”表示學(xué)校教育使學(xué)生學(xué)習(xí)成績超過預(yù)期成績的部分。[2]從數(shù)學(xué)意義上來說,增值表示學(xué)生在某段時間結(jié)束時的實際成績與預(yù)期成績之差。增值性評價即以“增值”為指標(biāo)對學(xué)生、教師和學(xué)校進(jìn)行評估的教育評價體系。
在增值性評價中,怎樣預(yù)測出學(xué)生的預(yù)期成績?在預(yù)測中最經(jīng)常使用的一種數(shù)學(xué)工具是回歸。[3]值評價關(guān)鍵的一步是根據(jù)基礎(chǔ)成績及影響學(xué)生學(xué)業(yè)成績的各種因素,建立合適的回歸方程,預(yù)測出學(xué)生在一段時間之后的成績期望值,進(jìn)而與實際成績進(jìn)行對比,求得增值。這個過程即增值模型建構(gòu)的過程。
傳統(tǒng)的回歸分析必須滿足線性、獨立、等方差、正態(tài)性四個假設(shè),任何一個假設(shè)不能得到滿足,使用線性回歸所作出的分析都會存在著很大的誤差。[4]然而在現(xiàn)實的學(xué)校教育情境中,存在著大量的學(xué)生嵌套于班級、班級嵌套于學(xué)校的層級數(shù)據(jù),無法滿足傳統(tǒng)多重線性回歸的條件。階層線性模型(Hierarchical Linear Modeling,HLM)解決了傳統(tǒng)回歸的不足,為增值性評價提供了一個更為科學(xué)的統(tǒng)計工具。階層線性模型充分利用了學(xué)生層面和學(xué)?;蚪處煂用娴臄?shù)據(jù)信息,能將影響學(xué)生成績的外部因素與學(xué)?;蚪處煹男?yīng)分離開來,得到學(xué)?;蚪處煹摹皟粜?yīng)”,實現(xiàn)對學(xué)?;蚪處熜艿目茖W(xué)評價。階層線性模型的一般表達(dá)式如下:[5]
第一層:
第二層:
階層線性模型與傳統(tǒng)多重線性回歸的最大不同在于它將各個不同層級的變量進(jìn)行了分層,第二層是針對第一層截距和回歸系數(shù)的回歸分析,第一層有多少的自變量,第二層就會比第一層的自變量個數(shù)多一個方程式。通常來說,第一層為低層因素,第二層為高一層次因素。以學(xué)校情境中的數(shù)據(jù)為例,第一層通常為學(xué)生個體層次的變量,第二層為班級或?qū)W校總體層次的變量。當(dāng)然,根據(jù)實際數(shù)據(jù)的層級多少,階層線性模型可以分為相應(yīng)的層次,這里僅以二層數(shù)據(jù)結(jié)構(gòu)來對階層線性模型的一般式進(jìn)行簡單介紹。以上是階層線性模型的一般式,根據(jù)實際應(yīng)用的需要,可以對每一層的變量進(jìn)行不同的設(shè)置,從而獲得不同的變式。
圖1 研究過程示意圖
實證研究主要包括數(shù)據(jù)采集、數(shù)據(jù)整理、模型建構(gòu)、增值計算等具體過程,見圖1。
(1)學(xué)生成績
本研究收集到新疆學(xué)業(yè)水平監(jiān)測漢語學(xué)科四年級考試數(shù)據(jù)和同一批考生在五年級時的考試數(shù)據(jù)。兩次考試中包含了一定數(shù)量的共同題,為研究中兩次考試分?jǐn)?shù)的垂直量表化奠定了基礎(chǔ)。
(2)背景資料
本研究采用調(diào)查問卷收集學(xué)生的背景信息,共有學(xué)生問卷、教師問卷、校長問卷三套。根據(jù)問卷的調(diào)查結(jié)果,總結(jié)歸納出影響學(xué)生學(xué)業(yè)成績的學(xué)生個體因素、教師層次因素、學(xué)校層次因素,并根據(jù)問卷題目選項之間的等級差別將其換算成1、2等分值,作為影響學(xué)生學(xué)業(yè)成績的背景信息變量。為減小誤差,我們將上面各個變量的得分求離均差,將其作以各組平均數(shù)為基準(zhǔn)的中心化處理,再放入模型進(jìn)行回歸與估計。經(jīng)過中心化處理之后,每一個變量值所代表的是一個相對位置,而不是我們所賦予的絕對數(shù)值。
(1)前測成績與后測成績的垂直量表化處理
增值評價涉及兩個不同年級的分?jǐn)?shù)比較,由于難度等的不同,我們不能將二者直接進(jìn)行比較,需要對其進(jìn)行垂直量表化(vertical scaling)處理。利用兩個考試中的錨題設(shè)計,采用IRT同時估計的方法,使用專門的處理軟件BILOG,我們獲得了兩個年級每一位學(xué)生基于同一個量表的閱讀能力值、聽力能力值和整體能力值,進(jìn)而可以對兩個年級的分?jǐn)?shù)進(jìn)行比較和分析。
(2)數(shù)據(jù)連接
將學(xué)生的成績數(shù)據(jù)與學(xué)生的背景信息進(jìn)行連接,建立增值模型建構(gòu)所需使用的數(shù)據(jù)庫,見表1。
以學(xué)生五年級成績?yōu)橐蜃兞?,四年級成績及相關(guān)背景信息為自變量構(gòu)建增值模型。受樣本量限制,我們以學(xué)生層次的因素為第一層變量,教師和學(xué)校因素為第二層自變量,通過設(shè)置相應(yīng)的階層線性模型,逐步篩選出不同層級的顯著變量和交互作用項,分別建立起了學(xué)生—教師和學(xué)生—學(xué)校二層模型。結(jié)果如下:
(1)學(xué)生—教師二層模型
第一水平模型:
全卷5=B0+B1*(全卷4)+B2*(性別)+B3*(城鄉(xiāng)身份)+B4*(學(xué)習(xí)策略)+B5*(學(xué)習(xí)興趣)+0.33119
第二水平模型:
表1 學(xué)生信息資料庫
(2)學(xué)生—學(xué)校二層模型
第一水平模型:
全卷 5=B0+B1*(學(xué)生性別)+B2*(城鄉(xiāng)身份)+B3*(學(xué)習(xí)興趣)+B4*(全卷4)+0.07320
第二水平模型:
(1)計算學(xué)生增值
利用求得的增值模型可以計算出每一位學(xué)生在五年級的預(yù)期成績,學(xué)生五年級實際成績減去預(yù)期成績即可得到每一位學(xué)生的增值。
(2)計算教師增值
階層線性模型能夠?qū)⒂绊憣W(xué)生學(xué)業(yè)成績的學(xué)生因素、教師因素和學(xué)校因素分解出來,從而計算出各個階層的變量對因變量的貢獻(xiàn)大小。據(jù)此,我們可以利用教師、學(xué)校層次的方差成分占總方差的百分比來求得教師和學(xué)校的增值。為了使教師之間的增值可以進(jìn)行比較,我們將教師增值之和除以學(xué)生人數(shù)。
(3)計算學(xué)校增值
與計算教師增值一樣,我們采用同樣的方法求得每一所學(xué)校的增值。
表2 學(xué)生進(jìn)步報告表
表3 教師增值貢獻(xiàn)報告表
增值結(jié)果可顯示出學(xué)生的進(jìn)步情況、教師和學(xué)校的效能情況,既可讓學(xué)生了解自身的學(xué)習(xí)進(jìn)步與否,教師和學(xué)校明了自身的教學(xué)效果,也可為各級教育機(jī)構(gòu)評價、監(jiān)管等提供相應(yīng)信息。
(1)學(xué)生進(jìn)步報告與分析,見表2
從表2可以看出每個學(xué)生在全卷、聽力、閱讀方面的進(jìn)步情況。從實際增長來看,1001、1002號學(xué)生都實現(xiàn)了能力的增長,但閱讀的增長幅度要小于聽力,提示該生在以后的學(xué)習(xí)中,要更加注重閱讀方面能力的提升。而從預(yù)期增值來看,學(xué)生1001全卷和聽力都實現(xiàn)了增值,但閱讀沒有,而學(xué)生1002全卷和閱讀實現(xiàn)了增值,但聽力沒有。這說明這兩位學(xué)生在聽力和閱讀方面的能力增長均未達(dá)到預(yù)期的理想水平,尚有待提高的空間。
需要說明的是,表2中的預(yù)期增長與實際增長的結(jié)果并不一致,并且學(xué)生的預(yù)期增值較之實際增長值要低一些。增值指標(biāo)對教師和學(xué)校提出了更高的要求,更能促使教師、學(xué)校發(fā)揮其在教學(xué)中應(yīng)有的作用,真正促進(jìn)學(xué)生的發(fā)展。
(2)教師效能報告與分析,見表3
從表3可以看出教師對學(xué)生全卷、聽力、閱讀三方面教學(xué)的效能。以教師T1001為例,他對學(xué)生三方面的能力增長都有正向的貢獻(xiàn),有效促進(jìn)了學(xué)生能力的增長,教學(xué)效能較好;教師T1002在全卷和閱讀方面的效能較好,但聽力方面則相對較弱,提醒該教師在以后的教學(xué)中,要多加強聽力教學(xué)的實踐與鍛煉。
(3)學(xué)校效能報告與分析,見表4
從表4可以看出學(xué)校對學(xué)生全卷、聽力、閱讀三方面教學(xué)的效能,以學(xué)校S1001為例,其對學(xué)生三方面的能力增長都有正向的貢獻(xiàn),有效促進(jìn)了學(xué)生能力的增長,教學(xué)效能較好;學(xué)校S1002在全卷和聽力方面的效能較好,但閱讀方面則相對較弱,提醒學(xué)校在后續(xù)的教學(xué)與管理中,要多加強閱讀方面教學(xué)的管理與實踐。
表4 學(xué)校增值貢獻(xiàn)報告表
表5 學(xué)生學(xué)業(yè)成績影響因素分析結(jié)果表
在階層線性模型中,回歸系數(shù)代表了自變量對因變量的影響程度。因此,根據(jù)回歸系數(shù),可看出各自變量對因變量的影響性質(zhì)與大小,見表5。
從學(xué)生因素來看,“全卷 4”、“學(xué)生性別”、“城鄉(xiāng)身份”、“學(xué)習(xí)策略”和“學(xué)習(xí)興趣”五個自變量均呈現(xiàn)統(tǒng)計上的顯著性(P<0.05)。“全卷4”的系數(shù)為正,且數(shù)值最大,說明基礎(chǔ)能力是影響學(xué)生后續(xù)能力發(fā)展的最重要因素,基礎(chǔ)越好的學(xué)生,其增值越大。“學(xué)生性別”系數(shù)為正,說明女生在漢語學(xué)科中的表現(xiàn)優(yōu)于男生,這也符合女生語言思維優(yōu)于男生的常規(guī)?!俺青l(xiāng)身份”系數(shù)為負(fù),說明家住農(nóng)村地區(qū)的學(xué)生學(xué)業(yè)成績要優(yōu)于家住城市的學(xué)生,這可能是因為農(nóng)村地區(qū)的學(xué)生在學(xué)習(xí)的努力程度上要高于城市學(xué)生?!皩W(xué)習(xí)策略”和“學(xué)習(xí)興趣”均呈現(xiàn)顯著的正向影響,說明懂得運用學(xué)習(xí)策略、漢語學(xué)習(xí)興趣越高的學(xué)生,成績增長越快。
從教師因素來看,“職稱”、“性別”、“學(xué)歷”、“教齡”、“自我效能”五個變量呈現(xiàn)統(tǒng)計上的顯著性(P<0.05),且“職稱”、“性別”、“教齡”、“自我效能”系數(shù)均為正,說明職稱越高越能促進(jìn)學(xué)生能力的增長;女老師教學(xué)效能優(yōu)于男老師;教齡長的教師教學(xué)效能優(yōu)于教齡短的;自我效能越高的教師對學(xué)生學(xué)業(yè)增長的促進(jìn)作用越大;而教師學(xué)歷對學(xué)生的學(xué)業(yè)增長呈負(fù)向作用,這說明學(xué)歷越高的教師對學(xué)生學(xué)業(yè)進(jìn)步的作用越小。這可能是因為學(xué)歷高的教師一般為年輕教師,教學(xué)經(jīng)驗較為欠缺。
從學(xué)校因素來看,“所在地區(qū)”、“學(xué)校類型”、“教學(xué)模式”、“教學(xué)管理”四個變量呈現(xiàn)統(tǒng)計上的顯著性(P<0.05),且系數(shù)均為正,說明地處城區(qū)的學(xué)校,學(xué)生漢語能力增長要優(yōu)于地處鄉(xiāng)鎮(zhèn)學(xué)校的學(xué)生;漢族學(xué)校學(xué)生漢語能力的增長要優(yōu)于民漢合校和民族學(xué)校;所有學(xué)科都采用漢語授課的學(xué)校,教學(xué)效能優(yōu)于只漢語學(xué)科采用漢語授課和所有科目均采用民族語授課的學(xué)校;積極組織教師參與培訓(xùn)與科研的學(xué)校,學(xué)生漢語能力的增長更為突出。
(1)學(xué)習(xí)興趣、學(xué)習(xí)策略是影響學(xué)生漢語學(xué)習(xí)的重要因素,教師在實際的教學(xué)中要注意漢語學(xué)習(xí)策略的傳授,同時更要注意調(diào)動他們學(xué)習(xí)的積極性,建立對漢語學(xué)習(xí)的認(rèn)同感和自豪感,不應(yīng)只關(guān)注語言知識與技能的傳授。
(2)使用漢語進(jìn)行授課的教學(xué)模式,教學(xué)效果明顯優(yōu)于使用民族語言授課的模式。因此,使用漢語進(jìn)行授課的教學(xué)模式值得更廣范圍的推廣使用。
(3)漢語學(xué)校和漢民合校給學(xué)生日常接觸和使用漢語提供了一個自然的母語語境,將更有利于學(xué)生漢語的習(xí)得與掌握。
(4)教師職稱與教齡對學(xué)生學(xué)業(yè)促進(jìn)較大,學(xué)校應(yīng)以老帶新,借助老教師的教學(xué)經(jīng)驗帶動新教師的成長,從而提升整個學(xué)校的教學(xué)水平。
(5)經(jīng)常組織教師參加培訓(xùn)和科研的學(xué)校,教學(xué)效果要優(yōu)于那些不組織或很少組織這些活動的學(xué)校。學(xué)校應(yīng)鼓勵教師多參與教學(xué)科研活動,并為其提供相應(yīng)的平臺。
(1)有必要建立教學(xué)質(zhì)量的增值性評價模式
在新疆,教學(xué)評價的結(jié)果關(guān)系到教師和學(xué)校的切身利益,因此,我們有必要在新疆雙語教學(xué)質(zhì)量評價中引入增值的理念,一方面對學(xué)生、教師、學(xué)校作出科學(xué)、合理的評價;另一方面也發(fā)揮出教育評價對教學(xué)的促進(jìn)作用。
(2)研究制定科學(xué)合理的增值性評價方案
建立科學(xué)合理的增值性評價方案,首先,需要一個科學(xué)準(zhǔn)確的學(xué)業(yè)測驗,準(zhǔn)確獲得學(xué)生的學(xué)業(yè)成績;其次,利用現(xiàn)代化網(wǎng)絡(luò)建立起學(xué)生學(xué)籍信息資料庫,每學(xué)期或每個學(xué)年進(jìn)行信息更新。最后,要不斷探索開發(fā)增值模型,依據(jù)實際選用最優(yōu)模型。
(3)建立科學(xué)的增值指標(biāo)運用體系
目前來說,增值所反映的還是學(xué)生學(xué)業(yè)成績的增長。因此,在實際的使用中,應(yīng)注意將其與其他評價指標(biāo)相結(jié)合,實現(xiàn)對學(xué)生、教師和學(xué)??茖W(xué)、全面、合理的評價,從而促進(jìn)新疆雙語教育的全面發(fā)展。
[1]Tekwe C.D,Carter R.L,Ma C.X,Algina J.An empirical comparison of statistical models for value-added assessment of school performance.Journal of Educational and Behavioral Statistics,2004(29).
[2]Andrew R.School value added measures in England:A paper for the OECD Project on the Development of Value-Added Models in Education Systems.Department for Education and Skills,2006(10).
[3]謝小慶.考試分?jǐn)?shù)等值的新框架[J].考試研究,2008(2).
[4]張厚粲,徐建平.現(xiàn)代心理與教育統(tǒng)計學(xué)[M].北京:北京師范大學(xué)出版社.2003.
[5]溫福星.階層線性模型的原理與應(yīng)用[M].北京:中國輕工業(yè)出版社.2009.