張 浩
(北京師范大學(xué) 外國語言文學(xué)學(xué)院,北京,100875 )
自1977年恢復(fù)高考以來,高考英語測試在考查內(nèi)容、測試形式及標(biāo)準(zhǔn)化程度等諸多方面發(fā)生了深刻變化,為促進(jìn)學(xué)生發(fā)展、科學(xué)選拔人才、提高教育質(zhì)量、服務(wù)國家現(xiàn)代化建設(shè)作出了重要貢獻(xiàn)。(1)姜鋼:《〈實(shí)施意見〉:我國新一輪高考改革的綱領(lǐng)性文件》,《中國考試》2017年第2期。與其他大規(guī)模高風(fēng)險(xiǎn)考試相同,高考英語測試具有涉及范圍廣、社會權(quán)重大的特點(diǎn),其高利害性、權(quán)威性和測試結(jié)果的不可逆性決定了高考英語測試必須對利益相關(guān)者負(fù)責(zé)并對社會產(chǎn)生積極有益的影響。(2)Shohamy, E, “Using language tests for upgrading knowledge: The phenomenon, source and consequences”, Hong Kong Journal of Applied Linguistics, No. 5, 2000, pp. 1-18.④Bachman, L. F., “Foreword”, In L. Cheng & A. Curtis eds.,English Language Assessment and Chinese Learner, New York: Routledge, 2010, pp. x-xii.國務(wù)院于2014年9月印發(fā)的《關(guān)于深化考試招生制度改革的實(shí)施意見》明確提出進(jìn)一步深化高考考試內(nèi)容改革,加強(qiáng)我國外語能力測評體系建設(shè),以更好地服務(wù)科學(xué)選才、助力外語教學(xué)改革、提升外語教育質(zhì)量。(3)林蕙青:《深化考試招生制度改革 加強(qiáng)國家外語能力測評體系建設(shè)》,《中國考試》2015年第1期?!督逃靠荚囍行氖聵I(yè)發(fā)展“十四五”規(guī)劃》(4)孫海波:《擘畫高質(zhì)量事業(yè)發(fā)展新藍(lán)圖 開啟現(xiàn)代化機(jī)構(gòu)建設(shè)新征程》,《中國考試》2022年第1期。、“一核四層四翼”高考評價(jià)體系的構(gòu)建(5)教育部考試中心:《中國高考評價(jià)體系》,北京:人民教育出版社,2019年。及以該體系為基礎(chǔ)的高考英語科考試內(nèi)容改革實(shí)施路徑的確立(6)陳康、吳泓霖、李新煜等:《基于高考評價(jià)體系的英語科考試內(nèi)容改革實(shí)施路徑》,《中國考試》2019年第12期。則為新時(shí)代高考英語測試內(nèi)容改革奠定了堅(jiān)實(shí)的基礎(chǔ)。
高考不僅是為高校選拔人才的手段,更是教書育人全局中的關(guān)鍵環(huán)節(jié)。作為基礎(chǔ)教育和高等教育的銜接機(jī)制,社會利益和公眾情緒的聚合點(diǎn),高考的每一項(xiàng)改革都牽動著整個(gè)社會的神經(jīng)。(7)謝維和:《高考改革:定位、形態(tài)與變量》,《中國考試》2014年第10期。高考英語測試改革要取得成功,要辦好人民滿意的考試,社會對改革舉措的支持至關(guān)重要。高中英語教師是高中英語教學(xué)活動的組織實(shí)施者,也是高考英語測試改革的重要推動者。因此,關(guān)注高中英語教師對高考英語測試改革的看法尤為重要。有研究人員從教師個(gè)人背景因素的角度探究了高中英語教師對高考英語測試相關(guān)改革措施的態(tài)度。(8)張浩、郭茜、張文霞:《高考英語科成績報(bào)告改革的態(tài)度調(diào)查研究——基于一項(xiàng)大規(guī)模全國性調(diào)查》,《外語學(xué)刊》2018年第1期;張浩、張文霞、吳莎等:《高考英語一年兩考改革的態(tài)度調(diào)查》,《中國考試》2018年第1期;張浩、吳莎、郭茜等:《高考英語計(jì)算機(jī)化改革的態(tài)度調(diào)查研究》,《基礎(chǔ)教育》2019年第3期。但除個(gè)人背景因素外,影響高中英語教師在高考英語測試改革這一問題上所持觀點(diǎn)的因素還有很多,從中抽絲剝繭,發(fā)現(xiàn)關(guān)鍵問題,對推動改革的動態(tài)發(fā)展具有重要意義。本研究在參考既往顧客滿意度指數(shù)模型的基礎(chǔ)上構(gòu)建高考英語測試滿意度—改革支持度關(guān)系模型,從滿意度視角分析和探討高中英語教師對高考英語測試改革的看法、影響因素和路徑關(guān)系,以期為進(jìn)一步推進(jìn)高考英語測試改革提供參考和借鑒。
源自市場營銷領(lǐng)域的顧客滿意度研究,從用戶和消費(fèi)者的角度綜合評估消費(fèi)結(jié)果相對于期望的實(shí)現(xiàn)程度。(9)Hempel, D., Laric, M. V., and Mandell, L., “Vertical performance management: Strategic implications for financial service”, Journal of Economics and Business, Vol. 34, No. 1, 1982, pp. 13-19.顧客滿意度由Cardozo(1965)提出(10)Cardozo, R. N., “An experimental study of customer effort, expectation, and satisfaction”, Journal of Marketing Research, Vol. 2, No. 3, 1965, pp. 244-249.,后續(xù)發(fā)展為“顧客對產(chǎn)品和服務(wù)質(zhì)量與其原有期望進(jìn)行對比后產(chǎn)生的滿意或失望的心理感受”(11)Churchill, G. A. and Surprenant, C., “An investigation into the determinants of customer satisfaction”, Journal of Marketing Research, Vol. 19, No. 4, 1982, pp. 491-504.。經(jīng)濟(jì)學(xué)及管理學(xué)研究中通常用顧客滿意度指數(shù)(Customer Satisfaction Index, CSI)衡量顧客滿意度,而結(jié)構(gòu)方程模型則是計(jì)算CSI最常用的方法。瑞典是首個(gè)在全國范圍內(nèi)進(jìn)行顧客滿意度調(diào)查的國家,其瑞典顧客滿意度指數(shù)(Sweden Customer Satisfaction Barometer, SCSB)模型包括五個(gè)潛在變量:預(yù)期質(zhì)量、感知價(jià)值、顧客滿意度、顧客抱怨及顧客忠誠。隨后的美國顧客滿意度指數(shù)(American Customer Satisfaction Index, ACSI)模型和歐洲顧客滿意度指數(shù)(European Customer Satisfaction Index, ECSI)模型繼承并發(fā)展了SCSB模型。我國于2002年由中國標(biāo)準(zhǔn)化研究院與清華大學(xué)聯(lián)合開發(fā)的中國顧客滿意度指數(shù)(China Customer Satisfaction Index, CCSI)模型則包含了品牌形象、預(yù)期質(zhì)量、感知質(zhì)量、感知價(jià)值、顧客滿意度和顧客忠誠共六個(gè)潛在變量。
近年來,顧客滿意度研究也逐漸受到招生考試領(lǐng)域的關(guān)注,例如厲浩等(2015)以江蘇省數(shù)據(jù)為基礎(chǔ),構(gòu)建了招生考試滿意度指數(shù)模型。(12)厲浩、何建敏、佘明:《高校招生考試滿意度的測度模型與實(shí)證分析》,《統(tǒng)計(jì)與決策》2015年第18期。申永豐、張?bào)阊?2016)則以ACSI為參考,建立了包含五個(gè)一級指標(biāo)的高校招考工作考生滿意度測評指標(biāo)體系。(13)申永豐、張?bào)闫G:《基于ACSI的高校招考工作考生滿意度測評指標(biāo)體系研究》,《湖北招生考試》2016年第20期。然而,針對高利害外語考試的滿意度的研究較少,僅有少數(shù)研究者構(gòu)建了相關(guān)考試的滿意度模型。吳莎、鄭宏山(2020)在全國14個(gè)省(市)的104所高校中開展了關(guān)于大學(xué)英語四六級考試的滿意度調(diào)查,基于本科四年級學(xué)生和高校英語教師兩個(gè)群體的數(shù)據(jù),建立了由師生期望、質(zhì)量感知、感知價(jià)值(公信力與科學(xué)性)和總體滿意度構(gòu)成的大學(xué)英語四六級考試滿意度模型。(14)吳莎、鄭宏山:《大學(xué)英語四六級考試滿意度調(diào)查——基于結(jié)構(gòu)方程模型的實(shí)證分析》,《中國考試》2020年第4期。
綜上所述,目前關(guān)于我國外語考試滿意度的大規(guī)模全國性調(diào)查相對較為缺乏,且在當(dāng)前新一輪高考改革已全面啟動的背景下,有必要從滿意度視角對高考英語測試改革措施的支持度進(jìn)行深入探究。由此,本文在參考既往顧客滿意度指數(shù)模型的基礎(chǔ)上構(gòu)建高考英語測試滿意度—改革支持度關(guān)系模型,以一線高中英語教師為受試群體,采用規(guī)范的問卷設(shè)計(jì),通過結(jié)構(gòu)方程模型方法對所構(gòu)建模型進(jìn)行驗(yàn)證分析,探討模型設(shè)定的變量間的結(jié)構(gòu)關(guān)系。本文的具體研究問題為:
1.高中英語教師對高考英語測試的滿意度與其對改革支持度間的關(guān)系如何?對這一關(guān)系產(chǎn)生影響的因素有哪些?各因素之間有著怎樣的路徑關(guān)系?
2. 所構(gòu)建的結(jié)構(gòu)方程模型是否具有多組不變性?參數(shù)限制不同的模型中,哪一個(gè)為最優(yōu)多組模型?
首先,本研究在借鑒以往顧客滿意度指數(shù)模型的基礎(chǔ)上選擇了考試形象、預(yù)期質(zhì)量、感知質(zhì)量和總體滿意度四個(gè)模型組成部分并初步確定了它們之間的結(jié)構(gòu)關(guān)系。其次,由于顧客滿意度指數(shù)模型中常用的“顧客抱怨”和“顧客忠誠”這兩個(gè)顧客滿意度的結(jié)果變量不適用于高考英語測試的實(shí)際情況,因而本研究使用“改革支持度”進(jìn)行替換,作為高考英語測試總體滿意度的結(jié)果變量納入模型中。此外,本研究將以往顧客滿意度指數(shù)模型中的“預(yù)期質(zhì)量”和“感知質(zhì)量”按高考英語測試整體工作流程分別細(xì)化為試題設(shè)計(jì)、考試組織管理和閱卷及成績報(bào)告三部分加入模型中,進(jìn)而初步確定了高考英語測試滿意度—改革支持度關(guān)系模型的結(jié)構(gòu)模型部分(見圖1,箭頭起始端為自變量,結(jié)尾端為因變量)。
圖1 高考英語測試滿意度—改革支持度關(guān)系模型(結(jié)構(gòu)模型部分)
模型具體結(jié)構(gòu)關(guān)系假設(shè)為(“→”表示存在顯著影響力):考試形象→試題設(shè)計(jì)預(yù)期質(zhì)量(H1)、考試形象→考試組織管理預(yù)期質(zhì)量(H2)、考試形象→閱卷及成績報(bào)告預(yù)期質(zhì)量(H3)、考試形象→試題設(shè)計(jì)感知質(zhì)量(H4)、考試形象→考試組織管理感知質(zhì)量(H5)、考試形象→閱卷及成績報(bào)告感知質(zhì)量(H6)、試題設(shè)計(jì)預(yù)期質(zhì)量→試題設(shè)計(jì)感知質(zhì)量(H7)、考試組織管理預(yù)期質(zhì)量→考試組織管理感知質(zhì)量(H8)、閱卷及成績報(bào)告預(yù)期質(zhì)量→閱卷及成績報(bào)告感知質(zhì)量(H9)、試題設(shè)計(jì)預(yù)期質(zhì)量→總體滿意度(H10)、考試組織管理預(yù)期質(zhì)量→總體滿意度(H11)、閱卷及成績報(bào)告預(yù)期質(zhì)量→總體滿意度(H12)、試題設(shè)計(jì)感知質(zhì)量→總體滿意度(H13)、考試組織管理感知質(zhì)量→總體滿意度(H14)、閱卷及成績報(bào)告感知質(zhì)量→總體滿意度(H15)和總體滿意度→改革支持度(H16)。其中,H10-H12及H16設(shè)定為負(fù)向相關(guān)關(guān)系,其他結(jié)構(gòu)關(guān)系假設(shè)設(shè)定為正向相關(guān)關(guān)系。
在此結(jié)構(gòu)模型的指導(dǎo)下,本研究結(jié)合相關(guān)文獻(xiàn)及前期調(diào)研結(jié)果建立了各潛在變量的測量模型。首先,本研究以Bachman和Palmer(2010)提出的測試使用論證框架中的要素(15)Bachman, L. F. and Palmer, A. S., Language Assessment in Practice: Developing Language Assessments and Justifying their Use in the Real World, Oxford: Oxford University Press, 2010.為基本出發(fā)點(diǎn),梳理了高考英語測試考試大綱、考試改革方案及其他相關(guān)文件和材料,并充分考慮高考英語測試?yán)嫦嚓P(guān)群體可能的感知要素及關(guān)切,初步確定了八個(gè)潛在變量的觀測變量指標(biāo)。隨后,通過專家組討論及教師座談的方式對各觀測變量進(jìn)行了篩選和修改,最終確定了本研究所建構(gòu)模型中八個(gè)潛在變量各自的測量模型指標(biāo)體系,所有測量模型均為一階驗(yàn)證因子模型(見表1)。根據(jù)所確定的模型指標(biāo)體系,本研究編制了包含三部分總計(jì)57道題目的調(diào)查問卷。第一部分(9道單選題)用于調(diào)查受訪對象的個(gè)人信息;第二部分(47道李克特五點(diǎn)量表題,1為最低分,5為最高分)旨在收集本研究所建測量模型和結(jié)構(gòu)模型中各觀測變量的相關(guān)數(shù)據(jù);第三部分(1道開放式問答題)方便受試對其觀點(diǎn)及看法進(jìn)行具體說明或補(bǔ)充,為本研究討論量化分析結(jié)果提供質(zhì)性數(shù)據(jù)支撐。
表1 測量模型指標(biāo)體系
本研究以國家統(tǒng)計(jì)局及教育部公布的經(jīng)濟(jì)和教育發(fā)展相關(guān)數(shù)據(jù)為依據(jù),采用多階段抽樣、分層抽樣結(jié)合概率比例規(guī)模抽樣的方法抽選安徽、北京、甘肅、河北、河南、湖北、江蘇、遼寧、山東、陜西、上海、云南、浙江和重慶共14個(gè)省(市)作為樣本來源地。本研究在抽選省(市)所轄范圍內(nèi)的各地市(區(qū))中抽取了示范性高中2所、城區(qū)非示范性高中3-5所、縣鎮(zhèn)非示范性高中2-3所進(jìn)行了數(shù)據(jù)收集工作,并確保所選學(xué)校能較好地代表本省(市)各層次學(xué)校的實(shí)際情況。若被抽選省(市)中有國家級貧困縣,則從相應(yīng)縣區(qū)中加抽2-3所高中參與調(diào)查。由于學(xué)校間英語教師數(shù)量差異較大、教師所教年級不固定且年級間流動性較大,因此被抽選學(xué)校的所有英語教師均參加了本次調(diào)查。
本研究共回收了總計(jì)12916份問卷。數(shù)據(jù)整理過程中首先對259份包含缺失數(shù)據(jù)的樣本進(jìn)行了成列刪除,隨后使用Amos 22進(jìn)行馬氏距離分析,發(fā)現(xiàn)剩余樣本中有56份存在數(shù)據(jù)異常情況。在對包含異常值的樣本進(jìn)行成列刪除后,確定本研究的有效問卷為12601份。
在所有提供有效樣本的高中英語教師中,男教師占比22.8%,女教師占比77.2%;教齡12年以上的教師占比51.8%,9-12年的占比22.6%,5-8年的占比12.2%,5年以下的占比13.4%;職稱為中學(xué)高級教師的占比22.7%,中學(xué)一級教師占比38.6%,中學(xué)二級教師占比33.5%,中學(xué)三級教師占比1.2%,另有4.0%的教師尚未進(jìn)行職稱認(rèn)定;最高學(xué)歷為博士的教師占比0.1%,碩士占比14.3%,本科占比81.7%,??苹?qū)?埔韵抡急?.9%;來自山東的教師最多,占比24.3%,其次為河南(19.11%)和江蘇(12.22%)。
問卷實(shí)測整體內(nèi)部一致性指標(biāo)(Cronbach α系數(shù))為.97,各潛在變量分量表的內(nèi)部一致性指標(biāo)也均高于.90,表明問卷具有很高的信度。(16)Nunnally, J. C. and Bernstein, I. H.,Psychometric Theory (Third Edition), New York: McGraw-Hill, 1994.各潛在變量所含觀測變量間的多重共線性檢驗(yàn)結(jié)果顯示,所驗(yàn)各方差膨脹系數(shù)(variance inflation factor, VIF)均小于7,符合VIF值需不大于10的標(biāo)準(zhǔn)(17)Kline, R. B., Principles and Practice of Structural Equation Modeling (Fourth Edition), New York/London: The Guilford Press, 2016, p. 71., 意味著各潛在變量下的觀測變量間不具有多重共線性,因此本研究所構(gòu)建模型中的觀測變量及相應(yīng)的問卷題目均予以保留。
本研究使用Amos 22中的最大似然法進(jìn)行結(jié)構(gòu)方程模型分析。首先使用總體樣本對各潛在變量的測量模型進(jìn)行驗(yàn)證性因子分析,隨后檢驗(yàn)涉及潛在變量間結(jié)構(gòu)關(guān)系的結(jié)構(gòu)模型。最后,將總體樣本的最佳擬合模型作為基準(zhǔn)模型,使用校正樣本和效度樣本對該模型進(jìn)行多組不變性檢驗(yàn)并進(jìn)行競爭模型優(yōu)選。(21)Byrne, B. M.,Structural Equation Modeling with Amos (Third Edition), New York/London: Routledge,2016, pp. 293-307.
根據(jù)Ockey和Choi(2015)倡導(dǎo)的語言測試領(lǐng)域結(jié)構(gòu)方程模型研究報(bào)告規(guī)范(22)Ockey, G. J. and Choi, I.,“Structural Equation Modeling reporting practices for language assessment”,Language Assessment Quarterly, Vol. 12, No. 3, 2015, pp. 305-319.,本文在匯報(bào)模型擬合效果時(shí)將報(bào)告卡方值(CMIN或χ2)及其自由度(DF)和p值、標(biāo)準(zhǔn)化殘差均方根(SRMR)、比較擬合指數(shù)(CFI)和近似誤差均方根(RMSEA)及其置信區(qū)間。模型接受標(biāo)準(zhǔn)為:SRMR≤.10,CFI≥.90,RMSEA≤.10且以RMSEA≤.05為佳。(23)Kline, R. B., Principles and Practice of Structural Equation Modeling (Fourth Edition), New York/London: The Guilford Press, 2016, p. 274.但以上各指標(biāo)均不能單獨(dú)作為模型擬合程度的評價(jià)依據(jù),而須結(jié)合各指標(biāo)進(jìn)行綜合判斷。此外,CMIN較小且其p值不顯著(如p>.05)時(shí)也可在一定程度上說明模型擬合程度良好,但由于CMIN受樣本規(guī)模等因素的影響較大,因此在諸如本文的大樣本研究中,CMIN及其p值的顯著性可不作為判斷數(shù)據(jù)與模型擬合程度的主要依據(jù)。(24)Kline, R. B., Principles and Practice of Structural Equation Modeling (Fourth Edition), New York/London: The Guilford Press, 2016, p. 271.另外,參數(shù)限制不同的模型之間的卡方值差異(ΔCMIN或Δχ2)是否顯著(p<.05)和比較擬合指數(shù)差異(ΔCFI)是否小于.01是衡量模型是否具有多組不變性的重要指標(biāo),但由于ΔCMIN極易受樣本規(guī)模的影響,因而應(yīng)更多依據(jù)ΔCFI進(jìn)行判斷。(25)Cheung, G. W. and Rensvold, R. B.,“Evaluating goodness-of-fit indexes for testing measurement invariance”,Structural Equation Modeling: A Multidisciplinary Journal, Vol. 9, No. 2, 2002, pp.233-255.而競爭模型優(yōu)選則需查看AIC、BCC、 ECVI及MECVI等簡約性指標(biāo),以上指標(biāo)越小,意味著模型的簡約性和適配性越好。(26)Byrne, B. M.,Structural Equation Modeling with Amos (Third Edition), New York/London: Routledge,2016, pp. 293-307.
本研究首先對47個(gè)觀測變量進(jìn)行了總體樣本描述性統(tǒng)計(jì)。一方面,結(jié)構(gòu)模型中受訪教師對高考英語測試的總體滿意度均值為3.86,標(biāo)準(zhǔn)差為.96。測量模型部分的結(jié)果顯示(見表2,N=12601),在考試形象這一測量模型下的觀測變量中,均值最高的一項(xiàng)為“考試公平性”,最低的一項(xiàng)為“考試科學(xué)性”,即測試能否科學(xué)考查學(xué)生能力。另一方面,受訪教師對高考英語測試各方面的預(yù)期質(zhì)量普遍高于對其現(xiàn)狀的感知質(zhì)量。在試題設(shè)計(jì)預(yù)期質(zhì)量這一測量模型所涉及的觀測變量中,均值最高的為“試題選材多樣性”,最低的為“試題難度穩(wěn)定性”,而這兩項(xiàng)也同樣是試題設(shè)計(jì)感知質(zhì)量下各觀測變量中均值最高及最低的題項(xiàng)。在考試組織管理預(yù)期質(zhì)量中,均值最高的為“考試紀(jì)律嚴(yán)明”,最低的為“信息發(fā)布及時(shí)性”,同時(shí),這兩項(xiàng)也是考試組織管理感知質(zhì)量下均值最高和最低的一項(xiàng)。在閱卷及成績報(bào)告預(yù)期質(zhì)量中,“使用最新現(xiàn)代信息技術(shù)手段保證閱卷質(zhì)量”的重要性最高,而“向?qū)W校提供學(xué)生詳細(xì)成績數(shù)據(jù)”的重要性最低。這兩項(xiàng)也分別是閱卷及成績報(bào)告感知質(zhì)量中的均值最高和最低項(xiàng)。而在改革支持度下的三個(gè)觀測變量中,受訪教師對將聽力納入必考范圍的支持度最高,對全國統(tǒng)一命題的支持度次之,對實(shí)行一年兩考的支持度則相對較低。
1.模型擬合效果評價(jià)及修正
在對結(jié)構(gòu)模型進(jìn)行驗(yàn)證之前,首先需要對各測量模型進(jìn)行驗(yàn)證性因子分析,并根據(jù)模型識別情況和擬合效果對模型予以評價(jià)及合理修正。檢驗(yàn)結(jié)果顯示,各測量模型均可識別,其中,分別包含三個(gè)觀測變量的考試形象和改革支持度測量模型為恰好識別。從其他六個(gè)測量模型的初步擬合結(jié)果來看(見表3),各模型的CMIN值均達(dá)到顯著水平(p<.001), SRMR值、CFI值及RMSEA值均達(dá)到標(biāo)準(zhǔn)范圍,數(shù)據(jù)與模型的擬合效果較好。為進(jìn)一步改善測量模型擬合效果,本研究在綜合考慮Amos輸出的模型修正信息和相關(guān)理論及實(shí)證研究結(jié)果的基礎(chǔ)上,對相應(yīng)測量模型進(jìn)行了局部性調(diào)整。
表2 測量模型觀測變量描述性統(tǒng)計(jì)
表3 各測量模型初步擬合結(jié)果
在各測量模型取得良好的擬合效果后,本研究進(jìn)行了數(shù)據(jù)與結(jié)構(gòu)模型的擬合檢驗(yàn)。擬合效果顯示,結(jié)構(gòu)模型的CMIN值達(dá)到顯著水平(CMIN=18567.420, DF=982,p<.001),SRMR值為.033,CFI值為.974,RMSEA值為.038(顯著性為.90的置信區(qū)間最低值為.037,最高值為.038)。因此,從模型擬合效果指標(biāo)的角度來看,總體樣本與本研究初步構(gòu)建的高考英語測試滿意度—改革支持度關(guān)系模型的整體擬合效果良好。但路徑系數(shù)顯著性檢驗(yàn)結(jié)果顯示,在本研究的16個(gè)結(jié)構(gòu)關(guān)系假設(shè)中,H10(試題設(shè)計(jì)預(yù)期質(zhì)量→總體滿意度,p=.194)、H11(考試組織管理預(yù)期質(zhì)量→總體滿意度,p=.085)、H12(閱卷及成績報(bào)告預(yù)期質(zhì)量→總體滿意度,p=.242)和H15(閱卷及成績報(bào)告感知質(zhì)量→總體滿意度,p=.229)的回歸系數(shù)未達(dá)到統(tǒng)計(jì)學(xué)意義上的顯著,因此本研究將這4條路徑從結(jié)構(gòu)模型中刪除。同時(shí),根據(jù)Amos提供的模型結(jié)構(gòu)關(guān)系修正信息,本研究在模型中增加了5條路徑關(guān)系:試題設(shè)計(jì)預(yù)期質(zhì)量→改革支持度(H17)、考試組織管理預(yù)期質(zhì)量→改革支持度(H18)、試題設(shè)計(jì)感知質(zhì)量→改革支持度(H19)、考試組織管理感知質(zhì)量→改革支持度(H20)和閱卷及成績報(bào)告感知質(zhì)量→改革支持度(H21)。其中,設(shè)定H17和H18為正向相關(guān)關(guān)系,H19-H21為負(fù)向相關(guān)關(guān)系。
圖2 修正后的高考英語測試滿意度—改革支持度關(guān)系模型(結(jié)構(gòu)模型部分)
本研究對修正后的模型重新進(jìn)行了擬合檢驗(yàn)。結(jié)果顯示,總體樣本與修正后模型的擬合程度依然良好(CMIN=18501.085, DF=981,p<.001, SRMR=.031, CFI=.974, RMSEA=.038(LO 90=.037, HI 90=.038))。因此,本研究將該修正后的高考英語測試滿意度—改革支持度關(guān)系模型視為總體樣本的最佳擬合模型(見圖2)。
2.模型解釋
測量模型中的因子載荷代表潛在變量對觀測變量的負(fù)載擬合情況,即潛在變量對觀測變量的解釋程度。從參數(shù)擬合結(jié)果來看,一方面,標(biāo)準(zhǔn)化因子載荷最高的為“考試組織管理預(yù)期質(zhì)量→考試組織規(guī)范有序”(Estimate=.946,p<.001),最低的為“閱卷及成績報(bào)告感知質(zhì)量→向?qū)W校提供學(xué)生詳細(xì)成績數(shù)據(jù)”(Estimate=.779,p<.001),且所有負(fù)載均在.001水平上顯著不等于0,說明各測量模型中的潛在變量對其所屬觀測變量均具備較強(qiáng)的解釋力。另一方面,各觀測變量的多元平方系數(shù)(squared multiple correlation, SMC)最低值為.607,說明以本研究設(shè)定的觀測變量來代表各維度的潛在變量均達(dá)到了較高的信度水平。
結(jié)構(gòu)模型中的路徑系數(shù)反映變量間的線性關(guān)系,即變量間的直接影響程度。從參數(shù)擬合結(jié)果來看(見表4),在修正后的模型所保留的17對變量間結(jié)構(gòu)關(guān)系中,除H20(考試組織管理感知質(zhì)量→改革支持度)的標(biāo)準(zhǔn)化系數(shù)在.01水平上顯著不等于0外(p=.008),其他結(jié)構(gòu)關(guān)系標(biāo)準(zhǔn)化路徑系數(shù)均在.001水平上顯著不等于0,說明各自變量對相應(yīng)因變量有著顯著的預(yù)測力。其中,H8的影響系數(shù)最高,標(biāo)準(zhǔn)化路徑系數(shù)為.835。從模型的多元平方系數(shù)來看,考試形象和考試組織管理預(yù)期質(zhì)量對考試組織管理感知質(zhì)量的解釋力最高(SMC=.706),而相關(guān)自變量對改革支持度的解釋力則相對較低,SMC值為.382。
此外,參數(shù)擬合結(jié)果還顯示,H16和H19所涉及的自變量與因變量間的相關(guān)關(guān)系方向與初始假設(shè)不符。原假設(shè)為負(fù)相關(guān)關(guān)系的H16實(shí)則為正相關(guān)關(guān)系,即受訪教師對高考英語測試的總體滿意度越高,其對改革的支持度也越高;原假設(shè)為負(fù)相關(guān)關(guān)系的H19實(shí)則也為正相關(guān)關(guān)系,即受訪教師對高考英語測試試題設(shè)計(jì)的感知質(zhì)量越高,其對改革的支持度也越高。聚焦對改革支持度產(chǎn)生直接影響的自變量,本研究發(fā)現(xiàn),對高考英語測試改革支持度高的受訪教師具有以下特點(diǎn):對高考英語測試試題設(shè)計(jì)和考試組織管理的預(yù)期質(zhì)量高,對考試組織管理和閱卷及成績報(bào)告的感知質(zhì)量低,但對試題設(shè)計(jì)的感知質(zhì)量和對高考英語測試的總體滿意度高。
表4 結(jié)構(gòu)模型標(biāo)準(zhǔn)化路徑系數(shù)
在以總體樣本確定了最佳擬合模型后,本研究隨之使用校正樣本和效度樣本對模型進(jìn)行了多組不變性檢驗(yàn)。Amos共構(gòu)建了五個(gè)參數(shù)限制不同的模型(見表5)。分析結(jié)果顯示,以無參數(shù)限制模型為基準(zhǔn)模型,假設(shè)該模型為正確的模型,測量系數(shù)相等模型和結(jié)構(gòu)系數(shù)相等模型的卡方值增加量(ΔCMIN)顯著性檢驗(yàn)的p值分別為.357和.137,均未達(dá)到統(tǒng)計(jì)學(xué)意義上的顯著(p<.05),因而接受虛無假設(shè)。由于無參數(shù)限制模型是正確的,因而另外兩個(gè)模型可視為相等模型,這證明所施加的參數(shù)等同限制對這三個(gè)模型的擬合效果沒有顯著影響。但結(jié)構(gòu)殘差相等模型和測量殘差相等模型的ΔCMIN值分別為109.903(p<.001)和339.636(p<.001),說明從ΔCMIN值顯著性的角度來看,結(jié)構(gòu)殘差相等模型和測量殘差相等模型與無參數(shù)限制模型的模型擬合效果顯著不同。另一方面,不同模型間比較擬合指數(shù)的差異(ΔCFI)則顯示,五個(gè)模型間的ΔCFI值均小于.01,表明校正樣本和效度樣本與所構(gòu)建模型的整體擬合效果間沒有顯著差異。綜合兩方面檢驗(yàn)結(jié)果并考慮到ΔCMIN值易受樣本規(guī)模影響的特點(diǎn),本研究認(rèn)為所構(gòu)建的高考英語測試滿意度—改革支持度關(guān)系模型具有多組不變性,意味著該模型在多組樣本下的適用性良好、預(yù)測效度高。
就模型優(yōu)選而言,由于本研究所構(gòu)建的模型具有多組不變性,因而樣本與五個(gè)參數(shù)限制不同的模型均適配。但從簡約性指標(biāo)的檢驗(yàn)結(jié)果來看(見表6),結(jié)構(gòu)系數(shù)相等模型的AIC值、BCC值、ECVI值和MECVI值均最小,意味著該模型的簡約性最好、適配度最高、模型擬合度波動性最小。因此,結(jié)構(gòu)系數(shù)相等模型是最佳且最穩(wěn)定的多組模型。
表5 多組不變性檢驗(yàn)結(jié)果
表6 競爭模型簡約性指標(biāo)
本研究在借鑒既往顧客滿意度指數(shù)模型的基礎(chǔ)上,構(gòu)建了高考英語測試滿意度—改革支持度關(guān)系模型。從數(shù)據(jù)與模型的擬合結(jié)果來看,模型整體擬合效果良好,各關(guān)鍵指標(biāo)均達(dá)到了理想狀態(tài)。測量關(guān)系的信度和效度均達(dá)到較高水平,模型設(shè)定的變量間的結(jié)構(gòu)關(guān)系也均達(dá)到顯著水平,并通過擬合得到了理論上成立且具有實(shí)際意義的參數(shù)估計(jì)值。模型多組不變性檢驗(yàn)結(jié)果證明所構(gòu)建模型在不同樣本下的適用性強(qiáng)、復(fù)制程度高,復(fù)核效度和預(yù)測效度均較為理想,且結(jié)構(gòu)系數(shù)相等模型為最佳、最穩(wěn)定的多組模型。這些研究發(fā)現(xiàn)表明本文所構(gòu)建的高考英語測試滿意度—改革支持度關(guān)系模型具有良好的內(nèi)在效度、內(nèi)部結(jié)構(gòu)顯著性和外在效度,對高考英語測試滿意度的概念內(nèi)涵及維度進(jìn)行了具體化建構(gòu),并能夠有效反映高中英語教師群體對高考英語測試的滿意度與他們對改革措施支持度間的影響路徑和線性關(guān)系。
與考試形象相比,高中英語教師對高考英語測試的預(yù)期質(zhì)量與其對測試的感知質(zhì)量間的結(jié)構(gòu)關(guān)系路徑系數(shù)更高,且他們對試題設(shè)計(jì)和考試組織管理質(zhì)量的感知與其對高考英語測試的滿意度間具有顯著的正向相關(guān)關(guān)系,這說明關(guān)注并盡可能達(dá)到利益相關(guān)者的期望對提升高考英語測試滿意度具有重要意義。從受訪教師的期待和現(xiàn)狀質(zhì)量感知的對比情況來看,高考英語測試考試組織管理事宜的重要性更高,受訪教師對該方面的質(zhì)量感知也最高,且期望值與實(shí)際質(zhì)量感知的差值較小。相較之下,受訪教師對試題設(shè)計(jì)的質(zhì)量期待及感知質(zhì)量評價(jià)均低于考試組織管理,但期望值與感知質(zhì)量的差值較大,這一結(jié)果與Zhang(2019)對本科一年級學(xué)生群體對高考英語測試的滿意度(27)Zhang, H, A Washback Study of the National Matriculation English Test in China: Test Takers’ Perspective, Unpublished Ph. D. dissertation,Tsinghua University, Beijing, China, 2019.以及吳莎、鄭宏山(2020)對大學(xué)英語四六級考試滿意度調(diào)查(28)吳莎、鄭宏山:《大學(xué)英語四六級考試滿意度調(diào)查——基于結(jié)構(gòu)方程模型的實(shí)證分析》,《中國考試》2020年第4期。的研究發(fā)現(xiàn)一致,表明從目前國內(nèi)大規(guī)模高利害英語測試的整體情況來看,考試組織管理均為利益相關(guān)者關(guān)注度高且滿意度也高的部分,而進(jìn)一步提升試題設(shè)計(jì)質(zhì)量應(yīng)被視為高考英語測試改革乃至我國外語能力測評體系建設(shè)的重點(diǎn)環(huán)節(jié)。
整體而言,高中英語教師群體對高考英語測試的總體滿意度較高,對新一輪高考英語測試改革的具體措施也持積極態(tài)度。而從具體來看,變量間的結(jié)構(gòu)關(guān)系檢驗(yàn)結(jié)果則進(jìn)一步凸顯了改進(jìn)高考英語測試試題設(shè)計(jì)質(zhì)量對提高高考英語測試滿意度和推進(jìn)新一輪高考英語測試改革的關(guān)鍵作用。本研究初始假設(shè)H16為對高考英語測試總體滿意度低的教師對改革的支持度高,而H19則假設(shè)對高考英語測試試題設(shè)計(jì)質(zhì)量評價(jià)低的高中英語教師對改革的支持度高,即這兩個(gè)假設(shè)均設(shè)定變量間為負(fù)相關(guān)關(guān)系。但參數(shù)擬合結(jié)果顯示,受訪教師對試題設(shè)計(jì)的感知質(zhì)量越高,其對改革的支持度越高;對高考英語測試總體滿意度越高的受訪教師對改革舉措的支持度也越高,且試題設(shè)計(jì)感知質(zhì)量是模型中直接影響總體滿意度的因素中路徑系數(shù)最大的潛在變量。從本研究質(zhì)性數(shù)據(jù)提供的信息來看,對高考英語測試總體滿意度高和對試題設(shè)計(jì)質(zhì)量評價(jià)高的教師對于目前高考英語測試在試題設(shè)計(jì)方面存在的不足和需要改進(jìn)的方面有著更加深刻的認(rèn)識,他們對于改革措施和方向的積極效果有著更加強(qiáng)烈的期待。由此可以看出,教師對新一輪高考英語測試改革的態(tài)度受其過往經(jīng)驗(yàn)和對改革預(yù)期結(jié)果判斷的影響較大,對于改革方向的肯定和改革舉措的期望成為其支持進(jìn)行高考英語測試改革的突顯行為信念(behavioral beliefs)。(29)Ajzen, I.,Attitudes, Personality and Behavior(Second Edition), Berkshire: Open University Press, 2005.同時(shí),這也印證了一項(xiàng)改革與現(xiàn)實(shí)需要的契合度(compatibility)越高,利益相關(guān)者對該改革的整體支持度便越高。(30)Rogers, E. M., Diffusion of Innovations (Fifth Edition), New York: Free Press, 2003.(31)Henrichsen, L. E.,Diffusion of Innovations in English Language Teaching: The ELEC Effort in Japan, 1956-1968,New York: Greenwood Press, 1989.與高中英語教師的期望相符,高考英語測試內(nèi)容改革正是新一輪高考綜合改革的重要組成部分。高考英語科考試內(nèi)容改革實(shí)施路徑以高考評價(jià)體系為理論基礎(chǔ),以高考選拔人才的要求和新課標(biāo)為基本依據(jù),以主題情景為考查載體,確立了由核心價(jià)值、學(xué)科素養(yǎng)、關(guān)鍵能力和必備知識構(gòu)成的立體化四維內(nèi)容體系(32)陳康、吳泓霖、李新煜等:《基于高考評價(jià)體系的英語科考試內(nèi)容改革實(shí)施路徑》,《中國考試》2019年第12期。,將有效指導(dǎo)高考英語科考試內(nèi)容改革在全國范圍內(nèi)的推廣,不斷提升高考英語測試的試題設(shè)計(jì)質(zhì)量。
需要指出的是,雖然本研究所建模型中設(shè)定的自變量對高考英語測試改革支持度有著較高且顯著的預(yù)測力,但其解釋力相對有限,意味著改革支持度還受其他因素的影響。這一問題從高中英語教師所反饋的質(zhì)性數(shù)據(jù)中可見一斑。有的教師在詳述自己不支持高考英語測試改革的原因時(shí)表示,雖然相關(guān)改革措施符合新時(shí)代高考的定位和現(xiàn)實(shí)需要,但自己所教學(xué)生的英語基礎(chǔ)薄弱,能力水平與現(xiàn)行高考英語測試考試要求已是差距甚遠(yuǎn),如果進(jìn)一步加強(qiáng)對學(xué)生綜合語言運(yùn)用能力的考查,學(xué)生的備考壓力和心理負(fù)擔(dān)會成倍增加。此外,對高考英語測試成績報(bào)告改革(33)張浩、郭茜、張文霞:《高考英語科成績報(bào)告改革的態(tài)度調(diào)查研究——基于一項(xiàng)大規(guī)模全國性調(diào)查》,《外語學(xué)刊》2018年第1期。、一年兩考(34)張浩、張文霞、吳莎等:《高考英語一年兩考改革的態(tài)度調(diào)查》,《中國考試》2018年第1期。和計(jì)算機(jī)化改革(35)張浩、吳莎、郭茜等:《高考英語計(jì)算機(jī)化改革的態(tài)度調(diào)查研究》,《基礎(chǔ)教育》2019年第3期。等改革方向的態(tài)度調(diào)查結(jié)果也顯示,不同教師群體對改革的支持度不盡相同,而群體內(nèi)部對于改革方案的態(tài)度又受相關(guān)個(gè)人背景因素的顯著影響,且同一因素對不同改革舉措支持度的作用效果亦有差別。由此可見,測試滿意度只是探討改革支持度影響因素的諸多視角之一。因此,為能更加準(zhǔn)確、真實(shí)、完整地反映高考英語測試改革支持度這一復(fù)雜多維概念的全貌,還需要對改革支持度的影響機(jī)制進(jìn)行更為全面、深入、科學(xué)的實(shí)證探究。
本研究所提出的高考英語測試滿意度—改革支持度關(guān)系模型具體化地建構(gòu)了高考英語測試滿意度的概念內(nèi)涵及維度,數(shù)據(jù)與模型的擬合效果良好且能夠較好地從滿意度視角反映高中英語教師對高考英語測試改革的看法、影響因素和路徑關(guān)系,研究結(jié)果為新一輪高考英語測試改革提供了有益的借鑒和參考。高考英語測試改革是一個(gè)長期、復(fù)雜、艱巨的系統(tǒng)工程,必須在“一核四層四翼”高考評價(jià)體系和高考英語科考試內(nèi)容改革實(shí)施路徑的指引下統(tǒng)籌推進(jìn)、協(xié)調(diào)發(fā)展,才能有效促進(jìn)高考英語測試更加充分地發(fā)揮其立德樹人、服務(wù)選才、引導(dǎo)教學(xué)的核心功能,履行其公平科學(xué)評價(jià)人才、推進(jìn)實(shí)現(xiàn)德才兼?zhèn)淙姘l(fā)展的育人成才目標(biāo)、助力完成學(xué)生學(xué)業(yè)減負(fù)增效及教育教學(xué)提質(zhì)達(dá)標(biāo)的歷史新使命。
山東師范大學(xué)學(xué)報(bào)(社會科學(xué)版)2022年3期