徐立清 崔彥群 郝丹

摘 要：近年來(lái)，我國(guó)“以生為本”和“以學(xué)習(xí)質(zhì)量為核心”的評(píng)價(jià)體系研究與實(shí)施取得了長(zhǎng)足進(jìn)步，但基于學(xué)習(xí)體驗(yàn)的課程教學(xué)評(píng)價(jià)研究還處于起步階段，研究成果較少。文章通過(guò)簡(jiǎn)要述評(píng)國(guó)內(nèi)外以學(xué)習(xí)體驗(yàn)為核心的課程教學(xué)評(píng)價(jià)體系與調(diào)查研究的新趨勢(shì)，以及學(xué)習(xí)體驗(yàn)評(píng)價(jià)的可靠性研究，提出了我國(guó)高校課程學(xué)習(xí)體驗(yàn)評(píng)價(jià)進(jìn)一步研究和開(kāi)發(fā)的思路與對(duì)策。

關(guān)鍵詞：高校課程;學(xué)習(xí)體驗(yàn);評(píng)價(jià);綜述

近年來(lái)，隨著高等教育競(jìng)爭(zhēng)的日益加劇，以及以制度績(jī)效為中心的高等教育循證運(yùn)動(dòng)的蓬勃發(fā)展，“保持和提高學(xué)生的滿意度成為大學(xué)的重要目標(biāo)”，“學(xué)生體驗(yàn)已成為高等教育質(zhì)量保證的核心原則，已納入內(nèi)部機(jī)構(gòu)質(zhì)量保證體系，外部質(zhì)量保證過(guò)程和認(rèn)證也需要學(xué)生滿意度調(diào)查報(bào)告”[1]。課程學(xué)習(xí)體驗(yàn)評(píng)價(jià)是基于學(xué)生的學(xué)習(xí)體驗(yàn)來(lái)評(píng)價(jià)課程教學(xué)效果，以便更好地接近教學(xué)事實(shí)。本文從學(xué)習(xí)體驗(yàn)評(píng)價(jià)指標(biāo)體系與量表研究、學(xué)習(xí)體驗(yàn)評(píng)價(jià)的可靠性研究等方面展開(kāi)述評(píng)。

一、學(xué)習(xí)體驗(yàn)評(píng)價(jià)指標(biāo)體系與調(diào)查研究

1.國(guó)外關(guān)于學(xué)習(xí)體驗(yàn)評(píng)價(jià)量表的研究

從發(fā)達(dá)國(guó)家來(lái)看，有關(guān)學(xué)習(xí)體驗(yàn)調(diào)查、學(xué)業(yè)成就評(píng)估、滿意度測(cè)評(píng)等各類有影響的評(píng)價(jià)工具已達(dá)20多種，較為著名的有：美國(guó)的全國(guó)大學(xué)生參與度調(diào)查（National Survey of Student Engagement，NSSE）、澳大利亞的課程體驗(yàn)調(diào)查（Course Experience Questionnaire，CEQ）和英國(guó)的全國(guó)大學(xué)生調(diào)查（National Student Survey ，NSS）。

（1）美國(guó)的全國(guó)大學(xué)生參與度調(diào)查（NSSE）。NSSE以調(diào)查學(xué)生參與度為核心，其概念譜系可追溯到20世紀(jì)30年代拉爾夫·泰勒（Ralph Tyler）的研究，后逐漸涉及到心理學(xué)、社會(huì)學(xué)、認(rèn)知發(fā)展、學(xué)習(xí)理論等多個(gè)領(lǐng)域，量表也在實(shí)踐探索中不斷發(fā)展和完善。1979年美國(guó)學(xué)者羅伯特·佩斯（Robert Pace）開(kāi)發(fā)了“大學(xué)生就讀經(jīng)驗(yàn)調(diào)查”（College Student Experience Questionnaire），是第一個(gè)全面關(guān)注學(xué)生學(xué)習(xí)投入程度的研究項(xiàng)目，并先后經(jīng)過(guò)1983 年、1990 年和 1998 年的三次改版，1999 年開(kāi)始小規(guī)模試運(yùn)行。2000年開(kāi)始首次正式啟用“全美大學(xué)生參與度調(diào)查”（NSSE）。學(xué)習(xí)投入理論解釋了大學(xué)生如何發(fā)展成為具備復(fù)雜成熟的了解自我、他人及世界能力的個(gè)體的過(guò)程，并逐步形成了有效教育實(shí)踐五項(xiàng)原則 （ EEP），包括學(xué)術(shù)挑戰(zhàn)水平、主動(dòng)學(xué)習(xí)和協(xié)作學(xué)習(xí)、師生互動(dòng)、豐富教育經(jīng)歷和校園環(huán)境支持。NSSE創(chuàng)始主任喬治·庫(kù)（George Kuh）研究指出，學(xué)校應(yīng)鼓勵(lì)所有學(xué)生至少參加2次高影響力實(shí)踐（HIP），包括“基于社區(qū)的項(xiàng)目（服務(wù)學(xué)習(xí)）的課程”“與教職員工一起進(jìn)行研究項(xiàng)目”“實(shí)習(xí)，合作社，現(xiàn)場(chǎng)經(jīng)驗(yàn)，學(xué)生教學(xué)或臨床實(shí)習(xí)”“出國(guó)留學(xué)”“培養(yǎng)高級(jí)經(jīng)驗(yàn)（頂峰課程，高級(jí)項(xiàng)目或論文，綜合考試，作品集等）”，這些教育實(shí)踐活動(dòng)與支持學(xué)生學(xué)習(xí)和發(fā)展的機(jī)構(gòu)努力的質(zhì)量同等重要。2013年推出的NSSE2.0版本設(shè)有“學(xué)術(shù)挑戰(zhàn)、與同行一起學(xué)習(xí)、與教師的經(jīng)驗(yàn)、校園環(huán)境”4個(gè)方面“高階學(xué)習(xí)、反思性與整合性、學(xué)習(xí)策略、定量推理、與其他人的協(xié)作學(xué)習(xí)、討論、師生互動(dòng)、有效的教學(xué)實(shí)踐、互動(dòng)質(zhì)量、支持環(huán)境”10項(xiàng)指標(biāo)，每個(gè)參與指標(biāo)通過(guò)匯總學(xué)生對(duì)一系列相關(guān)調(diào)查問(wèn)題的回答，提供有關(guān)學(xué)生參與不同方面的寶貴信息。NSSE最初試圖通過(guò)“從聲譽(yù)、資源等評(píng)價(jià)轉(zhuǎn)移到學(xué)生體驗(yàn)評(píng)價(jià)”，為高校提供高質(zhì)量的、便于利用的實(shí)證數(shù)據(jù)，以便改進(jìn)學(xué)生的就讀體驗(yàn)。NSSE通過(guò)幫助參與院校分析判斷自身在課程設(shè)置、學(xué)術(shù)活動(dòng)規(guī)劃、教學(xué)實(shí)施、學(xué)生服務(wù)等教育教學(xué)環(huán)節(jié)存在的具體問(wèn)題，運(yùn)用這些評(píng)價(jià)結(jié)果實(shí)施質(zhì)量改進(jìn)，提高人才培養(yǎng)質(zhì)量。NSSE建有專門的網(wǎng)站（http：//nsse.indiana.edu），是全球應(yīng)用最為廣泛的學(xué)生學(xué)習(xí)體驗(yàn)評(píng)價(jià)工具。截至2019年，已有1650多所高校、600萬(wàn)名學(xué)生參加[2]。

（2）澳大利亞的課程體驗(yàn)調(diào)查（CEQ）。20世紀(jì)80年代，菲利普·帕爾森斯（Phillip Parsons）等人開(kāi)展CEQ研究，1989年開(kāi)始被用來(lái)衡量澳大利亞高等教育系統(tǒng)所有畢業(yè)生對(duì)學(xué)位課程的質(zhì)量感知，現(xiàn)已成為一種廣泛使用的量化工具。CEQ以“預(yù)知—過(guò)程—結(jié)果”（3P模型）學(xué)習(xí)理論為依據(jù)，認(rèn)為如果能夠獲取學(xué)生對(duì)學(xué)習(xí)情境的體驗(yàn)信息，就可推測(cè)出學(xué)生學(xué)習(xí)成果，進(jìn)而明確人才培養(yǎng)環(huán)節(jié)有待改進(jìn)的方面和領(lǐng)域。目前，CEQ由澳大利亞社會(huì)研究中心負(fù)責(zé)管理，主要集中在畢業(yè)生對(duì)課程質(zhì)量的看法，關(guān)注他們自我評(píng)價(jià)的技能水平以及對(duì)課程的總體滿意度上。指標(biāo)由原來(lái)的5個(gè)方面23個(gè)選題簡(jiǎn)化為“總體滿意度、好教學(xué)、通用技能”3個(gè)方面13個(gè)選題。為保障評(píng)價(jià)的可靠性，明確提出如果參與調(diào)查的人數(shù)少于25，則不會(huì)報(bào)告調(diào)查結(jié)果。2018年102所高等教育機(jī)構(gòu)參與了全國(guó)在線調(diào)查，共收集了120564份有效調(diào)查答復(fù)（CEQ，2018）[3]。

（3）英國(guó)的全國(guó)大學(xué)生調(diào)查（NSS）。NSS始于2005年，是英國(guó)高等教育質(zhì)量監(jiān)管的重要組成部分。NSS在CEQ問(wèn)卷基礎(chǔ)上編制形成，設(shè)有“課程教學(xué)、學(xué)習(xí)機(jī)會(huì)、評(píng)估與反饋、學(xué)術(shù)支持、組織與管理、學(xué)習(xí)資源、學(xué)習(xí)社區(qū)、學(xué)生之聲、總體滿意度”等9個(gè)方面27個(gè)核心選題（NSS，2019）[4]。NSS使用說(shuō)明明確要求，調(diào)查問(wèn)卷50%以上且至少有10名學(xué)生的反饋才算有效。NSS每年針對(duì)最后一年的本科生開(kāi)展一次調(diào)查，涵蓋英國(guó)近50萬(wàn)學(xué)生。NSS主要用于信息幫助、質(zhì)量改進(jìn)、公眾問(wèn)責(zé)，包括為大學(xué)入學(xué)申請(qǐng)者和家長(zhǎng)選擇專業(yè)以及為學(xué)校提供信息幫助。各校也會(huì)根據(jù)學(xué)生學(xué)習(xí)體驗(yàn)調(diào)查情況，改革自己的課程體系和教學(xué)方法，以此提高學(xué)生和社會(huì)的滿意度。

總體上，歐美等發(fā)達(dá)國(guó)家以學(xué)生發(fā)展理論和學(xué)習(xí)理論為基石，以促進(jìn)教育教學(xué)改革為目標(biāo)，實(shí)施了不斷改進(jìn)和完善的全國(guó)性大規(guī)模的學(xué)生學(xué)習(xí)體驗(yàn)調(diào)查。（1）從調(diào)查量表的選題來(lái)看，充分體現(xiàn)了“以學(xué)為中心”的增值性評(píng)價(jià)，如“我從各種信息中形成了新的想法或理解”“這門課程的教學(xué)人員激勵(lì)我盡我所能”“該課程培養(yǎng)了我的解決問(wèn)題的能力”“提供的IT資源和設(shè)施很好地支持了我的學(xué)習(xí)”等。（2）從研制目的、結(jié)果應(yīng)用和評(píng)價(jià)重點(diǎn)上，各量表則有較大差異。NSSE注重測(cè)量在校生對(duì)學(xué)習(xí)、各類活動(dòng)的投入和參與程度，明確指出不支持使用NSSE結(jié)果來(lái)排名學(xué)院和大學(xué)，只是提供具有診斷價(jià)值并且可用于指導(dǎo)教育改進(jìn)的數(shù)據(jù)，并且建議與其他有關(guān)學(xué)生及其經(jīng)歷的其他信息來(lái)源結(jié)合起來(lái)評(píng)價(jià)教育質(zhì)量。而且，NSSE非常重視學(xué)習(xí)行為調(diào)查，與CEQ和NSS注重調(diào)查大學(xué)生的價(jià)值觀、態(tài)度或?qū)Υ髮W(xué)經(jīng)歷的滿意度也有較大不同。大學(xué)生的態(tài)度或?qū)Υ髮W(xué)經(jīng)歷的滿意度，一定程度上還是一種自我主觀的模糊判斷，而不是一種“事實(shí)”或“行為”的選擇，這在測(cè)量和統(tǒng)計(jì)上會(huì)有一定的難度。另外，CEQ和NSS被廣泛應(yīng)用于高校排名，這就難免在調(diào)查實(shí)施過(guò)程中學(xué)生容易被引導(dǎo)甚至被操控，從而降低了調(diào)查結(jié)果的信度，受到了一些專家學(xué)者的批評(píng)。

2.國(guó)內(nèi)高校關(guān)于學(xué)習(xí)體驗(yàn)評(píng)價(jià)量表的研究

2009年清華大學(xué)率先把NSSE進(jìn)行了漢化，形成了NSSE-China版本?；诖髮W(xué)生學(xué)習(xí)體驗(yàn)的學(xué)生評(píng)價(jià)模式引入以來(lái)，得到了越來(lái)越多研究型大學(xué)的重視。比如北京師范大學(xué)的“中國(guó)大學(xué)生就讀經(jīng)驗(yàn)調(diào)查（CCSEQ）”、清華大學(xué)的“中國(guó)大學(xué)生學(xué)習(xí)與發(fā)展追蹤研究（CCSS）”、北京大學(xué)的“首都高校質(zhì)量檢測(cè)項(xiàng)目”、廈門大學(xué)的“國(guó)家大學(xué)生學(xué)情調(diào)查”（NCSS）。國(guó)內(nèi)一些高校在借鑒CEQ和NSSE等問(wèn)卷基礎(chǔ)上，以學(xué)生評(píng)教結(jié)果及滿意度為切入點(diǎn)，設(shè)計(jì)了包括教學(xué)課程的結(jié)構(gòu)性、教學(xué)的順應(yīng)性、教師的教學(xué)態(tài)度、校園的學(xué)術(shù)環(huán)境等維度的課程體驗(yàn)問(wèn)卷，分析和探討了目前高校教育效果的影響機(jī)制及其存在的問(wèn)題。另外，浙江省教育評(píng)估院等也開(kāi)展了包含課堂教學(xué)、實(shí)踐教學(xué)、教學(xué)水平等內(nèi)容的大規(guī)模的畢業(yè)生母校滿意度調(diào)查，以全面了解高校人才培養(yǎng)質(zhì)量。這些調(diào)查研究已經(jīng)形成了一定規(guī)模，調(diào)查結(jié)果為高校改進(jìn)本科教育質(zhì)量，制定改進(jìn)教學(xué)工作的策略提供了有力證據(jù)。

但總體上，目前國(guó)內(nèi)研究尚處于借鑒改進(jìn)階段，且主要集中在某一學(xué)科課程上，與國(guó)外研究在理論支撐、指標(biāo)設(shè)計(jì)、測(cè)量統(tǒng)計(jì)的深度和廣度上，存在明顯的差距。正如有專家指出：“與美國(guó)常規(guī)性的調(diào)研活動(dòng)相比，無(wú)論是大學(xué)領(lǐng)導(dǎo)對(duì)這些項(xiàng)目的重視程度、參與大學(xué)的數(shù)量，還是數(shù)據(jù)分析的廣度和深度，尤其是結(jié)果的應(yīng)用等諸多方面都存在很大差距、有很多不足之處?！盵5]值得欣慰的是，部分國(guó)內(nèi)研究者在逐漸推進(jìn)MOOC等網(wǎng)絡(luò)課程的學(xué)習(xí)體驗(yàn)評(píng)價(jià)研究，并在網(wǎng)絡(luò)課程評(píng)價(jià)要素、評(píng)價(jià)指標(biāo)等方面進(jìn)行了一些自主的有益探索。

二、學(xué)習(xí)體驗(yàn)評(píng)價(jià)的可靠性研究

調(diào)查數(shù)據(jù)的廣泛使用與作為高等教育決策的證據(jù)，必須以數(shù)據(jù)的有效性、可靠性為前提。有效性關(guān)系到調(diào)查是否衡量了旨在衡量的東西，是否提供了支持對(duì)被測(cè)個(gè)人特征推斷的證據(jù)。調(diào)查工具驗(yàn)證的關(guān)鍵在于評(píng)估定義結(jié)構(gòu)的理論中包含的假設(shè)是否可信，評(píng)價(jià)量表或問(wèn)卷是否能提供穩(wěn)定和一致的結(jié)果，允許結(jié)果在不同測(cè)試情況下可復(fù)制的重復(fù)測(cè)量？一直以來(lái)，對(duì)于學(xué)生學(xué)習(xí)體驗(yàn)評(píng)價(jià)作為高等教育決策的依據(jù)存在兩大爭(zhēng)議領(lǐng)域：（1）教育實(shí)踐與學(xué)生行為標(biāo)準(zhǔn)的一致性，（2）學(xué)生自我報(bào)告信息的準(zhǔn)確性。因此，可靠性這一元評(píng)價(jià)研究一直是學(xué)習(xí)體驗(yàn)評(píng)價(jià)研究關(guān)注的一大主題。

國(guó)外不少研究者就如何提高量表、問(wèn)卷的科學(xué)性提出了很多合理建議，涉及到選題的科學(xué)性、評(píng)價(jià)的學(xué)科院系以及課程類型等諸多因素。伊娜·布勞（Ina Blau，2017）等[6]認(rèn)為，學(xué)生體驗(yàn)受到學(xué)科領(lǐng)域、課程類型、教學(xué)方式等多種變量影響等，以及學(xué)校特征、學(xué)生性別、家庭等要素。史蒂文·布林特（Steven Brint，2012）等[7]研究提出，不同類型學(xué)科在認(rèn)識(shí)論假設(shè)和教育目標(biāo)上的差異，會(huì)導(dǎo)致學(xué)習(xí)體驗(yàn)的差異，對(duì)學(xué)習(xí)的促進(jìn)也會(huì)有所差異。赫伯特·W.馬什（Herbert W. Marsh，2011）等[8]認(rèn)為，通過(guò)對(duì)比學(xué)生學(xué)習(xí)體驗(yàn)來(lái)比較不同院系的教學(xué)質(zhì)量不太合理，因?yàn)閷W(xué)生沒(méi)有體驗(yàn)到其他院系的教學(xué)情況。為此，我們應(yīng)針對(duì)不同學(xué)科、類型、層次和院系的課程，在相對(duì)統(tǒng)一的框架體系下，需要設(shè)計(jì)個(gè)性化的指標(biāo)和問(wèn)題，形成個(gè)性化的評(píng)價(jià)指標(biāo)和選題。喬治·庫(kù)（George Kuh，2002）[9]研究指出，測(cè)量工具滿足以下條件是可信的：（1）當(dāng)所要求的信息是受訪者已知的框架。（2）這些問(wèn)題措辭清楚、毫不含糊。（3）問(wèn)題涉及最近的活動(dòng)（最好是6個(gè)月或更短時(shí)間）。（4）被調(diào)查者認(rèn)為這些問(wèn)題值得認(rèn)真對(duì)待、深思熟慮的回應(yīng)。（5）回答問(wèn)題不會(huì)威脅、使被訪者難堪或侵犯被訪者的隱私，也不會(huì)鼓勵(lì)被訪者以社會(huì)期望的方式回答問(wèn)題。這些研究成果都是優(yōu)化問(wèn)卷設(shè)計(jì)時(shí)值得參考的重要因素。

如何保證量表測(cè)量的有效性，一些學(xué)者從評(píng)價(jià)目的、評(píng)價(jià)人數(shù)、評(píng)價(jià)主體、評(píng)價(jià)頻率以及數(shù)據(jù)驗(yàn)證、評(píng)價(jià)方式以及多元化評(píng)價(jià)等方面提出了有益建議：（1）從評(píng)價(jià)目的上，勞倫·麥克萊恩（Lauren McClain，2018）等[10]研究指出，課程評(píng)價(jià)若為了有效衡量課程的質(zhì)量，學(xué)生報(bào)告的信息會(huì)更誠(chéng)實(shí)，結(jié)果可以改善教學(xué)效果，而不是對(duì)行政管理有利。（2）從評(píng)價(jià)主體上，赫伯特·W.馬什（Herbert W. Marsh，1997）等[11]在比較在校生、畢業(yè)生、同行和獨(dú)立評(píng)教者作出的評(píng)價(jià)結(jié)果后同樣得出：在校生和畢業(yè)生對(duì)教學(xué)效果的評(píng)價(jià)比教師自評(píng)、同行評(píng)價(jià)和他人評(píng)價(jià)的效度更高?？夏崴埂べM(fèi)爾德曼（Kenneth A. Feldman，1977）等[12]研究指出，評(píng)教的個(gè)數(shù)達(dá)到一定臨界值時(shí)（20或20以上），學(xué)生評(píng)教的可靠性就能勝過(guò)最好的客觀測(cè)驗(yàn)。（3）從評(píng)價(jià)效度的檢測(cè)上，由于學(xué)習(xí)體驗(yàn)本身比較抽象，且受情緒、動(dòng)機(jī)、偏好的影響而存在一定的偏差，能否通過(guò)學(xué)習(xí)體驗(yàn)評(píng)價(jià)客觀了解學(xué)生的真實(shí)狀況，這是學(xué)習(xí)體驗(yàn)評(píng)價(jià)的難題。正如理查德·詹姆斯（Richard James，2003）[13]

所指出的，在大多數(shù)學(xué)科，學(xué)生的課堂體驗(yàn)歷年都比較穩(wěn)定，但學(xué)生的課堂體驗(yàn)容易受到學(xué)生個(gè)體特征的影響，主觀性較強(qiáng)，將這樣的數(shù)據(jù)作為一項(xiàng)重要的衡量教學(xué)質(zhì)量的指標(biāo)似乎有待考證。對(duì)此，曼婭·克萊門西奇（Manja Klemencic，2015）等[14]建議，要通過(guò)來(lái)自不同來(lái)源的數(shù)據(jù)進(jìn)行交叉驗(yàn)證;學(xué)生和其他利益相關(guān)者參與調(diào)查設(shè)計(jì)、實(shí)施、分析和報(bào)告的整個(gè)過(guò)程有助于提高調(diào)查相關(guān)性、清晰度和合法性;可吸納不同的認(rèn)知群體參與其中，特別是那些直接受到政策干預(yù)影響的學(xué)生。馬蘇德·沙（Mahsood Shah，2017）等[15]強(qiáng)調(diào)，要把定性評(píng)估與定量分析結(jié)合，“使用數(shù)據(jù)來(lái)為改進(jìn)提供信息的工作有限，需要通過(guò)促進(jìn)學(xué)生與院校之間的合作伙伴關(guān)系來(lái)真正聽(tīng)取學(xué)生的聲音”。喬治·庫(kù)（George Kuh，2002）[16]研究指出，可根據(jù)從焦點(diǎn)小組、認(rèn)知測(cè)試和對(duì)結(jié)果的心理測(cè)量分析中獲得的信息對(duì)個(gè)別項(xiàng)目和整體工具進(jìn)行不斷改進(jìn)，以提高評(píng)價(jià)的一致性和有效性。因?yàn)檫@些定性方法的優(yōu)勢(shì)在于，它們可以生成更豐富、更深入、更真實(shí)的學(xué)生體驗(yàn)和行為數(shù)據(jù)。