劉歐

高校學(xué)生學(xué)習(xí)成果測(cè)評(píng)的歷史、現(xiàn)狀以及前瞻

劉歐

以學(xué)生學(xué)習(xí)成果為導(dǎo)向的高校評(píng)估在美國(guó)和其他國(guó)家已經(jīng)使用了很長(zhǎng)一段時(shí)間。評(píng)估的主要作用包括取得資格認(rèn)證以及課程設(shè)置的提高。本文綜述了學(xué)生學(xué)習(xí)成果評(píng)估的背景、發(fā)展過程以及在評(píng)估的實(shí)際操作中可能遇到的理論和實(shí)踐上的挑戰(zhàn)，比較了目前高校主要使用的測(cè)試工具以及它們的優(yōu)缺點(diǎn)，指出測(cè)評(píng)者一定要清楚測(cè)量的目的以選擇最合適的測(cè)量工具，要達(dá)到最佳測(cè)量效果需要從學(xué)校、教師和學(xué)生層面注意的問題。

高校評(píng)估；學(xué)生學(xué)習(xí)成果測(cè)評(píng)；HEIghten?

學(xué)生學(xué)習(xí)成果測(cè)評(píng)（Student Learning Outcomes Assessment）在美國(guó)高校的應(yīng)用可以追溯到大約三、四十年前。高校主要用此類考試成績(jī)?cè)诖髮W(xué)資格認(rèn)證（Accreditation）的過程中作為學(xué)生學(xué)習(xí)效能的依據(jù)之一。過去十年里，高校學(xué)生學(xué)習(xí)成果的測(cè)量被廣泛應(yīng)用，其用途已不僅僅是資格認(rèn)證，而是更多地關(guān)注到對(duì)于專業(yè)設(shè)置的檢測(cè)和對(duì)學(xué)生學(xué)習(xí)成果的提高。本文對(duì)以學(xué)習(xí)成果為導(dǎo)向的評(píng)估做一個(gè)綜述，然后介紹最近國(guó)際上的應(yīng)用以及未來的發(fā)展方向。

1 學(xué)生學(xué)習(xí)成果測(cè)評(píng)在美國(guó)過去十年的發(fā)展

2005年，時(shí)任美國(guó)教育部部長(zhǎng)的Margaret Spell?ings成立了一個(gè)探索美國(guó)高等教育未來的委員會(huì)，其主要目標(biāo)是針對(duì)美國(guó)高教界最棘手的問題進(jìn)行探索并且提出解決的方案。這個(gè)委員會(huì)在2006年的總結(jié)報(bào)告中指出，美國(guó)高教界亟需解決的一個(gè)問題就是缺乏明確的衡量高校效能的機(jī)制，各高校在教育學(xué)生的成果上缺乏透明度，而解決這個(gè)問題需要直觀的、校際間能比較的數(shù)據(jù)[1]。這個(gè)報(bào)告在美國(guó)各界引起很大反響。在這個(gè)形勢(shì)下，美國(guó)高校也面臨著出具學(xué)生直接學(xué)習(xí)成果的壓力。美國(guó)兩個(gè)很大的高校聯(lián)盟組織The American Association of State Colleges and Universities（AASCU）和The Asso?ciation of Public and Land-grant Universities（APLU）立即作出反應(yīng)，成立了一個(gè)公立四年制大學(xué)的自愿問責(zé)系統(tǒng)（Voluntary System of Accountability，VSA），其核心目的就是讓高校的信息和運(yùn)作更加公開透明。這個(gè)問責(zé)系統(tǒng)的主要內(nèi)容之一就是鼓勵(lì)參與的高校展示學(xué)生在批判思維和寫作能力方面的學(xué)習(xí)成果。

在具體的運(yùn)作當(dāng)中，這個(gè)問責(zé)系統(tǒng)首先面臨的問題就是用什么樣的手段來測(cè)量學(xué)生的學(xué)習(xí)成果。既然結(jié)果需要在校際間進(jìn)行比較，那么肯定需要一個(gè)標(biāo)準(zhǔn)化的測(cè)量手段。VSA審閱了很多關(guān)于學(xué)生成果的測(cè)試，最后鎖定了三個(gè)測(cè)試：美國(guó)教育考試服務(wù)中心（ETS）研發(fā)的ETS Proficiency Profile（EPP），Council for Aid to Education研發(fā)的Colle?giate Learning Assessment（CLA），美國(guó)ACT公司研發(fā)的The Collegiate Assessment of Academic Profi?ciency（CAAP）。VSA要求參加成員學(xué)校用這三個(gè)考試中的任意一個(gè)測(cè)量學(xué)習(xí)成果，并且需要測(cè)量學(xué)生學(xué)習(xí)成果的增值（value-added）。雖然這個(gè)問責(zé)系統(tǒng)是自愿參加的，但是由于Spellings的報(bào)告對(duì)于高校產(chǎn)生的巨大影響，在短短一年之內(nèi)，就有300余所學(xué)校加入了VSA。

雖然有了廣泛的參與度，VSA在具體實(shí)施當(dāng)中還是遇到了很多理論和操作上的挑戰(zhàn)。問題之一就是被選中的三個(gè)考試雖然都測(cè)量批判思維和寫作能力，但是它們可能對(duì)于這些變量的定義不一樣，另外它們的題型不同，測(cè)試時(shí)間長(zhǎng)度不等，答題的方式也不一樣。在這種情況下，這三個(gè)考試的可比性成了一個(gè)亟待解決的問題。2007年，在美國(guó)教育部的資助下，這三個(gè)考試機(jī)構(gòu)成立了一個(gè)比較這三個(gè)考試的研究項(xiàng)目。結(jié)果證明這三個(gè)考試具有很大的可比性，測(cè)量同一變量的試題的相關(guān)度很高[2]。

VSA在執(zhí)行過程中遇到的另外問題，包括用什么樣的方法合理地計(jì)算學(xué)生學(xué)習(xí)成果的增值以及如何解決學(xué)生答題的動(dòng)機(jī)。

計(jì)算增值最常見的數(shù)據(jù)收集方式就是在學(xué)生剛進(jìn)入大學(xué)的時(shí)候測(cè)量一次，在他們即將畢業(yè)的時(shí)候再測(cè)量一次。成績(jī)的變化就是成績(jī)的增值。但是，看似簡(jiǎn)單的一個(gè)操作原理，在實(shí)踐中卻有很多的問題。問題之一是，美國(guó)高校的學(xué)生流失率很高，因此畢業(yè)時(shí)的學(xué)生群體也許已經(jīng)不能代表剛?cè)雽W(xué)時(shí)的學(xué)生群體，其分?jǐn)?shù)差也不能作為剛?cè)雽W(xué)時(shí)學(xué)生群體的增值。問題之二是，選擇什么樣的統(tǒng)計(jì)方法來計(jì)算增值。雖然增值研究在美國(guó)中小學(xué)的應(yīng)用很廣泛，但是在高等教育中用的還不是很多。找到一個(gè)合適合理的方法非常重要。研究者實(shí)驗(yàn)證明用不同的方法會(huì)對(duì)一個(gè)學(xué)校的學(xué)生增值產(chǎn)生不同的結(jié)論[3-6]。問題之三是，人們?nèi)菀装褜W(xué)生學(xué)習(xí)的增值和一個(gè)學(xué)校的教學(xué)效能等同，這種等同是很偏頗的。首先，整個(gè)大學(xué)的教育成果遠(yuǎn)遠(yuǎn)不能用一兩個(gè)考試來全面概括，考試只能提供部分信息；其次，就算考試成績(jī)能體現(xiàn)出來一部分效能，大學(xué)也不能負(fù)全責(zé)。其他許多的因素超越大學(xué)能掌控的范圍，比如學(xué)生學(xué)習(xí)的動(dòng)機(jī)、家庭經(jīng)濟(jì)以及精神上的支持。因此，VSA在實(shí)施增值報(bào)告的過程中受到了很多爭(zhēng)議。

另外一個(gè)對(duì)于VSA有影響的因素是學(xué)生在接受此類考試中的答題動(dòng)機(jī)。在美國(guó)，類似的大學(xué)層面的考試一般對(duì)于學(xué)生個(gè)體來說沒有切實(shí)的影響，因此學(xué)生很可能沒有用最大的努力在答題。這樣的潛在結(jié)果是學(xué)生的考試成績(jī)不能真實(shí)反映他們的水平。實(shí)驗(yàn)研究表明學(xué)生的答題動(dòng)機(jī)對(duì)于考試成績(jī)有著顯著的影響，動(dòng)機(jī)高的學(xué)生的成績(jī)遠(yuǎn)遠(yuǎn)高于動(dòng)機(jī)低的學(xué)生[7-8]。

鑒于VSA實(shí)施當(dāng)中的各種潛在問題，VSA在過去幾年也進(jìn)行了很大的改革。首先，各高校不再被要求提供增值的結(jié)果，只對(duì)大學(xué)四年級(jí)學(xué)生進(jìn)行測(cè)量也可以；另外，除了最早被選中的三個(gè)考試，學(xué)校也可以用其他的測(cè)量途徑。

2 學(xué)生學(xué)習(xí)成果測(cè)量的發(fā)展

2.1 學(xué)生學(xué)習(xí)成果測(cè)量的發(fā)展現(xiàn)狀

美國(guó)一家致力于學(xué)生學(xué)習(xí)成果研究的非營(yíng)利機(jī)構(gòu)National Institute for Learning Outcomes Assess?ment（NILOA）在2014年發(fā)表了一個(gè)研究報(bào)告，其中對(duì)于美國(guó)1 200多所大學(xué)的調(diào)查發(fā)現(xiàn)，84%的大學(xué)都制定了明確的學(xué)生培養(yǎng)目標(biāo)，對(duì)于這些培養(yǎng)目標(biāo)都使用了多個(gè)測(cè)量工具進(jìn)行測(cè)量[9]。筆者認(rèn)為，任何一個(gè)測(cè)量工具都有其優(yōu)越性和局限性，使用者需清晰地了解測(cè)量工具的優(yōu)劣，然后為己所用。另外，測(cè)量工具有很強(qiáng)的時(shí)效性和情境性，使用者需真正了解測(cè)量的最終目的以選擇最恰當(dāng)?shù)墓ぞ?。?列出幾種最常用的測(cè)量工具的優(yōu)缺點(diǎn)。

2.2 新的測(cè)量手段和方式的涌現(xiàn)

隨著以學(xué)生成果為導(dǎo)向的測(cè)評(píng)的廣泛應(yīng)用，涌現(xiàn)了一些新的測(cè)量手段和方式。其中之一是ETS最新研發(fā)和推出的HEIghten?系列測(cè)試（www.ets. org/heighten）[10]。HEIghten在研發(fā)過程中征詢了200多所美國(guó)高校的意見和建議，對(duì)學(xué)生學(xué)習(xí)成果的測(cè)試包括認(rèn)知能力和非認(rèn)知能力（軟能力），掌握這些能力不僅僅是學(xué)習(xí)能力的反映，也代表了重要的職場(chǎng)能力，這些能力對(duì)于當(dāng)代大學(xué)生成為一名有效的工作者和有責(zé)任感的公民有著至關(guān)重要的影響。HEIghten包括批判思維、英語寫作、數(shù)學(xué)素養(yǎng)、多元文化素養(yǎng)、公民意識(shí)和數(shù)位信息素養(yǎng)6個(gè)測(cè)試。

HEIghten在研發(fā)上十分強(qiáng)調(diào)理論基礎(chǔ)和實(shí)際驗(yàn)證。每一個(gè)HEIghten的測(cè)試都發(fā)表了相應(yīng)的理論依據(jù)和實(shí)際操作的定義[2,11-14]，都經(jīng)過了嚴(yán)格的原型測(cè)試（prototype）、前期試測(cè)（pilot test）和大型測(cè)試（field test）。只有符合高標(biāo)準(zhǔn)的試題才會(huì)最終被選入實(shí)際應(yīng)用的考試。HEIghten在2015年11月投入應(yīng)用后，引起了美國(guó)國(guó)內(nèi)以至國(guó)際的廣泛關(guān)注。目前，HEIghten的批判思維考試已經(jīng)有了中文版和俄文版，印度語、德語、西班牙語正在研發(fā)當(dāng)中。在中國(guó)已有將近40個(gè)高校試用了HEIghten批判思維的考試。

以學(xué)生學(xué)習(xí)成果為導(dǎo)向的測(cè)評(píng)除了在綜合能力上的應(yīng)用，也適用于學(xué)科能力的測(cè)試。在過去幾年中，蓋茨基金贊助了一個(gè)測(cè)量學(xué)科技能的大型項(xiàng)目——Measuring College Learning（MCL）[15]。這個(gè)項(xiàng)目主要由美國(guó)社會(huì)科學(xué)研究委員會(huì)（Social Science Research Council，SSRC）與合作者承辦，選中生物學(xué)、商科、傳媒、經(jīng)濟(jì)學(xué)、歷史和社會(huì)學(xué)6個(gè)學(xué)科進(jìn)行試點(diǎn)。SSRC邀請(qǐng)美國(guó)國(guó)內(nèi)這些學(xué)科最具權(quán)威的教授對(duì)于每一個(gè)學(xué)科的重點(diǎn)內(nèi)容進(jìn)行劃分和定義，此外還選擇一些重要的通識(shí)能力，比如交流能力、批判思維能力、分析能力等作為考查內(nèi)容。

3 學(xué)習(xí)成果測(cè)量在中國(guó)的應(yīng)用以及發(fā)展前景

以學(xué)生學(xué)習(xí)成果為導(dǎo)向的測(cè)量在國(guó)際上已經(jīng)有幾十年的發(fā)展，而在我國(guó)還處于萌芽階段。國(guó)際上有很多的經(jīng)驗(yàn)和教訓(xùn)值得中國(guó)高校借鑒。

表1 最常用的測(cè)量工具及其優(yōu)缺點(diǎn)

在美國(guó)，學(xué)生學(xué)習(xí)成果的測(cè)量已經(jīng)慢慢變得不再單一為了滿足外部的要求而進(jìn)行，很多高校都意識(shí)到對(duì)于學(xué)生學(xué)習(xí)成效的測(cè)量可以為學(xué)校的課程設(shè)置提供有效的信息，同時(shí)對(duì)于院系的很多決策也可以起到輔助的作用。高校對(duì)于學(xué)習(xí)成果測(cè)量的使用也可以很靈活，如果學(xué)校對(duì)于畢業(yè)生的某一個(gè)方面的能力感興趣，那么就可以只測(cè)試畢業(yè)生；如果學(xué)校對(duì)于新生到畢業(yè)生之間的增值感興趣，那么就可以使用縱向設(shè)計(jì)（longitudinal）或者截面設(shè)計(jì)（cross-sectional）對(duì)學(xué)生進(jìn)行測(cè)量。在縱向設(shè)計(jì)中，對(duì)于新生實(shí)施一次考試，等他們到大學(xué)四年級(jí)，再測(cè)試一次。在截面設(shè)計(jì)中，對(duì)于不同組群的新生和大學(xué)四年級(jí)學(xué)生同時(shí)進(jìn)行考量。

在對(duì)于學(xué)習(xí)成果的測(cè)量和應(yīng)用中，最有效的方式是明確定義這個(gè)成果以及細(xì)分如何能采集到相應(yīng)的數(shù)據(jù)。比如說“全球勝任力”是目前一個(gè)很熱門的成果，在國(guó)內(nèi)也有高校把這個(gè)作為培養(yǎng)學(xué)生的一個(gè)目標(biāo)。但是，這是一個(gè)很寬泛和抽象的概念，如何來定義這個(gè)概念以及如何對(duì)學(xué)生進(jìn)行具體的測(cè)量？國(guó)際學(xué)生能力測(cè)試（Programme for Interna?tional Student Assessment，PISA）每三年進(jìn)行一次，測(cè)量各國(guó)15歲學(xué)生的閱讀、數(shù)學(xué)和科學(xué)能力。它將在2018年的測(cè)試中引進(jìn)一個(gè)新的測(cè)試內(nèi)容——Global Competence（http://www.oecd.org/pisa/aboutpi?sa/Global-competency-for-an-inclusive-world.pdf），即全球勝任力。PISA初步定義全球勝任力為分析和批判思維能力、知識(shí)和理解能力、態(tài)度三個(gè)部分，其中分析和批判思維能力指與不同文化的人有效合理的交往的能力，具有同情心和靈活度；知識(shí)和理解能力指對(duì)于全球重大問題的理解，以及對(duì)于跨文化的理解；態(tài)度指對(duì)于其他種群和文化的人的開放性、包容度以及尊重，具有全球意識(shí)，有責(zé)任心。通過此例可以看到，測(cè)量一個(gè)抽象的學(xué)習(xí)成果，需要嚴(yán)謹(jǐn)明晰的定義，有了定義，下一步才能進(jìn)行有意義的測(cè)試。

提高學(xué)生學(xué)習(xí)成果測(cè)試效果的另一個(gè)關(guān)鍵就是對(duì)教師進(jìn)行測(cè)量知識(shí)和實(shí)際操作的培訓(xùn)。很多教師對(duì)于為什么要進(jìn)行此類的測(cè)試以及如何應(yīng)用測(cè)試的結(jié)果都存在很多疑惑，這就需要學(xué)校的決策者制定明確的教師發(fā)展目標(biāo)，在學(xué)校甚至校際間培養(yǎng)一個(gè)重測(cè)試重?cái)?shù)據(jù)的氛圍。學(xué)校應(yīng)該用實(shí)例讓教師看到利用數(shù)據(jù)提高教學(xué)的優(yōu)勢(shì)。

在學(xué)生學(xué)習(xí)成果的測(cè)量中，除了學(xué)校和教師，另外需要普及知識(shí)的就是學(xué)生。美國(guó)的很多高校在新生入學(xué)輔導(dǎo)的時(shí)候，會(huì)明確向新生解釋學(xué)校的培養(yǎng)目標(biāo)。另外一些學(xué)校還有規(guī)定的“測(cè)量日”，讓新生接受相關(guān)的考試，為日后的測(cè)評(píng)采集第一次數(shù)據(jù)。例如，美國(guó)的James Madison大學(xué)一年有兩次規(guī)定的測(cè)量日，學(xué)生被要求參加各項(xiàng)測(cè)試，他們中的很多人還會(huì)在以后再參加同樣的考試，這兩次考試的差值就可以作為學(xué)生知識(shí)和能力增長(zhǎng)的數(shù)據(jù)之一。在前面的討論中提到，學(xué)生參加此類考試的答題動(dòng)機(jī)是學(xué)校需要注意的一個(gè)重要問題。學(xué)生需要清楚地知道考試結(jié)果的用途，除幫助學(xué)校教育質(zhì)量提升外，對(duì)于個(gè)體學(xué)生也可以有正面的幫助，例如有些測(cè)試可以頒發(fā)合格證或者給優(yōu)秀者頒發(fā)證書。這些認(rèn)證可以成為學(xué)生繼續(xù)申請(qǐng)學(xué)業(yè)深造或者就業(yè)的能力證明。

在全球很多國(guó)家都致力于發(fā)展高等教育的今天，能有效地測(cè)量高等教育的成果是衡量高校效能的重要指標(biāo)之一，中國(guó)的高校以及研究機(jī)構(gòu)應(yīng)該重視這方面的研究。

[1]U.S.Department of Education.A Test of Leadership:Charting the Future of U.S.Higher Education[R].Washington,D.C.,2006.

[2]GRIFFITH R,WOLFELD L,ARMON B,et al.Assessing intercultur?al competence in higher education:Existing research and future re?search[R].Princeton,NJ:ETS,[in press].

[3]LIU O L.Measuring value-added in higher education:Conditions and caveats[J].Assessment and Evaluation in Higher Education, 2011,36（1）:81-94.

[4]LIU O L.Value-added assessment in higher education:A compari?son of two methods[J].Higher Education,2011,61（4）:445-461.

[5]LIU O L.Outcomes assessment in higher education:Challenges and future research in the context of Voluntary System of Accountability [J].EducationalMeasurement:IssuesandPractice,2011,30（3）:2-9.

[6]STEEDLE J T.Selecting value-added models for postsecondary in?stitutional assessment[J].Assessment&Evaluation in Higher Edu?cation,2012,37（6）:637-652.

[7]LIU O L,BRIDGEMAN B,ADLER R M.Measuring learning out?comes assessment in higher education:Motivation matters[J].Educa?tional Researcher,2012,41（9）:352-362.

[8]LIU O L,RIOS J A,BORDEN V.The effects of motivational instruc?tion on college students’performance on low-stakes assessment[J]. Educational Assessment,2015,20（2）:79-94.

[9]KUH G D,JANKOWSKI N,IKENBERRY S O,et al.Knowing what students know and can do:The current state of student learning out?comes assessment in US colleges and universities[R].Urbana,IL: University of Illinois and Indiana University,National Institute for Learning Outcomes Assessment（NILOA）,2014.

[10]Educational Testing Service.HEIghten?[EB/OL].[2016-05-10]. http://www.ets.org/heighten.

[11]LIU O L,FRANKEL L,ROOHR K C.Assessing critical thinking in higher education:Current state and directions for next-generation assessment:ETS RR-14-10[R].Princeton,NJ:Educational Test?ing Service,2014.

[11]ROOHR K C,GRAF E A,LIU O L.Assessing quantitative literacy in higher education:An overview of existing research and assess?ments with recommendations for next-generation assessment:ETS RR-14-22[R].Princeton,NJ:Educational Testing Service,2014.

[13]SPARKS J R,SONG Y,BRANTLEY W,et al.Assessing Written Communication in Higher Education:Review and Recommenda?tions for Next-Generation Assessment:ETS Research Report Se?ries[R].Princeton,NJ:Educational Testing Service,2014:1-52. DOI:10.1002/ets2.12035.

[14]SPARKS J R,KATZ I R,BEILE P M.Assessing digital literacy in higher education:A review of existing frameworks and assessments with recommendations for next-generation assessment:ETS RR-16-XX[R].Princeton,NJ:Educational Testing Service（in press）.

[15]ARUM R,ROKSA J,COOK A.Improving Quality in American Higher Education[M].[S.l.]:Jossey-Bass,2016.

Student Learning Outcomes Assessment in Higher Education: A Historical Review,Current State,and Future Directions

Ou Lydia Liu

Student learning outcomes assessment has been long used in the United States and other parts of the world.Most of the assessment results are used for accreditation and internal improvement purposes.This paper reviewed the background and development of student learning outcomes assessment,and also discussed the various theoretical and empirical challenges in implementation,and further discussed the popular tools currently used by institutions to assess learning outcomes and their respective advantages and disadvantages.The paper stressed that it is critical that the assessors understand the ultimate goal of the assessment and therefore select the tools that best fit their assessment needs,and concluded by introducing a number of new tools and approaches in assessing learning outcomes and discussing issues involving institutions,faculty,and students in order to maximize the assessment effort.

Evaluation of Higher Education;Student Learning Outcomes Assessment;HEIghten?

G405

A

1005-8427（2016）11-0013-5

（責(zé)任編輯：陳睿）

劉 歐，女，博士，美國(guó)教育考試服務(wù)中心（ETS），高等研究中心主管（美國(guó)新澤西州 08628）