趙立瑩

?

問責(zé)與改進(jìn)：我國第四輪學(xué)科評估元評估

趙立瑩

實(shí)施有效的元評估是應(yīng)答社會問責(zé)和改進(jìn)評估實(shí)踐的國際經(jīng)驗(yàn)及現(xiàn)實(shí)選擇。作者基于元評估模型對第四輪學(xué)科評估進(jìn)行優(yōu)劣分析，發(fā)現(xiàn)其服務(wù)多元利益相關(guān)者的目標(biāo)適切，指標(biāo)與學(xué)科質(zhì)量相關(guān)性增強(qiáng)，評估方案可行性強(qiáng)，成本效益高。不足之處在于缺乏元評估環(huán)節(jié)和評估結(jié)果使用說明?；诖耍瑸榈谒妮唽W(xué)科評估元評估提出建議：①教育部學(xué)位與研究生教育發(fā)展中心自主組織終結(jié)性元評估；②參照元評估策略模型實(shí)施元評估；③提供元評估報告說明評估有效性；④多元主體參與實(shí)現(xiàn)評估改進(jìn)功能。

學(xué)科評估；元評估；研究生教育

2017年9月我國“雙一流”建設(shè)評選結(jié)果發(fā)布之后，部分利益相關(guān)者發(fā)起了對第四輪學(xué)科評估的質(zhì)疑和問責(zé)：評估方法是否得當(dāng)？評估過程是否公正？評估結(jié)果是否可以用于決策？對評估的質(zhì)疑是評估實(shí)踐中的正常現(xiàn)象，因?yàn)樵u估的局限性客觀存在，評估的有效性也會在批判反思中逐漸提高。評估方法論的缺陷、聲譽(yù)評估的效度問題、指標(biāo)選擇的偏差等都有可能使學(xué)科排名順序產(chǎn)生虛假的精確度[1]。關(guān)鍵問題在于如何使評估處于問責(zé)的閉環(huán)中，在問責(zé)中改進(jìn)和提高。元評估是對評估的價值判斷，也是問責(zé)評估的有效手段。但是，元評估在我國評估實(shí)踐中還沒有普及，如何科學(xué)實(shí)施元評估，是評估活動的利益相關(guān)者和學(xué)術(shù)界應(yīng)該關(guān)注的問題。為此，本文將嘗試用斯塔弗爾比姆元評估模型對我國第四輪學(xué)科評估進(jìn)行元評估，并提出行動建議。

一、問責(zé)與改進(jìn)：元評估的基本功能和我國學(xué)科評估效力提升的現(xiàn)實(shí)選擇

1.元評估是評估問責(zé)和改進(jìn)的基本手段

評估既是問責(zé)的手段，也是被問責(zé)的對象。公眾對評估質(zhì)量的質(zhì)疑，使元評估作為評估質(zhì)量問責(zé)的工具在20世紀(jì)70年代進(jìn)入研究者的視野。元評估的目的在于對評估進(jìn)行問責(zé)，改進(jìn)評估實(shí)踐。斯克里文指出，元評估是對評估系統(tǒng)或工具的評估，旨在服務(wù)決策和問責(zé)[2]。斯塔弗爾比姆認(rèn)為科學(xué)的元評估可以為評估者提供質(zhì)量保障機(jī)制，通過開展元評估能使評估實(shí)踐水平不斷提高[3]。于是，他先后創(chuàng)建了元評估標(biāo)準(zhǔn)模型，提出了元評估實(shí)施策略，又在此基礎(chǔ)上于2013年建立了元評估邏輯結(jié)構(gòu)模型。這些理論框架成為元評估組織和實(shí)施的可靠參考工具。元評估問責(zé)與改進(jìn)功能的有效發(fā)揮源于不斷修正和完善的元評估理論模型。

2.元評估是提升評估效力的主要手段

通過實(shí)施元評估問責(zé)評估質(zhì)量，是許多國家提高評估有效性的主要手段。美國國家研究院（NRC）自1981年以來每10年開展一次博士學(xué)科點(diǎn)排名評估，在每次結(jié)束后都組織元評估，邀請?jiān)u估專家和利益相關(guān)者對評估方法進(jìn)行批判反思，廣泛吸收社會各界的批評意見，形成用于指導(dǎo)下次評估的元評估質(zhì)量報告，評估方法在傳承的基礎(chǔ)上創(chuàng)新，效力持續(xù)提升，這一學(xué)科評估方式也成為國際學(xué)科評估的金標(biāo)準(zhǔn)[4]。作為問責(zé)與改進(jìn)的主要手段，元評估在半個世紀(jì)的實(shí)踐中有效提高了評估質(zhì)量。

3.元評估是應(yīng)答社會問責(zé)的現(xiàn)實(shí)選擇

教育部學(xué)位與研究生教育發(fā)展中心（以下簡稱“學(xué)位中心”）2016~2017年組織的第四輪一級學(xué)科整體水平評估結(jié)果已經(jīng)公布。正是由于此次學(xué)科評估在資源配置中發(fā)揮了強(qiáng)大的決策功能，才使其受到高度關(guān)注。利用元評估標(biāo)準(zhǔn)，對第四輪學(xué)科評估進(jìn)行客觀分析，有助于應(yīng)答社會問責(zé)，引導(dǎo)利益相關(guān)者理性分析和充分利用學(xué)科評估結(jié)果，提高學(xué)科評估的有效性。元評估是對評估的質(zhì)量判斷，也是對評估的優(yōu)劣分析?，F(xiàn)從評估目的、評估指標(biāo)、評估實(shí)施、評估效果等方面對我國第四輪學(xué)科評估進(jìn)行優(yōu)劣分析。

二、傳承與創(chuàng)新：我國第四輪學(xué)科評估的歷史進(jìn)步

元評估是基于標(biāo)準(zhǔn)對評估價值的判斷。元評估的前提是確定元評估標(biāo)準(zhǔn)。標(biāo)準(zhǔn)化是高等教育問責(zé)運(yùn)動的標(biāo)志。元評估標(biāo)準(zhǔn)也是評估學(xué)界關(guān)注的焦點(diǎn)。Stufflebeam認(rèn)為評估應(yīng)具有成本效益，提供有用的發(fā)現(xiàn)，選擇正確的方法?？梢杂迷u估標(biāo)準(zhǔn)組成元評估量表，收集、分析和評價信息，管理評估過程，判斷評估優(yōu)缺點(diǎn)，幫助評估者提高工作效率[5]。他從有用性、可行性、合適性、準(zhǔn)確性四個維度建立了元評估標(biāo)準(zhǔn)量表。他提出的元評估標(biāo)準(zhǔn)，成為美國元評估實(shí)踐準(zhǔn)則，許多評估質(zhì)量調(diào)查都參照了該模型[6]。該模型主要強(qiáng)調(diào)評估目標(biāo)適切性、評估指標(biāo)準(zhǔn)確性、評估過程可行性和評估結(jié)果有用性?，F(xiàn)選取這些標(biāo)準(zhǔn)對第四輪學(xué)科評估進(jìn)行分析。

1.評估目標(biāo)適切，滿足利益相關(guān)者需求

第四輪學(xué)科評估主要目的在于服務(wù)國家大局、高校發(fā)展、社會需求和國際趨勢。根據(jù)此次學(xué)科評估提出的背景分析，第四輪學(xué)科評估目標(biāo)具有較高的適切性。

（1）符合國家發(fā)展的戰(zhàn)略需要。2010年發(fā)布的《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010—2020）》強(qiáng)調(diào)加快建設(shè)一流大學(xué)和一流學(xué)科，實(shí)行績效評估，進(jìn)行動態(tài)管理[7]。2015年國務(wù)院發(fā)布的《統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》指出：“堅(jiān)持以學(xué)科為基礎(chǔ)。引導(dǎo)和支持高等學(xué)校優(yōu)化學(xué)科結(jié)構(gòu)，凝練學(xué)科發(fā)展方向，突出學(xué)科建設(shè)重點(diǎn)，創(chuàng)新學(xué)科組織模式，打造更多學(xué)科高峰，帶動學(xué)校發(fā)揮優(yōu)勢、辦出特色?！盵8]這些文件指示精神的落實(shí)，都需要通過學(xué)科評估來推動，達(dá)到以評促建的目的。

（2）服務(wù)高校發(fā)展的現(xiàn)實(shí)需求。學(xué)科是高校的核心要素，高校質(zhì)量提升需要通過學(xué)科評估來改進(jìn)和實(shí)現(xiàn)。有效的學(xué)科評估能利用學(xué)科自評的機(jī)會回顧和反思學(xué)科發(fā)展，同行專家對學(xué)科發(fā)展提出改進(jìn)性意見，并將改進(jìn)意見落實(shí)到學(xué)科建設(shè)的實(shí)際行動中，使學(xué)科評估標(biāo)準(zhǔn)成為學(xué)科發(fā)展中持久的文化。

（3）滿足社會的信息公開需求。信息公開和質(zhì)量透明既是高等教育質(zhì)量監(jiān)控的有效手段，也是滿足社會信息需求的主要渠道。學(xué)科排名評估發(fā)布公開的質(zhì)量信息不僅使公眾對高等教育質(zhì)量監(jiān)控成為可能，也向社會提供學(xué)科質(zhì)量和發(fā)展?fàn)顩r的基本信息，為學(xué)生選擇學(xué)科、社會選拔人才、政府配置資源提供依據(jù)。

（4）符合國際高等教育及評估發(fā)展的趨勢。學(xué)科評估國際經(jīng)驗(yàn)本土化，建立有中國特色的學(xué)科評估體系，促進(jìn)學(xué)科評估效力持續(xù)提升，既是中國高等教育質(zhì)量管理的現(xiàn)實(shí)需求，也是國際高等教育評估專業(yè)化均衡發(fā)展的必然要求，此次學(xué)科評估是國際評估經(jīng)驗(yàn)與中國學(xué)科發(fā)展現(xiàn)實(shí)的結(jié)合，也為國際學(xué)科評估研究提供了生動的案例[9]。

此次學(xué)科評估既服務(wù)于國家發(fā)展大局，推動高校學(xué)科發(fā)展，又考慮社會信息需求和高等教育國際化趨勢，因而評估目標(biāo)符合目前高等教育發(fā)展的國內(nèi)外現(xiàn)實(shí)需求，具有適切性。同時，通過實(shí)施第四輪學(xué)科評估，為國家一流學(xué)科建設(shè)提供了參考依據(jù)，為學(xué)科發(fā)展與改進(jìn)找到問題與起點(diǎn)，為社會了解學(xué)科發(fā)展?fàn)顩r提供透明的信息庫，為促進(jìn)學(xué)科發(fā)展和評估國際化提供了動力。此次學(xué)科評估基本實(shí)現(xiàn)了國家、社會、高校、國際四個層面的服務(wù)目標(biāo)。

2.評估準(zhǔn)確性提高，評估指標(biāo)與學(xué)科質(zhì)量相關(guān)性增強(qiáng)

評估準(zhǔn)確性來源于評估指標(biāo)與學(xué)科質(zhì)量的相關(guān)性。此次學(xué)科評估指標(biāo)選擇雖然不能與學(xué)科質(zhì)量全部吻合，但基于對前三次評估指標(biāo)的批判繼承與創(chuàng)新，評估指標(biāo)與學(xué)科質(zhì)量的相關(guān)性明顯增強(qiáng)，充分體現(xiàn)了學(xué)科發(fā)展的時代特征和質(zhì)量測量的現(xiàn)實(shí)需求。堅(jiān)持“質(zhì)量、成效、特色、分類”導(dǎo)向，采用主客觀評價結(jié)合的方法，設(shè)三級指標(biāo)，一級指標(biāo)包括“師資隊(duì)伍與資源”“人才培養(yǎng)質(zhì)量”“科學(xué)研究水平”和“社會服務(wù)與學(xué)科聲譽(yù)”四個方面。根據(jù)學(xué)科門類特點(diǎn)調(diào)整一級指標(biāo)，關(guān)注學(xué)科差異性。指標(biāo)體系在七個方面進(jìn)行了重點(diǎn)改革：

（1）指標(biāo)設(shè)置基于全面質(zhì)量觀。全面質(zhì)量觀認(rèn)為，質(zhì)量產(chǎn)生于過程，體現(xiàn)于結(jié)果，在評價中應(yīng)設(shè)置輸入、過程、輸出性指標(biāo)。此次評估提出了“培養(yǎng)過程質(zhì)量”“在校生質(zhì)量”和“畢業(yè)生質(zhì)量”三維度評價模式，體現(xiàn)了全面質(zhì)量觀，注重基于證據(jù)的效果評價，首次開展在校生和用人單位調(diào)查，跟蹤學(xué)生在學(xué)期間和畢業(yè)后職業(yè)發(fā)展的質(zhì)量，對學(xué)科質(zhì)量進(jìn)行全面考量，重點(diǎn)關(guān)注了學(xué)科人才培養(yǎng)效果。

（2）重點(diǎn)考察教師發(fā)展能力。師資水平是學(xué)科質(zhì)量的輸入性指標(biāo)和決定因素。傳統(tǒng)評估重點(diǎn)關(guān)注學(xué)科教師聲譽(yù)，采取“以學(xué)術(shù)頭銜評價學(xué)術(shù)水平”的方法。此次學(xué)科評估通過列舉“代表性骨干教師”，由專家對師資隊(duì)伍水平、結(jié)構(gòu)、國際化程度、可持續(xù)發(fā)展能力等進(jìn)行綜合評價。將教師國際化程度和可持續(xù)發(fā)展能力列入考察范圍，通過評估指標(biāo)設(shè)置鼓勵提高師資隊(duì)伍國際化程度和可持續(xù)發(fā)展能力。

（3）強(qiáng)調(diào)基于效果的評價。學(xué)科質(zhì)量不在于學(xué)科的投入，而在于投入產(chǎn)生的增值。學(xué)科績效就是學(xué)科投入產(chǎn)生的增值。此次學(xué)科評估強(qiáng)調(diào)學(xué)科績效，淡化條件資源。指標(biāo)設(shè)置主要側(cè)重于人才培養(yǎng)質(zhì)量、師資隊(duì)伍可持續(xù)發(fā)展能力和國際化程度、社會服務(wù)貢獻(xiàn)度等。淡化了輸入指標(biāo)，突出人才培養(yǎng)過程和結(jié)果，因?yàn)榻虒W(xué)資源投入與教學(xué)質(zhì)量之間不是線性的關(guān)系，真正的教育質(zhì)量產(chǎn)生于人才培養(yǎng)過程，體現(xiàn)在學(xué)生學(xué)術(shù)績效和職業(yè)發(fā)展過程中。

（4）增設(shè)社會服務(wù)貢獻(xiàn)度指標(biāo)。大學(xué)是社會發(fā)展的軸心機(jī)構(gòu)，服務(wù)社會是大學(xué)的第三職能，學(xué)科是大學(xué)服務(wù)于社會的基本單元，對學(xué)科社會貢獻(xiàn)度的測量，不但能說明學(xué)科服務(wù)于社會的能力和水平，而且能發(fā)現(xiàn)學(xué)科服務(wù)于社會的過程中出現(xiàn)的問題，引導(dǎo)學(xué)科提高服務(wù)社會的能力，在服務(wù)社會的實(shí)踐中反思和改進(jìn)，在與社會的良性互動中尋求發(fā)展機(jī)遇。

（5）合理評價交叉學(xué)科成果。學(xué)科交叉研究是解決人類社會復(fù)雜問題的現(xiàn)實(shí)需要。幾年來突破學(xué)科壁壘進(jìn)行的合作研究成果越來越多，給學(xué)科評估帶來新的挑戰(zhàn)。此次學(xué)科評估基于學(xué)科發(fā)展的現(xiàn)實(shí)狀況和國際學(xué)科評估的經(jīng)驗(yàn)，通過“歸屬度”方法科學(xué)評價“跨學(xué)科成果”，鼓勵學(xué)科交叉合作，體現(xiàn)了指標(biāo)設(shè)置的前沿性和現(xiàn)實(shí)針對性，將對學(xué)科之間的交叉合作研究發(fā)揮良好的激勵和導(dǎo)向作用。

（6）尊重學(xué)科特色，細(xì)化指標(biāo)體系。用統(tǒng)一的指標(biāo)評價不同的學(xué)科門類會出現(xiàn)不同程度的評估偏差。為了提高評估的準(zhǔn)確性，此次學(xué)科評估根據(jù)體育、藝術(shù)等學(xué)科的特點(diǎn)，細(xì)化指標(biāo)體系，尊重學(xué)科差異。指標(biāo)體系與質(zhì)量的相關(guān)性及其與現(xiàn)實(shí)的吻合度既能幫助準(zhǔn)確衡量學(xué)科績效，又能引導(dǎo)學(xué)科發(fā)展尊重自身發(fā)展規(guī)律和特點(diǎn)。根據(jù)學(xué)科的多樣性特點(diǎn)，分類別對指標(biāo)體系進(jìn)行調(diào)整，針對學(xué)科特點(diǎn)的指標(biāo)體系不僅能相對準(zhǔn)確地測量學(xué)科質(zhì)量，而且能為學(xué)科發(fā)展提供明確的指導(dǎo)方向和參照標(biāo)準(zhǔn)，引導(dǎo)學(xué)科向適合自己的方向努力。

此次學(xué)科評估在指標(biāo)選擇上考慮了學(xué)科發(fā)展及評估的國際趨勢，逐漸接近學(xué)科的質(zhì)量目標(biāo)。體現(xiàn)了“以學(xué)生為中心，重視培養(yǎng)效果，在職業(yè)發(fā)展中檢驗(yàn)人才培養(yǎng)質(zhì)量”的質(zhì)量觀。對師資隊(duì)伍的考察也不再局限于教師的成果產(chǎn)出，而是著重對教師隊(duì)伍的可持續(xù)發(fā)展能力、國際化程度等指標(biāo)進(jìn)行考核，這些指標(biāo)不僅能有效檢測出目前學(xué)科師資隊(duì)伍的發(fā)展能力，而且能促進(jìn)師資隊(duì)伍建設(shè)的可持續(xù)發(fā)展，注重師資隊(duì)伍的發(fā)展?jié)摿颓熬?，而不局限于教師過去的聲譽(yù)和績效。

3.評估可行性強(qiáng)，實(shí)施過程方便快捷

評估可行性是評估質(zhì)量的主要指標(biāo)，信息透明度和參與的便捷性是有效評估的必要條件。第四輪學(xué)科評估通過網(wǎng)絡(luò)平臺進(jìn)行信息公開，邀請社會監(jiān)督材料真實(shí)性和采取多元方法評價材料，確保評估信息的公開透明和參與的便捷，以達(dá)到多元評價主體參與的目的。

（1）建立方便快捷的信息系統(tǒng)。通過“學(xué)科評估系統(tǒng)”完成材料提交和審核。學(xué)科填寫《學(xué)科評估簡況表》和《學(xué)生與用人單位聯(lián)系信息表》，并以附件形式提供相關(guān)證明材料。各單位可以審核、修改本單位各學(xué)科填報的材料，并將參評學(xué)科材料統(tǒng)一提交學(xué)位中心。材料上交和修改采用了方便快捷的網(wǎng)絡(luò)在線平臺，從系統(tǒng)開通到材料提交和修正只有一個月時間，體現(xiàn)了大數(shù)據(jù)時代高等教育質(zhì)量檢測信息化高效便捷的特點(diǎn)，不但方便了此次學(xué)科評估，而且利用學(xué)科評估完成了學(xué)科信息資料的采集，為學(xué)科發(fā)展數(shù)據(jù)庫的創(chuàng)建提供了真實(shí)可靠的資料。

（2）通過社會監(jiān)督保證材料的真實(shí)性。材料真實(shí)性是結(jié)果可靠性的重要保障。為了提高學(xué)科自評材料的可靠性，學(xué)位中心通過三個步驟核實(shí)材料：組織專人對申報材料進(jìn)行全面核查；在確保信息安全的前提下對部分材料進(jìn)行網(wǎng)上公示，并接收各方異議；核查結(jié)果與異議問題將反饋給各單位確認(rèn)。對存在較多材料不實(shí)問題的單位，擴(kuò)大對其抽查的范圍，加大對其核查力度，并在評議過程中進(jìn)行相應(yīng)處理。采取信息公開和專家評議相結(jié)合的方法保證提供材料的真實(shí)性，所有材料需要提供相應(yīng)附件以確保其真實(shí)可靠。

4.評估證據(jù)來源和方法多元化

評估方法和證據(jù)來源的多樣性是評估可靠性的重要影響因素。開展基于證據(jù)的評價是國際評估專業(yè)化和科學(xué)化的基本要求，促進(jìn)證據(jù)收集方法的多元化是提高評估證據(jù)信度的有效手段。此次學(xué)科評估綜合使用了客觀評價和主觀評價。

（1）評估方法和證據(jù)選擇多元化。在評估證據(jù)收集中堅(jiān)持“定量與定性、國內(nèi)與國外、質(zhì)量與數(shù)量三結(jié)合”的學(xué)術(shù)論文評價方法。在自然科學(xué)學(xué)科建立更科學(xué)的“中國版ESI高被引論文”指標(biāo)，強(qiáng)化中國論文評價話語權(quán)。證據(jù)選擇在考慮多樣性的同時也兼顧中國特色。根據(jù)客觀數(shù)據(jù)分析與主觀評價結(jié)果，按指標(biāo)權(quán)重統(tǒng)計(jì)形成評估結(jié)果，并按“精確計(jì)算，淡化名次，聚類統(tǒng)計(jì)，多維發(fā)布”的原則發(fā)布結(jié)果。

（2）多元主體參與學(xué)科質(zhì)量主觀評價。主觀評價包括問卷調(diào)查、專家評議、學(xué)科聲譽(yù)調(diào)查和指標(biāo)權(quán)重調(diào)查四部分。①問卷調(diào)查主要在學(xué)生和用人單位之間進(jìn)行。學(xué)位中心根據(jù)學(xué)科提供的在校生和畢業(yè)生工作單位信息，邀請他們參加網(wǎng)絡(luò)問卷調(diào)查。對大量學(xué)生和用人單位的網(wǎng)絡(luò)調(diào)查，保證了主觀評價信息來源多樣化。②邀請學(xué)科同行專家對師資隊(duì)伍質(zhì)量、優(yōu)秀在校生、優(yōu)秀畢業(yè)生、學(xué)術(shù)論文質(zhì)量以及社會服務(wù)特色與貢獻(xiàn)等主觀評價指標(biāo)進(jìn)行專家評議，并綜合考慮專家所在單位與地理分布，確保評議公平公正。③學(xué)科聲譽(yù)調(diào)查。邀請“學(xué)科同行專家”和“行業(yè)企業(yè)專家”對學(xué)科進(jìn)行聲譽(yù)調(diào)查。學(xué)科同行專家原則上從各參評單位等量選取。評估資料收集和評價方法既接近質(zhì)量目標(biāo)，保證信息來源的真實(shí)性和多元化，又有較強(qiáng)的可行性。

5.評估成本效益和有用性提高

評估的成本效益及其有用性是評估有效性的重要指標(biāo)。此次學(xué)科評估成本效益和結(jié)果有用性較之前都有很大程度的提高。

（1）網(wǎng)絡(luò)平臺取代現(xiàn)場考察降低成本?，F(xiàn)場考察雖然是收集評估資料、獲得一手證據(jù)的主要方式，但是現(xiàn)場考察耗時費(fèi)力，而且評價者和被評者直接接觸，有可能滋生評估腐敗或使評估者面臨道德沖突的兩難選擇，有可能會降低評估的信度。此次學(xué)科評估建立的網(wǎng)絡(luò)平臺使資料采集和社會參與方便快捷，取消了現(xiàn)場考察環(huán)節(jié)，降低了評估成本，通過材料公開與核實(shí)，保證了評估資料可靠度，既節(jié)約了成本又保證了信度。

（2）提供分析服務(wù)增強(qiáng)有用性和影響力。評估價值在于評估結(jié)果的交流和合理使用。學(xué)科評估結(jié)果發(fā)布后，根據(jù)相關(guān)文件精神，學(xué)位中心將對評估信息和關(guān)鍵數(shù)據(jù)進(jìn)行分析整理和深度挖掘，根據(jù)參評單位和有關(guān)部門需求，提供后期有償分析服務(wù)。①向參評學(xué)科提供分析報告，形成學(xué)科水平各重要指標(biāo)的“體檢報告”，幫助學(xué)科了解自身優(yōu)勢與不足。②為參評單位提供整體分析報告，為學(xué)科建設(shè)規(guī)劃和整體發(fā)展提供參考。③向省級教育行政主管部門提供全方位、多元化的《地區(qū)學(xué)科發(fā)展水平報告》，服務(wù)地區(qū)學(xué)科建設(shè)和研究生教育發(fā)展。④根據(jù)需求向中央政府有關(guān)部門提供分析服務(wù)[9]。根據(jù)此次評估服務(wù)的不同目標(biāo)群體，分層次提供分析報告和服務(wù)，提高了服務(wù)的針對性。

學(xué)位中心在評估方案設(shè)計(jì)中考慮到評估的有效性，積極降低評估成本，提高評估可靠性，并充分交流評估結(jié)果，發(fā)揮評估結(jié)果的決策參考功能，同時將評估的改進(jìn)功能列入評估后續(xù)工作行動計(jì)劃。因此，此次學(xué)科評估有效性有明顯提高。但是，每次評估方法的傳承與創(chuàng)新都是有限的進(jìn)步，此次學(xué)科評估同樣存在局限和不足。

三、反思與批判：第四次學(xué)科評估的局限及不足

反思與批判是評估效力提升的必要條件，也是許多國家評估方法創(chuàng)新的動力和源泉。在評估之后，對評估方案、評估實(shí)施過程，評估結(jié)果進(jìn)行批判和反思，是評估的基本流程。參照國際評估的流程和標(biāo)準(zhǔn)，我國第四輪學(xué)科評估的局限性主要體現(xiàn)在兩個方面：一是評估方案中缺乏元評估環(huán)節(jié)，二是缺乏評估結(jié)果使用的指導(dǎo)說明。

1.缺乏批判反思的元評估環(huán)節(jié)

根據(jù)歐美等國家學(xué)科評估的實(shí)踐經(jīng)驗(yàn)，元評估是評估的重要環(huán)節(jié)，元評估在學(xué)科評估的發(fā)展過程中發(fā)揮承上啟下的作用。只有及時對學(xué)科評估進(jìn)行元評估，才可能使學(xué)科評估質(zhì)量得到公眾認(rèn)可，評估中出現(xiàn)的問題被理性對待，并成為下次評估方法創(chuàng)新的起點(diǎn)。我國第四輪學(xué)科評估雖然基于對前三次學(xué)科評估的批判反思和國際學(xué)科評估的基本經(jīng)驗(yàn)，在傳承的基礎(chǔ)上創(chuàng)新，在指標(biāo)體系設(shè)計(jì)、數(shù)據(jù)收集方法等方面都參照評估合適性、有用性、可行性、準(zhǔn)確性等質(zhì)量標(biāo)準(zhǔn)有了明顯改進(jìn)，但社會各界對此次學(xué)科評估的批判還是不絕于耳。批判是社會對學(xué)科評估高度關(guān)注的體現(xiàn)，也是對學(xué)科評估有效性的理想期待，更是我國學(xué)科評估文化走向良性的證明。批判性反思是評估效力提升的必要條件，也是評估質(zhì)量提升的前提。提高評估效力，不但要依靠科學(xué)的評估體系和可靠的數(shù)據(jù)采集，還要依靠多元主體對評估結(jié)果的關(guān)注和理性評價。只有在批判反思中理性分析評估存在的問題，才有可能科學(xué)合理地運(yùn)用評估結(jié)果，增強(qiáng)評估影響力，提高評估的有效性。但是此次學(xué)科評估從評估方案設(shè)計(jì)、評估實(shí)施流程等各個方面，都沒有設(shè)置元評估的環(huán)節(jié)。元評估環(huán)節(jié)的缺失，會使評估遭遇不公正的評價，使評估質(zhì)量沒有證明的機(jī)會，對評估中存在的問題也不能集中分析和討論，公眾非理性的批判如果不能被正確地引導(dǎo)會影響評估的社會公信力?？傊狈υu估的環(huán)節(jié)將會降低此次學(xué)科評估的價值和影響力。

2.缺乏評估結(jié)果使用行動指南

評估的最大價值在于通過評估結(jié)果的合理使用，對評估對象產(chǎn)生積極影響。評估結(jié)果的誤用有時會產(chǎn)生消極的影響，尤其是將評估結(jié)果為資源分配提供參考時。因此，在評估結(jié)果發(fā)布之前，根據(jù)評估結(jié)果使用的目標(biāo)群體，分別進(jìn)行應(yīng)用指南和使用有助于促進(jìn)評估結(jié)果的合理使用。此次學(xué)科評估雖然承諾將為國家、高校、社會提供分析服務(wù)，但對于不同利益相關(guān)者如何正確使用評估結(jié)果卻沒有進(jìn)行詳細(xì)的說明。比如，國家如何參照學(xué)科評估結(jié)果分配資源？如何在追求效率的同時兼顧公平，避免評估產(chǎn)生“馬太效應(yīng)”?高校如何發(fā)揮評估的改進(jìn)功能？等等。如果能提供評估使用指南，將會提高評估的效用，降低評估產(chǎn)生的消極影響，使評估結(jié)果對不同層次學(xué)科產(chǎn)生積極的作用。

四、組織與實(shí)施：第四輪學(xué)科評估元評估的策略和流程

學(xué)科評估是國家、社會和學(xué)校對學(xué)科績效的問責(zé)。學(xué)科評估是否能有效問責(zé)，促進(jìn)學(xué)科發(fā)展和改進(jìn)，取決于學(xué)科評估的有效性。學(xué)科評估的有效性不是在評估實(shí)施之后評估組織者對評估工作的簡單總結(jié)，而是基于元評估框架對學(xué)科評估質(zhì)量和效果的批判反思和理性批判。林夢泉曾提出學(xué)科評估改革構(gòu)想：在強(qiáng)調(diào)學(xué)術(shù)質(zhì)量、弱化規(guī)模評價、加強(qiáng)效益評價方面進(jìn)行改革，提高評估結(jié)果的科學(xué)性、合理性，更好地發(fā)揮學(xué)科評估的導(dǎo)向和促進(jìn)作用，為政府提供決策參考，促進(jìn)學(xué)科的健康、可持續(xù)發(fā)展[10]。當(dāng)前第四輪學(xué)科評估已經(jīng)結(jié)束，學(xué)位中心應(yīng)及時組織元評估，向社會客觀說明其局限和進(jìn)步，促進(jìn)評估結(jié)果的交流，有助于提高學(xué)科評估的有效性。元評估是問責(zé)與改進(jìn)的樞紐環(huán)節(jié)。只有遵循元評估的邏輯，采取合適的元評估策略，才能有效組織與實(shí)施元評估。

1.學(xué)位中心及時組織元評估

元評估分為形成性元評估和終結(jié)性元評估，形成性元評估由評估組織者在評估過程中實(shí)施，終結(jié)性元評估由外部機(jī)構(gòu)在評估結(jié)束后對評估進(jìn)行問責(zé)。第四輪學(xué)科評估由具有行政權(quán)力的學(xué)位中心負(fù)責(zé)實(shí)施，評估結(jié)果對學(xué)科資源配置起決定性的作用，學(xué)科點(diǎn)和高校沒有勇氣公開對學(xué)科評估進(jìn)行批判。同時，我國也缺乏專業(yè)的評估問責(zé)和認(rèn)證機(jī)構(gòu)負(fù)責(zé)在評估結(jié)束后對評估質(zhì)量進(jìn)行問責(zé)。由于對學(xué)科評估之后學(xué)科的整改效果、學(xué)科評估的質(zhì)量、學(xué)科評估產(chǎn)生的影響沒有進(jìn)行系統(tǒng)的調(diào)查和分析，問責(zé)的缺失降低了我國學(xué)科評估有效性和社會公信力。學(xué)位中心依然是第四輪學(xué)科評估元評估最合適的組織者和實(shí)施者，可以邀請國內(nèi)外評估專家、此次學(xué)科評估的評審專家、參與學(xué)科評估的高校和學(xué)科，參照國際元評估的標(biāo)準(zhǔn)和模型，對此次學(xué)科評估有用性、合適性、可行性、有效性、成本效益進(jìn)行分析，討論此次學(xué)科評估在指標(biāo)設(shè)置、專家選擇、資料收集、數(shù)據(jù)處理、結(jié)果使用過程中的進(jìn)步與不足，最終形成學(xué)科評估方法反思和改進(jìn)的元評估質(zhì)量報告。

2.以元評估實(shí)施的策略為參照

策略是可以實(shí)現(xiàn)目標(biāo)的方案集合。斯塔佛爾比姆基于元評估功能分析，于2001年提出了元評估的11種方法和策略，從專家選擇、問題確定、判斷標(biāo)準(zhǔn)、資料收集、材料分析、價值判斷、結(jié)果交流等11個方面，分別進(jìn)行了詳細(xì)的分析和說明[11]。斯塔佛爾比姆對于元評估標(biāo)準(zhǔn)及量表的探索，為評估質(zhì)量判斷和問責(zé)提供了分析工具。根據(jù)這一元評估實(shí)施的策略模型，為學(xué)科評估元評估提出以下建議：①組織學(xué)科利益相關(guān)者交流，讓高校、學(xué)科充分參與交流討論，征求對評估的意見和建議。②選擇多元化評估專家參與元評估。元評估專家從知識結(jié)構(gòu)上要熟悉元評估的特征和流程，掌握元評估的方法，同時要保證專家來源的多樣化，如國外、國內(nèi)的專家級利益相關(guān)者等。③建立元評估的工具。根據(jù)元評估標(biāo)準(zhǔn)和學(xué)科評估特點(diǎn)建立元評估工具，確定問題，收集資料，對資料進(jìn)行分析和判斷。④促進(jìn)元評估結(jié)果的交流和使用。在元評估報告中客觀說明學(xué)科評估的局限和進(jìn)步，提出改進(jìn)建議，同時對學(xué)科評估結(jié)果和元評估結(jié)果的合理使用和改進(jìn)提出可行性行動指南。

3.元評估報告應(yīng)客觀說明評估有效性

斯塔弗爾比姆認(rèn)為評估應(yīng)該達(dá)到既定標(biāo)準(zhǔn)，選擇合適的方法，形成有用的評估報告，并具有成本效益[12]。有效性是評估目標(biāo)的實(shí)現(xiàn)程度、評估結(jié)果的成本效益及其產(chǎn)生的影響力。對評估有效性的判斷是元評估的邏輯起點(diǎn)。效力訴求是評估實(shí)踐改進(jìn)的邏輯起點(diǎn)，每次評估質(zhì)量都會在傳承與創(chuàng)新的基礎(chǔ)上提高，這是學(xué)科評估實(shí)踐發(fā)展的基本趨勢。評估的局限在實(shí)踐中客觀存在，尤其在我國學(xué)科評估實(shí)踐的初級階段，評估效果很難達(dá)到多元利益相關(guān)者的理想期待。對評估過程、評估結(jié)果及其影響產(chǎn)生的疑惑如果不及時消除，將會使人們對評估產(chǎn)生抗拒心理。只有通過元評估質(zhì)量報告對此次評估的局限性及其進(jìn)步進(jìn)行客觀說明，才能使利益相關(guān)者寬容評估中存在的偏差，積極利用評估發(fā)現(xiàn)和改進(jìn)學(xué)科發(fā)展中存在的問題，不斷提高學(xué)科的學(xué)術(shù)品質(zhì)。

4.多元參與實(shí)現(xiàn)評估的改進(jìn)功能

學(xué)科評估結(jié)果既是通過學(xué)科評估收集的資料證明學(xué)科發(fā)展的績效，又是根據(jù)學(xué)科評估過程中發(fā)現(xiàn)的問題對學(xué)科發(fā)展提出的改進(jìn)意見，還是根據(jù)學(xué)科績效對學(xué)科的發(fā)展水平進(jìn)行排名。雖然證明學(xué)科發(fā)展的質(zhì)量和發(fā)現(xiàn)學(xué)科存在的問題在學(xué)科評估中的作用同樣重要，但是在實(shí)踐中高校和社會仍然最關(guān)注學(xué)科評估的排名結(jié)果，而忽略了學(xué)科評估的其他結(jié)果。尤其是對學(xué)科發(fā)展中存在的問題，在學(xué)科評估報告中只進(jìn)行抽象的描述，專家提出的改進(jìn)意見也只是在評估反饋中有所提及，被評學(xué)科和高校很少基于專家提出的改進(jìn)意見形成學(xué)科發(fā)展的行動計(jì)劃。這樣，耗時費(fèi)力的學(xué)科評估除了向社會提供學(xué)科排名結(jié)果，為學(xué)生填報專業(yè)提供選擇，在其他方面并未發(fā)揮有效的作用。而且，政府對高校行為的管理具有強(qiáng)大的推動力，如果國家能組織對學(xué)科評估結(jié)果使用效果的再評估，主要評價學(xué)科評估結(jié)束之后各學(xué)科根據(jù)專家提出的意見形成的行動計(jì)劃及計(jì)劃的落實(shí)效果，調(diào)查各學(xué)科在評估之后的變化，將能促進(jìn)學(xué)科評估結(jié)果的充分交流和合理使用，而且能擴(kuò)大學(xué)科評估的影響力，使學(xué)科評估的標(biāo)準(zhǔn)逐漸發(fā)展成為學(xué)科內(nèi)部自律的質(zhì)量文化，使學(xué)科評估對學(xué)科發(fā)展產(chǎn)生持久的影響力。

五、結(jié)語

問責(zé)和改進(jìn)既是評估的功能，也是評估規(guī)范發(fā)展和質(zhì)量提升的現(xiàn)實(shí)選擇，更是評估效力持續(xù)提升的基本經(jīng)驗(yàn)。在我國評估問責(zé)機(jī)制缺失的情況下，為了提高我國第四輪學(xué)科評估的影響力和公信力，建議學(xué)位中心參照國際元評估模型和我國學(xué)科評估的現(xiàn)狀，及時組織多方參與的元評估，根據(jù)元評估標(biāo)準(zhǔn)，對此次學(xué)科評估進(jìn)行質(zhì)量調(diào)查和批判反思，形成基于證據(jù)的元評估質(zhì)量報告，客觀說明此次學(xué)科評估的進(jìn)步和局限，引導(dǎo)參評學(xué)科合理使用學(xué)科評估結(jié)果，提高學(xué)科評估的公信力和影響力。

[1] 劉承波. 世界一流大學(xué)的學(xué)術(shù)品質(zhì)評估對“雙一流”建設(shè)的啟示[J]. 中國高教研究, 2017(9): 12-15.

[2] SCRIVEN M. An introduction to meta evaluation[J]. Educational products report, 1969(2): 36-38.

[3] STUFFLEBEAM D L. The meta evaluation imperative[J]. American journal of evaluation, 2001( 2): 183 -210.

[4] 趙立瑩. 效力訴求: 美國博士生教育質(zhì)量評估體系的演進(jìn)[J]. 北京: 科學(xué)出版社, 2014: 3.

[5] STUFFLEBEAM D L. The ten commandments, constitutional amendments, and other evaluation checklists [R]. Evaluation, 2000.

[6] STUFFLEBEAM D L. Program evaluations meta evaluation checklist evaluation checklists project [EB/OL]. http://www. wmich.edu/evalctr/checklists.

[7] 國家中長期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）[A/OL]. http://www.moe.edu.cn/srcsite/A01/s7048/201007/t20100729_171904.html.

[8] 國務(wù)院關(guān)于印發(fā)統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)總體方案的通知[A]. 國發(fā)〔2015〕64號. http://www.gov.cn/ zhengce/content/2015-11/05/content_10269.htm.

[9] 全國第四輪學(xué)科評估工作正式啟動. 全國第四輪學(xué)科評估邀請函[EB/OL]. (2016-04-25). http://www.cdgdc.edu.cn/ xwyyjsjyxx/zlpj/pgpsdtxx/282055.shtml.

[10] 林夢泉. 學(xué)科評估發(fā)展與改革探究[J]. 中國高等教育, 2010(21): 43-45.

[11] STUFFLEBEAM D L. The meta evaluation imperative [J]. American journal of evaluation, 2001(22): 183-209.

[12] STUFFLEBEAM D L. Meta-evaluation[J]. Journal of multidisciplinary evaluation, 2011, 7(15): 99-158.

（責(zé)任編輯 周玉清）

陜西省教育科學(xué)規(guī)劃課題“陜西省教育現(xiàn)代化指標(biāo)體系及實(shí)施路徑”（編號：SGH17H076）

10.16750/j.adge.2018.02.007

趙立瑩，西安建筑科技大學(xué)職業(yè)技術(shù)學(xué)院副教授，陜西師范大學(xué)博士后，西安710055。