管海燕

摘 要：自20世紀(jì)80年代以來，英國通過周期性的科研評估活動（RAE）調(diào)整對高等教育領(lǐng)域的經(jīng)費投入。而最新一輪以“科研卓越”為導(dǎo)向的科研評估體系（REF）將對RAE評估制度中評估成本過高及評估效率低等問題，在公正、平等和透明三大原則的指導(dǎo)下，通過整合評估單元、優(yōu)化評估機制與方法等措施進行改革。REF以科研質(zhì)量為中心的評估理念及在廣泛征求意見和試點實驗基礎(chǔ)上的科學(xué)決策機制對我國完善以創(chuàng)新和質(zhì)量為導(dǎo)向的科研評價機制具有借鑒意義。

關(guān)鍵詞：英國；高等教育； 科研卓越評估體系； REF

20世紀(jì)80年代，在全球經(jīng)濟普遍衰退的形勢下，英國政府部門一方面實行財政緊縮政策，嚴(yán)格控制公共財政支出，另一方面將市場機制和管理主義的思想引入政府公共部門的改革中，以減少資源的浪費，提高經(jīng)費的使用效率。因此，運用市場規(guī)則的績效評價方式開始成為英國政府公共部門包括高等教育在內(nèi)的重要管理模式之一。

1986年，在高等教育嚴(yán)重經(jīng)費縮減而學(xué)生人數(shù)不斷攀升的情況下，英國教育部門首次進行高等教育領(lǐng)域內(nèi)的科研質(zhì)量評估（Research Assessment Exercise，RAE），并將評估結(jié)果作為撥款機構(gòu)科研撥款的重要依據(jù)。英國政府部門希望通過實施周期性的科研評估，鼓勵高校積極提高科研質(zhì)量，改善科研管理機制，從而提高科研經(jīng)費的使用效率，維護國家研究性大學(xué)的國際競爭力。因此，在1989年、1992年、1996年、2001年和2008年先后開展了5輪RAE科研評估活動。雖然每次評估活動都對評估方法和標(biāo)準(zhǔn)進行修改，但科研評估成本負(fù)擔(dān)過重及評估效率低等問題仍難以解決。而新一輪的以“科研卓越”為取向的2014科研評估活動（Research Excellence Framework，REF）將對以往的評估方法和理念做出重大調(diào)整，以提高科研評估活動的效率。

一、確立過程

REF科研卓越評估體系采用專家評議的方式，以有效評估英國高校所有學(xué)科的科研質(zhì)量為主要目的，將取代2008年的科研評估框架（RAE），成為衡量高?？蒲兴降闹匾椒╗1]。經(jīng)過多次咨詢討論會議和試點實驗，英國高等教育科研卓越評估體系的主要指標(biāo)和評估機制基本確立，各高校于2013年1月至11月按照相應(yīng)標(biāo)準(zhǔn)提交評估材料，而評估結(jié)果及相關(guān)信息將在2014年12月及2015年春季陸續(xù)公布，此次評估結(jié)果將作為2015-2016學(xué)年英國高等教育撥款機構(gòu)進行科研撥款的主要標(biāo)準(zhǔn)。[2]

2006年6月，針對RAE科研評估中的評估效率及評估體制等問題，英國教育與技能部就改革RAE科研評估召開咨詢討論會。2007年3月，英格蘭高等教育基金委員會（HEFCE）提出初步改革方案《未來科研評估與撥款的框架》（Future framework for research assessment and funding）[3]。 11月，英格蘭高等教育基金委員會在方案中提出所有學(xué)科將采用統(tǒng)一的定量評價方式代替以往將理科和其他學(xué)科分開評價的模式，并將進行“文獻計量指標(biāo)”（bibliometric quality indicators）的試點實驗[4]。22所高校共35個評估單元（Units of Assessment）參與試點實驗，實驗中將組織評審專家對各高校在2001年至2006年期間發(fā)表在科學(xué)網(wǎng)（Web of Science）和斯高帕斯數(shù)據(jù)庫（Scopus）上的各類文獻的引用量進行標(biāo)準(zhǔn)化的定量分析，以確定REF評估體系中文獻計量指標(biāo)的具體操作模型[5]。根據(jù)各高?？蒲谐晒倲?shù)和不同類型科研成果的百分比，實驗得出表1中的統(tǒng)計結(jié)果[6]。但是這一結(jié)果并不能完全反映試點高校的科研質(zhì)量[7]。因此，在2009年9月，英國高等教育基金委員會組織的第二輪咨詢會議的報告指出，文獻引用計量指標(biāo)尚不完善，無法作為單獨的指標(biāo)用在計算公式中，但在為專家評議提供信息服務(wù)方面仍有重要作用[8]。因此，REF2104科研評估將采用以專家評議為主，文獻計量分析為輔的評估模型。

英國高等教育基金委員會將科研產(chǎn)出（outputs）、科研影響（impacts）、科研環(huán)境（environment）作為REF科研評估中三個獨立的指標(biāo)。2010年，REF評估團隊就科研影響這一指標(biāo)的計量方法和權(quán)重系數(shù)等問題進行試點實驗。在2011年發(fā)布的《關(guān)于科研卓越框架設(shè)計的初步?jīng)Q定》（Initial Decisions on the Design of the REF）和《關(guān)于評價科研影響的決定》（Decisions on Assessing Research Impact）中指出對科研影響的評估將采用專家評審高校提交的案例研究的方式進行，而科研產(chǎn)出、科研影響和科研環(huán)境的權(quán)重系數(shù)分別為65%、20%、15%[9]。雖然目前評估結(jié)果尚未完全發(fā)布，但是REF科研評估活動中的評估指標(biāo)及計算模型等問題都值得關(guān)注與思考。

二、主要內(nèi)容

REF2014科研評估活動由英格蘭高等教育基金委員會（HEFCE）、蘇格蘭撥款委員會（SFC）、威爾士高等教育基金委員會（HEFCW）和北愛爾蘭教育與就業(yè)技能部（DEL）四個機構(gòu)組成的REF評估團隊負(fù)責(zé)實施，REF指導(dǎo)小組負(fù)責(zé)監(jiān)督[10]。REF科研評估活動遵循公正、平等和透明三大原則，并在RAE科研評估活動的基礎(chǔ)上進一步優(yōu)化和發(fā)展[11]。RAE科研評估活動中出現(xiàn)的評估成本過高等問題，在REF2014科研評估活動中將通過整合評估單元、優(yōu)化評估指標(biāo)等方式進行改革。

（一）整合評估單元

REF2014科研評估將2008RAE科研評估活動中的評估單元（UOA）和子學(xué)科小組（sub-panel）由67個減少為36個，學(xué)科大組（main panel）由15個減少為4個[12]。高校將按照36個子學(xué)科小組的分類選擇提交評估材料，由每個子學(xué)科小組的專家在A、B、C、D四個學(xué)科大組的指導(dǎo)下進行評審[13]。其中：A組主要包括醫(yī)學(xué)、農(nóng)學(xué)和食品科學(xué)；B組主要為理學(xué)和工程學(xué)科；C組主要為社會科學(xué)學(xué)科；D組為人文、藝術(shù)、傳播和宗教相關(guān)學(xué)科[14]。在四個學(xué)科大組下又設(shè)置36個評估單元。表2所示為REF2014科研評估活動中的學(xué)科分類[15]。與2008RAE科研評估相比，REF2014科研評估中各高校提交的科研成果總數(shù)有所減少，各個學(xué)科大組下的科研成果數(shù)量也有所下降（具體數(shù)據(jù)參見表3）。[16][17]

（二）優(yōu)化評估指標(biāo)及方法

在評估方法上，REF科研評估由子學(xué)科組采用專家評審的方式對高校提交的材料進行評價，并向相應(yīng)的學(xué)科大組提供被評價高校的質(zhì)量等級的意見。與之前RAE科研評估活動的不同之處在于，REF科研評估不再將“聲譽指標(biāo)”（Esteem Indicators）作為一項單獨的評估標(biāo)準(zhǔn)[18]。在2010年的試點實驗中，英國高等教育基金委員會引入“科研影響”（impact）這一指標(biāo)，并和科研產(chǎn)出（outputs）、科研環(huán)境（environment）共同構(gòu)成REF科研評估的三大指標(biāo)[19]。與之前的“聲譽指標(biāo)”相比，“科研影響”占評估結(jié)果的比重有所上升，由10%上升至20%，而科研產(chǎn)出和科研環(huán)境分別由70%和20%下降至65%和15%。在對“科研影響”的評估中，主要是對各高校在2008年1月至2013年6月期間的科研成果在經(jīng)濟、社會、文化、公共政策或服務(wù)、衛(wèi)生、環(huán)境及生活質(zhì)量等方面產(chǎn)生的效果進行評價[20]。各高校需提交其科研成果影響的案例研究（case study），而后由REF評估團隊采用專家評審的方式從“范圍（reach）”和“意義（significance）”兩個維度對其進行等級評定[21]。其中“范圍”是指科研活動產(chǎn)生影響和作用的擴展幅度；“意義”是指科研活動影響或作用的強弱程度[22]。表4所示為各等級的具體標(biāo)準(zhǔn)及含義。[23]

“科研產(chǎn)出”是REF2014科研評估活動中最重要的部分，直接影響高校的科研評估結(jié)果[24]。“科研產(chǎn)出”的評價主要根據(jù)國際科研質(zhì)量標(biāo)準(zhǔn)從科研成果的原創(chuàng)性（originality）、重要性（significance）和嚴(yán)謹(jǐn)性（rigour）三個維度進行。為減輕評估專家的負(fù)擔(dān)，REF2014科研評估中每位教師將至多提交三項2008-2013年期間的科研成果[25]。REF2014科研評估活動中，對“科研環(huán)境”的評價主要從科研的“活力”（vitality）和科研的“可持續(xù)性”（sustainability）兩方面進行。其中，“活力”主要考查的是參評高校提交的科研成果為科研活動提供激勵性和促進性的環(huán)境的程度，以及參評高校是否制定有效的戰(zhàn)略規(guī)劃，是否參與到國內(nèi)和國際科研共同體，能否通過其國際聲譽吸引優(yōu)秀的研究生和博士生，是否有充足的科研經(jīng)費支持等；“可持續(xù)性”主要考查的是參評科研項目未來連貫的發(fā)展愿景，以及對科研人員和科研基礎(chǔ)設(shè)施的投入等。具體而言，評價的內(nèi)容包括：總體情況、科研戰(zhàn)略、科研人員（其中包括人事政策、教師發(fā)展、研究生培養(yǎng)等）、科研收入與基礎(chǔ)設(shè)施，以及對科研合作提供的支持和對更大范圍科研基地的貢獻等[26]。子學(xué)科小組成員根據(jù)專業(yè)評審對各高校的科研成果從科研產(chǎn)出、科研影響和科研環(huán)境三個維度進行評價，得出每個指標(biāo)的評價結(jié)果（sub-profile），最后依據(jù)相應(yīng)的權(quán)重對各高校的科研成果做出最后的等級評定（overall excellence profile）[27]。表5所示為科研成果整體質(zhì)量各等級的具體內(nèi)容和標(biāo)準(zhǔn)。[28]

（三）確定評估人員及職責(zé)

REF2014科研評估是專家評審的過程。雖然專家在評審過程中會運用各種量化指標(biāo)以做出專業(yè)判斷，但是同行專家評議仍然最為重要[29]。因此，在2010年，通過自愿申請和提名的方式，英國高等教育撥款機構(gòu)根據(jù)評估單元的劃分和選拔標(biāo)準(zhǔn)組成4個學(xué)科大組和36個子學(xué)科組，每個子學(xué)科組在學(xué)科大組的指導(dǎo)下對各高校的科研成果進行評估[30]。具體來說，學(xué)科大組的主要職責(zé)是制定各學(xué)科的評估標(biāo)準(zhǔn)和具體方法，指導(dǎo)各子學(xué)科組進行評估。子學(xué)科組的主要職責(zé)是根據(jù)學(xué)科大組的評估標(biāo)準(zhǔn)和具體方法實施評估，并根據(jù)實際情況向?qū)W科大組提出關(guān)于制定評估標(biāo)準(zhǔn)和具體方法的建議。[31]

從評估小組的人員組成來看，每個學(xué)科大組由組長、各子學(xué)科組組長，以及具有國際評估經(jīng)驗的專家和科研成果使用方的代表組成；子學(xué)科組由組長及10～30名成員（具體人數(shù)根據(jù)所在學(xué)科組的規(guī)模和范圍來決定）組成[32]。 此外，英國高等教育撥款機構(gòu)還任命了相當(dāng)數(shù)量的評估員（assessor）協(xié)助子學(xué)科組得出各指標(biāo)的評估結(jié)果。從評估人員的選聘標(biāo)準(zhǔn)來看，各子學(xué)科的專家評審人員必須具備相關(guān)學(xué)科的專業(yè)技能和知識。考慮到各高校研究類型的多樣性，英國高等教育撥款機構(gòu)在選聘人員時會綜合考慮其年齡、性別、種族、家庭背景等因素以保證評審人員的多樣性[33]。同時，為保證評估結(jié)果的公平性和有效性，子學(xué)科小組和評估員的任命都將以個人經(jīng)驗和專業(yè)知識為依據(jù)，而與其所代表的任何團體無關(guān)。[34]

（四）明確評估程序與要求

與之前的RAE科研評估活動相比，REF2014科研評估標(biāo)準(zhǔn)化程度提高，采用統(tǒng)一標(biāo)準(zhǔn)和方法對所有評估單元進行評價[35]。各高校可任意選擇所要參與的評估單元，但每個參評高校必須按照要求提交相關(guān)材料和數(shù)據(jù)，主要包括科研人員信息、科研成果信息、科研影響及科研環(huán)境四個方面[36]。表6所示為參評學(xué)科所需提供信息的具體內(nèi)容。[37]

通常情況下，各高校每項科研成果只需按其所在評估單元提交一次材料，但若由于學(xué)科之間的交叉屬性，在高校做出具體說明的情況下，可對同一科研成果進行多次評估[38]。對于兩個或兩個以上高校合作完成的科研成果，REF科研評估中將分別對各高校進行評價。在合作項目中起主導(dǎo)作用的高校需以所有參與高校的名義提交科研影響和科研環(huán)境的相關(guān)材料，而其他參與高校只需提交關(guān)于科研人員信息和科研成果信息的材料[39]。REF2014科研評估對跨學(xué)科研究和合作研究的關(guān)注是評估結(jié)果的公正性的體現(xiàn)。截至2013年11月29日，共有155所高校參與REF2014科研評估并提交材料。[40]

三、啟示與思考

英國高等教育科研評估將評估結(jié)果與高等教育撥款機構(gòu)的科研撥款直接掛鉤。雖然目前REF2014科研評估活動的結(jié)果及相關(guān)信息尚未完全公布，新的科研撥款方案尚未出臺，對高?？蒲匈|(zhì)量的影響也尚不明確，但其以科研質(zhì)量為核心，重視提高科研經(jīng)費使用效率，提升高校科研國際競爭力等特點值得關(guān)注與借鑒。

（一）在廣泛征求各方意見及試點實驗基礎(chǔ)上的科學(xué)決策機制

REF科研評估體系在此前的RAE評估體系基礎(chǔ)之上發(fā)展而來。自2006年第一輪咨詢討論會起到2013年各高?？蒲性u估材料的提交完成，長達7年的時間。英國教育部門及高等教育撥款機構(gòu)組織多次咨詢討論會議，鼓勵高校、用人單位、評估專家積極參與，并在高校試點實驗的基礎(chǔ)之上，提出科研評估活動的主要指標(biāo)及其計算方法。在召開咨詢討論會廣泛征求意見的基礎(chǔ)之上，英國高等教育撥款機構(gòu)通過認(rèn)定的1950個各類學(xué)術(shù)協(xié)會組織和科研利益相關(guān)組織的提名機構(gòu)選拔和任用具有相關(guān)學(xué)科領(lǐng)域?qū)I(yè)知識和評估經(jīng)驗的專家評審組和評估員[41]。從評估機構(gòu)的性質(zhì)來看，權(quán)威的半官方中介評估機構(gòu)（如HEFCE）有助于實現(xiàn)大學(xué)評估從政府集權(quán)模式向指導(dǎo)模式轉(zhuǎn)變。REF科研評估制度中“自下而上”的改革方式是其公正、平等、透明原則的體現(xiàn)。盡管目前REF科研評估制度的實際社會影響難以判斷，但其在改革過程中通過在廣泛征求各方意見的基礎(chǔ)之上確定改革方案的決策機制給我國高等教育的科研評估工作帶來啟示與思考。

（二）以科研質(zhì)量為核心的科研評估制度

與RAE科研評估制度相比，REF科研評估活動更加重視科研成果的質(zhì)量。對科研成果的“科研影響”評估中，更加強調(diào)科研成果對社會經(jīng)濟、文化、公共服務(wù)等各方面的實際影響。英國通過以科研質(zhì)量為核心的績效撥款制度調(diào)整科研經(jīng)費在各學(xué)科領(lǐng)域的分配，將有限的科研經(jīng)費投入到科研質(zhì)量達到國際先進水平的學(xué)科中，這正是英國以追求卓越為導(dǎo)向的國家教育政策的體現(xiàn)。在我國加快建設(shè)世界一流大學(xué)和一流學(xué)科的背景下，英國REF科研評估活動中的競爭性績效評估制度對我國完善以創(chuàng)新和質(zhì)量為導(dǎo)向的科研評價機制具有借鑒意義。

參考文獻：

[1][8]REF2014. The Research Excellence Frame-work： A Brief Guide to the Proposals[R]. Bristol： REF. 2009. 1.3.

[2]REF2014.Timetable[EB/OL].http：//www.ref.ac.uk/timetable/， 2014-02-12.

[3]REF2014.Background[EB/OL]. http：//www.ref.ac.uk/background/， 2012-04-20.

[4]HEFCE.Publications[EB/OL]. http：//webarchive.nationalarchives.gov.uk/20100202100434/http：//hefce.ac.uk/pubs/hefce/2007/07_34/， 2010-03-03.

[5][7] REF2014. Report on the Pilot Exercise to Develop Bibliometric Indicators for the Research Excellence Framework [R]. Bristol： REF. 2009. 2.12.

[6]HEFCE. Publications &Reports [EB/OL]. http：//www.hefce.ac.uk/media/hefce1/pubs/hefce/209/0939/09_39.pdf/， 2012-01-18.

[9][19][20][21][27]REF2014.Decisions on Assessing Research Impact [R]. Bristol： REF.2011. 2. 5. 7. 8.8.

[10][11][12][18][29][36][38][39]REF2014. Assessment Framework and Guidance on Submissions[R].Bristol：REF.2011.4.5.10.10.11.11.12.

[13]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/， 2012-12-12.

[14]REF2014.Expert Panels[EB/OL].http：//www.ref.ac.uk/panels/unitsofassessment/， 2012-04-20.

[16]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/subguide/， 2014-02-13.

[15][17]REF2014. Unit of Assessment[EB/OL]. http：//www.ref.ac.uk/panels/unit sofassessment/， 2014-04-02.

[22][24][25][35]REF2014.The Research Excellence Framework： A Brief Guide to the Proposals [R]. Bristol： REF.2009. 3.3.3.2.

[23]REF2014.Submissions[EB/OL]. http：//www.ref.ac.uk/subguide/， 2014-02-13.

[26][30][31]REF2014.Panel Criteria and Working Methods [R]. Bristol： REF. 2012. 35-37.4.4

[28]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/， 2014-04-02.

[32][33][34][41]REF2014.Unitsof Assessment and Recruitment of Expert Panels [R]. Bristol： REF. 2010-04-07.

[35]REF2014.Submissions[EB/OL].http：//www.ref.ac.uk/background/， 2012-02-13.

[37]REF2014. Assessment Criteria and Level Definitions[EB/OL].http：//www.ref.ac.uk/panels/assessmentcriteriaandleveldefinitions/，2014-04-23.

[40]REF2014.Research Excellence Framework 2014： The Result[R]. Bristol： REF.2014.3.

實習(xí)編輯 呂伊雯 責(zé)任編輯 郭偉