王楠 羅珺文 王紅燕
摘 要:荷蘭《標(biāo)準(zhǔn)化評(píng)估指南(2015-2021)》是最新版本的在荷蘭高校和科研機(jī)構(gòu)中開展科研評(píng)估的制度框架。它搭建了由“科研綜合實(shí)力”(研究成果質(zhì)量、社會(huì)相關(guān)性、戰(zhàn)略可行性)和“可持續(xù)發(fā)展能力”(博士培養(yǎng)、科研誠(chéng)信、組織多樣性)兩大維度及六項(xiàng)一級(jí)指標(biāo)共同組成的指標(biāo)框架,采取自我評(píng)估和外部同行評(píng)估并行的模式實(shí)施評(píng)估。評(píng)估單元需在自評(píng)報(bào)告中根據(jù)自身的戰(zhàn)略定位,選取最能反映自身特色、績(jī)效和未來(lái)發(fā)展的指標(biāo)來(lái)提供指標(biāo)數(shù)據(jù)和素材,進(jìn)而將評(píng)估單元的戰(zhàn)略目標(biāo)與行動(dòng)結(jié)果關(guān)聯(lián)在一起共同呈現(xiàn)。評(píng)估委員會(huì)將依據(jù)自評(píng)報(bào)告和實(shí)地考察結(jié)果對(duì)評(píng)估單元進(jìn)行個(gè)性化的評(píng)價(jià)與考核。評(píng)估的目的在于促進(jìn)評(píng)估單元反思與改進(jìn),評(píng)估結(jié)果并不與科研經(jīng)費(fèi)撥款直接掛鉤。SEP2015體現(xiàn)了荷蘭近年來(lái)科研評(píng)估制度改革的特點(diǎn),包括日益注重科研成果的社會(huì)相關(guān)性,強(qiáng)調(diào)科研機(jī)構(gòu)的可持續(xù)發(fā)展能力,推進(jìn)評(píng)估流程的標(biāo)準(zhǔn)化和評(píng)估內(nèi)容的個(gè)性化。
關(guān)鍵詞:荷蘭;標(biāo)準(zhǔn)化評(píng)估指南;高等教育評(píng)估;科研質(zhì)量評(píng)估
荷蘭,一個(gè)國(guó)土面積約為4.2萬(wàn)平方公里(北京市的2.5倍),人口總數(shù)約為1600萬(wàn)的“小”國(guó)家,卻有著在歐洲乃至世界名列前茅的高水平大學(xué)和科研院所,并逐步在全球范圍內(nèi)形成了強(qiáng)勁的學(xué)術(shù)影響力。全荷蘭共有13所研究型大學(xué),幾乎全部排在世界大學(xué)排行榜前200的位置;在2018年路透社最新發(fā)布的“歐洲最具創(chuàng)新力大學(xué)”百?gòu)?qiáng)榜單中,荷蘭有9所大學(xué)入選;除大學(xué)外,荷蘭國(guó)家科學(xué)研究組織(NWO)和荷蘭皇家藝術(shù)與科學(xué)院(KNAW)分別下設(shè)專屬不同學(xué)科領(lǐng)域的研究院所,其科研水平和綜合實(shí)力同樣具有較強(qiáng)的世界競(jìng)爭(zhēng)力。2011年,荷蘭的科學(xué)出版物占世界科學(xué)出版物總量的2.5%,荷蘭的科研成果引用率排名世界第三。荷蘭高校和科研院所的發(fā)展與國(guó)家對(duì)科學(xué)研究的政策支持、經(jīng)費(fèi)投入,及其高效的科研管理制度和良好的科研環(huán)境密不可分,荷蘭的科研評(píng)估制度更是獨(dú)具特色,對(duì)于不斷反思和改進(jìn)科研工作起著重要的引導(dǎo)和推動(dòng)作用。
荷蘭從20世紀(jì)90年代起,就建立了國(guó)家層面的科研評(píng)估制度,設(shè)計(jì)和頒布了《標(biāo)準(zhǔn)化評(píng)估指南》(Standard Evaluation Protocol,以下簡(jiǎn)稱SEP),并達(dá)成遵照SEP框架對(duì)高校和科研機(jī)構(gòu)定期開展評(píng)估的協(xié)定和共識(shí),要求接受國(guó)家科研資助的高校和科研機(jī)構(gòu)每三年開展一次內(nèi)部評(píng)估,每六年依據(jù)SEP框架開展一次外部評(píng)估。SEP詳細(xì)地規(guī)定了在荷蘭所有高校和科研機(jī)構(gòu)開展科研評(píng)估的目標(biāo)、維度、方法和流程,可以說(shuō),SEP既明確了評(píng)估的標(biāo)準(zhǔn),也規(guī)范了評(píng)估的流程,是荷蘭開展科研評(píng)估的標(biāo)準(zhǔn)參照系。在SEP實(shí)施的20余年中,已經(jīng)陸續(xù)開展了五輪評(píng)估,每次伴隨新一輪評(píng)估的開展,SEP也會(huì)與時(shí)俱進(jìn)地頒布新的版本。至今,SEP已分別于1994年、1998年、2003年、2009年和2015年頒布了更新版本[1],在評(píng)估的理念、目標(biāo)、維度和方法等方面進(jìn)行了持續(xù)改進(jìn),提升了SEP評(píng)估的公正性、規(guī)范性和實(shí)效性。
荷蘭《標(biāo)準(zhǔn)化評(píng)估指南(2015-2021)》(以下簡(jiǎn)稱SEP2015)是最新版本的在荷蘭高校和科研機(jī)構(gòu)開展科研評(píng)估的制度框架。SEP2015由荷蘭大學(xué)協(xié)會(huì)(VSNU)、荷蘭國(guó)家科學(xué)研究組織(NWO)和荷蘭皇家藝術(shù)與科學(xué)院(KNAW)聯(lián)合制定并授權(quán)發(fā)布,將全面指導(dǎo)2015年至2021年這六年間在荷蘭高校和科研機(jī)構(gòu)中開展的最新一輪外部評(píng)估活動(dòng),其評(píng)估結(jié)果也將對(duì)荷蘭國(guó)家層面的科研投入和戰(zhàn)略選擇、高校和科研機(jī)構(gòu)的學(xué)科發(fā)展以及科技創(chuàng)新活動(dòng)等產(chǎn)生重要的影響。本文以SEP2015作為分析對(duì)象,對(duì)SEP2015指導(dǎo)下的荷蘭科研評(píng)估的方法與流程、維度與指標(biāo)體系進(jìn)行了較為系統(tǒng)的梳理,以期在我國(guó)統(tǒng)籌推進(jìn)世界一流大學(xué)和一流學(xué)科建設(shè)的進(jìn)程中,為促進(jìn)高校和科研院所的發(fā)展、促進(jìn)科研評(píng)估制度改革與創(chuàng)新提供一些可資借鑒的荷蘭經(jīng)驗(yàn)。
一、SEP2015的評(píng)估模式與評(píng)估流程:自我評(píng)估+外部評(píng)估 SEP2015采取自我評(píng)估和外部同行評(píng)估并行的模式對(duì)評(píng)估單元(Research Unit,可以是高?;蚩蒲袡C(jī)構(gòu)內(nèi)的某一院系、研究所、研究項(xiàng)目組或科研團(tuán)隊(duì))實(shí)施評(píng)估,評(píng)估的主要目的在于促進(jìn)評(píng)估單元反思與改進(jìn),評(píng)估結(jié)果并不與科研經(jīng)費(fèi)撥款直接掛鉤。[2]
(一)自我評(píng)估
SEP2015要求評(píng)估單元在接受外部評(píng)估前首先開展自我評(píng)估,撰寫15頁(yè)以內(nèi)的自評(píng)報(bào)告,準(zhǔn)確地描述過(guò)去六年所付出的努力和取得的成果,以及未來(lái)六年的行動(dòng)計(jì)劃,這份自評(píng)報(bào)告將在之后的外部評(píng)估中發(fā)揮重要的參考作用。自評(píng)報(bào)告主要包括如下內(nèi)容。
1.呈現(xiàn)基本概況,描述發(fā)展戰(zhàn)略
評(píng)估單元需詳細(xì)介紹本單元的組織結(jié)構(gòu)、人員構(gòu)成,研究人員的背景及研究專長(zhǎng),評(píng)估單元的經(jīng)費(fèi)來(lái)源、經(jīng)費(fèi)結(jié)構(gòu)以及經(jīng)費(fèi)管理和經(jīng)費(fèi)使用情況等,以便評(píng)估委員會(huì)了解評(píng)估單元的概況。同時(shí),還需詳細(xì)描述評(píng)估單元過(guò)去六年的發(fā)展戰(zhàn)略,依照此戰(zhàn)略所采取的行動(dòng)、獲得的結(jié)果,以及在未來(lái)六年中擬定的發(fā)展戰(zhàn)略及在戰(zhàn)略框架之下擬采取的具體執(zhí)行策略。[3]
2.選擇特定指標(biāo),提供相應(yīng)數(shù)據(jù),展現(xiàn)自身優(yōu)勢(shì)
評(píng)估單元需按照自評(píng)報(bào)告模板,在“科研綜合實(shí)力”維度和“可持續(xù)發(fā)展能力”維度下的六個(gè)一級(jí)指標(biāo)中(參見下文“評(píng)估維度與指標(biāo)框架”部分),分別選取能夠體現(xiàn)其自身優(yōu)勢(shì)與績(jī)效表現(xiàn)的指標(biāo),提供指標(biāo)數(shù)據(jù)和相關(guān)證據(jù),以呈現(xiàn)評(píng)估單元近六年來(lái)在提升科研綜合實(shí)力、輻射社會(huì)影響、以及推動(dòng)自身及荷蘭科研系統(tǒng)可持續(xù)發(fā)展方面作出的貢獻(xiàn)與成績(jī)。[4]與此同時(shí),評(píng)估單元還需要說(shuō)明為何選擇這些特定的績(jī)效指標(biāo),以及這些指標(biāo)之于評(píng)估單元戰(zhàn)略發(fā)展的重要意義。
3.提交敘事報(bào)告,呈現(xiàn)科研成果的社會(huì)影響
評(píng)估單元需選取一個(gè)最具代表性或說(shuō)服力的案例,通過(guò)敘事描述的方式來(lái)呈現(xiàn)評(píng)估單元的科研工作或科研成果在地區(qū)、國(guó)家、國(guó)際層面與外部社會(huì)的相關(guān)性、所產(chǎn)生的社會(huì)影響及其帶來(lái)的社會(huì)價(jià)值。[5]考慮到科研成果所帶來(lái)的社會(huì)影響具有一定的滯后性及廣泛性,在評(píng)估周期前所開展的科研工作帶來(lái)的社會(huì)影響,以及科研成果在海外產(chǎn)生的社會(huì)影響,均可作為案例呈現(xiàn)在敘事報(bào)告中。敘事可通過(guò)如下內(nèi)容來(lái)描述該科研工作或科研成果所產(chǎn)生的社會(huì)影響,包括:社會(huì)影響的內(nèi)涵及其輻射范圍;社會(huì)影響發(fā)生路徑及評(píng)估單元為此作出的努力;科研工作所帶來(lái)的社會(huì)收益;社會(huì)影響涉及的科研工作、具體的研究項(xiàng)目、研究人員等。[6]
4.開展SWOT分析,判斷戰(zhàn)略可行性
評(píng)估單元需通過(guò)SWOT分析來(lái)審視自身的優(yōu)勢(shì)和不足,同時(shí)分析外部環(huán)境中的機(jī)會(huì)和威脅,進(jìn)而判斷其戰(zhàn)略規(guī)劃的可行性。SWOT分析作為一種分析工具為評(píng)估單元開展自我評(píng)價(jià)提供了必要的維度,對(duì)評(píng)估單元來(lái)說(shuō),通過(guò)SWOT分析既可以反思自身的成績(jī)與不足,也可以分析自身在荷蘭以及歐洲政策環(huán)境中的定位,并與國(guó)內(nèi)和國(guó)際的同行進(jìn)行對(duì)標(biāo)比較。[7]SWOT分析結(jié)果既可以呈現(xiàn)定量數(shù)據(jù),也可以呈現(xiàn)通過(guò)訪談、焦點(diǎn)小組座談等搜集的定性評(píng)價(jià),或把兩者結(jié)合起來(lái)展現(xiàn)評(píng)估單元的全貌。
(二)外部評(píng)估
SEP2015要求評(píng)估單元在開展自評(píng)后接受來(lái)自同行專家的外部評(píng)估,并對(duì)開展外部評(píng)估的流程、方式等都作出了標(biāo)準(zhǔn)化的規(guī)定。評(píng)估的流程如下。
1.安排評(píng)估日程,確定評(píng)估委員會(huì)構(gòu)成
SEP2015規(guī)定由研究機(jī)構(gòu)的董事會(huì)全權(quán)負(fù)責(zé)確定評(píng)估計(jì)劃、安排評(píng)估日程、確定評(píng)估單元,設(shè)立評(píng)估委員會(huì)并規(guī)定其具體職能。在任命評(píng)估委員會(huì)成員的過(guò)程中,需著重考慮評(píng)估單元的概況及戰(zhàn)略規(guī)劃,以保證評(píng)估委員會(huì)的組成與評(píng)估單元的科學(xué)研究工作和社會(huì)服務(wù)領(lǐng)域相匹配,包括確保評(píng)估委員會(huì)成員熟悉評(píng)估單元所從事的研究領(lǐng)域;了解該研究領(lǐng)域的國(guó)際前沿動(dòng)態(tài)和研究進(jìn)展;能夠?qū)υu(píng)估單元的科研實(shí)力作出科學(xué)判斷;了解荷蘭科研體系及經(jīng)費(fèi)管理機(jī)制,能夠?qū)υu(píng)估單元的科研管理水平、科研誠(chéng)信和環(huán)境等提出建議;能夠在評(píng)估過(guò)程中堅(jiān)持公平公正的原則。[8]董事會(huì)擬定評(píng)估委員會(huì)成員后,需將成員名單提交評(píng)估單元,并請(qǐng)?jiān)u估單元給出反饋建議,最終由雙方共同敲定評(píng)估委員會(huì)的構(gòu)成。
2.制定評(píng)估方案,開展實(shí)地考察
評(píng)估委員會(huì)將在實(shí)地考察前的1至2個(gè)月收到來(lái)自評(píng)估單元的自評(píng)報(bào)告(詳見前文中的“自我評(píng)估”部分)和其他相關(guān)資料。評(píng)估委員會(huì)將召開啟動(dòng)會(huì),請(qǐng)所有成員閱讀評(píng)估文件,進(jìn)一步細(xì)化討論評(píng)估程序、評(píng)估內(nèi)容和職責(zé)權(quán)限,并協(xié)同董事會(huì)和評(píng)估單元共同制定實(shí)地考察的方案。
評(píng)估方案確定后,評(píng)估委員會(huì)將依據(jù)方案開展實(shí)地考察,了解高校和科研院所的運(yùn)行情況,并與評(píng)估單元的管理層和代表、科研團(tuán)隊(duì)帶頭人、教職員工和博士生、董事會(huì)成員等進(jìn)行一對(duì)一的訪談,核實(shí)、豐富和補(bǔ)充自我評(píng)估報(bào)告中提供的要點(diǎn)信息,以便委員會(huì)能夠作出相對(duì)客觀、準(zhǔn)確的知情判斷。[9]
3.確定評(píng)估結(jié)果,提交評(píng)估報(bào)告
評(píng)估委員會(huì)需在充分理解評(píng)估單元在自評(píng)報(bào)告中闡述的發(fā)展戰(zhàn)略的基礎(chǔ)上,依據(jù)實(shí)地調(diào)研獲得的信息補(bǔ)充,作出初步的評(píng)估決議:在“科研成果質(zhì)量”、“社會(huì)相關(guān)性”和“戰(zhàn)略可行性”三個(gè)指標(biāo)上,分別給出量化評(píng)價(jià)等級(jí)并同時(shí)給出定性評(píng)價(jià)與建議。其中,評(píng)估等級(jí)分為4個(gè)級(jí)別,1級(jí)表示“卓越”,2級(jí)表示“優(yōu)秀”,3級(jí)表示“良好”,4級(jí)表示“欠佳”。[10]此外,委員會(huì)還需在“博士培養(yǎng)”、“科研誠(chéng)信”和“組織多樣性”三個(gè)可持續(xù)發(fā)展能力方面的指標(biāo)上給出定性評(píng)價(jià)與建議。評(píng)估委員會(huì)通過(guò)集體評(píng)議就上述評(píng)估決議(包括定性評(píng)價(jià)和定量評(píng)價(jià))達(dá)成內(nèi)部共識(shí)。
SEP2015明確規(guī)定,委員會(huì)需在實(shí)地考察后8周內(nèi),依據(jù)評(píng)估決議和SEP標(biāo)準(zhǔn)化模板撰寫評(píng)估報(bào)告草案,并交送評(píng)估單元審查是否存在事實(shí)錯(cuò)誤,如有事實(shí)錯(cuò)誤可在2周內(nèi)進(jìn)行反饋和申辯。評(píng)估委員會(huì)需在實(shí)地考察后12周內(nèi),根據(jù)評(píng)估單元的反饋將草案修改、定稿為最終的評(píng)估報(bào)告,并提交高校或研究機(jī)構(gòu)董事會(huì)。[11]
4.公開評(píng)估結(jié)果,推動(dòng)持續(xù)改進(jìn)
高校和研究機(jī)構(gòu)董事會(huì)需要在其官方網(wǎng)站公示評(píng)估安排,在外部評(píng)估結(jié)束后的16-20周內(nèi)表明其對(duì)于評(píng)估報(bào)告和評(píng)估結(jié)果的態(tài)度與立場(chǎng),在隨后的6個(gè)月內(nèi)在官方網(wǎng)站上發(fā)布最終的評(píng)估報(bào)告。[12]同時(shí),需要不定期地考察和發(fā)布高?;蜓芯繖C(jī)構(gòu)采取了哪些持續(xù)改進(jìn)的努力與行動(dòng),從而讓公眾通過(guò)開放的渠道了解公共經(jīng)費(fèi)去向何處以及取得了怎樣的效果,并在必要時(shí)接受公共問(wèn)責(zé)。
各大學(xué)和研究機(jī)構(gòu)的董事會(huì)、NWO、KNAW以及VSNU也將定期監(jiān)測(cè)評(píng)估單元基于評(píng)估委員會(huì)的建議采取了哪些后續(xù)的改進(jìn)行動(dòng)。評(píng)估單元可以自行決定改進(jìn)措施,SEP不對(duì)后續(xù)行動(dòng)進(jìn)行規(guī)定,但是希望評(píng)估單元將改進(jìn)措施和計(jì)劃納入其常規(guī)的學(xué)術(shù)發(fā)展計(jì)劃,以獲得機(jī)構(gòu)可持續(xù)發(fā)展的動(dòng)力。[13]
二、SEP2015的評(píng)估維度與指標(biāo)框架:科研綜合實(shí)力+可持續(xù)發(fā)展能力 SEP2015搭建了由“科研綜合實(shí)力”和“可持續(xù)發(fā)展能力”兩大維度、六項(xiàng)一級(jí)指標(biāo)及若干二級(jí)指標(biāo)共同組成的指標(biāo)框架。評(píng)估單元可以在自評(píng)報(bào)告中根據(jù)自身的戰(zhàn)略定位,在指標(biāo)框架中選取最能反映自身特色和績(jī)效的指標(biāo)來(lái)提供指標(biāo)數(shù)據(jù),進(jìn)而將評(píng)估單元的戰(zhàn)略目標(biāo)與行動(dòng)結(jié)果聯(lián)系在一起,共同呈現(xiàn)在自評(píng)報(bào)告中。評(píng)估委員會(huì)將依據(jù)自評(píng)報(bào)告和實(shí)地考察結(jié)果對(duì)評(píng)估單元進(jìn)行個(gè)性化的評(píng)價(jià)與考核。
(一)科研綜合實(shí)力維度
科研綜合實(shí)力是考量評(píng)估單元的主要維度,包括三個(gè)一級(jí)指標(biāo):研究成果質(zhì)量、社會(huì)相關(guān)性、戰(zhàn)略可行性。評(píng)估委員會(huì)將參照評(píng)估單元提供的材料,包括指標(biāo)數(shù)據(jù)、案例敘事以及SWOT分析報(bào)告等,分別對(duì)每一指標(biāo)作出定量和定性評(píng)估,并給出相應(yīng)建議。
1.研究成果質(zhì)量
科研成果質(zhì)量主要考量研究活動(dòng)的產(chǎn)出及其對(duì)科學(xué)共同體的貢獻(xiàn),包括面向同行的標(biāo)志性科研成果、成果利用率、以及成果認(rèn)可度三個(gè)二級(jí)指標(biāo)。第一,標(biāo)志性科研成果,主要指面向同行的科研成果及科研產(chǎn)品,評(píng)價(jià)指標(biāo)包括(但不限于):研究論文;著作;博士論文;其他成果如儀器、設(shè)備、數(shù)據(jù)庫(kù)、軟件工具、設(shè)計(jì)產(chǎn)品等。第二,標(biāo)志性成果的利用率,主要指科研成果被同行引用、使用的情況,評(píng)價(jià)指標(biāo)包括(但不限于):成果引用率;數(shù)據(jù)庫(kù)、軟件工具的同行使用情況;研究設(shè)施的同行利用情況;科技或?qū)W術(shù)期刊上的同行評(píng)價(jià)情況。第三,標(biāo)志性成果的認(rèn)可度,主要指科研成果獲得同行普遍認(rèn)可的情況及由此獲得的獎(jiǎng)勵(lì)和資助,評(píng)價(jià)指標(biāo)包括(但不限于):科學(xué)獎(jiǎng)勵(lì)或?qū)W術(shù)獎(jiǎng)勵(lì);個(gè)人獲得的科學(xué)資助;受邀進(jìn)行學(xué)術(shù)演講情況;受邀成為科學(xué)委員會(huì)或編委會(huì)成員情況等。[14]。評(píng)估單元需要在自評(píng)報(bào)告中提供上述信息及相關(guān)數(shù)據(jù),以反映研究成果的整體質(zhì)量。
2.社會(huì)相關(guān)性
社會(huì)相關(guān)性主要考量科研成果的社會(huì)互動(dòng)與社會(huì)貢獻(xiàn)情況,如科研成果對(duì)經(jīng)濟(jì)、社會(huì)、文化的貢獻(xiàn)、對(duì)政策的建議、對(duì)公共事務(wù)的推動(dòng)等。[15]社會(huì)相關(guān)性包括面向特定目標(biāo)群體或社會(huì)大眾的標(biāo)志性科研成果、成果利用率以及成果認(rèn)可度三個(gè)二級(jí)指標(biāo)。第一,標(biāo)志性科研成果主要指面向特定目標(biāo)群體、服務(wù)社會(huì)大眾的科研產(chǎn)品,評(píng)價(jià)指標(biāo)包括(但不限于):政策咨詢報(bào)告、面向非學(xué)術(shù)群體的專業(yè)論文、為大眾提供的講座或展覽等成果推廣活動(dòng)。第二,標(biāo)志性成果的利用率,主要指科研成果被特定目標(biāo)群體所使用、利用的情況,評(píng)價(jià)指標(biāo)包括(但不限于):專利和許可證書、與社會(huì)各界合作的項(xiàng)目、橫向課題等。第三,標(biāo)志性成果的認(rèn)可度,主要指科研成果獲得社會(huì)大眾普遍認(rèn)可的情況及由此獲得的獎(jiǎng)勵(lì)和資助,評(píng)價(jià)指標(biāo)包括(但不限于):公共獎(jiǎng)項(xiàng)、社會(huì)投資、在社會(huì)公共咨詢機(jī)構(gòu)任職的人數(shù)等。[16]除了上述指標(biāo)體系外,評(píng)估單元需通過(guò)敘事描述的方式呈現(xiàn)一個(gè)最具代表性的科研成果的社會(huì)影響力案例,來(lái)反映科研工作或科研成果與外部社會(huì)的相關(guān)性、產(chǎn)生的社會(huì)影響及其帶來(lái)的社會(huì)價(jià)值。
3.戰(zhàn)略可行性
評(píng)估委員會(huì)將根據(jù)評(píng)估單元現(xiàn)有的基礎(chǔ)及其提出的未來(lái)六年的戰(zhàn)略發(fā)展目標(biāo),考量其在未來(lái)幾年中通過(guò)采取相應(yīng)的戰(zhàn)略措施和戰(zhàn)略手段來(lái)實(shí)現(xiàn)預(yù)期目標(biāo)的可行性。前文介紹過(guò),評(píng)估單元需要在自評(píng)報(bào)告中提交一份SWOT分析報(bào)告,包括四個(gè)分析模塊(即評(píng)價(jià)指標(biāo)):組織內(nèi)部的優(yōu)勢(shì)、劣勢(shì);外部環(huán)境的機(jī)會(huì)、威脅。組織內(nèi)部可以從如下幾方面具體展開分析:?jiǎn)T工的背景和經(jīng)歷、組織治理模式、組織管理水平、基礎(chǔ)設(shè)施建設(shè)情況、財(cái)政狀況等。外部環(huán)境可以從如下幾方面具體展開分析:技術(shù)進(jìn)步的方向、新的政策或立法、政府的支持、社會(huì)文化模式、競(jìng)爭(zhēng)對(duì)手等。[17]
(二)可持續(xù)發(fā)展能力維度
這一維度主要考量評(píng)估單元為推動(dòng)自身及整個(gè)荷蘭科研系統(tǒng)可持續(xù)發(fā)展所作出的努力,包括三個(gè)一級(jí)指標(biāo):博士培養(yǎng)、科研誠(chéng)信和組織多樣性。評(píng)估單元需在自評(píng)報(bào)告中提供這三方面的信息和數(shù)據(jù),評(píng)估委員會(huì)將參照自評(píng)報(bào)告分別對(duì)每一指標(biāo)作出定性評(píng)價(jià),并給出改進(jìn)建議。
1.博士培養(yǎng)
博士培養(yǎng)主要考量評(píng)估單元對(duì)下一代科研人員的培育、指導(dǎo)及相關(guān)的管理工作開展情況,評(píng)價(jià)指標(biāo)包括(但不限于):博士項(xiàng)目的相關(guān)制度與政策文本;博士研究者的選拔和錄取流程;博士項(xiàng)目的培養(yǎng)方向和結(jié)構(gòu);評(píng)估單元對(duì)博士項(xiàng)目的監(jiān)管以及質(zhì)量保障機(jī)制;導(dǎo)師對(duì)博士研究者開展科研的指導(dǎo)以及未來(lái)就業(yè)的指導(dǎo);博士研究者的學(xué)習(xí)年限、獲得學(xué)位比例、未來(lái)就業(yè)的去向等。[18]
2.科研誠(chéng)信
科研誠(chéng)信主要考量評(píng)估單元在規(guī)范科研管理,維護(hù)科研誠(chéng)信,營(yíng)造良好的科研環(huán)境,以及制止學(xué)術(shù)不端行為發(fā)生等方面采取的行動(dòng)和努力,主要指標(biāo)包括(但不限于):評(píng)估單元內(nèi)主導(dǎo)的研究氛圍;學(xué)者間交流、互動(dòng)的方式;對(duì)強(qiáng)化科研誠(chéng)信、道德、自我反思的關(guān)注程度及采取的措施;數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)及數(shù)據(jù)管理的相關(guān)制度;當(dāng)研究結(jié)果嚴(yán)重偏離主流科學(xué)語(yǔ)境時(shí)所采取的應(yīng)急措施;評(píng)估單元自身面臨的難題以及解決策略等。[19]
3.組織多樣性
組織多樣性主要考量評(píng)估單元的內(nèi)部多樣性,并認(rèn)為在多元化的研究環(huán)境中能更好地激勵(lì)創(chuàng)新并促進(jìn)人才發(fā)展,主要指標(biāo)包括(但不限于):評(píng)估單元自身多樣性及其組織文化多樣性的特點(diǎn)(包括科研人員的性別、年齡以及族裔);對(duì)于保持組織多樣性的關(guān)注度;提升組織多樣性的目標(biāo)及為提升組織多樣性所采取的行動(dòng)措施;確保選舉委員會(huì)和評(píng)估委員會(huì)中人員多樣性的相關(guān)制度與措施。[20]
綜上,將SEP2015的評(píng)估維度與評(píng)價(jià)方式總結(jié)如下,見表1。
三、SEP2015的特點(diǎn)及啟示
(一)強(qiáng)調(diào)科研成果的社會(huì)相關(guān)性
SEP2015中首次將科研成果的“社會(huì)相關(guān)度”列為評(píng)估的三大指標(biāo)之一,充分強(qiáng)調(diào)高?;蜓芯繖C(jī)構(gòu)要注重科學(xué)研究與社會(huì)發(fā)展之間的關(guān)聯(lián)度,并同時(shí)采用定量和定性的方法來(lái)評(píng)估“社會(huì)相關(guān)度”,評(píng)估單元既需要選擇相應(yīng)的指標(biāo),提供指標(biāo)相關(guān)數(shù)據(jù),也需要通過(guò)敘事的方式來(lái)具體描述和呈現(xiàn)科研成果產(chǎn)生的社會(huì)影響以及帶來(lái)的社會(huì)價(jià)值。實(shí)際上,這反映了近年來(lái)荷蘭科技評(píng)估范式的價(jià)值轉(zhuǎn)向。荷蘭近年來(lái)非常強(qiáng)調(diào)和關(guān)注科研成果在學(xué)術(shù)界以外對(duì)社會(huì)、經(jīng)濟(jì)、文化所產(chǎn)生的影響,并把這種影響發(fā)生的過(guò)程稱為“價(jià)值創(chuàng)造(Valorisation)”,認(rèn)為“價(jià)值創(chuàng)造”是通過(guò)知識(shí)創(chuàng)造更大社會(huì)價(jià)值的過(guò)程,包括利用知識(shí)推動(dòng)社會(huì)、經(jīng)濟(jì)發(fā)展,以及將知識(shí)轉(zhuǎn)化為具體的產(chǎn)品、服務(wù)和商業(yè)活動(dòng)。[21]
荷蘭政府和教育科研部門都認(rèn)為,科研成果應(yīng)該為社會(huì)帶來(lái)更多積極的改變和更有價(jià)值的貢獻(xiàn),當(dāng)下研究者在創(chuàng)造社會(huì)影響力方面的動(dòng)力不足,其中主要的原因是大部分學(xué)者都把追求研究的學(xué)術(shù)影響當(dāng)作首要任務(wù),并未意識(shí)到研究對(duì)推動(dòng)社會(huì)發(fā)展的重要價(jià)值。除外,當(dāng)下的評(píng)估體系也還未對(duì)社會(huì)影響力的組成要素進(jìn)行界定,如果有比較清楚的界定和比較明確的發(fā)生路徑,學(xué)者創(chuàng)造社會(huì)影響力的行動(dòng)會(huì)更加積極、高效和有的放矢。[22]我國(guó)的科研評(píng)估通常比較關(guān)注科研成果在學(xué)術(shù)體系內(nèi)部的影響力,比如刊物的級(jí)別、影響因子等計(jì)量指標(biāo),而對(duì)科研成果的社會(huì)影響等非學(xué)術(shù)影響力的關(guān)注不足,這種評(píng)估導(dǎo)向容易造成學(xué)術(shù)系統(tǒng)的內(nèi)封閉和自循環(huán),忽視了科研成果的社會(huì)價(jià)值。SEP2015的社會(huì)相關(guān)度評(píng)估從評(píng)價(jià)目標(biāo)到評(píng)價(jià)方法都是一種新的嘗試,希望通過(guò)科學(xué)可行的評(píng)估,促進(jìn)知識(shí)創(chuàng)造者(研究者)和知識(shí)使用者(用戶)之間的互動(dòng)和相互理解[23],更好地把握研究的社會(huì)影響力發(fā)生路徑,從而推動(dòng)研究者更加有意識(shí)地為社會(huì)發(fā)展創(chuàng)造更多高質(zhì)量的研究成果,并使其為推動(dòng)社會(huì)發(fā)展作出更大的貢獻(xiàn)。
(二)強(qiáng)調(diào)科研機(jī)構(gòu)的可持續(xù)發(fā)展能力
SEP2015與以往的SEP指南相比,進(jìn)一步增強(qiáng)了對(duì)科研機(jī)構(gòu)可持續(xù)發(fā)展能力的關(guān)注與推動(dòng)。一方面,SEP2015強(qiáng)調(diào)實(shí)施指向未來(lái)的“戰(zhàn)略可行性”評(píng)估,側(cè)重考量科研機(jī)構(gòu)是否有能力在下一個(gè)評(píng)估周期中,通過(guò)采取相應(yīng)的戰(zhàn)略措施和戰(zhàn)略手段以實(shí)現(xiàn)其預(yù)期目標(biāo)。評(píng)估單元需通過(guò)SWOT分析工具來(lái)分析組織自身的優(yōu)勢(shì)和劣勢(shì),并分析外部環(huán)境之于組織發(fā)展的機(jī)會(huì)與威脅。評(píng)估委員會(huì)將結(jié)合評(píng)估單元的戰(zhàn)略選擇和戰(zhàn)略規(guī)劃,對(duì)照其自我評(píng)估的內(nèi)容,給出評(píng)估結(jié)論和相關(guān)建議,以促進(jìn)研究機(jī)構(gòu)通過(guò)全面的自省和后續(xù)的改進(jìn)活動(dòng),增強(qiáng)其戰(zhàn)略目標(biāo)實(shí)現(xiàn)的可能性。
另一方面,SEP2015增強(qiáng)了對(duì)科研誠(chéng)信的警覺性,強(qiáng)調(diào)考量科研機(jī)構(gòu)的科研誠(chéng)信政策與整體研究環(huán)境。這一舉措得到了荷蘭教育部、基金委、高校、研究機(jī)構(gòu)和研究人員的一致贊同。荷蘭教育文化科學(xué)部部長(zhǎng)Jet Bussemaker在SEP2015發(fā)布會(huì)上也提出,科研工作者不應(yīng)該讓產(chǎn)出率和產(chǎn)出速度牽著走,荷蘭要進(jìn)一步為研究者創(chuàng)設(shè)健康、可持續(xù)發(fā)展的研究環(huán)境。[24]近年來(lái),我國(guó)的科研評(píng)估也對(duì)機(jī)構(gòu)可持續(xù)發(fā)展能力有所關(guān)注,但是評(píng)價(jià)的核心仍然聚焦于科研成果的績(jī)效指標(biāo),對(duì)于“量”的追求不僅容易忽視“質(zhì)”的要求,也對(duì)創(chuàng)新與可持續(xù)發(fā)展造成了一定的阻礙。SEP2015正是弱化了對(duì)可量化的科研成果的評(píng)估,強(qiáng)調(diào)通過(guò)評(píng)估構(gòu)建更加健康、誠(chéng)信、開放、有活力的科研生態(tài)系統(tǒng),從而促進(jìn)科研機(jī)構(gòu)以及整個(gè)荷蘭科研系統(tǒng)的可持續(xù)發(fā)展。
(三)強(qiáng)調(diào)評(píng)估流程標(biāo)準(zhǔn)化
SEP2015延續(xù)了SEP指南的一貫傳統(tǒng),在評(píng)估流程方面凸顯評(píng)估的標(biāo)準(zhǔn)化特點(diǎn)。荷蘭從20世紀(jì)90年代起,伴隨著國(guó)家層面科研評(píng)估制度的確立,就設(shè)計(jì)和頒布了《標(biāo)準(zhǔn)化評(píng)估指南》,其設(shè)置初衷就是為開展科研評(píng)估提供標(biāo)準(zhǔn)參照,在SEP實(shí)施的20余年中,雖然先后在評(píng)估目的、評(píng)估維度等方面與時(shí)俱進(jìn)地進(jìn)行了修訂與調(diào)整,但是其始終強(qiáng)調(diào)評(píng)估流程與方法的標(biāo)準(zhǔn)與規(guī)范。SEP2015延續(xù)了這一特點(diǎn),詳細(xì)地規(guī)定了在荷蘭所有高校和科研機(jī)構(gòu)開展科研評(píng)估的具體流程,包括制定評(píng)估計(jì)劃、發(fā)布通知、組織專家委員會(huì)、單元自評(píng)、實(shí)地考察、商議評(píng)估結(jié)果、撰寫和提交評(píng)估報(bào)告、開展后續(xù)改進(jìn),甚至在指南中嚴(yán)格規(guī)范了院校自評(píng)報(bào)告的頁(yè)數(shù)、專家簽署保密協(xié)議的格式等等??梢哉f(shuō),SEP指南對(duì)開展一次科研評(píng)估方方面面的程序和步驟都作出了標(biāo)準(zhǔn)化的規(guī)定,為開展評(píng)估活動(dòng)提供了可參照的行動(dòng)指南,也正因如此,荷蘭的科研評(píng)估活動(dòng)按照評(píng)估周期有條不紊地開展,在整個(gè)歐洲都形成了良好的口碑,同時(shí)也很好地促進(jìn)了荷蘭高校和科研院所的科研成就與發(fā)展。
(四)強(qiáng)調(diào)評(píng)估內(nèi)容個(gè)性化
與標(biāo)準(zhǔn)化的評(píng)估流程相反的是,SEP2015在評(píng)估內(nèi)容方面充分尊重評(píng)估單元的多樣化特點(diǎn),強(qiáng)調(diào)個(gè)性化評(píng)估。比如,在自評(píng)過(guò)程中,評(píng)估單元有權(quán)利在指標(biāo)框架中僅選取與自身戰(zhàn)略相匹配的指標(biāo)參與評(píng)估,以呈現(xiàn)評(píng)估單元的概況、特點(diǎn)與綜合實(shí)力;再如,評(píng)估單元在社會(huì)影響力敘事、SWOT分析方面,都可以通過(guò)差異化的描述和分析展現(xiàn)評(píng)估單元的優(yōu)勢(shì)與特色。因此,雖然可能每一個(gè)評(píng)估單元的自評(píng)報(bào)告格式高度一致,但是其呈現(xiàn)的具體內(nèi)容卻是完全個(gè)性化和多樣化的。同時(shí),評(píng)估委員會(huì)也會(huì)根據(jù)不同評(píng)估單元的戰(zhàn)略選擇、發(fā)展目標(biāo)、組織職能對(duì)院校開展個(gè)性化的評(píng)價(jià)。因此,評(píng)估很可能會(huì)出現(xiàn)不同的評(píng)估單元接受截然不同的評(píng)估標(biāo)準(zhǔn)的情況,比如從事基礎(chǔ)研究的單元主要考察其學(xué)術(shù)水平是否位于國(guó)際前沿,而從事應(yīng)用研究的單元?jiǎng)t會(huì)著重考察其研究成果的社會(huì)相關(guān)度。這樣的評(píng)估方式凸顯了評(píng)估單元的戰(zhàn)略選擇、行動(dòng)結(jié)果與其預(yù)期目標(biāo)的契合度,即強(qiáng)調(diào)“用自己的尺子量自己”,而非“用同一把通用的尺子量所有人”。反觀我國(guó)科研評(píng)估制度,仍舊呈現(xiàn)比較明顯的管理主義傾向,評(píng)估標(biāo)準(zhǔn)較單一,對(duì)高校和科研機(jī)構(gòu)的多樣化特點(diǎn)關(guān)注不足。事實(shí)上,正如SEP所為,評(píng)估的根本目的并不是為了簡(jiǎn)單地得到一個(gè)“一刀切”的價(jià)值判斷結(jié)果,也不是為了進(jìn)行行政管理,而是要讓評(píng)價(jià)發(fā)揮其支持、引導(dǎo)、激勵(lì)的導(dǎo)向作用。因此,評(píng)估的標(biāo)準(zhǔn)和過(guò)程都應(yīng)該更加開放和多元,這樣的評(píng)估有利于在不同維度上定義優(yōu)秀,讓院校成為更好更有特色的自己,促進(jìn)高校和研究機(jī)構(gòu)的多樣化發(fā)展[25],進(jìn)而促進(jìn)和激發(fā)整個(gè)科研生態(tài)系統(tǒng)的活力。
參考文獻(xiàn):
[1]劉凡豐,余詩(shī)詩(shī).荷蘭科研機(jī)構(gòu)的評(píng)價(jià)模式[J].中國(guó)高等教育評(píng)估,2017(2):68-74.
[2]蔣玉梅.全球科研評(píng)價(jià)體系的演進(jìn)與發(fā)展[J].國(guó)家教育行政學(xué)院學(xué)報(bào),2013(9):81-86.
[3][4][6][7][8][9][10][11][12][14][16][17][18][19][20]KNAW, VSNU, NWO.Standard Evaluation Protocol 2015-2021, Protocol for Research Assessment in the Netherlands[M].Amsterdam:Royal Netherlands Academy of Arts and Sciences,2014:13,13-14,27,30,11-12,15-16,7-8,16-17,18,23-26,23-26,30,23,23-24,24.
[5][21]Leonie van Drooge, Stefan de Jong.Valorisation:Researchers Do More Than They Realise[EB/OL].(2016-04-19)[2018-03-09].https://www.rathenau.nl/en/publication/valorisation-researchers-do-more-they-realise.
[13]Rip A, Van der Meulen BJ.The Patchwork of the Dutch Evaluation System[J].Research Evaluation, 1995,5(1):45-53.
[15]Lutz Bornmann.What is Societal Impact of Research and How Can It Be Assessed? A Literature Survey[J].Journal of the American Society of Information Science and Technology,2013(62):218- 220.
[22]Paul Benneworth.We Need Better Understanding of Good Research Impacts[EB/OL].(2017-10-17)[2018-04-19].https://www.ideas-idees.ca/blog/we-need-better-understanding-good-research-impacts.
[23]Stefan de Jong, et al.Understanding Societal Impact Through Studying Productive Interactions[M].Den Haag:Rathenau Instituut,2013:4-10.
[24]Paul Wouters.The Citation Culture:The new Dutch Research Evaluation Protocol[EB/OL].(2014-05-08)[2018-03-09].https://citationculture.wordpress.com/2014/05/08/the-new-dutch-research-evaluation-protocol.
[25]Frans A van Vught(Ed).Mapping the Higher Education Landscape:Towards a European Classification of Higher Education[M].Dordrecht:Springer,2009:5-15.
(責(zé)任編輯 鐘嘉儀)