張 潔/編譯

研究績效評估：具有一定局限性

張 潔/編譯

●在澳大利亞和新西蘭，年輕學者和交叉學科的研究績效往往被低估。本文作者安娜貝爾·麥吉利夫雷（Annabel MCGilvlay）如此認為。

在和我聊天的前一天，喬納森.波士頓（Jonathan Boston）收到了同事的一封郵件。郵件談到了一位因新西蘭學術績效研究基金要求，學術生涯受到“怪異扭曲”的年輕學者。波士頓告訴我，“過去幾年，我收到過許多類似的，討論學術業(yè)績研究基金利弊的郵件?！?/p>

波士頓是惠靈頓維多利亞大學的公共政策系教授，同時他也參與了新西蘭政府的政策制定。他表示：硬性要求發(fā)表高影響力的國際文獻，而不鼓勵由國內出版商出版學術著作；迫于壓力，將研究轉向更熱門或更受推崇的領域；鼓勵接受非學術業(yè)績研究基金組織的教學職位，降低科研強度，是影響科研的三大因素。究其原因，三者都與學術績效研究基金評價科研績效的方式，及其對國家的研究基金環(huán)境的影響有關。

1999年成立之初，學術績效研究基金壯志滿懷，目標是通過評估研究績效來提高新西蘭諸多研究機構的水準。機構設立時，旨在補救科研部門對科研管理的疏忽。當時科研部門負責的范疇包括碩士生教育，文獻審閱，科研基金評審發(fā)放等?？蒲胁块T職能過于冗雜，隨著90年代中期大量非大學高等教育機構（比如技校和?？拼髮W）開展研究生教育，這一缺點表現非常明顯。更多機構開始開展科研活動，但其中一部分的科研能力非常薄弱，一時出現科研機構研究能力良莠不齊的情況。1999年，海倫·克拉克（Helen Clark）的工黨政府上臺，包括克拉克在內的5位學者（克拉克是政治研究領域的佼佼者），立志改善新西蘭的科研基金管理情況，增加科研可信度?！爱敃r唯一的有效途徑就是科研績效評估制度?！辈ㄊ款D這樣評價道。

學術績效研究基金是基于個人的，這一點和國家的科研績效評估不同。每六年，學術績效研究基金評估并報道新西蘭近6000位高校學者的科研水平?？蒲袡C構的科研能力有四個等級：A，B，C和R，其中A等最優(yōu)，往后依次下降。而學者也可申請個人科研績效排名。評價結果是以科研成果的質量和其領域發(fā)展（各領域資源不同）綜合考慮。個人科研成果由其所在機構匯總，科研基金主要依此分配。同時還會考慮個人申請到的外部基金以及其教學成就 （碩博士學位完成情況）。學術績效研究基金目前是新西蘭最大的第三方科研基金提供機構，在2013年基金總數達2.625億新西蘭元（折合美元2.242億）。

橫跨塔斯曼海的澳大利亞研究理事會（ARC）正準備第三輪科研質量評估。澳大利亞卓越研究（ERA）評估，三年一次，范圍涵蓋全國41所大學。即將舉行的2015年ERA評估，將分類并評估國家所有高等教育的研究成果，即40多萬本出版物。ERA按學科評估工作，評估結果將直接影響小部分高校科研經費的申請。

“有些人擔心，學術績效的評估方式可能阻礙青年研究人員的職業(yè)發(fā)展?！?/h2>

結果表明，自從引入國家科研評估系統(tǒng)后，新西蘭和澳大利亞兩國的綜合科研能力均有所提高。在新西蘭，更多的研究者學術績效達A級水平；在澳大利亞，更多的學科被評定為“世界領先水平”。但無論是PBRF，還是ERA，關注的都是科研成果對學界內的影響。人們逐漸意識到，學術研究的社會影響也十分重要，只重學術績效意義不大。同時，研究者們也擔心，關注學科內的科研績效評估，可能無法正確評估跨學科研究的價值。此外，正如波士頓最近收到的郵件暗示的一樣，學術績效的評估方式——特別是只看期刊雜志影響因子——可阻礙年輕研究者的職業(yè)生涯發(fā)展。

PBRF和ERA均有系統(tǒng)的質量指標和同行評議作為評估依據。這些指標被廣泛用于世界各地各類學術研究評估。然而，對PBRF來說，所有提名的出版物和其他研究成果均有指定評委評估 ——這是一個依據個人主觀判斷的定性過程。

相比之下，ERA更看重文獻引用次數。 “引用次數和參考次數在學界內能夠很好地反映文獻在學界內的影響力?！卑拇罄麃喲芯坷硎聲紫瘓?zhí)行官艾丹·伯恩（Aidan Byrne）這樣說道。

悉尼科技大學研究部副部長阿提拉·布隆斯(Attila Brungs)評價說，這些學術績效評估可能對青年研究者的職業(yè)生涯發(fā)展產生障礙。 “這些指標能造成一些非常奇怪的現象。博士生通常發(fā)表的文章比較多，但是影響因子比較低?！?/p>

更廣泛地說，青年研究者的成果通常較難通過較權威雜志的審核，這是以個人為中心的績效評估體系的缺陷。學術績效評估更多的是鼓勵機構雇用比較知名的研究者，而不是具有潛力的年輕研究人員，因為這類研究者發(fā)表量不夠。有證據顯示科研機構不愿雇用青年研究人員。有研究顯示，第一輪和第二輪全國學術績效評估之間，35歲以下科研人員的人數有14%的下降。

事實上，2008年PBRF的一個獨立審查發(fā)現，很多優(yōu)秀的年輕研究人員由于較低的評價科研熱情受到傷害。該審查由監(jiān)督PBRF的高等教育委員會（TEC）實施。其結果表明，“一個‘C’級評價能極大打擊青年研究者的研究熱情，同時對其職稱評定產生極大的阻力。波士頓說，PBRF設立之初，無意透露個人科研績效評定結果。 系統(tǒng)建立之后，波士頓和他的同事們意識到，他們不得不將評價結果透露給研究者們。 “我們無法真正保障落實保密法和官方信息法，”“如果我早知道，評價結果需要告知個人，同時其他人也可能知道這個結果，那我當時不會支持它?！?/p>

在新一輪全國學術績效評定來臨之際，高等教育委員會推出了一套新的、專門針對青年研究者的評定方法，以解決當前青年研究者的雇用危機。該評定系統(tǒng)中，青年研究者可以采用新的C（NE）評估方法，并且可以參與機構的基金申請和分配。績效評定結果是以其已有科研成果與其科研年限加權評定，一般來說，每個青年學者至少需要兩篇文獻。

但很多人，包括波士頓和彼得格.魯克曼（新西蘭總理的首席科學顧問）認為，學術績效評定中的個人評定，為青年研究人員施加了發(fā)表高影響因子文獻的“過分”壓力。 “我見過幾個年輕的研究人員，迫于這種壓力，勞心勞力想發(fā)一篇 《自然》。”格魯克曼說，“如果他們專心于在合適的期刊上發(fā)表扎實的、優(yōu)秀的文獻，他們的科研生涯會更順利。 ”

跨學科研究評價：貌合神離

跨學科科研工作者也深感委屈。新西蘭和澳大利亞的大學越來越鼓勵跨學科研究項目——從硬科學到人文科學——從整體來看待社會問題?？鐚W科研究包括環(huán)境可持續(xù)性，醫(yī)學研究等。大部分情況下，這類科研活動由大學或者機構的研究中心實施。

如果說跨學科項目是多彩畫面，那么PBRF和ERA的評估則是通過單學科的單色濾鏡來評估學術績效。2012年PBRF的最終報告中指出，一共評估42個學科領域，這些學科領域并不能“準確反映研究活動的組織和進行的方式”。新西蘭教育部首席策略分析師馬爾尼.迪克森（Marny Dickson）對此的評價是，盡管由此聲明，PBRF和ERA并沒有提出審核的具體計劃。

澳大利亞的情形也不容樂觀。澳大利亞學者委員會（ACOLA）——代表澳大利亞四大學術團體：澳大利亞科學院，澳大利亞社會科學院，澳大利亞人文科學院，澳大利亞技術科學與工程院——正在尋求和跨學科研究直接相關的政策條例。在2012年的一份報告中，ACOLA發(fā)現，ERA“已經難以評估和報告跨學科研究績效”。ERA和PBRF都更強調高影響因子。由于大學以ERA的評價結果作為依據，但跨學科研究成果通常影響因子不高。情況仍在惡化。

例如，悉尼科技大學社會研究中心做了很多關于政策的研究，為地方、州和聯(lián)邦政府做了許多工作。該中心的研究人員發(fā)表文章時，會選擇發(fā)表在其更擅長的領域，市場營銷，商業(yè)，經濟，或社會科學和人文科學等等。這所大學在評估時，從各個學科分別評估其績效，而不是把研究中心的項目看成一個整體。 布隆斯說，“在ERA類似的評估體系中，這種研究中心的工作幾乎等于零?！?/p>

布隆斯表示，評估的失真目前還沒有影響大學的研究重點，畢竟ERA相關的基金還是比較少的。在2014年，ERA總金額僅有6,900萬澳元，僅占教育部批準基金的4%。但是，ERA基金的比例將在增大，這意味著可能會減少跨學科合作。 布隆斯還說道，“大學不會允許這種扭曲的評估影響其整個科研，但如果我們不改變現狀，它確實會危及跨學科研究的發(fā)展。”

提高學術評分：一場博弈游戲

如果PBRF和ERA變得更加重要，大學的招聘政策難免會傾向于那些會為學術績效評分加分的研究人員。一些人擔心，這會導致研究機構采取各種投機取巧的方式提高其學術績效評分。

澳大利亞全國高等教育工會發(fā)現，ERA的博弈時代已然開始。個人，部門和機構都在努力爭取高的評分，以期獲得三年的基金支持。PBRF的結果則能影響6年的基金支持。這種情況下，個人和機構更傾向于參與這場博弈游戲。墨爾本大學原副校長弗蘭克拉金斯對此的意見是，“這種情況仍將繼續(xù)。大學有很多聰明人，他們很快能掌握最優(yōu)化績效的方法。 ”

ERA同行評審小組審查時需要克制帶入個人偏好，而ARC目前能夠交叉查閱往年可疑的意見書。然而，沒有什么方法可以阻止大學在一輪ERA評估之前雇用研究人員，有時甚至是整個研究部門來提高績效。澳大利亞報紙稱，這種“挖人”現象導致相關部門規(guī)定2014年3月31日之前確定機構人員名單。此日期后雇用的任何工作人員，沒有資格參與ERA 2015年的學術績效評估。不過，在去年夏天，澳大利亞天主教大學，中央昆士蘭大學和查爾斯特大學就已經雇用了研究團體，甚至整個研究部門。

ARC負責人伯恩并不贊同這樣行為。但是他表示，ERA排名的目的是資源的再分配，這并不一定是壞事。 “我們不希望阻止機構決策其研究目標。”由機構選擇性雇用研究人員和團體，以及機構內部制定績效標準，更好地符合ARC規(guī)則中，我們不難知道ERA在澳大利亞大學管理系統(tǒng)中的重要性。因此，大學紛紛設立院系滿足全校的出版物量和質的硬性要求。

最震驚的玩弄體制的案例是2006年發(fā)生在新西蘭的一例。一所重點大學為了提高學術績效評分，把科研團隊重新分類，尤其是把擁有PBRF資質卻很少進行科研的教研人員由原本的經濟學和生物學等領域，重新分類到哲學和宗教研究領域。這一舉措，大大提升了該大學在生物、經濟等領域的地位。哲學研究人員數目的激增引起了PBRF評審員的注意，最終發(fā)現了這一黑幕。

呼吁更靈活的衡量標準

ERA和PBRF的目標和結構幾乎沒有變化，但現狀如此，研究影響力應當明確納入學術績效評估。布隆斯在悉尼科技大學表示，對影響力的強調可能提高學術績效評估對跨學科研究的認可。例如，與政策相關的工作比與純學術更具價值。 “在《自然》上發(fā)表文獻能顯示卓越的研究績效，改變一項國家政策（比如飲水）也是卓越學術績效的體現?！?/p>

ARC正在考慮如何評估學術的影響力。但伯恩表示，ARC并不打算將其納入現有體系，并且ARC并沒有足夠的資源來支持獨立的影響力測量系統(tǒng)。澳大利亞政府目前比較厭惡增加繁文縟節(jié)手續(xù)流程。

在新西蘭，2008年PBRF的審查結果提示，必須將政府創(chuàng)新政策也作為學術績效評估的一個方面。然而，重新評估也會帶來很多問題，具體包括：產業(yè)投資更加能夠影響整體學術基金總額；學術評估的重視程度也有相應降低。據教育部表示，這些變化反映了一個事實，即外部研究資金是知識產業(yè)化的一個“強有力的指標”，并且鼓勵“解決實際問題，能用于終端用戶的科研”。這種知識產業(yè)化是研究影響力的有力證據。

但波士頓并不認為，即使出現這樣的變化，PBRF和ERA之類的評估，仍將具有重大意義。他引用了古德哈特定律，該定律指出，一項社會指標或經濟指標，一旦成為一個用以指引宏觀政策制定的既定目標，那么該指標就會喪失其原本具有的信息價值?！拔也焕斫忾L久地每六年進行一次同樣的、帶有輕度偏差的評估有什么意義。評估本身鼓勵提高科研質量，但總有些扭曲?！?/p>

波士頓還提到，政府需要加大資金和其他資源，或者改善衡量標準（比如不斷引入新標準）來提高學術績效。對于有效資源的不斷重新分配，政府能做的也確實有限。 “畢竟只有一個橙子，再怎么也只能擠出一杯橙汁?！?/p>

[資料來源：Nature][責任編輯：李 輝]