丁翔宇/編譯
指標(biāo):讓科研行為有理有據(jù)
丁翔宇/編譯
● 對科學(xué)研究系統(tǒng)的評估可以提升公眾對科研的支持,但會不會同時扼殺了創(chuàng)新呢?在《自然》雜志組織的在墨爾本的專題研討會上,大家也對這個問題進(jìn)行了討論。
從英國在1986年第一次進(jìn)行研究評估訓(xùn)練開始,國家對公眾資助的研究進(jìn)行評估的概念也拓展到了其他國家,包括比利時,法國,意大利,澳大利亞和新西蘭。其中一些評估是為了明確科研資金的分配,其他則是對當(dāng)?shù)氐难芯吭谌蚍秶鷥?nèi)的水準(zhǔn)進(jìn)行標(biāo)桿性調(diào)查。盡管這些評估系統(tǒng)的總體目標(biāo)容易理解,但是各自運(yùn)行得有多好有待商榷,它們相對效率是2014年2月在澳大利亞墨爾本舉辦的這次研討會的中心議題。這次《自然》雜志召集了來自澳大利亞,新西蘭,新加坡各個研究機(jī)構(gòu)和大學(xué)的專家學(xué)者,共同探討關(guān)于科學(xué)研究的評估方式帶來的結(jié)果和影響。在對專題研討會的介紹中,《自然》雜志的主編Phil Campbell概述了一些問題和觀點(diǎn),這些觀點(diǎn)在之后也得到了討論?!把芯康脑u估者需要明白他們測量科研影響力的方法”Phil Campbell說,“公開是得到信任的必要環(huán)節(jié)。《自然》雜志歡迎使用多種指標(biāo)進(jìn)行科研評估。”“僅僅通過文章引用次數(shù)去評估是肯定無法維持的。”他又補(bǔ)充到。
英國最近重新定位了科研評估項目,將同行互評,歷史案例和指標(biāo)綜合到一個叫做研究卓越框架(REF)的評估系統(tǒng),這個系統(tǒng)今年剛剛投入運(yùn)行。墨爾本專題研討會以亞太國家使用的科研評估方案為對照,包括新加坡認(rèn)真規(guī)劃的推動知識型產(chǎn)業(yè)發(fā)展,新西蘭關(guān)于在科研項目開始之前就確定指標(biāo)的提議以及澳大利亞的對科研項目的優(yōu)缺點(diǎn)進(jìn)行量化評估,認(rèn)真地考察了英國的評估方法 。得出兩點(diǎn)顯而易見的結(jié)論:評估科研的理由充分;得到結(jié)論的評估方法也很多。也許第一個需要克服的障礙就是明確目標(biāo)。
研究卓越框架(REF)是評估英國大學(xué)科研質(zhì)量的一個新型系統(tǒng)。它的目的是展現(xiàn)公眾投資科研的好處,明確使用來自政府的科研資金所需擔(dān)負(fù)的責(zé)任,以及分各個學(xué)科對英國的科研質(zhì)量在全球范圍內(nèi)進(jìn)行排名。
REF作為科研評估訓(xùn)練的后繼者,將會在2014年12月生成第一份報告,報告將被用來輔助四家高等教育基金委員會機(jī)構(gòu)(即英格蘭高等教育基金委,蘇格蘭基金委,威爾士高等教育基金委,北愛爾蘭教育和學(xué)習(xí)部)對約16億英鎊(約合27億美元)的政府科研資金進(jìn)行分配。它將對高等教育研究機(jī)構(gòu)在36個學(xué)科領(lǐng)域的科研成就進(jìn)行評價,這取決于研究的質(zhì)量,研究帶來的影響,還有研究的環(huán)境。結(jié)果會以整體品質(zhì)的形式發(fā)布,其中每項評估意見會被歸類為 “世界領(lǐng)先”,“國際知名”,“國內(nèi)聞名”或是“無法歸類”。這項評估是由專家組實施的,專家組包括來自商界和政界的代表,他們或者在各自所屬的職業(yè)中使用了研究成果,或者委托了學(xué)者或是與學(xué)者們進(jìn)行了合作。
● 評價研究
David Sweeney是這次專題座談會主題報告的發(fā)言人,他是位于布里斯托的英格蘭高等教育基金委員會(HEFCE)研究、創(chuàng)新和技術(shù)部的主任,曾一手推動了REF的發(fā)展。他告訴與會代表:“任何人無權(quán)隨意使用研究經(jīng)費(fèi),如果遇到以前做預(yù)算計劃時高級科學(xué)家向政府要錢并允諾會出成果的情況,基金委員會有權(quán)讓科學(xué)家先證明成果”。
Sweeney表示科學(xué)家們無法假定公眾可以理解研究的價值,因此科研評估成為了讓英國政府、商界以及社會相信為什么要投資大學(xué)以及科研的必要工具。事實上,英國政府希望征召一些企業(yè)資助大學(xué)的研究,并藉此將商界在全球金融危機(jī)時為了預(yù)防困難而儲存的一些資本解鎖。REF搭配上與之匹配的資金計劃,可以幫助政府釋放之前儲藏的私人資本。
●“這種方法可以進(jìn)行現(xiàn)在必須要做的工作,雖然它并不完美”
Sweeney概述了REF的方法,“卓越的學(xué)術(shù)能力仍舊是公眾資助科研最重要的目的,”Sweeney說到,“但是一些傳統(tǒng)的衡量科研成績的方法,如同行評價以及引用次數(shù),不應(yīng)成為評價的全部內(nèi)容;嘉獎能給社會帶來積極效應(yīng)的科學(xué)研究也非常重要”。他認(rèn)為REF不會為政府操控研究的方向開方便之門,也不會對資金應(yīng)用的研究領(lǐng)域存在偏見。反之,REF會提供一種確認(rèn)所有研究貢獻(xiàn)的方法。“這并非是更偏向某些研究領(lǐng)域”。Sweeney將REF表征為科研評估方面邁出的第一步,而不是一種十全十美的方法。Sweeney解釋到:“這種方法可以進(jìn)行現(xiàn)在必須要做的工作,盡管它并不完美?!?/p>
現(xiàn)實中的一些問題,如水和資源的利用,非常復(fù)雜而且相互關(guān)聯(lián),處理這些問題需要用到物理學(xué)和生物學(xué),還要從經(jīng)濟(jì)學(xué),行為心里學(xué),法學(xué)等社會科學(xué)中獲取專門知識。然而,根據(jù)多學(xué)科研究專題研討會的與會者,這些關(guān)鍵的科研工作在之前的科研評估體系中從未被正確地評估過。墨累達(dá)令盆地計劃是為了管理澳大利亞最大,最豐產(chǎn)的農(nóng)業(yè)區(qū)的水資源而制定,通過這一計劃,多學(xué)科工作組的本質(zhì),協(xié)作的難度得到很好的體現(xiàn)?!斑@個教訓(xùn)告訴我們究竟該如何去做。”阿德萊德大學(xué)負(fù)責(zé)研究策略的副校長Robert Saint說到“這個計劃不受歡迎,原因是它打算大量削減分配給很多農(nóng)民的用水。這個計劃頒布后很快就被農(nóng)民們焚毀了,于是整個計劃不得不重新回到設(shè)計階段。”問題出在編制報告的墨累達(dá)令盆地政府缺乏整合法律、政治、社會問題以及科學(xué)的特殊能力。
澳大利亞最大的國家研究機(jī)構(gòu),總部位于堪培拉的聯(lián)邦科學(xué)和工業(yè)研究組織(CSIRO)對多學(xué)科研究并不陌生。它的執(zhí)行總裁 Megan Clark表示:“CSIRO專門從事大規(guī)模的、廣闊的、泛學(xué)科的研究?!爱?dāng)你進(jìn)入CSIRO的第一刻,你就會意識到這并不是一個從事個人研究的地方?!彼f到,“我們以任務(wù)為指引,以多學(xué)科小組的形式進(jìn)行研究”。作為結(jié)果,CSIRO的研究評價包含傳統(tǒng)科研產(chǎn)出,比如專利和期刊論文,還有來自獨(dú)立的同行評價專家小組的研究質(zhì)量評估,但關(guān)鍵在于我們還將對終端用戶產(chǎn)生的影響納入了評價系統(tǒng),終端用戶包括公眾、政府部門、私人企業(yè)、環(huán)境組織。
CSIRO運(yùn)營著規(guī)模很大的多學(xué)科合作研究項目,也即大家所知的國家旗艦研究。它們聚焦于國內(nèi)以及國際都很重要的課題,如生物安全性,預(yù)防保健,工業(yè)生產(chǎn)與可持續(xù)農(nóng)業(yè)。在10年多一點(diǎn)的時間內(nèi),旗艦計劃已經(jīng)成長為包含聯(lián)邦科學(xué)和工業(yè)研究組織超過半數(shù)研究活動的巨型項目了。
國家旗艦研究是聯(lián)邦科學(xué)和工業(yè)研究組織(CSIRO;澳大利亞最大的國家研究機(jī)構(gòu)),大學(xué),其他公眾資助的研究機(jī)構(gòu),私營企業(yè)及國際組織間共同合作的大型多學(xué)科的研究合作項目?,F(xiàn)有11個旗艦研究項目來處理國家面臨的重大挑戰(zhàn) (見下表)。旗艦研究起始于3個2003年的旗艦項目,現(xiàn)在已經(jīng)成為澳大利亞有史以來進(jìn)行的最大規(guī)模的科研項目。這些項目占據(jù)了CSIRO15億澳元(約合14億美元)科研預(yù)算的大半,并會在2015年7月達(dá)到CSIRO總預(yù)算的65%。
建立旗艦項目需要對組織進(jìn)行本質(zhì)上的重組。開始CSIRO在全國保有11個傳統(tǒng)的按學(xué)科劃分的部門,旗艦項目可以從任何部門或者合作組織征調(diào)人員。從2014年7月起,它們將會合并成9個旗艦項目。從2005年開始,有一個與旗艦項目合作的基金會已經(jīng)掏出1.3億澳元來鼓勵大學(xué)、CSIRO以及其他研究機(jī)構(gòu)之間的合作。
Clark回憶,當(dāng)初很多利益相關(guān)者擔(dān)心旗艦項目會導(dǎo)致該組織研究質(zhì)量下降,但結(jié)果恰恰相反,她說:“去年,我們的研究質(zhì)量和全球地位創(chuàng)下新的紀(jì)錄”。舉例來說,根據(jù)該組織最新的學(xué)術(shù)健康與卓越報告,CSIRO研究論文的引用率比全球平均水平高出56%。
“CSIRO的方法與大學(xué)里進(jìn)行的多學(xué)科研究不同,大學(xué)為研究者提供初始的科研訓(xùn)練環(huán)境。”墨爾本莫納什大學(xué)負(fù)責(zé)學(xué)術(shù)績效的副教務(wù)長Langfield-Smith說到。科研環(huán)境傾向于以學(xué)科為組織基礎(chǔ)進(jìn)行提升,這種筒倉式的結(jié)構(gòu)對于需要超出專業(yè)進(jìn)行思考的研究者來說是毫無裨益的。Langfield-Simth提到了招募大學(xué)研究人員研究多學(xué)科項目的困難。尤其是處于職業(yè)生涯中期和末期的研究者,他們發(fā)現(xiàn)自己很難放下手中的研究去加入一些可能無法讓他們在所在領(lǐng)域的頂級期刊上發(fā)表文章的項目。更糟糕的是,多學(xué)科研究難以開啟:多學(xué)科研究通常會缺乏共同語言,分析問題的模式,概念性的框架以及專門的期刊(很多成果只能轉(zhuǎn)而以政府工作報告的形式發(fā)表)。
通過觀察,Saint發(fā)現(xiàn)同行評議在爭取科研資金以及發(fā)表論文的階段也會對多學(xué)科研究項目不利?!拔矣浀迷谏镄畔W(xué)的早期階段,數(shù)據(jù)學(xué)家們會爭論,說這些理論早在40年前就有了,而生物學(xué)家們對數(shù)據(jù)沒有任何興趣?!苯M委會提出了一些促進(jìn)多學(xué)科研究的方法,包括為此類研究設(shè)置專門的資金支持以及調(diào)整科研評估的標(biāo)準(zhǔn),這樣那些政府工作報告中的成果也會被認(rèn)為是符合條件的科研成果。
澳大利亞旗艦項目
澳大利亞最大的信息與通訊技術(shù)研究機(jī)構(gòu)的董事長Hugh Durrant-Whyte建議通過去除一些不利的抑制因素來解決這個問題。他認(rèn)為基金委員會應(yīng)該培養(yǎng)一種鼓勵科學(xué)家去承接一些非??岫掖碳さ捻椖?,而非因為在結(jié)題的時候能發(fā)表文章的 科研氛圍。年輕的科學(xué)家應(yīng)當(dāng)被鼓勵去發(fā)現(xiàn)一些有趣的東西并獲得成功?!斑@會自然而然地激勵科學(xué)家的合作以及多學(xué)科的研究?!彼a(bǔ)充到。
新加坡令人印象深刻的生物科研中心Biopolis,建成于2003年
● 當(dāng)選擇是有限的
研究對于政府的價值與其對于商界,學(xué)術(shù)界以及公眾的價值大相徑庭,這也是在一開始就要設(shè)定好標(biāo)準(zhǔn)的關(guān)鍵原因。新西蘭總理的首席科學(xué)顧問Peter Gluckman說到:“這種方式改變了科研的方法,影響了科學(xué)家工作和思維的方式?!癎luckman主要指在政府引導(dǎo)的項目在新西蘭這樣的小國度里占去科研預(yù)算的很大比重。或許這個理論最有說服力的論據(jù)來自于新加坡,新加坡只用了不超過10年的時間就將生物醫(yī)學(xué)產(chǎn)業(yè)從一個很低的起點(diǎn)發(fā)展起來。
新加坡白手起家,用不超過10年的時間建立了欣欣向榮的生物醫(yī)學(xué)產(chǎn)業(yè)。盡管新加坡幾乎沒有自然資源,但它于20世紀(jì)90年代早期就制定了以知識經(jīng)濟(jì)為基礎(chǔ),用創(chuàng)新推動的經(jīng)濟(jì)發(fā)展模式。政府認(rèn)為生物醫(yī)學(xué)科技是一個發(fā)展?jié)摿薮蟮念I(lǐng)域,決定發(fā)展自己的相關(guān)產(chǎn)業(yè)。新加坡2000年開始投資生物醫(yī)學(xué)研究,到2012年,整個產(chǎn)業(yè)規(guī)模達(dá)到了300億新元(約合240億美元),包括超過 50個生產(chǎn)廠家,50個研發(fā)中心以及30家生物科技公司和制藥公司的地區(qū)總部。
第一階段(2000年-2005年)專注于快速發(fā)展新加坡的基礎(chǔ)科研能力以及基礎(chǔ)設(shè)施建設(shè),同時吸引其他國家的研發(fā)實驗室落戶新加坡。政府還建立了叫做Biopolis的研發(fā)中心。Biopolis由 7座大樓組成, 占地185,000平方米,耗資5億新元,并且緊鄰新加坡國立大學(xué)。
第二階段(2006年-2010年)專注于支持新加坡承擔(dān)轉(zhuǎn)化型和臨床型的研究的能力,并將其轉(zhuǎn)化成保健產(chǎn)品和相關(guān)應(yīng)用。Lonza和Genentech之類的大型生物醫(yī)學(xué)公司被新加坡優(yōu)越的商業(yè)和投資環(huán)境所吸引,包括慷慨的稅率以及接近靈活、高素質(zhì)的人才市場。
現(xiàn)階段(2011年-2015年)專注于鼓勵產(chǎn)業(yè)的國際投資和與業(yè)界的聯(lián)系。為了方便同私人企業(yè)的合作,新加坡政府建立了工業(yè)合作辦公室。這五年的預(yù)算增長了16%,達(dá)到160億新元,這筆資金的一大部分注入了為工業(yè)服務(wù)的研究。
David Lane是新加坡科技研究局(A*STAR)的首席科學(xué)家,A*STAR和新加坡經(jīng)濟(jì)發(fā)展董事會都負(fù)責(zé)實施了最早的生物醫(yī)學(xué)科研項目來發(fā)展這一產(chǎn)業(yè)。他表示確定影響力是政府制定策略的主要部分?!拔覀兊念A(yù)算增加了。”他說到“但是其中的30%至40%是被政府留著的,只有當(dāng)我們的研究工作和產(chǎn)業(yè)相結(jié)合,政府才會將資金發(fā)放給我們”。考量成果的標(biāo)尺則是公司投資新加坡生物醫(yī)學(xué)產(chǎn)業(yè)的水平。Gluckmen說到:“政府對學(xué)術(shù)功利的態(tài)度和專注于積累知識的學(xué)術(shù)角度有很大不同。政府通常會關(guān)心科研對經(jīng)濟(jì)、環(huán)境、國防以及公眾健康的影響,政府的這種優(yōu)先級排列在小經(jīng)濟(jì)體中尤其顯著,因此小經(jīng)濟(jì)體不會輕易地投資沒有價值的研究。
澳大利亞卓越研究 (ERA)最初成立的目標(biāo)之一就是確定澳大利亞在哪些研究領(lǐng)域擁有世界影響力,墨爾本大學(xué)教務(wù)長,澳大利亞科學(xué)研究委員會(ARC)的前任領(lǐng)導(dǎo) Margaret Sheil介紹說。Sheil曾經(jīng)多次參與ERA的設(shè)計和運(yùn)行,她指出盡管澳大利亞人口很少,但它在很多學(xué)科領(lǐng)域都在參與全球競爭。用一個評估工具展現(xiàn)這些不同的觀點(diǎn)不是一件容易的事情。Alan Finkel是莫納什大學(xué)的科研贊助商以及校長,他指出資助機(jī)構(gòu)需要搭建一個框架,這樣比如在產(chǎn)業(yè)工作,對政府報告的貢獻(xiàn)或是將研究成果傳達(dá)給公眾這類工作而不是研究者的同行評議將會被轉(zhuǎn)變成和論文引用次數(shù)有相同作用的內(nèi)容,這樣做的目的是提高對研究影響力的評估水平。
● 指標(biāo)并非是答案
評估一個國家的研究本身并不是結(jié)束。當(dāng)按照研究成果評估行動時,資助者的觀點(diǎn)往往大相徑庭,但是他們在一點(diǎn)逐漸取得共識,那就是任何有價值的評估,無論是對科研撥款分配的評估,還是為了鼓勵優(yōu)秀學(xué)術(shù)的評估,都應(yīng)當(dāng)基于一系列的評估,而并不僅僅依據(jù)發(fā)表論文的數(shù)量以及論文的引用次數(shù)。在墨爾本專題座談會最后的專家小組會議中,來自四個重要的科研資助組織的代表討論了如何去最好地整合從評估中得到的信息。
“傳統(tǒng)意義上,科研評估只會評估已經(jīng)做完的項目,但是在不斷變化的科研環(huán)境中,一位科學(xué)家過去的成功也許并不能預(yù)示他將來能做得很好?!蔽挥诳芭嗬陌拇罄麃喓献餮芯恐行慕M織(CRC)的董事長Tony Peacock說到。CRC運(yùn)營著全國40家CRC,維系著公眾資助的研究者以及業(yè)界之間的合作伙伴關(guān)系。Peacock認(rèn)為只獎勵那些過去成功的研究策略會阻礙新的方法并抑制創(chuàng)新,而創(chuàng)新恰恰是成功科研的本質(zhì)。澳大利亞國家健康與醫(yī)學(xué)研究委員會(NHMRC)每年要分配超過7.5億澳元(約合7億美元)的政府資金用于科研,其董事長Warwick Anderson也持類似觀點(diǎn),反對僅僅依靠引用和同行評議的指標(biāo)。
“不僅研究本身很重要,而且它的成果如何運(yùn)用也很重要?!彼f到,“醫(yī)學(xué)研究者通常希望他們的成果會影響決策者以及醫(yī)療從業(yè)者,還有其他科學(xué)家,這就意味著他們需要在學(xué)術(shù)文獻(xiàn)之外的領(lǐng)域發(fā)表文章。為了合理評估他們的工作,你需要檢索除了學(xué)術(shù)期刊之外的資料,比如政府工作報告以及衛(wèi)生健康專家的看法。因為衛(wèi)生保健的巨大開銷,政府對這個領(lǐng)域非常感興趣。澳大利亞的衛(wèi)生保健產(chǎn)業(yè)規(guī)模大約是 1400億澳元,包括疫苗生產(chǎn)商以及醫(yī)療器械研發(fā)企業(yè),尤其是它還是澳大利亞第二大的出口工業(yè)產(chǎn)品的來源”。
澳大利亞其他的主要研究資助機(jī)構(gòu)是ARC,它負(fù)責(zé)分配每年超過9億澳元的科研經(jīng)費(fèi)。ARC還管理著ERA,ERA的目標(biāo)是確定澳大利亞的強(qiáng)勢研究領(lǐng)域。ERA的評估是由國際知名的研究者負(fù)責(zé)的,以各個學(xué)科為單元組織,分成8個科研評估委員會。它們使用傳統(tǒng)的方法評估科研質(zhì)量,如引用次數(shù)分析和同行評議,但是它包含了更多元化的評估方式,如加入商業(yè)化收益的考量以及受尊敬度的衡量。舉例來說,加入一個博學(xué)的組織,比如成為澳大利亞科學(xué)院的會員。
ARC的董事長Aidan Byrne在專題座談會表示ERA會在全球范圍內(nèi)對科研質(zhì)量進(jìn)行比較,這是一種嚴(yán)格的,穩(wěn)定的,涉及所有學(xué)科領(lǐng)域的測量方法。他說這樣做的目的是為了讓研究者完成從注重數(shù)量到注重質(zhì)量的轉(zhuǎn)變。于是ERA評估訓(xùn)練做得非常成功,并且也沒有在評估中將訓(xùn)練和經(jīng)濟(jì)回報綁架。還有,盡管ERA的評估非常依賴指標(biāo),但是被ERA評估為出色的科研項目,在現(xiàn)實生活中也有相對應(yīng)的產(chǎn)出。比如澳大利亞95%的企業(yè)科研投資都用在研究者水平世界一流甚至更好的領(lǐng)域內(nèi),商業(yè)化的研究中的98%以及發(fā)表專利的研究中的97%也是這樣。HEFCE的Sweeney對各種評估方式的看法則更加直白:沒有完美的系統(tǒng),但是你需要開始去做,你可以提出替代性的方案,并且花上5年的時間去討論這些方案,但這不能解決現(xiàn)在的問題。
[資料來源:Nature][責(zé)任編輯:李 輝]