蔡乾和，陶 蕊

（1.河北聯(lián)合大學(xué) 文法學(xué)院，河北 唐山 063009；2.科技部科技評估中心 評估三處，北京 100081）

科學(xué)基金資助績效評價的文獻計量分析

蔡乾和1，陶 蕊2

（1.河北聯(lián)合大學(xué) 文法學(xué)院，河北 唐山 063009；2.科技部科技評估中心 評估三處，北京 100081）

以文獻計量評價方法，嘗試性地對科學(xué)基金資助在促進知識創(chuàng)新方面的績效進行了評估，發(fā)現(xiàn)采用文獻計量方法對國家科技資助的績效評價具有較強的適用性和說服力。研究分析表明，25年來科學(xué)基金資助促進了我國基礎(chǔ)研究SCI論文數(shù)量上的快速增長，對推動我國基礎(chǔ)研究的知識創(chuàng)新起著十分重要的作用，但在帶動與引領(lǐng)我國SCI論文影響力總體水平的提升作用尚顯不足。

科學(xué)基金；資助績效；基礎(chǔ)研究；文獻計量方法

國家自然科學(xué)基金（以下簡稱科學(xué)基金）自設(shè)立以來，堅持支持基礎(chǔ)研究，逐漸形成了由研究項目、人才項目和環(huán)境條件項目三大系列組成的資助格局。25年來，科學(xué)基金資助經(jīng)費穩(wěn)步增長，對基礎(chǔ)研究的支持力度不斷加大?？茖W(xué)基金資助對我國基礎(chǔ)研究的貢獻究竟如何，成為政府、基金委、科技界乃至公眾關(guān)注的焦點。因而，2010年，財政部與基金委聯(lián)合開展實施了“國家自然科學(xué)基金資助與管理績效國際評估”研究項目，采用“國內(nèi)準備，國際評估”的組織模式，對科學(xué)基金的戰(zhàn)略定位、資助績效、管理績效和影響等四個方面進行系統(tǒng)性評估。其中，資助績效涵蓋了科學(xué)基金在促進知識創(chuàng)新、學(xué)科發(fā)展、人才培養(yǎng)，以及解決國家重大科學(xué)需求等諸多方面的績效。

本文以湯森－路透（Thomson Reuters）公司提供的Web of Science權(quán)威引文數(shù)據(jù)為依據(jù)，利用文獻計量分析方法來探索與研究如何評價科學(xué)基金資助在促進知識創(chuàng)新方面的績效及其適用性。這種探索既有助于了解科學(xué)基金資助績效評價的量化途徑，也為將量化分析方法應(yīng)用于國家科技資助渠道的績效評價提供有益借鑒。

一、科學(xué)基金資助促進知識創(chuàng)新的績效分析

科學(xué)基金作為支持基礎(chǔ)研究的資助渠道，在促進知識創(chuàng)新的績效評價上，同行評議（peer review）或案例分析等定性方法是常用的評價方法，直接的量化評價則存在一定的困難。但是，科學(xué)基金資助的SCI論文產(chǎn)出一定程度上反映其促進知識生產(chǎn)與創(chuàng)新的績效，這為本文進行文獻計量學(xué)的量化評估提供了可能性和依據(jù)。下面從SCI論文產(chǎn)出、影響力、國內(nèi)外比較等角度對科學(xué)基金資助的SCI論文進行計量學(xué)分析。

科學(xué)基金資助SCI論文產(chǎn)出及貢獻率分析。從SCI論文產(chǎn)出的數(shù)量①來看，科學(xué)基金資助的SCI論文最早出現(xiàn)在1987年，當年僅有2篇。隨后，科學(xué)基金資助的SCI論文數(shù)量增長較快。2000年，科學(xué)基金資助的SCI論文超過2000篇；到2008年已經(jīng)有14，508篇，同2007年相比，年增長率超過30%；2009年，根據(jù)SCIE數(shù)據(jù)顯示，科學(xué)基金資助SCI論文增長至44，953篇。按照近5年的快速增長趨勢，2010年，科學(xué)基金資助的SCI論文估計在5.5萬～5.7萬篇左右（如圖1）。

圖1 國家自然科學(xué)基金資助的SCI論文產(chǎn)出數(shù)量變化情況（數(shù)據(jù)來源：湯森－路透提供）

從高質(zhì)量的SCI論文產(chǎn)出來看，以2009年為例（如表1），在高影響因子、世界權(quán)威性綜合期刊雜志（如Science、Nature和PLOS②）中，中國大陸作者在Nature上發(fā)表的論文受科學(xué)基金資助的占據(jù)半數(shù)以上。而在Science、PLOS上發(fā)表的論文，受科學(xué)基金資助的論文所占比例達1／4以上。

從貢獻率來看，依照經(jīng)濟學(xué)關(guān)于貢獻率指標的一般計算方法推斷，當投入量趨于穩(wěn)定（或固定值）時，貢獻率的大小實際相當于某一單位產(chǎn)出量對于整體產(chǎn)出量的比例。從中國大陸整體的產(chǎn)出量變化來看（如圖2），1987年，SCI收錄中國論文4880篇，占世界總數(shù)的0.7%，列世界第24位；2000年，中國的SCI論文突破20，000篇，列世界第8位；2008年，中國的SCI論文達95，506篇，占世界總數(shù)6.64%，位于美國、英國和德國之后，列第4位；而2009年，SCI收錄中國大陸論文占世界總量的10.1%，居世界第二位，僅次于美國。

表1 2009年中國大陸作者在Science、Nature和PLOS發(fā)表論文情況

圖2 SCI收錄中國大陸論文數(shù)量及占世界比例變化趨勢

相應(yīng)地，科學(xué)基金資助的SCI論文對比中國大陸的總體產(chǎn)出量：1987年，科學(xué)基金資助的SCI論文占中國總數(shù)的0.04%；2000年超過10%；2008年則達到15.2%；2009年則達到38.2%，超過1／3（如表2）。也就是說，到2009年，平均每3篇中國大陸發(fā)表的SCI論文中就有1篇受科學(xué)基金資助，結(jié)合科學(xué)基金在中國基礎(chǔ)研究投入所占的比重長期以來趨于穩(wěn)定（占20%左右），依照上述貢獻率的測算方法可以看出，科學(xué)基金資助對我國基礎(chǔ)研究知識創(chuàng)新的論文產(chǎn)出方面有較高的貢獻率，發(fā)揮了非常重要的作用。

以上數(shù)據(jù)分析表明，無論是從科學(xué)基金資助的SCI論文產(chǎn)出數(shù)量，還是從貢獻率來看，科學(xué)基金資助在推動我國基礎(chǔ)研究的知識創(chuàng)新方面發(fā)揮了重要作用。

二、科學(xué)基金資助的SCI論文影響力及國內(nèi)外比較分析

在考察科學(xué)基金對于基礎(chǔ)研究知識創(chuàng)新的產(chǎn)出及貢獻率的同時，有必要基于國際上相關(guān)基準數(shù)據(jù)和指標，對科學(xué)基金資助的SCI論文的影響力進行“質(zhì)”的分析。當前，衡量論文影響力的評價指標通常包括總被引用頻次（Total Citations）和被引用率、篇均影響力（Citation Impact）、高被引論文分布特征、h指數(shù)③（h Index）、平均百分位④（Mean Percentile）等多角度的引文分析指標。以下從這幾方面指標進行分析：

表2 中國大陸SCI論文增長與科學(xué)基金資助SCI論文產(chǎn)出情況比較

從總被引用頻次來看，截至2010年9月，科學(xué)基金資助的SCI論文總被引用頻次為74543次，篇均被引用率為1.66次，超過了全球平均水平（1.37次）。而從被引用率的國內(nèi)國際比較來看（如圖3），全球80%左右（中國大陸60%左右）的SCI論文都有被引用，趨于穩(wěn)定，而科學(xué)基金資助的SCI論文被引用率波動相對較大。其中，1993年以后至2001年，科學(xué)基金資助的SCI論文被引用率同全球水平相比較低，但總體上較中國大陸要高（自1998年以后）；而1988年至1993年，以及2004年以后，科學(xué)基金資助的SCI論文被引用率超過全球水平。需要說明的是，2007年以后，無論是全球、中國大陸還是科學(xué)基金資助的SCI論文被引用率下滑，其原因是論文發(fā)表后普遍需要一段時間的積累才能夠達到一定的被引頻次。因此，科學(xué)基金資助的SCI論文被引率總體上處于較高水平，說明科學(xué)基金資助的SCI論文學(xué)術(shù)認同度較高。

從篇均影響力來看，篇均影響力表示平均每篇論文的被引用頻次，一般來說越早發(fā)表的論文獲得的被引用頻次有可能越高。自1987年以來，中國大陸的SCI論文篇均影響力基本趨于5～10之間，例如，1999～2009年，中國大陸SCI論文累計達649，689篇，共被引3，404，466次，篇均被引次數(shù)為5.24，與發(fā)達國家相距甚遠，也遠低于10.06的世界平均水平。而科學(xué)基金資助的SCI論文篇均影響力，1999年以前波動較大，其中1990年的篇均影響力高達30頻次以上，其原因是該年度科學(xué)基金資助的37篇SCI論文中有幾篇被引頻次極高帶來的影響；1999年以后篇均影響力趨于平穩(wěn)，但仍比中國大陸的總體情況略高（如圖4）?？梢哉J為，科學(xué)基金資助的SCI論文在國內(nèi)來看水平較高，但由于中國總體水平同發(fā)達國家有差距，所以與國際上的同類論文相比還有一定差距。

圖3 國家自然科學(xué)基金資助論文與中國大陸和全球論文的被引用率發(fā)展趨勢

圖4 國家自然科學(xué)基金資助論文與中國大陸發(fā)表論文的篇均影響力對比

從高被引論文的分布來看（如表3），以2009年為例，科學(xué)基金資助的SCI論文數(shù)為44，953篇，其中被引頻次在全球前1%的論文數(shù)有321篇，占該年度科學(xué)基金資助論文總數(shù)比例為0.71%；前50%的論文數(shù)有9601篇，占比21.38%。這一數(shù)據(jù)說明，從全球范圍內(nèi)來看，代表國際領(lǐng)先水平的被引頻次較高的SCI論文中，科學(xué)基金資助的占有較小比例（0.71%），與國際上的差距還比較大。

從h指數(shù)分析來看，1986～2008年，科學(xué)基金資助的SCI論文h指數(shù)變化經(jīng)歷了一個先緩慢上升、后快速下降的趨勢（如圖5）。在2003年左右，因早期論文增長相對較慢和被引頻次的不斷積累在這一時期達到h指數(shù)的高峰，即該年度有近60篇科學(xué)基金資助的SCI論文被引頻次不低于60次；隨后幾年因科學(xué)基金資助的SCI論文數(shù)增長快于被引頻次的增長導(dǎo)致h指數(shù)下滑，進入新一階段的被引頻次累積時期。

表3 2009年科學(xué)基金資助的SCI論文的高被引論文分布情況

圖5 國家自然科學(xué)基金資助論文的h指數(shù)發(fā)展趨勢

從平均百分位指標來看（如圖6），1987～2008年，科學(xué)基金資助的SCI論文平均來看能夠排名在全球前55%左右，即其被引頻次位于全球論文被引頻次的中位數(shù)。也就是說在全球范圍內(nèi)科學(xué)基金資助的SCI論文的影響力處于中等水平。其中，1990年，科學(xué)基金資助的SCI論文的平均百分位處于40%以下，說明該年度科學(xué)基金資助的SCI論文被引頻次較高，影響力也較高。這與上面的篇均影響力分析相一致。

三、文獻計量方法評價科學(xué)基金資助績效的適用性

依據(jù)科學(xué)基金資助與管理績效評估的現(xiàn)實情況，選擇采用文獻計量方法對科學(xué)基金在促進知識創(chuàng)新方面的資助績效進行評價和分析，體現(xiàn)了如下幾方面的特點：

（1）強化了量化評價的適用性條件和優(yōu)勢。文獻計量評價方法多應(yīng)用于宏觀層面和中觀層面（如同質(zhì)機構(gòu)間的比較）的科技評價。其優(yōu)點是具有客觀性和國際可比性。

（2）樣本空間足夠大，評價系統(tǒng)尺度較大，能較好反映績效和減小誤差。利用文獻計量指標評價科研產(chǎn)出能力和水平時，有一個系統(tǒng)誤差問題，評價結(jié)果的誤差與評價系統(tǒng)的尺度大小呈負相關(guān)，即系統(tǒng)的尺度越大，評價結(jié)果的誤差就越小，反之，評價結(jié)果的誤差就越大?；A(chǔ)研究的產(chǎn)出是知識的創(chuàng)造，多以論著形式體現(xiàn)，但論文產(chǎn)出更為普遍，且長時間跨度的論文產(chǎn)出能為文獻計量分析提供足夠大的樣本。一般來說，“產(chǎn)出”帶來“成效”，而“產(chǎn)出”和“成效”帶來“影響”，三者可呈現(xiàn)出交叉遞進關(guān)系。［1］因此，通過文獻計量方法分析科學(xué)基金資助的論文產(chǎn)出情況，既可反映科學(xué)基金在促進基礎(chǔ)研究知識創(chuàng)新方面的成效，也能一定程度上反映科學(xué)基金對我國基礎(chǔ)研究的影響與貢獻。此外，此次的評價系統(tǒng)是基于1986－2010年的 Web of Science收錄的SCI論文數(shù)據(jù)庫，以及科學(xué)基金25年來的資助情況統(tǒng)計數(shù)據(jù)，進行了較大尺度的文獻計量分析，評價結(jié)果有效地較小了誤差，客觀可信。

圖6 國家自然科學(xué)基金資助的SCI論文的平均百分位數(shù)變化情況

（3）有較強的可操作性。一方面，以web of science數(shù)據(jù)庫為統(tǒng)計源，科學(xué)基金資助的SCI論文數(shù)據(jù)相對完整，便于準確分析與操作；另一方面，由于該數(shù)據(jù)庫能夠提供國際及中國大陸范圍內(nèi)的相關(guān)數(shù)據(jù)，使利用計量學(xué)方法的分析具有可比性。

四、結(jié)語

綜上述，基于SCI數(shù)據(jù)庫，采用文獻計量評價方法從宏觀層面研究與評價國家自然科學(xué)基金的資助績效，具有合理性、可信度和適用性，可以對今后運用量化的方法來評價國家科技計劃的資助績效提供借鑒，也對國家宏觀科技政策與科技管理具有參考價值。

依據(jù)文獻計量評價的量化方法評估發(fā)現(xiàn)：一方面，科學(xué)基金資助促進了我國基礎(chǔ)研究SCI論文數(shù)量上的快速增長，對推動我國基礎(chǔ)研究的知識創(chuàng)新和SCI論文影響力的提升起著十分重要的作用。

另一方面，盡管科學(xué)基金資助的SCI論文在數(shù)量上不斷增長，但科學(xué)基金資助的論文影響力在帶動與引領(lǐng)我國SCI論文影響力總體水平的提升作用尚顯不足。其表現(xiàn)為科學(xué)基金資助的高被引論文在總體產(chǎn)出中的比例還較小，這可能與科學(xué)基金管理中存在申請時評審較嚴，結(jié)題時因“允許失敗”而對成果的評定不作嚴格要求有關(guān)。針對這一情況，今后在科學(xué)基金的資助與管理中，需要改革與創(chuàng)新機制，改善與加強結(jié)題時的質(zhì)量評定和成果水平的評價工作。正如美國著名的評估學(xué)者Stuffiebeam所說：“評估的目的不在證明什么，而在力求改進”，［2］開展科學(xué)基金資助績效評估的根本目的在于，通過績效評估為科學(xué)基金的資助與管理決策提供可靠依據(jù)，從而提升資助績效與管理水平。

［注釋］

①本部分所涉及的相關(guān)數(shù)據(jù)均來源于SCIE數(shù)據(jù)庫，文獻類型包含Article、Note和Review。此外，由于早期 Web of Science數(shù)據(jù)庫并未將科學(xué)基金資助列為字段搜索項，因而本部分數(shù)據(jù)分析是基于參與此次評估合作的湯森－路透公司通過數(shù)據(jù)采集和項目匹配生成的抽樣數(shù)據(jù)（1986～2008年）。2008年8月以后加入了科學(xué)基金資助字段的標引，故2009年科學(xué)基金資助的論文統(tǒng)計數(shù)據(jù)比較完整。

②PLOS的數(shù)據(jù)包含PLOS系列的6本期刊，分別是PLOS GENETICS，PLOS NEGLECTED TROPICAL DISEASES，PLOS PATHOGENS，PLOS ONE，PLOS COMPUTATIONAL BIOLOGY，PLOS BIOLOGY，PLOS MEDICINE。

③h指數(shù)是指將一組論文按照被引頻次降序排列，h指數(shù)＝n意味著有n篇論文的被引頻次不低于n次。該指標是結(jié)合了論文數(shù)量與論文被引頻次兩方面的綜合性評價指標。

④平均百分位是指，該篇論文在全球該學(xué)科當年發(fā)表的論文中按被引頻次排名的百分位數(shù)。百分位數(shù)值越小，表明該篇論文為高被引論文；百分位數(shù)值越大，則反之。

［1］戚勇，李千目.科學(xué)研究績效評價的理論與方法［M］.北京：科學(xué)出版社，2009.

［2］朱衛(wèi)東，周光中等.國外科學(xué)基金績效評估及其對我國的啟示［J］.中國科技論壇，2009（7）：134－138.

［責(zé)任編輯 劉范弟］

Literature Metrology Analysis of Evaluation on NSFC Funding Performance

CAIQian－h(huán)e1，TAORui2
（1.SchoolofHumanitiesandLaw，HebeiUnitedUniversity，Tangshan，Hebei063009，China；2.DepartmentNo3，NationalCenterforScienceandTechnologyEvaluation，Beijing，10081，China）

This paper attempts to evaluate NSFC funding performance in promoting knowledge innovation.It discovers that the evaluation on national S＆T funding performance by literature metrology method be suitable and persuasive.The research shows that NSFC funding promotes rapid growth of the amounts of SCI paper in basic research，and plays an important role in pushing forward knowledge innovation of basic research during the past twenty－five years.But it is insufficient for NSFC in driving and leading the high level development of SCI paper impact in our country.

NSFC；funding performance；basic research；literature metrology method

G311

A

1672－934X（2012）03－0029－05

2012－04－03

“國家自然科學(xué)基金資助與管理績效國際評估”階段性成果。

蔡乾和（1973－），男，湖北陽新人，哲學(xué)博士，河北聯(lián)合大學(xué)文法學(xué)院講師，主要從事科學(xué)技術(shù)的哲學(xué)與計量學(xué)研究；陶蕊（1982－），女，陜西西安人，科技部科技評估中心助理研究員，主要從事科技與公共政策的研究。