朱少強(qiáng)

摘要：國際上有關(guān)科研計量評價的研究比較深入和系統(tǒng)，具體內(nèi)容涉及到定量評價指標(biāo)、文獻(xiàn)計量與引文分析、命名現(xiàn)象分析、內(nèi)容分析、學(xué)術(shù)研究對社會影響力的測度等多個方面，研究人員遍布美、英、澳、荷、丹麥等主流發(fā)達(dá)國家，其中澳大利亞REPP項目的工作尤其引人注目。

關(guān)鍵詞：科研評價；科研計量；文獻(xiàn)計量；科學(xué)學(xué)

中圖分類號：G316文獻(xiàn)標(biāo)志碼：A文章編號：1008－5831(2008)02－0072－06

在進(jìn)行科學(xué)及科學(xué)項目的評價時，國際上普遍采用同行評議的方式，這也包括對人文社會科學(xué)的評價。最早的同行評議源于1416年對專利申請的審查。20世紀(jì)30年代以后，美國率先把同行評議引進(jìn)到科研項目經(jīng)費(fèi)申請的評審工作中，此后這一方法為歐美國家廣泛采用，成為國際學(xué)術(shù)界通行的學(xué)術(shù)水準(zhǔn)評價手段。隨著科學(xué)計量學(xué)日趨成熟，在20世紀(jì)70年代末至80年代初，歐美發(fā)達(dá)國家出現(xiàn)的引文計量法開始向同行評議制提出了謹(jǐn)慎的挑戰(zhàn)。早期的計量學(xué)諸量化指標(biāo)主要是為了科學(xué)決策而開展的科學(xué)質(zhì)量和科學(xué)發(fā)展趨勢的研究。科學(xué)計量學(xué)指標(biāo)真正應(yīng)用到科學(xué)家個人研究成就的評估過程中，大約是20世紀(jì)80年代中后期和90年代初開始的。盡管科學(xué)計量學(xué)起源于西方發(fā)達(dá)國家，并率先開發(fā)出SCI、SSCI、A&HCI;等引文計量工具，但首先把科學(xué)計量學(xué)指標(biāo)應(yīng)用于科學(xué)家職稱與成就評定的則是前東歐社會主義諸國。在西方發(fā)達(dá)國家，似乎對引入科學(xué)計量學(xué)指標(biāo)方法要謹(jǐn)慎和緩慢得多。直到20世紀(jì)90年代初，英國高等教育基金委員會才在《1992年科研評價實(shí)施條例：評價標(biāo)準(zhǔn)》中明確宣布同行評議是科研評價的基石的同時，同樣公開表示他們將向包括文獻(xiàn)計量學(xué)指標(biāo)在內(nèi)的可能作為同行評議補(bǔ)充的評價方法和建議敞開大門。大約也在同一時期，在德國、奧地利、日本等國家的大學(xué)或科研院所的職稱評定過程中，也程度不同地引進(jìn)了科學(xué)計量學(xué)和文獻(xiàn)計量學(xué)的方法和指標(biāo)。

一、定量評價指標(biāo)

澳洲國立大學(xué)社會科學(xué)研究院科研評價與政策項目組(REPP)，是澳大利亞首屈一指的系統(tǒng)性學(xué)術(shù)評價中心，其研究的焦點(diǎn)領(lǐng)域?yàn)榭蒲锌冃Ш桶拇罄麃唽W(xué)術(shù)研究結(jié)構(gòu)的深層次定量分析。在ARC(澳大利亞研究理事會)、CSIRO(聯(lián)邦科學(xué)與工業(yè)研究組織)、NHMRC(國家衛(wèi)生醫(yī)藥研究中心)等資助下，還定期對科學(xué)出版物進(jìn)行文獻(xiàn)計量分析。REPP強(qiáng)調(diào)，為科研評價開發(fā)一些新的定性和定量指標(biāo)很有價值。同時，在人文社會科學(xué)、工程技術(shù)領(lǐng)域，文獻(xiàn)計量方法不怎么適用，所以需要為這類學(xué)科開發(fā)一些其他的測度方法和指標(biāo)。

2005年REPP在一份研討報告中，對英、法、澳等國家所采用的定量學(xué)術(shù)評價指標(biāo)進(jìn)行了詳細(xì)的綜述研究和理論剖析。提出采用定量指標(biāo)進(jìn)行科學(xué)研究評價的基礎(chǔ)步驟一般有7個方面。

其一，搞清楚基本概念，區(qū)分什么是研究質(zhì)量(research quality)、效果(impact)、學(xué)術(shù)水平(scientif-ic excellence)等。

其二，對定量指標(biāo)進(jìn)行“角色定位”，確定是完全取代同行評議，還是作為同行評議的輔助手段。多數(shù)學(xué)者贊同后一種觀點(diǎn)，即定量指標(biāo)作為一種信息工具，與同行評議相互補(bǔ)充、相互比較、相互啟發(fā)，為同行評議提供輔助性的評價信息，尤其要防止科研管理層對定量指標(biāo)作用的盲目拔高和誤用。

其三，指標(biāo)的選取。每一類指標(biāo)都有自己的優(yōu)缺點(diǎn)，所以學(xué)者們建議采用多項指標(biāo)予以綜合，且定量指標(biāo)也不能脫離同行評議等其他評價方式單獨(dú)使用，在對個人或小范圍群體進(jìn)行評價時尤其如此。如何選取指標(biāo)和確定指標(biāo)權(quán)重方面，有的是采取向?qū)＜覍W(xué)者發(fā)放調(diào)查問卷、征詢意見的辦法，有的則建議采用統(tǒng)計分析方法，選擇那些相關(guān)度最高的指標(biāo)組合。格倫采爾認(rèn)為，極有必要開發(fā)一些標(biāo)準(zhǔn)化的評價指標(biāo)，以增加文獻(xiàn)計量分析結(jié)果的可靠性、有效性，使文獻(xiàn)計量數(shù)據(jù)之間相互兼容。但他同時指出，標(biāo)準(zhǔn)化并不意味著文獻(xiàn)計量專家必須遵循同一個標(biāo)準(zhǔn)。

其四，注意因評價而產(chǎn)生的負(fù)面后果。如果評價結(jié)論影響資金分配或者學(xué)術(shù)地位(prestige)，那么也很可能會影響研究人員及其管理層的日常行為。無論對定性評價還是定量評價都是如此?？赡艿暮蠊皇悄繕?biāo)的錯位，即把在評價中獲取高分當(dāng)作最高行動綱領(lǐng)，而不關(guān)注正常的學(xué)術(shù)研究目標(biāo)是否達(dá)成。學(xué)術(shù)機(jī)構(gòu)會根據(jù)評價規(guī)則進(jìn)行“博弈”(game-playing)。另一個可能的后果是引起學(xué)術(shù)活動自身的改變，學(xué)術(shù)研究人員因評價而產(chǎn)生一些適應(yīng)性行為，比如大量往國際期刊投稿而歧視國內(nèi)期刊，重復(fù)發(fā)表論文，申請低風(fēng)險的、主流的研究項目等。

其五，認(rèn)識和處理各學(xué)科領(lǐng)域之間的差別。不同的學(xué)科領(lǐng)域，其出版和引用方式是不同的。就理科而言，發(fā)表期刊論文很重要，文獻(xiàn)的引文期限較短，但數(shù)學(xué)引文期限較長。工科論文較少，引文期限最短，專利更加重要，但計算機(jī)學(xué)科則以國際會議論文及其報告、發(fā)言最能反映其成就。文科更加注重專著、作品等，論文只占學(xué)術(shù)研究成果總量的近一半。同時，即使在同一學(xué)科內(nèi)部，不同專業(yè)、研究方向的出版和引用行為也有差別。在一些小學(xué)科，由于研究人員總數(shù)較少，可能平均被引量就不如那些大學(xué)科。理想的辦法是把評價限制在一個小的研究領(lǐng)域內(nèi)。真正遵循“同類比較”(same with the same)的原則。

其六，選擇聚合(評價單元)的級別。對于科技政策應(yīng)以學(xué)科領(lǐng)域作為評價對象，還是以研究機(jī)構(gòu)、研究團(tuán)體作為評價對象，學(xué)者們存在一些分歧。前者是基于認(rèn)知的觀點(diǎn)，后者是基于管理操作的觀點(diǎn)。另外，根據(jù)統(tǒng)計學(xué)原理，要保證評價單元之間的差別不是隨機(jī)現(xiàn)象，評價單元就不能太小。例如引文量的分布是高度偏斜的：少數(shù)論文被大量引用，大多數(shù)論文被少量引用，甚至無人引用。如果分析的對象規(guī)模太小，就可能導(dǎo)致個別行為決定整體結(jié)論的現(xiàn)象。部分學(xué)者建議，研究團(tuán)體的出版物數(shù)量在50份以上，或每年10～20份出版物，3～5年一評，才能基本滿足統(tǒng)計條件。還有人建議如果出版物份數(shù)在10份以下，應(yīng)用中位數(shù)代替平均值。研究團(tuán)體被認(rèn)為是文獻(xiàn)計量分析得以成立的最小單元，而對于研究人員個人的評價則是不合適的。

其七，評價結(jié)果的呈現(xiàn)。定量分析的結(jié)果以什么方式發(fā)布，對它的用途、有效性及人們的認(rèn)可度有相當(dāng)大的影響。對研究質(zhì)量的評判沒有絕對的標(biāo)尺，所以一個簡單的數(shù)字不能揭示任何東西，而必須要有一個對照的標(biāo)準(zhǔn)，以此來評判績效。這時。統(tǒng)計方法常被用來檢驗(yàn)被引率是否顯著地高于或低于平均水平。排名表(ranking tables)是比較流行的數(shù)據(jù)表示方式。這些排名通常用一組定量指標(biāo)計算得出，標(biāo)準(zhǔn)的文獻(xiàn)計量測度如出版物數(shù)量、引文數(shù)量等常常在這類指標(biāo)中占據(jù)核心地位。許多人嘗試為不同類型的指標(biāo)賦予一定權(quán)重，并以此構(gòu)建一個綜合的指數(shù)系統(tǒng)。通過綜合指數(shù)就可以為被評價的對象計算得分，并給出排名表。但這些指標(biāo)加權(quán)體系都

不可避免地陷于武斷(arbitrary)，目前還沒有關(guān)于權(quán)重篩選的經(jīng)驗(yàn)基礎(chǔ)或?qū)嶒?yàn)支持。這類排名表通常很能吸引眼球，但往往容易被夸大和誤用。

REPP報告還根據(jù)各類研究文獻(xiàn)對定量評價指標(biāo)進(jìn)行了歸納整理，給出了40個指標(biāo)的名稱、描述、現(xiàn)有應(yīng)用、操作性定義、計算方法、對數(shù)據(jù)來源的要求等。并將所有定量指標(biāo)分為出版物指標(biāo)、引文指標(biāo)、結(jié)構(gòu)特征指標(biāo)、其他非文獻(xiàn)計量指標(biāo)4類，研究了各類指標(biāo)的應(yīng)用范圍、局限性及其指標(biāo)間的相互關(guān)聯(lián)。

澳洲國立大學(xué)REPP成員的C Donovan和LButler將定量評價指標(biāo)分為質(zhì)量指標(biāo)(quality indica-tors)、影響力指標(biāo)(impact indicators)兩類，其中質(zhì)量指標(biāo)又分為標(biāo)準(zhǔn)文獻(xiàn)計量指標(biāo)(規(guī)定范圍內(nèi)的學(xué)術(shù)出版物數(shù)量、篇均被引率、用影響因子加權(quán)的期刊論文數(shù))、非標(biāo)準(zhǔn)文獻(xiàn)計量指標(biāo)(總被引數(shù)、用出版商或期刊聲譽(yù)加權(quán)的出版物數(shù)量、論文瀏覽與下載次數(shù))、文獻(xiàn)計量以外的其他指標(biāo)(榮譽(yù)和獎勵、學(xué)術(shù)團(tuán)體成員、學(xué)術(shù)團(tuán)體職務(wù)、參加學(xué)術(shù)會議、雜志編委、訪問學(xué)者)三類。選取了十幾個代表性指標(biāo)，對經(jīng)濟(jì)學(xué)領(lǐng)域的2個教學(xué)型和3個研究型的學(xué)術(shù)機(jī)構(gòu)進(jìn)行試點(diǎn)統(tǒng)計研究，觀察這些指標(biāo)值是否因?qū)W術(shù)機(jī)構(gòu)的性質(zhì)(偏重教學(xué)還是科研，以基礎(chǔ)研究、應(yīng)用研究還是政策研究為主)不同而存在明顯差異。研究結(jié)論認(rèn)為，將標(biāo)準(zhǔn)文獻(xiàn)計量方法擴(kuò)展到非ISI來源項目，并不能提供額外的有用信息，論文瀏覽與下載次數(shù)不能視為對研究質(zhì)量的有效測度，學(xué)術(shù)榮譽(yù)指標(biāo)不能單獨(dú)作為對研究質(zhì)量的有效測度，但可以提供一些有用的背景信息。對研究質(zhì)量、學(xué)術(shù)榮譽(yù)、社會影響3類不同級別的指標(biāo)，應(yīng)分別予以界定，而不應(yīng)籠統(tǒng)地混為一談。

英國J S Katz對指標(biāo)得分與團(tuán)體規(guī)模的相關(guān)性研究成果表明，傳統(tǒng)的科研評價指標(biāo)未能很好地處理科研績效與機(jī)構(gòu)規(guī)模之間的非線性關(guān)系，而這可能導(dǎo)致因?yàn)橐?guī)模不同而高估或低估其科研績效。實(shí)證的統(tǒng)計數(shù)據(jù)表明，學(xué)術(shù)認(rèn)知、學(xué)術(shù)影響與學(xué)術(shù)團(tuán)體的出版規(guī)模之間存在冪函數(shù)關(guān)系(power law relation-ship)，冪指數(shù)可能大于1或小于1。同樣，在合作性研究的數(shù)量與學(xué)術(shù)機(jī)構(gòu)規(guī)模之間也存在冪函數(shù)關(guān)系。根據(jù)上述認(rèn)識，作者開發(fā)了一些與規(guī)模無關(guān)(scale-independent)的學(xué)術(shù)績效測度指標(biāo)。

二、文獻(xiàn)計量與引文分析法

W Glanzel與U Schoepin以1993年SCI和SSCI年度累積索引作為數(shù)據(jù)來源，選取“連續(xù)出版物占參考文獻(xiàn)比例”、“平均引文年限”、“平均引文數(shù)”3個指標(biāo)，比較了文科與理科的引文差別。通過研究發(fā)現(xiàn)，第一個指標(biāo)是區(qū)分文科、理科的敏感特征指標(biāo)，但數(shù)學(xué)、技術(shù)性學(xué)科、一些文科領(lǐng)域等在該特征指標(biāo)的表現(xiàn)上存在著交叉；在某些文科領(lǐng)域，引文不僅指向?qū)Ｖ?、預(yù)印本、報告等非連續(xù)出版物，而且還指向一些非學(xué)術(shù)性文獻(xiàn)。因此，在將標(biāo)準(zhǔn)的文獻(xiàn)計量方法移植應(yīng)用到文科領(lǐng)域時，需要對原有的信息流模型進(jìn)行重大改進(jìn)。

丹麥J A Wallin指出了文獻(xiàn)計量方法。主要是引文分析方法應(yīng)用于科研評價的可能缺陷、注意事項、應(yīng)對措施等。他指出，文獻(xiàn)計量方法是天然定量的，但卻被用來作出有關(guān)定性特征的判斷。那么實(shí)際上，各種文獻(xiàn)計量實(shí)踐的主要目的，是將“科學(xué)質(zhì)量”等不可見因素轉(zhuǎn)換為一個可操作的實(shí)體(manageableentity)。與同行評議相比，文獻(xiàn)計量法的優(yōu)點(diǎn)是很容易得到大規(guī)模的應(yīng)用。盡管許多專家在各類研究文獻(xiàn)中提出了警告，但文獻(xiàn)計量方法仍然被廣泛地、不加選擇地應(yīng)用(uncritical use)于評價和資源分配目的。用引文分析指標(biāo)來評價科研績效，是基于這樣一個假設(shè)，即：科學(xué)研究質(zhì)量與獲得的引文數(shù)量之間是簡單的線性關(guān)系。但實(shí)際上，引文行為受到學(xué)科領(lǐng)域、出版物類型、作者等因素的影響，同時也與科學(xué)研究的類型、其長遠(yuǎn)意義等有關(guān)。例如，有關(guān)綜述、方法論的文獻(xiàn)明顯具有較高的被引率；一些包含錯誤觀點(diǎn)或論證的文獻(xiàn)吸引了比中等質(zhì)量文獻(xiàn)更多的引文；而一些知名的開創(chuàng)性研究，其被引率并沒有人們期望的那么高。文獻(xiàn)計量方法具有高度的“工具依賴”性(methodology-dependent)，但對所有這些指標(biāo)都有必要進(jìn)行各種數(shù)據(jù)的規(guī)范化(data normali-zation)處理。文獻(xiàn)計量應(yīng)用于科研評價目的具有很多局限性(piffalls)，因此需要熟練的技能、批判的眼光，以及對該學(xué)科領(lǐng)域的確切了解，才能正確實(shí)施文獻(xiàn)計量分析與解釋分析結(jié)論。

A Vincent和D Ross為評價大學(xué)教師的科研績效介紹了引文分析技術(shù)及其指標(biāo)。手工的引文計量可以計算篇均引文率，引文及時性(recency)，作者自引率，專著、期刊論文及其他資料在參考文獻(xiàn)中的比例、論文篇均長度、期刊自引率等。而用電子數(shù)據(jù)庫則可以計算排除自引的期刊被引率、影響因子、即年指標(biāo)和被引半衰期。這些分析的結(jié)果可以用來評價大學(xué)教師及其研究活動，也可以用作選擇學(xué)術(shù)期刊的依據(jù)。必須指出，引文數(shù)據(jù)并不能取代同行評議，同時必須注意到有許多因素會影響到引文率，如語言、期刊的歷史長短與格式、刊期及主題領(lǐng)域等。

J s Kotiaho從研究引文行為出發(fā)，探討引文分析方法可能帶來的誤差。其中之一是引文歧視。如來自第三世界國家的論文可能在引文中受到明顯歧視；引文可能會指向某些學(xué)術(shù)權(quán)威、合作者、朋友，或僅僅提供與研究有關(guān)的背景資料，而不是指向與論文最相關(guān)的文獻(xiàn)；還有一些作者姓名排序?qū)е碌臒o意識的歧視。其二是人們傾向于轉(zhuǎn)引綜述性文獻(xiàn)，而不是原始文獻(xiàn)，導(dǎo)致真正的引文鏈被掩蓋。另外還有錯引現(xiàn)象，如拼錯作者姓名、雜志名稱、卷期頁碼等，導(dǎo)致引文丟失。盡管這些問題并不顯著，但由手這些偏差可能會影響對研究人員個人的評價，并涉及到競爭性的基金申請、職位聘任等利益問題，所以運(yùn)用引文分析作為評價工具時應(yīng)該持謹(jǐn)慎和批判的態(tài)度，考慮各種可能的偏差因素。

荷蘭萊登大學(xué)Anthony F J van Raan主張文獻(xiàn)計量分析可以客觀、透明地評價科研業(yè)績，是繼同行評議之后不可缺少的評價元素，在研究團(tuán)隊、大學(xué)院系、研究所等對象層次上尤其如此。傳統(tǒng)上，同行評議被認(rèn)為是定性的評價方法，文獻(xiàn)計量指標(biāo)則被認(rèn)為是定量的。但這其實(shí)并不絕對，同行評議中就有一些定量元素，比如在權(quán)威性期刊上的出版物數(shù)量。與之相對，對著作的引用可被視為一種評判，視為同行科學(xué)家對該著作“投贊成票”。借助深層次的文獻(xiàn)計量分析，不只是提供一般的“附加數(shù)據(jù)”，而且能迫使專家們重新審視他們的判斷，并提供一些挑戰(zhàn)性的新見解。盡管應(yīng)用在較低統(tǒng)計水平，如個人層次上，文獻(xiàn)計量的表現(xiàn)不盡如人意；但對于較長時間內(nèi)一個研究團(tuán)體的評價來說，它確實(shí)是反映研究績效、尤其研究質(zhì)量的強(qiáng)有力指標(biāo)。除“發(fā)表論文數(shù)”、

“總被引次數(shù)”、“篇均被引次數(shù)”3個常見計量指標(biāo)外，Raan還開發(fā)了“未被引證論文的百分比”、“某期刊的篇均被引率”、“世界范圍內(nèi)某學(xué)科的篇均被引率”、“國內(nèi)某學(xué)科的篇均被引率”及其相互之間的比值等復(fù)雜指標(biāo)，以ISI數(shù)據(jù)庫為工具，分析了德國醫(yī)學(xué)研究所的科研績效情況。研究得出了一些很有意思的結(jié)果。并認(rèn)為所謂“國際標(biāo)準(zhǔn)化影響指標(biāo)”，即“篇均被引次數(shù)”除以“世界范圍內(nèi)某學(xué)科篇均被引率”的比值，是反映科研績效的最佳指標(biāo)(‘crownindicator)。

三、命名分析、內(nèi)容分析等其他評價方法

命名現(xiàn)象(eponymy)是指用原創(chuàng)者的名字為某一現(xiàn)象、定理、理論、原則、發(fā)明或方法流程命名。命名可以說是科學(xué)界的最高榮譽(yù)，因?yàn)榭茖W(xué)家的成就將進(jìn)入科學(xué)史，并從此不朽。當(dāng)命名現(xiàn)象成立時，科學(xué)家的姓名不再被單獨(dú)提起，并且／或者也不出現(xiàn)在參考文獻(xiàn)列表中，而是整個地成為了某一學(xué)科領(lǐng)域內(nèi)科學(xué)交流語言的一部分。命名現(xiàn)象實(shí)際上是一種隱含的引用，原始文獻(xiàn)的被引率會因命名及對二手文獻(xiàn)的引用而被低估。命名現(xiàn)象可以作為一種事后的評價依據(jù)，但它的評價周期可能長達(dá)數(shù)百年，具有歷史性，且只適用于那些具有崇高學(xué)術(shù)地位的杰出學(xué)者。A Fernandez-Cano和I M Femández-Guer-rero兩名西班牙學(xué)者利用一部教育領(lǐng)域的人名索引、一個本地數(shù)據(jù)庫及非正式專家訪談對該國教育領(lǐng)域內(nèi)的命名現(xiàn)象進(jìn)行了研究。

英國R J Ormerod指出，同行評議與引文分析都有各自的隱含前提：同行評議假定論文被一份有聲譽(yù)的雜志采用，就證明論文質(zhì)量高；引文分析方法假定論文被引用證明其學(xué)術(shù)影響，而學(xué)術(shù)影響是學(xué)術(shù)質(zhì)量的一個次級指標(biāo)。盡管同行評議與引文分析都有各自的弱點(diǎn)，但發(fā)展歷史都比較長，應(yīng)用也很普遍。Ormerod則嘗試著將內(nèi)容分析法應(yīng)用于科研評價。他認(rèn)為，內(nèi)容分析的價值不在于獲得與同行評議或引文分析相一致的結(jié)果，而在于因不一致而揭示出來的額外信息。盡管內(nèi)容分析法比較復(fù)雜、耗時，不如同行評議和引文分析有效、可靠和實(shí)用，所提供的信息也很有限，但仍然可以作為同行評議和引文分析法的有益補(bǔ)充。

四、學(xué)術(shù)研究的社會效果評價

2005年英國經(jīng)濟(jì)與社會研究理事會(ESRC)舉辦了一個為期兩天的“學(xué)術(shù)研究的學(xué)術(shù)外效果評價研討會”(Non-academic Impact evaluation)，來自圣安德魯斯大學(xué)管理學(xué)院的H Davies等提交了一份與會報告，探討評價社會科學(xué)研究的學(xué)術(shù)外效果的方法。該文給出了“學(xué)術(shù)研究的學(xué)術(shù)外效果”概念定義，即“學(xué)術(shù)研究結(jié)論對政策、管理、專業(yè)實(shí)踐、社會行為或公共輿論(public discourse)的影響。這些影響可以是工具性的，如對政策、專業(yè)實(shí)踐、行為變化的影響；也可以是觀念性的，如改進(jìn)人們關(guān)于社會事務(wù)的知識、理解、態(tài)度等?！笨偨Y(jié)了兩種主要的評價途徑。一是前向追蹤法，即從研究本身出發(fā)，追蹤其所產(chǎn)生的后果。學(xué)術(shù)研究通常透過以下幾個方面產(chǎn)生社會效果：知識的生產(chǎn)，如同行評議過的論文；研究能力的提升，如研究生的培養(yǎng)與職業(yè)發(fā)展；政策或產(chǎn)品開發(fā)，如寫進(jìn)政府規(guī)劃綱要或協(xié)議；使特定群體受益；更廣泛的社會效益，如因國民健康或生產(chǎn)率提高而帶來的經(jīng)濟(jì)效益等。二是在用戶群體中理解學(xué)術(shù)研究的用途。這種方法通常會有典型案例分析，往往還包含對政策制定者進(jìn)行簡單調(diào)查。這種方法提供了一定的靈活性，它不僅可以找出特定的知識傳播路徑，而且可以探索出一些未知的傳播路徑、研究者與用戶之間的互動及其后果等。

經(jīng)濟(jì)學(xué)家們試圖找出方法，來評價農(nóng)業(yè)研究的經(jīng)濟(jì)效果，并為此進(jìn)行了一些實(shí)證研究。但是他們卻很少關(guān)注如何評價社會科學(xué)研究的社會效果。1997年國際糧食政策研究所(IFPRI)首次舉辦了有關(guān)這一問題的研討會。2001年11月荷蘭外交部與國際糧食政策研究所召集一群研究者，繼續(xù)就這一主題進(jìn)行研討。研討的結(jié)論歸為兩類，一是如何測量政策導(dǎo)向性社會科學(xué)研究的經(jīng)濟(jì)效果，二是如何提升該類型研究對于政策制定的影響力。對于前一個問題，與會人員提出了如下值得關(guān)注的方面：評價對象單元的規(guī)模；研究績效的分配(attribution)；從供給或需求出發(fā)的分析方法；如果某項研究得出意外的結(jié)果，那么研究的價值會提升；指標(biāo)的選擇，如經(jīng)濟(jì)福利的變化。社會分配結(jié)果的變化，文獻(xiàn)計量指標(biāo)，政策變化過程時間的縮短等；時間滯后效應(yīng)；事前評價與事后評價。

國際糧食政策研究所的H E Kilpatrick認(rèn)為。政策導(dǎo)向性社會科學(xué)研究的市場回報，應(yīng)該由那些為研究項目付錢的客戶來評判。對于特定的研究項目而言，事前與事后的評價都是需要的。事前評價用以決定這項研究是否應(yīng)受到資助；事后評價則用以決定與之有關(guān)的下一輪項目是否應(yīng)受到資助。事后評價可能基于研究結(jié)果所產(chǎn)生的影響而作出。他提出了用以評價社會科學(xué)研究的9種方法。首先重復(fù)原始研究，然后可選擇以下評價方法：(1)文獻(xiàn)計量分析；(2)同行評議；(3)案例分析；(4)用戶評估；(5)成本／收益分析或社會回報率測度；(6)回歸分析；(7)決策運(yùn)籌模型、數(shù)據(jù)包絡(luò)分析(DEA)；(8)運(yùn)籌學(xué)與計算經(jīng)濟(jì)學(xué)的最新進(jìn)展——模型仿真法；(9)各種方法的綜合。

兩名農(nóng)業(yè)經(jīng)濟(jì)學(xué)家D E Schimmmelpfennig和GW.Norton嘗試用經(jīng)濟(jì)學(xué)方法分析農(nóng)業(yè)經(jīng)濟(jì)研究所帶來的直接效益。他們認(rèn)為，農(nóng)業(yè)經(jīng)濟(jì)研究的最終產(chǎn)出是提供信息，許多研究旨在設(shè)計或改進(jìn)制度，貝葉斯決策理論與經(jīng)濟(jì)剩余分析是評估這些信息的可能途徑。他們探討了結(jié)合兩種方法來對農(nóng)業(yè)經(jīng)濟(jì)研究進(jìn)行實(shí)證性評價的優(yōu)缺點(diǎn)，并利用從關(guān)鍵決策者那里得來的先驗(yàn)和后驗(yàn)概率分析評估了三個案例。將這些概率導(dǎo)向一套“狀態(tài)／行動”集，顯然對于只有一個政策制定中心或具有一致決策程序的情況是最適宜的。

澳大利亞C Donovan總結(jié)歸納了見諸澳大利亞及國際上的各種評價指標(biāo)。

其一，在評價學(xué)術(shù)研究的社會效益方面，澳大利亞國內(nèi)研究機(jī)構(gòu)所采用的指標(biāo)有：商業(yè)化應(yīng)用、與產(chǎn)業(yè)界的聯(lián)系、為政府提供咨詢等。如產(chǎn)業(yè)化的收入、商業(yè)化披露的次數(shù)、孵化產(chǎn)業(yè)公司(start-up compa-ny)數(shù)、用戶滿意度、國際合作項目數(shù)、人力和資本支出、政策提案、專家委員會成員資格及發(fā)言邀請、研究生數(shù)、博士后數(shù)、參與合作研究項目成員數(shù)等。

其二，澳大利亞研究理事會(ARC)所采用的評價指標(biāo)有：合作機(jī)構(gòu)的數(shù)量、獲得橫向資金的數(shù)量、作者合著和合作申請專利的次數(shù)。該理事會2003年發(fā)布一份題為《知識的富足：澳大利亞研究理事會資助研究項目的投資回報》的報告，用純粹的經(jīng)濟(jì)收益觀點(diǎn)評價所資助的研究項目。但該報告也指出了社會效益的其他方面，如基礎(chǔ)知識體系的構(gòu)建、技能

的提高、決策的改善、衛(wèi)生及環(huán)境與文化的提升等，盡管沒有為這些方面擬定評價指標(biāo)。

其三，澳大利亞國家衛(wèi)生醫(yī)藥研究中心(NHM-RC)的“績效管理框架”則包含了多維測度。其中“知識利用”之“衛(wèi)生建議的作用”指標(biāo)有：咨詢建議被非學(xué)術(shù)性引用的次數(shù)、利益相關(guān)者對建議與信息的知曉率和滿意度?！爸R轉(zhuǎn)移進(jìn)入衛(wèi)生政策和實(shí)踐”指標(biāo)有：在此基礎(chǔ)上進(jìn)行更深入研究的趨勢、引起公共衛(wèi)生政策和實(shí)踐的變化、承擔(dān)新的咨詢?nèi)蝿?wù)?！霸鲞M(jìn)的商業(yè)活動”包含商業(yè)產(chǎn)出的增長?！敖涣髋c合作的加強(qiáng)”指標(biāo)有：合作與伙伴關(guān)系的增長，包括從合作者獲得外部資助的水平，建立國內(nèi)、國際合作及伙伴關(guān)系的數(shù)量?！吧鐓^(qū)聯(lián)系的增進(jìn)”指標(biāo)有：為公眾及利益相關(guān)者提供顧問服務(wù)的趨勢、與其他機(jī)構(gòu)聯(lián)系的增多、對該中心產(chǎn)品的需求、利益相關(guān)者對該中心作用與建議的了解程度及滿意度水平、社區(qū)對中心所表述事項的了解及對這些事項態(tài)度看法的轉(zhuǎn)變。

其四，在國際上，新西蘭、荷蘭與英國在開發(fā)研究效益評價指標(biāo)上處于領(lǐng)先。新西蘭的科研績效指標(biāo)有：為用戶開發(fā)新的或改進(jìn)的產(chǎn)品、流程、服務(wù)，為用戶撰寫的報告、出版物和發(fā)言(包括各種未經(jīng)同行評審的非學(xué)術(shù)出版物、網(wǎng)站、電子文檔等)、伙伴關(guān)系(含合同、聯(lián)系)、建立這些聯(lián)系的總數(shù)及簡短描述。荷蘭采用的“關(guān)聯(lián)度”指標(biāo)，是指學(xué)術(shù)研究對社會發(fā)展及解決懸疑問題的影響。英國正在努力構(gòu)建測度社會效益的方法，提出“學(xué)術(shù)研究提供者及其用戶都應(yīng)該實(shí)際參與到評價過程中來，并就研究(評價)范圍給出各自的觀點(diǎn)”。英國藝術(shù)與人文研究理事會(AHRC)正在開發(fā)“一套十分新穎的效益評價方法，該方法基于知識的用戶，而不是知識的生產(chǎn)者進(jìn)行評價”。

五、小結(jié)

國際上有關(guān)科研計量評價的研究比較深入和系統(tǒng)。具體內(nèi)容涉及到定量評價指標(biāo)、文獻(xiàn)計量與引文分析法、命名現(xiàn)象分析、內(nèi)容分析、學(xué)術(shù)研究對社會影響力的測度等多個方面，研究人員遍布美、英、澳、荷、丹麥等主流發(fā)達(dá)國家，其中澳大利亞REPP項目的工作尤其引人注目。鑒于科研計量評價在中國科學(xué)研究評價體系中占有相當(dāng)重要的地位，跟蹤和研究國外有關(guān)科研計量評價的進(jìn)展?fàn)顩r，及時總結(jié)國內(nèi)外各類評價經(jīng)驗(yàn)是很有必要的。同時，西方國家盡管在理論與實(shí)證研究上都遠(yuǎn)遠(yuǎn)領(lǐng)先于中國及東歐諸國，但在科研評價實(shí)踐中的應(yīng)用卻很謹(jǐn)慎。這種“慢決策、快執(zhí)行”的策略和態(tài)度也很值得學(xué)習(xí)。

(責(zé)任編輯彭建國)