李光文 吳達(dá) （天津市科技統(tǒng)計(jì)與發(fā)展研究中心 天津300041）

0 引言

我國(guó)“國(guó)家中長(zhǎng)期科技發(fā)展規(guī)劃綱要（2006—2020）”中指出，到2020年，中國(guó)科技進(jìn)步對(duì)經(jīng)濟(jì)增長(zhǎng)的貢獻(xiàn)率要提高到60%左右，研發(fā)投入占GDP比重要提高到2.5%。[1]隨著我國(guó)政府對(duì)科技研發(fā)投入的不斷增加，如何公平、合理地分配科研資源成為社會(huì)日益關(guān)注的熱點(diǎn)問(wèn)題。現(xiàn)實(shí)社會(huì)中存在的學(xué)風(fēng)浮躁、學(xué)術(shù)不端等問(wèn)題對(duì)科研事業(yè)的健康發(fā)展產(chǎn)生了消極影響。中國(guó)科協(xié)新當(dāng)選主席韓啟德在與媒體見(jiàn)面時(shí)講到：“學(xué)風(fēng)問(wèn)題的解決是一個(gè)長(zhǎng)期的過(guò)程，在一定程度上還是很不理想，我覺(jué)得它有深遠(yuǎn)的歷史原因、文化原因、社會(huì)原因，甚至是制度原因，如果我們科學(xué)體制機(jī)制不進(jìn)一步改革，如果我們的評(píng)價(jià)技術(shù)不改革，如果我們的管理機(jī)制不進(jìn)行改革，包括科研資源分配的機(jī)制不進(jìn)行改革，那么影響我們學(xué)風(fēng)的這些根源還不能夠得到根本改變，我們?cè)陂L(zhǎng)期之內(nèi)還需要努力改進(jìn)這些問(wèn)題?！盵2]

同行評(píng)議作為一種評(píng)價(jià)方法被廣泛運(yùn)用到規(guī)劃設(shè)計(jì)、項(xiàng)目評(píng)議、經(jīng)費(fèi)資助、課題結(jié)項(xiàng)、科技獎(jiǎng)勵(lì)、刊物論文評(píng)議、成果出版等方面，被國(guó)內(nèi)外專家公認(rèn)為是目前最切實(shí)可行的方法。同行評(píng)議可以促使科研管理機(jī)構(gòu)的決策更加民主和科學(xué)，使科學(xué)技術(shù)的發(fā)展更契合我國(guó)社會(huì)的發(fā)展要求。

在同行評(píng)議過(guò)程中，專家的評(píng)價(jià)意見(jiàn)直接影響評(píng)審結(jié)果。本文利用專家反評(píng)估指標(biāo)對(duì)同行評(píng)議數(shù)據(jù)進(jìn)行分析，反映出同行評(píng)議過(guò)程中的一些問(wèn)題，為同行評(píng)議工作提供參考。

1 研究現(xiàn)狀

1.1 同行評(píng)議研究

同行評(píng)議最早始于專利申請(qǐng)中的查新，隨后應(yīng)用到論文評(píng)審、科學(xué)技術(shù)評(píng)價(jià)。目前同行評(píng)議已被國(guó)內(nèi)外科研管理機(jī)構(gòu)廣泛使用。

英國(guó)學(xué)者Gibbons認(rèn)為同行是“該領(lǐng)域的科學(xué)家或鄰近領(lǐng)域的科學(xué)家”。我國(guó)自然科學(xué)基金委對(duì)同行的解釋是“由科學(xué)系統(tǒng)的同行組成的群體”。美國(guó)學(xué)者Chubin對(duì)同行評(píng)議的定義是“被科學(xué)界用來(lái)判斷工作程序的正確性，確認(rèn)結(jié)果的可靠性以及對(duì)有限資源的分配，諸如雜志版面、研究資助經(jīng)費(fèi)、公認(rèn)性和特殊榮譽(yù)”。英國(guó)G&G認(rèn)為評(píng)議是以提問(wèn)的方式評(píng)價(jià)本領(lǐng)域研究工作的科學(xué)價(jià)值?！皣?guó)家自然科學(xué)基金項(xiàng)目管理規(guī)定（試行）”指出，評(píng)議是對(duì)申請(qǐng)項(xiàng)目的創(chuàng)新性、研究?jī)r(jià)值、研究目標(biāo)、研究方案等做出獨(dú)立的判斷和評(píng)價(jià)。[3]

綜上所述，同行評(píng)議是以申請(qǐng)者的客觀材料為基礎(chǔ)，借助評(píng)議專家對(duì)某一學(xué)科較深入的了解和研究，對(duì)一項(xiàng)成果未來(lái)的價(jià)值做出主觀評(píng)議和判斷的評(píng)審方法。同行評(píng)議方法方便易行，集成性、科學(xué)性的特點(diǎn)使其在科技項(xiàng)目評(píng)審決策中占據(jù)重要地位，但是這種評(píng)議方式受專家個(gè)體差異性，如主觀意志的影響和專業(yè)知識(shí)水平的局限以及評(píng)議過(guò)程中其他偶然因素影響，容易產(chǎn)生個(gè)人偏見(jiàn)和片面性。[4]

1.2 同行評(píng)議專家反評(píng)估研究

趙黎明等（1995）提出了累計(jì)數(shù)、離散率、命中率、成功率4個(gè)反評(píng)估指標(biāo)，成為國(guó)內(nèi)考察評(píng)審專家指標(biāo)的基礎(chǔ)，但是對(duì)于如何基于這些單項(xiàng)指標(biāo)建立評(píng)價(jià)體系并未做出說(shuō)明。[5]鄭稱德（2002）提出基于評(píng)議結(jié)果的專家評(píng)議工作業(yè)績(jī)?cè)u(píng)測(cè)指標(biāo)，包括經(jīng)驗(yàn)指標(biāo)、偏差指標(biāo)、命中指標(biāo)及有效性指標(biāo)，并根據(jù)專家意見(jiàn)得出這3個(gè)指標(biāo)的權(quán)重分別為0.25、0.35和0.4。[6]王成紅等（2004）進(jìn)一步探討了對(duì)同行評(píng)議專家評(píng)議結(jié)果進(jìn)行定量評(píng)估的問(wèn)題，給出了科研項(xiàng)目評(píng)價(jià)值的數(shù)學(xué)模型。文章給出了同行評(píng)議專家關(guān)于基金申請(qǐng)項(xiàng)目評(píng)價(jià)值的調(diào)整算法，對(duì)已有的2個(gè)定量指標(biāo)進(jìn)行了改進(jìn)，并給出了算數(shù)偏差、最大絕對(duì)值偏差和項(xiàng)目的非共識(shí)度等3個(gè)新的定量評(píng)估指標(biāo)。這些定量指標(biāo)具有的物理、數(shù)學(xué)意義，對(duì)合理選擇同行評(píng)議專家有重要意義。[7]

保羅·尼文（2003）曾在《平衡計(jì)分卡》中提出了指標(biāo)的選擇原則和指標(biāo)數(shù)據(jù)字典的概念，對(duì)建立專家評(píng)價(jià)指標(biāo)體系做了較深入的研究。[8]英國(guó)同行評(píng)議調(diào)查組給研究理事會(huì)咨詢委員會(huì)的報(bào)告中全面討論了定量方法的作用，他們認(rèn)為“如果用合理的價(jià)格能獲得相關(guān)有用的信息，例如使用自然和社會(huì)科學(xué)引文索引，也許在檢查同行評(píng)議全面實(shí)施的時(shí)候，可以切合實(shí)際地、試驗(yàn)性地使用它。”[9]

2 同行評(píng)議專家反評(píng)估實(shí)證研究

2.1 數(shù)據(jù)來(lái)源

天津市科技計(jì)劃項(xiàng)目立項(xiàng)和結(jié)題評(píng)審使用了同行評(píng)議方式，從2007年起使用了局域網(wǎng)評(píng)審，2008年開始將結(jié)題工作專家評(píng)審意見(jiàn)進(jìn)行數(shù)據(jù)庫(kù)管理，評(píng)審過(guò)程中積累了大量數(shù)據(jù)。本文使用這些數(shù)據(jù)進(jìn)行專家評(píng)審反評(píng)估實(shí)證研究，共選用了140個(gè)項(xiàng)目組，2 653個(gè)項(xiàng)目的評(píng)審數(shù)據(jù)。

2.2 實(shí)證研究

2.2.1 評(píng)審累計(jì)數(shù)分析 對(duì)專家參加評(píng)審次數(shù)進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果數(shù)據(jù)顯示，參加7次評(píng)審的專家有1位；參加5次評(píng)審的專家共6位；參加4次評(píng)審的專家共9位；參加3次評(píng)審的專家共40位；參加2次評(píng)審的專家共103位。

表1數(shù)據(jù)說(shuō)明，天津市科技計(jì)劃項(xiàng)目評(píng)審盡可能多的邀請(qǐng)專家參與，讓更多專家參與項(xiàng)目評(píng)審，這樣有兩個(gè)好處：一方面可以避免評(píng)審專家隊(duì)伍過(guò)于固定，影響同行評(píng)議的公正性；另一方面邀請(qǐng)更多專家參與評(píng)審，擴(kuò)大了專家隊(duì)伍，特別是給年輕學(xué)者更多參與項(xiàng)目評(píng)審的機(jī)會(huì)，增加了學(xué)者參加科學(xué)研究的積極性，有利于良好學(xué)術(shù)氛圍的形成。

表1 專家參加評(píng)審次數(shù)統(tǒng)計(jì)

2.2.2 評(píng)審結(jié)論一致性分析 每個(gè)項(xiàng)目組邀請(qǐng)5位專家獨(dú)立為項(xiàng)目評(píng)審打分和做評(píng)價(jià)結(jié)論，評(píng)價(jià)結(jié)論分立項(xiàng)和不立項(xiàng)，限定每位專家評(píng)審結(jié)論為立項(xiàng)的項(xiàng)目數(shù)量。其中，3名及以上專家同意立項(xiàng)的項(xiàng)目視為通過(guò)專家評(píng)審。

表2說(shuō)明同行評(píng)議結(jié)論符合要求，為天津市科技計(jì)劃項(xiàng)目立項(xiàng)提供了重要的參考依據(jù)。

表2 同意立項(xiàng)比分布情況

2.2.3 專家評(píng)審命中率分析 對(duì)專家的某次評(píng)審結(jié)果進(jìn)行分析，將專家對(duì)每個(gè)項(xiàng)目的評(píng)審結(jié)論與該項(xiàng)目最終是否立項(xiàng)進(jìn)行比較。如果專家結(jié)論與項(xiàng)目評(píng)審結(jié)果一致，則設(shè)為命中。將專家在該次評(píng)審中所有項(xiàng)目的命中數(shù)量與項(xiàng)目立項(xiàng)總數(shù)進(jìn)行比較得出命中率。

統(tǒng)計(jì)數(shù)據(jù)中，共有56位專家參加了3次以上評(píng)審，選取這部分專家評(píng)審數(shù)據(jù)進(jìn)行命中率統(tǒng)計(jì)。統(tǒng)計(jì)結(jié)果顯示命中率最低為58.3%，最高為100%，56位專家歷次評(píng)審結(jié)果命中率分布如圖1。從圖中可以看到絕大多數(shù)專家命中率很高，在80%以上。

圖1 所有專家評(píng)審結(jié)果命中率分布情況

圖2 專家歷次評(píng)審命中率標(biāo)準(zhǔn)差分布情況

對(duì)這56位專家歷次評(píng)審結(jié)果進(jìn)行的命中率標(biāo)準(zhǔn)差統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果顯示命中率標(biāo)準(zhǔn)差最大是0.198，最小是0.014，多數(shù)專家的命中率在0.1以內(nèi)，如圖2。參加3次以上評(píng)審的專家命中率很高，歷次評(píng)審命中率標(biāo)準(zhǔn)差很小，說(shuō)明這部分專家在評(píng)審工作中公平公正，科學(xué)嚴(yán)謹(jǐn)?shù)赝瓿稍u(píng)審任務(wù)。

2.2.4 離散率分析 項(xiàng)目最終得分是根據(jù)5位專家打分加權(quán)計(jì)算得到，項(xiàng)目得分滿分為100分，對(duì)專家打分和項(xiàng)目最終得分進(jìn)行比較。專家打分與項(xiàng)目匯總得分差距最小的為2.6分，最大為31.9分。專家打分與匯總得分差距小于10分的占74.4%，如圖 3。

圖3 專家打分橫向離散率

對(duì)參加3次以上評(píng)審專家的打分差距進(jìn)行分析，差距最小的為3.04分，最大為18.54分，專家打分與匯總得分差距小于10分的占84.5%，如圖4。對(duì)參加3次以上評(píng)審的專家打分差距明顯小于所有專家。

2.2.5 項(xiàng)目結(jié)題評(píng)審意見(jiàn)與項(xiàng)目執(zhí)行結(jié)果比較分析 選取部分已結(jié)題項(xiàng)目，對(duì)合同書與結(jié)題報(bào)告數(shù)據(jù)進(jìn)行比較研究，選取可量化的指標(biāo)：出版專著、培養(yǎng)人才、申請(qǐng)專利、申請(qǐng)發(fā)明專利、發(fā)表論文。通過(guò)這些指標(biāo)判斷項(xiàng)目實(shí)際完成情況，統(tǒng)計(jì)結(jié)果顯示5項(xiàng)指標(biāo)完成率平均為90.9%，如表3。

圖4 專家打分橫向離散率（部分專家）

表3 合同書指標(biāo)完成情況

項(xiàng)目實(shí)際完成指標(biāo)，且專家對(duì)“項(xiàng)目完成情況”的結(jié)論為“完成”，則認(rèn)為專家評(píng)價(jià)意見(jiàn)與項(xiàng)目實(shí)際完成情況一致。統(tǒng)計(jì)顯示一致率平均為91.85%。說(shuō)明結(jié)題評(píng)審中專家能根據(jù)項(xiàng)目的實(shí)際完成情況進(jìn)行客觀公正的評(píng)價(jià)。

3 相關(guān)建議

3.1 適當(dāng)加強(qiáng)同行評(píng)議過(guò)程信息公開

同行評(píng)議被我國(guó)采用以來(lái)，各級(jí)科研管理機(jī)構(gòu)都制定了完善的管理辦法。絕大多數(shù)專家的評(píng)審工作是公平、公正的。但是少數(shù)專家的失信行為被媒體放大。主要是因?yàn)閷＜以u(píng)審工作要求保密，信息發(fā)布較少，再加上立項(xiàng)命中率較低，使沒(méi)有成功立項(xiàng)申報(bào)者對(duì)同行評(píng)議過(guò)程產(chǎn)生了質(zhì)疑。

建議在保證專家評(píng)審工作保密的前提下，在評(píng)審結(jié)束后加大評(píng)審信息公開，將專家評(píng)審意見(jiàn)和評(píng)審結(jié)論適當(dāng)向社會(huì)公開。一方面可以擴(kuò)大社會(huì)各界對(duì)同行評(píng)議工作的監(jiān)督，促進(jìn)專家評(píng)審工作的公平公正；另一方面將專家評(píng)審結(jié)果反饋給項(xiàng)目申請(qǐng)者，使申請(qǐng)者了解自己項(xiàng)目存在的不足，同時(shí)也是一次學(xué)術(shù)交流過(guò)程，有利于學(xué)術(shù)發(fā)展和創(chuàng)新，部分基金項(xiàng)目已經(jīng)實(shí)行了評(píng)審結(jié)果反饋。

3.2 建立統(tǒng)一的評(píng)審專家?guī)?/h3>

豐富的專家?guī)熨Y源是項(xiàng)目準(zhǔn)確遴選評(píng)審專家的基礎(chǔ)，建立統(tǒng)一專家?guī)炜梢越鉀Q同行評(píng)議中的一些問(wèn)題。統(tǒng)一專家?guī)旖⒑?，?shí)現(xiàn)在國(guó)家與省市科研管理機(jī)構(gòu)中共享，各級(jí)科研管理機(jī)構(gòu)共同維護(hù)、完善專家信息。建設(shè)統(tǒng)一專家?guī)斓耐瑫r(shí)建立專家誠(chéng)信檔案，將專家在評(píng)審工作中的行為記錄到誠(chéng)信檔案中，建立起專家后評(píng)估體系，專家后評(píng)估得分作為專家遴選的主要依據(jù)，形成專家誠(chéng)信體系建設(shè)的良性循環(huán)。

3.3 完善專家評(píng)審過(guò)程的組織工作

完善評(píng)審過(guò)程組織工作。保證評(píng)審工作過(guò)程的公平、公正、公開。在專家評(píng)審前，認(rèn)真審查評(píng)審專家資格，嚴(yán)格執(zhí)行專家回避制度，避免項(xiàng)目申請(qǐng)者與評(píng)審專家發(fā)生利益沖突。健全專家遴選辦法，為項(xiàng)目匹配最合適的評(píng)審專家。在專家評(píng)審過(guò)程中，嚴(yán)格執(zhí)行保密規(guī)范，嚴(yán)格要求參加評(píng)審的工作人員，避免評(píng)審信息泄露。評(píng)審工作結(jié)束后，客觀公正地匯總評(píng)審結(jié)果，將專家評(píng)審意見(jiàn)反饋給項(xiàng)目申請(qǐng)者。

4 結(jié)語(yǔ)

通過(guò)對(duì)天津市科技計(jì)劃項(xiàng)目評(píng)審實(shí)證研究可以看出，同行評(píng)議中絕大多數(shù)專家能夠按照評(píng)審要求，認(rèn)真負(fù)責(zé)地完成項(xiàng)目評(píng)審，專家評(píng)審效果較好，專家評(píng)審結(jié)果與項(xiàng)目完成情況一致性高，說(shuō)明同行評(píng)議是一種比較科學(xué)、可靠的科研項(xiàng)目評(píng)價(jià)方法。特別是多次參加評(píng)審的專家的各項(xiàng)反評(píng)估指標(biāo)明顯高于其他專家，說(shuō)明這部分專家的學(xué)術(shù)水平較高、科研誠(chéng)信好，應(yīng)該充分利用好這部分專家資源，特別是用于重大科研項(xiàng)目的評(píng)價(jià)工作。

但是，在研究過(guò)程可以看出專家反評(píng)估方法本身具有一定的局限性，只能作為反映專家評(píng)審能力的一個(gè)參考，不能作為判斷專家評(píng)審能力的標(biāo)準(zhǔn)。在實(shí)際操作中應(yīng)該結(jié)合專家誠(chéng)信檔案，以事實(shí)為依據(jù)，嚴(yán)肅、客觀地對(duì)專家評(píng)審能力進(jìn)行評(píng)價(jià)?！?/p>

[1]中國(guó)人民共和國(guó)科學(xué)技術(shù)部[EB/OL].http://www.most.gov.cn/kjgh/.

[2]人民網(wǎng)[EB/OL].http://scitech.people.com.cn.

[3]劉魯寧.科技項(xiàng)目同行評(píng)議體系反評(píng)估模型分析與設(shè)計(jì)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2007.

[4]毛莉莉.論同行評(píng)議的公平、公正原則[D].上海：東華大學(xué)，2007.

[5]趙黎明，徐孝涵，張衛(wèi)東.對(duì)同行評(píng)議專家的反評(píng)估分析[J].中國(guó)科學(xué)基金，1995（7）：66-70.

[6]鄭稱德.同行評(píng)議專家工作業(yè)績(jī)測(cè)評(píng)及其模型研究[J].科研管理，2002，23（2）：43-47.

[7]王成紅，何杰，劉克，等.關(guān)于同行評(píng)議專家定量評(píng)估指標(biāo)研究的幾個(gè)新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐，2004（2）：83-90.

[8]張艷，江志斌.重大建設(shè)項(xiàng)目評(píng)審專家遴選指標(biāo)體系研究[J]，理論探討，2004（12）：9-11.

[9]Mohammadreza Hojat.Impartial Judgment by the“Gatekeepers”of Science:Fallibility and Accountability in the Peer Review Process[J].Advances in Health Sciences Education，2003（3）：75-96.