工業(yè)和信息化部裝備工業(yè)司 國防科工局軍工項目審核中心

競爭性科研項目評估方法的創(chuàng)新與應用

工業(yè)和信息化部裝備工業(yè)司 國防科工局軍工項目審核中心

專家會議文本評估方法對更好開展第三方評估，形成穩(wěn)定支持和競爭性支持相協(xié)調(diào)的機制，公平公正地進行競爭，把科研項目安排在最具優(yōu)勢的研究單位，最大限度地激發(fā)科技第一生產(chǎn)力，都具有重要意義。

“十二五”期間，工業(yè)和信息化部裝備工業(yè)司委托國防科工局軍工項目審核中心作為第三方咨詢評估機構，開展有關科研項目的評估。面對競爭性科研項目出現(xiàn)的新情況、新特點，裝備司借鑒歐盟有關科研項目評估方法，結(jié)合我國科技體制和科技計劃的具體情況，與審核中心研究提出了專家會議文本評估方法。該方法的突出特點是：申報單位將項目建議書文本提交委托方，不到會議現(xiàn)場答辯；設立現(xiàn)場觀察員全程監(jiān)督評估過程；評估專家需當眾宣布自己的評分并陳述理由；評估結(jié)論當場公布并經(jīng)全體專家和觀察員簽字確認。這種評估方法在實際應用中卓有成效，得到競爭性科研項目申報單位的高度認可。

創(chuàng)新競爭性科研項目評估方法的形勢與需求

采用一種新的評估方法評估競爭性科研項目，是在深入分析競爭性科研項目的新特點和常用評估方法不足后提出的。

競爭性科研項目的新特點需要評估方法創(chuàng)新

最近幾年，隨著我國經(jīng)濟發(fā)展和技術進步，競爭性科研項目的申報單位范圍和數(shù)量都出現(xiàn)一些新的特點。一是申報單位的范圍不斷擴大。近年來，隨著國有企業(yè)研究開發(fā)能力的提升和民營企業(yè)經(jīng)濟技術實力的壯大，申報科研項目的單位不僅限于研究院所和高校，一些以生產(chǎn)制造為主的國有企業(yè)，改制、新建的民營企業(yè)，都積極參與研究開發(fā)。二是同一項目的申報單位數(shù)量呈上升趨勢。一些新技術、新工藝、新產(chǎn)品開發(fā)，特別是具有一定市場前景的民用技術、軍民兩用技術的研究開發(fā)和新產(chǎn)品的研制項目，國內(nèi)往往有多家研究機構、高校和企業(yè)具有相應研究基礎和技術積累，具備承擔科研項目的資格。近年來，多家單位申報同一科研項目的情況呈上升趨勢，競爭越來越激烈。

常用評估方法存在不足需要評估方法創(chuàng)新

長期以來，科研項目的評估主要采取評估機構組織專家和申報單位到會議現(xiàn)場答辯的方式進行。采用這種方式進行競爭性科研項目評估擇優(yōu)，評估專家可當場與申報單位進行討論溝通，有助于準確把握各參與競爭單位的優(yōu)勢和弱項。但以會議現(xiàn)場答辯方式進行競爭性科研項目評估存在一些難以避免的問題。一是難以有效避免競爭中的人為干擾因素。項目評估前或評估中，有的申報單位給熟悉的評估專家打招呼請予關照，影響專家評估工作。二是不利于專家客觀公正發(fā)表評估意見。鑒于一些技術領域研究機構的有限性，很多項目不得不聘請與申報單位同一集團的專家參與評估；會議現(xiàn)場答辯時，評估專家面對所屬集團相關領導和兄弟廠所負責人，難以完全客觀公正發(fā)表意見。三是一些申報單位對項目論證和建議書編寫不夠深入。有的申報單位認為現(xiàn)場答辯時講清問題即可，研究方案等核心內(nèi)容論述過于簡略，主要依靠到場答辯時口頭解說項目技術方案。由于存在上述問題，出現(xiàn)過落選單位不認同評估結(jié)論，到委托方申述并要求重新評估等情況。

面對競爭性科研項目出現(xiàn)的新情況、新特點，為規(guī)避會議現(xiàn)場答辯評估中出現(xiàn)的問題，自2011年以來，裝備司和審核中心研究提出了競爭性科研項目評估新方法——專家會議文本評估方法。

競爭性科研項目評估新方法的主要制度創(chuàng)新

專家會議文本評估方法要求申報單位將項目建議書文本提交委托方，申報單位不到會議現(xiàn)場答辯，在觀察員全程監(jiān)督下，評估機構組織專家按照既定程序開展評估工作。評估程序主要包括：評估機構向?qū)＜液陀^察員介紹評估流程、有關原則和紀律要求；評估專家閱覽項目建議書，對參與項目競爭的每份項目建議書進行獨立評分（不得相互討論），按照規(guī)定時間在會議現(xiàn)場上交評分表；所有專家宣布自己對每份項目建議書的評分情況并詳細陳述理由；專家組集體討論，共同決定對每份項目建議書的得分是否進行調(diào)整、如何調(diào)整，按照討論確定的分數(shù)作為最終得分，對最終得分第一的項目建議書推薦立項；最后對推薦立項項目建議書的研究方案進行詳細評估。與會議現(xiàn)場答辯評估相比較，專家會議文本評估方法主要在以下幾方面進行了評估制度創(chuàng)新：

評估專家不與申報單位人員見面

所有參與該項目競爭的申報單位只提供科研項目建議書和相關資料，均不到評估會議現(xiàn)場。評估專家所看到的只是項目建議書和相關資料，不與參與競爭的申報單位人員見面。

設立現(xiàn)場觀察員全程參與評估過程

觀察員由參與競爭單位的上級主管部門、集團派出，其作用相當于現(xiàn)場公證員。有關部門、集團派出觀察員，要在會前報告委托方并經(jīng)委托方同意。觀察員全程參加相關項目的評估，可查閱參與相關項目競爭的全部項目建議書，負責監(jiān)督評估會議程序的合規(guī)性、評估專家選取的合理性；對發(fā)現(xiàn)有違公平、公正的問題及時向委托方報告，但不得對項目的研究方案等發(fā)表意見?，F(xiàn)場觀察員制度的設立，使評估機構和專家受到有效的監(jiān)督和約束，對保證整個項目評估過程的公開、公平和公正起到重要作用。

實行兩輪評分并去掉最高分和最低分

專家看完項目建議書后，按照定量評估評分表中的各個細項要求，獨立填寫對每份項目建議書的評分。專家在此階段不得相互討論，并按照規(guī)定時間在會議現(xiàn)場上交評分表。評估機構按照去掉最高分和最低分等既定統(tǒng)計方法，計算出每份項目建議書的得分，做出第一輪得分統(tǒng)計表并張貼公布。第一輪評分結(jié)束后，經(jīng)評估專家組充分討論，決定對每份項目建議書的第一輪得分是否進行調(diào)整、如何調(diào)整，按照討論確定的分數(shù)作為第二輪得分；如果專家組不能達成一致意見，則按照少數(shù)服從多數(shù)的原則表決推薦立項的項目建議書。

評估專家當眾宣布自己的評分結(jié)果并陳述評分理由

按照評估程序，每位專家需宣布自己獨立評分的評分結(jié)果，并詳細陳述評分理由。評估專家在評估機構人員、觀察員、所有專家面前當眾陳述評分理由，其評分結(jié)果的公正性受到嚴峻考驗，有利于提高專家評分的客觀公正性。

評估結(jié)論當場公布并經(jīng)全體專家和觀察員簽字確認

第二輪排名第一的項目建議書推薦立項，第二輪得分統(tǒng)計表需由評估專家、觀察員現(xiàn)場簽字確認；對推薦立項的項目建議書，評估專家組要對其研究內(nèi)容、關鍵技術等研究方案進行詳細評估，形成評估意見，并由全體專家當場簽字確認。其間，有不同意見的專家可寫出保留意見及理由。

競爭性科研項目評估新方法的優(yōu)勢

近幾年在裝備司主管的某專項科研項目評估中，審核中心一直應用專家會議文本評估方法，確保了競爭性科研項目評估過程和結(jié)論的公平公正，數(shù)百個科研項目的評估均取得良好成效。與專家會議答辯評估方法相比，其具有明顯的優(yōu)勢。

有效提高了申報單位對項目論證和建議書的重視程度

由于評估專家看到的只是項目建議書，項目的論證深度、建議書編寫的質(zhì)量成為競爭成敗的重要因素，申報單位對項目論證和建議書的編寫質(zhì)量更加重視，對研究內(nèi)容、關鍵技術、技術指標等核心內(nèi)容力圖論證充分，提交的項目建議書翔實程度日益提高。

有效降低了競爭中的人為干擾因素

由于申報單位不到現(xiàn)場答辯，既不知道評估專家組成，也沒有機會與評估專家見面，基本避免了申報單位給熟悉的評估專家打招呼請予關照等情況，有效降低了競爭中的人為干擾因素。評估現(xiàn)場對評估結(jié)果當場簽字確認，也避免了競爭失敗的申報單位在會后托人情、找關系，試圖改變競爭結(jié)果等情況。

有利于評估結(jié)論更加客觀公正

由于評估會議現(xiàn)場既沒有所謂“熟人”，又有觀察員在現(xiàn)場監(jiān)督（觀察員有權查閱參與競爭的每一份項目建議書），評估專家還需當眾宣布自己的評分結(jié)果并詳細陳述理由，評估意見的客觀性受到強有力的監(jiān)督。通過每位專家詳細陳述評分理由，也可使所有專家更全面地了解項目情況。所有專家在觀察員的監(jiān)督下經(jīng)充分討論集體推薦承研單位，評估結(jié)論相對更加客觀公正。近幾年在某專項的數(shù)百個競爭性科研項目評估中，沒有出現(xiàn)申報單位對評估結(jié)論公正性有異議的情況，評估結(jié)論得到申報單位高度認可。

《深化科技體制改革實施方案》中提出，要“制定監(jiān)督評估通則和標準規(guī)范，強化科技計劃實施和經(jīng)費監(jiān)督檢查，開展第三方評估”“完善穩(wěn)定支持和競爭性支持相協(xié)調(diào)的機制”。通過總結(jié)分析競爭性科研項目的評估，可以看出，專家會議文本評估方法對更好開展第三方評估，形成穩(wěn)定支持和競爭性支持相協(xié)調(diào)的機制，公平公正，把科研項目安排在最具優(yōu)勢的研究單位，最大限度地激發(fā)科技第一生產(chǎn)力，都具有重要意義。