馬宗文，方 慈，張金倩楠，劉潤達

（中國科學技術交流中心，北京 100045）

科技評價改革是中國科技體制改革的重點，黨的二十大報告強調，要深化科技評價改革，并提出要提升科技投入效能，深化財政科技經費分配使用機制改革，激發(fā)創(chuàng)新活力?？蒲性u價（評估）或科研績效評估是科技評價的重要分支，主要是指對大學科研機構以及科研項目的評估。對致力于科技創(chuàng)新和保持科技競爭力的國家，其對科研的有效評估至關重要。實施科研績效評估管理，是優(yōu)化公共科研資源配置、提升科研機構研發(fā)服務品質和改善科研機構科研管理的重要手段[1]。完善的科研評估體系有助于提升高校和科研機構的科研影響力和國際競爭力?？蒲性u價“破四唯”逐漸成為中國科學共同體的共識和科技體制改革的發(fā)力點，但如何更好地開展科研評價，需要遵循科研活動的基本規(guī)律，以及借鑒國外行之有效的評估經驗。

歐洲在科研績效評估管理方面一直走在世界前沿，相關研究顯示英國和意大利的科研評估工作富有成效[2]，目前國內對于英國科研評估工作經驗的介紹較多[3-5]，但對意大利科研評估體系的介紹較少。意大利高度重視對科研機構、科技計劃和項目的評估，將評估作為政府科技管理職能的重要組成部分，在科研領域進行公共投資決策時，評估是必不可少的環(huán)節(jié)。意大利將對科研機構的評估結果作為分配公共經費的參考指標，其對于科研項目的評估，不僅包括項目的“經濟成本”，更重要的是評估項目實施的可行性、潛在收益和中長期衍生品等。本文以意大利大學和科研機構的科研評估為研究對象，對其演變過程及具體實踐進行梳理、分析與歸納，旨在為中國科技評價改革提供參考。

1 意大利科研評估演化脈絡及現(xiàn)有體系

意大利系統(tǒng)性科研評估工作起步較早，1998年在大學與科研部內成立了科研評估指導委員會，對研究成果、科研機構、科技計劃、技術應用和推廣活動等開展評估。

進入21 世紀，在科研公共經費削減的背景下，意大利進一步完善科研評估體系，2010年機構改革時，在大學與科研部成立了國家科研擔保人委員會，對科研計劃和項目的評審進行指導、協(xié)調和監(jiān)督。2011年組建了獨立運行的國家大學與科研機構評估署（Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca，ANVUR），采用具有國際可比性的評估參數(shù)、指標和方法，對科研機構和高校的科研活動進行評估，定期發(fā)布評估報告，評估結果作為意大利分配公共科研經費的參考依據。2021年意大利大學與科研部再次進行改革，在國家科研擔保人委員會的基礎上重新組建國家科研評估委員會（Comitato Nazionale per la Valutazione della Ricerca，CNVR），以加強對科研評估工作的組織管理，并進一步簡化任命程序，該機構負責管理國家公共科研資金[6]。意大利目前公共科研項目評審、科研機構評估的組織架構如圖1 所示。

圖1 意大利公共科研項目評審、科研機構評估的組織架構

1.1 國家科研評估委員會

根據意大利2021年第77 號法令，在大學與科研部成立國家科研評估委員會，對國家資助的科研項目行使監(jiān)督和保障職能，其主要職責是制定項目評審標準、任命評審專家和協(xié)調專家開展評審活動，目標是確保同行評議制度的良好運行。

國家科研評估委員會的委員由來自意大利國內外的15 名專家組成，委員以“簡單多數(shù)贊成”的方式選舉該委員會主席，委員會制定內部組織和運行規(guī)則。目前該委員會15 名成員中（見表1），有女性科學家6 人；分學科領域看，自然科學與工程領域6 人、生命科學領域5 人、社會科學與人文科學領域4 人，具有廣泛的學科代表性[7]。

表1 意大利國家科研評估委員會成員

國家科研評估委員會的具體職責包括：一是提出科技計劃評估的通用標準，主要參考意大利加入的國際組織或國際條約所推薦的標準；每年根據實際情況對通用標準做出修訂，發(fā)布相關科研計劃的評估標準和評審程序。二是任命科研計劃和項目的評審專家并協(xié)調其開展工作。選擇評審專家時，按照專業(yè)領域，設定具體條件，在意大利科學評估同行評審專家系統(tǒng)（Register of Expert Peer Reviewers for Italian Scientific Evaluation，REPRISE）中自動生成候選專家，再根據回避原則（過去2年內未牽頭承擔國家科技計劃項目，過去4年內未與被評估項目負責人合著論文等）淘汰不符合要求的專家，然后由國家科研評估委員會根據專家的專業(yè)能力、評審經驗等進行綜合打分，按得分高低排序，確定最終評審專家名單。

1.2 國家大學與科研機構評估署

國家大學與科研機構評估署成立于2011年，主要職責是在自主、公正、專業(yè)和透明的原則下，對意大利高校和科研機構進行獨立評估。其評估結果作為公共資源分配的參考標準，確保國家高等教育和科研系統(tǒng)的高質量。

該機構管理層包括：主席、理事會和審計委員會，每屆任期4年，可連任。主席作為法人代表，由理事會成員以“2/3 多數(shù)贊成”的方式選舉產生。理事會處于管理架構的核心，成員為7 名，由意大利國內外的知名科學家擔任。理事會獨立決定機構的管理、運作方式，制定評估標準、方法和評估計劃，批準年度預算并負責提交最終評估報告。理事會根據主席建議任命內設機構的負責人。審計委員會成員為3 名，負責行政業(yè)績和會計規(guī)則的核查。

國家大學與科研機構評估署的理事會產生程序復雜。首先由意大利大學與科研部長、經濟合作與發(fā)展組織（Organization for Economic Co-operation and Development，OECD）總干事、意大利林琴國家科學院院長、歐洲研究理事會主席、意大利國家大學生委員會主席每人推薦1 名有威望的科學家，成立5 人組成的遴選委員會，遴選委員會提交10 ～15 人組成理事會候選人員名單，意大利大學與科研部部長從該名單中選出7 人，形成理事會建議名單。該建議名單需經意大利部長理事會、參議院和眾議院表決通過，最后由總統(tǒng)簽字正式任命[8]。高規(guī)格的任命程序，可以彰顯該機構的權威性。

該機構的主要職能包括：評估大學和科研機構的管理、教育、研究和技術轉讓活動的過程、結果或產品的質量；制定對大學和科研機構的架構、教育培訓課程的評價標準和評估方法；對大學和科研機構內部評估委員會的相關活動進行指導，如聯(lián)合確定評估標準、方法和指標體系等；制定國家科研資金分配的參考系數(shù)，包括基本績效水平和運行成本參數(shù)等；根據預期目標和預定義參數(shù)，評估大學與科研部和相關機構計劃協(xié)議的執(zhí)行效果，以及相關機構對提高科研系統(tǒng)整體質量的貢獻；評估用于資助和支持教學、科研和創(chuàng)新活動的公共資金和激勵計劃的效率和效果[8]。

該機構對大學和科研系統(tǒng)的評估結果是國家向高校和科研機構分配公共經費，以及向完成特別重大科研成果的機構發(fā)放獎勵基金的參考。評估結果定期向社會公布，被評估機構如有異議可提請復議，該機構將按有關程序進行處理。

1.3 意大利科學評估同行評審專家系統(tǒng)

意大利科學評估同行評審專家系統(tǒng)是由大學與科研部建立的獨立運行的專家登記系統(tǒng)，系統(tǒng)中的專家將被任命從事與科研項目資助有關的評審活動，包括事前、事中評估，以及發(fā)放科研補助金的事后評估。除大學與科研部外，該系統(tǒng)也可被高校、公立科研機構、基金會、地方政府和其他部委用于開展科研資助項目的評審活動。

意大利科學評估同行評審專家系統(tǒng)詳細記錄了專家信息，包括個人資歷、科研能力和參加評審的情況，如收到任務次數(shù)、放棄任務次數(shù)、接受并完成任務次數(shù)等。該系統(tǒng)內包括意大利國內外的專家，分為4 個領域：基礎研究、競爭性行業(yè)和社會發(fā)展研究、科學文化傳播、經濟-財政評估和行政-會計審計。意大利大學與科研部2016年第380 號部令規(guī)定了同行評審專家的入庫標準，具體如表2所示[9]。

表2 意大利科學評估同行評審專家系統(tǒng)入庫標準

專家需要到該系統(tǒng)中自行提交申請，國家科研評估委員會負責審核工作，根據意大利大學與科研部要求，每位入庫專家需要每年在系統(tǒng)中更新個人檔案，連續(xù)5年未更新檔案或未確認的專家將被系統(tǒng)除名。

2 對高校和科研機構科研質量評估的實踐

意大利建立了國家科研質量評估（Valutazione della Qualità della Ricerca，VQR）體系，對大學與科研機構開展不定期評估。國家大學與科研機構評估署分別于2013年、2016年和2020年啟動了2004—2010年、2011—2014年、2015—2019年3 期國家科研質量綜合評估[10]。最新一期評估報告于2022年7月向社會發(fā)布。

2.1 對高校和科研機構科研質量評估的主要實踐

意大利國家科研質量評估分學科領域進行，具體分為：數(shù)學與計算科學，物理學，化學，地球科學，生物學，醫(yī)學，農業(yè)與獸醫(yī)學，建筑與土木工程，工業(yè)與信息工程，古典文學、語言文學和歷史藝術，歷史、哲學、教育學和心理學，法學，經濟與統(tǒng)計學，政治與社會學14 個領域，在每個領域成立評估專家組，評估專家組采用同行評議和文獻計量學相結合的方法，開展獨立評估工作，其中對理工學科的評估主要采用文獻計量法，對人文和社會科學的評估以同行評議為主。文獻計量法主要考察指標是文章的被引用率和發(fā)文期刊的影響因子。同行評議的主要標準是原創(chuàng)性、方法的嚴謹性和潛在影響等。2011—2014年、2015—2019年的評估中，評估專家組人數(shù)分別為486 名和645 名，再加上外部同行評審專家，參與評審的專家總數(shù)分別達到1.3萬名、1.4 萬名，其中國外專家占比約為20%[11]。

2015—2019年意大利最新一期國家科研質量綜合評估對象是全國的96 所高校、14 家公立科研機構和22 家公私合辦科研機構。高校和科研機構需在指定日期前提交本單位教授和科研人員的成果或作品，包括研究論文、專著或專著章節(jié)、會議論文、科學評論、著作翻譯、專利、軟件和數(shù)據庫等[11]。最近2 期國家科研質量評估提交的代表作情況如表3 所示。

表3 意大利國家科研質量評估提交代表作的情況

評審過程中，專家對提交的代表作進行評價，并按照科研成果水平進行分級賦分（見表4）[11]。對所有作品得分進行匯總后，計算科研成果的質量。

表4 2011—2019年意大利國家科研質量評估分級標準及賦分情況

完成科研成果質量評價后，再進行總體評價。在總體評價中，各指標的權重如表5 所示[12]。最后，按照總體評價結果的得分情況，對高校和科研院所分別進行排名。

表5 意大利國家科研質量總體評價指標權重 單位：%

意大利國家科研質量評估結果是大學與科研部分配國家一般性財政基金（Fondo di Finanziamento Ordinario，F(xiàn)FO）的重要參考依據。根據意大利2013年大學與科研部第98 號部令，2014、2015 和2016年FFO 總額的16%、18%和20%將根據國家科研質量評估結果分配，而且以后逐年增加，2018年已經達到約25%（約15 億歐元），最終目標是達到FFO 總額的30%。為了避免出現(xiàn)因評估結果差而造成獲得的FFO大幅減少的情況，該部令還規(guī)定，高校和科研機構每年的資金減少幅度不超過5%[12]。此外，意大利國家科研質量評估結果還是大學與科研部發(fā)放“激勵基金”的參考指標。

2.2 意大利學界對科研評估的評價

意大利學界對科研評估的討論較多，對評估的態(tài)度較為復雜，一部分人認為科研評估制度特別是對評估結果的使用帶來了正面效應，還有一部分人認為評估造成了較多負面影響。

正面評價主要包括：（1）優(yōu)化了科技資源配置。在開展科研評估之前，意大利國家科研資金分配模式主要基于大學和研究院所的規(guī)模，采取按人數(shù)平均分配的方式，而開展科研評估后，則基于績效評估結果，資源被更多地分配給更有效使用資源的大學和研究院所，對于國家整體而言，優(yōu)化了科技資源配置，提高了產出效率[13]。（2）提高了科研質量。通過開展科研評估，意大利更加重視科研質量，將質量成為科研發(fā)展的導向，整體科研質量得到提升。根據相關測算，引入科研評估體系之后，意大利在醫(yī)學、農業(yè)科學等受國際關注的學科領域的影響力進一步提高[14]。（3）有利于科研成果轉化?？蒲性u估包括了對專利和知識產權等轉化性成果的評價，有助于將大學和研究機構與產業(yè)界聯(lián)系起來，引導大學和研究機構與企業(yè)合作開展研發(fā)活動，促進了知識和科研成果的轉移轉化。

負面評價主要包括：（1）破壞了科研環(huán)境。論文導向的評估體系導致部分科研人員采用不恰當?shù)氖侄我蕴嵘寐?，甚至組織“引文圈子（citation club）”，其成員通過內部交換各自的論文并互相引用，以提高成員的論文引用率，這種做法破壞了意大利的科研環(huán)境[15]。（2）加劇了科研和教育的地區(qū)不平衡。意大利北部地區(qū)經濟發(fā)達，地方政府對科研的投入水平高、產出大，因此其科研績效評估結果要好于南部地區(qū)，導致國家向北部地區(qū)投入的科研資源進一步增加，南北差距進一步擴大，長此以往，將不利于國家整體科研和教育的均衡發(fā)展。（3）評估過程遭到質疑。部分學者對評估過程的公開性和透明性，以及評審專家的代表性和客觀公正性表示質疑。

3 意大利科研評估的主要經驗

通過對意大利科研評估體系、制度建設，以及運行機制和評估實踐進行梳理分析，對其主要經驗總結如下。

3.1 程序規(guī)范、組織嚴密的評估管理體系

意大利國家科研評估委員會從制定一般評審程序到任命各科研計劃的評審專家，對科研評審工作的各環(huán)節(jié)進行全面指導、協(xié)調和監(jiān)督。國家科研評估委員會和國家大學與科研機構評估署理事會組成人員經過了意大利國內外科研管理部門層層推薦與遴選，最大限度地分散了權利并遵循利益回避原則，該委員會成立后進行自我管理，并獨立開展工作，減少外部干擾，保障公平公正。

3.2 多主體、多領域、多維度的評估體系

意大利通過設立國家科研評估委員會和國家大學與科研機構評估署，分別對科研項目和科研機構兩個主要對象組織評估。在國家科研質量評估中，細分學科領域，分組分類開展評估，重視對科研卓越性的評價。同時，引入第三使命評估[16]，不僅在評審專家?guī)熘屑哟蟆翱萍紝ι鐣绊憽鳖I域專家力量，而且在評估時注重對專利、軟件和技術轉移方面成果的評估，強化對社會貢獻的成果導向。

3.3 “定量+定性”組合賦權的評估方法

采用同行評議和文獻計量學相結合的方法，并根據各學科特點采取不同組合的賦權方式，對理工學科的評估以文獻計量為主，對人文和社會科學的評估以同行評議為主，同時根據評估專家組的綜合評判，最大限度地做出客觀公正的評價。在科研機構的綜合評估中，除考慮科研成果質量外，還增加了對科研資金數(shù)量、科研人員素質和機構對科研重視程度與國際化水平等方面的評估，體現(xiàn)了評估的綜合性。

3.4 評估工作的國際視野和國際水準

允許國外專家進入評審專家?guī)煜到y(tǒng)，體現(xiàn)評審專家的國際視野。請國外科研機構或國際組織的負責人推薦遴選專家，擴大本國科研的國際影響。在科研評估機構或部門的決策層中擁有一定數(shù)量的國外專家，加強外部力量對相關程序進行監(jiān)督的同時，確保決策過程的國際水準。邀請國外同行專家定期對科研評估工作進行評估，即所謂的“元評估”，以提高評估工作的規(guī)范性。

3.5 評估結果對科技創(chuàng)新的導向作用

意大利國家大學與科研機構評估署定期發(fā)布評估報告，作為國家向高校和科研機構分配公共經費以及向完成特別重大科研成果的機構發(fā)放獎勵基金的參考。在評估結果的導向作用下，高校和科研院所的管理者更加重視科研質量，并將這種壓力層層傳導到科研人員，對意大利科研界產生了廣泛而深遠的影響。意大利近兩次國家科研質量評估實踐證明，這不僅對科研主體形成了有力的監(jiān)督、督促作用，也有效發(fā)揮了評價指揮棒和風向標作用，引導科技創(chuàng)新發(fā)展[12]。

3.6 專家?guī)煨畔⑾到y(tǒng)對評估的良好支撐

采用“自愿申請、機構審核”的專家入庫模式，確保專家來源和學術專長具有廣泛代表性。合理設計專家?guī)煨畔⑾到y(tǒng)，強化信息更新反饋功能，確保專家個人信息和評審記錄登記完備、更新及時。從專家?guī)爝x取專家時，一方面充分依靠專家系統(tǒng)自動篩選評估專家組，另一方面對篩選出的專家進行評估排序，以確定最終名單，確保針對每項評審任務，選出最合適的評審專家。

4 對中國科研評價改革的啟示

意大利的經驗對完善中國的科研評價體系具有借鑒意義，相關啟示如下。

4.1 提升評估的獨立性并注重發(fā)揮評估結果的導向作用

提升國家科研評估機構的獨立性和專業(yè)化水平，加強評估機構的內部管理，提高評估質量。完善評價指標體系，根據科研活動的類型，分類設定評估指標和權重比例，加強對經濟發(fā)展和社會貢獻的評估，充分體現(xiàn)新型舉國體制優(yōu)勢。將科研評估與資源配置、人才激勵等結合起來，根據評估結果對研發(fā)重點、資金分配和資助方式等進行動態(tài)調整，特別是根據評估結果，加強對基礎研究的長期穩(wěn)定支持。

4.2 探索建立“量化指標+專家研判”綜合評價指標體系

目前中國在科技成果評價中已廣泛采用“代表作”評價制度，建議在此基礎上繼續(xù)探索體現(xiàn)不同類型科研活動特點的綜合評價方法體系。對于基礎研究等具有相對客觀評價指標的評價，應以文獻計量學的定量評價指標為主；對研究成果的質量、創(chuàng)新性、先進性和對經濟社會發(fā)展影響等的評價，應以同行評議為主；同時，基于定量和定性評價，建立綜合的評價指標體系。

4.3 提升科研評估的標準化和國際化水平

分析研判國外評估方案中適應于中國國情、有助于客觀評價中國科技能力和科研水平的具體指標，借鑒經驗和采納相關指標，推動評估工作與國際接軌。邀請國外專家參與對科研機構和科技計劃的評估，對中國科技發(fā)展的整體情況，特別是在重點領域的“領跑”“并跑”“跟跑”狀況進行全面客觀評價。結合對國外人才的引進和使用，設立具有海外背景的各領域專家咨詢委員會，設立常態(tài)化的評估機制，加強對科技計劃實施和科研成果質量的評估。

4.4 完善國家科技專家?guī)煜到y(tǒng)并優(yōu)化使用流程

進一步完善和規(guī)范專家入庫標準，擴大國家科技專家?guī)煲?guī)模，邀請一定數(shù)量的國外專家加入系統(tǒng)。及時更新系統(tǒng)中的專家信息，在系統(tǒng)中增加對專家參加評審表現(xiàn)情況的評價信息，供選取專家時參考。優(yōu)化評審專家選取和使用流程，將系統(tǒng)自動篩選與人工判斷相結合，優(yōu)選出與被評審項目相匹配的專家。向其他部門和機構科研評審活動開放共享國家科技專家?guī)煜到y(tǒng)，避免各級各類科技專家?guī)斓闹貜徒ㄔO。