文/中國科學(xué)院知識(shí)創(chuàng)新工程評估方法研究課題組

中國科學(xué)院 北京 10 0 8 64

中國科學(xué)院知識(shí)創(chuàng)新工程評估方法

文/中國科學(xué)院知識(shí)創(chuàng)新工程評估方法研究課題組*

中國科學(xué)院 北京 10 0 8 64

2010年，按照國務(wù)院常務(wù)會(huì)議要求，中科院認(rèn)真開展了知識(shí)創(chuàng)新工程評估工作，形成了《知識(shí)創(chuàng)新工程（1998—2010年）評估報(bào)告》。本文介紹了知識(shí)創(chuàng)新工程評估的方法，包括評估的邏輯模型、指標(biāo)體系以及主要評估模塊的具體評價(jià)方法。重點(diǎn)介紹了針對評估對象特點(diǎn)的評估模型選擇，系統(tǒng)的評估組織和環(huán)節(jié)設(shè)計(jì)及基于客觀事實(shí)與數(shù)據(jù)的自評估方法。

中國科學(xué)院，知識(shí)創(chuàng)新工程，評估方法

知識(shí)創(chuàng)新工程是我國面向21世紀(jì)迎接知識(shí)經(jīng)濟(jì)時(shí)代挑戰(zhàn)、實(shí)施科教興國戰(zhàn)略、探索國家創(chuàng)新體系建設(shè)的重大戰(zhàn)略舉措。2010年，知識(shí)創(chuàng)新工程三期結(jié)束之際，國務(wù)院常務(wù)會(huì)議要求中科院做好知識(shí)創(chuàng)新工程評估工作，總結(jié)經(jīng)驗(yàn)，深化改革，科學(xué)定位。2010年4—10月，中科院認(rèn)真組織開展了知識(shí)創(chuàng)新工程評估工作，形成了《知識(shí)創(chuàng)新工程（1998—2010年）評估報(bào)告》。本文介紹了知識(shí)創(chuàng)新工程評估的方法，包括針對評估對象特點(diǎn)的評估模型選擇、系統(tǒng)的評估組織和環(huán)節(jié)設(shè)計(jì)以及基于客觀事實(shí)與數(shù)據(jù)的自評估方法。

1 針對評估對象特點(diǎn)的評估模型選擇

知識(shí)創(chuàng)新工程是由中科院實(shí)施的旨在為我國建設(shè)國家創(chuàng)新體系而進(jìn)行的先行探索。從評估對象的角度看，知識(shí)創(chuàng)新工程評估不是單一的科技計(jì)劃評估，也不是單純的科研機(jī)構(gòu)評估，而是具有科技政策、科技計(jì)劃、科研機(jī)構(gòu)評估的三重屬性。從國際科技評價(jià)實(shí)踐看，評估方法和評估模式的選擇必須針對不同評估對象的特點(diǎn)。一般而言，重大科技計(jì)劃是跨部門、跨機(jī)構(gòu)、跨領(lǐng)域組織的，如美國的納米科技計(jì)劃、歐盟框架計(jì)劃等，由各利益相關(guān)體代表組成的獨(dú)立的評估組開展評估，重點(diǎn)關(guān)注計(jì)劃設(shè)置的合理性、資金使用的規(guī)范性和有效性、產(chǎn)出效果以及未來發(fā)展的建議等?？蒲泄芾砗蛨?zhí)行機(jī)構(gòu)的評估，通常根據(jù)各自的使命、定位以及科研活動(dòng)的特點(diǎn)開展評估。以基礎(chǔ)研究為主的機(jī)構(gòu)，更加注重研究的質(zhì)量和水平，如美國國家科學(xué)基金會(huì)（NSF）通過亮點(diǎn)工作遴選的方式展示其資助的成效，德國馬普學(xué)會(huì)利用國際同領(lǐng)域最優(yōu)秀的專家指導(dǎo)并評估其研究工作。以應(yīng)用研究為主的機(jī)構(gòu)，具有明確的目標(biāo)和需求導(dǎo)向，科技評價(jià)圍繞指定目標(biāo)或路線圖展開，如日本產(chǎn)業(yè)技術(shù)綜合研究所圍繞各領(lǐng)域的發(fā)展路線圖，采用內(nèi)部評估與外部評估結(jié)合、專家評估與定量指標(biāo)監(jiān)測結(jié)合的方法進(jìn)行評估，確保其科研活動(dòng)沿著路線圖前進(jìn)。

知識(shí)創(chuàng)新工程評估一方面要考慮到其科技政策、計(jì)劃的屬性，在評估中應(yīng)關(guān)注其目標(biāo)的執(zhí)行和完成情況，同時(shí)作為國家創(chuàng)新體系建設(shè)的試點(diǎn)，還應(yīng)從實(shí)踐探索中總結(jié)經(jīng)驗(yàn)、分析問題，為未來發(fā)展提供建議。另一方面，還要考慮其科研機(jī)構(gòu)的屬性，關(guān)注中科院使命、定位的實(shí)現(xiàn)情況，同時(shí)，要體現(xiàn)中科院建制化、規(guī)?；目蒲薪M織的特點(diǎn)，既要評估科技創(chuàng)新貢獻(xiàn)，又要評估體制機(jī)制的改革探索。此外，知識(shí)創(chuàng)新工程實(shí)施的13年，正值國際政治、經(jīng)濟(jì)格局迅速變化的時(shí)代，對其評估還必須兼顧其特定的時(shí)代背景。因此，知識(shí)創(chuàng)新工程評估給現(xiàn)有的評估理論和方法帶來了極大的挑戰(zhàn)，既要集成已有的多種評估方法，也要根據(jù)評估對象的特點(diǎn)和評估需要，發(fā)展新的評估方法。

根據(jù)知識(shí)創(chuàng)新工程評估目的及評估對象的特點(diǎn)，構(gòu)建了基于戰(zhàn)略導(dǎo)向的“目標(biāo)-過程-結(jié)果”的評估模型（圖1）。首先，知識(shí)創(chuàng)新工程具有明確的戰(zhàn)略導(dǎo)向，即為國家創(chuàng)新體系建設(shè)探路，這是整個(gè)評價(jià)的出發(fā)點(diǎn)和落腳點(diǎn)。其次，知識(shí)創(chuàng)新工程作為國家創(chuàng)新體系建設(shè)的先行探索，既要全面評價(jià)知識(shí)創(chuàng)新工程試點(diǎn)目標(biāo)完成情況，也要判斷知識(shí)創(chuàng)新工程實(shí)施過程中采取的重大舉措及其有效性，既要總結(jié)取得的成績和經(jīng)驗(yàn)，也要剖析存在的問題和不足，明確未來努力的新方向，為國家創(chuàng)新體系建設(shè)提供借鑒?；诖?，知識(shí)創(chuàng)新工程評估重點(diǎn)回答3個(gè)問題：一是知識(shí)創(chuàng)新工程是否達(dá)到了預(yù)定的目標(biāo)？二是采取了哪些措施促進(jìn)了目標(biāo)的達(dá)成？三是效果和影響如何，是否符合中科院的使命、定位和知識(shí)創(chuàng)新工程的目標(biāo)？歸納為目標(biāo)完成情況評估、重大改革舉措有效性評估、效果和影響與使命定位的一致性評估3大方面。

根據(jù)以上評估模型，將各部分指標(biāo)進(jìn)一步分解（表1）。

圖1 知識(shí)創(chuàng)新工程評估的模型

2 系統(tǒng)的評估組織和評估環(huán)節(jié)設(shè)置

知識(shí)創(chuàng)新工程是歷時(shí)13年的一個(gè)巨大的系統(tǒng)工程，本次評估在評估組織和環(huán)節(jié)上進(jìn)行了系統(tǒng)設(shè)計(jì)，使得評估模型和評估指標(biāo)有效落實(shí)，確保評估工作的科學(xué)、完整和公正。

表1 知識(shí)創(chuàng)新工程評估的指標(biāo)體系

2-5-5期刊、圖書出版2-5-6科教基礎(chǔ)設(shè)施建設(shè)2-6-1黨建工作2-6黨建工作、創(chuàng)新 2-6-2創(chuàng)新文化文化與制度建設(shè) 2-6-3制度建設(shè)2-7-1院士隊(duì)伍建設(shè)2-7學(xué)部建設(shè) 2-7-2咨詢評議工作2-7-3科學(xué)傳播、學(xué)術(shù)及出版工作2-7-4學(xué)部國際合作3-1對知識(shí)創(chuàng)新系統(tǒng)的貢獻(xiàn)3實(shí)施效果與影響 3-2對國家創(chuàng)新體系的貢獻(xiàn)3-3在國際科技界的影響4-1基本經(jīng)驗(yàn)4經(jīng)驗(yàn)與問題 4-2問題與不足4-3規(guī)律性認(rèn)識(shí)5未來展望 5-1下一步工作考慮

2.1 多層面的自評與總結(jié)

本次評估設(shè)計(jì)了多層面的自評與總結(jié)，包括研究所自評、科技創(chuàng)新基地自評、重要方面工作自評。這些自評為知識(shí)創(chuàng)新工程評估提供了底層的關(guān)鍵事實(shí)和數(shù)據(jù)。其中，研究所是中科院組織開展科研活動(dòng)、探索實(shí)踐改革舉措的基本單元，研究所自評為遴選重大創(chuàng)新成果和判斷研究所整體發(fā)展態(tài)勢提供了支撐。研究所通過填寫規(guī)范化的自評表評估其在規(guī)劃部署與科技布局、人才戰(zhàn)略、重大創(chuàng)新成果及影響等方面的表現(xiàn)，并提供關(guān)鍵的事實(shí)和數(shù)據(jù)。

科技創(chuàng)新基地是知識(shí)創(chuàng)新工程三期的重大改革舉措，也是中科院發(fā)揮整體優(yōu)勢開展重大創(chuàng)新活動(dòng)的組織形式?？萍紕?chuàng)新基地自評為知識(shí)創(chuàng)新工程評估篩選重大創(chuàng)新成果、總結(jié)經(jīng)驗(yàn)、診斷問題等提供了基礎(chǔ)。各科技創(chuàng)新基地以事實(shí)和數(shù)據(jù)為基礎(chǔ)，自我判斷目標(biāo)完成情況、總結(jié)重要舉措和經(jīng)驗(yàn)等，并提出重大創(chuàng)新成果和管理創(chuàng)新案例。

重要方面工作是科研管理的關(guān)鍵環(huán)節(jié)和關(guān)鍵方面，是科技創(chuàng)新的基礎(chǔ)和保障，為評估知識(shí)創(chuàng)新工程相關(guān)目標(biāo)完成情況、分析重大改革舉措及其有效性提供支撐。由院機(jī)關(guān)各部門組織具有豐富管理經(jīng)驗(yàn)的專家開展自評與總結(jié)。

2.2 內(nèi)外結(jié)合的專家評估

在自評的基礎(chǔ)上，利用專家評估判斷整體發(fā)展態(tài)勢、遴選重大創(chuàng)新成果、總結(jié)經(jīng)驗(yàn)、發(fā)現(xiàn)問題。專家評估包括內(nèi)部專家評估和外部專家評估，評議意見是知識(shí)創(chuàng)新工程評估結(jié)果判斷的主要依據(jù)。

內(nèi)部專家評估主要基于研究所的自評，判斷全院研究所發(fā)展情況。研究所自評材料在ARP平臺(tái)交流，院、局/所領(lǐng)導(dǎo)共201位專家進(jìn)行評議，判斷全院研究所的發(fā)展態(tài)勢，遴選發(fā)展最好、進(jìn)步最快以及在規(guī)劃部署和科技布局等8個(gè)方面表現(xiàn)突出的研究所。同時(shí)，為總結(jié)經(jīng)驗(yàn)、發(fā)現(xiàn)問題、創(chuàng)新思維、謀劃未來，組織院所兩級主要負(fù)責(zé)人150人左右，圍繞中科院發(fā)展的重要和關(guān)鍵問題開展了解放思想深化改革研討。

外部專家評估主要對中科院以科技創(chuàng)新基地為主線的整體創(chuàng)新工作進(jìn)行評議，并遴選重大創(chuàng)新成果。首先，在科技創(chuàng)新基地自評的基礎(chǔ)上，按照基礎(chǔ)研究領(lǐng)域、戰(zhàn)略高技術(shù)領(lǐng)域、生命科學(xué)與技術(shù)領(lǐng)域和資源環(huán)境科技領(lǐng)域分別組織，共邀請了132位專家通過會(huì)議、函評等多種方式進(jìn)行交流評議，然后由國家各相關(guān)部門領(lǐng)導(dǎo)和重要科技戰(zhàn)略專家、經(jīng)濟(jì)與管理專家為主構(gòu)成的咨詢評議委員會(huì)進(jìn)行綜合評議。

2.3 基于歷史數(shù)據(jù)的回溯分析

在知識(shí)創(chuàng)新工程實(shí)踐中，中科院形成了院評價(jià)研究所、研究所評價(jià)所內(nèi)研究室（組）、研究室（組）評價(jià)個(gè)人的周期性、多層次的評估體系，積累了大量的評估材料和數(shù)據(jù)。如構(gòu)建的院所兩級發(fā)展態(tài)勢監(jiān)測體系，積累了大量反映科研活動(dòng)關(guān)鍵點(diǎn)、關(guān)鍵環(huán)節(jié)的數(shù)據(jù)，為本次評估工作提供了豐富、準(zhǔn)確的歷史數(shù)據(jù)，實(shí)現(xiàn)評價(jià)指標(biāo)的縱向可比。本次評估以中科院管理創(chuàng)新和評估研究中心為主，基于定量數(shù)據(jù)監(jiān)測，分析了中科院整體創(chuàng)新能力變化情況，并開展了國立科研機(jī)構(gòu)學(xué)術(shù)影響力的比較研究。

2.4 外部評論的整理與分析

知識(shí)創(chuàng)新工程受到了國內(nèi)外科技界的廣泛關(guān)注，外界對知識(shí)創(chuàng)新工程的評論是知識(shí)創(chuàng)新工程實(shí)施效果和影響的重要證據(jù)。以國家科學(xué)圖書館為主，系統(tǒng)梳理了國內(nèi)外與知識(shí)創(chuàng)新工程相關(guān)的研究、討論和評述。

3 基于客觀事實(shí)與數(shù)據(jù)的自評估方法

本次評估屬于自評估，為保證評估的客觀性，借鑒了美國科研機(jī)構(gòu)基于績效與結(jié)果法案（GPRA）自評估等的經(jīng)驗(yàn)，結(jié)合評估對象的特點(diǎn)發(fā)展了多種新的評估方法，從而使本次評估成為基于客觀事實(shí)和數(shù)據(jù)的自評估。以下從評估模型所確定的目標(biāo)完成情況評估、重大改革舉措評估和效果與影響評估3方面進(jìn)行介紹。

3.1 目標(biāo)完成情況評估方法

目標(biāo)完成情況評估是知識(shí)創(chuàng)新工程評估需要首先回答的問題。知識(shí)創(chuàng)新工程的目標(biāo)凝練是一個(gè)整體設(shè)計(jì)而又動(dòng)態(tài)提升的過程。知識(shí)創(chuàng)新工程實(shí)施期間，中科院根據(jù)國際科技發(fā)展態(tài)勢和國家戰(zhàn)略需求的變化，不斷凝練科技目標(biāo)，形成了不斷調(diào)整優(yōu)化、不斷提升創(chuàng)新目標(biāo)的動(dòng)態(tài)機(jī)制。在這種動(dòng)態(tài)提升過程中，不變的是沿著“三個(gè)基地一個(gè)庫”的方向發(fā)展，即“具有國際先進(jìn)水平的科學(xué)研究基地”、“培養(yǎng)造就高級科技人才基地”、“高技術(shù)產(chǎn)業(yè)發(fā)展基地”和“科學(xué)思想庫”。因此，目標(biāo)完成情況評估圍繞這4個(gè)方面展開。但如何把相對寬泛的目標(biāo)進(jìn)行科學(xué)、客觀的表達(dá)，并兼顧其動(dòng)態(tài)提升的特點(diǎn)，需要發(fā)展新的評估方法。本次評估從“發(fā)展態(tài)勢變化”和“成果”兩個(gè)維度，并在國際國內(nèi)背景下進(jìn)行橫向和縱向的標(biāo)桿評比，評估目標(biāo)完成情況。以“科學(xué)研究基地”為例，包括重大創(chuàng)新成果評估和科技創(chuàng)新能力評估。

3.1.1 重大創(chuàng)新成果評估方法

重大創(chuàng)新成果是科學(xué)研究水平和貢獻(xiàn)的直接表達(dá)，也是知識(shí)創(chuàng)新工程“科學(xué)研究基地”目標(biāo)完成情況的直接證據(jù)。中科院是我國的戰(zhàn)略科技力量，是自然科學(xué)和高新技術(shù)的綜合研究與發(fā)展中心，其研究領(lǐng)域涵蓋了基礎(chǔ)研究、戰(zhàn)略高技術(shù)、資源環(huán)境和生命科學(xué)與技術(shù)等，為我國科技進(jìn)步、經(jīng)濟(jì)社會(huì)發(fā)展、國家安全等各方面都做出了基礎(chǔ)性、戰(zhàn)略性、前瞻性、系統(tǒng)性的貢獻(xiàn)。創(chuàng)新成果的評價(jià)應(yīng)充分體現(xiàn)中科院的特點(diǎn)，既不能簡單以論文或?qū)＠麃砗饬浚膊荒芎唵瘟_列成果案例。

為此，發(fā)展了重大創(chuàng)新成果評價(jià)的“山脈模型”。中科院的科研活動(dòng)集中在事關(guān)我國全局和長遠(yuǎn)發(fā)展的11個(gè)戰(zhàn)略領(lǐng)域，重大創(chuàng)新成果評估以這些戰(zhàn)略領(lǐng)域?yàn)橹骶€構(gòu)成了“山脈”，在每個(gè)戰(zhàn)略領(lǐng)域，結(jié)合其特點(diǎn)，按照“技術(shù)發(fā)展鏈”、“創(chuàng)新價(jià)值鏈”、“學(xué)科布局鏈”等多種方式把該領(lǐng)域13年來標(biāo)志性的創(chuàng)新成果串聯(lián)起來，而這些標(biāo)志性的成果構(gòu)成了山脈中的“山峰”。如納米、先進(jìn)制造和新材料科技領(lǐng)域，按照國際先進(jìn)水平的基礎(chǔ)研究、在重要領(lǐng)域得到應(yīng)用、向企業(yè)轉(zhuǎn)化、進(jìn)入工業(yè)示范和應(yīng)用的創(chuàng)新價(jià)值鏈描述了該領(lǐng)域一系列重大創(chuàng)新成果。此外，為了更好地理解創(chuàng)新成果的價(jià)值和意義，揭示知識(shí)創(chuàng)新工程發(fā)揮的作用，在每個(gè)戰(zhàn)略領(lǐng)域遴選1—2個(gè)創(chuàng)新成果進(jìn)行深入的案例分析。按照科研活動(dòng)的過程，圍繞4個(gè)問題進(jìn)行描述：創(chuàng)新成果研究的背景和意義是什么？中科院如何發(fā)揮自身優(yōu)勢，取得重要突破？創(chuàng)新成果在科學(xué)或技術(shù)上的主要突破和貢獻(xiàn)是什么？創(chuàng)新成果取得的效果和影響是什么？

重大創(chuàng)新成果的遴選，充分利用多種途徑的專家評議，以獲得廣泛共識(shí)為基礎(chǔ)。（1）在知識(shí)創(chuàng)新工程13年的評估實(shí)踐中專家遴選并獲得院充分認(rèn)可的成果。（2）利用第三方同行專家評選或認(rèn)可的成果，如科技進(jìn)展、科技獎(jiǎng)勵(lì)評選、Science等權(quán)威期刊的亮點(diǎn)綜述等。（3）對知識(shí)創(chuàng)新工程三期取得的成果采用了多層篩選的機(jī)制，首先由各研究所和科技創(chuàng)新基地自評，遴選出各研究所和各領(lǐng)域的創(chuàng)新成果；其次，根據(jù)科技創(chuàng)新基地布局，按照基礎(chǔ)研究領(lǐng)域、戰(zhàn)略高技術(shù)領(lǐng)域、生命科學(xué)與技術(shù)領(lǐng)域和資源環(huán)境科技領(lǐng)域分頭組織，共邀請了132位專家通過會(huì)評、函評等多種方式，遴選出各領(lǐng)域的創(chuàng)新成果；最后由科技創(chuàng)新基地咨詢評議委員會(huì)對科技創(chuàng)新基地進(jìn)行綜合評議，識(shí)別全院最有影響的創(chuàng)新成果?？萍紕?chuàng)新基地咨詢評議委員會(huì)主要由外部專家構(gòu)成，既包括戰(zhàn)略專家，也包括經(jīng)濟(jì)專家和管理專家等，涉及科技部、財(cái)政部、教育部等多個(gè)部門。

3.1.2 科技創(chuàng)新能力評估方法

發(fā)展態(tài)勢和水平及其國際地位的判斷，是判斷知識(shí)創(chuàng)新工程目標(biāo)完成情況的另一個(gè)維度?？萍紕?chuàng)新能力是衡量發(fā)展態(tài)勢和競爭力的重要方式。中科院是一個(gè)綜合性的國立科研機(jī)構(gòu)，研究領(lǐng)域覆蓋范圍廣、下屬研究單元多，哪些是科技創(chuàng)新能力的關(guān)鍵要素，如何通過定量定性方法表達(dá)科技創(chuàng)新能力的水平和國際地位，需要新的評估方法予以支撐。

結(jié)合中科院組織結(jié)構(gòu)的特點(diǎn)，科技創(chuàng)新能力從領(lǐng)域、學(xué)科和研究所3個(gè)層次進(jìn)行評估?！邦I(lǐng)域”的科技創(chuàng)新能力情況按照重要基礎(chǔ)研究領(lǐng)域、戰(zhàn)略高技術(shù)領(lǐng)域、生物科學(xué)與技術(shù)領(lǐng)域、資源環(huán)境科技領(lǐng)域，從科技布局、人才隊(duì)伍、平臺(tái)建設(shè)、科研任務(wù)和產(chǎn)出等方面描述了中科院4大領(lǐng)域的發(fā)展態(tài)勢。

“學(xué)科”層面的科技創(chuàng)新能力，通過國際比較刻畫中科院主要學(xué)科的國際地位。為此，發(fā)展了“國際國立科研機(jī)構(gòu)學(xué)術(shù)影響力學(xué)科比較分析”的定量評估方法?；凇?E”理論，選取了26個(gè)國家與中科院可比的86個(gè)國立科研機(jī)構(gòu)，從“產(chǎn)出（E1）”和“效果（E3）”兩個(gè)維度，遴選21個(gè)學(xué)科領(lǐng)域的論文、專利、重要國際組織任職、重要國際獎(jiǎng)勵(lì)4類指標(biāo)，以所屬一級指標(biāo)最大值為標(biāo)準(zhǔn)進(jìn)行歸一化處理并按等權(quán)加和，E1與E3加和后得到各學(xué)科的綜合得分，以此進(jìn)行排名。按照這種方法對86個(gè)機(jī)構(gòu)在1994—1998年和2004—2008年兩個(gè)時(shí)間段的21個(gè)學(xué)科領(lǐng)域進(jìn)行分析。國際國立科研機(jī)構(gòu)學(xué)術(shù)影響力學(xué)科比較分析的方法，提供了標(biāo)桿評比的工具，清晰刻畫了知識(shí)創(chuàng)新工程前后中科院學(xué)科發(fā)展水平的變化，以及中科院各學(xué)科的國際地位變化情況。

在研究所層面，為了監(jiān)測研究所發(fā)展態(tài)勢、創(chuàng)新能力和貢獻(xiàn)，為院所兩級提供決策參考，中科院發(fā)展了科技創(chuàng)新能力指數(shù)的定量工具，自2004年開始對全院研究所進(jìn)行監(jiān)測。創(chuàng)新能力指數(shù)包括發(fā)展科技生產(chǎn)力能力、革新科技創(chuàng)新組織體制能力、領(lǐng)導(dǎo)科技創(chuàng)新能力、加快成果轉(zhuǎn)移轉(zhuǎn)化與規(guī)模產(chǎn)業(yè)化能力、有效吸納國際創(chuàng)新資源能力5個(gè)方面。其中，發(fā)展科技生產(chǎn)力能力指數(shù)采用了類似GDP指數(shù)的方式，根據(jù)政策導(dǎo)向和實(shí)踐經(jīng)驗(yàn)，對研究所優(yōu)秀科技人才、重要科研任務(wù)、科技平臺(tái)建設(shè)和科技產(chǎn)出指標(biāo)確定各自的“價(jià)格”，并賦予一定的權(quán)重，計(jì)算各研究所各項(xiàng)指標(biāo)的“總量”。發(fā)展科技生產(chǎn)力能力指數(shù)的構(gòu)建，使全院研究所發(fā)展態(tài)勢可定量化表達(dá)，實(shí)現(xiàn)了橫向和縱向可比，為動(dòng)態(tài)表達(dá)創(chuàng)新能力變化提供了客觀證據(jù)。

3.2 重大改革舉措評估方法

科技計(jì)劃和科研機(jī)構(gòu)評估中通常都涉及對管理的評估，但更多是對日常管理工作的規(guī)范化、合理性進(jìn)行評估。知識(shí)創(chuàng)新工程的重大改革舉措與此有很大不同，它們是新的體制機(jī)制探索、新的制度創(chuàng)新，有破有立，對其評估必須基于特定的時(shí)代背景，并從經(jīng)驗(yàn)總結(jié)的角度開展。既需關(guān)注這些改革舉措的現(xiàn)實(shí)價(jià)值，又應(yīng)分析其歷史意義?；诖?，重大改革舉措評價(jià)主要采用回溯分析的方法，從舉措實(shí)施的背景、措施的內(nèi)容和取得的效果3個(gè)維度進(jìn)行評價(jià)。

重大改革舉措評估的一個(gè)關(guān)鍵是要識(shí)別影響科研活動(dòng)的核心要素及其內(nèi)涵。從管理學(xué)角度，管理包括4項(xiàng)基本職能，即計(jì)劃、組織、領(lǐng)導(dǎo)、控制。從科技創(chuàng)新角度，創(chuàng)新要素主要包括支持創(chuàng)新的人、財(cái)、物及將其有效組合的機(jī)制。中科院作為建制化的創(chuàng)新組織，根據(jù)科技管理和科研活動(dòng)的基本規(guī)律，結(jié)合自身管理工作特點(diǎn)，凝練了影響科技創(chuàng)新和支持知識(shí)創(chuàng)新工程目標(biāo)實(shí)現(xiàn)的幾個(gè)關(guān)鍵方面，包括規(guī)劃部署與科技布局、人才隊(duì)伍建設(shè)、體制機(jī)制改革與管理創(chuàng)新、國內(nèi)外合作交流、創(chuàng)新基礎(chǔ)設(shè)施建設(shè)，黨建工作、創(chuàng)新文化與制度建設(shè)以及學(xué)部建設(shè)等。重大改革舉措即圍繞這幾個(gè)關(guān)鍵方面進(jìn)行梳理。

重大改革舉措評估由中科院長期負(fù)責(zé)相關(guān)工作、具有豐富管理經(jīng)驗(yàn)的管理專家進(jìn)行自評與總結(jié)。首先通過研討會(huì)的形式，遴選各方面的改革舉措，特別是獲得第三方認(rèn)可的舉措，如聘用制度和“三元”結(jié)構(gòu)工資制度等被其他單位借鑒的改革措施。其次，采用回溯分析的方法，圍繞3個(gè)問題進(jìn)行評價(jià)：（1）該舉措的背景和擬解決的問題是什么？（2）該舉措主要內(nèi)容是什么？（3）該舉措的實(shí)際效果和影響如何？以人事制度改革為例，為了提高科研人員的積極性和主動(dòng)性，實(shí)現(xiàn)科技隊(duì)伍的動(dòng)態(tài)更新，以聘任、薪酬激勵(lì)和培訓(xùn)為主線，進(jìn)行了人事制度改革和創(chuàng)新。系統(tǒng)梳理了崗位聘任制度、“三元”結(jié)構(gòu)工資制度、職工培訓(xùn)和干部任用制度改革的發(fā)展脈絡(luò)，利用客觀數(shù)據(jù)和第三方反饋或評價(jià)驗(yàn)證了改革取得的效果。

3.3 效果與影響評估方法

知識(shí)創(chuàng)新工程效果和影響，關(guān)鍵要看是否達(dá)到知識(shí)創(chuàng)新工程的目的、任務(wù)要求，是否符合中科院的使命、定位。因此，效果和影響評估是整體上評估知識(shí)創(chuàng)新工程的貢獻(xiàn)，圍繞對國家創(chuàng)新體系建設(shè)的示范作用、對我國經(jīng)濟(jì)社會(huì)發(fā)展的推動(dòng)作用、對我國科技影響力提升的帶動(dòng)作用展開。

效果和影響評價(jià)采用了“層次模型”，形成了由院內(nèi)及院外、由國內(nèi)到國際的多層次、多角度評價(jià)。首先分析探索建設(shè)國家知識(shí)創(chuàng)新體系路子的貢獻(xiàn)，這是對中科院內(nèi)部影響的評估，包括明確使命和定位、探索現(xiàn)代院所制度、與其他創(chuàng)新體系之間的聯(lián)合合作等。其次評價(jià)對國家創(chuàng)新體系建設(shè)所發(fā)揮的作用，通過創(chuàng)新成果對經(jīng)濟(jì)社會(huì)發(fā)展的貢獻(xiàn)、創(chuàng)新能力建設(shè)的示范和體制機(jī)制創(chuàng)新經(jīng)驗(yàn)的擴(kuò)散予以支撐。最后從提升國際影響的角度評價(jià)，主要引用國際杰出專家學(xué)者的評論作為直接證據(jù)，如德國馬普學(xué)會(huì)副主席Harnack教授、發(fā)展中國家科學(xué)院執(zhí)行主席Hassan等。層次模型較清晰地刻畫了知識(shí)創(chuàng)新工程的效果和影響，但作為一個(gè)探索性強(qiáng)、輻射面廣的系統(tǒng)工程，其效果和影響還需要通過更長的時(shí)間、更廣的空間予以體現(xiàn)，現(xiàn)有評估還是初步的，有其局限性。

4 結(jié)論

知識(shí)創(chuàng)新工程評估是我國國立科研機(jī)構(gòu)開展自評估的積極探索，其獨(dú)特性為評估的理論和方法帶來了新的挑戰(zhàn)。以上所介紹的根據(jù)知識(shí)創(chuàng)新工程的特點(diǎn)構(gòu)建的“目標(biāo)-過程-結(jié)果”的評估模型，明確了知識(shí)創(chuàng)新工程評估的重點(diǎn)，即目標(biāo)完成情況、重大改革舉措的有效性、效果和影響與使命定位的一致性評估，較好地指導(dǎo)了整個(gè)評估工作。本次評估在評估組織和環(huán)節(jié)上進(jìn)行了系統(tǒng)設(shè)計(jì)，使知識(shí)創(chuàng)新工程評估與日常管理工作很好地銜接，保證了評估工作的順利開展和客觀事實(shí)與數(shù)據(jù)的獲取?；诳陀^事實(shí)和數(shù)據(jù)，并針對不同評估內(nèi)容的需要，綜合運(yùn)用多種評估方法，發(fā)展了重大創(chuàng)新成果評價(jià)的“山脈模型”、重大改革舉措評價(jià)的回溯分析以及影響與效果評價(jià)的“層次模型”等評估方法，保證了評估工作的客觀性、科學(xué)性、可靠性和公正性。實(shí)踐證明，知識(shí)創(chuàng)新工程評估為探索我國國立科研機(jī)構(gòu)評價(jià)積累了經(jīng)驗(yàn)，也為豐富科技評價(jià)的理論和方法提供了新的案例。

1中國科學(xué)院.中國特色國家創(chuàng)新體系建設(shè)的成功實(shí)踐——知識(shí)創(chuàng)新工程（1998—2010年）評估報(bào)告.北京：科學(xué)出版社，2012.

2中國科學(xué)院.關(guān)于中國科學(xué)院開展《知識(shí)創(chuàng)新工程》試點(diǎn)的匯報(bào)提綱.1998年6月.

3中國科學(xué)院科技評價(jià)研究組.關(guān)于我院科技評價(jià)工作的若干思考.中國科學(xué)院院刊,2007,22（2）：104-114.

4 European Commission.Ex-post evaluation of the Sixth Framework Programmes.http://ec.europa.eu/research/ evaluations/index_en.cfm?pg=fp6.

5 21st century nanotechnology research and development act.http:// www.gpo.gov/fdsys/pkg/PLAW-108publ153/html/ PLAW-108publ153.htm.

6 Evaluation-The procedures of the Max Planck Society.http:// www.mpg.de/197344/evaluation2010en.pdf.

7 National Science Foundation.FY2011 Performance and Financial Highlights.http://www.nsf.gov/pubs/2012/nsf12002/nsf12002.pdf.

8 Osamu Nakamura,et al.Using roadmaps for evaluating strategic research and development:lessons from Japan's Institute for Advanced Industrial Science and Technology.Research Evaluation,2008,17(4):265-271.

9楊國梁，Liu W B,李曉軒等.國際國立科研機(jī)構(gòu)學(xué)術(shù)影響力評價(jià)方法研究.中國科技論壇,2010,6:137-142.

AbstractAccording to the requirement raised in the Executive Meetings of the State Council,Chinese Academy of Sciences（CAS）conscientiously carried out the evaluation of Knowledge Innovation Program（KIP）in 2010 and finished the report entitled“The Evaluation Report of Knowledge Innovation Program(1998—2010)”.In this study,we present the KIP evaluation methodology including the evaluation model,index system and the specific evaluation methods of the main modules.Particularly,the main emphases are put on the evaluation model selection in light of the characteristics of evaluated objects,systematic evaluation organizations and evaluation process design,as well as the self-evaluation approaches based on the facts and data.

KeywordsChineseAcademy of Sciences,Knowledge Innovation Program,evaluation methodology

Evaluation Methodology for Knowledge Innovation Program of Chinese Academy of Sciences

KIP Evaluation Methodology Research Group,CAS
（ChineseAcademy of Sciences 100864 Beijing）

10.3969/j.issn.1000-3045.2012.04.012

*課題組主要人員：潘教峰、李曉軒、石兵、周長海、代濤、關(guān)忠誠、周建中等。執(zhí)筆人：代濤。E-mail: daitao@casipm.ac.cn

修改稿收到日期：2012年7月4日