時(shí)盛英
(福建省科學(xué)技術(shù)信息研究所, 福建福州 350003)
重點(diǎn)實(shí)驗(yàn)室是區(qū)域創(chuàng)新體系的源頭, 是高校及科研院所組織高水平科學(xué)研究、聚集和培養(yǎng)高層次人才、開展學(xué)術(shù)交流的重要基地??萍荚u(píng)估作為科技管理與市場(chǎng)機(jī)制相結(jié)合的產(chǎn)物,是科技管理的必要手段和科學(xué)決策的重要依據(jù);是國(guó)家和政府對(duì)科技計(jì)劃、技術(shù)市場(chǎng)交易、科研平臺(tái)等實(shí)施有效管理,實(shí)行決策科學(xué)化、程序化的重要手段;是政府增強(qiáng)科技宏觀管理調(diào)控能力、推動(dòng)科技管理制度創(chuàng)新的動(dòng)力。[1]科技評(píng)估是根據(jù)一套完整的技術(shù)標(biāo)準(zhǔn)和規(guī)范對(duì)科技系統(tǒng)及其相關(guān)活動(dòng)的作用、影響和效果進(jìn)行的科學(xué)、獨(dú)立、公正的評(píng)價(jià)。[2]評(píng)估指標(biāo)體系具有導(dǎo)向性作用,能夠促進(jìn)重點(diǎn)實(shí)驗(yàn)室健康良性發(fā)展,是科技管理部門對(duì)科研工作成效進(jìn)行考核的重要依據(jù)。
科技評(píng)估的方法在實(shí)際中得到不斷發(fā)展和完善,最初采用定性分析方法, 受主觀因素影響較大。為了提高科技評(píng)估結(jié)果的科學(xué)性, 逐漸把數(shù)學(xué)、經(jīng)濟(jì)學(xué)、運(yùn)籌學(xué)等學(xué)科的一些定量分析方法運(yùn)用到科技評(píng)估中, 科技評(píng)估逐步進(jìn)入定性評(píng)價(jià)和定量分析相結(jié)合的階段, 評(píng)估質(zhì)量有了質(zhì)的提升。[3]目前,科技評(píng)估大多是采用以定性評(píng)價(jià)為主, 以定量分析為輔, 定性與定量相結(jié)合的方法?,F(xiàn)在評(píng)估方法仍處在不斷研究和完善中。
美國(guó)于1972 年成立國(guó)會(huì)技術(shù)評(píng)估辦公室,主要任務(wù)是對(duì)涉及科技或科技計(jì)劃當(dāng)前和未來(lái)的影響進(jìn)行評(píng)估,對(duì)影響政策制定的科技新發(fā)展提出預(yù)見性評(píng)估意見, 為國(guó)會(huì)提供全面、有力的決策支持。法國(guó)政府1985年規(guī)定: 任何國(guó)家科技項(xiàng)目在沒有評(píng)估體系作保障之前不能啟動(dòng),并制定了一套公開、透明的評(píng)估標(biāo)準(zhǔn)和評(píng)估制度。日本1995 年頒布的《科學(xué)技術(shù)基本法》中正式把技術(shù)評(píng)價(jià)作為管理和推進(jìn)科研開發(fā)活動(dòng)的手段, 并規(guī)定不能隨意設(shè)立和撤消評(píng)估機(jī)構(gòu)。[4]德國(guó)建立有完整的科技評(píng)估體系和評(píng)估標(biāo)準(zhǔn),科技評(píng)估體系大致分為三層:聯(lián)邦和州政府、科研教育資助組織、大學(xué)和研究院所。[5]聯(lián)合國(guó)開發(fā)計(jì)劃署成立了評(píng)估與戰(zhàn)略規(guī)劃辦公室, 比較系統(tǒng)地制定了相關(guān)的基本政策、評(píng)估規(guī)范、評(píng)估跟蹤機(jī)制等,已形成了一個(gè)比較科學(xué)、完善的科技評(píng)估體系。[6]
我國(guó)于20 世紀(jì)90 年代初開始開展科技評(píng)估工作。1990 年建立了國(guó)家重點(diǎn)實(shí)驗(yàn)室定期評(píng)估制度,1999 年制定了《國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估規(guī)則》及評(píng)估指標(biāo)體系,將國(guó)家重點(diǎn)實(shí)驗(yàn)室的評(píng)估由定量評(píng)估為主逐步轉(zhuǎn)為定性評(píng)估為主。2003 年、2008 年科技部先后兩次對(duì)《國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估規(guī)則》進(jìn)行了修訂,進(jìn)一步規(guī)范了評(píng)估流程和評(píng)估指標(biāo)體系,強(qiáng)調(diào)實(shí)驗(yàn)室的整體性、綜合性和定性評(píng)估,不再對(duì)實(shí)驗(yàn)室進(jìn)行分類,而突出對(duì)實(shí)驗(yàn)室代表性成果進(jìn)行評(píng)估。2013 年根據(jù)科技體制改革的總體思路再次進(jìn)行了修訂,并延續(xù)了原有的定性評(píng)估、整體評(píng)價(jià),引導(dǎo)重點(diǎn)實(shí)驗(yàn)室出重大成果和優(yōu)秀人才等思路。[7]
科技評(píng)估是促進(jìn)重點(diǎn)實(shí)驗(yàn)室發(fā)展與規(guī)范重點(diǎn)實(shí)驗(yàn)室管理的重要手段。評(píng)估指標(biāo)體系應(yīng)具有導(dǎo)向性,既要反映重點(diǎn)實(shí)驗(yàn)室本質(zhì)特點(diǎn),又要體現(xiàn)管理層的要求。因此,科學(xué)合理的評(píng)估指標(biāo)體系是對(duì)重點(diǎn)實(shí)驗(yàn)室整體運(yùn)行情況做出準(zhǔn)確評(píng)判的重要依據(jù),直接關(guān)系到評(píng)估結(jié)果的合理性和準(zhǔn)確性。
目標(biāo)原則:重點(diǎn)實(shí)驗(yàn)室的建設(shè)目標(biāo)是“出成果、出人才、出效益”,遵循 “開放、交流、聯(lián)合、競(jìng)爭(zhēng)”運(yùn)行原則,是該領(lǐng)域先進(jìn)技術(shù)與優(yōu)秀人才聚集的重要科技創(chuàng)新平臺(tái)。評(píng)估指標(biāo)應(yīng)能夠多方位、多角度地反映重點(diǎn)實(shí)驗(yàn)室的建設(shè)成就。
導(dǎo)向原則:重點(diǎn)實(shí)驗(yàn)室評(píng)估的目的是為了總結(jié)成績(jī),找出不足,為未來(lái)的發(fā)展規(guī)劃提供決策依據(jù)。評(píng)估指標(biāo)應(yīng)體現(xiàn)鼓勵(lì)創(chuàng)新、鼓勵(lì)承擔(dān)高水平科研任務(wù)、出成果、出人才的指導(dǎo)思想和導(dǎo)向。
真實(shí)原則:數(shù)據(jù)采集既要體現(xiàn)重點(diǎn)實(shí)驗(yàn)室的共性特點(diǎn),又要突出全局性的關(guān)鍵要素,區(qū)別主次、輕重,系統(tǒng)與重點(diǎn)兼顧,完整反映重點(diǎn)實(shí)驗(yàn)室的真實(shí)情況。保證數(shù)據(jù)采集與分析的可行性和數(shù)據(jù)來(lái)源的可靠性。
標(biāo)準(zhǔn)原則:專家現(xiàn)場(chǎng)考察的定性評(píng)估與上報(bào)數(shù)據(jù)的定量評(píng)估相結(jié)合,用相同的量化標(biāo)準(zhǔn)作為統(tǒng)一尺度衡量實(shí)驗(yàn)室的業(yè)績(jī),使評(píng)估對(duì)象建立在統(tǒng)一的標(biāo)準(zhǔn)上,保證評(píng)估結(jié)果的真實(shí)性和準(zhǔn)確性。
重點(diǎn)實(shí)驗(yàn)室評(píng)估的主要目的是為了營(yíng)造良好的科研氛圍,激發(fā)科研人員的創(chuàng)新活力,提高科技資源的利用率,加強(qiáng)日常管理的科學(xué)性,將科學(xué)技術(shù)活動(dòng)與重點(diǎn)實(shí)驗(yàn)室的建設(shè)有機(jī)結(jié)合,更好地服務(wù)于經(jīng)濟(jì)社會(huì)。因此,評(píng)估指標(biāo)應(yīng)包含兩方面的內(nèi)容:一是重點(diǎn)實(shí)驗(yàn)室科技創(chuàng)新活動(dòng)的目的和內(nèi)容,二是科技創(chuàng)新活動(dòng)過(guò)程中的投入和產(chǎn)出。
(1) 評(píng)估指標(biāo)的篩選
在明確重點(diǎn)實(shí)驗(yàn)室的評(píng)估內(nèi)涵和指標(biāo)設(shè)計(jì)原則后,運(yùn)用文獻(xiàn)分析法與訪談法,篩選出定量評(píng)估指標(biāo)與定性評(píng)估指標(biāo)。
定量評(píng)估指標(biāo)具有簡(jiǎn)單明了、易統(tǒng)計(jì)、代表性強(qiáng)、可量化的特點(diǎn),可以用數(shù)據(jù)全面反映重點(diǎn)實(shí)驗(yàn)室的成果與效益、建設(shè)與運(yùn)行的成效,評(píng)估結(jié)果可以在重點(diǎn)實(shí)驗(yàn)室之間進(jìn)行比較。篩選了包括重點(diǎn)實(shí)驗(yàn)室承擔(dān)的研究任務(wù)、研究成果、經(jīng)濟(jì)效益、人才隊(duì)伍建設(shè)4個(gè)一級(jí)指標(biāo);承擔(dān)科研項(xiàng)目數(shù)量及金額、獲獎(jiǎng)成果、授權(quán)專利、標(biāo)準(zhǔn)制定、資質(zhì)認(rèn)證、開放課題、人才培養(yǎng)與引進(jìn)等14個(gè)二級(jí)指標(biāo)。定性評(píng)估需要利用行業(yè)專家與管理專家的知識(shí)、經(jīng)驗(yàn)和判斷進(jìn)行評(píng)判和比較,指標(biāo)無(wú)法量化,篩選包括研究方向、研究成果及學(xué)術(shù)和技術(shù)水平、人才隊(duì)伍、開放程度、研究條件、組織與管理6個(gè)一級(jí)指標(biāo);主要研究課題與成果的學(xué)術(shù)和技術(shù)水平、研究工作與成果的創(chuàng)新性、學(xué)術(shù)帶頭人水平和作用、研究隊(duì)伍結(jié)構(gòu)的合理性、設(shè)備配套性與先進(jìn)性、依托單位的支持程度等15個(gè)二級(jí)指標(biāo)。
(2) 確定指標(biāo)權(quán)重
根據(jù)重點(diǎn)實(shí)驗(yàn)室建設(shè)要求和評(píng)估目標(biāo),采用層次分析法(AHP法)確定評(píng)估指標(biāo)的權(quán)重。將所要評(píng)估的內(nèi)容分解為不同的指標(biāo),對(duì)每個(gè)指標(biāo)的影響因素及內(nèi)在關(guān)系進(jìn)行分析,按各指標(biāo)之間的相互關(guān)聯(lián)、隸屬關(guān)系、對(duì)重點(diǎn)實(shí)驗(yàn)室評(píng)估貢獻(xiàn)的大小進(jìn)行分配,聚集組合為不同層次,形成一個(gè)多層次的分析結(jié)構(gòu)模型。把定量與定性指標(biāo)合理地結(jié)合起來(lái),使復(fù)雜的問(wèn)題系統(tǒng)化和條理化;把評(píng)估過(guò)程層次化、數(shù)量化。
目前科技評(píng)估所采用的方法主要有層次分析法、文獻(xiàn)計(jì)量法、德爾菲法及同行評(píng)議法等,或者是以上幾種方法相組合的評(píng)估模型。[8]這些方法雖然能夠得出評(píng)估結(jié)果,但也都存在一定的缺陷,從而影響評(píng)估結(jié)果的準(zhǔn)確性、科學(xué)性及公平性。鑒于重點(diǎn)實(shí)驗(yàn)室評(píng)估是采用“定量與定性相結(jié)合”“學(xué)術(shù)專家與管理專家相結(jié)合”的方法,因此選擇由層次分析法、文獻(xiàn)計(jì)量法及同行評(píng)議相結(jié)合的多指標(biāo)綜合評(píng)估方法構(gòu)建評(píng)估模型。
(1) 定量評(píng)估模型的構(gòu)建
定量評(píng)估采用綜合評(píng)分法的修正加權(quán)評(píng)分法。依據(jù)各重點(diǎn)實(shí)驗(yàn)室上報(bào)的統(tǒng)計(jì)數(shù)據(jù),給各統(tǒng)計(jì)項(xiàng)設(shè)基本分,計(jì)分標(biāo)準(zhǔn)含絕對(duì)分值和相對(duì)分值兩類,相對(duì)分值按評(píng)估模型換算為相應(yīng)的絕對(duì)分值。
換算方法:設(shè)被考核重點(diǎn)實(shí)驗(yàn)室該項(xiàng)指標(biāo)的統(tǒng)計(jì)分值為Xi,Ai為被考核重點(diǎn)實(shí)驗(yàn)室該項(xiàng)指標(biāo)的平均分值,以被考核重點(diǎn)實(shí)驗(yàn)室該項(xiàng)指標(biāo)的平均分值為合格標(biāo)準(zhǔn)。該項(xiàng)指標(biāo)的滿分值為考核指標(biāo)體系給出,實(shí)驗(yàn)室該項(xiàng)指標(biāo)得分Yi:Yi=滿分值×(0.6+((Xi-Ai)/Ai)×0.6),并規(guī)定Yi的最高值為滿分值,校正系數(shù)為經(jīng)驗(yàn)值。
用數(shù)學(xué)模型計(jì)算出被評(píng)實(shí)驗(yàn)室相對(duì)應(yīng)的各項(xiàng)定量指標(biāo)的數(shù)值,各項(xiàng)指標(biāo)的數(shù)值總和即為該實(shí)驗(yàn)室的定量分值。對(duì)各項(xiàng)指標(biāo)的數(shù)量特征、數(shù)量關(guān)系與數(shù)量變化進(jìn)行分析,來(lái)評(píng)估重點(diǎn)實(shí)驗(yàn)室的運(yùn)行情況和綜合實(shí)力。
(2) 定性評(píng)估模型的構(gòu)建
定性指標(biāo)具有模糊和非定量化的特點(diǎn),無(wú)法直接測(cè)量,很難用精確數(shù)字來(lái)表示,我們采用同行評(píng)議法進(jìn)行打分。根據(jù)定性評(píng)估指標(biāo),評(píng)估專家根據(jù)其學(xué)識(shí)和經(jīng)驗(yàn), 通過(guò)對(duì)重點(diǎn)實(shí)驗(yàn)室的了解、分析、討論,做出獨(dú)立的判斷, 在規(guī)定的相應(yīng)指標(biāo)欄內(nèi)打分, 最后運(yùn)用評(píng)估模型計(jì)算出該實(shí)驗(yàn)室各項(xiàng)指標(biāo)的加權(quán)平均分a( i) 和評(píng)委的平均分A, 即:
式中:ai為第i位評(píng)委評(píng)的分?jǐn)?shù)(i= 1,2,3,…,n),n為評(píng)委人數(shù)。
(3) 綜合評(píng)估模型的構(gòu)建
把多個(gè)描述被評(píng)估重點(diǎn)實(shí)驗(yàn)室不同方面且量綱不同的定性和定量指標(biāo),轉(zhuǎn)化為無(wú)量綱的評(píng)估分值,綜合這些評(píng)估分值給出整體評(píng)價(jià)。
綜合評(píng)估分值是根據(jù)評(píng)估專家評(píng)議得出的定性評(píng)估指標(biāo)分值與各個(gè)重點(diǎn)實(shí)驗(yàn)室上報(bào)的統(tǒng)計(jì)數(shù)據(jù)換算得出定量評(píng)估指標(biāo)分值,根據(jù)相應(yīng)的模型計(jì)算得出。綜合評(píng)估得分=定量評(píng)估指標(biāo)分值*0.4+定性評(píng)估指標(biāo)分值*0.6,滿分值為100分。
根據(jù)綜合得分將評(píng)估結(jié)果分為五類,分別是:優(yōu)秀(綜合得分≥90分)、良好(90<綜合得分≥75分)、合格(75<綜合得分≥65分)、整改(65<綜合得分≥60分)、不合格(綜合得分<60分)。
為提高福建省基礎(chǔ)應(yīng)用研究水平及科技創(chuàng)新能力,推動(dòng)經(jīng)濟(jì)、科技和社會(huì)的發(fā)展,福建省自1991年起先后在農(nóng)林、海洋、生物醫(yī)藥、電子信息、光電子技術(shù)、輕工、測(cè)試等領(lǐng)域設(shè)立了新型科技創(chuàng)新平臺(tái)——福建省重點(diǎn)實(shí)驗(yàn)室,截止2019年7月福建省共有學(xué)科類重點(diǎn)實(shí)驗(yàn)室150個(gè)。2003年福建省科技廳為規(guī)范重點(diǎn)實(shí)驗(yàn)室管理,增強(qiáng)重點(diǎn)實(shí)驗(yàn)室創(chuàng)新能力,促進(jìn)重點(diǎn)實(shí)驗(yàn)室健康發(fā)展,將科技評(píng)估機(jī)制引入福建省重點(diǎn)實(shí)驗(yàn)室建設(shè)與管理工作,至今已開展了多次重點(diǎn)實(shí)驗(yàn)室科技評(píng)估。
第一階段:群評(píng)估
2003年首次使用這套指標(biāo)體系,對(duì)已通過(guò)科技廳驗(yàn)收的16個(gè)福建省重點(diǎn)實(shí)驗(yàn)室進(jìn)行統(tǒng)一考核評(píng)估即群評(píng)估,打破了福建省重點(diǎn)實(shí)驗(yàn)室只建設(shè)不考核一成不變格局。
運(yùn)用指標(biāo)體系對(duì)各被評(píng)估重點(diǎn)實(shí)驗(yàn)室申報(bào)材料進(jìn)行定量、定性及綜合評(píng)估,結(jié)合現(xiàn)場(chǎng)實(shí)際調(diào)研情況,對(duì)福建省重點(diǎn)實(shí)驗(yàn)室的現(xiàn)狀有了全面系統(tǒng)的了解。福建省重點(diǎn)實(shí)驗(yàn)室經(jīng)過(guò)十多年的建設(shè)和運(yùn)行,雖然承擔(dān)了一定數(shù)量的科研任務(wù),取得了一些較高水平的研究成果,但發(fā)展很不平衡。存在重點(diǎn)實(shí)驗(yàn)室結(jié)構(gòu)布局不夠合理、規(guī)模和水平參差不齊、原始創(chuàng)新能力不強(qiáng)、科研經(jīng)費(fèi)投入嚴(yán)重不足且籌集渠道單一、科研隊(duì)伍建設(shè)差強(qiáng)人意、管理不夠規(guī)范、開放與流動(dòng)性低、資源利用不夠充分等問(wèn)題,重點(diǎn)實(shí)驗(yàn)室整體水平與國(guó)內(nèi)先進(jìn)水平相比有較大的差距。
由于參加本次考核評(píng)估的16個(gè)重點(diǎn)實(shí)驗(yàn)室既有依托科研院所建設(shè)的也有依托高校建設(shè)的,而且設(shè)立的時(shí)間、背景和科研實(shí)力等不同,運(yùn)用本套指標(biāo)體系進(jìn)行群評(píng)估后出現(xiàn)了一些不合理的現(xiàn)象,如某個(gè)實(shí)驗(yàn)室的優(yōu)勢(shì)或者某些指標(biāo)被過(guò)分強(qiáng)化,而其他實(shí)驗(yàn)室的優(yōu)勢(shì)被壓制,某些評(píng)估指標(biāo)的作用失真,沒有達(dá)到全面真實(shí)地反映全省重點(diǎn)實(shí)驗(yàn)室總體水平的預(yù)期。
第二階段:分類評(píng)估—基礎(chǔ)研究類與開發(fā)類
在2005年到2007年的評(píng)估工作中,根據(jù)建設(shè)目的和研究性質(zhì)將重點(diǎn)實(shí)驗(yàn)室劃分為基礎(chǔ)研究類和開發(fā)類兩種不同類型?;A(chǔ)研究類重點(diǎn)實(shí)驗(yàn)室主要開展前沿領(lǐng)域和交叉學(xué)科實(shí)驗(yàn)性或理論性研究,成果的主要表現(xiàn)形式為學(xué)術(shù)論文和著作等理論性成果。開發(fā)類重點(diǎn)實(shí)驗(yàn)室主要利用現(xiàn)有知識(shí)創(chuàng)造新產(chǎn)品、新方法、新技術(shù)、新材料,解決本領(lǐng)域關(guān)鍵技術(shù)問(wèn)題。根據(jù)兩類重點(diǎn)實(shí)驗(yàn)室目標(biāo)任務(wù)的不同,對(duì)評(píng)估指標(biāo)體系進(jìn)行了調(diào)整?;A(chǔ)研究類重點(diǎn)實(shí)驗(yàn)室在承擔(dān)課題、人才培養(yǎng)、學(xué)術(shù)論文水平及數(shù)量等方面分值較高;開發(fā)類重點(diǎn)實(shí)驗(yàn)室在成果轉(zhuǎn)化及收入、技術(shù)轉(zhuǎn)讓及收入、產(chǎn)品銷售及收入等方面給予較高的分值;而成果鑒定與評(píng)審、科技獎(jiǎng)勵(lì)等二者共性的內(nèi)容分值相同。
運(yùn)用調(diào)整后的指標(biāo)體系分類評(píng)估,雖然能夠反映出基礎(chǔ)研究類和開發(fā)類重點(diǎn)實(shí)驗(yàn)室自身的特點(diǎn)和實(shí)際情況,但是也出現(xiàn)了一個(gè)突出的問(wèn)題:即依托高校建設(shè)的重點(diǎn)實(shí)驗(yàn)室從學(xué)術(shù)水平、研究成果、組織管理、儀器設(shè)備等各方面均優(yōu)于依托科研院所類重點(diǎn)實(shí)驗(yàn)室;依托研究院所建設(shè)的重點(diǎn)實(shí)驗(yàn)室成績(jī)不太理想或較差,6個(gè)評(píng)估不合格被除名的重點(diǎn)實(shí)驗(yàn)室有5個(gè)是依托科研院所建立的重點(diǎn)實(shí)驗(yàn)室。見表1。
表1 歷年重點(diǎn)實(shí)驗(yàn)室評(píng)估結(jié)果為較差類重點(diǎn)實(shí)驗(yàn)室情況表
通過(guò)系統(tǒng)分析發(fā)現(xiàn),出現(xiàn)這種現(xiàn)象既有歷史原因,也有其自身因素。福建省從上世紀(jì)90年代初開始重點(diǎn)實(shí)驗(yàn)室的建設(shè)工作,依托研究院所建設(shè)的重點(diǎn)實(shí)驗(yàn)室都是2000年之前建設(shè)的,他們對(duì)重點(diǎn)實(shí)驗(yàn)室建設(shè)的意義和作用認(rèn)識(shí)不夠明確,對(duì)重點(diǎn)實(shí)驗(yàn)室的建設(shè)缺乏足夠的重視,支持力度不大,從而造成這些重點(diǎn)實(shí)驗(yàn)室儀器設(shè)備相對(duì)陳舊、落后,人員老化出現(xiàn)斷層,中青年骨干科研人員少;依托高校建設(shè)的重點(diǎn)實(shí)驗(yàn)室絕大多數(shù)為2000年之后設(shè)立,建設(shè)起點(diǎn)和要求相對(duì)較高,高水平的科研人員較多,儀器設(shè)備先進(jìn),相對(duì)產(chǎn)出的科研成果水平較高,數(shù)量較多。
由于依托單位職能不一樣,研究院所類重點(diǎn)實(shí)驗(yàn)室在人才培養(yǎng)(博士、碩士)、學(xué)術(shù)論文的數(shù)量和水平、取得科研成果的能力等方面遠(yuǎn)遠(yuǎn)落后于高校,若繼續(xù)使用這種評(píng)估模式和指標(biāo)體系,勢(shì)必造成絕大多數(shù)依托研究院所建設(shè)的重點(diǎn)實(shí)驗(yàn)室被淘汰, 即不利于重點(diǎn)實(shí)驗(yàn)室的健康發(fā)展,也偏離了以評(píng)促建設(shè)的初衷。為適應(yīng)形勢(shì)、促進(jìn)重點(diǎn)實(shí)驗(yàn)室的良性發(fā)展,制定一個(gè)更加科學(xué)、合理的評(píng)估指標(biāo)體系和評(píng)估模式勢(shì)在必行。
第三階段:分類評(píng)估—科研院所類與高校及中直機(jī)構(gòu)類
2008年在總結(jié)以往歷年評(píng)估工作經(jīng)驗(yàn)的基礎(chǔ)上,考慮福建省實(shí)際情況,根據(jù)依托單位的類別把福建省重點(diǎn)實(shí)驗(yàn)室分為科研院所類和高校及中直機(jī)構(gòu)類,針對(duì)這兩類重點(diǎn)實(shí)驗(yàn)室設(shè)計(jì)了兩套不同的評(píng)估指標(biāo)體系。
2010年、2011年運(yùn)用這套分類評(píng)估指標(biāo)體系分別對(duì)13個(gè)科研院所類重點(diǎn)實(shí)驗(yàn)室、16個(gè)高校及中直機(jī)構(gòu)類重點(diǎn)實(shí)驗(yàn)室開展評(píng)估,每種類型的重點(diǎn)實(shí)驗(yàn)室放在各自的評(píng)估指標(biāo)體系下進(jìn)行統(tǒng)一比較、分析及綜合評(píng)估,較好反映了兩種不同類型重點(diǎn)實(shí)驗(yàn)室的整體運(yùn)行狀況和發(fā)展水平,對(duì)福建省重點(diǎn)實(shí)驗(yàn)室的良性發(fā)展起到了很好的促進(jìn)作用。
但在本次評(píng)估過(guò)程中也發(fā)現(xiàn),重點(diǎn)實(shí)驗(yàn)室規(guī)模的不同對(duì)評(píng)估結(jié)果的影響很大,甚至導(dǎo)致部分指標(biāo)反映出來(lái)的結(jié)果失真,嚴(yán)重影響了評(píng)估的權(quán)威性和公正性。如個(gè)別重點(diǎn)實(shí)驗(yàn)室利用在固定人員數(shù)量上的優(yōu)勢(shì),人為拼湊數(shù)據(jù),上報(bào)的統(tǒng)計(jì)數(shù)據(jù)幾乎是匯集本專業(yè)全院的數(shù)據(jù),忽視了研究成果的實(shí)際水平和質(zhì)量。為了改變重點(diǎn)實(shí)驗(yàn)室評(píng)估重形式、輕內(nèi)容,重?cái)?shù)量、輕質(zhì)量,過(guò)于看重論文數(shù)量和科研經(jīng)費(fèi)等指標(biāo)的現(xiàn)象,2012年我們向各重點(diǎn)實(shí)驗(yàn)室及部分依托單位科研管理部門征求修訂意見和建議,共回收到反饋意見25份,主要集中在以下這些問(wèn)題:(1)區(qū)別對(duì)待基礎(chǔ)研究和應(yīng)用研究類實(shí)驗(yàn)室,如對(duì)基礎(chǔ)研究的研究成果及應(yīng)用中的學(xué)術(shù)水平權(quán)重加大,而對(duì)應(yīng)用研究的應(yīng)用如專利、技術(shù)項(xiàng)目和技術(shù)咨詢與服務(wù)的權(quán)重加大;(2)學(xué)術(shù)水平只統(tǒng)計(jì)專著和被SCI和EI 收錄的論文;(3)建議加入對(duì)學(xué)科建設(shè)的評(píng)估,如國(guó)家級(jí)學(xué)科、重點(diǎn)學(xué)科等;(4)加大對(duì)國(guó)家級(jí)項(xiàng)目的權(quán)重;(5)根據(jù)實(shí)驗(yàn)室工作性質(zhì)不同設(shè)置更具針對(duì)性的評(píng)估指標(biāo);(6)擴(kuò)大知識(shí)產(chǎn)權(quán)的認(rèn)定范圍如軟件著作權(quán),集成電路布圖保護(hù)等。見表2-表5。
表2 高校及中直機(jī)構(gòu)類重點(diǎn)實(shí)驗(yàn)室定量指標(biāo)修訂建議
表4 研究院所類重點(diǎn)實(shí)驗(yàn)室定量指標(biāo)修訂建議
表5 研究院所類重點(diǎn)實(shí)驗(yàn)室定性指標(biāo)修訂建議
根據(jù)反饋意見的統(tǒng)計(jì)分析結(jié)果對(duì)具有代表性和廣普性的評(píng)估指標(biāo)內(nèi)容、權(quán)重和分值進(jìn)行調(diào)整和修訂,并改變了部分指標(biāo)的計(jì)分方法。重點(diǎn)實(shí)驗(yàn)室承擔(dān)的863、973、國(guó)家杰青等項(xiàng)目給予較高的基礎(chǔ)分值,區(qū)別于普通項(xiàng)目??蒲姓n題的數(shù)量、科研經(jīng)費(fèi)金額、論文數(shù)量、技術(shù)轉(zhuǎn)讓或成果轉(zhuǎn)化金額、儀器設(shè)備金額等不再單純求和,改為計(jì)算人均值;實(shí)驗(yàn)室承擔(dān)的課題、獲得的科研成果等根據(jù)完成形式(獨(dú)立、為主或參與)按不同的百分比計(jì)分。高校類重點(diǎn)實(shí)驗(yàn)室自身肩負(fù)著教學(xué)和培養(yǎng)學(xué)生的職責(zé),因此去除了研究生(博士、碩士)培養(yǎng)、教材類型專著等評(píng)估指標(biāo);取消對(duì)普通學(xué)術(shù)論文的評(píng)估,只統(tǒng)計(jì)SCI/EI收錄論文;取消產(chǎn)品研發(fā)與銷售收入等評(píng)估指標(biāo)。
修改后的指標(biāo)體系通過(guò)在2013年、2014年、2015年及2017年研究院所類重點(diǎn)實(shí)驗(yàn)室和高校類重點(diǎn)實(shí)驗(yàn)室評(píng)估工作中的實(shí)踐應(yīng)用檢驗(yàn),取得了較好的應(yīng)用效果,評(píng)估結(jié)果更加公正、公平、合理,很好的反映了福建省重點(diǎn)實(shí)驗(yàn)室整體實(shí)力、科研水平和存在的問(wèn)題,成為管理層鼓勵(lì)先進(jìn)、淘汰落后,規(guī)范重點(diǎn)實(shí)驗(yàn)室管理的有力依據(jù),達(dá)到以評(píng)促發(fā)展、以評(píng)促建設(shè)的評(píng)估目的,有效促進(jìn)了福建省重點(diǎn)實(shí)驗(yàn)室的健康有序發(fā)展。
評(píng)估指標(biāo)體系反映了一定時(shí)期重點(diǎn)實(shí)驗(yàn)室的實(shí)際情況,但隨著社會(huì)價(jià)值觀的變化也會(huì)出現(xiàn)一些缺陷和不合理的現(xiàn)象,因此要及時(shí)進(jìn)行調(diào)整、修正以適應(yīng)科學(xué)研究的發(fā)展和進(jìn)步。
現(xiàn)行的重點(diǎn)實(shí)驗(yàn)室建設(shè)與管理模式基本是先根據(jù)申報(bào)條件篩選然后通過(guò)專家予以論證立項(xiàng),再根據(jù)依托單位的性質(zhì)進(jìn)行分類評(píng)估。由于每個(gè)重點(diǎn)實(shí)驗(yàn)室所處的學(xué)科鄰域不同,定位和研究方向差異很大,采用分類模式的“一刀切”式的評(píng)估模式雖然簡(jiǎn)便、明晰,但較難對(duì)不同鄰域間重點(diǎn)實(shí)驗(yàn)室的水平和貢獻(xiàn)做出客觀的評(píng)價(jià)。因此按學(xué)科領(lǐng)域或研究方向相近的原則分組評(píng)估,建立分組評(píng)估指標(biāo)體系,不僅可以提高評(píng)估結(jié)果的可比性,而且能真正起到激勵(lì)和引導(dǎo)作用,有利于重點(diǎn)實(shí)驗(yàn)室間的良性競(jìng)爭(zhēng)和創(chuàng)新研究上的突破,從而推進(jìn)科技創(chuàng)新體系的進(jìn)步和發(fā)展。
現(xiàn)行的評(píng)估模式是定量評(píng)估、定性評(píng)估和現(xiàn)場(chǎng)考察相結(jié)合。定量評(píng)估指標(biāo)能夠較客觀的反映重點(diǎn)實(shí)驗(yàn)室真實(shí)的運(yùn)行情況。但重點(diǎn)實(shí)驗(yàn)室在本學(xué)科領(lǐng)域的綜合水平和地位、研究方向和內(nèi)容的先進(jìn)水平等指標(biāo)需要有學(xué)術(shù)水平高、專業(yè)性強(qiáng)的評(píng)估專家做定性判斷,而評(píng)估專家的專業(yè)能力、道德、人情等因素會(huì)影響這些指標(biāo)的真實(shí)度,不能完全反映實(shí)際情況?,F(xiàn)場(chǎng)評(píng)估不僅需要專家組聽取成果匯報(bào),而且要核查實(shí)際運(yùn)行管理情況、質(zhì)詢答疑,可以更直觀地反映重點(diǎn)實(shí)驗(yàn)室管理水平和科研水平,能夠一定程度的彌補(bǔ)在定性評(píng)估中的失誤,但目前只被當(dāng)做一種輔助手段。個(gè)人認(rèn)為采用評(píng)估權(quán)重為定量評(píng)估40%、定性評(píng)估40%、現(xiàn)場(chǎng)考察20%的定量、定性與現(xiàn)場(chǎng)考察相結(jié)合的綜合評(píng)估模式,評(píng)估結(jié)果會(huì)更客觀、準(zhǔn)確、真實(shí)。
評(píng)估數(shù)據(jù)的采集和分析計(jì)算直接影響評(píng)估結(jié)果的準(zhǔn)確性。定量評(píng)估信息的采集要建立在重點(diǎn)實(shí)驗(yàn)室產(chǎn)出數(shù)據(jù)的基礎(chǔ)上,對(duì)上報(bào)數(shù)據(jù)出現(xiàn)矛盾或前后不一致時(shí),在對(duì)數(shù)據(jù)進(jìn)行核準(zhǔn)和修正的基礎(chǔ)上,采用較低數(shù)據(jù)作為評(píng)估信息;如果文字與附件不一致,以附件作為考核評(píng)估信息;摻雜有依托單位的數(shù)據(jù)信息,對(duì)不真實(shí)的數(shù)據(jù)進(jìn)行調(diào)整或剔除,保證采集數(shù)據(jù)的完整性、連續(xù)性和準(zhǔn)確性,便于數(shù)據(jù)的統(tǒng)計(jì)和評(píng)估指標(biāo)的計(jì)算與分析。
同鄰域重點(diǎn)實(shí)驗(yàn)室間的相互比較最能直觀的反映實(shí)驗(yàn)室的科研能力和水平。評(píng)估科研水平的首要參考指標(biāo)是論文質(zhì)量,論文質(zhì)量不僅可以反映實(shí)驗(yàn)室研究思想的前瞻性、先進(jìn)性,而且可以反映科研人員的水平與能力、科研環(huán)境、科研數(shù)據(jù)質(zhì)量、合作研究能力、科研經(jīng)費(fèi)投入等實(shí)驗(yàn)室的綜合水平;另外研究成果的水平和數(shù)量也是評(píng)估科研水平的重要依據(jù),包括國(guó)際、國(guó)內(nèi)、行業(yè)、地方標(biāo)準(zhǔn)制定的數(shù)量和參與方式,授權(quán)發(fā)明專利、軟件著作權(quán)、新藥證書、新產(chǎn)品、科學(xué)研究方法的創(chuàng)立等[9];最后,技術(shù)標(biāo)準(zhǔn)、發(fā)明專利、新產(chǎn)品的使用等反映重點(diǎn)實(shí)驗(yàn)室成果轉(zhuǎn)化、轉(zhuǎn)讓與應(yīng)用能力的指標(biāo),也是評(píng)估科研水平和能力的重要因素。
重點(diǎn)實(shí)驗(yàn)室代表性成果是評(píng)估期內(nèi)以固定人員為主在本實(shí)驗(yàn)室完成的符合主要研究方向的科研成果,以及通過(guò)國(guó)內(nèi)外合作研究取得的成果。但在實(shí)際評(píng)估工作中被評(píng)實(shí)驗(yàn)室申報(bào)材料中包含整個(gè)依托單位研究?jī)?nèi)容的現(xiàn)象屢見不鮮,部分代表性成果與研究方向關(guān)聯(lián)度不高,甚至無(wú)關(guān)。要杜絕此類現(xiàn)象繼續(xù)發(fā)生,必須加強(qiáng)對(duì)重點(diǎn)實(shí)驗(yàn)室研究方向、研究成果與固定人員間關(guān)聯(lián)性的評(píng)估;強(qiáng)調(diào)代表性成果的質(zhì)量,弱化代表性成果數(shù)量。
評(píng)估指標(biāo)體系為重點(diǎn)實(shí)驗(yàn)室的規(guī)范管理提供了技術(shù)支撐,是實(shí)現(xiàn)優(yōu)勝劣汰、保持整體優(yōu)勢(shì)的主要依據(jù)。評(píng)估指標(biāo)體系的設(shè)計(jì)應(yīng)該明確導(dǎo)向性,建立在統(tǒng)一的標(biāo)準(zhǔn)上,最大限度的反映出不同重點(diǎn)實(shí)驗(yàn)室的共性,并突出個(gè)性化指標(biāo),保證評(píng)估結(jié)果的真實(shí)性和準(zhǔn)確性。
注釋:
[1][4][6] 時(shí)盛英:《科技評(píng)估的發(fā)展及存在的問(wèn)題與對(duì)策》,《情報(bào)探索》2003年第4期。
[2] 曹紹文:《科技評(píng)估有利于科技管理決策科學(xué)化》,《今日科技》2002年第4期。
[3] 王再進(jìn):《國(guó)外科技評(píng)估的歷史、現(xiàn)狀及其啟示》,《北京航空航天大學(xué)學(xué)報(bào)》(社會(huì)科學(xué)版)2006年第4期。
[5] 張瑞芬、董建中、王宏雁:《山西省應(yīng)盡快建立科技評(píng)估支持系統(tǒng)》,《科技情報(bào)開發(fā)與經(jīng)濟(jì)》2002年第4期。
[7] 楊曉秋:《關(guān)于國(guó)家重點(diǎn)實(shí)驗(yàn)室評(píng)估的思考》,《實(shí)驗(yàn)室研究與探索》2015年第9期。
[8] 楊 鳳:《基礎(chǔ)研究項(xiàng)目立項(xiàng)評(píng)估模型研究》,吉林大學(xué)碩士論文,2014年5月。
[9] 吳 根、于敬鵬:《國(guó)家重點(diǎn)實(shí)驗(yàn)室分類評(píng)價(jià)指標(biāo)體系研究》,《實(shí)驗(yàn)技術(shù)與管理》2012年第9期。