朱志凌+柳春
摘要: 通過國家工程技術(shù)研究中心運(yùn)行評估的實(shí)踐,綜述了評估對象、原則和程序,探討了評估指標(biāo)體系的設(shè)計(jì),以及評估方法的使用,建立了專家評議結(jié)果相關(guān)模型,為合理利用綜合評價結(jié)果提供實(shí)踐參考。
Abstract: Via operational evaluation practice of Chinese National Engineering Research Center(CNERC), this paper summarizes the objects, principles and procedures of the evaluation, discusses the application of the evaluation method, then establishes a frame model for expert evaluation results, and proposes practical reference for the application of comprehensive appraisal results.
關(guān)鍵詞: 運(yùn)行評估;綜合評價;國家工程技術(shù)研究中心
Key words: operational evaluation;synthesized appraisal;CNERC
中圖分類號:G322.2;F124.3 文獻(xiàn)標(biāo)識碼:A 文章編號:1006-4311(2014)19-0014-03
0 引言
國家工程技術(shù)研究中心(以下簡稱“工程中心”)是國家科技創(chuàng)新體系建設(shè)和國家科技發(fā)展計(jì)劃的重要組成部分,代表行業(yè)或領(lǐng)域的最高研究水平。旨在“創(chuàng)新、產(chǎn)業(yè)化”方針指導(dǎo)下,探索科技與經(jīng)濟(jì)結(jié)合的新途徑,加強(qiáng)科技成果向生產(chǎn)力轉(zhuǎn)化的中間環(huán)節(jié),促進(jìn)科技產(chǎn)業(yè)化;面向企業(yè)規(guī)模生產(chǎn)的需要,推動集成、配套的工程化成果向相關(guān)行業(yè)輻射、轉(zhuǎn)移與擴(kuò)散,促進(jìn)新興產(chǎn)業(yè)的崛起和傳統(tǒng)產(chǎn)業(yè)的升級改造;促進(jìn)科技體制改革,培養(yǎng)一流的工程技術(shù)人才,建設(shè)一流的工程化實(shí)驗(yàn)條件,形成我國科研開發(fā)、技術(shù)創(chuàng)新和產(chǎn)業(yè)化基地[1]。
截止到2011年,已有156家工程中心通過驗(yàn)收、投入正式運(yùn)行,為進(jìn)一步加強(qiáng)對工程中心的運(yùn)行管理和分類指導(dǎo),工程中心的管理重點(diǎn)正逐步由組建轉(zhuǎn)移到監(jiān)督管理和優(yōu)化調(diào)整上來。開展運(yùn)行評估作為一種有效的技術(shù)手段,在工程中心的監(jiān)督管理中發(fā)揮了積極的作用,對各工程中心的自身發(fā)展也起到了一定的激勵與引導(dǎo)作用[2-3]。
根據(jù)《國家工程技術(shù)研究中心暫行管理辦法》相關(guān)規(guī)定的要求,2011年對工程中心四年來(2007~2010年)運(yùn)行效果的客觀評價及運(yùn)行狀態(tài)的分析,對比工程中心的組建宗旨及職責(zé)定位,對各工程中心的運(yùn)行狀況進(jìn)行分析評價;通過動態(tài)管理,為加強(qiáng)和規(guī)范工程中心的管理提供決策依據(jù)[4]。
目前關(guān)于工程中心評估的文獻(xiàn)主要涉及省級工程中心評估實(shí)踐,從科研管理層面,針對評估指標(biāo)體系的建立和評估方法進(jìn)行研究探討,例如江蘇省開展了省級工程中心的驗(yàn)收評估實(shí)踐[5],陜西省對省級工程中心進(jìn)行了專項(xiàng)績效評估實(shí)踐等[6]。本文通過國家工程中心運(yùn)行評估的實(shí)踐,綜述了評估對象、原則和程序,探討了評估指標(biāo)體系的設(shè)計(jì),以及評估方法的使用,建立了專家評議結(jié)果相關(guān)模型,為合理利用綜合評價結(jié)果提供實(shí)踐參考。
1 評估對象、原則和程序
1.1 評估對象 本文涉及的評估對象為2008年以前(含2008年)通過驗(yàn)收,正式投入運(yùn)行兩年以上的高新技術(shù)類工程中心。
1.2 評估原則 主要包括:①導(dǎo)向性原則。評估工作立足于工程中心的發(fā)展戰(zhàn)略,緊密圍繞工程中心的組建宗旨、目標(biāo)定位,引導(dǎo)、鼓勵工程中心向規(guī)定建設(shè)目標(biāo)發(fā)展,實(shí)現(xiàn)國家戰(zhàn)略目標(biāo)。②客觀公正原則。評估工作做到公開、透明,鼓勵利益相關(guān)方的有效參與,充分發(fā)揚(yáng)民主,客觀、公正地評價工程中心的運(yùn)行績效。③科學(xué)、可行、高效原則。針對運(yùn)行評估的目的和基本特點(diǎn),選擇科學(xué)、可行的評估模式和技術(shù)路線,在保證質(zhì)量前提下,簡化程序、易于實(shí)施、提高效率;評估指標(biāo)的設(shè)計(jì)做到概念準(zhǔn)確、含義明晰、層次合理、完整全面反應(yīng)評估對象特征。
1.3 評估程序 本次評估工作采用“統(tǒng)一框架與標(biāo)準(zhǔn),分領(lǐng)域組織實(shí)施”的工作方案。通過工程中心自評價、同行專家評議(包括會議評估與通信評估兩種形式)、管理部門評價和現(xiàn)場調(diào)研等多種評價活動,對各工程中心的工程化能力與水平、行業(yè)作用以及運(yùn)行管理三個方面的運(yùn)行績效進(jìn)行了綜合評價。
2 評估方法和指標(biāo)體系
2.1 評估方法的選擇 本次運(yùn)行評估采用定性評估與定量評估相結(jié)合,會議評估、通信評估與現(xiàn)場考察相結(jié)合,綜合評估與專業(yè)評估相結(jié)合的方法,以評估指標(biāo)的判斷準(zhǔn)則為絕對標(biāo)準(zhǔn),將中心運(yùn)行表現(xiàn)與指標(biāo)判斷準(zhǔn)則的對比作為主要依據(jù),輔之以中心之間的橫向?qū)Ρ?,評價各工程中心的運(yùn)行狀況。
2.2 指標(biāo)體系的建立 本次運(yùn)行評估按照《工程中心管理辦法》及其他相關(guān)的政策文件,根據(jù)工程中心組建宗旨、職責(zé)、職能的相關(guān)要求,建立了評估框架、設(shè)計(jì)了評估指標(biāo)體系。該指標(biāo)體系建立在歷次績效運(yùn)行評估指標(biāo)體系的基礎(chǔ)上,依據(jù)工程中心發(fā)展目標(biāo)要求[7]。
指標(biāo)體系共設(shè)工程化能力、行業(yè)作用和運(yùn)行管理3項(xiàng)一級指標(biāo)8項(xiàng)二級指標(biāo),各項(xiàng)指標(biāo)及說明見表1。
3 同行專家評議
工程中心運(yùn)行評估同行專家評議采取分領(lǐng)域答辯評議和通信評議相結(jié)合的方法,該同行專家評議方法在美國國家科學(xué)基金會與國立衛(wèi)生研究院等科學(xué)基金資助機(jī)構(gòu)的項(xiàng)目評價中已經(jīng)得到廣泛應(yīng)用[8-9]。
3.1 專家的遴選 根據(jù)《科學(xué)技術(shù)評價(試行)》及相關(guān)政策文件的要求[10-17],評議專家應(yīng)具有較高的專業(yè)知識水平和實(shí)踐經(jīng)驗(yàn)、敏銳的洞察力和較強(qiáng)的判斷能力,熟悉被評價內(nèi)容及國內(nèi)外相關(guān)領(lǐng)域的發(fā)展?fàn)顩r;同時具有良好的資信和科學(xué)道德,認(rèn)真嚴(yán)謹(jǐn),秉公辦事,客觀公正,熱心科學(xué)技術(shù)事業(yè),敢于承擔(dān)責(zé)任。遴選專家應(yīng)遵循隨機(jī)、回避和更換的原則,突出評估專家組年齡結(jié)構(gòu)、知識結(jié)構(gòu)和學(xué)緣結(jié)構(gòu)的合理性。endprint
本次參與評估的工程中心按領(lǐng)域分為五組(以下簡稱為A、B、C、D和E組),各組評議專家來源涵蓋高校、軍隊(duì)、研究院所、協(xié)會/學(xué)會、企業(yè),以行業(yè)技術(shù)專家和管理專家為主;通信評議專家以小同行技術(shù)專家為主。
3.2 專家評議表的設(shè)計(jì) 為便于評議專家對評估指標(biāo)的理解和實(shí)際操作,將每項(xiàng)二級指標(biāo)抽象提煉出具體的2-4項(xiàng)評價判斷,專家根據(jù)工程中心運(yùn)行情況,對所設(shè)選項(xiàng)進(jìn)行選擇,并參考評價判斷的選擇情況對該二級指標(biāo)進(jìn)行打分。每項(xiàng)指標(biāo)打分滿分為10分,優(yōu)秀為9~10分,良好為7~8分,合格為5~6分,問題較多為5分以下。例如對二級指標(biāo)“工程化研發(fā)方向”的評價設(shè)計(jì)見表2。
在上述專家評議表的基礎(chǔ)上,針對會評專家參與現(xiàn)場答辯的特點(diǎn),設(shè)計(jì)各組綜合評議意見表。會評專家組應(yīng)對本領(lǐng)域工程中心提出綜合性意見,其主要內(nèi)容包括工程中心在評估期內(nèi)的取得的主要成績、存在的主要問題及未來發(fā)展建議。
4 同行評議結(jié)果分析
4.1 同行評議評分模型 參考相關(guān)文獻(xiàn)并綜合考慮會議評估和通信評估兩種形式,設(shè)計(jì)同行評議評分模型。以A組為例,若m位會議評估專家,n位通信評估專家對p個工程中心進(jìn)行評估,設(shè)YmA,YnA分別為A組工程中心會議評估和通信評估評分矩陣,則YmA=(ym1,ym2,ym3,…,ymp)T,YnA=(yn1,yn2,yn3,…,ynp)T,設(shè)XmA,XnA分別為A組會議評估和通信評估專家評分矩陣,則
XmA=■,XnA=■
式中,xab為第b個專家對第a個工程中心的評分值。YmA表示m位會議評估專家對p個工程中心進(jìn)行評分,YnA表示n位通信評估專家對p個工程中心進(jìn)行評分。按照評估專家評分統(tǒng)計(jì)方法,分別計(jì)算兩者的算術(shù)平均值和標(biāo)準(zhǔn)差[18-19],即
yma=■xab/m(b為正整數(shù),且l?燮b?燮m),標(biāo)準(zhǔn)差為SDma,
yna=■xab/n(b為正整數(shù),且l?燮b?燮n),標(biāo)準(zhǔn)差為SDna。
4.2 專家評議結(jié)果偏差模型 由于評估專家的學(xué)術(shù)背景、科研經(jīng)歷、心理特征、思維模式、標(biāo)準(zhǔn)把握等都有可能存在較大的差異,因此評估專家對于同一客觀事實(shí)的認(rèn)識和判斷就有可能形成偏差,評估的結(jié)果就不能夠準(zhǔn)確地反映客觀情況[20-23]。針對本次評估特點(diǎn),對專家評分偏差分析如下:
由于專家的個體差異以及評分尺度把握的不同,個別專家評分可能整體偏高或偏低,表現(xiàn)為專家評分偏離整體評分的標(biāo)準(zhǔn),此類偏差稱作個體偏差,用△1表示。內(nèi)部影響偏差是專家基于對自身熟悉領(lǐng)域的偏好所產(chǎn)生的偏差,特別在小同行技術(shù)專家評分中易出現(xiàn),用△2表示。條件影響偏差是基于會議評估和通信評估兩種不同形式下,各位專家對打分原則掌握的尺度不一致,對某個工程中心的評估沒有達(dá)成共識而產(chǎn)生的偏差,用△3表示。由于各專家組間評分的尺度存在差異,導(dǎo)致各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町?,從而產(chǎn)生組間偏差,用△4表示。
綜上分析,建立專家評議結(jié)果偏差模型:
△=△1+△2+△3+△4
式中,個體偏差為△1,內(nèi)部影響偏差為△2,條件影響偏差為△3,組間偏差為△4。
4.3 同行評議結(jié)果綜合分析 通過分析專家評議結(jié)果偏差模型可知,實(shí)際評估活動中所產(chǎn)生的偏差都有可能影響到工程中心運(yùn)行評估最終結(jié)果的準(zhǔn)確性。本次評估實(shí)踐采取了相應(yīng)措施保證評估結(jié)果的準(zhǔn)確性,盡可能消除上述偏差,具體分析如下:
根據(jù)本次評估活動特點(diǎn)進(jìn)行分析,△1是由專家的個體差異決定的,通過計(jì)算平均值和標(biāo)準(zhǔn)差,并采取篩除同組內(nèi)異常值的辦法消除個體偏差,從而不影響整體評估結(jié)果。
△2主要表現(xiàn)在小同行技術(shù)專家評分中出現(xiàn)明顯偏離均值的現(xiàn)象,綜合分析會議評估和通信評估評分結(jié)果,以統(tǒng)計(jì)學(xué)方法為手段,可以鑒別出無效數(shù)據(jù)。
△3主要表現(xiàn)在通信專家與會評專家在個別工程中心的打分上,具有較大的差異,其原因主要是會評專家聽取中心答辯,部分疑問通過提問進(jìn)行了解,對情況了解更加深入,而通信專家只通過中心提交材料進(jìn)行打分,兩者所掌握的信息量及準(zhǔn)確度存在一定的差異,導(dǎo)致非共識性差異,針對上述情況對個別中心進(jìn)行現(xiàn)場評議,整合多方意見得出評議結(jié)果。
△4主要表現(xiàn)在各領(lǐng)域間同等水平的工程中心橫向?qū)Ρ却嬖诜种挡町悾鹘M分?jǐn)?shù)之間的差異除了本組工程中心總體水平不一致外,還要考慮每組專家不同,各自掌握的打分原則也不相同,需要綜合考慮平衡。對不同分?jǐn)?shù)段內(nèi)各組中心數(shù)量分布以及不同比例內(nèi)各組中心分?jǐn)?shù)分布進(jìn)行列表分析,見表3、表4。通過組間橫向?qū)Ρ?,對評分結(jié)果進(jìn)行校正,在較大程度上消除組間偏差的影響。
5 結(jié)語
本文綜述了工程中心運(yùn)行評估原則、程序、評估指標(biāo)體系和方法,并以同行評議為研究重點(diǎn),探討了專家遴選機(jī)制和原則,建立了同行評議評分模型和專家評議結(jié)果偏差模型,深入分析個體偏差、內(nèi)部影響偏差、條件影響偏差和組間偏差的產(chǎn)生原因、表現(xiàn)形式以及消除(減弱)方法;通過數(shù)理統(tǒng)計(jì)的方法,合理利用同行專家評議結(jié)果,為工程中心運(yùn)行評估綜合評價提供科學(xué)的數(shù)據(jù)支持,同時也為同行評議方法的應(yīng)用提供較為全面的實(shí)踐參考。
參考文獻(xiàn):
[1]王發(fā)明,蔡寧.國家工程技術(shù)研究中心理想運(yùn)行目標(biāo)體系研究[J].科技進(jìn)步與對策,2009,26(6):25-28.
[2]曹煜中,王發(fā)明.國家工程技術(shù)研究中心運(yùn)行模式及路徑選擇研究[J].技術(shù)經(jīng)濟(jì),2008,27(2):22-25.
[3]李鋼.國家工程技術(shù)研究中心的運(yùn)行及其機(jī)制研究[D].杭州,浙江大學(xué)經(jīng)濟(jì)學(xué)院,2003.
[4]關(guān)于開展2011年度國家工程技術(shù)研究中心運(yùn)行評估的通知,國科計(jì)函[2011]18號.
[5]孫興蓮,白冬梅.江蘇省工程技術(shù)研究中心運(yùn)行管理現(xiàn)狀與政策建議[J].江蘇科技信息,2008(2):42-43.endprint
[6]賀福明.省級研究機(jī)構(gòu)績效評估探討與實(shí)踐[J].管理觀察,2011(24):132-133.
[7]國家工程技術(shù)研究中心暫行管理辦法,國科發(fā)計(jì)字060號.
[8]張彥.論同行評議的改進(jìn)[J].社會科學(xué)研究,2008(3):86-91.
[9]徐彩榮,李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理,2005,26(2):29-33.
[10]何杰,王成紅,劉克.對同行評議專家評議工作進(jìn)行評估的一些思考[J].中國科學(xué)基金,2004,18(1):47-50.
[11]王成紅,何杰,劉克,宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐,2004,24(2):83-89.
[12]齊麗麗,司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫,2008(5):26-28.
[13]陳媛,樊治平,謝美萍.科研項(xiàng)目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2009,30(10):38-42.
[14]張?zhí)?,張宏?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究,2009,20(1):152-154.
[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究,2008,28(1):86-88.
[16]馮鋒,于晟,于振良.關(guān)于科學(xué)研究項(xiàng)目同行評議的一些政策性分析[J].中國科學(xué)基金,2007,21(1):42-46.
[17]吳建軍,劉璐.國家自然科學(xué)基金項(xiàng)目同行評議現(xiàn)狀研究[J].中國科技博覽,2009(12):151.
[18]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理,2006,18(6):134-137.
[19]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估體系研究[D].大連:大連理工大學(xué)管理學(xué)院,2006.
[20]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào),2007,29(7):80-82.
[21]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家的若干問題研究[J].研究與發(fā)展管理,2006(4):108-111.
[22]謝煥瑛,張健.關(guān)于國家重點(diǎn)實(shí)驗(yàn)室評估若干問題的思考[J].中國科學(xué)基金,2003(02):111-113.
[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理,2002,23(2):41-45.endprint
[6]賀福明.省級研究機(jī)構(gòu)績效評估探討與實(shí)踐[J].管理觀察,2011(24):132-133.
[7]國家工程技術(shù)研究中心暫行管理辦法,國科發(fā)計(jì)字060號.
[8]張彥.論同行評議的改進(jìn)[J].社會科學(xué)研究,2008(3):86-91.
[9]徐彩榮,李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理,2005,26(2):29-33.
[10]何杰,王成紅,劉克.對同行評議專家評議工作進(jìn)行評估的一些思考[J].中國科學(xué)基金,2004,18(1):47-50.
[11]王成紅,何杰,劉克,宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐,2004,24(2):83-89.
[12]齊麗麗,司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫,2008(5):26-28.
[13]陳媛,樊治平,謝美萍.科研項(xiàng)目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2009,30(10):38-42.
[14]張?zhí)?,張宏?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究,2009,20(1):152-154.
[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究,2008,28(1):86-88.
[16]馮鋒,于晟,于振良.關(guān)于科學(xué)研究項(xiàng)目同行評議的一些政策性分析[J].中國科學(xué)基金,2007,21(1):42-46.
[17]吳建軍,劉璐.國家自然科學(xué)基金項(xiàng)目同行評議現(xiàn)狀研究[J].中國科技博覽,2009(12):151.
[18]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理,2006,18(6):134-137.
[19]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估體系研究[D].大連:大連理工大學(xué)管理學(xué)院,2006.
[20]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào),2007,29(7):80-82.
[21]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家的若干問題研究[J].研究與發(fā)展管理,2006(4):108-111.
[22]謝煥瑛,張健.關(guān)于國家重點(diǎn)實(shí)驗(yàn)室評估若干問題的思考[J].中國科學(xué)基金,2003(02):111-113.
[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理,2002,23(2):41-45.endprint
[6]賀福明.省級研究機(jī)構(gòu)績效評估探討與實(shí)踐[J].管理觀察,2011(24):132-133.
[7]國家工程技術(shù)研究中心暫行管理辦法,國科發(fā)計(jì)字060號.
[8]張彥.論同行評議的改進(jìn)[J].社會科學(xué)研究,2008(3):86-91.
[9]徐彩榮,李曉軒.國外同行評議的不同模式與共同趨勢[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理,2005,26(2):29-33.
[10]何杰,王成紅,劉克.對同行評議專家評議工作進(jìn)行評估的一些思考[J].中國科學(xué)基金,2004,18(1):47-50.
[11]王成紅,何杰,劉克,宋蘇.關(guān)于同行評議專家定量評估指標(biāo)研究的幾個新結(jié)果[J].系統(tǒng)工程理論與實(shí)踐,2004,24(2):83-89.
[12]齊麗麗,司曉悅.對我國同行評議專家遴選制度的建議[J].科技成果縱橫,2008(5):26-28.
[13]陳媛,樊治平,謝美萍.科研項(xiàng)目同行評議專家水平的評價研究[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2009,30(10):38-42.
[14]張?zhí)?,張宏?同行評議形式的爭論及發(fā)展現(xiàn)狀[J].中國科技期刊研究,2009,20(1):152-154.
[15]楊翠.關(guān)于同行評議自我評價規(guī)避方法的若干問題和完善方法[J].科技管理研究,2008,28(1):86-88.
[16]馮鋒,于晟,于振良.關(guān)于科學(xué)研究項(xiàng)目同行評議的一些政策性分析[J].中國科學(xué)基金,2007,21(1):42-46.
[17]吳建軍,劉璐.國家自然科學(xué)基金項(xiàng)目同行評議現(xiàn)狀研究[J].中國科技博覽,2009(12):151.
[18]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家評分偏差效應(yīng)分析[J]. 研究與發(fā)展管理,2006,18(6):134-137.
[19]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估體系研究[D].大連:大連理工大學(xué)管理學(xué)院,2006.
[20]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估信度與離散度分析[J].武漢理工大學(xué)學(xué)報(bào),2007,29(7):80-82.
[21]謝煥瑛.國家重點(diǎn)實(shí)驗(yàn)室評估專家的若干問題研究[J].研究與發(fā)展管理,2006(4):108-111.
[22]謝煥瑛,張健.關(guān)于國家重點(diǎn)實(shí)驗(yàn)室評估若干問題的思考[J].中國科學(xué)基金,2003(02):111-113.
[23]鄭稱德.同行評議專家工作業(yè)績測評及其模型研究[J].科研管理,2002,23(2):41-45.endprint