摘 要:【目的】科技成果評(píng)價(jià)是科技成果管理體系的重要組成部分,科技成果評(píng)價(jià)體系是否公正、客觀,直接影響科技事業(yè)的健康發(fā)展?!痉椒ā勘狙芯客ㄟ^層次分析法建立科技成果評(píng)價(jià)模型,確定了3個(gè)一級(jí)指標(biāo)和9個(gè)二級(jí)指標(biāo),構(gòu)建了兩兩對(duì)稱矩陣求出各級(jí)指標(biāo)的權(quán)重,并通過了一致性檢驗(yàn)?!窘Y(jié)果】構(gòu)建了科技成果評(píng)價(jià)體系,并通過實(shí)例驗(yàn)證了評(píng)價(jià)體系的有效性?!窘Y(jié)論】通過對(duì)科技成果評(píng)價(jià)體系以及各級(jí)指標(biāo)權(quán)重的分析,從建立健全評(píng)價(jià)體系、完善專家?guī)旌蛨?jiān)持以市場(chǎng)為導(dǎo)向等3個(gè)方面提出建議。
關(guān)鍵詞:科技成果;評(píng)價(jià)體系;層次分析法;一致性檢驗(yàn)
中圖分類號(hào):F124.3" " " 文獻(xiàn)標(biāo)志碼:A" " 文章編號(hào):1003-5168(2025)01-0130-05
DOI:10.19968/j.cnki.hnkj.1003-5168.2025.01.026
Development of a Scientific and Technological Achievements Evaluation System Based on AHP
PENG Chongchong ZHANG Meng
(Zhengzhou University of Industrial Technology, Zhengzhou 451100, China)
Abstract:[Purposes] The evaluation of scientific and technological achievements is an important component of the management system for technological achievements. The fairness and objectivity of the evaluation system for scientific and technological achievements directly affect the healthy development of the scientific and technological industry. [Methods] In this paper, the evaluation model of scientific and technological achievements is established through analytic hierarchy process(AHP), and 3 first-level indicators and 9 second-level indicators are determined, and in this way, the weight of each level of indicators is obtained by constructing pair-to-pair symmetric matrix, and the consistency check is passed. [Findings] The evaluation system of scientific and technological achievements is constructed, and the effectiveness of the evaluation system is verified by examples. [Conclusions] Through the analysis of the evaluation system of scientific and technological achievements and the weight of indicators at all levels, this paper puts forward suggestions from three aspects: establishing and perfecting the evaluation system, perfecting the expert database and adhering to the market-oriented principle.
Keywords: scientific and technological achievements; evaluation system; AHP; consistency check
收稿日期:2024-08-22
作者簡介:彭沖沖(1992—),女,碩士,講師,研究方向:優(yōu)化與管理;張孟(1988—),女,碩士,講師,研究方向:圖論與組合優(yōu)化。
0 引言
科技成果評(píng)價(jià)是科技成果管理體系的重要組成部分,科技成果的評(píng)價(jià)方法是否切合科研工作實(shí)際、評(píng)價(jià)內(nèi)容是否公正客觀,不僅影響科研管理質(zhì)量的示范效應(yīng)及科技獎(jiǎng)勵(lì)的公正性、權(quán)威性和正面激勵(lì)效應(yīng),而且還會(huì)反過來影響科技事業(yè)的健康發(fā)展,對(duì)樹立正確、科學(xué)的學(xué)術(shù)風(fēng)氣和社會(huì)風(fēng)氣具有極為重要的現(xiàn)實(shí)意義。因此,構(gòu)建一個(gè)科學(xué)合理的科技成果評(píng)價(jià)體系顯得尤為重要。
結(jié)合層次分析法,通過定性分析和定量分析,對(duì)實(shí)際問題進(jìn)行決策,其特點(diǎn)是可以利用定性的信息及少量的定量信息使決策變成一個(gè)數(shù)學(xué)問題,利用數(shù)學(xué)模型給出決策的結(jié)果。劉康[1]采用模糊層次分析評(píng)價(jià)法,構(gòu)建了油田相關(guān)的科研項(xiàng)目的績效評(píng)價(jià)指標(biāo),并有效評(píng)價(jià)了相關(guān)項(xiàng)目的績效情況。李曉夏[2]基于層次分析法構(gòu)建了鄉(xiāng)村振興評(píng)價(jià)指標(biāo)體系,并確定了各個(gè)指標(biāo)的重要程度和所對(duì)應(yīng)的權(quán)重。趙鑫等[3]將層次分析法和模糊綜合評(píng)價(jià)法進(jìn)行結(jié)合,構(gòu)建了城市生態(tài)環(huán)境評(píng)價(jià)體系,并借助于模型進(jìn)行了城市生態(tài)環(huán)境質(zhì)量評(píng)價(jià)。裴少婧等[4]借助層次分析法構(gòu)建高校教學(xué)質(zhì)量評(píng)價(jià)模型,并通過模糊綜合評(píng)價(jià)法對(duì)評(píng)價(jià)進(jìn)行完善。
近年來,隨著科技成果評(píng)價(jià)逐漸受到重視,越來越多的國內(nèi)學(xué)者開展有關(guān)科技成果評(píng)價(jià)的研究,也取得了一定的成果。張碩等[5]通過大量的數(shù)據(jù)分析,總結(jié)了我國目前科技評(píng)價(jià)體系中存在的問題,并提出相應(yīng)的建議。溫興琦等[6]研究指出,完善科技成果評(píng)價(jià)機(jī)制具有重要作用,可以激發(fā)科技工作者的研究積極性和創(chuàng)造力,有效推動(dòng)科技成果高質(zhì)量發(fā)展,更好地活躍科技創(chuàng)新的生態(tài)和氛圍。蔡彥虹等[7]在分析了現(xiàn)階段農(nóng)業(yè)科技成果評(píng)價(jià)體系存在問題的基礎(chǔ)上,構(gòu)建了成果分類評(píng)價(jià)指標(biāo)體系。唐帥等[8]介紹了科技成果指標(biāo)評(píng)價(jià)體系發(fā)展現(xiàn)狀及組成結(jié)構(gòu),分析了指標(biāo)權(quán)重及數(shù)據(jù)處理方法,并提出了基于融合聚類算法的科技指標(biāo)評(píng)價(jià)模型。
通過對(duì)現(xiàn)有研究成果進(jìn)行分析,發(fā)現(xiàn)其存在著一定的局限性:一是大多數(shù)學(xué)者僅對(duì)全國科技成果評(píng)價(jià)體系進(jìn)行研究;二是對(duì)于省市的科技成果評(píng)價(jià)僅限于理論分析層面,未建立模型,也未通過實(shí)例進(jìn)行驗(yàn)證,導(dǎo)致理論與實(shí)踐脫節(jié)。為此,本研究分析了科技成果評(píng)價(jià)的現(xiàn)狀,基于層次分析法構(gòu)建科技成果評(píng)價(jià)模型,并通過鄭州市項(xiàng)目評(píng)價(jià)實(shí)例進(jìn)行驗(yàn)證,保證了科技成果評(píng)價(jià)體系的可行性。
1 科技成果評(píng)價(jià)體系構(gòu)建思路
本研究通過查閱文獻(xiàn)資料及《科學(xué)技術(shù)評(píng)價(jià)辦法》,篩選出科技成果評(píng)價(jià)的關(guān)鍵指標(biāo),包括科學(xué)價(jià)值、技術(shù)可行性和效益等,通過層次分析法構(gòu)造判斷矩陣,根據(jù)各個(gè)指標(biāo)的重要程度排序,并進(jìn)行一致性檢驗(yàn),得到各個(gè)指標(biāo)的權(quán)重。
2 基于層次分析法的科技成果評(píng)價(jià)模型
2.1 指標(biāo)選取及符號(hào)說明
本研究將科技成果評(píng)價(jià)體系分為科學(xué)價(jià)值、技術(shù)可行性和效益等3個(gè)層面,其中科學(xué)價(jià)值層面包括先進(jìn)程度、創(chuàng)新程度和推動(dòng)作用等3個(gè)指標(biāo),技術(shù)可行性包括難度和復(fù)雜程度、成熟程度和應(yīng)用程度等3個(gè)指標(biāo),效益包括經(jīng)濟(jì)效益、社會(huì)效益和生態(tài)效益等3個(gè)指標(biāo),構(gòu)成了3個(gè)一級(jí)指標(biāo)和9個(gè)二級(jí)指標(biāo)的3層結(jié)構(gòu)層次(見表1)。設(shè)科技成果評(píng)價(jià)體系為目標(biāo)層[O],3個(gè)一級(jí)指標(biāo)為準(zhǔn)則層C,3個(gè)準(zhǔn)則層對(duì)應(yīng)的9個(gè)二級(jí)指標(biāo)為子準(zhǔn)則層[D],科技成果評(píng)價(jià)體系層次結(jié)構(gòu)如圖1所示。
2.2 指標(biāo)內(nèi)容說明及等級(jí)劃分
2.2.1 科學(xué)價(jià)值。科學(xué)性是科技成果質(zhì)量的基本要素,包括成果的先進(jìn)程度、成果的創(chuàng)新程度及成果對(duì)本行業(yè)的推動(dòng)作用。先進(jìn)程度分為達(dá)到同類領(lǐng)先水平、達(dá)到同類先進(jìn)水平及接近同類水平;創(chuàng)新程度分為有重大突破或創(chuàng)新、有明顯突破和創(chuàng)新、創(chuàng)新程度一般;推動(dòng)作用分為顯著促進(jìn)行業(yè)科技進(jìn)步、明顯促進(jìn)行業(yè)科技進(jìn)步及對(duì)行業(yè)促進(jìn)作用一般。
2.2.2 技術(shù)可行性。技術(shù)可行性是科技成果質(zhì)量的重要因素,包括技術(shù)的難度和復(fù)雜程度、技術(shù)的成熟程度及技術(shù)的應(yīng)用程度。難度和復(fù)雜程度分為自主創(chuàng)新、引進(jìn)創(chuàng)新及技術(shù)改進(jìn);成熟程度分為成果轉(zhuǎn)化程度高、成果轉(zhuǎn)化程度較高及試用階段;應(yīng)用程度分為實(shí)用性很強(qiáng)、實(shí)用性較強(qiáng)及實(shí)用性一般。
2.2.3 效益??萍汲晒a(chǎn)生的效益是衡量科技成果質(zhì)量的重要標(biāo)準(zhǔn),科技成果轉(zhuǎn)化產(chǎn)生的效益可分為經(jīng)濟(jì)效益、社會(huì)效益及生態(tài)效益。經(jīng)濟(jì)效益是科技成果轉(zhuǎn)化促進(jìn)經(jīng)濟(jì)發(fā)展的情況,分為經(jīng)濟(jì)效益顯著、經(jīng)濟(jì)效益明顯及經(jīng)濟(jì)效益一般。社會(huì)效益主要包括科技成果對(duì)產(chǎn)業(yè)結(jié)構(gòu)的優(yōu)化,以及就業(yè)機(jī)會(huì)的增加和居民收入的提高等,分為社會(huì)效益顯著、社會(huì)效益明顯和社會(huì)效益一般。生態(tài)效益指科技成果轉(zhuǎn)化對(duì)環(huán)境的保護(hù)、對(duì)資源的開發(fā)利用和節(jié)約、對(duì)生態(tài)文明建設(shè)的促進(jìn)等,分為顯著改善居民的生活條件、明顯改善居民的生活條件和對(duì)居民的生活條件改善效果不明顯。
2.3 確定各級(jí)指標(biāo)權(quán)重并進(jìn)行一致性檢驗(yàn)
首先,確定準(zhǔn)則層[C]對(duì)目標(biāo)層[O]的權(quán)重向量并進(jìn)行一致性檢驗(yàn)。準(zhǔn)則層[C]有科學(xué)價(jià)值、技術(shù)可行性和效益等3個(gè)指標(biāo),分別記為[C1]、[C2]、[C3],通過兩兩之間的比較,基于[1~9]的比例標(biāo)度構(gòu)造兩兩比較矩陣[A]見式(1)。
[A=11/31/231221/21] (1)
解得[λmax=3.009 2],w(2)=[(0.163 4,0.539 6, 0.297 0)T]。由于[CI(2)=λmax-33-1=0.004 6],[RI(2)=0.52],則[CR(2)=CI(2)RI(2)=0.008 8lt;0.1],則w(2)通過一致性檢驗(yàn),故w(2)[=(0.163 4,0.539 6,0.297 0)T]可以作為準(zhǔn)則層[C]對(duì)目標(biāo)層[O]的權(quán)重向量。
其次,確定子準(zhǔn)則層[D]對(duì)準(zhǔn)則層[C]各因素的相對(duì)權(quán)重向量。構(gòu)造[D11]、[D12]、[D13]對(duì)[C1]的兩兩比較矩陣[A1]見式(2)。
[A1=11/21/221221/21] (2)
解得[λmax=3.053 6],[w(3)1=(0.195 8,0.493 4,0.310 8)T],由于[CI(3)1=λmax-33-1=0.026 8],[RI(3)1=0.52],則[CR(3)1=CI(3)1RI(3)1=0.051 6lt;0.1],故[w(3)1]通過一致性檢驗(yàn)。
然后構(gòu)造[D21]、[D22]、[D23]對(duì)[C2]的兩兩比較矩陣[A2]見式(3)。
[A2=1421/411/21/221] (3)
解得[λmax=3],[w(3)2=(0.571 4,0.142 9,0.285 7)T]。由于[CI(3)2=λmax-33-1=0.000 0],[RI(3)2=0.52],則[CR(3)2=CI(3)2RI(3)2=0.000 0lt;0.1],故[w(3)2]通過一致性檢驗(yàn)。
最后構(gòu)造[D31]、[D32]、[D33]對(duì)[C3]的兩兩比較矩陣[A3]見式(4)。
[A3=121/21/211/2221] (4)
解得[λmax=3.053 6],[w(3)3=(0.310 8,0.195 8,0.493 4)T],由于[CI(3)3=λmax-33-1=0.026 8],[RI(3)3=0.52],則[CR(3)3=CI(3)3RI(3)3=0.051 6lt;0.1],故[w(3)3]通過一致性檢驗(yàn)。
綜上所述,子準(zhǔn)則層[D]中9個(gè)因素對(duì)準(zhǔn)則層[C]中各因素的相對(duì)權(quán)重向量分別為:
[w(3)1]=(0.195 8,0.493 4,0.310 8,0.000 0,0.000 0,0.000 0,0.000 0,0.000 0,0.000 0)T
[w(3)2]=(0.000 0,0.000 0,0.000 0,0.571 4,0.142 9,0.285 7,0.000 0,0.000 0,0.000 0)T
[w(3)3]=(0.000 0,0.000 0,0.000 0,0.000 0,0.000 0,0.000 0,0.310 8,0.195 8,0.493 4)T
2.4 確定組合權(quán)重并進(jìn)行一致性檢驗(yàn)
由于準(zhǔn)則層[C]對(duì)目標(biāo)層[O]的權(quán)重向量為[w(2)=(0.163 4,0.539 6,0.297 0)T],子準(zhǔn)則層[D]中9個(gè)因素對(duì)準(zhǔn)則層[C]中各因素的相對(duì)權(quán)重向量分別[w(3)1]、[w(3)2]、[w(3)3],以它們?yōu)榱邢蛄繕?gòu)成的矩陣為[W(3)],見式(5)。
[W(3)=]([w(3)1],[w(3)2],[w(3)3]) (5)
則子準(zhǔn)則層[D]中9個(gè)因素對(duì)目標(biāo)層[O]的組合權(quán)重向量為:
[w(3)=W(3)w(2)=(0.032 0,0.080 6,0.050 8,0.308 3,0.077 1,0.154 2,0.092 3,0.058 2,0.146 5)T]
接下來對(duì)組合權(quán)重進(jìn)行一致性檢驗(yàn)。由于[CI(3)=(CI(3)1,CI(3)2,CI(3)3)w(2)=0.012 3,][RI(3)=(RI(3)1, ][RI(3)2,][RI(3)3)w(2)=0.52,][" 則CR(3)=CR(2)+CI(3)RI(3)=0.032 5lt;0.1],故[w(3)]通過一致性檢驗(yàn),即[w(3)]可以作為子準(zhǔn)則層[D]中9個(gè)因素對(duì)目標(biāo)層[O]的組合權(quán)重向量,也即得到9個(gè)二級(jí)指標(biāo)對(duì)于科技成果評(píng)價(jià)的權(quán)重,具體如表2所示。
3 結(jié)果分析
通過層次分析法,得到各級(jí)指標(biāo)對(duì)科技成果評(píng)價(jià)的權(quán)重,并通過了一致性檢驗(yàn),各級(jí)指標(biāo)對(duì)科技成果評(píng)價(jià)的權(quán)重如表3所示。
通過各級(jí)權(quán)重的分析,可以看出科技成果評(píng)價(jià)中,技術(shù)可行性所占權(quán)重較高,也說明科技轉(zhuǎn)化程度是科技成果評(píng)價(jià)的重要因素。在技術(shù)可行性的二級(jí)指標(biāo)中,難度和復(fù)雜程度的權(quán)重較高,這說明科技成果評(píng)價(jià)越來越注重自主創(chuàng)新。生態(tài)效益所占權(quán)重排名第二,與國家政策的導(dǎo)向相符合,隨著科學(xué)技術(shù)的不斷發(fā)展,人們更注重科學(xué)技術(shù)對(duì)生態(tài)環(huán)境的影響,越來越注重可持續(xù)化發(fā)展。
4 實(shí)證分析
為驗(yàn)證科技成果評(píng)價(jià)模型的有效性和科學(xué)性,選取鄭州市推薦科學(xué)技術(shù)獎(jiǎng)的部分項(xiàng)目,依據(jù)李克特五分量表法(見表4)對(duì)科技成果評(píng)價(jià)體系中二級(jí)指標(biāo)的各個(gè)等級(jí)進(jìn)行賦值。
4.1 對(duì)二級(jí)指標(biāo)各等級(jí)進(jìn)行賦值
由于二級(jí)指標(biāo)的等級(jí)只有三個(gè),選取李克特五分量表中的非常重要、比較重要和比較不重要的分值對(duì)應(yīng)二級(jí)指標(biāo)中各等級(jí)的賦值,具體見表5。
4.2 實(shí)例驗(yàn)證
根據(jù)各個(gè)等級(jí)的賦值,對(duì)選取的項(xiàng)目的每一個(gè)指標(biāo)依次打分,根據(jù)各個(gè)指標(biāo)對(duì)科技成果評(píng)價(jià)體系的權(quán)重,得到每個(gè)項(xiàng)目的總得分,再與原獲獎(jiǎng)等級(jí)進(jìn)行對(duì)比,具體結(jié)果見表6。
根據(jù)科技成果評(píng)價(jià)模型,得到6個(gè)項(xiàng)目按綜合得分排序依次為:A1、A2、A3、A4、A6、A5,與原評(píng)審意見基本一致,說明科技成果評(píng)價(jià)模型是有效的,也是合理的,在一定程度上為科技成果評(píng)價(jià)體系的構(gòu)建提供一種有效的、科學(xué)的理論參考。
5 加快構(gòu)建科技成果評(píng)價(jià)體系的措施
5.1 建立健全評(píng)價(jià)體系
目前我國的科技成果評(píng)價(jià)主要依托于第三方評(píng)價(jià)機(jī)構(gòu),但不同機(jī)構(gòu)給出的評(píng)價(jià)體系存在一定差異。并且,基礎(chǔ)研究成果、應(yīng)用技術(shù)成果和軟科學(xué)研究成果等不同類型的科技成果適用不同的評(píng)價(jià)指標(biāo)。因此,需要根據(jù)科技成果的類型建立合適的科技成果評(píng)價(jià)體系,使科技成果評(píng)價(jià)工作更科學(xué)、更有效、更合理。
5.2 完善專家?guī)?/p>
在評(píng)價(jià)時(shí),專家根據(jù)自身經(jīng)驗(yàn)對(duì)科技成果的各項(xiàng)指標(biāo)打分,且隨著科技的進(jìn)步與社會(huì)的快速發(fā)展,學(xué)科分類更加細(xì)化,屬于交叉學(xué)科的成果越來越多。為了保證評(píng)價(jià)結(jié)果的客觀性和專業(yè)性,需要豐富和完善專家?guī)?,?chǔ)備大量復(fù)合型的專家學(xué)者。
5.3 堅(jiān)持以市場(chǎng)為導(dǎo)向
科技成果評(píng)價(jià)受到科技成果轉(zhuǎn)化的影響,因此,科技成果轉(zhuǎn)化對(duì)科研成果評(píng)價(jià)具有重要的指導(dǎo)作用,這也反映了市場(chǎng)在科技成果評(píng)價(jià)中的重要地位,即市場(chǎng)能夠客觀地反映出科技成果的質(zhì)量,進(jìn)而提高科技成果評(píng)價(jià)的合理性。我國應(yīng)進(jìn)一步建立以市場(chǎng)為導(dǎo)向的評(píng)價(jià)體系,促進(jìn)科技成果轉(zhuǎn)化,實(shí)現(xiàn)經(jīng)濟(jì)效益、社會(huì)效益和生態(tài)效益。
6 結(jié)語
本研究首先運(yùn)用層次分析法篩選出目標(biāo)層、準(zhǔn)則層和子準(zhǔn)則層的各個(gè)指標(biāo),通過構(gòu)造比較矩陣,確定評(píng)價(jià)指標(biāo)的權(quán)重,建立評(píng)價(jià)模型,并構(gòu)建了科學(xué)的科技成果評(píng)價(jià)體系。其次,選取鄭州市優(yōu)秀科學(xué)技術(shù)成果獎(jiǎng)的部分項(xiàng)目,通過構(gòu)建的評(píng)價(jià)體系進(jìn)行評(píng)價(jià),得到綜合得分,并對(duì)項(xiàng)目進(jìn)行排序,驗(yàn)證評(píng)價(jià)體系的合理性和可行性。最后,根據(jù)研究結(jié)果提出建議。但由于數(shù)據(jù)有限,本研究未針對(duì)不同類型的科技成果構(gòu)建不同的評(píng)價(jià)指標(biāo)體系,可以在以后的研究中進(jìn)一步細(xì)化。
參考文獻(xiàn):
[1]劉康.基于模糊層次分析法的ZY科研項(xiàng)目績效評(píng)價(jià)的指標(biāo)構(gòu)建[D].西安:西安石油大學(xué),2014.
[2]李曉夏.基于層次分析法的鄉(xiāng)村振興評(píng)價(jià)指標(biāo)體系構(gòu)建[J].南方農(nóng)機(jī),2022,53(18):97-99,103.
[3]趙鑫,孫春花,沈賢.基于層次分析法的城市生態(tài)環(huán)境質(zhì)量評(píng)價(jià)[J].中國資源綜合利用,2022,40(5):163-166.
[4]裴少婧,蘇雅.層次分析法在高校教學(xué)評(píng)價(jià)體系中的應(yīng)用研究[J].輕工科技,2021,37(4):167-169.
[5]張碩,陶蕊,施筱勇.中國科技評(píng)價(jià)研究熱點(diǎn)述評(píng)[J].科技管理研究,2021,41(18):58-65.
[6]溫興琦,焦麗.完善科技成果評(píng)價(jià)機(jī)制的思考[J].中國科技產(chǎn)業(yè),2021(9):51-52.
[7]蔡彥虹,夏文勇,張?chǎng)悾?推動(dòng)農(nóng)業(yè)科技成果評(píng)價(jià)體系改革的探討[J].農(nóng)業(yè)科技管理,2022,41(1):41-44,75.
[8]唐帥,劉雪飛,安佳坤,等.基于融合聚類算法的成果指標(biāo)評(píng)價(jià)體系設(shè)計(jì)[J].計(jì)算機(jī)與網(wǎng)絡(luò),2019,45(21):67-71.