張仲位 朱洋 張彥明 張其斌 祁楌捷

摘要：文章提出一種采用層次分析法對已受理項目進行評審的評審體系，通過研究分析不同學(xué)科科學(xué)基金項目后績效評估所涉及的評價指標，選擇能夠反映科學(xué)基金項目特點的共性指標并對其中的定量指標分別設(shè)定權(quán)重，從數(shù)量、質(zhì)量、效率三方面得出項目綜合評分，然后結(jié)合關(guān)鍵定性指標，建立了一套定量與定性相結(jié)合的科學(xué)、系統(tǒng)、實用的基金項目后評價指標體系以及評價意見的反饋機制，最后通過實際數(shù)據(jù)驗證了該評價體系的合理性與有效性。

關(guān)鍵詞：科學(xué)基金項目;評價體系;決策分析;科研管理;層次分析法

中圖分類號：N32? ? ? ?文獻標識碼：A ? ?文章編號：2096-4706（2021）07-0101-06

Construction and Application of Post-Evaluation System of

Science Foundation Project Achievements

ZHANG Zhongwei1，ZHU Yang1，ZHANG Yanming2，ZHANG Qibin3，4，QI Yanjie5

（1.School of Mathematics and Physics，Lanzhou Jiaotong University，Lanzhou? 730070，China;2.Weiyuan County Water Authority，Dingxi? 748200，China;3.Gansu Computing Center，Lanzhou? 730070，China;4.Gansu Key Laboratory of Cloud Computing，Lanzhou? 730070，China;5.Gansu Rongzeyuan Data Technology Co. Ltd.，Lanzhou? 730070，China）

Abstract：This paper proposes an evaluation system of accepted projects by using analytic hierarchy process. By studying and analyzing the evaluation indexes involved in the post-performance evaluation of science foundation project in different disciplines，the common indexes that can reflect the characteristics of science foundation projects are selected，and the weights of the quantitative indexes are set respectively. The comprehensive scores of projects are obtained from the three aspects of quantity，quality and efficiency. Then combined with key qualitative indicators，a set of quantitative and qualitative combined science，system，practical foundation project evaluation index system，and feedback mechanism for evaluation opinion. Finally，the rationality and effectiveness of the evaluation system are verified by the actual data.

Keywords：science foundation project;evaluation system;decision analysis;scientific research management;analytic hierarchy process

收稿日期：2021-03-09

基金項目：甘肅省自然科學(xué)基金項目（17JR5 RA014）;甘肅省科技計劃資助項目（20YF3GA0 13）;甘肅省科技型中小企業(yè)技術(shù)創(chuàng)新基金項目（20 CX9JA128）

0? 引? 言

自然科學(xué)基金是各省市設(shè)立的用來鼓勵和支持地方自然科學(xué)創(chuàng)新與發(fā)展的重要舉措，目的在于培養(yǎng)科學(xué)技術(shù)人才，發(fā)現(xiàn)并發(fā)展前沿科學(xué)研究，增強各地基礎(chǔ)性研究的自主創(chuàng)新能力[1]。省市各個地方對自然科學(xué)基金研究的課題立題、中期檢查、結(jié)題驗收都有相應(yīng)管理辦法，但對結(jié)題驗收后項目優(yōu)劣程度的定量評價缺乏系統(tǒng)性，或是采用的定量評價體系過于簡單籠統(tǒng)，而且細化程度不夠[2-6]。

近年來，隨著甘肅省科學(xué)基金項目的發(fā)展，其管理措施也逐步完善。由于基金項目的后期管理工作是管理措施中較為薄弱的環(huán)節(jié)，它不僅對項目完成情況的評估有影響，也不利于新事物的發(fā)現(xiàn)，且浪費了數(shù)據(jù)資源。因此，為適應(yīng)日益發(fā)展的基金事業(yè)，我們聯(lián)合甘肅省科技廳，從已有的項目數(shù)據(jù)中分析得出新的規(guī)律與價值，建立甘肅省已結(jié)題項目的后評價體系，從而提升項目基金的資助質(zhì)量與后期管理，提高使用效益?；痦椖亢笤u估是通過全面收集已結(jié)題項目的成果檢索率、引用率、專著出版、專利申請、人才培養(yǎng)、獲獎情況、成果轉(zhuǎn)化等一系列指標信息，利用層次分析法給予不同的指標權(quán)重，對項目的價值以及創(chuàng)新水平做出客觀評價，為甘肅省科技廳基金管理機構(gòu)的項目后期管理提供依據(jù)。此外，通過該評估體系發(fā)掘前景較好、有發(fā)展?jié)摿Φ难芯款I(lǐng)域，為基金管理機構(gòu)的資金分配提供決策依據(jù)，增強省科技廳管理人員在項目基金分配中的判斷力。

1? 基金項目評價模型建立

1.1? 層次分析法簡介

層次分析法于1970年初由美國運籌學(xué)家薩蒂教授提出，是一種定性定量相結(jié)合的建模分析方法，用來解決無結(jié)構(gòu)決策問題。層次分析法（Analytic Hierarchy Process，AHP）[8]是對人們的主觀評價進行形式化表達以及客觀描述過程，得到權(quán)重之后，為了克服成對比較的缺點必須進行一致性檢驗。層次分析法的關(guān)鍵是對決策者主觀經(jīng)驗判斷進行量化表達，使得決策者在決策時候有據(jù)可依，避免過于依賴個人的主觀判斷，在目標結(jié)構(gòu)復(fù)雜、所需數(shù)據(jù)較多的情況下更加實用[9]。由于在復(fù)雜問題決策中AHP有較強的實際應(yīng)用性，故其應(yīng)用范圍廣泛，涉及經(jīng)濟規(guī)劃與管理、能源政策與分配、軍事指揮、交通運輸、農(nóng)業(yè)、教育教學(xué)、人才培養(yǎng)、醫(yī)療建設(shè)等領(lǐng)域。

AHP的基本思想類似于思考和識別復(fù)雜決策問題的過程。將研究對象劃分為不同的組成部分，按照各組成部分的隸屬關(guān)系由高到低排序，構(gòu)建層次結(jié)構(gòu)。通過比較同一層的要素利用數(shù)學(xué)方法確定各層要素的權(quán)重。

1.2? 層次分析法的具體步驟

應(yīng)用AHP計算指標權(quán)重系數(shù)就必須將指標體系分層創(chuàng)建，因為它是計算指標權(quán)重系數(shù)的基礎(chǔ)，通過指標之間的成對比較來判斷系統(tǒng)中各指標的好壞，并根據(jù)評價結(jié)果綜合計算各指標的權(quán)重系數(shù)。下文對具體步驟進行介紹。

1.2.1? 建立遞階層次結(jié)構(gòu)

將煩瑣問題中的各種因素分解為相互關(guān)聯(lián)、有序的層次，使之組織有序，層次分明，構(gòu)建清晰的層次分析結(jié)構(gòu)模型。評價體系形式如圖1所示。

1.2.2? 構(gòu)造判斷矩陣

矩陣用于表示相同等級中各指標相對重要程度判斷，由多位專家進行判斷。心理學(xué)家研表明“一個人區(qū)分信息水平能力的極限為7±2”，為了解決直接評價指標的模糊性及不確定性，AHP法運用了九分位的相對重要比例標度來衡量相對指標，構(gòu)成一個判斷矩陣B。矩陣中的每個元素bij表示水平索引相對于每列索引的重要性的成對比率[10-13]。如表1所示。

依據(jù)判斷矩陣B中兩個指標的比較特征，顯然有bij>0，bii=1，bij=，i=1，2，3，…，n。因此，判斷矩陣B是否為一個正交矩陣時，只需作次比較即可。這里需要強調(diào)的是，如果認為后一個指標比前一個指標重要，則用對應(yīng)值的倒數(shù)來表示其重要性。

1.2.3? 對各指標權(quán)重系數(shù)進行計算

單級層次排序，是指本級各因素對上一級某一因素的重要性排序。判斷矩陣是AHP法的信息來源基礎(chǔ)，用排序方法得到矩陣排序后，計算出各級指標權(quán)重系數(shù)，如表2到8所示，一致性指標CR均小于0.1，滿足判斷矩陣的一致性檢驗。

1.2.4? 判斷矩陣的一致性檢驗

對其他計算指標權(quán)重的方法進行比對后發(fā)現(xiàn)，層次分析法優(yōu)勢在于一致性檢驗后可以與專家思維保持基本相同。這種與專家思維保持一致我們稱為判斷一致性，指多個指標相互比較時也可以相互協(xié)調(diào)互不干擾。例如，使用三個指標（令它們分別為a、b、c）進行兩兩比較。當a比b略微重要，b比c稍微重要時，存在c比a稍微重要的評價，相互矛盾，此時稱專家思想非不一致性。這種不一致的矛盾在多層次判斷中極易出現(xiàn)，僅僅是不一致的程度不同[14]。

將多位專家得到的最終判斷矩陣采用幾何平均法進行綜合平均，得到最終的指標評價判斷矩陣。判斷矩陣一致性的步驟為：

（1）一致性指標CI表達式為：

（1）

其中λmax為判斷矩陣的最大特征值，可采用下文所述的方法計算。定義：

（2）

（2）式可以作為判斷矩陣的最大特征值對應(yīng)的特征向量：

（3）

（3）式可以近似看作判斷矩陣的最大特征值。

（2）一致性指標RI。如表9所示。

（3）計算一致性比率CR，表達式為：

CR=

當CR≤0.1時，判斷矩陣一致;當CR>0.1時，則認為判斷矩陣并沒有達到要求，需要重新分析賦值并進行修正，直至檢驗通過。由步驟三中的數(shù)據(jù)計算可知，一致性比率CR都小于0.1，接受判斷矩陣的一致性。

1.2.5? 組合權(quán)重計算

指標權(quán)重是一級接著一級去計算的，設(shè)有一個由目標層A、準則層C、方案層P組成的分層模型（增加更多的分層模型，計算方法相同），目標層A對準則層C的相對權(quán)重W為：

W=（w1，w2，…，wk）T

式中W為各個指標的權(quán)重系數(shù)值。

準則層C的各準則ci（i=1，2，3，…，k）（k為準則數(shù)）對方案層P中的所有n個方案的相對權(quán)重為：

Wi=（w1i，w2i，…，wni）

通過W與Wi（Wi=1，2，3，…，k）計算各方案目標的相對權(quán)重。對于該基金項目評價體系的組合權(quán)重計算如表10所示。

1.2.6? 權(quán)重指標分析

由表10可以得到各層指標的單層權(quán)重和總權(quán)重，對于該評價體系經(jīng)過上述分析，認為一個基金項目的評審主要在于基礎(chǔ)類評估，占比70%，其次是二層指標中的效用性評估，將上表中的15個第三層指標用1～15來表示，由圖2可以看出第三層指標對于目標層的相對權(quán)重大小，權(quán)重相對較大的是研究成果及專利，占比13.13%，說明關(guān)鍵指標占權(quán)重的比例較大，關(guān)鍵指標在評價體系中可以發(fā)揮作用。權(quán)重較大的指標基本上覆蓋了對基金項目進行有效性評價的一些很重要的方面，然后由權(quán)重較小的指標對基金項目有效性評價做一些有益的補充。

2? 實際應(yīng)用

為了檢驗該評價體系的合理性，我們從甘肅省科學(xué)技術(shù)廳獲得了30個已經(jīng)完結(jié)的基金項目。根據(jù)該評價體系對這30個完結(jié)項目的優(yōu)良程度進行評比，結(jié)果如表11所示。

如圖3所示，排在前三位的分別是加速器電源技術(shù)的研究、法醫(yī)物證技術(shù)與研究、甘肅大宗藥材當歸、甘草膜分離提取技術(shù)及應(yīng)用研究，相對權(quán)重分別為0.049 2、0.046 5、0.044 5，與實際評比相符。

3? 結(jié)果與討論

通過對這30個完結(jié)項目的權(quán)重排名可知，依據(jù)該評價體系得到的項目權(quán)重排名和專家評比結(jié)果基本一致，因此在科學(xué)基金項目評審上可以借鑒該評價體系，根據(jù)每一級的指標權(quán)重來確立評價主線，為科研項目的評審工作減壓，科研人員也可以根據(jù)該評價體系對科研經(jīng)費的投入進行合理分配，減少科研項目投資風(fēng)險，提升研究經(jīng)費的使用效率。

利用層次分析法確定項目評價指標權(quán)重的優(yōu)點是可以有效避免權(quán)重確定的隨意性和模糊性等缺點，有助于提高評價的客觀性。本文所討論的方法是基于從粗到細、從散到集中的選擇方案的思想，符合人們的慣性思維，采用特征值法計算權(quán)重，后續(xù)可以考慮多種方法加權(quán)計算最終權(quán)重，保證模型的穩(wěn)健性。此外，建立判斷矩陣是確定評價標準權(quán)重系數(shù)的關(guān)鍵，判斷矩陣中必須采用科學(xué)合理的數(shù)據(jù)，不能依靠個人主觀判斷，在實際應(yīng)用中，它是綜合考慮統(tǒng)計數(shù)據(jù)、專家建議和決策者知識水平得出的。

4? 結(jié)? 論

本文針對基礎(chǔ)研究和應(yīng)用研究側(cè)重點不同導(dǎo)致的評價指標多樣化，量化難度大等問題，采用大數(shù)據(jù)采集與分析技術(shù)對我省已結(jié)題科學(xué)基金項目在結(jié)題后一定時期內(nèi)所產(chǎn)生的績效信息進行收集和分析，在自然科學(xué)基金項目評價指標體系中選擇了一些能夠反映基礎(chǔ)研究與應(yīng)用研究基金項目特點的共性指標，并結(jié)合層次分析法構(gòu)建了定量與定性相結(jié)合的通用基金項目后評價指標體系，最終形成評價報告。通過真實數(shù)據(jù)的檢驗，該評價體系的評比結(jié)果與專家意見基本一致且效果顯著，效率提高，在實際應(yīng)用中，可根據(jù)具體情況與用途對該評價體系的指標進行適當調(diào)整，以滿足實際需要。

參考文獻：

[1] 李雄詒，李新杰.我國省級自然科學(xué)基金管理體制研究 [J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2011，32（3）：16-20.

[2] 劉長穎.層次分析法與高?？蒲许椖吭u估指標權(quán)重的確定 [J].遼寧師范大學(xué)學(xué)報（自然科學(xué)版），2011，34（1）：30-33.

[3] 林建衡.層次分析法在高?？蒲许椖吭u估中的應(yīng)用 [J].技術(shù)與創(chuàng)新管理，2004（2）：39-41.

[4] 王其冬，武佩珍，程建剛，等.層次分析法在國家自然科學(xué)基金項目評審中的應(yīng)用 [J].系統(tǒng)工程理論與實踐，2001（7）：119-123.

[5] 臧玉強.層次分析法在科技成果綜合評價中的應(yīng)用 [J].濟寧師專學(xué)報，1999（6）：13-14.

[6] 王英凱.基于德爾菲法和層次分析法原理的科研項目評價模型 [J].山西財經(jīng)大學(xué)學(xué)報，2001（S2）：148-149.

[7] 魏江，勾麗，周泯非.基礎(chǔ)研究績效的評價指標分析 [J].南京理工大學(xué)學(xué)報（社會科學(xué)版），2008，21（2）：64-69.

[8] SAATY T L，KEARNS K P. Analytical Planning [M].Elsevier，1985.

[9] DETURCK D M. The approach to consistency in the analytic hierarchy process [J].Mathematical Modelling，1987，9（3-5）：345-352.

[10] 曹亞平.層次分析法在建筑施工現(xiàn)場安全管理中的應(yīng)用 [J].山西建筑，2021，47（1）：190-192.

[11] 徐恒，時晨希，徐艷芳，等.基于層次分析法開展醫(yī)院大型醫(yī)療設(shè)備用能評價及對策探討 [J].醫(yī)療衛(wèi)生裝備 2021，42（2）：78-81.

[12] 吳翼虎.基于層次分析法對山區(qū)高速公路路線設(shè)計方案評價模型的構(gòu)建與研究 [J].公路，2021，66（4）：56-61.

[13] 李秀峰，祝軍.共青團“青年之家”實體平臺的評估指標體系研究——基于德爾菲法和層次分析法的應(yīng)用 [J].中國青年社會科學(xué)，2021，40（2）：28-39.

[14] 劉新憲，朱道立.選擇與判斷——AHP（層次分析法）決策 [M].上海：上海科學(xué)普及出版社，1990.

作者簡介：張仲位（1996—），男，漢族，甘肅慶陽人，碩士在讀，研究方向：時空數(shù)據(jù)挖掘與人工智能算法;通訊作者：張其斌（1978—），男，回族，甘肅蘭州人，甘肅省計算中心研究員，本科，研究方向：計算機應(yīng)用。