賀曉宇

（浙江省科技信息研究院/浙江省科技發(fā)展戰(zhàn)略研究院；“智江南”智庫，浙江杭州 310006）

隨著我國創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的實施，科研項目管理被擺在了科研體制改革的重要位置。為提高科學決策能力，確保科技資源有效、公正地分配，在科技項目評審中引入同行評議已經(jīng)是程序化、制度化的工作，其中，進行同行評議的專家的學術(shù)水平、學術(shù)道德直接影響到科研立項的擇優(yōu)性和公平公正性[1]。因此，評審專家的能力水平、權(quán)威性及其信用就成為關(guān)注的重點，如何確保評審專家客觀公正地評價項目，如何評價評審專家的信用，給科研項目管理提出了新的課題。

近年來，在市場經(jīng)濟某些不正當行為的影響下，有的評審專家在實際項目評審中存在違背信用的行為，在科技計劃制定、項目評審、成果鑒定等方面放松評價標準，造成科技投入風險加大，交易成本增加[1]。為預(yù)防這些不良行為的發(fā)生，加強評審專家信用評價管理至關(guān)重要。

目前，我國理論界已針對評審專家信用評價指標體系的建設(shè)與評價模型的構(gòu)建開展了許多研究。徐華[1]從品格、能力和評估能力3方面評審構(gòu)建專家評價指標體系；鄭磊等[2]構(gòu)建了以誠信基礎(chǔ)、評標誠信和誠信環(huán)境為指標的評價指標體系；丁雪偉等[3]以創(chuàng)新基金項目為例，從基本信息、評審活動記錄、不良行為信息和獎勵及榮譽記錄4方面構(gòu)建評審專家評價指標體系；陳媛等[4]從科研活動程度、評審業(yè)績和工作態(tài)度3方面構(gòu)建評審專家評價體系；在信用評價方法方面，于宏國[5]提出了TOPSIS的方法評價專家水平；於翼等[6]采用AHP和德爾菲法對專家信用進行評價；游慶根等[7]通過熵權(quán)法確定指標權(quán)重,并構(gòu)建了評審專家的遴選模型；徐錦英等[8]運用層次分析法與熵權(quán)法相結(jié)合的方法評價評審專家信用。國內(nèi)學者的研究文獻為評審專家信用評價模型的構(gòu)建提供了良好的基礎(chǔ)，但總的來看，專家信用評價模型構(gòu)建還需在指標設(shè)定、方法選擇、結(jié)果應(yīng)用等細節(jié)方面不斷完善。

本文在梳理現(xiàn)有信用評價理論和方法文獻的基礎(chǔ)上，從科技項目評審專家的視角出發(fā)，圍繞同行評議公正性的影響因素進行分析，結(jié)合評價指標體系的構(gòu)建思路及原則，構(gòu)建了一套以資質(zhì)能力、行為規(guī)范、評審表現(xiàn)為一級指標的評審專家信用評價指標體系。在此基礎(chǔ)上，本文首先通過AHP（層次分析法）和熵權(quán)法確定主、客觀指標權(quán)重，采用組合賦權(quán)的方法得到總和全總，并根據(jù)TOPSIS(逼近理想解排序法)，最終建立評審專家信用評價模型，以期實現(xiàn)對評審專家信用的客觀、公平、公正的評價。

1 評審專家信用評價指標體系的構(gòu)建

同行評議指的是，由科學系統(tǒng)的同行組成的群體，根據(jù)一定的標準對某些人提交的項目申請進行評議。這樣評議出的結(jié)果是有關(guān)部門確定項目（科學資源的分配）的重要依據(jù)[9]。

由于同行評議具有一定的主觀色彩，其結(jié)果不僅受到諸如評審專家本身研究領(lǐng)域、評審能力等內(nèi)部因素干擾，也受到多重外界環(huán)境因素干擾，因此，針對評審專家的信用評價指標體系是一個多維度全方面的評價指標體系。

1.1 影響同行評議公正性的因素

龔旭[10]指出，影響同行評議公正性的因素包括內(nèi)部因素和外部因素，內(nèi)部因素對評議公正性產(chǎn)生直接影響；與此同時，同行評議作為科技資源配置的重要手段，必然受到經(jīng)濟社會環(huán)境、科技政策等外部因素的影響。在此基礎(chǔ)上，本文從評審專家的視角出發(fā)，將影響同行評議結(jié)果公正性的因素分為兩大類：主觀因素和客觀因素。主觀因素是指評審專家個體性特征影響評審結(jié)果的因素，客觀因素是指評議過程中評審專家之外的外部環(huán)境等影響評審結(jié)果的因素。主觀因素主要包括評審專家的道德水平、個人偏好、知識能力、人際關(guān)系、對評審準則的理解以及評審中的利益沖突等?？陀^因素主要包括評審制度、政策導(dǎo)向、科研環(huán)境以及同行評議制度的固有缺陷等。其中，客觀因素是客觀存在的，由于受到一系列外部環(huán)境的制約很難消除其影響；而主觀因素則可通過事前預(yù)防、事中事后監(jiān)管等措施加以防范和解決，因而本文主要基于主觀因素，構(gòu)建評審專家信用評價指標體系（見圖1）。

圖1 同行評議公正性的影響因素

1.2 評審專家信用評價指標體系的構(gòu)建思路與原則

評審專家信用評價指標體系的構(gòu)建思路是，從科技項目評審實際情況出發(fā)，堅持目的性、科學性、實用性原則，以確保評審結(jié)果的公正性為出發(fā)點，圍繞評審專家的資質(zhì)能力、行為規(guī)范，評審表現(xiàn)3方面建立定量與定性相結(jié)合、全面反映評審專家信用狀況的信用評價指標體系。

評審專家信用評價指標體系的構(gòu)建原則是：

（1）目的性原則。評審專家信用評價指標體系的構(gòu)建目的是提高科學決策能力，更加公正有效地進行科技資源分配，加強對科技工作者的信用意識的培養(yǎng)，實現(xiàn)科技管理的客觀公正。

（2）科學性原則。要充分尊重評審活動自身的規(guī)律，使用的評價方法、程序、指標體系、標準等必須符合評審專家的特點。

（3）實用性原則。評價指標的設(shè)計要符合客觀實際，盡量利用可收集到各項信息設(shè)計指標，做到數(shù)據(jù)收集方便、計算簡單、易于操作。

1.3 評審專家信用評價指標體系的建立

本文參考徐錦英等[8]設(shè)置的指標體系與度量方法，結(jié)合影響同行評議公正性的主觀因素以及評價指標體系的構(gòu)建思路和原則，最終確定了包含三級指標的評價指標體系?？萍柬椖吭u審專家信用評價指標體系分為三級指標，其中一級指標3項、二級指標7項、三級指標23項。本文選用資質(zhì)能力、行為規(guī)范、評審表現(xiàn)等3個指標作為一級指標，選用基本特征、工作態(tài)度、評審經(jīng)歷等7個指標作為二級指標，選用職稱、承擔項目情況、參與評審項目累計數(shù)等23個指標作為三級指標（見表1）。

（1）資質(zhì)能力包括基本信息、學術(shù)成就、資質(zhì)特長三部分?？萍柬椖恐С謩?chuàng)新，鼓勵創(chuàng)新，不僅要求專家具有一定的知識能力可以對項目的技術(shù)水平做出判斷，更需要專家對項目的創(chuàng)新性、產(chǎn)業(yè)化以及發(fā)展?jié)摿ψ龀鲈u價。因此，對專家資質(zhì)能力的評價不僅包括其基本信息和學術(shù)成就如職稱、承擔項目情況、學術(shù)論著等指標，更包括其資質(zhì)特長如近期發(fā)表相關(guān)論著的情況，對前沿問題把握程度等指標。

（2）行為規(guī)范包括工作態(tài)度、信用記錄兩部分。由于項目評審是一項具有主觀性色彩的工作，因此專家的行為規(guī)范應(yīng)作為重點內(nèi)容來考察。其中，工作態(tài)度是指專家在評審過程中的工作態(tài)度，以評審及時性、評語字數(shù)、評語態(tài)度、評審時間等指標來考察，信用記錄是指專家的信用記錄情況，通過考察是否有被投訴或其他不良記錄等指標來確定。

（3）評審表現(xiàn)包括評審經(jīng)歷、評審質(zhì)量兩部分。評審表現(xiàn)是評審專家不同于其他科技人員的特質(zhì)，評審專家既需要擁有優(yōu)秀的品質(zhì)和良好的資質(zhì)能力，更要理解評審準則，掌握評審方法，具備評審經(jīng)驗，以此保證評審建議的權(quán)威性以及評審的公正性。

表1 評審專家信用評價指標體系

2 基于TOPSIS方法構(gòu)建評審專家信用評價模型

為充分反映專家信用評價的主客觀因素，提出更優(yōu)化的專家信用評價機制，本文采用TOPSIS方法構(gòu)建評審專家信用評價模型。首先利用AHP和熵權(quán)法得出主、客觀權(quán)重，然后通過組合權(quán)重的方法得到綜合權(quán)重，最后根據(jù)TOPSIS方法得到綜合排序結(jié)果，形成評審專家信用評價模型（如圖2所示），并應(yīng)用于項目管理專家評價中。

圖2 基于TOPSIS的評審專家信用評價模型

2.1 評價指標體系中權(quán)重值確定

2.1.1 AHP法主觀指標權(quán)重確定

AHP方法（層次分析法）是綜合定性與定量分析，對多目標多準則的系統(tǒng)進行分析評價的一種方法[11]。它首先構(gòu)造兩兩比較的判斷矩陣，通過計算判斷矩陣的最大特征根與特征向量，進而得到層次單排序與總排序指標權(quán)重，最終確定主觀指標權(quán)重，其步驟如下所示：

第一，構(gòu)造兩兩比較判斷矩陣。假設(shè)每一層的決策目標為P，根據(jù)每一層的評價指標集構(gòu)建兩兩判斷矩陣A。通過上述判斷矩陣的構(gòu)建來實現(xiàn)每層層內(nèi)評價指標的兩兩比較，以此確定每個層內(nèi)指標相對于上層指標的重要程度。本文采用1—9來判斷矩陣標度，1表示同等重要，數(shù)值越大表示重要程度越大。

第二，權(quán)重計算。利用方根法確定權(quán)重并通過一致性系數(shù)CR=CI/RI（RI查表可得）進行一致性檢驗。

（2）對每行的幾何平均值做歸一化處理，確定層次單排中各因素在上層評價因素中所占的比重

（3）一致性檢驗。當CR＜0.1,則認為矩陣通過一致性檢驗；否則調(diào)整判斷矩陣。

第三，層次總排序及其一致性檢驗。計算同一層次所有決策因素相對于總目標的排序權(quán)值，同時進行一致性檢驗。

2.1.2 熵權(quán)法客觀指標權(quán)重確定

熵權(quán)法首先對原始數(shù)據(jù)進行無量綱化和標準化，通過計算熵值來確定客觀指標權(quán)重，其中熵值越大，指標權(quán)重越高，其步驟如下所示：

第二，確定熵值。

第三，確定指標權(quán)重。

2.1.3 組合權(quán)重(CW)確定

無論是主觀指標權(quán)重還是客觀指標權(quán)重，都有其自身的局限性，為了更加合理地確定指標權(quán)重，充分體現(xiàn)信用評價指標的主觀意識和客觀實際，本文采用組合賦權(quán)的方法來確定綜合權(quán)重。在主、客觀權(quán)重基礎(chǔ)上，通過拉格朗日函數(shù)，確定綜合權(quán)重；利用歐式距離函數(shù)計算主、客觀權(quán)重的偏好系數(shù)，從而得到更加合理的綜合權(quán)重。其步驟如下所示：

2.2 TOPSIS評價模型

TOPSIS（逼近理想解排序法）是一種逼近于理想解的排序法，其基本原理是通過有限個評價對象與最優(yōu)解、最劣解之間的距離來進行排序[12]，具體步驟如下所示：

第二，數(shù)據(jù)標準化處理：

第三，構(gòu)建加權(quán)決策矩陣。依據(jù)式（1）至式(10)確定綜合權(quán)重后帶入Y,構(gòu)建加權(quán)決策矩陣

第五，計算各指標與理想值的歐氏距離：

3 模型應(yīng)用

本文選取浙江省科技計劃項目管理系統(tǒng)專家?guī)熘械?0位專家作為分析對象，以說明TOPSIS評價模型在評審專家信用評價中的應(yīng)用步驟。

第一，通過AHP法計算主觀指標權(quán)重。通過式（1）—式（4），構(gòu)造判斷矩陣，并計算最大特征根，最終得到各層次的權(quán)重值，如表2所示。

表2 AHP法主觀指標權(quán)重

第二，通過熵權(quán)法計算客觀指標權(quán)重。在原始數(shù)據(jù)的基礎(chǔ)上，通過式(5)至式(8)，計算客觀指標權(quán)重，如表3所示。

表3 熵權(quán)法客觀指標權(quán)重

第三，結(jié)合前兩步計算得到的主觀指標權(quán)重和客觀指標權(quán)重，進行組合賦權(quán)，根據(jù)式(9)、式(10)確定主觀權(quán)重、客觀權(quán)重的偏好系數(shù)(0.646,0.354)，獲得更接近實際的綜合權(quán)重，如表4所示。

表4 指標體系綜合權(quán)重匯總

第四，通過TOPSIS方法結(jié)合綜合權(quán)重，利用式(11)至式(17)計算相對貼近度并對10位專家進行排序，相對貼近度越大，專家的信用評價結(jié)果越好，反之越差，排序結(jié)果如表5所示。

表5 TOPSIS評價模型排序結(jié)果

由表5可知，根據(jù)TOPSIS評價模型的排序結(jié)果，第7位專家在科技項目評審工作中的履職能力和可行性較差，而第5位專家的信用評價結(jié)果最佳。此評價結(jié)果與科技項目管理部門對10位專家的績效評價結(jié)果較一致。因此，基于TOPSIS方法的科技項目評審專家信用評價模型符合應(yīng)用實際，評價方法科學，所設(shè)置的評價指標體系合理，具有借鑒意義，并可為科研誠信庫建設(shè)與專家管理工作提供參考依據(jù)。

4 結(jié)語

評審專家信用評價是我國科技管理體制改革的一項重要內(nèi)容，建立科學、可行的評審專家信用評價模型是建立健全科研誠信庫、科技計劃健康發(fā)展的關(guān)鍵。本文在總結(jié)國內(nèi)關(guān)于評審專家信用評價研究和實踐的基礎(chǔ)上，從主觀因素和客觀因素2方面剖析了制約同行評議公正性的影響因素，構(gòu)建了以資質(zhì)能力、行為規(guī)范、評審表現(xiàn)為一級指標的評價指標體系。在構(gòu)建評價模型方面，本文提出一種基于TOPSIS的評價方法。TOPSIS評價模型運用AHP和熵權(quán)法組合賦權(quán)的方法計算綜合權(quán)重，兼顧了主觀性和客觀性，并通過TOPSIS方法對評審專家進行相對貼近度排序，實現(xiàn)對評審專家信用客觀、公正的評價。