杜元偉 楊 寧 陳 群 王素素

(1.中國海洋大學(xué) 管理學(xué)院，山東 青島 266100；2.中國海洋大學(xué) 海洋發(fā)展研究院，山東 青島 266100)

一、引言

《科技評價工作規(guī)定(試行)辦法》指出，政府管理部門及相關(guān)方面要委托評價機構(gòu)或組織專家評價組，運用合理、規(guī)范的程序和方法，對科技活動及其相關(guān)責(zé)任主體所進行的專業(yè)化評價與咨詢活動，旨在優(yōu)化科技管理決策，加強科技監(jiān)督問責(zé)，提高科技活動實施效果和財政支出績效。國家863計劃、國家973計劃、國家自然科學(xué)基金、國家社科基金、教育部人文社科基金等科學(xué)基金項目是科技活動的重要組成部分,它們對提升科技水平、促進經(jīng)濟增長、提高社會福利、增強國家競爭力起到了重要的支撐作用。目前已有專家學(xué)者從影響因素分析、指標(biāo)權(quán)重確定、評價方法構(gòu)建等方面對科學(xué)基金項目的績效評價問題進行了研究。其一，在影響因素分析方面，現(xiàn)有成果主要是通過定量或者定性分析找出影響科學(xué)基金項目績效評價的因素，為科學(xué)構(gòu)建科學(xué)基金項目指標(biāo)體系提供依據(jù)。[1-3]例如：王長峰利用灰色模型及柯布道格拉斯生產(chǎn)函數(shù)就互聯(lián)網(wǎng)的發(fā)展對科學(xué)基金項目的績效影響進行定量分析。[4]其二，在指標(biāo)權(quán)重確定方面，現(xiàn)有成果主要是應(yīng)用主觀賦權(quán)、客觀賦權(quán)、主客觀交叉賦權(quán)等方法確定科學(xué)基金項目績效評價指標(biāo)的權(quán)重，進而依據(jù)該權(quán)重對各項指標(biāo)上的績效表現(xiàn)信息進行綜合集成計算項目取得的績效。如：Jung采用網(wǎng)絡(luò)分析法(Analytic Network Process, ANP)、[5]Nilashi采用決策試驗和評價實驗室(Decision Making Trial and Evaluation Laboratory, DEMATEL)和ANP相結(jié)合的主觀賦權(quán)方法確定各項指標(biāo)的權(quán)重；[6]Charttirot采用逼近理想解排序法(Technique for Order Preference by Similarity to Ideal Solution, TOPSIS)等客觀賦權(quán)方法確定指標(biāo)權(quán)重；[7]關(guān)于主客觀交叉賦權(quán)法，Mohaghar采用將模糊集與ANP相結(jié)合的方法確定指標(biāo)權(quán)重，[8]Sangaiah等采用將模糊集、DEMATEL、TOPSIS等進行結(jié)合的主客觀交叉賦權(quán)方法確定指標(biāo)權(quán)重。[9-10]其三，在評價方法構(gòu)建方面，現(xiàn)有成果或者側(cè)重于從項目產(chǎn)出視角構(gòu)建能夠確定項目績效效果的評價方法，或者側(cè)重于從項目投入與產(chǎn)出雙重視角構(gòu)建能夠確定項目績效效率的評價方法。如：在項目績效產(chǎn)出評價方面，肖人毅、Feng、Liu、Gül?in分別采用統(tǒng)動力學(xué)仿真、專家系統(tǒng)整合法、智能決策支持法、多準(zhǔn)則妥協(xié)解排序法(VIKOR)進行項目產(chǎn)出績效評價；[11-14]在項目績效投入產(chǎn)出評價方面，吳建南、楊方娟、宋志紅基于循證設(shè)計和傾向得分分層等方法得出科學(xué)基金資助確實提高科研產(chǎn)出的結(jié)論；[15-17]李志蘭、Chun、Karasaka采用數(shù)據(jù)包絡(luò)分析(Data Envelopment Analysis,DEA)對科學(xué)基金的整體投入產(chǎn)出效率進行分析，得出加大科學(xué)基金的投入力度有助于提高產(chǎn)出效率的結(jié)論；[18-20]段慶鋒、楊雨昆采用DEA兩階段模型分析了科學(xué)基金項目投入產(chǎn)出效率問題并指出效率瓶頸在于知識生產(chǎn)階段。[21-22]

上述研究成果對豐富科學(xué)基金項目的績效評價理論和方法起到了重要作用，也為啟發(fā)本文研究思路、構(gòu)建理論方法起到了借鑒作用。上述成果中的決策信息主要來源于專家對科學(xué)基金項目在各項評價指標(biāo)上績效表現(xiàn)的主觀判斷，最終績效評價結(jié)果是對專家主觀判斷信息的綜合集成。一些成果認(rèn)識到知識經(jīng)驗、認(rèn)知能力等諸多方面的差異可能會導(dǎo)致源于不同專家的決策信息的可利用程度并不相同，為此借鑒在多屬性決策中利用指標(biāo)權(quán)重對決策信息進行線性加權(quán)的融合思路，提出了利用專家權(quán)重對主觀判斷信息進行綜合集成的應(yīng)對策略。然而，多屬性決策中的指標(biāo)權(quán)重與群體決策中的專家可靠性是兩個截然不同的概念。前者用于反映一個指標(biāo)相對于另一個指標(biāo)的重要程度，取決于決策者偏好，具有主觀性和相對性，而后者常用于反映一個信源在一段時間內(nèi)和一定條件下無故障地執(zhí)行特定功能的能力或可能性，具有客觀性和絕對性。需要注意的是，目前對于指標(biāo)權(quán)重的內(nèi)涵及其確定方法已經(jīng)在業(yè)界達成共識，而專家可靠性確是一個近幾年剛剛被關(guān)注的新概念。在群體決策領(lǐng)域，有關(guān)專家可靠性的研究成果并不多見，個別成果提出了專家可靠性的計算方法，如熵值法、偏離目標(biāo)測算法等，[23-25]其他成果則是直接根據(jù)統(tǒng)計信息給出專家可靠性的具體數(shù)值。[26-27]本文中的專家可靠性將遵循第二種思路予以確定。由信息融合理論可知，基于指標(biāo)權(quán)重的融合策略和基于可靠性的融合策略并不相同，前者應(yīng)采用補償性策略、后者應(yīng)采用非補償性策略(原因詳見后文)?，F(xiàn)有成果因融合策略選擇不當(dāng)而造成對科學(xué)基金項目績效評價結(jié)果的科學(xué)有效性是有待商榷的。有鑒于此，本文在考慮指標(biāo)權(quán)重與專家可靠系數(shù)之間性質(zhì)差異的基礎(chǔ)上，提出了兼顧重要性與可靠性的科學(xué)基金項目績效評價方法。

二、科學(xué)基金項目績效評價機理

科學(xué)基金項目績效評價問題一般是基于專家對待評項目在各項評價指標(biāo)上績效表現(xiàn)判斷來確定項目綜合績效表現(xiàn)的等級。下面從專家評價信息表達、個體補償性融合、群體非補償性融合三個層面構(gòu)建科學(xué)基金項目的績效評價機理。

基于基本信任函數(shù)的信息表達機理。在進行項目績效評價時，專家需要對待評價項目在各項評價指標(biāo)上的績效表現(xiàn)情況進行判斷，但是工作經(jīng)驗、專業(yè)背景等方面的差異使得各類專家都有自己擅長的領(lǐng)域，他們能對與自己領(lǐng)域相關(guān)性高的指標(biāo)做出完備性評價，對相關(guān)性一般的指標(biāo)做出相對完備的評價，對相關(guān)性低指標(biāo)可能做不出任何的評價。因為專家在各項指標(biāo)上給出評價信息的完備程度可能并不相同，所以為了有效地提取專家對科學(xué)基金項目在各個指標(biāo)上績效表現(xiàn)的不完備性評價信息，合理地描述專家的真實推斷情況，本文利用證據(jù)理論中的基本信任分配函數(shù)(Basic Belief function，BBA)構(gòu)建提取專家判斷信息的表達機理。BBA函數(shù)是證據(jù)理論中的一種證據(jù)信息表達方式，能夠利用局部不確定和全局不確定描述相對完備和不完備的推斷信息。

基于指標(biāo)權(quán)重的個體信息補償性融合機理。個體信息融合是指為了得到某一專家對科學(xué)基金項目的綜合性評價信息而對其在所有指標(biāo)上給出的績效評價信息進行融合的過程。當(dāng)項目在某一指標(biāo)上表現(xiàn)優(yōu)秀，在另一項指標(biāo)(如人才培養(yǎng))表現(xiàn)中等，利用指標(biāo)權(quán)重對兩方面信息進行融合后得到的綜合評價等級為良好是可能的。上述過程體現(xiàn)了專家評價在信息在不同指標(biāo)之間是可以相互補償?shù)?，故基于指?biāo)權(quán)重的個體信息融合要遵循補償性融合策略?？紤]到證據(jù)推理(Evidential Reasoning, ER)規(guī)則常被用于解決指標(biāo)之間具有補償性的多屬性決策問題，[28]故本文采用ER規(guī)則對專家在各項指標(biāo)上的評價信息進行融合。

基于專家可靠系數(shù)的群體信息非補償性融合機理。群體信息融合是指為了從專家群體視角得到他們對科學(xué)基金項目的綜合性評價信息而對所有專家個體融合結(jié)果進行再融合的過程。如果某位專家認(rèn)為科學(xué)基金項目整體績效表現(xiàn)(經(jīng)過個體融合得到的結(jié)果)一定不是優(yōu)秀，而他又是絕對可靠的(給出無誤信息的可能性是100%)，那么顯然該項目最終評價等級一定不應(yīng)該是優(yōu)秀(否則會與該專家具有絕對可靠性相沖突)。這體現(xiàn)了專家之間非補償性的特點，故基于專家可靠系數(shù)的群體信息融合應(yīng)遵循非補償性融合策略?？紤]到證據(jù)理論(Dempster-Shafer Theory of Evidence, DS)中的Dempster規(guī)則具有“一票否決”的性質(zhì)，能夠反映證據(jù)融合的非補償性特征，故本文采用該規(guī)則對群體信息進行融合。[29]

兼顧重要性與可靠性的科學(xué)基金項目績效評價機理可以描述為：先基于基本信任分配函數(shù)信息表達機理提取專家對科學(xué)基金項目在各項指標(biāo)上的不完備性評價信息，再以專家個體為單位、利用ER規(guī)則對各項指標(biāo)上的評價信息進行補償性融合，最后利用Dempster規(guī)則對所有專家的個體評價結(jié)果進行非補償性融合。上述績效評價機理可描述為下圖形式。

圖1 科學(xué)基金項目績效評價機理

三、科學(xué)基金項目績效評價方法

(一)評價信息提取

(1)

(二)個體信息的補償性融合

(2)

(3)

(4)

(5)

(6)

(三)群體信息的非補償性融合

(7)

(8)

由式(8)的性質(zhì)可知，若只要有一位絕對可靠的專家反對科學(xué)基金項目的績效評價結(jié)果隸屬于某個或某幾個等級，則無論其他專家的意見如何，該項目的績效評價結(jié)果一定不會隸屬于這些評價等級。這體現(xiàn)了Dempster規(guī)則能夠反映群體信息融合具有非補償性的特點。

(四)評價等級確定方法

由式(8)可知，mk(θ)為所有專家對項目ak最終績效隸屬評價等級的評價結(jié)果。因為mk(θ)依然是一種BBA函數(shù)形式，其中可能存在著局部確定和全局不確定，所以為了確定項目ak的最終隸屬評價等級，需要對該結(jié)果進行轉(zhuǎn)換處理。這里采用被業(yè)界學(xué)者廣泛接受的且能兼顧信度函數(shù)和似然函數(shù)雙重優(yōu)勢的Pignistic概率進行轉(zhuǎn)換。[30]依據(jù)Pignistic概率計算規(guī)則，確定項目ak最終績效隸屬評價等級θn的計算公式如下：

(9)

其中，Belk(θn)=∑θ?θnmk(θ)，Plk(θn)=∑θn∩θ≠?mk(θ)，εk=[1-∑θn?ΘBelk(θn)]∑θn?ΘPlk(θn)。

(五)專家可靠系數(shù)計算方法

關(guān)于可靠性的描述，多出現(xiàn)在電氣工程領(lǐng)域，常用可靠性系數(shù)來刻畫可靠性，以此為鑒，專家的可靠性由專家的可靠性系數(shù)來表示。[33-38]在科學(xué)基金項目績效評價中，每位專家都可以視為一個信源，則專家的可靠系數(shù)是專家對科學(xué)基金項目績效評價問題給出無誤信息的可能性，其值的確定可根據(jù)專家歷史評價信息予以確定。由實際情況可知，大部分的科學(xué)基金項目都是可以順利結(jié)題，只有極個別項目會存在不能結(jié)題或者延遲結(jié)題的情況。如果采用準(zhǔn)確率，即專家認(rèn)為可以結(jié)題的項目數(shù)和已經(jīng)結(jié)題的項目數(shù)進行比較，則可能會導(dǎo)致這樣一個現(xiàn)象，一位評審專家總是給出建議結(jié)題的評價結(jié)果，不考慮項目完成的質(zhì)量，這位專家仍然具有較高的可靠性系數(shù)，這并不能很好地區(qū)分專家之間的可靠程度，故采用該種方法處理刻畫專家可靠性系數(shù)存在問題?？紤]到上述情況，本文建議構(gòu)建混淆矩陣方法確定專家可靠系數(shù)。[39]混淆矩陣也稱誤差矩陣，是表示精度評價的一種標(biāo)準(zhǔn)格式，不僅具有很好地描述誤差的能力，且計算方法簡單，易于理解和實際應(yīng)用。

設(shè)Y、N分別表示專家建議結(jié)題、不建議結(jié)題的項目數(shù)，T、F分別表示該項目實際結(jié)題、實際未結(jié)題的項目數(shù)，則YT表示建議結(jié)題并實際已結(jié)題的項目數(shù)，YF為專家建議結(jié)題而實際沒有結(jié)題的項目數(shù)，NT為不建議結(jié)題但實際已結(jié)題的項目數(shù)，NF為不建議結(jié)題且實際結(jié)果并沒有結(jié)題的項目數(shù)。為計算專家可靠性，構(gòu)造如下表所示的混淆矩陣。[28]

表1 混淆矩陣

專家的可靠性系數(shù)可由式(10)予以計算。

(10)

例如：若專家共評價項目20項，給出評價結(jié)果中，“建議結(jié)題”16個，“不建議結(jié)題”4個，其中“建議結(jié)題”且“實際已結(jié)題”項目數(shù)為13，“不建議結(jié)題”且“實際未結(jié)題”項目數(shù)為2。根據(jù)式(10)計算可得到專家評價的可靠性r=0.75。不難發(fā)現(xiàn)，專家的可靠性并非一成不變，而是會根據(jù)專家評審結(jié)果的準(zhǔn)確率予以動態(tài)調(diào)整。

(六)方法步驟

遵循前文提出的科學(xué)基金項目績效評價機理，基于評價信息提取、個體信息的補償性融合、群體信息的非補償性融合、評價等級確定方法等構(gòu)建兼顧重要性和可靠性的科學(xué)基金項目績效評價方法步驟。具體如下：

步驟2：設(shè)定初始評價項目。令k=1，設(shè)定當(dāng)前評價項目為ak=a1。

步驟7：判斷是否完成評價。令k=k+1。若k≤K，則說明還有項目ak需要進行績效評價，轉(zhuǎn)到步驟3；若k>K，則說明已完成對所有項目的績效評價，結(jié)束。

四、案例模擬分析——以某國家自然科學(xué)基金項目為例

為驗證提出方法的科學(xué)有效性，本文以某國家自然科學(xué)基金項目為例進行案例分析。該科學(xué)基金項目于2012年立項，預(yù)期目標(biāo)是通過借鑒吸收知識管理、行為科學(xué)、管理決策、信息融合等理論的基本觀點和技術(shù)方法，針對知識網(wǎng)絡(luò)中知識數(shù)量龐大、知識類型多樣、知識主體復(fù)雜等特點，對知識網(wǎng)絡(luò)中決策信息的提取問題開展研究，以期能夠明確知識網(wǎng)絡(luò)中關(guān)鍵知識主體的識別方法、揭示多元決策信息智能提取機理、建立多元決策信息智能提取模型。

參照《國家自然科學(xué)基金資助項目研究成果管理辦法》和《國家自然科學(xué)基金資助項目結(jié)題/成果報告》，這里選用項目執(zhí)行情況(c1)、項目取得成果的總體情況(c2)、成果轉(zhuǎn)化應(yīng)用(c3)、人才培養(yǎng)情況(c4)、應(yīng)用前景情況(c5)作為項目的績效評價指標(biāo)。設(shè)指標(biāo)權(quán)重為(ω1,…,ω5)=(1.00,1.00,0.64,0.92,0.52)。為給專家開展績效評價提供依據(jù)信息，在此給出項目原計劃目標(biāo)以及實際完成情況，具體如表2所示。

表2 項目計劃情況以及完成情況信息表

表3 專家歷史評價結(jié)果

表4 專家評價信息

表5 個體/群體融合結(jié)果

表6 評價等級的概率分布

因為本文核心思想是基于指標(biāo)權(quán)重的個體融合采用補償性融合策略、基于可靠性的群體融合采用非補償性策略，所以這里分別從個體融合結(jié)果和群體融合結(jié)果兩個方面對上述融合策略進行科學(xué)性分析。

從個體融合結(jié)果看可以得到以下結(jié)論：(1)專家e1認(rèn)為該項目績效表現(xiàn)等級有46.49%的可能性為優(yōu)秀，53.51%可能性為良好，該評價信息是否科學(xué)呢？由表5可知，專家e1在c1、c2、c4三項指標(biāo)上的評價信息與其他專家略有差距，專家e1認(rèn)為該項目在這些指標(biāo)上的績效表現(xiàn)為良好的可能性很大、其次為優(yōu)秀，而其他專家則認(rèn)為績效表現(xiàn)為優(yōu)秀可能性較大。由表3可知，該項目在上述三項指標(biāo)上的績效表現(xiàn)均達到并超額完成了原計劃目標(biāo)，這說明專家e1的評價信息可能是存在偏差的。本文方法通過可靠系數(shù)80%對存在偏差的信息進行了折扣處理，并未對項目最終績效評價結(jié)果(優(yōu)秀)產(chǎn)生不利影響，這體現(xiàn)了本文方法對評價信息進行折扣處理具有科學(xué)性。(2)專家e4的個體融合結(jié)果是該項目100%屬于優(yōu)秀。由表5可知，雖然專家e4并沒有認(rèn)為該項目在指標(biāo)c3、c4、c5上100%為優(yōu)秀，但是由于指標(biāo)c1、c2的權(quán)重都為1(即這兩項指標(biāo)是絕對重要的)，而專家e4又認(rèn)為該項目在這兩項指標(biāo)上絕對優(yōu)秀，所以其個體融合結(jié)果為絕對優(yōu)秀，符合直覺判斷。(3)專家e5對項目在c1、c2的績效表現(xiàn)均給出完全不知道的評價信息，這并未對其個體評價結(jié)果造成影響，體現(xiàn)了本文信息表達機理在允許專家結(jié)合自己的知識經(jīng)驗給出評價信息方面具有獨特優(yōu)勢。

從群體融合結(jié)果看可以得到以下結(jié)論：(1)由表6可知，專家e2、e3認(rèn)為該項目有屬于優(yōu)秀的等級的可能性約為95%，二者可靠系數(shù)分別為100%、95%，可靠性強，項目的最終評價結(jié)果與二者的個體判斷相一致，符合直覺邏輯。(2)專家e4認(rèn)為該項目100%一定屬于優(yōu)秀，即認(rèn)為該項目一定不會是其他等級(如良好)，而最終評價結(jié)果并非100%優(yōu)秀，在其他等級(良好)上也賦予了信度。由前文可知，當(dāng)專家絕對可靠且他/她認(rèn)為該項目一定不會是良好時，則該項目最終評價結(jié)果一定不會是良好。但專家e4的可靠系數(shù)是90%而非100%，這與非補償性融合中的“一票否定”規(guī)則并不沖突。(3)由表5可知，該項目的每一項指標(biāo)每位專家都沒有給出較差、很差的評價信息，專家個體融合結(jié)果、群體融合結(jié)果在較差、很差等級上也均未賦予信度，符合直覺邏輯，這體現(xiàn)了本文采用ER規(guī)則和Dempster規(guī)則進行信息融合具有科學(xué)性。

五、結(jié)束語

現(xiàn)有科學(xué)基金項目績效評價并未區(qū)分指標(biāo)權(quán)重與專家可靠性之間的性質(zhì)差異，從而容易導(dǎo)致評價結(jié)果可能存在科學(xué)有效性差的問題。為了解決上述問題，本文首先基于基本信任分配函數(shù)給出了能夠反映指標(biāo)權(quán)重與專家可靠性兩種參數(shù)性質(zhì)特征和專家認(rèn)知能力的科學(xué)基金項目績效評價機理。然后，基于ER折扣和ER規(guī)則構(gòu)建了能夠?qū)＜以诓煌笜?biāo)上評價信息進行補償性融合的個體融合方法，基于Shafer折扣和Dempster規(guī)則構(gòu)建了能夠?qū)λ袑＜覀€體融合結(jié)果進行再融合的群體融合方法。在此基礎(chǔ)上，結(jié)合Pignistic概率和結(jié)果有效性閾值提出了科學(xué)基金項目隸屬評價等級的確定方法，并基于專家歷史評價信息構(gòu)建了專家可靠系數(shù)的計算方法。最后，遵循本文提出的科學(xué)基金項目績效評價機理，結(jié)合評價信息提取、個體融合方法、群體融合方法等給出了科學(xué)基金項目績效評價的方法步驟。本文還以某國家自然科學(xué)基金項目為案例背景模擬了提出方法的具體操作過程、分析了方法在解決實際問題過程中的科學(xué)性。需要說明的是，本文方法側(cè)重于從靜態(tài)決策視角基于專家給出的評價信息予以綜合集成，實現(xiàn)對科學(xué)基金項目績效表現(xiàn)的最終評價，而對于需要專家之間通過彼此交互對科學(xué)基金項目績效進行評價的動態(tài)決策問題并未涉及，這也是下一步要研究的重點問題。