朱衛(wèi)東，劉 芳，王東鵬，Jian-Bo Yang,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國 曼徹斯特 M15 6PB)

?

科學(xué)基金項(xiàng)目立項(xiàng)評估：綜合評價(jià)信息可靠性的多指標(biāo)證據(jù)推理規(guī)則研究

朱衛(wèi)東1，劉 芳2，王東鵬3，Jian-Bo Yang2,4

(1．合肥工業(yè)大學(xué)經(jīng)濟(jì)學(xué)院，安徽 合肥 230009；2．合肥工業(yè)大學(xué)管理學(xué)院，安徽 合肥 230009；3.杭州電子科技大學(xué)，浙江 杭州 310018；4.曼徹斯特大學(xué)商學(xué)院，英國 曼徹斯特 M15 6PB)

公正合理的科研項(xiàng)目立項(xiàng)評估與選擇是國家自然科學(xué)基金管理活動(dòng)的關(guān)鍵環(huán)節(jié)。綜合考慮科研項(xiàng)目的評估指標(biāo)體系和選擇流程，提出了利用歷史評估準(zhǔn)確性度量專家提供信息可靠性的方法，進(jìn)而提出了一種系統(tǒng)性的基于證據(jù)推理規(guī)則的科學(xué)基金項(xiàng)目評估決策模型。該模型使用證據(jù)推理合成規(guī)則對多專家多指標(biāo)評估信息進(jìn)行集結(jié)。在集結(jié)過程中：充分考慮評估指標(biāo)的權(quán)重以及評估等級的多樣性；鑒于參與項(xiàng)目評估的專家具有不同的知識(shí)背景和經(jīng)驗(yàn)，提出利用歷史評估結(jié)果的準(zhǔn)確性衡量專家提供的評價(jià)信息可靠性的方法；應(yīng)用信度分布表征項(xiàng)目的整體評價(jià)結(jié)果，包含了更豐富的信息。國家自然科學(xué)基金項(xiàng)目評估的實(shí)例分析證明了該評估決策模型的有效性。

科學(xué)基金項(xiàng)目；立項(xiàng)評估選擇；證據(jù)推理；可靠性

1 引言

以科研活動(dòng)為核心的企業(yè)或組織，都面臨著科研項(xiàng)目的立項(xiàng)評估和選擇問題。隨著備選項(xiàng)目的增加及資源的限制，如何科學(xué)合理地評估科研項(xiàng)目并從中選擇若干項(xiàng)目加以資助至關(guān)重要。公正合理的科研項(xiàng)目立項(xiàng)評估與選擇，不僅利于提高科研經(jīng)費(fèi)的使用效率，并會(huì)對項(xiàng)目研究的成敗具有重要的影響[1-2]。

由于科研項(xiàng)目立項(xiàng)評估選擇的普遍性和重要性，一直受到學(xué)者的廣泛關(guān)注[3]。國內(nèi)外在項(xiàng)目立項(xiàng)評估選擇的理論及方法等方面做了大量的研究工作，并取得了不少成果[4-14]。目前，關(guān)于科研項(xiàng)目立項(xiàng)評估選擇方法通?？煞譃槎ㄐ院投糠椒▋深悺Ｈ鐖D1所示，定性方法包括同行評議法、Delphi法等，定量方法有得分排序法、決策分析等[3,8]。

圖1 科研項(xiàng)目立項(xiàng)評估常用方法分類

上述科研項(xiàng)目立項(xiàng)評估方法的研究成果從不同的角度豐富了學(xué)術(shù)界對評估方法的認(rèn)識(shí)，也為科研項(xiàng)目的評估實(shí)踐提供了有效支撐。在定性評估方面，同行評議是由從事特定領(lǐng)域或接近該領(lǐng)域的專家來評定一項(xiàng)研究工作的學(xué)術(shù)水平或重要性的一種方法。同行評議法已有幾百年的歷史，在評審科研項(xiàng)目申請、評定科研成果等方面一直發(fā)揮著重要影響與作用[8]。但評價(jià)信息的利用以及在分階段同行評議情況下如何進(jìn)行項(xiàng)目選擇的決策分析仍未受到學(xué)者的重視。在定量評估方面，近年來多屬性決策分析方法由于可以反映項(xiàng)目的實(shí)際評估選擇機(jī)制而被學(xué)者廣泛研究并應(yīng)用到科研項(xiàng)目的評估與選擇[10-11]。層次分析法由于相對直觀并易于理解，是決策分析模型中常用的方法之一，但由于“排序逆轉(zhuǎn)問題”和兩兩比較的工作導(dǎo)致工作量大而不適合大量指標(biāo)或者備選項(xiàng)目的情況，實(shí)際應(yīng)用范圍受到一定限制[12]。

針對以上方法的特點(diǎn)和局限性，本文提出基于證據(jù)推理(Evidential Reasoning，簡稱ER)規(guī)則[15-16]的科學(xué)基金項(xiàng)目立項(xiàng)評估決策模型，在同行評議信息的基礎(chǔ)上，利用證據(jù)推理規(guī)則集結(jié)專家的意見。ER規(guī)則是基于證據(jù)推理方法[17-18]和多屬性決策上的多信息集結(jié)方法。證據(jù)推理方法已被應(yīng)用到許多決策問題領(lǐng)域中，包含風(fēng)險(xiǎn)評估，企業(yè)管理，供應(yīng)鏈管理和群決策等[19]。在ER規(guī)則框架下，權(quán)重用來表示一條證據(jù)相對于其他證據(jù)的重要程度，而可靠性是證據(jù)的固有屬性。證據(jù)的可靠性表示信息資源的質(zhì)量以及對給定問題提供正確評估的能力，它對決策的質(zhì)量具有重要影響，而現(xiàn)有研究如文獻(xiàn)[2]中利用原始ER方法合成專家意見時(shí)，僅考慮了權(quán)重對評審結(jié)果的影響。研究證明(1)當(dāng)每個(gè)證據(jù)都完全可靠的情況下，D-S證據(jù)合成規(guī)則是ER規(guī)則的一個(gè)特例；(2)當(dāng)證據(jù)的可靠性等于其歸一化的權(quán)重時(shí)，原始ER算子也成為ER規(guī)則的特例[15,20]。作為基本證據(jù)推理方法的擴(kuò)展，ER規(guī)則將對一個(gè)評價(jià)問題的評價(jià)集定義為識(shí)別框架，并賦予識(shí)別框架中各個(gè)元素一定的信度，根據(jù)各個(gè)信息源的重要性和可靠性，對各條證據(jù)進(jìn)行折扣，能很好地集結(jié)不同權(quán)重和不同可靠性下的多條證據(jù)。

綜合考慮科研項(xiàng)目的多指標(biāo)評價(jià)體系特點(diǎn)和項(xiàng)目選擇流程，本文提出了利用歷史評估準(zhǔn)確性度量專家提供信息可靠性的方法，并進(jìn)一步提出了基于證據(jù)推理的科研項(xiàng)目立項(xiàng)評估決策模型。該模型具有以下特點(diǎn)：充分考慮評估指標(biāo)的權(quán)重以及評估等級的多樣性；利用歷史評估結(jié)果的準(zhǔn)確性衡量具有不同知識(shí)背景和經(jīng)驗(yàn)的專家提供的評估信息可靠性；應(yīng)用信度分布表征項(xiàng)目的整體評價(jià)結(jié)果，并引入效用函數(shù)得到項(xiàng)目的評價(jià)得分以供排序擇優(yōu)。

2 基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評估決策模型

在同行評議情況下，首先將專家評議信息轉(zhuǎn)化為以信度表示的證據(jù)體。同時(shí)考慮專家提供的評價(jià)信息的權(quán)重和可靠性，在各個(gè)指標(biāo)上分別合成多個(gè)專家的意見。由于不同指標(biāo)使用的識(shí)別框架可能不同，需將不同的識(shí)別框架轉(zhuǎn)換到統(tǒng)一的框架上，然后考慮各個(gè)指標(biāo)的權(quán)重，利用ER規(guī)則合成公式集結(jié)不同指標(biāo)上的信息。最后利用效用函數(shù)得到科學(xué)基金項(xiàng)目的評價(jià)得分并進(jìn)行排序優(yōu)選?；贓R規(guī)則的立項(xiàng)評估模型涉及的相關(guān)流程如圖2所示。

圖2 基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評估決策模型的相關(guān)流程

2.1 指標(biāo)評價(jià)的信度表示

在利用ER規(guī)則集結(jié)專家意見前，需將專家提供的評價(jià)信息轉(zhuǎn)化為證據(jù)體，并用信度分配的形式表示。

定義1 (識(shí)別框架[21])：一個(gè)判決問題，設(shè)人們所能認(rèn)識(shí)到的可能結(jié)果用集合Θ表示，那么人們所關(guān)心的任一命題都對應(yīng)于Θ的一個(gè)子集。Θ被稱為識(shí)別框架，它依賴于人們的認(rèn)識(shí)水平。舉例來說，科學(xué)基金項(xiàng)目評價(jià)指標(biāo)i劃分為差、中、良和優(yōu)四個(gè)等級，則識(shí)別框架可定義為Θn,i={H1,i,H2,i,…H4,i}={差，中，良，優(yōu)}。

定義2 (D-S基本信度分配[22])：設(shè)Θ為識(shí)別框架，2Θ是Θ的冪集。如果集函數(shù)m:2Θ→[0,1]，滿足∑A?Θm(A)=1和m(φ)=0，則稱函數(shù)m為Θ上基本可信度分配；m(A)稱為A的基本可信數(shù)或mass函數(shù)，表示證據(jù)支持命題A發(fā)生的程度。

設(shè)mn,i,k表示專家k提供的證據(jù)ei支持項(xiàng)目被評為Hn的程度，稱之為基本可信度。專家提供的評議信息可被視為一條支撐最終立項(xiàng)評估結(jié)果的證據(jù)，專家k在指標(biāo)i上給出的評價(jià)信息ei可表示為：

s(ei)={(Hn,i,mn,i,k)},i=1,…,L,n=1,…,Ni,k=1,…,K

(1)

2.2 基于效用的不同識(shí)別框架下的信息轉(zhuǎn)換

為便于專家對科學(xué)基金項(xiàng)目立項(xiàng)評估問題的認(rèn)識(shí)和理解，評價(jià)總體指標(biāo)和子指標(biāo)的識(shí)別框架中的評價(jià)等級可能不同。子指標(biāo)上的信息如何影響項(xiàng)目的總體指標(biāo)得分，需要將子指標(biāo)的信息轉(zhuǎn)化到總體指標(biāo)上。在此之前，需要將子指標(biāo)識(shí)別框架上的元素轉(zhuǎn)化到公共識(shí)別框架即總體指標(biāo)的識(shí)別框架上，才能對子指標(biāo)信息進(jìn)一步合成。轉(zhuǎn)化過程可以依據(jù)決策者偏好給出的等價(jià)規(guī)則來實(shí)現(xiàn)，當(dāng)決策者偏好規(guī)則不能獲得時(shí)，基于決策效用的信息轉(zhuǎn)化方法可用于實(shí)現(xiàn)此過程。定量或定性評價(jià)信息都能應(yīng)用這種基于效用或者規(guī)則的轉(zhuǎn)化方法[23]。

設(shè)總指標(biāo)上的識(shí)別框架Θ={Hj,j=1,…,N}，各元素的效用u(Hj)和子指標(biāo)各元素的效用u(Hn,i)(n=1,…,Ni)已知，一個(gè)原始評價(jià)信息{(Hn,imn,i)}可以通過以下等式轉(zhuǎn)化到總指標(biāo)上的信度分布{(Hj,βj,i)}：

(2)

(3)

(4)

各評估指標(biāo)等級的效用可由決策者偏好給出。當(dāng)決策者的偏好信息不能獲得時(shí)，可假設(shè)各等級在歸一化效用空間中呈線性分布，即u(Hj)=(j-1)/(N-1)(j=1,…,N)。

2.3 基于歷史評價(jià)信息的可靠性度量方法

由于專家的知識(shí)背景，經(jīng)驗(yàn)和判斷能力的差異性，所提供的評價(jià)信息反應(yīng)項(xiàng)目實(shí)際科研質(zhì)量的程度可能有差異，可表達(dá)為評價(jià)信息的可靠性?？煽啃钥衫脤＜覛v史評價(jià)決策的準(zhǔn)確性來表示，而專家評估的最終結(jié)果分為資助和不資助兩種，因而專家的可靠性也分為兩種情況，分別用專家給出資助意見時(shí)的準(zhǔn)確率和專家給出不資助意見時(shí)的準(zhǔn)確率表示。若TP表示建議資助并實(shí)際資助了的項(xiàng)目數(shù)，F(xiàn)P為專家建議資助而實(shí)際沒有資助的項(xiàng)目數(shù)，F(xiàn)N為不建議資助但實(shí)際資助了的項(xiàng)目數(shù)，TN為區(qū)分出來實(shí)際沒有資助的項(xiàng)目數(shù)。本文構(gòu)造了如表1所示的混淆矩陣[24]，根據(jù)混淆矩陣可進(jìn)一步定義專家提供的評價(jià)信息的可靠性。

表1 科學(xué)基金項(xiàng)目評價(jià)信息可靠性的混淆矩陣

總體準(zhǔn)確度：

(5)

“資助”決策時(shí)的評價(jià)信息可靠性：

(6)

“不資助”決策時(shí)的評價(jià)信息可靠性：

(7)

根據(jù)歷史評審記錄，若一專家共評價(jià)項(xiàng)目20項(xiàng)，給出“資助”決策5個(gè)，“不資助”決策15個(gè)，其中“資助”決策和實(shí)際結(jié)果一致個(gè)數(shù)為2，“不資助”決策時(shí)一致個(gè)數(shù)為12。根據(jù)式(5)～(7)計(jì)算可得到專家評估的總體可靠性P=0.7，“資助”決策時(shí)的可靠性PTP=0.4，“不資助”決策時(shí)的可靠性PTP=0.8。當(dāng)專家參與當(dāng)前科學(xué)基金項(xiàng)目立項(xiàng)評估時(shí)，給“資助”意見情況下，其可靠性參數(shù)值可定義為0.4，反之為0.8。專家提供的評價(jià)信息的可靠性并非一成不變，可隨評審項(xiàng)目數(shù)的變化進(jìn)行動(dòng)態(tài)調(diào)整。

2.4 群集結(jié)與多指標(biāo)合成的ER規(guī)則

科學(xué)基金項(xiàng)目評估是一個(gè)多專家多指標(biāo)的決策過程。首先，在各個(gè)指標(biāo)上合成多專家的意見，其次，將指標(biāo)上的信息通過轉(zhuǎn)化公式到公共識(shí)別框架上，最后合成多指標(biāo)上的信息。兩階段的合成過程可通過以下公式實(shí)現(xiàn)。

(8)

此時(shí)，證據(jù)ei可表示為：

(9)

ER規(guī)則的證據(jù)遞歸合成公式為：

(10)

(11)

(12)

(13)

上式為ER規(guī)則的遞歸合成公式，它具備交換律和結(jié)合律的性質(zhì)。與D-S合成公式相比，ER規(guī)則具有以下特點(diǎn)：(1)該方法考慮了證據(jù)的權(quán)重；(2)考慮了證據(jù)的可靠性；(3)合成沖突證據(jù)時(shí)將沖突信度分配給冪集，從而產(chǎn)生更為合理的結(jié)果。

設(shè)βj為支持Hj的聯(lián)合信度，則科學(xué)基金項(xiàng)目的評估結(jié)果可表示為以下信度分布：

S={(Hj,βj),j=1,2,…,N}

(14)

最后，計(jì)算科學(xué)基金項(xiàng)目的整體評價(jià)得分的效用公式定義如下：

(15)

進(jìn)而備選科學(xué)基金項(xiàng)目可利用以上評價(jià)得分進(jìn)行排序擇選。

3 實(shí)證研究

3.1 研究背景

國家自然科學(xué)基金委是由國家設(shè)立的用于資助基礎(chǔ)研究的部門，其資助項(xiàng)目采取宏觀引導(dǎo)、自主申請、平等競爭、同行評審、擇優(yōu)支持的機(jī)制，并充分發(fā)揮專家的作用?？茖W(xué)基金項(xiàng)目立項(xiàng)評審一般按照項(xiàng)目提交、初審、通訊評審、綜合處理、會(huì)議評審和最終決策的程序進(jìn)行，其中同行評議和專家意見的綜合處理階段是科學(xué)基金項(xiàng)目管理最重要的內(nèi)容。在通訊評審階段，三個(gè)或以上評審專家在對項(xiàng)目的創(chuàng)新性、研究內(nèi)容和工作基礎(chǔ)等評議的基礎(chǔ)上，給出綜合評價(jià)和資助與否的意見。在綜合處理階段，由項(xiàng)目主任將通訊評審專家給出的“綜合評價(jià)”和“資助意見”量化成得分，并撰寫通訊評審綜合意見。以管理學(xué)部為例，賦予項(xiàng)目綜合評價(jià)“差”、“中”、“良”和“優(yōu)”的分值為1、2、3、4，而資助意見“不予資助”、“可資助”和“優(yōu)先資助”的分值為0、1、2。將各個(gè)專家給出的意見賦值后，在兩個(gè)指標(biāo)上分別相加并除以專家數(shù)，所得兩個(gè)平均數(shù)之和即為項(xiàng)目評價(jià)的總成績。基于項(xiàng)目量化得分并考慮專家意見后，科學(xué)基金項(xiàng)目會(huì)被劃分為A、A-、B、E、C及D六個(gè)檔次，以確定能否進(jìn)入會(huì)評階段[25]。科學(xué)基金項(xiàng)目立項(xiàng)評估框架如圖3所示。

圖3 科學(xué)基金項(xiàng)目立項(xiàng)評估框架

國家自然科學(xué)基金現(xiàn)行的同行評議方法已實(shí)行多年，為科學(xué)基金項(xiàng)目的規(guī)范、公正評估選擇起到了重要作用。然而，現(xiàn)行方法仍存在諸多缺陷，主要表現(xiàn)在：①對多位專家評審意見的綜合過于簡單，量化信息過于粗糙[26-27]；②將多個(gè)具有不同知識(shí)背景、經(jīng)驗(yàn)的專家提供的評議信息一視同仁[2]。本文提出的基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評估決策模型能有效解決上述問題。

3.2 評估步驟與舉例說明

對于項(xiàng)目a1，共有五份有效的評審意見表，五個(gè)評審專家在兩個(gè)指標(biāo)上給出的意見分別是良、優(yōu)、優(yōu)、優(yōu)、中和可資助、優(yōu)先資助、可資助、優(yōu)先資助、不予資助。以項(xiàng)目a1為例，利用目前科學(xué)基金專家通訊評審的信息，科學(xué)基金項(xiàng)目立項(xiàng)評估選擇可通過以下步驟進(jìn)行。

步驟1 將原始評估信息轉(zhuǎn)化為證據(jù)體，即用信度分布的形式表示專家意見。利用2.1節(jié)的知識(shí)，設(shè)指標(biāo)1上的識(shí)別框架為Θi,1={H1,1,H2,1,H3,1,H4,1}={差，中，良，優(yōu)}，指標(biāo)2上的識(shí)別框架為Θi,2={H1,2,H2,2,H3,2}={不予資助，可資助，優(yōu)先資助}，項(xiàng)目a1的原始評估信息可表示如下：

(H3,1,1)；(H4,1,1);(H4,1,1);(H2,1,1)和(H2,2,1)；(H3,2,1);(H2,2,1);(H3,2,1);(H1,2,1)。 步驟2 確定專家權(quán)重和可靠性。目前國家自然科學(xué)基金委不區(qū)分通訊評審專家意見的相對重要性，因而本文也給同一項(xiàng)目的評審專家意見賦予相等的權(quán)重。即設(shè)五個(gè)專家的權(quán)重相等，標(biāo)準(zhǔn)化后即為0.2。專家提供的評價(jià)信息的可靠性可利用2.3節(jié)的混淆矩陣計(jì)算，由原始評審信息中的資助意見可知，前四個(gè)專家的評價(jià)信息可靠性用“資助”決策下的歷史準(zhǔn)確率衡量，而第五位專家用“不資助”決策下的歷史準(zhǔn)確率衡量，使用實(shí)際數(shù)據(jù)的計(jì)算結(jié)果分別為0.1538、0.3333、0.2726、0和1。歷史評審記錄缺失的專家的評價(jià)信息可靠性用當(dāng)年所有參與評審專家的平均值代替?，F(xiàn)有數(shù)據(jù)求得的專家給“資助”決策時(shí)的評價(jià)信息可靠性為0.2726，而給“不資助”決策時(shí)的可靠性為0.9592。

表2 項(xiàng)目a1在兩指標(biāo)上分別合成多個(gè)專家意見的結(jié)果

步驟4 利用公式(2)～(4)將指標(biāo)上的信度分布轉(zhuǎn)換到公共識(shí)別框架上。由于科學(xué)基金綜合處理結(jié)果是將項(xiàng)目劃分到六個(gè)等級，因此，本文定義的公共識(shí)別框架包含六個(gè)元素。設(shè)所有識(shí)別框架元素的效用在[0，1]區(qū)間內(nèi)線性分布，則項(xiàng)目a1的轉(zhuǎn)化結(jié)果如表3所示。

表3 項(xiàng)目a1信息轉(zhuǎn)化及指標(biāo)合成結(jié)果

步驟5 考慮指標(biāo)權(quán)重的情況下，合成兩個(gè)指標(biāo)上的信息。分別賦予“綜合評價(jià)”和“資助意見”指標(biāo)的權(quán)重為2/3和1/3，其可靠性等于權(quán)重，利用公式(8)～(14)求得的結(jié)果如表3中ER規(guī)則合成結(jié)果行所示。

步驟6 利用效用函數(shù)計(jì)算項(xiàng)目的總體評價(jià)得分。項(xiàng)目a1的得分為0.7795。

3.3 實(shí)例分析

研究的數(shù)據(jù)樣本為國家自然科學(xué)基金委員會(huì)信息中心獲得的1225項(xiàng)管理學(xué)部項(xiàng)目的實(shí)際評審和立項(xiàng)信息，且所有項(xiàng)目均有五份有效評審意見表。項(xiàng)目評審信息主要包括：科學(xué)部項(xiàng)目編號(hào)、熟悉程度、綜合評價(jià)和資助意見。項(xiàng)目立項(xiàng)信息主要包括：科學(xué)部項(xiàng)目編號(hào)、項(xiàng)目批準(zhǔn)號(hào)和批準(zhǔn)金額等。將這1225個(gè)項(xiàng)目按科學(xué)部項(xiàng)目編號(hào)在立項(xiàng)信息中進(jìn)行匹配，查詢其是否最終得到立項(xiàng)。一般而言，在既定的同行評議意見下，科學(xué)處綜合處理結(jié)果與最終審定結(jié)果(是否立項(xiàng))越一致，綜合處理方法就越科學(xué)、合理。按目前科學(xué)基金綜合處理的結(jié)果如圖4所示。

圖4 科學(xué)基金現(xiàn)行方法下資助項(xiàng)目與總體項(xiàng)目得分折線圖

由圖4可以看出，現(xiàn)行方法1225個(gè)項(xiàng)目的得分以近似正態(tài)分布的形式離散分布于[1.0，5.8]區(qū)間中的25個(gè)分值上。其中資助項(xiàng)目的得分也在一個(gè)較小區(qū)間中近似服從正態(tài)分布。但其中很多項(xiàng)目得分相同，因而難以區(qū)分。

為比較科學(xué)部現(xiàn)行方法與本文提出的方法的有效性，從樣本空間中隨機(jī)抽取了9個(gè)代表性的項(xiàng)目共45份項(xiàng)目評議書。項(xiàng)目原始評估信息、相關(guān)方法

表4 科學(xué)基金項(xiàng)目專家評價(jià)信息及現(xiàn)行方法與本文方法下得分的比較結(jié)果

對項(xiàng)目進(jìn)行評估排序和選擇的量化結(jié)果、及實(shí)際資助情況如表4所示。表4中x和Ox分別為用管理學(xué)部現(xiàn)行方法量化的項(xiàng)目得分和排序；y和Oy分別為本文方法量化的項(xiàng)目得分和排序。

從表4可以看出，和管理學(xué)部現(xiàn)行方法相比，兩種方法都同樣使用了專家通訊評審的意見并進(jìn)行處理，但求出的分值和排序具有較大變化。首先，用管理學(xué)部現(xiàn)行方法部分項(xiàng)目的得分相同，無法區(qū)分優(yōu)劣，如項(xiàng)目5和項(xiàng)目6，項(xiàng)目8和項(xiàng)目9。本文的方法有效避免了這一問題，下面的統(tǒng)計(jì)分析進(jìn)一步證明了此特點(diǎn)。其次，某些項(xiàng)目的排序發(fā)生了變化。如項(xiàng)目4和項(xiàng)目5，用現(xiàn)行方法的得分分別為4分和3.8分，而基于ER規(guī)則的方法項(xiàng)目5得分為0.6371，顯著高于項(xiàng)目4的0.6141分。分析發(fā)現(xiàn)，項(xiàng)目5在本文方法下評分較高的原因是在權(quán)重較大的“綜合評價(jià)”指標(biāo)上評價(jià)優(yōu)于項(xiàng)目4，且給出“資助”決策的專家，其提供信息的可靠性更高。反觀項(xiàng)目4，現(xiàn)行方法下得分較高的原因是專家3和專家5評價(jià)較高，而他們的可靠性相對較低。充分考慮并利用權(quán)重和可靠性參數(shù)，能夠獲得更加科學(xué)合理的立項(xiàng)評估結(jié)果。從立項(xiàng)結(jié)果看，項(xiàng)目5獲得了立項(xiàng)，而項(xiàng)目4沒有，這也證明了本文方法的有效性。

值得注意的是，項(xiàng)目5和項(xiàng)目6按現(xiàn)行方法得分相等，均為3.8分，依據(jù)本文提出的方法得分區(qū)別也不甚明顯，但資助結(jié)果卻截然相反。為此，我們分析兩個(gè)項(xiàng)目的信度分布結(jié)果，如圖5所示。

圖5 項(xiàng)目5和項(xiàng)目6的信度分布情況

從圖5中可以看出，兩個(gè)項(xiàng)目的信度分布有很大不同，項(xiàng)目5分布在兩個(gè)極端表明部分非共識(shí)評價(jià)優(yōu)秀，而項(xiàng)目6則所有評價(jià)較一般。由于科學(xué)基金項(xiàng)目的性質(zhì)，項(xiàng)目5上專家意見反差較大，屬非共識(shí)項(xiàng)目，可能具有更強(qiáng)的探索性。而項(xiàng)目6雖然評價(jià)都良好，但不符合科學(xué)基金項(xiàng)目的資助要求。

為進(jìn)一步驗(yàn)證本文方法的有效性，應(yīng)用本文的方法和學(xué)部現(xiàn)行的方法分別將1225個(gè)項(xiàng)目量化得分排序之后進(jìn)行了統(tǒng)計(jì)分析。由于該1225個(gè)項(xiàng)目中有210個(gè)項(xiàng)目實(shí)際獲得了資助，因此本文首先比較了排序在前210名中兩種方法下各項(xiàng)目的資助情況，如表5所示。

表5 兩種方法下前210名項(xiàng)目的資助情況

從表5中可以看出，依據(jù)本文提出的方法排序后，前210個(gè)項(xiàng)目中有164個(gè)項(xiàng)目被資助了，而現(xiàn)行方法只有151個(gè)項(xiàng)目被資助。且現(xiàn)行方法排序結(jié)果中從第181名開始，有56個(gè)項(xiàng)目得分相同(4.0)。考慮現(xiàn)行方法無法區(qū)分第181至第236之間的該56個(gè)項(xiàng)目，圖6以累積形式進(jìn)一步比較了本文提出的基于ER規(guī)則立項(xiàng)評估方法和科學(xué)基金現(xiàn)行方法的量化排序結(jié)果。

圖6 兩種方法下所有項(xiàng)目得分排序后實(shí)際資助情況對比

通過圖6可知，雖然兩種方法在排序前180名中的實(shí)際被資助項(xiàng)目數(shù)差別不大，但現(xiàn)行方法無法區(qū)分一組較大數(shù)目的56個(gè)項(xiàng)目，該組項(xiàng)目的評價(jià)得分在實(shí)際決策過程中無法傳遞有效信息，而本文提出的方法則避免了此類問題。此外，該方法可進(jìn)一步通過對歷史評價(jià)數(shù)據(jù)的學(xué)習(xí)調(diào)整評估參數(shù)，以減少排序在210名之后的實(shí)際被資助項(xiàng)目數(shù)。

4 結(jié)語

科學(xué)基金項(xiàng)目立項(xiàng)評估與選擇是一種多專家多指標(biāo)的決策問題，采用科學(xué)的方法表示專家的意見并進(jìn)行集結(jié)，是綜合處理階段的重要環(huán)節(jié)，也是科學(xué)基金項(xiàng)目立項(xiàng)的依據(jù)和基礎(chǔ)。本文提出了一種基于ER規(guī)則的科學(xué)基金項(xiàng)目立項(xiàng)評估模型，并給出了一種度量評估信息可靠性的方法。與現(xiàn)行方法和已有研究相比，本文的創(chuàng)新點(diǎn)在于：(1)充分利用目前已有的通訊評審信息，建立基于ER規(guī)則的多專家多指標(biāo)的評估模型，更具針對性，且不改變現(xiàn)行通訊評審體系和流程，可操作性強(qiáng)；(2)引入評估信息可靠性，可以有效利用不同質(zhì)量的評審信息；(3)結(jié)合應(yīng)用信度分布表征項(xiàng)目的整體評價(jià)結(jié)果，包含了更豐富的信息；(4)采用效用函數(shù)計(jì)算方案的綜合得分，在一定程度上減少項(xiàng)目得分相同的情況。

本文提出的方法可充分利用現(xiàn)行通訊評審的信息，改進(jìn)決策，提升資助結(jié)果的可說明性。在有限的科學(xué)基金項(xiàng)目立項(xiàng)評估抽樣信息基礎(chǔ)上的實(shí)證結(jié)果表明，新方法能夠利用專家歷史評估信息提高通訊評審意見集結(jié)的合理性。在實(shí)踐中，經(jīng)過長期的對立項(xiàng)評估專家歷史評估信息的積累，可以計(jì)算獲得更加可信的專家評估信息可靠性。而對于沒有歷史評估信息(第一次參與立項(xiàng)評估或歷史信息缺失)的評審專家，本文在實(shí)證分析中用平均值代替了此類專家信息，在實(shí)踐中這一做法值得改進(jìn)，例如可利用評價(jià)意見表里的熟悉程度對專家評估信息的可靠性進(jìn)行修正，未來可進(jìn)一步進(jìn)行相關(guān)研究。其次，衡量專家評估信息的可靠程度，對改進(jìn)科學(xué)基金通訊評審專家指派的合理性，具有重要的參考價(jià)值。另外可建立優(yōu)化模型學(xué)習(xí)指標(biāo)的權(quán)重和識(shí)別框架上各等級的效用，以得到更為合理的科學(xué)基金項(xiàng)目立項(xiàng)評估決策模型。

[1] 陳媛,樊治平. 基于研究領(lǐng)域匹配度的科研項(xiàng)目評審指派方法 [J]. 中國管理科學(xué),2011,19(2):169-173.

[2] 張洪濤, 朱衛(wèi)東, 王慧, 等. 多維框架證據(jù)推理的科研項(xiàng)目立項(xiàng)評估方法 [J]. 科研管理, 2013, 34(6): 122-128.

[3] 楊列勛. R&D 項(xiàng)目評估研究綜述 [J]. 管理工程學(xué)報(bào), 2002, 16(2): 60-65.

[4] Poh K L, Ang B W, Bai F. A comparative analysis of R&D project evaluation methods [J]. R&D Management, 2001, 31(1): 63-75.

[5] Amiri M P. Project selection for oil-fields development by using the AHP and fuzzy TOPSIS methods [J]. Expert Systems with Applications, 2010, 37(9): 6218-6224.

[6] Feng Bo, Ma Jian, Fan Zhiping. An integrated method for collaborative R&D project selection: Supporting innovative research teams [J]. Expert Systems with Applications, 2011, 38(5): 5532-5543.

[7] Jung U, Seo D W. An ANP approach for R&D project evaluation based on interdependencies between research objectives and evaluation criteria [J]. Decision Support Systems, 2010, 49(3): 335-342.

[8] 王憑慧. 科學(xué)研究項(xiàng)目評估方法綜述 [J]. 科研管理, 1999, 20(3): 18-24.

[9] 陳媛, 樊治平. 科技類評審中項(xiàng)目選擇的兩階段綜合集成方法 [J]. 中國管理科學(xué), 2010, 18(2): 127-133.

[10] Khalili-Damghani K, Sadi-Nezhad S, Tavana M. Solving multi-period project selection problems with fuzzy goal programming based on TOPSIS and a fuzzy preference relation [J]. Information Sciences, 2013, 252: 42-61.

[11] Huang Chicheng, Chu Pinyu, Chiang Y H. A fuzzy AHP application in government-sponsored R&D project selection [J]. Omega, 2008, 36(6): 1038-1052.

[12] Heidenberger K, Stummer C. Research and development project selection and resource allocation: A review of quantitative modelling approaches [J]. International Journal of Management Reviews, 1999, 1(2): 197-224.

[13] Thamhain H J. Assessing the effectiveness of quantitative and qualitative methods for R&D project proposal evaluations [J]. Engineering Management Journal, 2014, 26(3): 3-12.

[14] Silva T, Jian Ma, Chen Yang. Process analytics approach for R&D project selection [J]. ACM Transactions on Management Information Systems (TMIS), 2015, 5(4): 21.

[15] Yang Jianbo, Xu Dongling. Evidential reasoning rule for evidence combination [J]. Artificial Intelligence, 2013, 205: 1-29.

[16] Chen Yue, Chen Yuwang, Xu Xiaobin, et al. A data-driven approximate causal inference model using the evidential reasoning rule [J]. Knowledge-Based Systems, 2015, 88: 264-272.

[17] Yang Jianbo, Xu Dongling. On the evidential reasoning algorithm for multiple attribute decision analysis under uncertainty [J].IEEE Transactions on Systems, Man and Cybernetics, Part A: Systems and Humans, 2002, 32(3): 289-304.

[18] 杜元偉,楊娜. 大數(shù)據(jù)環(huán)境下雙層分布式融合決策方法 [J]. 中國管理科學(xué),2016,24(5):127-138.

[19] Xu Dongling. An introduction and survey of the evidential reasoning approach for multiple criteria decision analysis [J].Annals of Operations Research, 2012, 195(1): 163-187.

[20] Yang Jianbo, Xu Dongling. A study on generalising Bayesian inference to evidential reasoning[M].Belief Functions: Theory and applications. Switzertand:Springer International Publishing, 2014: 180-189.

[21] 朱衛(wèi)東, 張洪濤, 張晨, 等. 基于兩維語義的科學(xué)基金立項(xiàng)評估方法 [J]. 系統(tǒng)工程理論與實(shí)踐, 2012, 32(12): 2697-2703.

[22] Shafer G. A mathematical theory of evidence[M]. Princeton: Princeton University Press, 1976: 74-78.

[23] Yang Jianbo. Rule and utility based evidential reasoning approach for multiattribute decision analysis under uncertainties [J]. European Journal of Operational Research, 2001, 131(1): 31-61.

[24] Provost F, Kohavi R. Guest editors′ introduction: On applied research in machine learning [J]. Machine Learning, 1998, 30(2): 127-132.

[25] 陳曉田. 國家自然科學(xué)基金與我國管理科學(xué)(1986-2008)[M]. 北京: 科學(xué)出版社, 2009.

[26] 王雄, 吳慶田. 基于模糊語言的科研基金項(xiàng)目立項(xiàng)評估研究 [J]. 科技進(jìn)步與對策, 2007, 24(9): 61-63.

[27] 肖人毅, 王長銳. 科研基金項(xiàng)目立項(xiàng)評估方法的研究與改進(jìn) [J]. 系統(tǒng)工程理論與實(shí)踐, 2004, 5: 66-71.

[28] 王東鵬, 朱衛(wèi)東, 陳波, 等. 認(rèn)知視角的科學(xué)基金項(xiàng)目專家評議意見分析—基于 ER 規(guī)則的研究 [J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理, 2015, 36(04): 22-35.

Research Project Evaluation and Selection in the NSFC: An Approach Based on the Evidential Reasoning Rule with Reliability

ZHU Wei-dong1, LIU Fang2, WANG Dong-peng3, Jian-Bo Yang2,4

(1.School of Economics, Hefei University of Technology, Hefei 230009, China; 2.School of Management, Hefei University of Technology, Hefei 230009, China; 3.School of Management, Hangzhou Dianzi University, Hangzhou 310018, China; 4.Manchester Business School, the University of Manchester, Manchester M15 6PB, UK)

Research project evaluation and selection is one of the core research management activities in the National Science Foundation of China (NSFC). Through taking into consideration evaluation criteria and selection procedure, a systematic method of implementing the evidential reasoning rule is presented to aggregate evaluation information on multiple criteria by multiple experts. The proposed method has the following strengths: 1) combine evaluation information with different weights and reliabilities effectively, 2) employ a confusion matrix for generating experts’ evaluation reliabilities, as experts may have different knowledge background and expertise, and 3) use a belief distribution to represent the overall performance profile of research projects in a more informative way. The belief distribution can be further transformed as utilities which are used to support the decision making of project selection. A case study on the project evaluation and selection of the National Science Foundation of China (NSFC) demonstrates the applicability and effectiveness of the proposed method.

research project in the NSFC; evaluation and selection; evidential reasoning; reliability

2015-01-28；

2015-09-02

國家自然科學(xué)基金資助項(xiàng)目(71071048)

簡介：劉芳(1988-)，女(漢族)，安徽界首人，合肥工業(yè)大學(xué)管理學(xué)院博士生，研究方向：決策分析，E-mail: fangliu.hfut@gmail.com.

1003-207(2016)10-0141-08

10.16381/j.cnki.issn1003-207x.2016.10.016

C931

A