楊俊

摘 要：準(zhǔn)確把握高校成果轉(zhuǎn)化的現(xiàn)狀，測(cè)度高?？萍蓟顒?dòng)的績(jī)效，生成可用于指導(dǎo)或幫助決策的“深層知識(shí)”，對(duì)于推動(dòng)高?？萍汲晒颥F(xiàn)實(shí)生產(chǎn)力轉(zhuǎn)化，加快其商品化、產(chǎn)業(yè)化，具有重要的理論與現(xiàn)實(shí)意義。從兩階段創(chuàng)新價(jià)值鏈視角，構(gòu)建高校科技成果轉(zhuǎn)化績(jī)效評(píng)價(jià)指標(biāo)體系，并以江蘇省本科院校作為研究對(duì)象，利用二階段網(wǎng)絡(luò)DEA模型測(cè)度高?？萍汲晒D(zhuǎn)化效率，分析其研發(fā)和成果轉(zhuǎn)化效率的演變差異性，并給出提升績(jī)效的對(duì)策建議。

關(guān)鍵詞：創(chuàng)新價(jià)值鏈;二階段網(wǎng)絡(luò)DEA;研發(fā)效率;高?？萍汲晒?轉(zhuǎn)化績(jī)效

中圖分類號(hào)：G644 ? ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? ?文章編號(hào)：1673-291X（2022）06-0150-05

一、研究背景與意義

高校的科研活動(dòng)是其知識(shí)創(chuàng)新、技術(shù)創(chuàng)新的基礎(chǔ)和關(guān)鍵，開展科技創(chuàng)新活動(dòng)對(duì)于促進(jìn)區(qū)域科技創(chuàng)新能力的提升，對(duì)于推動(dòng)我國(guó)經(jīng)濟(jì)社會(huì)發(fā)展有著重要的前瞻性和現(xiàn)實(shí)意義。然而，作為一個(gè)科教強(qiáng)國(guó)大省，江蘇省的科技和經(jīng)濟(jì)發(fā)展“兩張皮”上的問(wèn)題卻更加突出，技術(shù)成果轉(zhuǎn)移的推動(dòng)成效并不明顯，科技成果創(chuàng)新與其他國(guó)家之間仍然存在著巨大的技術(shù)沖擊與資源浪費(fèi)。“十二五”期間，江蘇省高校財(cái)務(wù)科技投入的年均增速大約為17.4%，科技成果的轉(zhuǎn)化率僅大約為30%。2009—2017年中國(guó)高校科技統(tǒng)計(jì)資料顯示，江蘇省高校每年所獲得的科技成果（專利授權(quán)次數(shù)）從2008年的總量不足3 000項(xiàng)迅速增長(zhǎng)至2016年的20 227項(xiàng)，但是實(shí)際上能夠達(dá)到成果的轉(zhuǎn)化和創(chuàng)新產(chǎn)業(yè)化的還遠(yuǎn)遠(yuǎn)不足1/10。這表明，江蘇省高等院校的科技進(jìn)步并沒(méi)能很大程度上帶動(dòng)經(jīng)濟(jì)的持續(xù)健康發(fā)展，并且仍然存在著較大的科研資源浪費(fèi)，知識(shí)產(chǎn)出和成果的轉(zhuǎn)化“割裂”的狀況相對(duì)比較嚴(yán)重，直接影響到江蘇省科學(xué)技術(shù)資源的綜合利用效率。因此，充分把握江蘇省高校成果轉(zhuǎn)化現(xiàn)狀，測(cè)度其績(jī)效，生成可用于指導(dǎo)或輔助決策的“深層知識(shí)”，對(duì)于推動(dòng)高?？萍汲晒颥F(xiàn)實(shí)生產(chǎn)力轉(zhuǎn)化，加快其商品化、產(chǎn)業(yè)化，具有重要的學(xué)術(shù)理論與現(xiàn)實(shí)意義。

二、文獻(xiàn)綜述

高?？萍汲晒芊褶D(zhuǎn)化是高校科研創(chuàng)新活動(dòng)的關(guān)鍵，能否有效地進(jìn)行取決于科技資源的支持與投入，確保合理配置科技資源是促進(jìn)高校科技發(fā)展的重要前提和保證。國(guó)內(nèi)外專家學(xué)者的主要研究視角主要有[1～5]：一是高?？萍汲晒D(zhuǎn)化概念和內(nèi)涵的界定，主要結(jié)合各國(guó)的發(fā)展實(shí)際情況，給出科技成果轉(zhuǎn)化的概念和設(shè)定內(nèi)涵邊界。二是科技成果轉(zhuǎn)化與企業(yè)經(jīng)濟(jì)效益相關(guān)聯(lián)等方面的研究領(lǐng)域較為廣泛，包括以下幾個(gè)主要領(lǐng)域，如研發(fā)支出與CO2排放、研發(fā)與企業(yè)價(jià)值、研發(fā)與技術(shù)創(chuàng)新、研發(fā)與生產(chǎn)力等。三是在績(jī)效考核評(píng)估與測(cè)度管理方面，主要建立了評(píng)估的方法和模型，其主要包括隨機(jī)前沿模型、DEA模型、證據(jù)推理規(guī)則、多屬性決策評(píng)價(jià)方法、模糊投資產(chǎn)出分析方法、最優(yōu)最劣等，這些模型盡管在一定的程度上已經(jīng)解決了科技成果轉(zhuǎn)化的績(jī)效考核評(píng)估和測(cè)度的問(wèn)題，但是并不能準(zhǔn)確地反映影響因素和績(jī)效之間的滯后性關(guān)系。四是在加快科技成果轉(zhuǎn)化績(jī)效管理指標(biāo)體系的構(gòu)建方面，主要從資金投入和產(chǎn)出兩個(gè)角度，提煉了直接影響我國(guó)科技成果實(shí)現(xiàn)轉(zhuǎn)化的績(jī)效管理因素，這些影響因素主要有：科技資金投入、科研人才投入、科研裝置投入、政策性法律和規(guī)范、專利、論著等，進(jìn)而構(gòu)建科技成果轉(zhuǎn)化績(jī)效指標(biāo)體系，但是其影響因素大多是針對(duì)研究機(jī)構(gòu)或者企業(yè)科技成果轉(zhuǎn)化，這不符合處理高?？萍汲晒D(zhuǎn)化績(jī)效問(wèn)題的要求。

根據(jù)以上討論和分析，現(xiàn)有的研究集中將高?？萍汲晒霓D(zhuǎn)化視角看作單一的階段或過(guò)程性地分析績(jī)效及其影響因素[6]，并沒(méi)有將績(jī)效分為兩個(gè)階段性地測(cè)度和過(guò)程性地分析科技成果的轉(zhuǎn)化績(jī)效[7]。因此，有必要從兩階段價(jià)值鏈視角分析和測(cè)度高?？萍汲晒D(zhuǎn)化績(jī)效。本文從江蘇省創(chuàng)新和價(jià)值鏈的角度，根據(jù)2010—2017年中國(guó)高等院校的統(tǒng)計(jì)數(shù)據(jù)，利用二階段網(wǎng)絡(luò)DEA模型來(lái)測(cè)度江蘇省高等院校研發(fā)和成果轉(zhuǎn)化的效率、分析不同資源模式下的江蘇省高等院?？萍汲晒D(zhuǎn)化的整體效率趨勢(shì)與差異性。

三、理論模型與方法

（一）創(chuàng)新價(jià)值鏈視角下高校科技成果轉(zhuǎn)化效率分析

基于傳統(tǒng)創(chuàng)新價(jià)值鏈理論，高校科技成果轉(zhuǎn)化即是由科研活動(dòng)所體現(xiàn)的創(chuàng)新知識(shí)流動(dòng)路徑所組成的創(chuàng)新鏈，包含知識(shí)來(lái)源、設(shè)計(jì)理念、技術(shù)改進(jìn)、實(shí)驗(yàn)原型、技術(shù)交易、科技成果的商業(yè)經(jīng)濟(jì)化這六組節(jié)點(diǎn)。依據(jù)轉(zhuǎn)化的運(yùn)作規(guī)律，轉(zhuǎn)化過(guò)程可以劃分為研發(fā)和轉(zhuǎn)化兩部分。在研發(fā)階段，高校需要投入大量的科研人員、經(jīng)費(fèi)和設(shè)備等，并且實(shí)現(xiàn)科技成果轉(zhuǎn)化的中間產(chǎn)出（包括專利、論文、著作等）;而轉(zhuǎn)化階段則主要是在高校R&D的研發(fā)基礎(chǔ)上，將高校的科技成果經(jīng)過(guò)對(duì)科技成果的應(yīng)用和服務(wù)經(jīng)費(fèi)與人才的干預(yù)作用下進(jìn)一步轉(zhuǎn)化成為帶有經(jīng)濟(jì)效益的過(guò)程。根據(jù)以上的分析，第一階段主要采用“知識(shí)來(lái)源”“設(shè)計(jì)理念”“技術(shù)改進(jìn)”“實(shí)驗(yàn)原型”四個(gè)環(huán)節(jié)周期，產(chǎn)出了研發(fā)成果;第二個(gè)階段主要是基于“實(shí)驗(yàn)原型”“技術(shù)孵化”“科技成果商業(yè)化”三個(gè)階段的循環(huán)運(yùn)行最終實(shí)現(xiàn)了科技成果的商業(yè)和產(chǎn)業(yè)化，產(chǎn)生了經(jīng)濟(jì)效益。成果研發(fā)效率是指專利、論文、專著等中間投入與高校科技成果轉(zhuǎn)化創(chuàng)新投入的比例，是用來(lái)衡量高校將科技創(chuàng)新投入轉(zhuǎn)化為高校科技產(chǎn)出的能力;而成果的轉(zhuǎn)化效率則主要是科研獲獎(jiǎng)、技術(shù)轉(zhuǎn)讓收入和專利出售收入等高校R&D經(jīng)濟(jì)產(chǎn)出與（中間產(chǎn)出專利+研究與發(fā)展成果的應(yīng)用以及為高校提供科技服務(wù)的人員和資金經(jīng)費(fèi)投入）的比例，反映了高校將技術(shù)服務(wù)的投入、中間產(chǎn)出轉(zhuǎn)化成為高校的經(jīng)濟(jì)價(jià)值。

（二）構(gòu)建高校科技成果轉(zhuǎn)化績(jī)效指標(biāo)體系

本文以江蘇省高?？萍汲晒D(zhuǎn)化為研究對(duì)象，建立兩階段效率評(píng)價(jià)指標(biāo)體系。

1.研發(fā)投入指標(biāo)。本文選取研究與發(fā)展人員、研究與發(fā)展經(jīng)費(fèi)支出作為測(cè)度指標(biāo)，由于R&D經(jīng)費(fèi)投入具有時(shí)滯效應(yīng)，本文利用永續(xù)盤存法進(jìn)行計(jì)算。

2.中間生產(chǎn)指標(biāo)。研發(fā)階段的結(jié)果可以被理解為，通過(guò)一系列的研發(fā)活動(dòng)來(lái)創(chuàng)造或總結(jié)出來(lái)的科學(xué)理論知識(shí)。本文選擇了科技類相關(guān)專著和學(xué)術(shù)論文的發(fā)表量數(shù)據(jù)作為測(cè)量指標(biāo)之一，應(yīng)用與實(shí)驗(yàn)性研究的結(jié)果可以按照專利的形式提交，專利又可以再細(xì)分為發(fā)明、實(shí)用新型和設(shè)計(jì)的外觀。在技術(shù)含量這個(gè)方面，發(fā)明專利遠(yuǎn)遠(yuǎn)超過(guò)了其他兩個(gè)類別，本文將選取了專利授權(quán)額和發(fā)明專利授權(quán)額兩項(xiàng)作為評(píng)價(jià)的測(cè)度指標(biāo)。

3.中間投入指標(biāo)。研發(fā)創(chuàng)造階段的成果有軟科學(xué)研究和專利，前者是直接產(chǎn)出，后者則視作成果轉(zhuǎn)化階段的投入要素。

4.最終產(chǎn)出指標(biāo)。在高校科技成果轉(zhuǎn)化的階段，科技成果主要是專利和獲獎(jiǎng)，而這些專利大多是通過(guò)出售和轉(zhuǎn)讓高校的專利來(lái)完成轉(zhuǎn)化。本文選擇獲獎(jiǎng)、技術(shù)轉(zhuǎn)讓收入和專利銷售收入（合同額）作為最終產(chǎn)出指標(biāo)。

（三）共享關(guān)聯(lián)投入兩階段網(wǎng)絡(luò)DEA模型

高?？萍汲晒D(zhuǎn)化是一個(gè)多階段、具有中間投入產(chǎn)出要素、子系統(tǒng)之間相互耦合的復(fù)雜系統(tǒng)，而傳統(tǒng)的DEA模型只能把高校的科技成果轉(zhuǎn)化系統(tǒng)看作一個(gè)未知的“黑箱”來(lái)衡量其效率，并未考慮中間產(chǎn)品的重要性再投入，因此不能了解其內(nèi)部運(yùn)行過(guò)程每個(gè)部分的影響。而網(wǎng)絡(luò)DEA模型就是在繼承了我國(guó)數(shù)據(jù)包絡(luò)分析模型的理論基礎(chǔ)上把所有包含決策單元的整體過(guò)程都分解為構(gòu)成若干個(gè)子的過(guò)程或者階段，每個(gè)過(guò)程中都應(yīng)該有自己的投入和產(chǎn)出過(guò)程，所有這些過(guò)程中都應(yīng)該有中間的元素與其聯(lián)系在一起?；谄涮攸c(diǎn)和優(yōu)勢(shì)，本文可以利用此種模型為我們打開了轉(zhuǎn)化效率“黑箱”，進(jìn)而增加了此種模型的應(yīng)用領(lǐng)域，具有一定程度的理論指導(dǎo)意義。

四、江蘇省高?？萍汲晒D(zhuǎn)化實(shí)證分析

根據(jù)建立的共享投入兩階段網(wǎng)絡(luò)DEA模型，采用2011—2017年《中國(guó)高等院校科技統(tǒng)計(jì)年鑒》和《中國(guó)教育統(tǒng)計(jì)年鑒》統(tǒng)計(jì)數(shù)據(jù)，選取33所江蘇省高校為研究對(duì)象（常州大學(xué)等若干院校由于數(shù)據(jù)原因，不在本研究范圍之內(nèi)），利用Python軟件，對(duì)江蘇省高?？萍汲晒D(zhuǎn)化績(jī)效進(jìn)行測(cè)度與分析。

（一）江蘇省高?？萍蓟顒?dòng)綜合效率測(cè)度

利用上文構(gòu)建的兩階段網(wǎng)絡(luò)DEA模型，取一年滯后期，并基于CCR和產(chǎn)出角度，對(duì)32所江蘇省高?？萍汲晒D(zhuǎn)化綜合效率進(jìn)行測(cè)度，具體數(shù)值見表1。

江蘇省33所本科院校綜合效率在2010—2016年期間呈現(xiàn)下降趨勢(shì)，其中低于效率平均值的高校數(shù)量達(dá)到19所，占院?？倲?shù)的59.38%，僅有江南大學(xué)和金陵科技學(xué)院兩所院校的效率值高于0.600。這表明，江蘇省高校科技資源配置不合理，存在嚴(yán)重的浪費(fèi)現(xiàn)象。具體來(lái)看，河海大學(xué)、南京醫(yī)科大學(xué)、淮陰工學(xué)院、鹽城師范學(xué)院等超過(guò)40%的高?？萍蓟顒?dòng)綜合效率都呈現(xiàn)逐年下降的趨勢(shì)且這一變動(dòng)幅度相對(duì)較大，這也說(shuō)明江蘇省內(nèi)多數(shù)高校的科研活動(dòng)效率低。

為了探究各個(gè)高校之間效率值是否具有相似性、是否具有關(guān)聯(lián)特征，對(duì)2010—2016年間江蘇省各個(gè)高校的綜合效率值進(jìn)行分類，采用K-Means聚類方法，可將33所高校分為三類。其中，第一類的院校僅有江南大學(xué)一所。第二類的院校主要包括東南大學(xué)、河海大學(xué)、鹽城工學(xué)院、南京醫(yī)科大學(xué)、鹽城師范大學(xué)、南京財(cái)經(jīng)大學(xué)、淮陰工學(xué)院、南京曉莊學(xué)院、金陵科技學(xué)院。第三類是院校數(shù)最多的類別，包括南京大學(xué)、蘇州大學(xué)、南京航天航空大學(xué)、南京理工大學(xué)、南京師范大學(xué)等高校，這些院校在科技成果研發(fā)階段取得較高的效率值，但是知識(shí)成果轉(zhuǎn)化階段效率值偏低。

（二）江蘇省高?？萍汲晒D(zhuǎn)化的階段性效率差異測(cè)度

高?？萍蓟顒?dòng)可以分為成果研發(fā)和轉(zhuǎn)化兩個(gè)階段，研發(fā)效率是衡量高校將科技創(chuàng)新投入轉(zhuǎn)化為科技產(chǎn)出的能力，轉(zhuǎn)化效率則是反映高校將科技服務(wù)投入、中間產(chǎn)出轉(zhuǎn)化為經(jīng)濟(jì)價(jià)值的水平。利用構(gòu)建的共享關(guān)聯(lián)投入二階段網(wǎng)絡(luò)DEA模型，分別測(cè)度33所江蘇省高?？萍蓟顒?dòng)的兩階段效率的，研發(fā)和轉(zhuǎn)化效率分別如圖1和圖2所示。

由圖1可知，江蘇省各高等院校的研發(fā)效率平均值為0.596。南京農(nóng)業(yè)大學(xué)、南京工業(yè)大學(xué)、南京信息工程大學(xué)、南通大學(xué)、鹽城工學(xué)院、淮陰師范學(xué)院等高校的研發(fā)效率平均值都不足0.500，研發(fā)環(huán)節(jié)的效率偏低，科技投入和產(chǎn)出也存在一定的資源浪費(fèi)。由圖2可知，江蘇省本科院校轉(zhuǎn)化效率均值為0.443，雖然高于整體效率，但較研發(fā)效率低。這表明，江蘇省本科院校知識(shí)產(chǎn)出與成果轉(zhuǎn)化存在一定的割裂現(xiàn)象。在33所本科院校中，轉(zhuǎn)化效率低于均值的院校有14所，占院?？倲?shù)的43.75%，而南京大學(xué)和蘇州大學(xué)的成果轉(zhuǎn)化階段效率值卻不足0.200，科技成果轉(zhuǎn)化效率較低，科技資源存在較大浪費(fèi)。

為進(jìn)一步分析江蘇省高校資源階段效率的差異，分別以轉(zhuǎn)化效率均值0.443和研發(fā)效率均值0.596為縱橫坐標(biāo)分界線，將33所本科院校劃分為高研發(fā)—高轉(zhuǎn)化、低研發(fā)—高轉(zhuǎn)化、低研發(fā)—低轉(zhuǎn)化、低研發(fā)—高轉(zhuǎn)化四種類型的資源利用模式如下頁(yè)圖3所示。

1.高研發(fā)—高轉(zhuǎn)化型。此類采用資源配置綜合利用管理模式的高校主要包括中國(guó)東南大學(xué)、江南大學(xué)、淮陰科技工學(xué)院、鹽城師范學(xué)院、金陵科技學(xué)院。這類院校不僅能夠高效率地將原有的科技資源轉(zhuǎn)化為科技成果，還能夠高效率地將科技成果轉(zhuǎn)換為經(jīng)濟(jì)效益產(chǎn)出。

2.低研發(fā)—高轉(zhuǎn)化型。此類資源利用模式的高校包括南京財(cái)經(jīng)大學(xué)、鹽城工學(xué)院、揚(yáng)州大學(xué)、淮陰師范學(xué)院。由于這類高校對(duì)科技資源的原始投入相對(duì)較少，對(duì)外部科技成果的依賴性較強(qiáng)，在某種程度上忽視了科研投入轉(zhuǎn)化為科技成果的效率。

3.低研發(fā)—低轉(zhuǎn)化型。此類資源利用模式的高校包括南京工業(yè)大學(xué)、南京農(nóng)業(yè)大學(xué)、蘇州科技學(xué)院、南京理工大學(xué)。這類院校雖然在科研研發(fā)階段投入了較多的資源，但是并沒(méi)有進(jìn)行有效的管理;而且在經(jīng)濟(jì)效益轉(zhuǎn)化的階段容易盲目投資，最后的結(jié)果就是兩階段的效率雙重低下。

4.高研發(fā)—低轉(zhuǎn)化型。此類資源利用模式的高校包括南京大學(xué)、蘇州大學(xué)、中國(guó)礦業(yè)大學(xué)、南京航天航空大學(xué)、河海大學(xué)、江蘇科技大學(xué)、南京郵電大學(xué)。該類院校在科技資源投入過(guò)程中未能結(jié)合自身情況，沒(méi)有聯(lián)系好科技成果和經(jīng)濟(jì)活動(dòng)，單純追求科技資源投入的直接產(chǎn)出，造成科研與生產(chǎn)相脫節(jié)，許多科研成果得不到很好的實(shí)際應(yīng)用。

五、結(jié)論與對(duì)策建議

（一）結(jié)論

針對(duì)江蘇省本科院?？萍汲晒D(zhuǎn)化效率問(wèn)題，從兩階段創(chuàng)新價(jià)值鏈視角出發(fā)，利用共享關(guān)聯(lián)投入兩階段網(wǎng)絡(luò)DEA模型測(cè)度江蘇省本科高校在2010—2016年間的科技活動(dòng)綜合效率、研發(fā)效率、轉(zhuǎn)化效率，并分析其演變差異性，得出以下結(jié)論。

1.知識(shí)產(chǎn)出與轉(zhuǎn)化的割裂問(wèn)題比較突出。江蘇省高?？萍蓟顒?dòng)研發(fā)效率普遍高于轉(zhuǎn)化效率，知識(shí)產(chǎn)出和轉(zhuǎn)化之間的割裂問(wèn)題較為嚴(yán)重。

2.高校科技發(fā)展不均衡，在不同資源利用模式下科技成果轉(zhuǎn)化效率呈現(xiàn)較大的差異性。

（二）對(duì)策建議

1.高校應(yīng)積極深入市場(chǎng)調(diào)查，了解企業(yè)訴求與消費(fèi)者評(píng)價(jià)，并關(guān)注市場(chǎng)導(dǎo)向，實(shí)現(xiàn)高校、政府、企業(yè)“三位一體”的精準(zhǔn)轉(zhuǎn)化模式。

2.針對(duì)不同類型高校的優(yōu)勢(shì)和短板分別提出改進(jìn)措施。對(duì)于高研發(fā)—高轉(zhuǎn)化型，應(yīng)加大研發(fā)投入，避免出現(xiàn)由于上游研發(fā)不足導(dǎo)致的整體轉(zhuǎn)化效率下降。對(duì)于低研發(fā)—高轉(zhuǎn)化型，應(yīng)繼續(xù)保持高效率的將科技成果轉(zhuǎn)化為經(jīng)濟(jì)產(chǎn)出，同時(shí)加大科研資源的投入。對(duì)于低研發(fā)—低轉(zhuǎn)化型，需要在制度層面從基礎(chǔ)研究到科技成果商業(yè)化全鏈條的各個(gè)環(huán)節(jié)均進(jìn)行合理的制度安排，反思其科技成果轉(zhuǎn)化系統(tǒng)是否順暢。對(duì)于高研發(fā)—低轉(zhuǎn)化型，應(yīng)強(qiáng)化對(duì)研究創(chuàng)造階段的成果管理，例如保證應(yīng)用性成果的商業(yè)價(jià)值，或是加大科技服務(wù)投入促進(jìn)成果的價(jià)值轉(zhuǎn)化。

參考文獻(xiàn)：

[1] ?雷云濤，余明九，梁子卿.高?？萍汲晒a(chǎn)業(yè)化面臨的問(wèn)題分析[J].研究與發(fā)展管理，2007，（1）：133-135.

[2] ?焦翠紅，陳鈺芬.R&D資源配置、空間關(guān)聯(lián)與區(qū)域全要素生產(chǎn)率提升[J].科學(xué)學(xué)研究，2018，（1）：81-92.

[3] ?Daniel W.E.Publications，patents，and the market for university inventions[J].Journal of Economic Behavior&Organization，2007，（4）：688-715.

[4] ?蔡躍洲.科技成果轉(zhuǎn)化的內(nèi)涵邊界與統(tǒng)計(jì)測(cè)度[J].科學(xué)學(xué)研究，2015，（1）：37-44.

[5] ?范德成，李盛楠.考慮空間效應(yīng)的高技術(shù)產(chǎn)業(yè)技術(shù)創(chuàng)新效率研究[J].科學(xué)學(xué)研究，2018，（5）：901-91 2.

[6] ?Liu F，Zhu W，Chen Y，et al..Evaluation，ranking and selection of R&D projects by multiple experts：an evidential reasoning rule based Approach[J].Scientometrics，2017，（3）：1501-1519.

[7] ?Immonen S，Cooksy L L.Using performance measurement to assess research：Lessons learned from the international agricultural research centers[J].Evaluation，2014，（1）：96-114.