李 昀，吳華瑞，李奇峰，顧靜秋，李慶學(xué)，韓 笑

（1. 北京市農(nóng)林科學(xué)院，北京 100097； 2. 國(guó)家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097； 3. 北京市農(nóng)業(yè)信息技術(shù)研究中心，北京 100097； 4. 農(nóng)業(yè)部農(nóng)業(yè)信息軟硬件產(chǎn)品質(zhì)量檢測(cè)重點(diǎn)實(shí)驗(yàn)室，北京 100097）

發(fā)展現(xiàn)代農(nóng)業(yè)，建設(shè)新農(nóng)村是我國(guó)的重大戰(zhàn)略決策。而科學(xué)技術(shù)是促進(jìn)農(nóng)業(yè)和農(nóng)村發(fā)展的助推器。農(nóng)業(yè)科研高校和院所是加快農(nóng)業(yè)科技成果轉(zhuǎn)化和產(chǎn)業(yè)化，促進(jìn)農(nóng)業(yè)科技進(jìn)步的重要力量。而農(nóng)業(yè)科研成果績(jī)效評(píng)價(jià)是對(duì)科研項(xiàng)目完成效率、質(zhì)量和所帶來(lái)的社會(huì)經(jīng)濟(jì)效益進(jìn)行量化的系統(tǒng)性過(guò)程，研究農(nóng)業(yè)科研成果的績(jī)效評(píng)價(jià)體系不僅有利于監(jiān)測(cè)農(nóng)業(yè)科技項(xiàng)目的實(shí)施效果，有利于形成更加合理有效的科研資源配置，形成依靠科研進(jìn)步興農(nóng)機(jī)制，促進(jìn)農(nóng)業(yè)現(xiàn)代化［1-3］。

與其他科研項(xiàng)目不同的是農(nóng)業(yè)科技成果不僅涉及科技創(chuàng)新，同時(shí)其研究成果轉(zhuǎn)化效果具有重要意義［4］。目前對(duì)于農(nóng)業(yè)科研績(jī)效評(píng)價(jià)指標(biāo)體系構(gòu)建的研究涉及角度較多，基于科學(xué)指標(biāo)數(shù)據(jù)庫(kù)，趙欣等探索了國(guó)外高校在農(nóng)科領(lǐng)域的論文發(fā)表及引用情況［5］。申紅芳等將科研投入作為影響因素，重點(diǎn)分析了不同農(nóng)業(yè)機(jī)構(gòu)科技產(chǎn)出及其資源配置情況［6］，劉寶濤等提出了包含科研投入、社會(huì)影響與科研產(chǎn)出3 個(gè)維度的農(nóng)業(yè)高?？蒲性u(píng)價(jià)指標(biāo)體系，并采用正態(tài)云模型對(duì)多個(gè)農(nóng)業(yè)高校進(jìn)行了績(jī)效評(píng)價(jià)與分析［7］。徐玲等將投入指標(biāo)精簡(jiǎn)為科技人力資源投入、科技財(cái)力資源投入與科技信息資源投入，從而構(gòu)建了農(nóng)林院校的科研資源配置效率指標(biāo)［8］。

此外，上述研究在農(nóng)業(yè)科研指標(biāo)構(gòu)建與評(píng)價(jià)方法等方面已取得了較多研究成果，但相關(guān)研究側(cè)重于分析內(nèi)容與評(píng)價(jià)結(jié)果，對(duì)于評(píng)價(jià)方法及其評(píng)價(jià)結(jié)果的衡量關(guān)注較少。理想解相似排序（TOPSIS）模型是一種解決多準(zhǔn)則分析決策問(wèn)題的方法，能夠令優(yōu)選方案應(yīng)盡可能接近正理想解，并盡可能遠(yuǎn)離負(fù)理想解［9-10］。目前，該方法和相關(guān)改進(jìn)方法已廣泛引用于各行業(yè)的績(jī)效評(píng)價(jià)中［11-13］。考慮到農(nóng)業(yè)科研項(xiàng)目中的科研成果權(quán)重分配標(biāo)準(zhǔn)不統(tǒng)一，TOPSIS模型正負(fù)理想解計(jì)算簡(jiǎn)單，沒(méi)有考慮到不同科研項(xiàng)目產(chǎn)出中側(cè)重點(diǎn)不同的缺點(diǎn)。本文研究了改進(jìn)的熵-TOPSIS 農(nóng)業(yè)科研項(xiàng)目績(jī)效評(píng)價(jià)。

目前依靠先進(jìn)信息技術(shù)、計(jì)算機(jī)處理技術(shù)、和網(wǎng)絡(luò)技術(shù)相結(jié)合的無(wú)紙化辦公方式在各行各業(yè)越來(lái)越普遍。協(xié)同辦公平臺(tái)是一種適應(yīng)復(fù)雜業(yè)務(wù)流程和信息交互的無(wú)紙化公務(wù)管理手段，可以有效管理科研人員的項(xiàng)目投入與成果產(chǎn)出［14］?？蒲腥藛T通過(guò)協(xié)同辦公平臺(tái)上傳成果數(shù)據(jù)，也方便了對(duì)科研數(shù)據(jù)進(jìn)行相關(guān)指標(biāo)統(tǒng)計(jì)和評(píng)價(jià)。因此，本文主要研究了基于協(xié)同辦公平臺(tái)的農(nóng)業(yè)科研指標(biāo)體系，為后續(xù)實(shí)現(xiàn)信息化科學(xué)績(jī)效評(píng)價(jià)提供參考。

1 農(nóng)業(yè)科研績(jī)效評(píng)價(jià)指標(biāo)構(gòu)建

評(píng)價(jià)指標(biāo)體系是農(nóng)業(yè)科研項(xiàng)目成果績(jī)效評(píng)價(jià)的重要組成部分，反映了農(nóng)業(yè)研究項(xiàng)目的完成效果與技術(shù)創(chuàng)新性（表1）。

以往農(nóng)業(yè)科研項(xiàng)目評(píng)價(jià)指標(biāo)體系中通常將科研成果落地情況納入績(jī)效評(píng)價(jià)指標(biāo)，實(shí)際上農(nóng)業(yè)領(lǐng)域中科研成果推廣的年限長(zhǎng)，類型多樣，應(yīng)進(jìn)行單獨(dú)討論［15］。因此，在某農(nóng)業(yè)科研單位協(xié)同辦公平臺(tái)的科研成果記錄驅(qū)動(dòng)下，本文從項(xiàng)目投入與項(xiàng)目產(chǎn)出2 個(gè)維度建立了針對(duì)協(xié)同辦公平臺(tái)數(shù)據(jù)驅(qū)動(dòng)下的農(nóng)業(yè)科研績(jī)效評(píng)價(jià)框架。項(xiàng)目投入包括人員投入、科研經(jīng)費(fèi)投入、以及其他合作科研機(jī)構(gòu)投入等其它投入；項(xiàng)目產(chǎn)出則包括論文等成果產(chǎn)出與成果轉(zhuǎn)化結(jié)果等。該評(píng)價(jià)指標(biāo)體系不僅關(guān)注論文和專利數(shù)量，同時(shí)關(guān)注獲獎(jiǎng)情況以及人才培養(yǎng)和成果質(zhì)量，使農(nóng)業(yè)科研單位的日?？蒲泄ぷ鞲嗅槍?duì)性，為農(nóng)業(yè)成果轉(zhuǎn)化投入提供進(jìn)一步的指導(dǎo)。由于科研成果推廣的經(jīng)濟(jì)效益具有投入周期長(zhǎng)，考核量化標(biāo)準(zhǔn)復(fù)雜等因素，本文僅對(duì)方便量化的科研創(chuàng)新成果進(jìn)行評(píng)價(jià)。各科研成果均能夠由科研人員上傳至協(xié)同辦公平臺(tái)，研究農(nóng)業(yè)科技成果績(jī)效指標(biāo)與評(píng)價(jià)方法有利于在平臺(tái)端直接實(shí)現(xiàn)績(jī)效評(píng)價(jià)，為科研單位的研究方向與資源配置提供指導(dǎo)。

表 1 農(nóng)業(yè)科研項(xiàng)目成果評(píng)價(jià)指標(biāo)體系Table 1 Evaluation index system of agricultural scientific research projects

2 熵-TOPSIS 評(píng)價(jià)模型

評(píng)價(jià)體系構(gòu)建后，必須在綜合評(píng)價(jià)結(jié)果中確定各層次指標(biāo)的位置，即確定指標(biāo)權(quán)重，以反映不同指標(biāo)對(duì)綜合評(píng)價(jià)的影響。通過(guò)對(duì)指標(biāo)權(quán)重法的比較分析，熵權(quán)法具有定量分析與定性分析相結(jié)合、群體決策等優(yōu)點(diǎn)，因此筆者采用熵權(quán)法確定農(nóng)業(yè)科研成果指標(biāo)評(píng)價(jià)體系的權(quán)重［16］。

利用上述方法分別確定評(píng)價(jià)指標(biāo)的權(quán)重后，下一步筆者使用TOPSIS 方法對(duì)科研績(jī)效進(jìn)行綜合評(píng)價(jià)。TOPSIS 是1 種通過(guò)與理想解的相似性來(lái)評(píng)價(jià)目標(biāo)性能的方法。與其它方法相比，TOPSIS 方法計(jì)算原理簡(jiǎn)單，結(jié)果直觀可靠。對(duì)研究對(duì)象的數(shù)據(jù)不存在特殊的限制，且易于理解應(yīng)用［17-19］。傳統(tǒng)TOPSIS 方法解決指標(biāo)評(píng)價(jià)的步驟是：

（1）決策矩陣確定：

在決策矩陣X 中，第i 行表示樣本Ai（i=1,2,…, n），第j 列表示指標(biāo)Qj。

（2）通過(guò)上述熵權(quán)法確定各指標(biāo)權(quán)重：

（3）決策矩陣標(biāo)準(zhǔn)化：

通過(guò)該步驟消除不同指標(biāo)量綱的影響。

（4）性能矩陣計(jì)算：

其中，vij= x'ij·wj。

（5）PIS 和NIS 確定

通過(guò)在評(píng)價(jià)樣本中的最佳或最差準(zhǔn)則值組合，可獲得正理想解（PIS）和負(fù)理想解（NIS）。正理想解表示為：

負(fù)理想解表示為：

在這2 個(gè)公式中，B 表示正向指標(biāo)（最大化），C 表示負(fù)向指標(biāo)（最小化）。本文構(gòu)建指標(biāo)屬于正向指標(biāo)。

（6）每個(gè)樣本PIS 和NIS 之間的距離度：

使用歐幾里德距離計(jì)算d+和d-公式：

（7）每個(gè)樣本的性能指數(shù)計(jì)算：

其中Pi值表示理想解的絕對(duì)貼近度。最后按性能指標(biāo)值的降序排列各個(gè)樣本。

3 熵-TOPSIS 距離評(píng)價(jià)模型

傳統(tǒng)TOPSIS 中通常采用單一維度的歐幾里得距離判斷參數(shù)與正理想解和負(fù)理想解間的相似度。但通過(guò)文獻(xiàn)可知，歐幾里得距離較簡(jiǎn)單，難以表達(dá)不同指標(biāo)維度間的細(xì)微差異［20］，對(duì)于線性相關(guān)指標(biāo)，歐幾里得距離會(huì)失效。對(duì)于這個(gè)問(wèn)題，本文同時(shí)引入余弦距離和曼哈頓距離。余弦距離用2 個(gè)向量的形式比較2 個(gè)樣本，如果其梯度同時(shí)在相同的增加方向上，它們之間相似。而兩者梯度不一致時(shí)，發(fā)生差異［9］。歐氏度量方便衡量數(shù)值上差異的絕對(duì)值，而余弦相似度能夠衡量的是維度間相對(duì)層面的差異。當(dāng)兩樣本評(píng)分趨勢(shì)一致，分值差距較大時(shí)余弦相似度傾向得到更優(yōu)解。因此，本文引入余弦距離改進(jìn)TOPSIS 模型：

每個(gè)樣本Ai和正理想解（負(fù)理想解）之間的余弦距離可如下所示：

每個(gè)樣本Ai和正理想解（負(fù)理想解）之間的曼哈頓距離為：

因此，每個(gè)樣本Ai與正理想解和負(fù)理想解之間的距離可以由下式定義：

得到每個(gè)樣本的正負(fù)理想解距離后，利用式（8）得到每個(gè)樣本的績(jī)效指數(shù)，依次進(jìn)行對(duì)比排序，評(píng)價(jià)各項(xiàng)目執(zhí)行優(yōu)劣。

然而，TOPSIS 模型的距離改進(jìn)只能以距離視角反映樣本的貼近度，不適應(yīng)評(píng)價(jià)指標(biāo)體系的復(fù)雜多樣性?；疑P(guān)聯(lián)分析是一種測(cè)量序列間曲線形狀相似程度的方法，能直觀地呈現(xiàn)序列間的非線性關(guān)系，反映系統(tǒng)因素之間存在的相似程度。在多維空間中，序列曲線越相似，灰色關(guān)聯(lián)度越大。為了進(jìn)一步提高結(jié)果的準(zhǔn)確性，引入灰色關(guān)聯(lián)分析，將灰色關(guān)聯(lián)法和改進(jìn)距離相結(jié)合，使多屬性指標(biāo)決策方法更加精細(xì)［21］。

其中ρ是分辨率因子，ρ=0.5。則第i 種方案與正理想解的灰色關(guān)聯(lián)度為：

然后對(duì)改進(jìn)距離與灰色關(guān)聯(lián)度進(jìn)行無(wú)量綱處理：

最后通過(guò)式（8）計(jì)算得到樣本與理想解的絕對(duì)貼近度。

4 應(yīng)用案例分析

圖1 所示為某農(nóng)業(yè)科研院所設(shè)計(jì)的協(xié)同辦公平臺(tái)中科管系統(tǒng)綜合管理界面，圖2 所示為科研項(xiàng)目詳細(xì)信息界面。由圖可看到協(xié)同辦公平臺(tái)方便收集科研項(xiàng)目關(guān)聯(lián)成果與立項(xiàng)信息等內(nèi)容。本文設(shè)計(jì)的農(nóng)業(yè)科研項(xiàng)目評(píng)價(jià)指標(biāo)均能從平臺(tái)內(nèi)獲得。

圖 1 協(xié)同辦公平臺(tái)科管系統(tǒng)綜合管理界面Fig. 1 Integrated management interface of science and management system in collaborative office platform

圖 2 科研項(xiàng)目關(guān)聯(lián)成果信息Fig.2 Research project details

項(xiàng)目1 ～項(xiàng)目19 由P1 ～P18 表示，如表2 所示。

表 2 收集數(shù)據(jù)原值Table 2 Original value of collected data

本文收集了18 個(gè)科研創(chuàng)新項(xiàng)目結(jié)題后的指標(biāo)參數(shù)以驗(yàn)證本文方法的有效性。項(xiàng)目類型包括國(guó)家自然基金、國(guó)家重點(diǎn)研發(fā)計(jì)劃與省級(jí)科技支撐項(xiàng)目等，研究?jī)?nèi)容包括農(nóng)業(yè)信息化、農(nóng)業(yè)大數(shù)據(jù)挖掘、智能農(nóng)業(yè)管理設(shè)備研究等，所有項(xiàng)目都已完成驗(yàn)收。表3 為各指標(biāo)間的Pearson 相關(guān)系數(shù)，由文獻(xiàn)［22］可知，當(dāng)相關(guān)系數(shù)大于0.4 時(shí)，指標(biāo)之間即為中等相關(guān)。由表可知，C2 和C4 等多個(gè)指標(biāo)間相關(guān)系數(shù)較大，科研績(jī)效評(píng)價(jià)指標(biāo)間存在較強(qiáng)的相關(guān)性。而由前文知?dú)W式距離計(jì)算不能很好處理指標(biāo)間的相關(guān)性，需要改進(jìn)TOPSIS 評(píng)價(jià)模型，從而得到科學(xué)評(píng)價(jià)結(jié)果。

表 3 各項(xiàng)指標(biāo)之間的相關(guān)系數(shù)Table 3 Pearson correlation coefficient of each index

為了消除不同指標(biāo)量綱對(duì)權(quán)重確認(rèn)的影響，對(duì)上述采集指標(biāo)標(biāo)準(zhǔn)化，得到了無(wú)量綱決策矩陣，處理后所有指標(biāo)數(shù)值處于同一量級(jí)?；跉w一化決策矩陣，通過(guò)第2 節(jié)所述熵權(quán)法得到各級(jí)評(píng)價(jià)指標(biāo)的對(duì)應(yīng)權(quán)重如圖3 所示。

圖 3 各級(jí)指標(biāo)分配權(quán)重Fig 3 Distribution weight of indicators at all levels

熵權(quán)法所得權(quán)重中，一級(jí)指標(biāo)項(xiàng)目投入權(quán)重小于項(xiàng)目產(chǎn)出權(quán)重，二級(jí)指標(biāo)中項(xiàng)目認(rèn)證成果產(chǎn)出指標(biāo)權(quán)重較理論成果產(chǎn)出權(quán)重更大，在一定程度上符合理論認(rèn)知，三級(jí)評(píng)價(jià)指標(biāo)中C2 ＞C1,C3=C4,C7＞C15 ＞C11 ＞C13 ＞C10 ＞C14 ＞C16 ＞C5＞C12 ＞C6 ＞C9 ＞C8，C19 ＞C17 ＞C18，項(xiàng)目合作機(jī)構(gòu)投入大于項(xiàng)目人員投入，項(xiàng)目級(jí)別和項(xiàng)目資金投入相等，同時(shí)EI 論文大于核心論文權(quán)重，整體上熵權(quán)法能夠捕捉評(píng)價(jià)指標(biāo)中差異較大的項(xiàng)，且賦權(quán)結(jié)構(gòu)大致符合主觀上專家績(jī)效評(píng)價(jià)中的賦權(quán)趨勢(shì)。而基于上述各級(jí)指標(biāo)可得每個(gè)三級(jí)指標(biāo)的總權(quán)重如表4 所示。

表 4 評(píng)價(jià)指標(biāo)總權(quán)重Table 4 The total weight coefficient of index

由上述指標(biāo)總權(quán)重可以看到，在這批采集數(shù)據(jù)中，項(xiàng)目立項(xiàng)經(jīng)費(fèi)、產(chǎn)出新品種數(shù)量和產(chǎn)出新設(shè)備數(shù)量具有較大的變異程度。將上述得到的權(quán)重與采集數(shù)據(jù)一起利用改進(jìn)TOPSIS 模型進(jìn)行評(píng)價(jià)后，綜合得分如表5 所示。其中，項(xiàng)目9 排名第一，項(xiàng)目18 排名第18。S+'i，S-'i和p'i 分別表示傳統(tǒng)TOPSIS模型中的正理想解距離、負(fù)理想解距離和貼近度。我們將改進(jìn)熵-TOPSIS 模型與灰色關(guān)聯(lián)-TOPSIS模型、傳統(tǒng)TOPSIS 評(píng)價(jià)模型評(píng)價(jià)結(jié)果進(jìn)行了如表5所示對(duì)比。三者的評(píng)價(jià)結(jié)果趨勢(shì)基本一致，原數(shù)據(jù)中，項(xiàng)目9 的項(xiàng)目投入、理論成果和轉(zhuǎn)化成果產(chǎn)出均較其他項(xiàng)目更好，項(xiàng)目9 優(yōu)勢(shì)明顯，其他指標(biāo)排名相差小于5，證明了本試驗(yàn)算法的有效性。對(duì)于3個(gè)評(píng)價(jià)模型，傳統(tǒng)TOPSIS 模型排名第一的是項(xiàng)目14，由原始數(shù)據(jù)可直觀看到項(xiàng)目14 的理論成果產(chǎn)出、項(xiàng)目級(jí)別優(yōu)于項(xiàng)目9，但項(xiàng)目認(rèn)證成果產(chǎn)出則是項(xiàng)目9 較優(yōu)，基于項(xiàng)目認(rèn)證成果則明顯前者排名靠前更合理，因此引入灰色關(guān)聯(lián)模型后評(píng)價(jià)模型更關(guān)注于項(xiàng)目整體，而非差異較大的某一項(xiàng)。對(duì)于改進(jìn)熵-TOPSIS 模型和灰色關(guān)聯(lián)-TOPSIS 模型，以項(xiàng)目16 和7 為例，從原始數(shù)據(jù)上雖然難以判斷哪個(gè)項(xiàng)目具有明顯優(yōu)勢(shì)，但項(xiàng)目7 在項(xiàng)目資金投入方面較項(xiàng)目16 具有較大差異，因此該模型較灰色關(guān)聯(lián)模型融合了細(xì)節(jié)判斷能力。

將3 種模型的評(píng)價(jià)結(jié)果方差和變異系數(shù)進(jìn)行對(duì)比可知，本文算法具有最大的方差和變異系數(shù)，說(shuō)明本文算法的分辨率高，離散程度強(qiáng)。傳統(tǒng)歐式距離TOPSIS 模型在水平測(cè)度上的結(jié)果差異較大，有利于結(jié)果判斷，而灰色關(guān)聯(lián)-TOPSIS 模型雖然在水平空間上差值小，但評(píng)價(jià)結(jié)果更綜合，本文算法對(duì)其他2 種算法進(jìn)行了優(yōu)勢(shì)融合，既在水平上區(qū)分度較大，而且對(duì)指標(biāo)差異進(jìn)行了細(xì)節(jié)分析，具有更好的準(zhǔn)確性。

表 5 科研創(chuàng)新成果績(jī)效評(píng)價(jià)結(jié)果Table 5 Performance evaluation results of scientific research and innovation achievements

5 結(jié)論

目前的農(nóng)科科研項(xiàng)目評(píng)價(jià)指標(biāo)體系中通常將成果推廣效果、理論指標(biāo)和項(xiàng)目投入等綜合討論，但農(nóng)業(yè)領(lǐng)域中科研成果推廣的年限長(zhǎng)，不同成果面向目標(biāo)人群不同，與科研項(xiàng)目結(jié)題成果一起進(jìn)行統(tǒng)計(jì)評(píng)價(jià)并不科學(xué)，因此研究了1 種面向農(nóng)業(yè)領(lǐng)域的三級(jí)農(nóng)業(yè)科研創(chuàng)新成果績(jī)效評(píng)價(jià)指標(biāo)體系，該體系由協(xié)同辦公平臺(tái)錄入數(shù)據(jù)即可確認(rèn)，避免了主觀因素介入。

在該指標(biāo)體系的基礎(chǔ)上，研究了目前TOPSIS模型中通過(guò)距離計(jì)算理想解貼進(jìn)度的缺陷，引入余弦距離、曼哈頓距離、灰色關(guān)聯(lián)進(jìn)行評(píng)價(jià)模型改進(jìn)，改進(jìn)TOPSIS 模型對(duì)樣本案例計(jì)算其與理想解的貼近度，得到了各項(xiàng)目樣本的總體性能指標(biāo)，具有一定的可信度。能夠?yàn)楹罄m(xù)在協(xié)同辦公平臺(tái)實(shí)現(xiàn)績(jī)效評(píng)價(jià)功能集成提供參考，具有實(shí)際應(yīng)用價(jià)值。但科研績(jī)效評(píng)價(jià)本身是不同指標(biāo)相互權(quán)衡的結(jié)果，針對(duì)不同類型項(xiàng)目權(quán)重需要進(jìn)一步矯正，這也是我們下一步的研究方向。