葛 佐，繆謹勵，李 貞

(1.中國地質調查局發(fā)展研究中心，北京 100037；2.國土資源部地質信息技術重點實驗室，北京 100037；3.中國農業(yè)大學，北京 100193)

國土資源部地質信息技術重點實驗室開放課題后評價研究

葛 佐1,2，繆謹勵1,2，李 貞2,3

(1.中國地質調查局發(fā)展研究中心，北京100037；2.國土資源部地質信息技術重點實驗室，北京100037；3.中國農業(yè)大學，北京100193)

本文在對國土資源部地質信息技術重點實驗室開放課題進行分類的基礎上，明確不同類型開放課題后評價重點，結合美國政府投資項目評價工具PART(ProgramAssessingRatingTool)設計了開放課題后評價指標體系，利用層次分析法確定了各指標權重，最后通過“地質調查軟件測試過程管理技術及支持平臺”課題對所構造的評價體系進行了實例分析，表明所構建的評價體系可以對實驗室開放課題進行評價。

后評價；開放課題；層次分析法；美國政府投資評價工具

項目后評價是指在項目已經完成并運行一段時間后，對已經完成的項目的目的、執(zhí)行過程、效益、作用和影響所進行的系統(tǒng)、客觀的分析[1-2]。相較于項目前評價，項目后評價除了對前評價中項目的研究基礎、立項的合理性與可行性等進行再評價外，還對項目的實際運行狀況進行深入細致的分析，更加側重于對項目實施的重要過程和結果進行分析，間接作用于未來項目投資，而且項目后評價直接依據項目完成材料，說服力更強。項目后評價處于項目周期的最后一個環(huán)節(jié)，也可以看成是一個新項目周期的開始，處于“承前啟后”的位置。開展項目后評價可以認真總結經驗、吸取教訓，為今后同類項目投資決策提供參考。我國項目后評價工作尚處于起步階段，對項目后評價缺乏系統(tǒng)性的研究，至今還未形成一套全國通用的項目后評價方法[1]，部分學者針對特定種類項目開展了后評價研究，多集中于評價指標體系構建、評價方法選擇、評價流程等[2-8],總體來說項目不同，指標體系不同，評價方法的適用性也差異較大，因此實際應用時應針對不同項目特點開展研究。

國土資源部地質信息技術重點實驗室以開展數字地質調查評價與地質空間數據共享技術的開發(fā)與應用為核心，力求為地質工作信息化和現代化提供技術支撐。開放課題是實驗室及時掌握前沿信息技術、理論、方法的主要方式。實驗室瞄準地質信息前沿技術、高新技術和關鍵技術，每年以命題和自由命題兩種形式廣泛吸引和凝聚國土資源部、中國地質調查局系統(tǒng)內部、社會科研力量，形成創(chuàng)新性、引領性和前瞻性研究成果，支撐引領我國地質信息技術的發(fā)展和應用，推動地質工作更好地服務經濟社會發(fā)展。然而科學評價開放課題成果，構建合理、完善的開放課題立項、實施、監(jiān)管等管理模式是保證開放課題研究符合實驗室發(fā)展方向，解決地質調查信息化問題的基礎。因此，亟需建立系統(tǒng)、科學的開放課題后評價指標體系，開展開放課題后評價研究，對開放課題立項決策的合理性、預期目標實現與否、成果及其影響進行評價和分析，進而發(fā)現課題管理中存在的問題，總結經驗教訓，為未來開放課題的立項決策、實施管理提出建議，從而達到提高投資收益的目的。

1 實驗室開放課題后評價的含義、目標和原則

1.1 開放課題后評價的含義

基于實驗室開放課題屬于預研類研究，故將開放課題后評價定義為：課題結題驗收后，對課題的目標、執(zhí)行過程、產生的效益和影響所進行的系統(tǒng)客觀的分析。課題后評價主要是對課題的立項預測、預期目標、成果水平等進行檢查，通過評價結果分析課題設計是否合理、立項過程中存在的問題、目標是否按期實現、研究成果是否滿足當前需求等，分析原因，總結經驗，為以后開放課題投資決策和管理提供參考和建議，從而提高開放課題投資決策水平。

1.2 開放課題后評價目標

通過開放課題后評價，確定課題達到的科學技術水平，發(fā)掘具有應用潛力和推廣價值、能解決當前地質調查領域存在的共性、關鍵問題的新技術、新方法或者新理論；其次，通過課題后評價，發(fā)現開放課題在管理過程中存在的問題，總結經驗教訓，改進開放課題管理方式，提高投資決策水平。

1.3 開放課題后評價原則

數據真實，評價客觀公正。數據真實是評價結果合理的基礎，堅持獨立、公平、公正的方式對開放課題進行后評價，以達到切實發(fā)掘新技術、新理論、新方法的目的，同時得到改善開放課題管理的有效反饋信息。

分類評價。實驗室充分給予開放課題研究自由，鼓勵大膽試驗和自主創(chuàng)新，提倡新思想、新方法和交叉學科的研究，所以盡管開放課題在管理方式上大相徑庭，但不同類型課題的研究成果相差較大，相應的評價指標也應該要兼顧不同課題間的共性和差異性。

定性和定量評價相結合。在課題后評價中能以定量指標評價的盡量使用定量評價，使用定性和定量評價相結合的方式可提高評價的準確度。

2 實驗室開放課題分類及后評價指標體系構建

2.1 實驗室開放課題分類及各類課題評價重點

對開放課題進行分類是對其進行管理和后評價的前提和基礎[9]。本文根據實驗室開放課題在成果類型方面的差異將實驗室開放課題分為基礎研究課題、軟科學課題、應用研究課題。

2.1.1 基礎研究課題

基礎研究是在認識客觀世界的過程中闡明、解釋自然現象、特征、規(guī)律及其內在聯(lián)系,在學術上有新見解,并對科學技術的發(fā)展或國民經濟建設具有指導意義的研究[10]。

實驗室基礎研究課題主要是為了探索地質信息技術的原理和規(guī)律，為解決地質信息技術問題提供理論指導，其成果主要為新理論、新方法、新思想等，多以成果的原始創(chuàng)新性水平為評價重點。

2.1.2 軟科學課題

軟科學課題是為管理現代化和決策科學化而開展的研究[10]。實驗室軟科學課題主要是為地質調查信息化開展戰(zhàn)略研究，追蹤世界地質信息化發(fā)展前沿動態(tài)，搜集地質調查信息化領域管理經驗等，成果多以政策建議、調查報告、研究報告的形式體現。軟科學課題多以有無創(chuàng)造性和對地質調查信息化發(fā)展決策的指導意義水平等為評價重點。

2.1.3 應用研究課題

應用研究課題是為解決地質調查信息化發(fā)展過程中的科學技術問題，以發(fā)掘適用于地質調查的具有創(chuàng)新性、先進性、成熟性和實用性的新技術為出發(fā)點，成果多為新技術、新產品、新方法等，其評價多以知識產權、專利、技術應用及其轉化、技術應用的潛在效益水平等為重點。

2.2 開放課題后評價指標設計

根據開放課題后評價的目標、原則以及各類型開放課題后評價重點，同時借鑒美國政府投資項目評價工具PART(Program Assessing Rating Tool)[11-12]，結合專家意見，從研究基礎、課題管理、課題成果及其影響三個方面設置評價指標，構建開放課題后評價指標體系。由于開放課題在立項評審、過程監(jiān)管、結題驗收等管理環(huán)節(jié)的相似性和成果評價重點的差異性，故本文在研究基礎、課題管理兩方面對不同類型開放課題設置相同的評價指標，而在課題成果及其影響方面針對不同類型課題設置不同的評價指標。研究基礎與項目前評價即項目立項時大致相同，課題管理和課題成果則按照實際實施過程及成果進行評價。后評價指標體系見表1。

2.3 開放課題后評價指標權重與計分方法

2.3.1 層次分析法確定指標權重

采用層次分析法確定各指標權重，并利用方根法計算判斷矩陣的最大特征值及其對應的特征向量，具體權重確定方法見相關參考文獻[2,9]。開放課題后評價指標單排序結果及總體一致性檢驗結果見表2。

表1 開放課題后評價指標體系

表2 開放課題后評價指標權重表

注：總體一致性檢驗：CI=0.0536，RI=0.8744，CR=0.0613。

2.3.2 開放課題后評價計分方法

基于本文研究目的以及力求評價時計算簡單，可操作性強，對每個指標采取百分制，然后根據各指標權重選用普通加權法計算總分值，其計算公式見式(1)。

式中：F為課題總得分；Xij為專家對第i個準則層中第j項指標的評分值；wij為第i個準則層中第j項指標的權重；ai為第i個準則層指標的權重。

對于可以定量計算的成果數量而言，由于成果類型不同，采取一套軟件和一篇論文分別相當于一份研究報告進行簡單換算，從而得出各個課題的萬元成果數量，萬元成果數量分值的確定方法見式(2)。

式中：yij為第i類課題，第j個課題的萬元成果數量；yimax為第i類課題中萬元成果數量的最大值。

3 開放課題后評價的實例分析

3.1 課題概況

選取由北京航空航天大學計算機學院軟件工程研究所承擔的“地質調查軟件測試過程管理技術及支持平臺”開放課題對所設計的評價指標體系進行簡單試用與驗證。該課題目前已完成結題驗收，屬于應用研究課題。

3.2 課題指標

1) 課題以“研究建立適用于地質調查軟件測試的測試過程管理平臺”為目標，為實驗室軟件測試的需求、計劃、設計、過程管理及追蹤和監(jiān)控提供支持，目標清晰，解決了實驗室研發(fā)的眾多軟件的性能測試問題。

2) 與本課題直接相關的研究項目包括總裝預研基金和預研項目、科工委預研項目、“863”項目及國防型號項目等7個項目，在國內外學術刊物上發(fā)表了相關論文十余篇。

3) 課題負責人及課題組主要成員在自然科學科學基金項目、“863”項目、國防預研項目等的資助下，開展過相關研究，其成果在電子政務、銀行系統(tǒng)、石油勘探系統(tǒng)等大型軟件系統(tǒng)以及航空航天等國防領域得到應用。

4) 總體工作部署與分年度工作安排細化到月份，任務量合理，目標明確。

5) 經費預算基本合理，能夠體現研究目標。

6) 預算執(zhí)行符合規(guī)定，未出現違規(guī)違紀現象。

7) 課題設計了質量保證與安全措施，依托北京航空航天大學，有全套的國家制度和學校制度控制和保障科研項目的質量。

8) 提交成果包括“地質調查信息系統(tǒng)測試過程管理平臺”一套，“地質調查信息系統(tǒng)測試過程管理關鍵技術研究報告”一份，“地質調查信息系統(tǒng)測試環(huán)境詳細設計”一份。

9) 成果創(chuàng)新性。設計了適合地質調查信息系統(tǒng)特點的測試過程管理平臺，技術的創(chuàng)新與集成水平較高。

10) 成果的應用價值。滿足當前地質調查信息系統(tǒng)測試的要求，能夠解決實驗室對相關研究成果的測試與評價問題。

11) 成果效益。為科學評價地質調查信息系統(tǒng)提供依據，減少了盲目投資，具有一定的經濟效益。

3.3 評價結果

通過對該課題進行解析，該評價體系基本上可以體現從課題立項到課題驗收過程中的成果，在深入解析各指標實際情況的基礎上，通過咨詢專家意見給出本課題各指標實際得分及綜合成績，見表3。

表3 地質調查軟件測試過程管理技術及支持平臺課題實證分析結果

“地質調查軟件測試過程管理技術及支持平臺”課題設計出能夠滿足實驗室需求的軟件測試平臺，具有一定的技術創(chuàng)新與集成水平，滿足地質調查信息系統(tǒng)測試需求，具有較高的應用價值。課題總得分91.8分，比較優(yōu)秀，與實驗室在課題結題驗收時對其成果評定結果相符合。從課題各項得分情況可以看出，該課題研究團隊具有深厚的研究基礎和課題管理經驗，這點與其豐富的軟件測試與管理工作經驗也是相一致的，由此可見，開放課題在立項時對于研究團隊的工作經歷不可忽視。課題在管理方面，未給出詳盡的措施控制實施中遇到的挑戰(zhàn)，僅以學校的科研保障平臺為依托，應當有本團隊的工作計劃及管理制度，以保障科研成果水平。該課題得分最低項為“萬元成果數量”，或許是由于時間短任務重，相對于同類項目，成果數量并不突出，后期對于此類項目可適當延長課題研究時間，以充分發(fā)掘課題創(chuàng)新能力。

4 結 語

本文在系統(tǒng)介紹實驗室開放課題后評價的含義、目標與評價原則的基礎上，明確了不同類型開放課題后評價重點，然后參考美國政府投資項目評價工具PART設計了開放課題后評價指標體系，并運用層次分析法確定了各指標權重，最后以“地質調查軟件測試過程管理技術及支持平臺”課題為例對所構造的評價體系進行了試用與驗證，結果發(fā)現所構造的評價體系操作方便，結構合理，能夠真實反映課題研究水平以及課題管理過程中所存在的問題，為課題管理提供建議。

然而，該評價體系集成創(chuàng)新性水平不足，如果能夠采取多種方法進行評價并不斷修正，其評價結果會更加客觀公正、公平合理。未來需對不同的評價方法進行比較分析，以不斷完善開放課題后評價體系。

[1] 王萍.浙江省水利項目后評價指標體系和方法研究[D].杭州:浙江大學,2006.

[2] 林浩偉.國家自然科學基金項目后評價研究[D].合肥：合肥工業(yè)大學,2008.

[3] 陳剛.投資項目后評價研究[D].重慶:重慶大學,2004.

[4] 孟建英.工程建設投資項目后評價理論方法與應用研究[D].天津:天津大學,2004.

[5] 徐帆.商業(yè)房地產項目后評價研究[D].重慶:重慶大學,2005.

[6] 劉鉆石.我國農業(yè)科技示范園區(qū)項目后評價指標體系和后評價方法研究[D].杭州:浙江大學,2004.

[7] 張國輝.分布式光伏發(fā)電項目后評價研究[D].保定:華北電力大學,2015.

[8] 王穎.項目后評價理論與案例分析[D].昆明:昆明理工大學,2014.

[9] 肖利.科技項目評估的必要前提[J].科學學研究，2004(3)：290-293.

[10] 劉艷艷.科技計劃項目后評價體系構建研究[D].呼和浩特：內蒙古工業(yè)大學，2013.

[11] 申嫦娥，曾紹武.政府投資項目評價方法研究——以科技項目為例[J].軟科學，2009(9):38-42.

[12] 晁毓欣.美國聯(lián)邦政府項目評級工具(PART):結構、運行與特征[J].中國行政管理,2010(5):33-37.

Afterevaluationofopenprojectsfromthekeylaboratoryofgeologicalinformationandtechnology

GE Zuo1,2,MIAO Jinli1,2,LI Zhen2,3

(1.Development and Research Center,China Geological Survey,Beijing 100037,China;2.Key Laboratory of Geological Information Technology of Ministry of Land and Resources,Beijing 100037,China;3.China Agriculture University,Beijing 100193,China)

On the basis of the classification of the open projects in the geological information technology key laboratory of the ministry of land resources,this paper analyzed the key assessment point of different open projects.Then the paper design a after evaluation index system for open projects drawing lessons from the United States Government Investment Project Assessment Tool PART (Program Assessing Rating Tool) and determine the weight of each index with the analytic hierarchy process method.At last,the “Geological Survey software testing process management and technical support platform” project is used for testing the after evaluation index system,indicating that the system can be used for the after evaluation of the open projects.

after evaluation;the open project;the analytic hierarchy process method;the United States Government Investment Project Assessment Tool

G322

A

1004-4051(2017)10-0053-05

2017-02-05責任編輯宋菲

“地質調查信息化適用技術應用研究”項目資助(編號：1212011220363)

葛佐，男，碩士研究生，助理研究員，主要從事地質信息技術方面的研究，E-mail：gezuo123@sohu.com。