曲凱++陳西選++徐珞++劉明哲

摘 要：效能評估技術(shù)在軍事領(lǐng)域應(yīng)用的擴大和深入，對效能評估系統(tǒng)的通用性提出了需求。為此本文通過分析總結(jié)典型效能評估方法，并結(jié)合效能評估特點，設(shè)計了一套可定制的效能評估系統(tǒng)。該系統(tǒng)基于MDA方法，運用了模型組合技術(shù)和插件式開發(fā)技術(shù)，可滿足不同應(yīng)用系統(tǒng)的效能評估需求，極大的提高了效能評估系統(tǒng)的開發(fā)效率。最后將該系統(tǒng)進行了代碼實現(xiàn)，并通過具體應(yīng)用證明了系統(tǒng)具有通用性、靈活性和擴展性。

關(guān)鍵詞：效能評估；可定制；通用

中圖分類號：TP311 文獻標(biāo)識碼：A

1 引言（Introduction）

隨著效能評估技術(shù)在軍事領(lǐng)域應(yīng)用的擴大和深入，評估對象涉及武器裝備系統(tǒng)、指揮控制系統(tǒng)、網(wǎng)絡(luò)通信系統(tǒng)等[1，2]，為滿足各評估對象在不同應(yīng)用場景下的評估需求，往往需要根據(jù)具體需求專門定制開發(fā)效能評估系統(tǒng)，這種專用的效能評估系統(tǒng)忽略了可重用性和擴展性，當(dāng)指標(biāo)體系或者評估方法等評估需求改變時，都需要投入人力物力重新修改評估系統(tǒng)。這種方式存在大量的重復(fù)開發(fā)工作，開發(fā)效率低下，造成資源的浪費。為此，設(shè)計一套依據(jù)評估需求可定制的效能評估系統(tǒng)逐漸引起了人們的重視。

針對上述問題，本文采用MDA（Model Driven Architecture）[3，4]方法，將評估對象、評估指標(biāo)體系、評估方法等抽象為模型，通過模型組合技術(shù)實現(xiàn)效能評估系統(tǒng)的按需定制；同時通過對效能評估方法的研究，提出了基于算子有向無環(huán)圖的評估計算模型構(gòu)建方法，實現(xiàn)了評估計算模型快速高效構(gòu)建；另外提出了基于插件的開發(fā)方法，實現(xiàn)代碼的重用和系統(tǒng)的擴展。最后依據(jù)系統(tǒng)架構(gòu)對效能評估系統(tǒng)進行編碼實現(xiàn)，并通過具體應(yīng)用案例對系統(tǒng)進行了驗證。

2 系統(tǒng)分析（System analysis）

2.1 效能評估系統(tǒng)組成

效能是系統(tǒng)工程領(lǐng)域，尤其是軍事領(lǐng)域的重要概念。目前，不同組織提出了不同的效能定義，我國軍用標(biāo)準(zhǔn)《可靠性維修性保障性術(shù)語》對效能的定義為：系統(tǒng)在規(guī)定的條件下和規(guī)定的時間內(nèi)，滿足一組特定任務(wù)要求的程度，它與可用性、任務(wù)成功性和固有能力有關(guān)[5]。從效能的定義可知，效能是系統(tǒng)使命任務(wù)完成程度的一種綜合度量，是一個較為抽象的度量指標(biāo)，無法直接對其進行評估，需要將待評估的效能指標(biāo)進行逐層分解，直到分解為一系列可直接進行測度的性能指標(biāo)，然后依據(jù)效能與性能指標(biāo)的依賴關(guān)系，通過對各性能指標(biāo)進行綜合計算，從而對效能做出評估[6]，其根本目的是為待評估系統(tǒng)的優(yōu)化提供重要依據(jù)。

根據(jù)效能評估的定義可知，效能評估系統(tǒng)應(yīng)支持評估人員依據(jù)評估對象，構(gòu)建效能評估指標(biāo)體系，并可獲得給定評估條件下的各性能指標(biāo)的值，然后根據(jù)評估方法，對各性能指標(biāo)進行綜合計算，最后對結(jié)果綜合分析和展示。由此看來，可定制效能評估系統(tǒng)的構(gòu)成要素可分為幾類：

（1）評估對象：指被評估系統(tǒng)，從功能單一的裝備到結(jié)構(gòu)復(fù)雜的軍事信息系統(tǒng)，都可以作為評估對象。

（2）評估條件：規(guī)定的條件，通常指評估對象系統(tǒng)運行的場景。

（3）評估指標(biāo)體系：層次化的評估對象度量指標(biāo)，一般上層為效能指標(biāo)，最底層為可直接度量的性能指標(biāo)。指標(biāo)的選取應(yīng)遵循獨立性、代表性與可操作性等原則[7]。

（4）評估數(shù)據(jù)：可分為主觀和客觀兩類數(shù)據(jù)，其中主觀數(shù)據(jù)通常指由參與評估的人員直接給定的數(shù)據(jù)，如某些指標(biāo)評價數(shù)據(jù)、指標(biāo)權(quán)重數(shù)據(jù)等，該類數(shù)據(jù)主觀性較強；而客觀數(shù)據(jù)通常由評估對象直接產(chǎn)生或者采集得到，能夠較為客觀的反應(yīng)評估對象系統(tǒng)的性能指標(biāo)。

（5）評估計算模型：評估方法的具體實現(xiàn)，是評估系統(tǒng)核心組成部分，其選擇合理與否直接關(guān)系到評估結(jié)果的正確性[7]。

（6）評估分析模型：主要指效能評估結(jié)果影響因素分析方法，如指標(biāo)相關(guān)性分析、敏感性分析等方法。

可定制效能評估系統(tǒng)應(yīng)適用于不同的評估對象，允許評估人員根據(jù)評估需求，可視化構(gòu)建評估指標(biāo)體系，依據(jù)選擇的評估方法，動態(tài)創(chuàng)建評估計算模型，完成評估數(shù)據(jù)提取、標(biāo)準(zhǔn)化處理、指標(biāo)綜合計算的效能評估過程，而不是局限于特定的評估對象與評估方法；系統(tǒng)還應(yīng)提供常用的分析方法并支持對分析方法的擴展，來滿足評估需求。

2.2 效能評估流程

效能評估流程并不是固定不變的，它和具體的評估方法密切相關(guān)，以評估方法作為理論支持[8]。常用的評估方法包括層次分析法（AHP）、ADC分析法、模糊綜合評估法及系統(tǒng)效能分析法等，不同的評估方法，計算流程、輸入?yún)?shù)數(shù)據(jù)、適用解決問題領(lǐng)域的不同等諸多因素，決定了效能評估流程也不盡相同，但從大的方面來說，評估流程仍具有相似性，基本效能評估流程如圖1所示。

（1）評估建模

在評估建模階段，評估人員根據(jù)評估需求，針對評估對象建立評估指標(biāo)體系；明確評估數(shù)據(jù)，建立評估數(shù)據(jù)與評估指標(biāo)的映射關(guān)系模型；最后圍繞選擇的評估方法，同時結(jié)合評估指標(biāo)體系與數(shù)據(jù)模型構(gòu)建評估計算模型。

（2）評估計算

將評估指標(biāo)體系、數(shù)據(jù)源模型與評估計算模型等按照評估流程組裝為具體的評估任務(wù)，通過執(zhí)行評估任務(wù)，最終得到效能評估結(jié)果。

（3）評估分析

評估人員根據(jù)評估目標(biāo)，選擇具體分析方法，通過配置分析參數(shù)，挖掘?qū)υu估對象系統(tǒng)效能影響的關(guān)鍵因素，生成評估報告反饋給評估對象系統(tǒng)的設(shè)計開發(fā)人員。

綜合上述分析，為實現(xiàn)效能評估系統(tǒng)的可定制、通用性，面臨三個主要問題需要解決，一是獨立于具體的評估任務(wù)，面對由不同評估對象、評估指標(biāo)體系、評估數(shù)據(jù)、評估計算模型所創(chuàng)建出的不同評估任務(wù)，系統(tǒng)具有可執(zhí)行能力；二是評估計算模型的構(gòu)建要獨立于具體的評估方法，系統(tǒng)應(yīng)具有對評估計算模型動態(tài)創(chuàng)建、修改的能力；三是系統(tǒng)應(yīng)具有擴展能力，如隨著評估技術(shù)的發(fā)展，當(dāng)出現(xiàn)新的分析方法時，系統(tǒng)可實現(xiàn)對新分析方法的擴展。

3 系統(tǒng)總體架構(gòu)（System total architecture）

基于對效能評估系統(tǒng)的分析，可定制效能評估系統(tǒng)框架采用分層架構(gòu)。使用可視化建模技術(shù)和模型組合技術(shù)可滿足效能評估的建模需求；使用基于算子組裝的評估計算模型構(gòu)建技術(shù)可滿足對不同評估方法的建模需求；基于插件技術(shù)的開發(fā)可滿足效能評估系統(tǒng)的擴展性需求。

效能評估系統(tǒng)框架為數(shù)據(jù)層、支撐層、功能層和視圖四層架構(gòu)，具體如圖2所示。

（1）數(shù)據(jù)層

數(shù)據(jù)層包括算子庫、模型庫和結(jié)果數(shù)據(jù)庫，其中算子庫存儲了已開發(fā)好的各類算子；模型庫中存儲著評估指標(biāo)體系、評估計算模型等各類模型；結(jié)果數(shù)據(jù)庫存儲著評估計算結(jié)果和評估分析結(jié)果等數(shù)據(jù)。

（2）支撐層

支撐層包含了各功能開發(fā)所需要的基礎(chǔ)插件，包括日志插件、數(shù)據(jù)庫訪問插件、算子訪問插件和圖表繪制插件等，概括說對下提供數(shù)據(jù)層的資源訪問接口，并為上層的各功能插件提供基礎(chǔ)服務(wù)。

（3）功能層

功能層涵蓋了效能評估系統(tǒng)中各主要功能實現(xiàn)，是系統(tǒng)架構(gòu)中體現(xiàn)核心價值部分，主要包括模型檢驗、計算引擎、算子組合、錯誤定位、評估分析、報告生成、算子管理等插件。

（4）視圖層

視圖層為用戶提供交互界面，主要包括建模界面、結(jié)果展示界面等。如建模界面支持用戶在可視化環(huán)境下，以所見即所得的方式進行模型構(gòu)建；結(jié)果展示界面支持以圖或表的形式為用戶提供更直觀的展現(xiàn)形式。

采用這種分層式架構(gòu)，并遵循面向接口設(shè)計的思想，則層與層之間的依賴是向下的，即各層只依賴于其下層的接口實現(xiàn)，在不改變接口定義的前提下，這種層次架構(gòu)是一個可抽取、可替換的“抽屜”式架構(gòu)。開發(fā)人員可以只關(guān)注某一層，在定義好插件接口的前提下，很容易實現(xiàn)用新的插件來代替原有插件[9]，可以提高系統(tǒng)的開發(fā)效率和代碼的復(fù)用性，并在后期易于維護，降低維護成本。

4 系統(tǒng)的實現(xiàn)與應(yīng)用（Implementation and

application of system）

4.1 系統(tǒng)實現(xiàn)

基于前面的分析與設(shè)計，為驗證方案可行性初步實現(xiàn)了一個通用效能評估及分析系統(tǒng)。該系統(tǒng)框架基于C++語言實現(xiàn)，采用MVC框架架構(gòu)，其中用戶界面基于MFC實現(xiàn)，圖形展示基于MSChart控件二次開發(fā)，部分算子及分析模型采用Matlab語言實現(xiàn)，以DLL形式集成到系統(tǒng)中，數(shù)據(jù)庫采用MySQL。

工具的運行界面如圖3所示。

支持評估模型的可視化構(gòu)建，模型信息采用xml文件描述，以評估計算模型為例，在可視化建模界面中，通過拖拽算子、算子間采用有向線連接的方式實現(xiàn)計算流程，同時提供基于AHP、ADC等評估方法的快速構(gòu)建計算模型向?qū)Вo助用戶自動生成評估計算模型，支持構(gòu)建過程中對評估計算模型的實時校驗和錯誤定位功能，使用戶可及時發(fā)現(xiàn)并改正錯誤。

算子庫中實現(xiàn)了包括基礎(chǔ)類、控制類、數(shù)據(jù)預(yù)處理類和評估計算等類型的算子，基礎(chǔ)類算子負責(zé)數(shù)學(xué)運算，如加減乘除等，可支持單值和矩陣兩種數(shù)據(jù)形式；控制類算子負責(zé)控制計算流程，如開始、分支、結(jié)束等；數(shù)據(jù)預(yù)處理類算子負責(zé)完成評估數(shù)據(jù)的接入，實現(xiàn)了數(shù)據(jù)庫和文件兩種數(shù)據(jù)訪問接口，可滿足當(dāng)前大部分系統(tǒng)的要求；評估計算類算子包括權(quán)重計算、加權(quán)求和等和評估計算相關(guān)的算子。

4.2 系統(tǒng)應(yīng)用

通過在反導(dǎo)評估案例、通信網(wǎng)案例中的應(yīng)用，工具可滿足不同評估對象的評估需求，并具有如下特點：

（1）系統(tǒng)針對不同的評估對象，可建立相應(yīng)的評估指標(biāo)體系、評估計算模型，并提供多種分析手段，滿足其評估需求，使系統(tǒng)與具體的評估對象無關(guān)，體現(xiàn)了系統(tǒng)的可定制。

（2）可視化建模環(huán)境，無論是評估指標(biāo)體系構(gòu)建、數(shù)據(jù)源配置，還是評估計算模型構(gòu)建，都提供友好的界面，對用戶來說所見即所得。

（3）系統(tǒng)支持對算子庫及分析方法的擴展，用戶可基于算子開發(fā)規(guī)范實現(xiàn)滿足自己需求的專用算子，或者新的分析方法，并支持不同開發(fā)語言，體現(xiàn)了系統(tǒng)的可擴展。

（4）系統(tǒng)支持用戶通過拖拽算子的方式實現(xiàn)評估計算模型組合式建模，通過有向線的方式建立算子間數(shù)據(jù)輸入輸出關(guān)系；為提高建模效率，同時提供評估計算模型的半自動生成方法，體現(xiàn)了系統(tǒng)的易用性。

（5）系統(tǒng)支持圖、表等可視化展示形式，用戶可自定義展示方案，將計算或者分析結(jié)果數(shù)據(jù)按照定制的形式進行可視化展示，體現(xiàn)了系統(tǒng)的靈活性。

（6）提供評估分析報告的編輯、生成功能，支持保存為HTML、doc等不同的文件格式。

5 結(jié)論（Conclusion）

本文對不同效能評估系統(tǒng)總結(jié)分析后，提出了與評估對象無關(guān)、可滿足不同評估需求的效能評估系統(tǒng)的設(shè)計方案，并為驗證該設(shè)計的可行性進行了源碼實現(xiàn)。工具提供可視化建模環(huán)境，可靈活定制評估流程，并支持組合式建模便于用

戶快速定制符合自身評估需求的評估系統(tǒng)。最后通過在反導(dǎo)與通信網(wǎng)兩種不同評估對象的效能評估應(yīng)用中，證明工具具有通用性和擴展性，可滿足對通用效能評估系統(tǒng)的要求。當(dāng)然也存在著諸多不足之處，算子數(shù)量太少、分析方法不夠豐富、所支持的數(shù)據(jù)源類型僅限于數(shù)據(jù)庫等，這些都限制了評估系統(tǒng)的應(yīng)用范圍，隨著不斷改進與完善，相信該可定制的效能評估系統(tǒng)會更具有實用價值。

參考文獻（References）

[1] Gray，F(xiàn)rank B，William R.A Combat-Effectiveness Approach to Information Assurance[C].U.S.Air Force T and E Days 2010，2010：350-360.

[2] Research on Combat Effectiveness Evaluation of Radar EW System Based on Bayesian Network [J].Yu Jie Zheng.Advanced Materials Research，2011：204.

[3] Gray Booch，James Rumbaugh，Ivar Jacobson.The Unified Modeling Language User Guide[M].Addison Wesley，2005，MA.

[4] Anneke Kleppe，Jos Warmer，Wim Bast.MDA Explained：The Model Driven ArchitectureTM；Practice and Promise[M].Addison Wesley，April 21，2003，MA.

[5] 張杰，等.效能評估方法研究[M].北京：國防工業(yè)出版社，2009：

1-8.

[6] 夏曉凱.面向效能評估的系統(tǒng)體系結(jié)構(gòu)仿真與優(yōu)化技術(shù)研究[D].北京：北京航空航天大學(xué)，2015.

[7] 段成，吳克河.通用綜合評價支持系統(tǒng)的可配置評價模型研究[J].系統(tǒng)仿真學(xué)報，2012，24（3）：693-694.

[8] 張昶.武器裝備作戰(zhàn)效能通用分析評估框架的設(shè)計和實現(xiàn)[D].北京：北京郵電大學(xué)，2011.

[9] 雷霆，張宏軍，周志剛.通用演習(xí)評估系統(tǒng)分析與設(shè)計[J].計算機工程與應(yīng)用，2004，24：189-190.

作者簡介：

曲 凱（1984-），男，碩士，工程師.研究領(lǐng)域：軟件開發(fā).

陳西選（1982-），男，碩士，高級工程師.研究領(lǐng)域：系統(tǒng)集成，軟件開發(fā).

徐 珞（1976-），男，博士，研究員.研究領(lǐng)域：系統(tǒng)架構(gòu)，軟件開發(fā).

劉明哲（1987-），男，碩士，工程師.研究領(lǐng)域：系統(tǒng)集成，軟件開發(fā).