蔡卓函，穆歌，馮琦琦，王新宇，賈燁

（1.陸軍裝甲兵學(xué)院，北京 100072；2.66058部隊，天津 301700；3.軍事科學(xué)院系統(tǒng)工程研究院，北京 100072；4.32290部隊，山東 濟南 250002；5.北部戰(zhàn)區(qū)聯(lián)合參謀部，遼寧 沈陽 110001）

0 引言

武器裝備體系貢獻率是我國獨創(chuàng)[1]的概念，用于全面、科學(xué)地評估武器裝備在體系中發(fā)揮作用的情況，進而指導(dǎo)武器裝備成體系建設(shè)，有效提升裝備體系對抗能力。在評估武器裝備體系貢獻率（以下簡稱體系貢獻率）的過程當中，建立評估指標體系是非常關(guān)鍵的一環(huán)，指標體系選取是否合理，將直接決定評估結(jié)論是否科學(xué)可用。

國內(nèi)對體系貢獻率評估指標的研究成果較為豐富。文獻[2]提出了指標體系構(gòu)建的六點原則，并從體系功能適應(yīng)性、體系結(jié)構(gòu)優(yōu)化、作戰(zhàn)能力提升、體系技術(shù)進步四個視角構(gòu)建了多層次的評估指標體系。文獻[3]分析了作戰(zhàn)效果、作戰(zhàn)效率、作戰(zhàn)代價與體系作戰(zhàn)能力之間的定性關(guān)系，從增強作戰(zhàn)效果、增強作戰(zhàn)效率和降低作戰(zhàn)代價三個方面構(gòu)建了武器裝備作戰(zhàn)體系貢獻度評估指標體系。文獻[4]從功能完備、結(jié)構(gòu)合理、有效、先進、經(jīng)濟、適用6個視角構(gòu)建了具有通用性和可擴展性的多維度多層次指標體系框架。文獻[5]將能力效能、體系結(jié)構(gòu)、運行機制、型號譜系、經(jīng)濟成本、支撐技術(shù)六項貢獻類型指標和問題階段、評估技術(shù)相結(jié)合，構(gòu)建了三維體系貢獻率評估的總體研究框架。

從上述成果中我們發(fā)現(xiàn)：①目前體系貢獻率評估指標體系構(gòu)建主要依靠專家經(jīng)驗，從不同視角出發(fā)構(gòu)建的指標體系差異較大；②指標體系的層次結(jié)構(gòu)和指標間的關(guān)系較為復(fù)雜，結(jié)構(gòu)梳理不合理容易導(dǎo)致指標遺漏、指標重復(fù)、相關(guān)性過大、權(quán)重分散等問題；③綜合性指標較多，難以細化、量化。針對評估指標的上述特點，本文提出應(yīng)用元評估理論對體系貢獻率評估指標體系進行優(yōu)化。建立由評估到元評估，再由元評估到新的評估的迭代過程，使評估指標選取盡可能完善、準確、客觀。

1 基本理論

基元評估的概念最初是由美國評估理論專家Michael Scriven在1969年的教育產(chǎn)品報告中首次提出[6]，被廣泛應(yīng)用于教育領(lǐng)域[7]。此后，在政府績效評價[8]、服裝設(shè)計[9]、檔案安全[10]、軍事[11]等領(lǐng)域也有所應(yīng)用。

1.1 內(nèi)容與作用

“元”作為一個詞綴，最初來自希臘前綴“meta-”，取其對本質(zhì)探究之意。元評估“meta-evaluation”則是對評估本質(zhì)的探究。它是元科學(xué)的一個分支，是對原評估科學(xué)性的評估，即將已有的評估活動作為研究對象，對其評估結(jié)構(gòu)、評估過程、評估結(jié)論等方面進行反思式思考，以修正、改進評估活動的過程，具有調(diào)整原評估的功能。將元評估理論和方法應(yīng)用于體系貢獻率評估過程中的指標構(gòu)建環(huán)節(jié)，旨在從多個維度檢驗評估指標的科學(xué)性并進行反饋修正，以優(yōu)化完善指標體系。

1.2 設(shè)計思路與流程

傳統(tǒng)的元評估主要運用統(tǒng)計方法來估計產(chǎn)生的誤差對評估結(jié)果的影響，但元評估所指的偏差并不局限于統(tǒng)計性質(zhì)。評估主體的心理認知失當，對評估問題的理解差異，以及運用的評估模型、手段等因素都可能造成評估偏差[12]。所以在研究面向體系貢獻率評估指標的元評估方法時，應(yīng)著眼于評估指標生成過程中偏差來源的多個環(huán)節(jié)，從多視角進行審視，綜合包含統(tǒng)計在內(nèi)的多種方法，有針對性地做出評估。實施步驟主要有：①組建元評估專家團隊；②明確元評估目標及內(nèi)容；③設(shè)計元評估量表；④實施元評估；⑤處理分析元評估數(shù)據(jù)；⑥做出元評估結(jié)論。具體流程設(shè)計如圖1所示。

圖1 武器裝備體系貢獻率評估指標元評估流程圖

1.3 指標構(gòu)建與量表設(shè)計

元評估的標準是元評估主體進行評估活動的根本依據(jù)，決定著評估的實際效果。美國教育評估標準聯(lián)合委員會（Joint Committeeon Standards for Educational Evaluation，簡稱JCSEE）從1974年便開始研究元評估標準和量表，經(jīng)過不斷完善和修正，形成了四個基礎(chǔ)性標準分別是實用性、可行性、合理性和準確性[13]。以兩級指標體系為例，設(shè)計量表如表1所示。

表1 元評估量表設(shè)計

2 應(yīng)用

2.1 設(shè)置初始指標體系

本文從完善裝備體系建設(shè)和提升作戰(zhàn)輸出效果兩個視角出發(fā)，分別構(gòu)建了體系結(jié)構(gòu)貢獻率和體系作戰(zhàn)貢獻率，嘗試綜合描述體系貢獻率評估的各項指標。共擬定了2項一級指標、9項二級指標和28項三級指標，如圖2所示。并采用層次分析法結(jié)合專家打分法，根據(jù)專家經(jīng)驗確定一級、二級、三級指標的權(quán)重系數(shù)分別為：W1=[0.31 0.69]T，W2=[0.062 0.069]T，W3=[0.0372 0.0138]T。以上述指標體系作為初始指標體系，嘗試對其進行評估優(yōu)化。

圖2 武器裝備體系貢獻率評估指標體系

2.2 設(shè)計量表實施評估

共邀請本領(lǐng)域5位專家作為元評估專家實施評估，在對評估指標打分時采用十分制。將評價分為極差、很差、差、不滿意、最低標準線、基本合格、良好、好、很好、非常好十個等級，并依次對應(yīng)1-10分。專家對各層級評估指標設(shè)置情況的評分結(jié)果如表2所示。

表2 領(lǐng)域?qū)＜覍υu估指標的評分結(jié)果

2.3 處理分析評估數(shù)據(jù)

2.3.1 認識一致性元評估

由于體系貢獻率的概念及其內(nèi)涵尚無統(tǒng)一明晰的定義，且專家自身知識結(jié)構(gòu)不同，導(dǎo)致元評估主體存在較大認知差異。為避免個人認知偏差和思維定勢在元評估中出現(xiàn)過強的主觀傾向。首先應(yīng)對評估主體進行認識一致性評估。這里采用肯德爾和諧系數(shù)法。以一級指標“體系結(jié)構(gòu)貢獻率”為例，將專家對實用性、可行性、合理性、準確性的評分結(jié)果進行排序（最高分計為1，第二高分計為2……），因可能存在多個相同等級分數(shù)，需用校正公式計算肯德爾和諧系數(shù)：

式中W為肯德爾和諧系數(shù)，K為評估者數(shù)量，N為評估對象數(shù)量，Rj為第j個對象獲得全部評估者評估等級數(shù)之和，t為相同等級分數(shù)的個數(shù)。上述評估屬于小樣本（K≤20且N≤7），對照“肯德爾和諧系數(shù)臨界值表”，若計算值大于等于臨界值時，認為意見一致，否則認為意見不一致[14]。由此得到專家對于“體系結(jié)構(gòu)貢獻率”這一指標評價結(jié)果的一致性情況。為檢驗整個評估指標體系的認識一致性，需對全部39項指標進行驗證計算，如果出現(xiàn)不一致，可進一步探究專家意見分歧的原因，專家分歧較大的評估指標往往存在含義不清、描述不準確等問題，應(yīng)給予充分重視。

2.3.2 指標體系信度元評估

體系貢獻率評估指標眾多且指標體系的層次結(jié)構(gòu)和指標間的關(guān)系較為復(fù)雜，在元評估過程中，應(yīng)特別關(guān)注指標體系的內(nèi)部結(jié)構(gòu)情況，以構(gòu)建獨立性強、內(nèi)部結(jié)構(gòu)良好、指標關(guān)系一致的高信度指標體系為目的。可以采用克朗巴赫系數(shù)法進行評估。計算公式為：

式中a為克朗巴赫系數(shù)，K為評估指標數(shù)量（當評估指標體系包含若干個子指標層時，K為子指標層所含的指標總數(shù)），S2i為第i項指標得分的方差，S2t為評價總得分的方差。以評估體系貢獻率評估指標的實用性為例，K值為底層指標數(shù)量28，S2t為專家對全部28個指標實用性一項評分總分的方差，為專家對每單項指標實用性一項評分的方差，計算得到a同理可計算出面向可行性、合理性、準確性的a值。其值在0～1之間，越大則信度越高。一般認為，a需達到0.8以上，評估指標信度較好，否則指標需要做調(diào)整；當信度低于0.35時，必須予以拒絕。

2.3.3 指標體系效度元評估

評估指標效度是指評估指標可以在多大程度上描述評估對象的特征范疇并反映評估目的[15]。對體系貢獻率評估指標體系進行效度元評估，是為檢驗所設(shè)計的指標體系能否全面客觀反映新研裝備對原有裝備體系的貢獻情況。對評估指標效度評定常用內(nèi)容效度比（CVR）來評價，計算公式為：

式中ne為評估主體中認為某指標很好地表示了評估對象范疇的評估人數(shù)；N為評估主體的總?cè)藬?shù)。以三級指標中“適應(yīng)現(xiàn)有裝備體系”的合理性指標為例，假設(shè)認為滿足十分制等級中“好”（7分）及以上為主體滿意標準，10為專家中打分大于7的專家人數(shù)為6人，計算得到CVR=0.2。同理可得到各項指標及各層指標權(quán)重的CVR數(shù)值。CVR值在-1～1之間，越大則效度越高。當CVR<0時，表示認為該項指標適當?shù)膶＜胰藬?shù)不足半數(shù)，需要修正指標項。

2.4 反饋評估結(jié)果

武器裝備體系的組成要素與結(jié)構(gòu)關(guān)系本身就十分復(fù)雜，要盡可能選取完善、準確的貢獻率評估指標，需要借鑒元評估思路，構(gòu)建評估反饋回路。將元評估結(jié)果以報告形式反饋給評估指標設(shè)計人員，進行指標修正，并投入下一輪元評估。經(jīng)過這樣多次評估，反復(fù)迭代，不斷提高評估指標的可信性。

3 結(jié)語

在評估武器裝備體系貢獻率的過程中，評估指標選取是非常關(guān)鍵的一環(huán)，決定著評估結(jié)論是否科學(xué)可用。將元評估的思想引入體系貢獻率指標選取環(huán)節(jié)，可充分利用專家經(jīng)驗，檢驗指標體系的實用性、可行性、合理性和準確性，為指標設(shè)計人員提供有針對性的反饋意見，以優(yōu)化完善指標體系，同時為后續(xù)評估工作奠定良好基礎(chǔ)。