劉 同, 呂 彬
(中國國防科技信息中心,北京 100142)
?
美軍武器裝備采辦績效評估的特點及啟示
劉同,呂彬
(中國國防科技信息中心,北京 100142)
對武器裝備采辦績效進(jìn)行評估,有利于發(fā)現(xiàn)武器裝備采辦過程中存在的問題,優(yōu)化武器裝備采辦工作機(jī)制,提高武器裝備采辦成效,推進(jìn)武器裝備建設(shè)發(fā)展。以情報學(xué)理論為指導(dǎo),運用文獻(xiàn)調(diào)研和比較研究法,在闡述美軍采辦績效與原因,分析辦公室武器裝備采辦績效評估基本情況的基礎(chǔ)上,從評估定位的獨特性、評估數(shù)據(jù)的客觀性、評估指標(biāo)的層次性、評估方法的科學(xué)性和評估結(jié)果運用注重積累5個方面,分析其評估特點,并對我軍開展武器裝備采辦績效評估提出了相關(guān)建議。
武器裝備采辦;績效評估;采辦管理制度
績效指的是成績和效果,可以用來衡量個人、團(tuán)體或組織在一定時間內(nèi)的得失。在武器裝備采辦領(lǐng)域引入績效評估,可以了解影響武器裝備采辦各要素在采辦過程中產(chǎn)生的價值如何,從而有針對性的采取措施提高武器裝備采辦成效。為提高武器裝備采辦經(jīng)費的利用效率和武器裝備質(zhì)量水平,美軍很早就認(rèn)識到了對武器裝備采辦進(jìn)行績效評估的重要性,而且美軍武器裝備采辦績效評估已經(jīng)進(jìn)入實際應(yīng)用階段,比如美國國會政府問責(zé)辦公室(Government Accountability Office,GAO)、國會研究服務(wù)部、總統(tǒng)行政管理與預(yù)算局等機(jī)構(gòu)都會定期發(fā)布報告,對國防部的武器裝備采辦績效進(jìn)行評估[1]。國內(nèi)武器裝備績效評估還處于理論研究階段,存在許多將企業(yè)和政府績效評估中的成熟方法借鑒到武器裝備采辦績效評估中的研究[2],如平衡記分卡[3]、標(biāo)桿管理法等。本文希望通過對美軍武器裝備采辦績效評估的研究,從另外一個角度為我軍開展武器裝備采辦績效評估提供借鑒。
美國國會通過的《2009年武器裝備采辦改革法》,要求國防部采辦部門加強(qiáng)對武器裝備采辦的內(nèi)部評估。按照法案要求,2009年12月,國防部內(nèi)部成立了采辦績效與原因分析辦公室(Performance Assessments and Root Cause Analysis,PARCA),每年發(fā)布評估報告,負(fù)責(zé)對武器裝備采辦績效進(jìn)行內(nèi)部評估。
PARCA由國防部負(fù)責(zé)采辦、技術(shù)與后勤的副部長辦公室領(lǐng)導(dǎo),包含負(fù)責(zé)績效評估的辦公室、負(fù)責(zé)收益值管理的辦公室、原因分析辦公室及采辦政策分析中心4個部分。PARCA組織架構(gòu)中設(shè)有1名主任和4名副主任,其中1名副主任負(fù)責(zé)辦公室的整體運營,其他3名分別負(fù)責(zé)績效評估、收益值管理和采辦政策,原因分析辦公室由1名高級顧問負(fù)責(zé)。PARCA僅有全職工作人員三十多名,大多數(shù)工作人員來自于政府資助的研發(fā)中心的研究人員和系統(tǒng)工程人員,而在開展工作的過程中,辦公室還會吸收法律、財會、審計以及計算機(jī)等行業(yè)的人員參與,雇傭一定比例的合同制員工。PARCA的職能包括:評估重大國防采辦項目的整體情況,深入分析其中存在的問題,提出改進(jìn)的建議和措施。截至目前,PARCA已經(jīng)發(fā)布了2份年度評估報告,對重大國防采辦項目以及其中的開發(fā)和生產(chǎn)合同進(jìn)行了總體評估,指出了武器裝備采辦中存在的誤區(qū),并針對武器裝備采辦政策提出了改進(jìn)建議[4]。
PARCA能夠完成任務(wù)、實現(xiàn)其價值與其所處的體系是密不可分的,PARCA的成果也是其所在體系共同努力的結(jié)果。從縱向維度來看,國會和國防部為PARCA提供法律、法規(guī)、政策等方面的支持和保障;決策部門在應(yīng)用PARCA成果的同時,為其提供反饋和改進(jìn)意見。橫向維度來看,PARCA與GAO[5]、蘭德公司等其他開展武器裝備采辦績效評估工作的部門和機(jī)構(gòu)進(jìn)行合作,共享數(shù)據(jù)、技術(shù)和人才。
2.1評估定位獨特,并與其他機(jī)構(gòu)評估定位互補(bǔ)
美國國防部對采辦系統(tǒng)的定義中包含采辦機(jī)構(gòu)、辦公室、科研單位、承包商、執(zhí)行官員及工作人員。PARCA關(guān)注整個采辦系統(tǒng)和重大國防采辦項目,著眼于總體績效,不對單一項目進(jìn)行評估,項目和合同相關(guān)數(shù)據(jù)只用來作為實施評估的基礎(chǔ),利用這些數(shù)據(jù)呈現(xiàn)出的統(tǒng)計特性,對武器裝備采辦中具體某一對象進(jìn)行評估。這一點與政府問責(zé)辦公室、總統(tǒng)行政管理與預(yù)算局、成本評估與計劃鑒定局以及蘭德公司等開展的武器裝備采辦績效評估工作存在一定的差異——GAO和蘭德公司側(cè)重于單個項目的績效評估[6],總統(tǒng)行政管理與預(yù)算局側(cè)重于從預(yù)算角度進(jìn)行評估,成本評估與計劃鑒定局主要從規(guī)劃計劃和成本控制的角度開展評估工作。可以看出PARCA有其獨特的評估定位,并且與其他評估機(jī)構(gòu)的評估定位存在一定互補(bǔ)性。
2.2完全采用定量化評估數(shù)據(jù),保證評估工作客觀性
績效評估的一般思路是,在明確評估對象的基礎(chǔ)上,運用相關(guān)績效評估理論方法,構(gòu)建績效評估指標(biāo)體系,然后通過相關(guān)數(shù)據(jù)和信息的搜集對具體指標(biāo)進(jìn)行評估,從而得出評估結(jié)果[7]。PARCA采用的是數(shù)據(jù)決定指標(biāo)的績效評估理念,并不在評估指標(biāo)確立之后去搜集數(shù)據(jù)和信息,而是獲取到數(shù)據(jù)和信息后,再根據(jù)這些數(shù)據(jù)和信息開展后續(xù)評估工作。為了體現(xiàn)評估的科學(xué)性和合理性,PARCA每個指標(biāo)的評估都由具有統(tǒng)計顯著性的樣本數(shù)據(jù)支持,而不具有或者樣本數(shù)據(jù)達(dá)不到統(tǒng)計顯著性的,則不去評估相關(guān)指標(biāo)的績效,這些數(shù)據(jù)可以分為項目級數(shù)據(jù)、合同級數(shù)據(jù)和舉措級數(shù)據(jù)[8]。
項目級數(shù)據(jù)主要為重要國防采辦項目的相關(guān)數(shù)據(jù),這些數(shù)據(jù)多數(shù)來自于GAO相關(guān)報告、總統(tǒng)預(yù)算中國防預(yù)算分配情況、作戰(zhàn)試驗與鑒定局局長報告等。具體包含項目納恩-麥克科迪突破數(shù)據(jù)、重要國防采辦項目費用和進(jìn)度增長數(shù)據(jù)、重要自動化信息系統(tǒng)費用和進(jìn)度增長數(shù)據(jù)、作戰(zhàn)和保障費用數(shù)據(jù)及項目費用增長數(shù)據(jù)。
合同級數(shù)據(jù)主要包含合同費用數(shù)據(jù)和合同進(jìn)度數(shù)據(jù),這些數(shù)據(jù)又可按開發(fā)環(huán)節(jié)和生產(chǎn)環(huán)節(jié)進(jìn)一步細(xì)分。之所以僅選取這2個環(huán)節(jié),一方面是因為目前獲取到的樣本數(shù)量有限,另一方面是因為整個采辦周期中,對這2個環(huán)節(jié)進(jìn)行評估分析效果最好。合同級的數(shù)據(jù)主要來自于重大國防采辦項目的合同之中。
舉措級數(shù)據(jù)主要用來對國防部一些舉措的績效進(jìn)行評估,比如利用競爭性物品和服務(wù)以及小企業(yè)參與程度相關(guān)數(shù)據(jù)來對競爭舉措的績效進(jìn)行評估;利用開發(fā)環(huán)節(jié)和生產(chǎn)環(huán)節(jié)費用和價格增長數(shù)據(jù)來對費用估算的績效進(jìn)行評估;利用合同利潤和生產(chǎn)利潤對激勵機(jī)制的績效進(jìn)行評估。
2.3評估指標(biāo)層次化和結(jié)構(gòu)化特征明顯,使得評估工作脈絡(luò)清晰
2014年P(guān)ARCA評估報告中涉及的21個評估指標(biāo)之間體系特性并不明顯,同時受限于數(shù)據(jù),這些指標(biāo)的全面性也存在一定的欠缺。
根據(jù)這些指標(biāo)所反映采辦中主體的不同,可以將它們分為機(jī)構(gòu)指標(biāo)、執(zhí)行官指標(biāo)、承包商指標(biāo)以及商品指標(biāo)。進(jìn)一步細(xì)分,又可以分為進(jìn)度類指標(biāo)和費用類指標(biāo),而且進(jìn)度、費用還可以用開發(fā)環(huán)節(jié)和生產(chǎn)環(huán)節(jié)進(jìn)一步細(xì)分。層次方面可以分為國防部層次的指標(biāo)和軍兵種部層次的指標(biāo),進(jìn)一步細(xì)分為項目層次指標(biāo)和合同層次指標(biāo)[9]。
指標(biāo)中很大一部分呈現(xiàn)出矩陣化的特性。這種特性最為明顯之處是對合同進(jìn)行描述的指標(biāo),描述合同的指標(biāo)可以近似構(gòu)成一個三維矩陣,矩陣的第一個維度是開發(fā)、生產(chǎn),這一維度限定評估指標(biāo)處于哪一個采辦周期環(huán)節(jié),稱為評估環(huán)節(jié)維度;第二個維度是費用、進(jìn)度,這一維度是評估數(shù)據(jù)的主體,指費用數(shù)據(jù)和進(jìn)度數(shù)據(jù),稱為評估數(shù)據(jù)維度;第三個維度是軍兵種、執(zhí)行官員、承包商、商品種類,可以稱為評估對象維度。從環(huán)節(jié)維度、數(shù)據(jù)維度和對象維度分別選擇一個量,合起來就可以構(gòu)成一個描述合同的評估指標(biāo)。理論上按照這樣的思路應(yīng)該存在16個描述合同的指標(biāo),但是由于數(shù)據(jù)的限制,報告中只呈現(xiàn)出12個指標(biāo),缺失的4個指標(biāo)是合同開發(fā)費用與商品種類指標(biāo)、合同生產(chǎn)費用與商品種類指標(biāo)、合同開發(fā)進(jìn)度與執(zhí)行官員指標(biāo),以及合同生產(chǎn)進(jìn)度與執(zhí)行官員指標(biāo)。
2.4評估方法以社會統(tǒng)計學(xué)方法為基礎(chǔ),保證評估工作科學(xué)性
PARCA評估工作的流程包含4個部分:明確評估工作組織分工、開展評估調(diào)研分析、起草評估報告草案及提交最終評估報告。其中關(guān)鍵環(huán)節(jié)在于具體評估分析工作開展的部分,該部分獲取到的評估數(shù)據(jù)決定評估的具體指標(biāo),而評估指標(biāo)又與評估方法選取之間有著密不可分的關(guān)系,由于評估指標(biāo)都為定量化指標(biāo),因此績效評估的方法都是數(shù)據(jù)處理的方法。PARCA所采用的評估方法為社會統(tǒng)計學(xué)方法,主要為統(tǒng)計推斷中的假設(shè)檢驗法,其中包含參數(shù)檢驗法和非參數(shù)檢驗法。又根據(jù)分析中變量的個數(shù)可以將方法分為單變量分析法和多變量分析法,在對采辦階段、合同類型、費用或價格增長等單變量因素的指標(biāo)績效進(jìn)行評估時,采用了單變量分析方法,運用中位數(shù)和四分位數(shù)等概念對樣本數(shù)據(jù)的統(tǒng)計分布進(jìn)行了分析,通過這種方法反映出大量樣本數(shù)據(jù)中包含的信息;在面對多變量的分析時,運用多元線性回歸分析法。同時由于樣本數(shù)據(jù)的特殊性,統(tǒng)計方法運用的過程中,需要運用到生化殘差檢驗、杠桿值和庫克距離等方法對異常值進(jìn)行消除。
2.5評估結(jié)果應(yīng)用服務(wù)決策與知識積累并重,評估工作價值得以充分體現(xiàn)
通過分析得出有關(guān)武器裝備采辦績效的評估結(jié)果,這些結(jié)論的應(yīng)用可以分為直接應(yīng)用和間接應(yīng)用2個類別。評估結(jié)果的直接應(yīng)用是指評估結(jié)論的決策支持和監(jiān)督把關(guān)作用,PARCA績效評估工作的成果直接服務(wù)于負(fù)責(zé)采辦、技術(shù)與后勤的副部長辦公室,對于采辦政策的出臺和采辦改革的推進(jìn)具有重要的支撐作用;裝備采辦績效評估的目的并非只進(jìn)行好壞的評判,而是通過績效評估,查找項目實施過程中存在的問題,起到一定監(jiān)督作用。評估結(jié)果的間接應(yīng)用是通過知識積累實現(xiàn)的,PARCA的收益值管理核心庫是這一應(yīng)用的基礎(chǔ),其中包含有采辦收益值管理數(shù)據(jù)、重大采辦項目合同績效報告以及項目和合同相關(guān)數(shù)據(jù),該數(shù)據(jù)庫還納入了國防采辦信息檢索系統(tǒng),可以為國會、總統(tǒng)行政管理與預(yù)算局及國防部各部門提供信息服務(wù),實現(xiàn)了不同部門之間信息的互聯(lián)互通。
PARCA成果以漸進(jìn)式更新的評估報告方式呈現(xiàn)。從已經(jīng)發(fā)布的2份評估報告可以發(fā)現(xiàn),評估的內(nèi)容以及用到的方法都基本相同,第二年只是在第一年的基礎(chǔ)上做了一些數(shù)據(jù)方面的更新和補(bǔ)充,并且通過進(jìn)一步的分析得出了新的結(jié)論,通過數(shù)據(jù)和論據(jù)的不斷補(bǔ)充豐富,以及數(shù)據(jù)庫中經(jīng)驗和知識的不斷積累,可以有效提升評估工作的全面性和充分性。
PARCA評估工作的特點和經(jīng)驗一定程度上反映了裝備建設(shè)的客觀規(guī)律,對我軍有重要的借鑒意義。
3.1樹立科學(xué)、客觀的績效評估理念
武器裝備采辦績效評估工作的開展勢必對武器裝備建設(shè)產(chǎn)生重大的影響,而評估工作的客觀性和科學(xué)性直接決定這一影響能否產(chǎn)生推動作用,因此客觀、科學(xué)的績效評估理念應(yīng)當(dāng)貫穿績效評估工作始終。武器裝備采辦績效評估工作客觀、科學(xué),首先需要保證評估工作的獨立性,其次在對評估對象準(zhǔn)確、清晰認(rèn)識的基礎(chǔ)上,嚴(yán)格把關(guān)評估數(shù)據(jù)選取,不能為求評估全面性而不顧數(shù)據(jù)可靠性;應(yīng)慎重選用評估方法,評估方法應(yīng)以定量為基礎(chǔ),結(jié)合定性方法得出綜合評估結(jié)論。
3.2設(shè)置職責(zé)明確的績效評估機(jī)構(gòu)
對武器裝備采辦的績效進(jìn)行評估,是一項龐大且復(fù)雜的工作,短時間內(nèi)通過單一機(jī)構(gòu)或者組織,全面評估其績效是不切實際的,對于單一組織或機(jī)構(gòu)來說,武器裝備采辦績效評估工作應(yīng)該以問題為導(dǎo)向,從局部出發(fā),尋找一個恰當(dāng)?shù)慕嵌冗M(jìn)行切入。如PARCA與GAO、蘭德公司等武器裝備采辦績效評估之間的關(guān)系,不同職責(zé)、不同角度之間的評估存在互相幫助、相輔相成的關(guān)系。因此我軍開展武器裝備采辦績效評估,應(yīng)當(dāng)統(tǒng)籌規(guī)劃,設(shè)置不同職責(zé)的績效評估機(jī)構(gòu)并行發(fā)展。
3.3設(shè)立運行順暢的績效評估工作機(jī)制
武器裝備采辦績效評估在發(fā)揮決策支持作用的同時,更應(yīng)該注重監(jiān)督監(jiān)測和知識積累的作用。武器裝備采辦績效由采辦系統(tǒng)自身因素而決定,同時也受到外界因素的影響,這些因素處于不斷變化之中,導(dǎo)致不同時間段武器裝備采辦績效以及有效提升績效的措施建議也處于變化之中,因此從時間維度講,武器裝備采辦績效評估工作應(yīng)該是一項持續(xù)性、長久性的工作,需要不斷進(jìn)行數(shù)據(jù)和分析的更新、知識和經(jīng)驗的積累以及反饋改進(jìn)。理想情況下,實時跟進(jìn)績效評估數(shù)據(jù),實現(xiàn)績效評估工作隨評估數(shù)據(jù)變動連續(xù)化的評估,把握武器裝備采辦績效的命脈,為實現(xiàn)更優(yōu)化的決策服務(wù)。
3.4建設(shè)專業(yè)、素質(zhì)較強(qiáng)的績效評估人才隊伍
人才隊伍建設(shè)是武器裝備采辦績效評估工作的重要組成部分,要建設(shè)一支滿足武器裝備采辦績效評估需要的人才隊伍,首先需要注重人才隊伍的頂層規(guī)劃,在明確績效評估人才隊伍需求的基礎(chǔ)上,確定其規(guī)模、結(jié)構(gòu)和能力素質(zhì)的整體要求;其次是根據(jù)績效評估短期和長期規(guī)劃確定人才隊伍建設(shè)的戰(zhàn)略規(guī)劃,根據(jù)需求的迫切程度,采用引進(jìn)和培養(yǎng)的模式,充實績效評估隊伍的人才儲備;武器裝備采辦績效評估還應(yīng)當(dāng)根據(jù)其開展的具體工作,聘用臨時工作人員以及借助外部組織、機(jī)構(gòu)人才力量,建設(shè)機(jī)制靈活的績效評估人才隊伍。
3.5健全績效評估政策、法規(guī)體系
武器裝備采辦績效評估工作的開展和成果的落實都離不開法規(guī)和政策的支持,只有在具備成體系的政策和法規(guī)的基礎(chǔ)上,武器裝備采辦績效評估工作才能夠穩(wěn)定、長效地開展下去。武器裝備采辦績效評估相關(guān)法規(guī)、政策的建立需要注重頂層規(guī)劃,自上而下都應(yīng)該有相應(yīng)的法規(guī)、政策來保障績效評估工作的開展。
本文結(jié)合PARCA相關(guān)績效評估工作,對美軍國防部內(nèi)部的武器裝備績效評估進(jìn)行了研究,但是未與國防部外部武器裝備采辦績效評估工作進(jìn)行對比,未來的研究工作中,將以內(nèi)外結(jié)合的方式對美軍多維武器裝備采辦績效評估進(jìn)行研究,并提出切合我軍實際的武器裝備采辦績效評估方案。
References)
[1]張代平,謝冰峰,王磊,等.美國防部深入開展裝備采辦績效評估[M].中國國防科技信息中心.世界武器裝備與軍事技術(shù)年度發(fā)展報告.北京:國防工業(yè)出版社,2015:109-113.
[2]張蓉,張執(zhí)國.基于BSC裝備采辦績效評價體系的建立[J].國防科技,2007(10):54-58.
[3]尹鐵紅,謝文秀.基于BSC的武器裝備采購績效評價體系設(shè)計[J].裝備學(xué)院學(xué)報,2014,25(5):19-24.
[4]BLISS G R.Report to congress on performance assessments and root cause analyses[R].Washington,D.C.:Office of the Under Secretary of Defense for Acquisition,Technology and Logistics,2014:81-99.
[5]王磊,韓力.美國政府問責(zé)辦公室對裝備建設(shè)的評估監(jiān)督機(jī)制與主要作用[J].科技創(chuàng)新與品牌,2014(3):60-64.
[6]GAO.Defense acquisitions: assessments of selected major weapon programs [R].Washington,D.C.:Government Accountability Office,2013:7-8.
[7]張敏,劉沃野.裝備采購績效評價指標(biāo)體系設(shè)計[J].軍事經(jīng)濟(jì)研究,2007(9):36-37.
[8]DAVIS D,OHLANDT C,SHONTZ D A,et al.Performance of the defense acquisition system 2013 annual report[R].Washington,D.C.:Office of the Under Secretary of Defense for Acquisition,Technology and Logistics,2013:21-54.
[9]DAVIS D,OHLANDT C,SHONTZ D A,et al.Performance of the defense acquisition system 2014 annual report[R].Washington,D.C.:Office of the Under Secretary of Defense for Acquisition,Technology and Logistics,2014:11-80.
(編輯:李江濤)
Characteristics and Enlightenments on Performance Assessment of the U.S. Weapons and Equipments Acquisition
LIU Tong,LV Bin
(China Defense Science and Technology Information Center, Beijing 100142, China)
It is useful for assessments of weapons and equipments acquisition performance to find out the problems existing in the acquisition process, optimize its working mechanism, improve its efficiency and promote its development. Guided by the theories of intelligence science, by using the methods of literature research and comparative research, on the basis of acquisition performance of the US armed forces, the paper analyzes its evaluation characteristics from five aspects which include the uniqueness of assessment positioning, the objectivity of assessment data, the hierarchy of assessment index, the scientific nature of the assessment method and the accumulation in assessment result application, and brings out relevant suggestions on the performance assessment of PLA weapons and equipments acquisition.
weapons and equipments acquisition; performance assessments; acquisition management system
2015-08-24
劉同(1991—),男,碩士研究生,主要研究方向為武器裝備采辦管理。furge@foxmail.com
E92
2095-3828(2016)04-0039-04
A
10.3783/j.issn.2095-3828.2016.04.009