董 曦，李 磊

（1.中國船舶重工集團(tuán)公司 第723研究所，江蘇 揚(yáng)州 225001；2.中國航空無線電電子研究所，上海 200233）

0 引言

軍用軟件研制過程中，軟件合格性測試是保證軟件質(zhì)量的重要手段。隨著軟件規(guī)模和復(fù)雜性的增大、軟件開發(fā)交付周期縮短，軟件合格性測試的工作強(qiáng)度也隨之增大。然而，軟件合格性測試是一項(xiàng)非常繁瑣并且復(fù)雜的工作。如何才能提高測試的效率和質(zhì)量已經(jīng)成為軟件測試工作人員最為關(guān)注的問題。軍用軟件研制能力成熟度模型，也稱GJB5000A，提供了一個(gè)軟件工程方法的框架。其中，GJB 5000A二級(jí)PPQA過程域?yàn)檐浖兄七^程中的質(zhì)量保證提出了指導(dǎo)。由此借鑒，將PPQA應(yīng)用于軟件合格性測試過程，同樣能夠極大地提高軟件合格性測試的過程和產(chǎn)品質(zhì)量。

1 GJB 5000A及PPQA過程域介紹

GJB 5000A的全稱是軍用軟件研制能力成熟度模型，它是一個(gè)為軟件組織在其開發(fā)和維護(hù)過程中獲得控制并向軟件工程和優(yōu)秀管理的文化進(jìn)化提供指南的模型。GJB 5000A的體系結(jié)構(gòu)由成熟度等級(jí)、關(guān)鍵過程域、過程能力和關(guān)鍵實(shí)踐等內(nèi)容構(gòu)成[1]。圖1描述了構(gòu)成GJB 5000A的5個(gè)成熟度等級(jí)。

在GJB 5000A二級(jí)的7個(gè)過程域中，PPQA過程域主要為了客觀的評(píng)價(jià)過程和產(chǎn)品，在評(píng)價(jià)過程中標(biāo)識(shí)不符合項(xiàng)并與相關(guān)人員溝通，最終確保不符合項(xiàng)得到解決[2]。PPQA過程域相應(yīng)的專用目標(biāo)和專用實(shí)踐如圖2所示。

圖2 PPQA的專用目標(biāo)和專用實(shí)踐

2 軟件合格性測試過程介紹

軟件合格性測試是在軟件配置項(xiàng)的真實(shí)或仿真運(yùn)行環(huán)境下，主要考核軟件功能之間能否協(xié)調(diào)正確地工作，是否滿足軟件研制任務(wù)書和軟件需求規(guī)格說明的要求。測試的主要類型有:功能測試、性能測試、邊界測試、接口測試、余量測試、安全性測試、恢復(fù)性測試、人機(jī)界面測試、強(qiáng)度測試、安裝性測試、代碼審查、文檔審查等。

軟件合格性測試有自己的生命周期模型，即軟件測試過程。一般情況，軟件合格性測試遵循著測試策劃、測試設(shè)計(jì)與實(shí)現(xiàn)、測試執(zhí)行、測試總結(jié)的過程，執(zhí)行項(xiàng)目的過程有一定的項(xiàng)目管理活動(dòng)作為支持，如:配置管理、質(zhì)量保證、測量分析等[3-5]。軟件合格性測試過程如圖3所示。

圖3 典型合格性測試過程

3 PPQA在合格性測試中的實(shí)施

PPQA作為項(xiàng)目管理的一種，是對(duì)軟件合格性測試的全生命周期進(jìn)行質(zhì)量保證活動(dòng)。在軟件合格性測試期間，QA人員依據(jù)檢查單對(duì)軟件合格性測試中產(chǎn)生的所有工作產(chǎn)品，如測試文檔、測試代碼等，以及測試過程、測試評(píng)審會(huì)等都要進(jìn)行檢查并建立記錄，對(duì)于不符合項(xiàng)要及時(shí)交流確保解決。

3.1 測試過程角色劃分

在軟件合格性測試的過程中，涉及的人員包括測試方領(lǐng)導(dǎo)、測試項(xiàng)目組長、測試人員、測試配置管理員、項(xiàng)目QA。在一些測評(píng)機(jī)構(gòu)中，往往由測評(píng)中心QA擔(dān)任所有測試項(xiàng)目QA，因此，本文人員角色劃分也以此為例，如圖4所示。

項(xiàng)目QA對(duì)測試項(xiàng)目中的每個(gè)參與者都有權(quán)進(jìn)行審查。并且，QA人員有獨(dú)立上報(bào)的途徑，即不符合項(xiàng)歸零過程中有意見不一致的情況下，可以與測試項(xiàng)目組長和測試方領(lǐng)導(dǎo)反映，由領(lǐng)導(dǎo)最終定奪。

圖4 軟件合格性測試角色劃分

3.2 測試策劃中的QA活動(dòng)

軟件合格性測試的初期活動(dòng)為測試策劃。測試策劃的主要工作為根據(jù)項(xiàng)目的實(shí)際情況，對(duì)被測軟件的被測試項(xiàng)和測試類型有所定義，對(duì)被測項(xiàng)目所需要的人力、物力資源、技術(shù)特點(diǎn)等提出基本的要求，再根據(jù)部門可以劃撥的資源進(jìn)行統(tǒng)籌的計(jì)劃制定。這一階段所產(chǎn)生的測試工作產(chǎn)品主要有《軟件合格性測試計(jì)劃》。

QA人員所做的主要工作是對(duì)《軟件合格性測試計(jì)劃》的檢查；主要關(guān)注點(diǎn)為是否符合國軍標(biāo)的要求，是否符合單位體系文件中的模板格式，是否給出了測試依據(jù)，測試是否充分，是否有對(duì)測試環(huán)境的要求，資源計(jì)劃是否合理等。各單位可以根據(jù)實(shí)際情況本地化自己的檢查單。

QA人員也要測試人員日常的測試過程做出審查，如周報(bào)、月報(bào)是否填寫，月例會(huì)有沒有召開。另外，對(duì)《軟件合格性測試計(jì)劃》評(píng)審會(huì)這項(xiàng)活動(dòng)要審查，對(duì)于此過程的檢查內(nèi)容包括評(píng)審會(huì)召開時(shí)間是否合理、參與人員是否到齊等。

3.3 測試設(shè)計(jì)與實(shí)現(xiàn)中的QA活動(dòng)

測試設(shè)計(jì)與實(shí)現(xiàn)的主要工作包括根據(jù)評(píng)審之后的《軟件合格性測試計(jì)劃》編寫《軟件合格性測試說明》，設(shè)計(jì)測試用例，編寫測試代碼，搭建測試環(huán)境等?！盾浖细裥詼y試說明》評(píng)審入庫標(biāo)志著測試設(shè)計(jì)與實(shí)現(xiàn)階段的結(jié)束。

QA人員審查的主要內(nèi)容有:對(duì)《軟件合格性測試說明》文檔內(nèi)容是否與計(jì)劃相符合，測試用例、測試代碼是否正確、合理、有效、并且覆蓋充分，測試環(huán)境是否達(dá)到測試要求等?，F(xiàn)階段的資源、進(jìn)度實(shí)施是否與計(jì)劃相一致等。

同樣，QA人員也要測試人員的個(gè)人周報(bào)、月報(bào)是否填寫，項(xiàng)目月例會(huì)有沒有召開等做出審查。對(duì)于《軟件合格性測試說明》的評(píng)審會(huì)這一過程活動(dòng)的審查，基本與前期評(píng)審會(huì)一致。

另外，測試人員可以增加Review環(huán)節(jié)，互相審查對(duì)方的測試用例和測試代碼，從技術(shù)角度排查出潛在問題，進(jìn)一步加強(qiáng)質(zhì)量控制。

3.4 測試執(zhí)行中的QA活動(dòng)

測試執(zhí)行階段是通過執(zhí)行所有測試用例，得出測試用例執(zhí)行結(jié)果，根據(jù)結(jié)果分析并且與開發(fā)人員溝通，提出問題報(bào)告反饋開發(fā)方，回歸測試直到所有問題歸零、所有測試用例執(zhí)行通過的一個(gè)循環(huán)過程。此時(shí)，QA人員應(yīng)該關(guān)注測試人員測試的規(guī)范性、測試用例執(zhí)行情況。檢查是否所有測試用例都按照測試步驟逐一執(zhí)行完畢，檢查測試人員是否如實(shí)記錄測試結(jié)果，檢查測試過程是否符合軟件測試計(jì)劃的要求，檢查合格性測試發(fā)現(xiàn)的BUG是否提交給責(zé)任人，檢查責(zé)任人是否對(duì)測試發(fā)現(xiàn)的BUG修改文檔或代碼，檢查軟件修改后是否進(jìn)行了回歸測試等。對(duì)不符合要求的測試行為，給出不符合項(xiàng)，直到不符合項(xiàng)解決。

3.5 測試總結(jié)中的QA活動(dòng)

測試總結(jié)過程是為了評(píng)估測試效果和被測軟件項(xiàng)，描述測試狀態(tài)。測試總結(jié)階段的產(chǎn)品為通過評(píng)審后的《軟件合格性測試報(bào)告》?！盾浖细裥詼y試報(bào)告》是一份重要的文檔，是根據(jù)實(shí)際測試全過程對(duì)被測軟件的客觀評(píng)價(jià)以及本次測試活動(dòng)的總結(jié)。

對(duì)于《軟件合格性測試報(bào)告》，QA人員可以關(guān)注其與國軍標(biāo)、體系文件的符合性，文檔上下文、術(shù)語、概念的一致性，與其他文檔的可追蹤性。還應(yīng)審查該報(bào)告是否描述了測試過程，是否給出了該軟件的總體評(píng)估，是否給出了測試中發(fā)現(xiàn)的所有遺留的缺陷、限制或約束，是否描述了測試環(huán)境與操作環(huán)境的差異，是否對(duì)被測試軟件的設(shè)計(jì)、操作或測試提出了改進(jìn)建議，測試日志是否給出了測試執(zhí)行的日期、時(shí)間、地點(diǎn)、人員、結(jié)果記錄等。對(duì)于測試報(bào)告的評(píng)審，更應(yīng)加強(qiáng)對(duì)參與人員、測試結(jié)論等方面的關(guān)注。

4 實(shí)施要點(diǎn)

4.1 保證客觀性

客觀性是PPQA過程域?qū)嵤┲械囊c(diǎn)之一。

1）QA人員的安排上面盡量保證其獨(dú)立性。在條件允許的情況下，QA人員可以是在所有測試項(xiàng)目之外的獨(dú)立組織。如果單位或部門人力資源緊張，QA人員也可是其他測試項(xiàng)目組同行。

2）QA人員使用的主要工具為檢查單，檢查單可以由項(xiàng)目組長和QA人員參考單位體系文件要求結(jié)合項(xiàng)目特點(diǎn)進(jìn)行裁剪。QA人員在實(shí)施質(zhì)量保證的過程中，必須嚴(yán)格按照對(duì)照模板中的檢查項(xiàng)，逐一排查不符合項(xiàng)。

4.2 深入交流

PPQA活動(dòng)貫穿在整個(gè)軟件合格性測試項(xiàng)目生命周期中，QA人員與測試項(xiàng)目組成員的交流、溝通必不可少。項(xiàng)目之初，制定項(xiàng)目各個(gè)檢查單的時(shí)候，就需要QA人員與測試項(xiàng)目組長共同商討得出。在發(fā)現(xiàn)不符合項(xiàng)的時(shí)候，QA人員更加需要與測試人員、測試組長進(jìn)行交流，確保不符合項(xiàng)得以解決。在不符合項(xiàng)得不到解決的時(shí)候，QA人員還要有與測試方領(lǐng)導(dǎo)獨(dú)立交流的渠道。

4.3 加強(qiáng)培訓(xùn)

PPQA活動(dòng)對(duì)于QA人員的要求較高。

1）QA人員必須對(duì)涉及軟件合格性測試項(xiàng)目的所有國軍標(biāo)的理解。如:GJB 438B，GJB/Z 141，GJB 2786A，GJB 5000A，GJB 5236，GJB 439等。另外，每個(gè)被測單位、每個(gè)測評(píng)部門、每個(gè)測試項(xiàng)目都有屬于自己的本地化要求，這就要求QA人員能夠結(jié)合項(xiàng)目自身特點(diǎn)對(duì)檢查單做出合理改動(dòng)。

2）PPQA運(yùn)用到軟件合格性測試之初，必然會(huì)存在許多難度與挑戰(zhàn)，對(duì)QA人員有著多方面的要求，往往需要一些綜合或?qū)ｍ?xiàng)的培訓(xùn)工作。

5 總結(jié)

本文簡單介紹了GJB 5000A模型、PPQA過程域和軟件合格性測試的基本知識(shí)，將 GJB 5000A二級(jí)PPQA過程域應(yīng)用在軟件合格性測試過程中，對(duì)具體實(shí)施方法和實(shí)施要點(diǎn)進(jìn)行了闡述。該應(yīng)用在實(shí)際軟件合格性測試項(xiàng)目中，可以起到積極和重要的作用。

[1]GJB 5000A-2008, 軍用軟件研制能力成熟度模型[S]. 2008.

[2]石柱. 軍用軟件能力成熟度模型可重復(fù)級(jí)實(shí)施指南[M]. 北京:中國標(biāo)準(zhǔn)出版社, 2006.

[3]柳純錄. 信息系統(tǒng)項(xiàng)目管理師教程[M]. 北京:清華大學(xué)出版社, 2012.

[4]董威. 基于 CMM 的軟件測試技術(shù)及其應(yīng)用[D].上海:華東師范大學(xué), 2005.

[5]朱艷. 基于 CMM 的軟件測試管理支持系統(tǒng)研究[D]. 大連:大連海事大學(xué), 2006.