劉夢飛

摘要：對軟件測試用例實施同行評審不僅保證了軟件測試用例的質(zhì)量，也在一定程度上保證了整個軟件測試過程的質(zhì)量水平。然而面對成百上千的測試用例，如何能夠快速有效的完成同行評審是目前工作中面臨的一個實際問題。本文基于GB-T 2828.2提出了一套針對軟件測試用例同行評審的流程，通過將計數(shù)抽樣理論應(yīng)用于軟件測試用例同行評審中，降低評審工作量，提高評審效率。

關(guān)鍵詞：測試用例；軟件測試；同行評審；計數(shù)抽樣理論

中圖分類號：TP311 文獻標(biāo)識碼：A 文章編號：1009-3044（2015）22-0138-02

軟件測試是軟件生命周期中的重要階段，測試的效果直接影響到軟件產(chǎn)品的質(zhì)量[1]。軟件測試過程中會產(chǎn)生一系列測試文檔，例如測試策劃階段產(chǎn)生的測試需求規(guī)格說明、測試計劃文檔，測試設(shè)計階段產(chǎn)生的測試說明文檔，測試執(zhí)行階段產(chǎn)生的測試記錄、測試問題報告、測試報告等文檔。其中，工作量最大、也最為重要的工作就是設(shè)計測試用例、編寫測試說明文檔。而對測試過程的質(zhì)量控制通常是通過同行評審的方式實現(xiàn)，同行專家會對測試項、測試用例進行審查。在“檢測和校準(zhǔn)實驗室能力認(rèn)可準(zhǔn)則在軟件檢測領(lǐng)域的應(yīng)用說明（CNAS-CL45）”中要求：由熟悉軟件檢測過程以及軟件測試的標(biāo)準(zhǔn)、規(guī)范、規(guī)程，軟件質(zhì)量評價和軟件測試質(zhì)量評價的人員，負責(zé)對軟件測試人員測試工作實施質(zhì)量監(jiān)督，審核軟件測試過程和形成的軟件測試工作產(chǎn)品是否符合相應(yīng)的標(biāo)準(zhǔn)、規(guī)范[2]。

然而，對于某些功能較多、性能精度等要求較高的軟件，測試用例的數(shù)量可能有成百上千條，實際評審過程中對所有測試用例進行全數(shù)檢驗是不現(xiàn)實的，也是沒有必要的。通常，針對測試用例的同行評審在執(zhí)行過程中對于每種測試類型隨機抽取至少20%的用例進行正確性、合理性的評價。但是很多文獻通過理論證明，采用百分比抽樣檢驗存在著“大批量嚴(yán)，小批量寬”的弊端[3]，且國際中已普遍淘汰百分比抽樣檢驗。

GB-T 2828.2是一個按極限質(zhì)量LQ檢索的計數(shù)驗收抽樣檢驗系統(tǒng)，適用于孤立批檢驗[4]。本文嘗試將計數(shù)抽樣理論應(yīng)用到軟件測試用例同行評審中，基于GB-T 2828.2和本組織實際情況提出了一套針對軟件測試用例同行評審的流程。通過采用GB-T 2828.2計數(shù)抽樣方法克服了傳統(tǒng)百分比抽樣法的不合理性，在降低抽樣的樣品數(shù)量的同時保證了通過評審的測試用例達到規(guī)定的“極限質(zhì)量”，提高了測試用例同行評審的工作效率。

1 計數(shù)抽樣的實施過程

GB-T 2828.2提供了兩種檢驗?zāi)Ｊ剑渲心Ｊ紸適用于“當(dāng)生產(chǎn)方和使用方都把批作為孤立檢驗”的情況，即要求硬件的檢驗批是按類型生產(chǎn)的一個批。本組織測試過程的實際情況是，對于某配置項軟件測試項目，一般只任命一名測試人員為負責(zé)人，測試過程涉及到的所有文檔均由該人員編寫，且各測試用例之間無連續(xù)性，因此基本上可將全部用例視為一個檢驗批，并可參考模式A的抽樣方案。

本文提出的計數(shù)抽樣程序如圖1所示。首先確定檢驗批量、再確定極限質(zhì)量比，接著抽取檢驗樣品并進行評審與判定。后文將對具體流程進行詳細介紹。

2 批量N的確定

在計數(shù)抽樣檢驗中定義“為判定質(zhì)量而一次提交檢驗的一批產(chǎn)品為交驗批，批中所含單位產(chǎn)品的數(shù)量稱為交驗批量N”。根據(jù)本組織的實際情況，由于某一軟件配置項的全部測試用例均由同一測試人員編寫完成，可基本視作生產(chǎn)條件相同、質(zhì)量穩(wěn)定，因此全部測試用例的數(shù)量即為批量N。

3 極限質(zhì)量LQ的確定

極限質(zhì)量是指對一個被認(rèn)為處于孤立狀態(tài)的批，為了抽樣檢驗限制在某一個低接收概率時的質(zhì)量水平，極限質(zhì)量的規(guī)定方法與AQL相似，只不過極限質(zhì)量是批不可容許的質(zhì)量水平。在數(shù)值上，極限質(zhì)量LQ表示為每百單位信息點鐘的不合格百分?jǐn)?shù)[5]，理論上最小值是0%，最大值是100%，數(shù)值越高表示使用方對質(zhì)量的要求越松。

對軟件測試用例進行計數(shù)抽樣檢驗，首先就需要定義一個合理的極限質(zhì)量。在本組織實際工作中，項目等級通常根據(jù)重要程度被分為A、B、C三類，其中A類項目是最為重要的項目。因此，本文建議在一般情況下，可以根據(jù)項目的重要等級定義極限質(zhì)量，對于重要等級較高的項目，可將其極限質(zhì)量LQ定義在一個較低的數(shù)值，從而保證該項目全部測試用例的“整體水平”。例如 A類項目可將極限質(zhì)量定義在0.5%，B、C類項目的極限質(zhì)量值可高于A類項目。不同的組織可根據(jù)自身的實際情況自行定義極限質(zhì)量LQ。值得注意的是，極限質(zhì)量LQ必須在同行評審實施前定義，且一經(jīng)定義，在對該批軟件測試用例審核過程中不應(yīng)改變。

4 抽取檢驗樣品

根據(jù)組織定義的批量和極限質(zhì)量可參照GB-T 2828.2 4.5章節(jié)的規(guī)定查找所使用的抽樣方案，用指定的批量和極限質(zhì)量作為檢索值，可在GB-T 2828.2 4.2章節(jié)中檢索出樣本量（n）和接收數(shù)（Ac），其中n代表抽取的樣品總數(shù)，Ac代表當(dāng)作出批合格判定時樣品中所允許的最大不合格數(shù)。

對于抽樣方案的選擇可視項目的類型、規(guī)模來確定。軟件測試用例的同行評審一般是現(xiàn)場抽樣審核，抽樣方案大致可分為隨機抽樣與非隨機抽樣兩種。其中隨機抽樣方法包括簡單隨機抽樣、系統(tǒng)抽樣、分層抽樣、整群抽樣、分階段抽樣等，非隨機抽樣包括偶遇抽樣、判斷抽樣、雪球抽樣等[6]。在實際應(yīng)用中可根據(jù)軟件測試用例的不同類型實施不同的抽樣方案。關(guān)于抽樣方式的可參考GB/T 10111等文獻，本文不作論述。

5 樣品評審與判定

對抽取出的測試用例按照組織的評審規(guī)范逐條進行同行評審，并統(tǒng)計出不合格數(shù)。不合格數(shù)指在同行評審過程中發(fā)現(xiàn)的問題個數(shù)。根據(jù)以往的項目經(jīng)驗，對軟件測試用例的同行評審發(fā)現(xiàn)的問題通常分為致命、嚴(yán)重、一般、輕微四個等級，以上提及的問題個數(shù)主要指一般或輕微問題的個數(shù)。

當(dāng)同行專家判定的不合格數(shù)小于等于接收數(shù)（Ac）時，將測試用例返回至相應(yīng)測試人員修改，修改完成后，由專門核查人員確認(rèn)問題閉環(huán)后通過。

當(dāng)同行專家判定的不合格數(shù)大于接收數(shù)（Ac）時或發(fā)現(xiàn)了致命和嚴(yán)重的問題，則直接判定本批軟件測試用例不通過，待測試人員修改后且核查人員確認(rèn)已發(fā)現(xiàn)的問題閉環(huán)后進行復(fù)審。復(fù)審的基本流程與上文描述的一致，此處建議，復(fù)審抽取的樣品應(yīng)不包含初次抽樣的樣本，以保證抽樣質(zhì)量。

當(dāng)檢驗批的軟件測試用例通過同行評審后，同行專家可以不必審查其他的測試用例，這樣，在保證項目全部軟件測試用例整體水平的同時也極大降低了評審工作量。

6 總結(jié)

本文將GB-T 2828.2中定義的計數(shù)抽樣理論嘗試應(yīng)用于軟件測試用例同行評審，并提出了一套評審流程，希望通過本文的研究能夠在保證評審質(zhì)量的同時，降低評審工作量，提高工作效率。根據(jù)不同類型的測試用例制定不同的抽樣方、以及根據(jù)實踐情況改進評審流程都將是本文未來的研究方向。

參考文獻：

[1] 肖豐佳 李立新. 軟件測試技術(shù)研究[J]. 工業(yè)控制計算機， 2015，25（1）.

[2] CNAS-CL45：2013檢測和校準(zhǔn)實驗室能力認(rèn)可準(zhǔn)則在軟件檢測領(lǐng)域的應(yīng)用說明[S]. 中國合格評定國家認(rèn)可委員會.

[3] 梁國明. 再談百分比抽樣檢驗的不科學(xué)性[J].兵工標(biāo)準(zhǔn)化，2000（1）.

[4] GB-T 2828.4-2008 計數(shù)抽樣檢驗程序 第2部分： 按極限質(zhì)量（LQ）檢索的孤立批檢驗抽樣方案[S]. 中華人民共和國國家標(biāo)準(zhǔn).

[5] 汪亮. 綜合布線工程驗收測試抽樣方案的新思路[J].布線全攻略， 2005（105）.

[6] 蘇玉明.管理體系審核的抽樣方案討論[J].水利技術(shù)監(jiān)督，2005（4）.

[7] GB/T 10111-2008 隨機數(shù)的產(chǎn)生及其在產(chǎn)品質(zhì)量抽樣檢驗中的應(yīng)用程序[S]. 中華人民共和國國家標(biāo)準(zhǔn).