李軍鋒，顧濱兵，李海浩

(中國(guó)人民解放軍91404部隊(duì)，河北 秦皇島 066000)

0 引 言

軟件測(cè)試作為提高軟件質(zhì)量的重要手段，測(cè)試質(zhì)量與軟件質(zhì)量有著直接的關(guān)系，國(guó)內(nèi)外測(cè)試質(zhì)量評(píng)價(jià)的相關(guān)研究也提出了不少方法模型[1-2]，但是沒有給出明確、一致的定義[3-16]。軟件測(cè)試質(zhì)量評(píng)價(jià)，作為測(cè)試過程總結(jié)階段的一項(xiàng)工作，本身需要快速、準(zhǔn)確地得出結(jié)果，如果需要建立龐大的模型，進(jìn)行大量度量元采集和計(jì)算[3-12]，在可行性和資源成本[17]等方面往往會(huì)受到限制。因此需要一種度量采集簡(jiǎn)便、計(jì)算方法合理、實(shí)施過程可行、評(píng)價(jià)結(jié)果準(zhǔn)確的軟件測(cè)試質(zhì)量評(píng)價(jià)方法。

1 測(cè)試質(zhì)量評(píng)價(jià)的幾個(gè)誤區(qū)

1.1 將軟件缺陷數(shù)量納入測(cè)試質(zhì)量評(píng)價(jià)

不少評(píng)價(jià)模型中，將測(cè)試過程中能夠發(fā)現(xiàn)的軟件缺陷數(shù)量作為測(cè)試質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)之一，但這一點(diǎn)只適用于單獨(dú)項(xiàng)目的評(píng)價(jià)，如果需要對(duì)不同項(xiàng)目之間進(jìn)行測(cè)試質(zhì)量評(píng)價(jià)對(duì)比，除非各個(gè)被測(cè)軟件的規(guī)模、需求點(diǎn)及隱含的缺陷數(shù)等都完全相同，否則是不適用的。

軟件缺陷的量級(jí)是衡量軟件質(zhì)量的，軟件開發(fā)過程是否嚴(yán)謹(jǐn)規(guī)范，開發(fā)人員水平的高低，軟件調(diào)試、自測(cè)試是否充分，這些都會(huì)直接影響最終提交測(cè)試的軟件質(zhì)量。

軟件質(zhì)量好，本身隱含缺陷極少，測(cè)試能夠發(fā)現(xiàn)的缺陷也就越少，不能說明測(cè)試質(zhì)量差；反之軟件質(zhì)量極差，在測(cè)試過程中缺陷頻繁出現(xiàn)，也不能代表測(cè)試質(zhì)量高。

1.2 將測(cè)試用例數(shù)量納入測(cè)試質(zhì)量評(píng)價(jià)

測(cè)試用例是指為特定目的而編寫的一組測(cè)試輸入、執(zhí)行條件以及預(yù)期結(jié)果。這里的編寫基本是通過自然語言描述，根據(jù)不同測(cè)試人員的個(gè)人習(xí)慣，會(huì)存在不同的語言描述粒度。僅以一個(gè)簡(jiǎn)單的輸入框功能測(cè)試為例，軟件需求是在輸入A、B、C時(shí)應(yīng)分別對(duì)應(yīng)輸出a、b、c，在設(shè)計(jì)正常的輸入/輸出測(cè)試用例時(shí)會(huì)出現(xiàn)2種極端情況：

1)1個(gè)測(cè)試用例：測(cè)試輸入描述為“分別輸入A、B、C”，預(yù)期輸出為“分別對(duì)應(yīng)輸出a、b、c”；

2)3個(gè)測(cè)試用例：測(cè)試輸入分別描述為“A、B、C”，預(yù)期輸出分別為“a、b、c”。

以此為例，拓展至一個(gè)完整的軟件，這類不同的設(shè)計(jì)描述習(xí)慣，雖然最終的測(cè)試效果相同，但用例數(shù)可能會(huì)相差數(shù)倍。很顯然，測(cè)試用例數(shù)量不適合作為測(cè)試質(zhì)量評(píng)價(jià)的標(biāo)準(zhǔn)之一。

2 本文提出的測(cè)試質(zhì)量評(píng)價(jià)方法

通過對(duì)當(dāng)前多種軟件測(cè)試質(zhì)量評(píng)價(jià)方法的研究，結(jié)合軟件測(cè)試工作實(shí)踐經(jīng)驗(yàn)，提出如圖1所示的軟件測(cè)試質(zhì)量評(píng)價(jià)模型[4-5,13]，評(píng)價(jià)內(nèi)容的選取原則為在保證結(jié)果相對(duì)合理的前提下，盡量易于獲取，其中各評(píng)價(jià)標(biāo)準(zhǔn)對(duì)應(yīng)的權(quán)重值的選擇參考當(dāng)前不同評(píng)價(jià)模型[4,13]，并根據(jù)測(cè)試實(shí)踐經(jīng)驗(yàn)進(jìn)行總結(jié)，在實(shí)際使用過程中，可在符合普遍標(biāo)準(zhǔn)的前提下進(jìn)行適當(dāng)調(diào)整，參評(píng)項(xiàng)目組達(dá)成一致即可。各評(píng)價(jià)標(biāo)準(zhǔn)的評(píng)價(jià)內(nèi)容、取值范圍及權(quán)重見表1。

圖1 軟件測(cè)試質(zhì)量評(píng)價(jià)模型

表1 軟件測(cè)試質(zhì)量評(píng)價(jià)

評(píng)價(jià)標(biāo)準(zhǔn)評(píng)價(jià)內(nèi)容取值范圍權(quán)重/%測(cè)試文檔評(píng)價(jià)測(cè)評(píng)大綱[-∞,100]4測(cè)試說明[-∞,100]4測(cè)試記錄[-∞,100]4測(cè)試問題單[-∞,100]4測(cè)評(píng)報(bào)告[-∞,100]4測(cè)試充分性評(píng)價(jià)測(cè)試類型充分性[0,100]10用例設(shè)計(jì)充分性[0,100]10測(cè)試環(huán)境差異[0,100]10用例執(zhí)行充分性[0,100]10抽測(cè)結(jié)果評(píng)價(jià)抽測(cè)結(jié)果[-∞,100]20測(cè)試效率評(píng)價(jià)需求分析與策劃階段效率[-∞,100]5測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段效率[-∞,100]5測(cè)試執(zhí)行階段效率[-∞,100]5測(cè)試總結(jié)階段效率[-∞,100]5

2.1 測(cè)試文檔評(píng)價(jià)

測(cè)試文檔評(píng)價(jià)(DQ)，主要是指對(duì)測(cè)評(píng)大綱、測(cè)試說明、測(cè)試記錄、測(cè)試問題單及測(cè)評(píng)報(bào)告共5類測(cè)試文檔工作產(chǎn)品，依據(jù)評(píng)審會(huì)及測(cè)試質(zhì)量評(píng)價(jià)組織的審查提出的文檔問題進(jìn)行評(píng)價(jià)，問題級(jí)別定義見表2，各問題的分值據(jù)實(shí)際經(jīng)驗(yàn)而來，計(jì)算方式如下：

測(cè)試文檔評(píng)價(jià)=100-(致命問題×100+嚴(yán)重問題×10+一般問題×3+輕微問題)

表2 測(cè)試文檔問題級(jí)別定義

等級(jí)問題定義分值輕微問題存在類似編寫格式等問題,但對(duì)測(cè)試范圍、方法、實(shí)施、結(jié)論等內(nèi)容不產(chǎn)生影響1一般問題存在對(duì)測(cè)試范圍、方法、實(shí)施、結(jié)論產(chǎn)生輕微不符合、不可信、不完整情況,但不影響工作產(chǎn)品的有效性等問題3嚴(yán)重問題存在對(duì)測(cè)試范圍、方法、實(shí)施、結(jié)論產(chǎn)生嚴(yán)重不符合、不可信、不完整情況,嚴(yán)重影響工作產(chǎn)品的有效性等問題10致命問題存在文檔記錄造假、測(cè)試過程不實(shí)、測(cè)試結(jié)論不可信、工作產(chǎn)品無效等問題100

定義評(píng)價(jià)對(duì)象集合，測(cè)試文檔={測(cè)評(píng)大綱，測(cè)試說明，測(cè)試記錄，測(cè)試問題單，測(cè)評(píng)報(bào)告}，即D={d1, d2, d3, d4, d5}，可計(jì)算出測(cè)試文檔評(píng)價(jià)：

DQ=(d1+d2+d3+d4+d5)×4%

2.2 測(cè)試充分性評(píng)價(jià)

測(cè)試充分性評(píng)價(jià)(AQ)的內(nèi)容包括測(cè)試類型、用例設(shè)計(jì)、測(cè)試環(huán)境建立及用例執(zhí)行4個(gè)方面。

1)測(cè)試類型充分性。

測(cè)試類型的選取通常主要依據(jù)軟件的等級(jí)、測(cè)試級(jí)別及測(cè)試委托方要求，根據(jù)軟件需求本身可進(jìn)行相應(yīng)裁剪。測(cè)試對(duì)象明確后，測(cè)試類型的基準(zhǔn)值相應(yīng)地就可以確定。

已選取測(cè)試類型覆蓋或多于應(yīng)選取測(cè)試類型時(shí)，可認(rèn)為測(cè)試類型充分性為100。

已選取測(cè)試類型少于應(yīng)選取測(cè)試類型時(shí)，在認(rèn)為各類型的權(quán)重相同的情況下，可進(jìn)行如下計(jì)算：

測(cè)試類型充分性=

2)用例設(shè)計(jì)充分性。

測(cè)試用例充分性主要考核用例設(shè)計(jì)是否覆蓋軟件所有需求的功能點(diǎn)、是否覆蓋異常情況、是否覆蓋邊界情況，計(jì)算方式如下：

測(cè)試設(shè)計(jì)充分性=100-(未覆蓋功能點(diǎn)×2+未覆蓋異常情況×2+未覆蓋邊界值情況)

功能點(diǎn)是指廣義的功能，含功能、性能、接口、安全性等所有軟件需求。

3)測(cè)試環(huán)境差異。

測(cè)試環(huán)境充分性主要是從搭建的環(huán)境是否與軟件運(yùn)行實(shí)際環(huán)境一致，環(huán)境差異在采取彌補(bǔ)措施后是否仍會(huì)影響測(cè)試結(jié)果的角度考慮，計(jì)算方式如下：

測(cè)試環(huán)境充分性=

4)用例執(zhí)行充分性。

未執(zhí)行用例數(shù)與數(shù)量龐大的總設(shè)計(jì)用例數(shù)進(jìn)行單純的比較得出的結(jié)果，并不能直接反映測(cè)試的充分性，這里選取“未執(zhí)行測(cè)試用例涉及的功能點(diǎn)”作為評(píng)價(jià)內(nèi)容，計(jì)算方式如下：

用例執(zhí)行充分性=

5)測(cè)試充分性評(píng)價(jià)[14]。

定義評(píng)價(jià)內(nèi)容集合，測(cè)試充分性={測(cè)試類型充分性，用例設(shè)計(jì)充分性，測(cè)試環(huán)境充分性，用例執(zhí)行充分性}，即A={a1, a2, a3, a4}，可計(jì)算得出測(cè)試充分性評(píng)價(jià)：

AQ=(a1+a2+a3+a4)×10%

2.3 抽測(cè)結(jié)果評(píng)價(jià)

抽測(cè)結(jié)果評(píng)價(jià)(RQ)主要是從抽測(cè)考核的角度，由專家組主要結(jié)合自身工作經(jīng)驗(yàn)采用猜錯(cuò)法，對(duì)軟件部分主要需求指標(biāo)進(jìn)行抽選并重新測(cè)試，再次確認(rèn)是否存在未發(fā)現(xiàn)的軟件問題，用例的選擇具有主觀性，但需覆蓋軟件重要功能、工作流程及技術(shù)指標(biāo)等，通過抽測(cè)發(fā)現(xiàn)的問題數(shù)量、級(jí)別加權(quán)、抽測(cè)問題系數(shù)計(jì)算評(píng)價(jià)結(jié)果，問題級(jí)別參見統(tǒng)一行業(yè)的標(biāo)準(zhǔn)。

抽測(cè)結(jié)果(R)=100-(致命問題×100+嚴(yán)重問題×10+一般問題×3+輕微問題)×抽測(cè)問題系數(shù)

依據(jù)評(píng)價(jià)標(biāo)準(zhǔn)權(quán)重，可計(jì)算得出抽測(cè)結(jié)果評(píng)價(jià)：

RQ=R×20%

2.4 測(cè)試效率評(píng)價(jià)[13]

實(shí)踐經(jīng)驗(yàn)表明，測(cè)試的時(shí)間越長(zhǎng)，發(fā)現(xiàn)的缺陷就會(huì)越多，軟件的質(zhì)量也就越好。經(jīng)過測(cè)試的各個(gè)階段后，會(huì)發(fā)現(xiàn)軟件的大部分缺陷，在測(cè)試結(jié)束后軟件交付使用的過程中，隨著時(shí)間的推移和用戶對(duì)軟件的頻繁使用，仍舊會(huì)不斷發(fā)現(xiàn)軟件缺陷。理論上只要有足夠的時(shí)間，就能不斷趨近于發(fā)現(xiàn)軟件的所有缺陷，軟件的質(zhì)量將趨近于完美。

但這樣的測(cè)試過程并不是高質(zhì)量的測(cè)試，人們常說的測(cè)試工作作為軟件生命周期的一部分，無論是從項(xiàng)目管理角度還是實(shí)際的實(shí)施過程考慮，終歸是有時(shí)間限制的。這就不得不將測(cè)試效率納入測(cè)試質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。

測(cè)試效率評(píng)價(jià)(EQ)基準(zhǔn)值的來源為軟件測(cè)評(píng)大綱的進(jìn)度安排，要求在大綱評(píng)審時(shí)需要慎重考慮工作量、軟件狀態(tài)、測(cè)試環(huán)境、管理成本等多方面因素制定合理的進(jìn)度計(jì)劃，以便對(duì)需求分析與策劃、測(cè)試設(shè)計(jì)與實(shí)現(xiàn)、測(cè)試執(zhí)行及測(cè)試總結(jié)4個(gè)階段的效率進(jìn)行評(píng)價(jià)，計(jì)算方式如下：

1)當(dāng)實(shí)際完成階段工作的時(shí)間≤計(jì)劃完成階段工作的時(shí)間，可直接給出該階段測(cè)試效率評(píng)價(jià)結(jié)果=100。

2)當(dāng)實(shí)際完成階段工作的時(shí)間>計(jì)劃完成階段工作的時(shí)間，計(jì)算方式如下：

階段測(cè)試效率評(píng)價(jià)=

這里需要注意，測(cè)試進(jìn)度計(jì)劃的制定僅考慮有效測(cè)試工作量，以工作日/人為單位，不包括軟件問題整改周期等不可控因素。

3)當(dāng)實(shí)際時(shí)間超過計(jì)劃時(shí)間2倍時(shí)，階段測(cè)試效率評(píng)價(jià)會(huì)出現(xiàn)負(fù)值，同測(cè)試文檔評(píng)價(jià)標(biāo)準(zhǔn)負(fù)值一樣，正常納入最終的測(cè)試質(zhì)量評(píng)價(jià)結(jié)果計(jì)算。

定義評(píng)價(jià)內(nèi)容集合，測(cè)試階段效率={需求分析與策劃階段效率，測(cè)試設(shè)計(jì)與實(shí)現(xiàn)階段效率，測(cè)試執(zhí)行階段效率，測(cè)試總結(jié)階段效率}，即E={e1, e2, e3, e4}，可計(jì)算出測(cè)試效率評(píng)價(jià)：

EQ=(e1+e2+e3+e4)×5%

2.5 測(cè)試質(zhì)量評(píng)價(jià)

根據(jù)以上評(píng)價(jià)標(biāo)準(zhǔn)、內(nèi)容及方法定義，得到測(cè)試質(zhì)量評(píng)價(jià)(TQ)結(jié)果：

TQ=DQ+AQ+RQ+EQ

以2個(gè)軟件測(cè)試項(xiàng)目A、B為例進(jìn)行示意驗(yàn)證，比如通過各項(xiàng)評(píng)價(jià)內(nèi)容采集計(jì)算分別得到如表3所示的評(píng)價(jià)結(jié)果。

項(xiàng)目A測(cè)試質(zhì)量評(píng)價(jià)總分為69.3，根據(jù)具體評(píng)價(jià)結(jié)果來看，在“抽測(cè)結(jié)果評(píng)價(jià)”過程中因發(fā)現(xiàn)的軟件問題較多導(dǎo)致評(píng)價(jià)結(jié)果為0分，同時(shí)“測(cè)試執(zhí)行階段效率”因?qū)嶋H工作時(shí)間超出計(jì)劃工作時(shí)間50%，導(dǎo)致該階段測(cè)試效率評(píng)價(jià)為50分，在測(cè)試效果和效率上均不夠理想。項(xiàng)目B測(cè)試質(zhì)量評(píng)價(jià)總分為91.2，從評(píng)價(jià)結(jié)果來看，各項(xiàng)評(píng)價(jià)內(nèi)容得分確實(shí)均較高。綜上，這種方法得到的評(píng)價(jià)結(jié)果能夠相對(duì)合理地體現(xiàn)出各軟件測(cè)試項(xiàng)目之間測(cè)試質(zhì)量的差別。

表3 項(xiàng)目A、B測(cè)試質(zhì)量評(píng)價(jià)結(jié)果

評(píng)價(jià)標(biāo)準(zhǔn)評(píng)價(jià)內(nèi)容權(quán)重/%評(píng)價(jià)結(jié)果得分ABABDQd1480703.22.8d2480703.22.8d3490803.63.2d4490803.63.2d5480803.23.2AQa1101001001010a21080100810a31080100810a4101001001010RQR20090018EQe151009054.5e25809044.5e3550902.54.5e451009054.5

但很明顯，以上評(píng)價(jià)結(jié)果還存在一個(gè)問題，即某一項(xiàng)評(píng)價(jià)內(nèi)容得分過低甚至為0或者負(fù)數(shù)時(shí)，受權(quán)重計(jì)算方式的影響，最后的測(cè)試質(zhì)量評(píng)價(jià)結(jié)果仍可能是較高的分值，導(dǎo)致評(píng)價(jià)結(jié)果不能完全準(zhǔn)確地反映測(cè)試的質(zhì)量。所以最后還需要再增加一個(gè)附加條件，如果某一單項(xiàng)評(píng)價(jià)結(jié)果<60分，則要求測(cè)試項(xiàng)目組整改相應(yīng)問題或進(jìn)行解釋，并由測(cè)試質(zhì)量評(píng)價(jià)組進(jìn)行補(bǔ)充檢查，將首次評(píng)價(jià)及補(bǔ)充整改情況一并納入評(píng)價(jià)結(jié)論。

3 結(jié)束語

本文提出的軟件測(cè)試質(zhì)量評(píng)價(jià)方法，在大幅簡(jiǎn)化評(píng)價(jià)過程的同時(shí)，能夠得到合理的評(píng)價(jià)結(jié)論。以促進(jìn)軟件測(cè)試質(zhì)量的提升為目標(biāo)，可以與測(cè)評(píng)機(jī)構(gòu)內(nèi)部質(zhì)量管理體系相結(jié)合，對(duì)各項(xiàng)目測(cè)試情況進(jìn)行打分評(píng)價(jià)；也可以在多家測(cè)評(píng)機(jī)構(gòu)聯(lián)合完成大規(guī)模軟件測(cè)試項(xiàng)目后，作為不同測(cè)評(píng)機(jī)構(gòu)間軟件測(cè)試質(zhì)量比對(duì)的主要依據(jù)。本文方法還需要進(jìn)一步研究，重點(diǎn)將在如何使各項(xiàng)評(píng)價(jià)內(nèi)容取值的權(quán)重更加科學(xué)合理，進(jìn)一步規(guī)范后可制定一定范圍內(nèi)的評(píng)價(jià)標(biāo)準(zhǔn)。