◎中國(guó)人民解放軍63921部隊(duì) 劉文紅

◎中國(guó)航天系統(tǒng)科學(xué)與工程研究院 郭 棟 董冠濤 楊 昕

隨著裝備向高精度、智能化方向的快速發(fā)展，軟件在裝備中的數(shù)量迅速增加，裝備中軟件的復(fù)雜程度也越來(lái)越高，作為計(jì)算機(jī)控制系統(tǒng)核心的軟件質(zhì)量就顯得尤為重要。然而，當(dāng)前在裝備軟件測(cè)試領(lǐng)域，沒(méi)有建立全面充分的測(cè)試數(shù)據(jù)收集機(jī)制，缺少對(duì)測(cè)試數(shù)據(jù)的整理分析工作，嚴(yán)重影響了上級(jí)機(jī)構(gòu)對(duì)軟件質(zhì)量的全面掌握和把控。各級(jí)質(zhì)量管理部門雖然對(duì)于軟件測(cè)試十分重視，但在實(shí)際工作開(kāi)展過(guò)程中，缺乏對(duì)測(cè)試工作的質(zhì)量評(píng)價(jià)，沒(méi)有實(shí)際數(shù)據(jù)支撐，無(wú)法科學(xué)有效的開(kāi)展工作。軟件研制單位在對(duì)軟件進(jìn)行開(kāi)發(fā)方測(cè)試時(shí)，往往按照各自的理解和經(jīng)驗(yàn)進(jìn)行。軟件任務(wù)下達(dá)方、研制單位、使用單位大多僅了解最后測(cè)試結(jié)果，只能反映軟件測(cè)試工作中某階段或者某類特性的質(zhì)量情況，將測(cè)試過(guò)程產(chǎn)生的數(shù)據(jù)與實(shí)際工作相結(jié)合的非常少。目前度量軟件測(cè)試工作充分性的方式，除了測(cè)試覆蓋率指標(biāo)以外，并沒(méi)有其他參考。上級(jí)機(jī)構(gòu)只能依靠測(cè)試大綱和報(bào)告評(píng)審會(huì)上專家的把關(guān)，來(lái)定性了解軟件測(cè)評(píng)的結(jié)果情況，而對(duì)測(cè)試過(guò)程和測(cè)試工作的把握極不到位。

如何有效度量軟件測(cè)試工作的充分性，是擺在各級(jí)質(zhì)量管理部門面前一道亟待解決的難題。研究并給出一套基于測(cè)試過(guò)程數(shù)據(jù)對(duì)軟件測(cè)試工作的充分性進(jìn)行評(píng)價(jià)的方法，快速衡量每個(gè)測(cè)試項(xiàng)目的測(cè)試工作充分性，量化的分析和總結(jié)，可以幫助軟件測(cè)試機(jī)構(gòu)改進(jìn)軟件測(cè)試過(guò)程，提高軟件測(cè)試效率，從而進(jìn)一步提升軟件的質(zhì)量。

一、基于過(guò)程數(shù)據(jù)的軟件測(cè)試工作充分性原始度量指標(biāo)

軟件測(cè)試工作質(zhì)量評(píng)價(jià)體系的構(gòu)建是軟件測(cè)試工作質(zhì)量度量的基礎(chǔ)性工作，構(gòu)建方法通常是對(duì)所搜集到的數(shù)據(jù)進(jìn)行歸納整理，并根據(jù)尺度進(jìn)行衡量。在選取軟件測(cè)試工作質(zhì)量評(píng)價(jià)指標(biāo)時(shí)，要盡量將軟件測(cè)試工作質(zhì)量特性以量化形式表示，使評(píng)價(jià)結(jié)果客觀、準(zhǔn)確、科學(xué)。結(jié)合對(duì)軟件測(cè)試工作現(xiàn)狀的調(diào)研分析和對(duì)新形勢(shì)下測(cè)試工作新要求的研究，對(duì)軟件測(cè)試工作質(zhì)量的主要影響因素進(jìn)行分析，并結(jié)合測(cè)試工作實(shí)際和特點(diǎn)，軟件測(cè)試驗(yàn)證過(guò)程質(zhì)量數(shù)據(jù)收集如下：

（一）工期進(jìn)度評(píng)估

工期進(jìn)度的評(píng)估主要著眼于測(cè)試機(jī)構(gòu)按照委托方的時(shí)間要求完成工作的能力，包括合同的履約情況和接受緊急工作能力情況兩類參數(shù)。最簡(jiǎn)單的方式是按照工作進(jìn)度是否符合合同要求進(jìn)行評(píng)估。更進(jìn)一步還可按照回歸測(cè)試時(shí)間要求是否滿足等進(jìn)行度量。測(cè)評(píng)的時(shí)效數(shù)據(jù)也可作為測(cè)試項(xiàng)目的數(shù)據(jù)統(tǒng)計(jì)積累之一，納入測(cè)試工作側(cè)面的評(píng)價(jià)指標(biāo)。

（二）測(cè)試類型評(píng)估

對(duì)應(yīng)于《軍用軟件測(cè)評(píng)實(shí)驗(yàn)室測(cè)評(píng)過(guò)程和技術(shù)能力要求》中列出的22 種常用測(cè)試類型，每個(gè)測(cè)試項(xiàng)目都會(huì)選擇其中的一些測(cè)試類型進(jìn)行測(cè)試。在中國(guó)航天科技集團(tuán)有限公司的企業(yè)標(biāo)準(zhǔn)Q/QJA 300-2013 中，分別針對(duì)開(kāi)發(fā)方測(cè)試和第三方測(cè)試所必須選擇的測(cè)試類型有一定要求。一般地，CD 級(jí)軟件的配置項(xiàng)測(cè)試至少應(yīng)包括文檔審查、功能測(cè)試、性能測(cè)試、接口測(cè)試，具有人機(jī)交互界面的軟件應(yīng)進(jìn)行人機(jī)交互界面測(cè)試，具有安裝卸載功能的軟件應(yīng)進(jìn)行安裝性測(cè)試，具有功能邊界或數(shù)據(jù)邊界的軟件應(yīng)進(jìn)行邊界測(cè)試，此外，AB 級(jí)軟件的測(cè)試在此基礎(chǔ)上還必須包括邏輯測(cè)試。

當(dāng)前軟件測(cè)試項(xiàng)目相對(duì)于軟件的安全性級(jí)別來(lái)說(shuō)，所選擇的測(cè)試類型數(shù)是否充分，也是一個(gè)測(cè)試工作質(zhì)量的參考指標(biāo)。使用更多測(cè)試類型對(duì)軟件進(jìn)行測(cè)試，能關(guān)注到更多的軟件質(zhì)量方面，測(cè)試工作質(zhì)量會(huì)更好。

（三）測(cè)試用例設(shè)計(jì)充分性

對(duì)應(yīng)每一個(gè)選擇的測(cè)試類型，根據(jù)軟件的規(guī)格說(shuō)明對(duì)其進(jìn)行用例設(shè)計(jì)，用例應(yīng)充分覆蓋軟件的各項(xiàng)功能、性能、接口要求。測(cè)試用例個(gè)數(shù)的規(guī)模應(yīng)有一定要求。

該部分是結(jié)合筆者另一個(gè)研究課題的成果《一種基于主成分分析的軟件測(cè)試用例規(guī)模估計(jì)方法》[1]，通過(guò)對(duì)被測(cè)項(xiàng)目的代碼行數(shù)、安全關(guān)鍵級(jí)別、軟件復(fù)雜度、接口復(fù)雜度、測(cè)試類型個(gè)數(shù)和編程語(yǔ)言等測(cè)試用例規(guī)模影響因子信息，在拿到被測(cè)軟件，使用靜態(tài)工具掃描圈復(fù)雜度，閱讀接口文檔得到接口復(fù)雜度信息之后，即可通過(guò)該課題的算法結(jié)果給出完成該項(xiàng)測(cè)試工作預(yù)計(jì)應(yīng)設(shè)計(jì)的測(cè)試用例規(guī)模數(shù)量。

該算法成果建立在同類項(xiàng)目的測(cè)試用例設(shè)計(jì)具有較大的相似性和關(guān)聯(lián)性的基礎(chǔ)上。為了有效利用歷史軟件測(cè)試活動(dòng)的經(jīng)驗(yàn)，首先需要構(gòu)建一個(gè)軟件測(cè)試項(xiàng)目管理數(shù)據(jù)庫(kù)，對(duì)近年來(lái)機(jī)構(gòu)從事的測(cè)試活動(dòng)的數(shù)據(jù)進(jìn)行收集、梳理和維護(hù)。軟件測(cè)試項(xiàng)目數(shù)據(jù)庫(kù)中包含被測(cè)軟件的基本數(shù)據(jù)如下：

（1）測(cè)試軟件的基本信息：項(xiàng)目名稱、項(xiàng)目標(biāo)識(shí)符、軟件類型、軟件版本、代碼大小、程序語(yǔ)言等；

（2）測(cè)試過(guò)程數(shù)據(jù)：測(cè)試級(jí)別、測(cè)試類型、測(cè)試項(xiàng)、測(cè)試用例、測(cè)試用例設(shè)計(jì)方法、測(cè)試環(huán)境、測(cè)試數(shù)據(jù)、測(cè)試用例執(zhí)行率等；

（3）被測(cè)軟件的故障數(shù)據(jù)：故障位置、故障等級(jí)、故障類型、故障編號(hào)、發(fā)現(xiàn)時(shí)間、打開(kāi)或關(guān)閉等。

基于軟件測(cè)試項(xiàng)目數(shù)據(jù)庫(kù)，我們給出軟件測(cè)試用例設(shè)計(jì)評(píng)價(jià)方法的大致思想。在軟件測(cè)試項(xiàng)目管理中，軟件測(cè)試項(xiàng)目的測(cè)試用例個(gè)數(shù)評(píng)估是一個(gè)持續(xù)改進(jìn)優(yōu)化的過(guò)程。可以將用例設(shè)計(jì)規(guī)模評(píng)估分為三個(gè)階段：初始階段，確定當(dāng)前項(xiàng)目的測(cè)試類型和測(cè)試范圍，在歷史數(shù)據(jù)庫(kù)中選擇同類項(xiàng)目數(shù)據(jù)，進(jìn)行評(píng)估模型定制，并基于定制的評(píng)估模型預(yù)測(cè)當(dāng)前測(cè)試項(xiàng)目所需的用例規(guī)模；測(cè)試項(xiàng)目執(zhí)行過(guò)程，得到實(shí)際測(cè)試用例個(gè)數(shù)；結(jié)項(xiàng)后，對(duì)測(cè)試用例評(píng)估結(jié)果的準(zhǔn)確性進(jìn)行評(píng)價(jià)，并將測(cè)試項(xiàng)目的過(guò)程數(shù)據(jù)匯總到歷史數(shù)據(jù)庫(kù)中，以提高以后估算結(jié)果的準(zhǔn)確性。

我們選擇回歸分析方法，利用歷史項(xiàng)目數(shù)據(jù)估計(jì)同類測(cè)試項(xiàng)目的預(yù)估用例數(shù)量，并不斷更新歷史數(shù)據(jù)庫(kù)。測(cè)試項(xiàng)目實(shí)際完成后，檢查其實(shí)際使用的測(cè)試用例與預(yù)估用例數(shù)量的比值，如果嚴(yán)重低于預(yù)估用量，則其測(cè)試工作質(zhì)量是有問(wèn)題的。

表1 軟件測(cè)試覆蓋率要求

（四）測(cè)試覆蓋率

對(duì)于軟件的測(cè)試覆蓋率，Q/QJA 300-2013《航天型號(hào)軟件測(cè)試規(guī)范》針對(duì)開(kāi)發(fā)方測(cè)試、第三方測(cè)試和驗(yàn)收測(cè)試，對(duì)不同安全關(guān)鍵級(jí)別的軟件分別進(jìn)行了要求[2]。

（五）測(cè)試文檔質(zhì)量

該部分同樣結(jié)合《一種基于主成分分析的軟件測(cè)試用例規(guī)模估計(jì)方法》[1]，使用類似的方法，軟件的相關(guān)信息除了能夠?qū)浖y(cè)試用例個(gè)數(shù)進(jìn)行預(yù)估，也可以預(yù)估提交的測(cè)試大綱、測(cè)試說(shuō)明、測(cè)試報(bào)告的文檔頁(yè)數(shù)。

測(cè)試項(xiàng)目實(shí)際完成后，檢查其實(shí)際編制的測(cè)試文檔頁(yè)數(shù)與預(yù)估頁(yè)數(shù)的比值，如果嚴(yán)重低于預(yù)估用量，則其測(cè)試工作質(zhì)量是有問(wèn)題的。

（六）測(cè)試過(guò)程評(píng)審意見(jiàn)情況

測(cè)試大綱評(píng)審、測(cè)試用例評(píng)審等質(zhì)量控制關(guān)鍵節(jié)點(diǎn)中，對(duì)評(píng)審所提出的問(wèn)題易發(fā)現(xiàn)程度和問(wèn)題嚴(yán)重程度的綜合評(píng)估。每條評(píng)審意見(jiàn)的針對(duì)問(wèn)題的嚴(yán)重等級(jí)越高，易發(fā)現(xiàn)程度越低（問(wèn)題易發(fā)現(xiàn)但自己沒(méi)有發(fā)現(xiàn)），則說(shuō)明工作質(zhì)量越糟糕，評(píng)價(jià)分?jǐn)?shù)越低。

（七）下一驗(yàn)證過(guò)程的問(wèn)題回溯情況

常規(guī)考慮的測(cè)出問(wèn)題數(shù)和千行代碼問(wèn)題數(shù)KLOC，更多表征的是衡量被測(cè)軟件的質(zhì)量，而非測(cè)試工作的質(zhì)量。因此在軟件的測(cè)試工作質(zhì)量中，我們并未選擇該指標(biāo)，而是選擇了另一個(gè)指標(biāo)：下一驗(yàn)證過(guò)程問(wèn)題回溯，來(lái)對(duì)測(cè)試工作質(zhì)量進(jìn)行評(píng)價(jià)。

軟件測(cè)試工作的目標(biāo)是盡可能發(fā)現(xiàn)問(wèn)題。在從單元測(cè)試、部件測(cè)試、配置項(xiàng)測(cè)試到系統(tǒng)測(cè)試這樣一輪輪的測(cè)試，乃至后續(xù)的定型測(cè)試和軟件使用過(guò)程中，每一個(gè)測(cè)試過(guò)程都可能發(fā)現(xiàn)新的軟件問(wèn)題，其中一些問(wèn)題是在前述測(cè)試過(guò)程中無(wú)法發(fā)現(xiàn)的。例如：?jiǎn)卧獪y(cè)試更關(guān)注軟件單元內(nèi)部的結(jié)構(gòu)和功能，對(duì)單元間的調(diào)用接口關(guān)注不夠，軟件單元間的調(diào)用接口如果出現(xiàn)問(wèn)題，不容易在單元測(cè)試中發(fā)現(xiàn)，而更容易在部件測(cè)試中去發(fā)現(xiàn)。

但若在前一個(gè)測(cè)試過(guò)程檢出的問(wèn)題未檢出，而在后一個(gè)測(cè)試過(guò)程被檢出，則表明前一測(cè)試過(guò)程的工作質(zhì)量有所欠缺。因此需要對(duì)每一測(cè)試過(guò)程測(cè)出的問(wèn)題進(jìn)行分類計(jì)數(shù)，統(tǒng)計(jì)測(cè)出問(wèn)題中屬于前一測(cè)試過(guò)程應(yīng)測(cè)出未測(cè)出的個(gè)數(shù)，作為本項(xiàng)評(píng)價(jià)指標(biāo)。

該項(xiàng)指標(biāo)的設(shè)立，也是對(duì)軟件測(cè)試工作質(zhì)量問(wèn)題的一個(gè)針對(duì)性的措施，通過(guò)相應(yīng)指標(biāo)的設(shè)立來(lái)促使軟件測(cè)試機(jī)構(gòu)提高測(cè)試工作質(zhì)量，盡可能的減少問(wèn)題遺留到后續(xù)驗(yàn)證過(guò)程。

表2 軟件測(cè)試工作質(zhì)量度量元定量計(jì)算

度量指標(biāo)名子度量指標(biāo)名方法?■ 0.6 ?0.6 ?????測(cè)試用例設(shè)計(jì)充分性語(yǔ) 句覆 蓋率參考GB/T 38634.4-2021 的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。測(cè)試用例設(shè)計(jì)充分性所設(shè)計(jì)的用例個(gè)數(shù)與預(yù)期設(shè)計(jì)的用例個(gè)數(shù)間的到的語(yǔ)句行數(shù)占代碼可執(zhí)行代碼總行數(shù)的比率測(cè)試項(xiàng)目所設(shè)計(jì)的用例個(gè)數(shù)與預(yù)期設(shè)計(jì)的用例個(gè)數(shù)間的符合程度??X=B/A A—— 代碼可執(zhí)行代碼總行數(shù)；B——執(zhí)行測(cè)試時(shí)所執(zhí)行到的語(yǔ)句行數(shù)???，當(dāng)???0.6 ?0.4 ?????，當(dāng)????2?1，當(dāng)??2?測(cè)試項(xiàng)目的預(yù)期用例個(gè)數(shù)A計(jì)算參考1.3中的方法。實(shí)際測(cè)試用例個(gè)數(shù)B從測(cè)評(píng)報(bào)告中可直接獲得，或從測(cè)試說(shuō)明/記錄中計(jì)數(shù)得到。A——測(cè)試項(xiàng)目的預(yù)期用例個(gè)數(shù)B——實(shí)際測(cè)試用例個(gè)數(shù)語(yǔ)句覆蓋率測(cè) 試覆 蓋率執(zhí)行測(cè)試時(shí)所執(zhí)行到的語(yǔ)句行數(shù)占代碼可執(zhí)行代碼總行數(shù)的比率分 支覆 蓋率X=B/A A—— 代碼可執(zhí)行代碼總行數(shù)B——執(zhí)行測(cè)試時(shí)所執(zhí)行到的語(yǔ)句行數(shù)X=B/A A—— 代碼可執(zhí)行代碼總行數(shù)；B——執(zhí)行測(cè)試時(shí)所執(zhí)行到的語(yǔ)句行數(shù)參考GB/T 38634.4-2021的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。參考GB/T 38634.4-2021 的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。測(cè)試覆蓋率分支覆蓋率執(zhí)行測(cè)試時(shí)所執(zhí)行到的代碼分支數(shù)占代碼中所有分支總數(shù)的比率執(zhí)行測(cè)試時(shí)所執(zhí)行到的代碼分支數(shù)占代碼中所有分支總數(shù)的比率X=B/A A—— 代碼可執(zhí)行代碼總行數(shù)B——執(zhí)行測(cè)試時(shí)所執(zhí)行到的語(yǔ)句行數(shù)參考GB/T 38634.4-2021的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。MC/DC覆 蓋率修正的條件判定覆蓋率MC/DC覆蓋率修正的條件判定覆蓋率X=B/A A——代碼中，所有單個(gè)布爾條件可以獨(dú)立影響判定結(jié)果的判定條件，其布爾值的可行組合總數(shù)B——執(zhí)行測(cè)試時(shí)實(shí)際執(zhí)行到的組合數(shù)參考GB/T 38634.4-2021 的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。X=B/A A——代碼中，所有單個(gè)布爾條件可以獨(dú)立影響判定結(jié)果的判定條件，其布爾值的可行組合總數(shù)B——執(zhí)行測(cè)試時(shí)實(shí)際執(zhí)行到的組合數(shù)參考GB/T 38634.4-2021的計(jì)算方式。建議采用測(cè)試工具自動(dòng)統(tǒng)計(jì)。???■ 0.6 ?0.6 ?????，當(dāng)???0.6 ?0.4 ?????測(cè)試文檔質(zhì)量測(cè)試文檔質(zhì)量測(cè)試文檔頁(yè)數(shù)與預(yù)期文檔頁(yè)數(shù)間的符合程度測(cè)試文檔頁(yè)數(shù)與預(yù)期文檔頁(yè)數(shù)間的符合程度???，當(dāng)????2?1，當(dāng)??2?A——測(cè)試項(xiàng)目對(duì)應(yīng)文檔的預(yù)期文檔頁(yè)數(shù)B——實(shí)際測(cè)試文檔頁(yè)數(shù)針對(duì)測(cè)試項(xiàng)目中每一份要求的文檔計(jì)算出分別的X之后，求均值測(cè)試項(xiàng)目的預(yù)期文檔頁(yè)數(shù)A計(jì)算參考1.5中的方法。實(shí)際測(cè)試文檔頁(yè)B從各測(cè)試文檔中可直接獲得。時(shí)所執(zhí)行

二、軟件測(cè)試工作質(zhì)量的綜合評(píng)價(jià)方法

根據(jù)軟件測(cè)試工作質(zhì)量評(píng)價(jià)模型及采集到的各工作評(píng)價(jià)指標(biāo)度量元的原始數(shù)據(jù)，設(shè)計(jì)科學(xué)的定性與定量結(jié)合的評(píng)價(jià)方法，對(duì)數(shù)據(jù)進(jìn)行分析、整理與擬合，將每個(gè)度量元的原始數(shù)據(jù)通過(guò)計(jì)算函數(shù)將其轉(zhuǎn)換成值域范圍在[0,1]區(qū)間內(nèi)的度量指標(biāo)值，再將其結(jié)合權(quán)重指標(biāo)進(jìn)行加權(quán)計(jì)算。

上節(jié)中所列出的測(cè)試工作質(zhì)量評(píng)價(jià)各度量元，定量計(jì)算如下。

（一）測(cè)試過(guò)程評(píng)審意見(jiàn)情況的計(jì)算

測(cè)試過(guò)程中常見(jiàn)的控制節(jié)點(diǎn)評(píng)審包括測(cè)試需求評(píng)審、測(cè)試計(jì)劃評(píng)審、測(cè)試說(shuō)明評(píng)審、測(cè)試環(huán)境就緒評(píng)審、測(cè)試總結(jié)評(píng)審等。記錄每次評(píng)審中專家所提意見(jiàn)共計(jì)n 條，并劃分每條意見(jiàn)所針對(duì)問(wèn)題的嚴(yán)重等級(jí)A 和易發(fā)現(xiàn)程度B 兩個(gè)屬性。每個(gè)屬性均分解為5 級(jí)。針對(duì)問(wèn)題的嚴(yán)重等級(jí)越高，易發(fā)現(xiàn)程度越低（問(wèn)題易發(fā)現(xiàn)但自己沒(méi)有發(fā)現(xiàn)），則說(shuō)明工作質(zhì)量越糟糕，評(píng)價(jià)分?jǐn)?shù)越低。所有評(píng)審意見(jiàn)的這兩個(gè)屬性分的均值即為對(duì)應(yīng)子度量指標(biāo)值。具體如下：

最終測(cè)試過(guò)程評(píng)審意見(jiàn)情況的度量指標(biāo)計(jì)算公式如下：

（二）下一測(cè)試過(guò)程問(wèn)題回溯情況的計(jì)算

在下一個(gè)測(cè)試過(guò)程中發(fā)現(xiàn)上一測(cè)試過(guò)程中應(yīng)發(fā)現(xiàn)而沒(méi)發(fā)現(xiàn)的問(wèn)題，每個(gè)問(wèn)題都具有發(fā)現(xiàn)問(wèn)題難度、問(wèn)題嚴(yán)重等級(jí)、發(fā)現(xiàn)問(wèn)題的應(yīng)發(fā)現(xiàn)驗(yàn)證過(guò)程三個(gè)屬性，發(fā)現(xiàn)問(wèn)題難度越小、問(wèn)題嚴(yán)重等級(jí)越高、發(fā)現(xiàn)問(wèn)題的應(yīng)發(fā)現(xiàn)驗(yàn)證過(guò)程越靠前（與當(dāng)前驗(yàn)證過(guò)程距離越遠(yuǎn)），最終的評(píng)價(jià)分?jǐn)?shù)越低。

設(shè)發(fā)現(xiàn)問(wèn)題難度包括1、2、3、4、5 五個(gè)等級(jí)。其中，等級(jí)1 為執(zhí)行軟件基本功能即能發(fā)現(xiàn)的問(wèn)題；等級(jí)2 為需要進(jìn)行一定的用例設(shè)計(jì)方法，執(zhí)行到較偏的邏輯分支才能發(fā)現(xiàn)的問(wèn)題；如此遞推直至等級(jí)5 為極為隱蔽難以發(fā)現(xiàn)的問(wèn)題。發(fā)現(xiàn)問(wèn)題難度每增加一個(gè)等級(jí)，則權(quán)重增加p1，發(fā)現(xiàn)的問(wèn)題難度等級(jí)為N1，則發(fā)現(xiàn)問(wèn)題難度對(duì)交付后軟件問(wèn)題評(píng)價(jià)結(jié)果權(quán)重公式為：

設(shè)發(fā)現(xiàn)問(wèn)題嚴(yán)重等級(jí)包括1（致命）、2（嚴(yán)重）、3（一般）、4（輕微）、5（建議）五個(gè)等級(jí)，發(fā)現(xiàn)問(wèn)題嚴(yán)重等級(jí)每降低一個(gè)等級(jí)（對(duì)應(yīng)的值增加），則權(quán)重增加p2，發(fā)現(xiàn)的問(wèn)題難度等級(jí)為N2，則發(fā)現(xiàn)問(wèn)題難度對(duì)交付后軟件問(wèn)題評(píng)價(jià)結(jié)果權(quán)重公式為：

設(shè)發(fā)現(xiàn)問(wèn)題發(fā)生階段包括單元測(cè)試、部件測(cè)試、配置項(xiàng)測(cè)試、分系統(tǒng)測(cè)試、系統(tǒng)測(cè)試等，假設(shè)劃分階段數(shù)為S，按階段先后順序?qū)?yīng)的標(biāo)注值為1、2、3、…、S，發(fā)現(xiàn)問(wèn)題發(fā)生階段往后一個(gè)階段，則權(quán)重增加p3，發(fā)現(xiàn)問(wèn)題發(fā)生階段對(duì)應(yīng)值為N3，則發(fā)現(xiàn)問(wèn)題難度對(duì)交付后軟件問(wèn)題評(píng)價(jià)結(jié)果權(quán)重公式為：

設(shè)該階段總分為B，如果在軟件交付后共發(fā)現(xiàn)k 個(gè)問(wèn)題，第i 問(wèn)題對(duì)應(yīng)的發(fā)現(xiàn)問(wèn)題難度、問(wèn)題嚴(yán)重等級(jí)、發(fā)現(xiàn)問(wèn)題的發(fā)生階段指標(biāo)值分別為Ni1、Ni2、Ni3（當(dāng)未發(fā)現(xiàn)問(wèn)題，即k=0 時(shí)，N01=6、N02=6、N03=S+1），對(duì)應(yīng)該階段的得分值權(quán)重為：

同前，p1、p2、p3初始值可以根據(jù)專家經(jīng)驗(yàn)確定，在后期累積歷史數(shù)據(jù)后，可通過(guò)對(duì)原始數(shù)據(jù)經(jīng)過(guò)數(shù)學(xué)處理獲取權(quán)重來(lái)進(jìn)行調(diào)整。

X 歸一化后計(jì)算公式為：

三、權(quán)重的確定

本項(xiàng)目邀請(qǐng)了數(shù)十名軟件測(cè)試領(lǐng)域?qū)＜覍?duì)影響軟件測(cè)試工作質(zhì)量的各個(gè)指標(biāo)權(quán)重進(jìn)行評(píng)估，采用專家打分法最后給出了軟件測(cè)試工作質(zhì)量評(píng)價(jià)的權(quán)重層次化結(jié)構(gòu)如下表所示。

表3 軟件測(cè)試工作質(zhì)量評(píng)價(jià)的權(quán)重層次化結(jié)構(gòu)表

四、總結(jié)

本研究指出了軟件測(cè)試工作的現(xiàn)狀與不足問(wèn)題，提出了相應(yīng)的改進(jìn)途徑，包括采取全面工作質(zhì)量評(píng)價(jià)方法來(lái)以評(píng)為促，幫助軟件測(cè)試工作質(zhì)量提高。在此基礎(chǔ)上研究提出的軟件測(cè)試工作質(zhì)量度量評(píng)價(jià)模型可用于各軟件測(cè)評(píng)單位的內(nèi)部質(zhì)量管理。對(duì)于同一組織內(nèi)部，主要采用度量評(píng)價(jià)模型中的項(xiàng)目層面數(shù)據(jù)，通過(guò)對(duì)各個(gè)測(cè)試項(xiàng)目的相關(guān)數(shù)據(jù)采集來(lái)評(píng)價(jià)測(cè)試項(xiàng)目的工作質(zhì)量，定量分析軟件測(cè)試工作績(jī)效數(shù)據(jù)，形成對(duì)軟件測(cè)試質(zhì)量的持續(xù)正向反饋。