李秋英 李海峰 王 健

(北京航空航天大學(xué) 可靠性與系統(tǒng)工程學(xué)院，北京 100191)

測(cè)試有效性對(duì)軟件可靠性驗(yàn)證測(cè)試量的影響

李秋英 李海峰 王 健

(北京航空航天大學(xué) 可靠性與系統(tǒng)工程學(xué)院，北京 100191)

針對(duì)傳統(tǒng)軟件可靠性驗(yàn)證測(cè)試方法均不考慮軟件測(cè)試性可能會(huì)對(duì)驗(yàn)證測(cè)試用例數(shù)量產(chǎn)生影響的現(xiàn)狀，提出一種引入測(cè)試有效性對(duì)軟件可靠性驗(yàn)證測(cè)試最小量進(jìn)行改進(jìn)的方法.分析了軟件測(cè)試性的定義及其對(duì)軟件可靠性測(cè)試集合的影響，提出軟件測(cè)試有效性的概念.比較了考慮測(cè)試有效性前后軟件可靠性驗(yàn)證測(cè)試集合在數(shù)量上的差異，證明經(jīng)典統(tǒng)計(jì)方法和無先驗(yàn)知識(shí)的Bayesian統(tǒng)計(jì)推斷方法確定的均為假定測(cè)試有效性為零情況下的保守估計(jì).提出結(jié)合測(cè)試有效性的驗(yàn)證測(cè)試量的量化表示模型和驗(yàn)證測(cè)試方案的改進(jìn)方法，基于統(tǒng)計(jì)故障注入的原理，提出測(cè)試有效性的定量評(píng)估方法，最后通過示例給出定量評(píng)估過程和方法.

軟件可靠性;驗(yàn)證;測(cè)試;有效性;影響;評(píng)估

軟件可靠性驗(yàn)證測(cè)試(SRDT，Software Reliability Demonstration Testing)作為驗(yàn)證軟件可靠性指標(biāo)的重要決策依據(jù)，國(guó)內(nèi)外已取得了一系列研究成果，如TRW驗(yàn)證測(cè)試、Bayesian無失效驗(yàn)證測(cè)試、單風(fēng)險(xiǎn)序貫測(cè)試等［1］.由于需要數(shù)量龐大的測(cè)試用例或相當(dāng)長(zhǎng)的測(cè)試時(shí)間，影響了這些驗(yàn)證測(cè)試方案在高可靠安全關(guān)鍵軟件中的應(yīng)用.學(xué)者們?cè)噲D降低SRDT所需的測(cè)試量，如基于貝葉斯統(tǒng)計(jì)推斷的 SRDT［2］、分層抽樣［3］、程序切片［4］、實(shí)驗(yàn)設(shè)計(jì)［5］、重要度抽樣［6］、提高軟件輸入嚴(yán)酷度［7］、調(diào)整 Markov 鏈?zhǔn)褂媚Ｐ偷倪w移概率［8］等.上述方法的目的均為在保證置信水平的同時(shí)，減少用例量或測(cè)試時(shí)間.但這些方案無一例外地均未考慮軟件測(cè)試性這一對(duì)軟件可靠性測(cè)試工作量可能會(huì)產(chǎn)生重要影響的因素.

軟件測(cè)試性是軟件的內(nèi)在屬性，是對(duì)軟件進(jìn)行有效測(cè)試難易程度的一個(gè)指標(biāo)［9－11］.如果軟件的測(cè)試性好，則通過統(tǒng)計(jì)測(cè)試來保證軟件質(zhì)量的效果就好;反之，則無法起到有效的保障作用.文獻(xiàn)［12－13］通過實(shí)驗(yàn)驗(yàn)證了軟件測(cè)試性對(duì)實(shí)現(xiàn)軟件可靠性目標(biāo)所需測(cè)試用例數(shù)量的影響.

本文針對(duì)軟件測(cè)試性進(jìn)行分析，通過將測(cè)試性對(duì)測(cè)試集合影響的外在表現(xiàn)定義為測(cè)試有效性，將測(cè)試性與測(cè)試集合建立起聯(lián)系，并將測(cè)試有效性引入軟件可靠性測(cè)試工作量的表示模型中，從理論上證明其對(duì)軟件可靠性測(cè)試工作量的影響，從而對(duì)已有驗(yàn)證測(cè)試方案進(jìn)行改進(jìn).

1 相關(guān)研究

1.1 軟件測(cè)試性定義

目前最具代表性的軟件測(cè)試性定義［9－11］是:軟件有效測(cè)試難易程度的指標(biāo)，可表示［13］為

其中，s表示軟件規(guī)范;p表示程序?qū)崿F(xiàn);c表示測(cè)試準(zhǔn)則;Pr表示概率.軟件測(cè)試性TAB可理解為:若根據(jù)c對(duì)軟件(s，p)進(jìn)行充分測(cè)試時(shí)，軟件失效概率(或軟件缺陷的檢測(cè)概率)就是軟件測(cè)試性的體現(xiàn).若設(shè)軟件中包含 r個(gè)缺陷 f1，f2，…，fr，則有

即不同缺陷具有不同的失效概率，此時(shí)使用單個(gè)缺陷的失效概率表示軟件測(cè)試性是不準(zhǔn)確的，但目前尚未提供測(cè)試性的量化模型［13］.

1.2 對(duì)現(xiàn)有SRDT方案的分析

1.2.1 經(jīng)典統(tǒng)計(jì)方法TRW的無失效考核方案

根據(jù)合同參數(shù)軟件失效概率指標(biāo)p0、置信水平α及最大允許的失效數(shù)F，計(jì)算滿足可靠性指標(biāo)要求所需的驗(yàn)證測(cè)試用例數(shù)N.

無失效考核方案中不允許發(fā)生失效(即F=0)，對(duì)于給定的p0，當(dāng)n個(gè)測(cè)試用例無失效運(yùn)行后，對(duì)軟件失效概率不高于p0的置信度為

則對(duì)于規(guī)定的可靠性指標(biāo)(p0，α)，驗(yàn)證軟件達(dá)到可靠性指標(biāo)的最小測(cè)試用例數(shù)為

其中，［·］表示對(duì)·取整

1.2.2 無先驗(yàn)知識(shí)的Bayesian統(tǒng)計(jì)推斷方法

用β(a，b)來表示失效概率的先驗(yàn)分布密度函數(shù)，則在Bayesian框架下，其后驗(yàn)分布也是β分布，則失效概率的先驗(yàn)密度分布函數(shù)［14］為

其中，a＞0;b＞0;β(a，b)為 Beta函數(shù)，即

當(dāng)軟件執(zhí)行完n個(gè)測(cè)試用例、發(fā)現(xiàn)r個(gè)失效，則失效概率的后驗(yàn)分布為β(a+r，b+n－r)，即

對(duì)于無先驗(yàn)的情況，有a=b=1，則有

對(duì)于給定(p0，α)，當(dāng)無失效考核時(shí)所需要的最小用例數(shù)N為滿足下式中n的最小整數(shù):

由式(8)可知，所需的最小用例數(shù)為

由式(2)和式(9)可知，無論是TRW方案還是Bayesian方案，在確定所需測(cè)試用例數(shù)時(shí)，只依據(jù)置信度和可靠性指標(biāo)，與測(cè)試性無關(guān).

2 軟件測(cè)試有效性定義和影響分析

2.1 軟件測(cè)試有效性的定義

借鑒文獻(xiàn)［15］給出的測(cè)試方法有效性定義，給出統(tǒng)計(jì)測(cè)試集合T的測(cè)試有效性的定義:T發(fā)現(xiàn)缺陷的測(cè)試有效性為在程序中有缺陷的情況下，T發(fā)現(xiàn)程序中有缺陷的概率.可表示為:ρT=Pr(測(cè)試集合T發(fā)現(xiàn)程序P中有缺陷/程序P中有缺陷)假設(shè)“程序中有缺陷”是恒成立的命題，則有

ρT=Pr(測(cè)試集合T發(fā)現(xiàn)程序P中有缺陷).

在一次測(cè)試中，該值可以表示為

顯然，T的測(cè)試有效性是受每一個(gè)缺陷fi的測(cè)試性影響的，但不同的T發(fā)現(xiàn)缺陷的能力常常不同，這點(diǎn)可由不同的T具有不同的覆蓋情況，從而發(fā)現(xiàn)不同的缺陷而簡(jiǎn)單驗(yàn)證.

2.2 測(cè)試有效性對(duì)SRDT測(cè)試量的影響分析

設(shè)Ω為所有程序P'組成的程序空間，P'是對(duì)程序P進(jìn)行變異生成的任意程序，設(shè)PG為對(duì)P進(jìn)行變異生成的完全無錯(cuò)的程序版本.將Ω劃分成2個(gè)子域A1和A2，其中A1是具有下述屬性的程序集合:程序中包含缺陷，且任意缺陷都能被T發(fā)現(xiàn)或者程序是無錯(cuò)的，即［16］

其中，fault∈P'表示 P'中的缺陷;failure∈T表示缺陷fault引起的失效failure能被T發(fā)現(xiàn).

A2是具有下述屬性的程序的集合:程序包含缺陷，且所有缺陷都不能被T發(fā)現(xiàn)，即

圖1給出程序空間的劃分，結(jié)合測(cè)試有效性的概率形式的定義，得Pr(P∈A2|T)=1－ρT.

圖1 程序空間Ω的劃分

假定測(cè)試集合T測(cè)試程序P的結(jié)果為執(zhí)行N個(gè)測(cè)試用例，發(fā)現(xiàn)0個(gè)失效，用符號(hào)o表示為:o={N個(gè)測(cè)試用例執(zhí)行，發(fā)現(xiàn)了0個(gè)失效}.現(xiàn)象o出現(xiàn)，可能有下述2種情況:①P∈A1且 P=PG;②P∈A2且具有未知的失效概率∈［0，1］.

設(shè)f(θ|o，ρT)表示在出現(xiàn)現(xiàn)象o下的失效密度函數(shù)，則有

式中，f(θ|o，ρT)表示觀察到現(xiàn)象o、測(cè)試有效性為ρT下的條件失效密度函數(shù);Pr(P∈A1)表示程序P屬于子域A1的概率，即程序P中有缺陷，且能被T發(fā)現(xiàn)的概率;Pr(P∈A2)表示程序P屬于子域A2的概率，即程序P中有缺陷，但不能被T發(fā)現(xiàn)的概率;δ(0)表示 delta函數(shù)［16］，delta分布本身是一個(gè)比較特殊的函數(shù)，表示如下:

其概率密度函數(shù)表示為

此處用于表示

即δ(0)表示此時(shí)的條件概率密度;β［1，N+1］(θ)表示N個(gè)測(cè)試用例執(zhí)行下0個(gè)失效的后驗(yàn)密度.

對(duì)于給定的(p0，α)，當(dāng)不容忍失效時(shí)，所需最小用例數(shù)N為滿足下式中n的最小整數(shù):

化簡(jiǎn)上式可以得到

設(shè) ρT=0，則有

不難看出式(16)與式(9)相同，這表明Bayesian方案中將測(cè)試有效性簡(jiǎn)化為0.

下面對(duì)式(15)進(jìn)行分析，令

兩邊同時(shí)對(duì)ρT求導(dǎo)，則有

因?yàn)?≤ρT＜1，0 ＜p0＜1，所以 Y'ρT＜0，即 Y 是 ρT的減函數(shù)，隨著ρT增加Y減小.

工程實(shí)踐中進(jìn)行無失效考核往往需要數(shù)目龐大的測(cè)試用例數(shù)量［17］，原因之一是:對(duì)于不同的軟件來說，測(cè)試有效性越高，測(cè)試用例的缺陷探測(cè)性能越好，此時(shí)所需的測(cè)試用例量就少;反之，所需的測(cè)試用例量就大.但現(xiàn)有方案不考慮軟件在測(cè)試性方面的不同，進(jìn)而不考慮測(cè)試集合在不同軟件的測(cè)試有效性的不同，而是把所有測(cè)試集合在軟件上的測(cè)試能力都忽略為0，從而從最保守估計(jì)的角度確定測(cè)試集合量的大小，無疑在某些情況下浪費(fèi)了大量的測(cè)試用例.

3 測(cè)試有效性的定量估計(jì)

3.1 基本原理

假設(shè)P是Ω的一個(gè)隨機(jī)實(shí)現(xiàn)，利用統(tǒng)計(jì)故障注入法來得到ρT的定量估計(jì)，具體內(nèi)容包括:

1)在P 的基礎(chǔ)上生成若干變異程序［18－20］P'，令P'中的缺陷具有與P相同的統(tǒng)計(jì)分布特征，這樣P'中的缺陷就包括原程序P中的缺陷和新植入的缺陷.由于原P中的缺陷不能被測(cè)試集合T檢測(cè)出來，這樣原來的缺陷就不會(huì)對(duì)T的測(cè)試有效性產(chǎn)生貢獻(xiàn)，因此T在P'上的測(cè)試情況就相當(dāng)于其在無錯(cuò)版本PG基礎(chǔ)上加隨機(jī)新植入缺陷集合(記為FSi)上的測(cè)試情況，即PG+FSi.觀察T在FSi上的測(cè)試情況相當(dāng)于T在以PG為基礎(chǔ)而隨機(jī)注入缺陷所得版本上的測(cè)試情況.由于P本身就是一個(gè)以無錯(cuò)版本PG為基礎(chǔ)而包含隨機(jī)錯(cuò)誤的程序，所以觀察T在FSi上的測(cè)試情況就相當(dāng)于T在P上的測(cè)試情況.

2)將隨機(jī)注入缺陷FSi得到的變異程序P'的集合分為2個(gè)子集，其中子集B1表示能夠被T檢測(cè)出錯(cuò)誤的變異程序的集合，B2表示不能夠被T檢測(cè)出錯(cuò)誤來的變異程序的集合，依據(jù)圖1所示的程序空間的劃分，計(jì)算出變異程序P'落入B1的概率，即求得測(cè)試有效性的定量估計(jì)值.

3.2 基本假設(shè)

下面給出上述原理成立所需要的一些基本假設(shè):①所有植入缺陷引起的失效都能夠在輸出端被清楚地觀測(cè)到;②在故障注入之前，原程序P中的缺陷不能被T檢測(cè)出來;③每一個(gè)植入缺陷都是相互獨(dú)立的，植入的缺陷是與失效現(xiàn)象一一對(duì)應(yīng)的.

3.3 構(gòu)造變異程序

依據(jù)統(tǒng)計(jì)分布規(guī)律在人為植入故障的基礎(chǔ)上構(gòu)造變異程序P'，具體步驟如下:

1)假設(shè)原程序的故障數(shù)服從某一概率分布，具體可以依據(jù)一些先驗(yàn)信息來確定;

2)根據(jù)分布特征，在所有植入故障的集合中按照該統(tǒng)計(jì)分布隨機(jī)抽樣得到Mi個(gè)缺陷;

3)通過故障注入法將這Mi個(gè)缺陷注入到原程序P中，則得到變異程序P'.

以泊松分布為例對(duì)上述過程進(jìn)行說明:

1)設(shè)程序中的故障數(shù)服從泊松分布，根據(jù)泊松分布的特點(diǎn)，需要利用參數(shù)λ進(jìn)行泊松分布函數(shù)的構(gòu)造，此時(shí)的λ代表程序中潛藏缺陷數(shù)目的平均值M^.對(duì)于程序P來說，M^可以根據(jù)程序的規(guī)模、復(fù)雜度等信息事先估計(jì)得到［21］.

2)獲得參數(shù)λ的估計(jì)值后，可以得到此分布的概率密度函數(shù)，如下式所示:

4)得到Mi的一個(gè)隨機(jī)抽樣值m后，從所有植入缺陷集合中隨機(jī)抽取m個(gè)缺陷通過故障注入技術(shù)注入到程序P中.植入的過程為:假定已經(jīng)事先設(shè)計(jì)了N個(gè)錯(cuò)誤，且滿足N?λ，且對(duì)每一個(gè)故障進(jìn)行編號(hào) 1，2，…，N.在［0，1］區(qū)間內(nèi)，隨機(jī)生成 m 個(gè)隨機(jī)數(shù) η1，η2，…，ηm，令 Ki= ［(N －1)ηi］+1，i=1，2，…，m.這樣便得到 m 個(gè)故障編號(hào)K1，K2，…，Km.如果m個(gè)故障編號(hào)中有重復(fù)編號(hào)Ki，且重復(fù)次數(shù)為k，則只保留一個(gè)這樣的故障編號(hào)，刪除其他重復(fù)故障編號(hào)，重新再生成k－1個(gè)隨機(jī)數(shù)，按上述方法重新得到k－1個(gè)故障編號(hào)，直到最后得到m個(gè)不同的故障編號(hào)為止.再根據(jù)這m個(gè)故障編號(hào)把對(duì)應(yīng)故障注入程序，即得到變異程序P'.

5)重復(fù)3)，4)，直至得到F個(gè)變異程序.F可以盡可能的大，也可以根據(jù)實(shí)際情況進(jìn)行確定，但理論上講，F(xiàn)越大，意味著最后計(jì)算得到的ρT值越接近于真實(shí)值.

3.4 利用測(cè)試結(jié)果確定P'的分類

設(shè)FSi表示最后得到的第i個(gè)P'i的植入缺陷集合，i=1，2，…，F(xiàn).每個(gè)錯(cuò)誤集合 FSi包含的錯(cuò)誤數(shù)量為Mi.利用T對(duì)P'i進(jìn)行測(cè)試時(shí)，測(cè)試過程中會(huì)出現(xiàn)以下3種情況:

1)順序執(zhí)行T中的測(cè)試用例，直到有一個(gè)失效產(chǎn)生，并且這個(gè)失效可以追蹤到新植入的缺陷集合FSi中的某個(gè)缺陷，則說明FSi能夠被T檢測(cè)出來，即此P'i屬于B1，記φ(FSi)=1;

2)順序執(zhí)行T中的所有測(cè)試用例，但是沒有失效產(chǎn)生.這樣，缺陷集合FSi不能被T檢測(cè)出來，即此 P'屬于 B2，記 φ(FSi)=0;

3)順序執(zhí)行T中的測(cè)試用例，直到有一個(gè)失效產(chǎn)生，并且對(duì)這個(gè)失效追蹤時(shí)發(fā)現(xiàn)，它不是由新植入的缺陷集合FSi中的任何一個(gè)缺陷產(chǎn)生的，那么由假設(shè)可知，它一定是新植入的缺陷與原程序P中的一個(gè)真實(shí)缺陷之間相互作用產(chǎn)生的相關(guān)錯(cuò)誤，不滿足統(tǒng)計(jì)故障注入獨(dú)立性的特點(diǎn).因此，將此缺陷從N個(gè)缺陷組成的缺陷集合中排除，并重新生成一個(gè)新的缺陷，對(duì)N個(gè)缺陷重新進(jìn)行編號(hào)，重復(fù)3.3節(jié)中的步驟3)～5)，重新生成F個(gè)P'，并重新利用T對(duì)P'i進(jìn)行測(cè)試，利用測(cè)試結(jié)果確定P'的分類.

重復(fù)上述過程，直至T對(duì)所有F個(gè)變異程序都完成測(cè)試，則可得T的測(cè)試有效性ρT如下:

式中，分子表示能夠被T檢測(cè)出缺陷的變異程序的個(gè)數(shù)，即B1中包含的程序數(shù)目.

4 測(cè)試有效性對(duì)SRDT測(cè)試量改進(jìn)

4.1 驗(yàn)證測(cè)試方案的改進(jìn)

綜上，考慮測(cè)試有效性的影響，對(duì)無失效考核的SRDT方案進(jìn)行改進(jìn)，內(nèi)容如下:①通過操作剖面隨機(jī)生成n個(gè)測(cè)試用例，一般來說，n≥50;②用該n個(gè)測(cè)試用例執(zhí)行軟件時(shí)，未發(fā)生任何失效;③根據(jù)3.3和3.4節(jié)介紹的方法，獲得測(cè)試有效性ρT的定量估計(jì)值;④利用式(15)確定考慮了測(cè)試有效性影響的可靠性驗(yàn)證測(cè)試所需的測(cè)試用例數(shù)量N;⑤通過操作剖面隨機(jī)生成N個(gè)測(cè)試用例，并執(zhí)行上述N個(gè)測(cè)試用例;⑥在測(cè)試執(zhí)行過程中，如果N個(gè)測(cè)試用例中發(fā)生了失效，則拒收;否則接收.

4.2 可靠性參數(shù)的估計(jì)

離散型軟件的可靠性評(píng)估是通過失效概率或成功率來完成的，此處定義失效概率為

其中，n為發(fā)生失效的測(cè)試用例數(shù);N為測(cè)試用例總數(shù).p的置信水平為1－α的置信限［23］為

其中，v1=2(N －n+1);v2=2n.

其中，v1=2(N－n);v2=2(n+1).

當(dāng)n=0時(shí)，失效概率單側(cè)置信上限［24］為

連續(xù)型軟件的可靠性評(píng)估是通過失效率來完成的，失效率的上限值［25］如下式所示:

4.3 考慮測(cè)試有效性的優(yōu)越性

表1給出不同(p0，α，ρT)下無失效考核的測(cè)試用例量N.

如果待驗(yàn)證的指標(biāo)為(p0，α)=(10－4，0.99)，按照 TRW 方案需要的測(cè)試用例數(shù)為46050，Bayesian方案需要測(cè)試用例數(shù)為46 049.而對(duì)于考慮測(cè)試有效性的Bayesian方案，當(dāng)假定測(cè)試有效性ρT=0.5時(shí)，所需要的測(cè)試用例數(shù)為39118，測(cè)試用例數(shù)減少了 15.1%;假定 ρT=0.9時(shí)，所需要的測(cè)試用例數(shù)為23024，測(cè)試用例數(shù)則減少50%;所需測(cè)試用例數(shù)顯著下降.所以，考慮測(cè)試有效性的Bayesian方案對(duì)于減輕測(cè)試負(fù)擔(dān)是非常有效的，尤其在P0非常小的情況下.

5 結(jié) 束 語

本文從軟件測(cè)試性的角度出發(fā)，分析了其對(duì)軟件可靠性測(cè)試用例集合的影響，提出了測(cè)試有效性的概念.分析了測(cè)試有效性對(duì)于SRDT方案中測(cè)試量的影響，給出了測(cè)試量的量化表示模型，并比較了具有不同測(cè)試有效性的測(cè)試集合在數(shù)量上的差距，證明了TRW方案和Bayesian方案給出的測(cè)試量都是在假定測(cè)試有效性為零的情況下的保守估計(jì)，給出了統(tǒng)計(jì)故障注入方法下的測(cè)試有效性的定量估計(jì)方法和在該方法指導(dǎo)下改進(jìn)的可靠性驗(yàn)證測(cè)試方案及可靠性評(píng)估方法.

本文認(rèn)為測(cè)試有效性對(duì)于改進(jìn)SRDT方法、優(yōu)化測(cè)試集合、縮小驗(yàn)證測(cè)試工作量，提高測(cè)試效率具有重要的意義，當(dāng)然，如果在測(cè)試用例集合選擇時(shí)，能夠優(yōu)先選用測(cè)試有效性高的測(cè)試用例集合，既可以大大降低測(cè)試工作量，也為一些超高可靠軟件的SRDT提供了可能.

References)

［1］李秋英，姜夢(mèng)岑.軟件可靠性驗(yàn)證測(cè)試最小測(cè)試量的必要條件［J］.北京航空航天大學(xué)學(xué)報(bào)，2010，36(2):239 －243 Li Qiuying，Jiang Mengcen.Analysis of necessary condition for minimal software reliability demonstration test suite［J］.Journal of Beijing University of Aeronautics and Astronautics，2010，36(2):239－243(in Chinese)

［2］覃志東，雷航，桑楠，等.連續(xù)執(zhí)行軟件可靠性驗(yàn)證測(cè)試方法［J］.計(jì)算機(jī)科學(xué)，2005，32(6):202 －207 Qin Zhidong，Lei Hang，Sang Nan，et al.Reliability demonstration testingmethod for continuous execution software［J］.Computer Science，2005，32(6):202 －207(in Chinese)

［3］ Andy P，Wassim M，Yolanda M.Estimation of software reliability by stratified sampling［J］.ACM Transactions on Software Engineering and Methodology，1999，8(3):263 －283

［4］ Cukic B.Accelerated testing for software reliability assessment［C］//Biljanovic P.21st Annual International Conference MIPRO'98.Washington DC:IEEE Com Soc，1998:124 －129

［5］ Alam S，Chen H，Ehrlich WK，et al.Assessing software reliability performance under highly critical but infrequent event occurrences［C］//Philip G.8th ISSRE.Los Alamitos:IEEE Comp Soc，1997:294 －303

［6］ Hecht M，Hecht H.Use of importance sampling and related techniques to measure very high reliability software［C］//Joel S.Aerospace Conference Proceedings.Montana:IEEE Aerospace and Electronics Systems Soc，2000:533 －546

［7］ Tang D，Hecht M，Miller J.MEADEP and its applications in evaluating dependability for air traffic control systems［C］//Schueppert.Proceedings of the Annual Reliability and Maintainability Symposium Anaheim.Washington DC:IEEE Reliability Society，1998:19 －22

［8］顏炯，王戟，陳火旺.基于重要度抽樣的軟件統(tǒng)計(jì)測(cè)試加速［J］.計(jì)算機(jī)工程與科學(xué)，2005，27(3):64 －66 Yan Jiong，Wang Ji，Chen Huowang.Software statistical test acceleration based on importance sampling ［J］.Computer Engineering and Science，2005，27(3):64 －66(in Chinese)

［9］ IEEE SA 610.12-1990 IEEE standard glossary of software engineering terminology，［S］

［10］ ISO/IEC9126-91 Software engineering-product quality［S］

［11］ Hamlet D，Voas J.Faultson its sleeve:amplifying software reliability testing［C］//Thomas O.1993 ACM SGSOFT.Cambridge:ACM Society，1993:89 －98

［12］ Chen W，Untch R H，Rothermel G.Can fault-exposure-potential estimates improve the fault detection abilities of test suites?［J］.Journal of Software Testing，Verification，and Reliability，2002，4(2):197 －218

［13］趙亮，王建民，孫家廣.軟件易測(cè)性和軟件可靠性關(guān)系研究［J］.計(jì)算機(jī)學(xué)報(bào)，2007，30(6):986 －991 Zhao Liang，Wang Jianmin，Sun Jiaguang.Study on the relationship between software testability and reliability［J］.Chinese Journal of Computers，2007，30(6):986 －991(in Chinese)

［14］ Miller KW，Morell L J，Noonan R E.Estimating the probability of failure when testing reveals no failures［J］.IEEE Transactions on Software Engineering，1992，18(1):33 －43

［15］ Kuball S，Hughes G，May J，et al.The effectiveness of statistical testing when applied to logic systems［J］.Safety Science，2004，42(5):369－383

［16］ Kuball S，May J.Test-adequacy and statistical testing combining different properties of a test-set［C］//Stephanie K.15th ISSRE.Washington DC:IEEE Com Soc，2004:161 －172

［17］覃志東，雷航，桑楠，等.安全關(guān)鍵軟件可靠性驗(yàn)證測(cè)試方法研究［J］.航空學(xué)報(bào)，2005，26(3):334 －339 Qin Zhidong，Lei Hang，Sang Nan，et al.Study on the feliability demonstration testing method for safety critical software［J］.Acta Aeronautica et Astronautica Sinica，2005，26(3):334 － 339(in Chinese)

［18］ Woodward M R，Halewood K.From weak to strong，dead or alive，an analysis of some mutation testing issues［C］//2nd Workshop on Software Testing，Verification and Analysis.Washington DC:IEEE Com Soc，1988:152 －158

［19］ Agrawal H，Demillo R，Hathaway B，et al.Design of mutant operators for the C programming language［R］.SERC-TR-41-P，2006

［20］趙性頌，顧斌.變異測(cè)試在嵌入式軟件中的應(yīng)用［J］.微計(jì)算機(jī)信息，2009，25(11－2):87－88 Zhao Xingsong，Gu Bin.The application of mutation testing in embedded software ［J］.Microcomputer Information，2009，25(11－2):87－88(in Chinese)

［21］ Lyu M R.Handbook of software reliability engineering［M］.New York:McGraw Hill，1996

［22］楊為民，盛一興.系統(tǒng)可靠性數(shù)字仿真［M］.北京:北京航空航天大學(xué)出版社，1990:52－54 Yang Weimin，Sheng Yixing.System reliability digital simulation［M］.Bejing:Beijing University of Aeronautics and Astronautics Press，1990:52 －54(in Chinese)

［23］GB/T 4087.2-1983 數(shù)據(jù)的統(tǒng)計(jì)處理和解釋［S］GB/T 4087.2-1983 Statistical interpretation of data［S］(in Chinese)

［24］GB 4087.3-85 數(shù)據(jù)的統(tǒng)計(jì)處理和解釋二項(xiàng)分布可靠度單側(cè)置信下限［S］GB 4087.3-85 Statistical interpretation of data One-sided reliability confidence lower limit［S］(in Chinese)

［25］ Kececioglu D.Reliability and life testing handbook［M］.NJ:Prentice Hall，Englewood Cliffs，1993:722 － 724

(編 輯:婁 嘉)

Effects of software test efficiency on software reliability demonstration testing effort

Li Qiuying Li Haifeng Wang Jian

(School of Reliability and Systems Engineering，Beijing University of Aeronautics and Astronautics，Beijing 100191，China)

To solve the problem that in the traditional software reliability demonstration testing(SRDT)，software testability was not considered as one of the possible influence factors on test effort，a method which introduced test efficiency to improve the quantity model of minimal sample size in SRDT was put forward.The definition of software testability and its effect on software reliability test suite were analyzed.The concept of test efficiency was proposed.The difference between the numbers of test cases with different test efficiency and whether efficiency is considered were compared.It was demonstrated in detail that the traditional method and the Bayesian method with no prior knowledge are all the conditions where the testefficiency equaled to zero，so both the methods gave the most conservative value.The improved method combined with the testefficiency was recommended.Based on the principle of statistical fault injection，the quantitative estimation method of testefficiency was proposed and the process and the estimation method were shown by a case study.

software reliability;demonstrations;testing;efficiency;effects;estimation

TP 311

A

1001-5965(2011)03-0325-06

2010-10-11

國(guó)防科技工業(yè)技術(shù)基礎(chǔ)科研項(xiàng)目(Z132010B001)

李秋英(1973 －)，女，黑龍江大慶人，講師，li_qiuying@buaa.edu.cn.