李秋英 李海峰 陸民燕 王學成

(北京航空航天大學 可靠性與系統(tǒng)工程學院,北京 100191)

基于 S型測試工作量函數(shù)的軟件可靠性增長模型

李秋英 李海峰 陸民燕 王學成

(北京航空航天大學 可靠性與系統(tǒng)工程學院,北京 100191)

軟件測試工作量隨時間的變化情況對于軟件可靠性增長曲線的形狀具有顯著影響,因此將測試工作量函數(shù)(TEF,Testing Effort Function)引入軟件可靠性增長模型(SRGM,Software Reliability Growth Model)中以提高軟件可靠性評估性能.分析了軟件結構特征及學習因素對實際測試過程的綜合影響,研究增長速率為先增后減的 S型增長趨勢的 TEF,提出兩種 S型 TEF,即延遲 S型 TEF與變形 S型 TEF,并提出考慮延遲 S型 TEF的 SRGM(DSTEF-SRGM)以及變形 S型 TEF的 SRGM(ISTEF-SRGM).在兩組真實失效數(shù)據(jù)集上,進行了這兩種 SRGM與經(jīng)典 SRGM及其它考慮 TEF的 SRGM的對比研究.結果表明,ISTEF-SRGM的模型擬合效果最優(yōu),同時驗證了該模型具有優(yōu)越的軟件可靠性評估性能及模型適應性.

軟件可靠性;測試;可靠性分析;增長;模型

軟件可靠性已成為軟件發(fā)布時用戶最為關心的指標之一[1].SRGM(Software Reliability Growth Model)作為軟件可靠性評估與預計的主要手段,從上世紀 70年代起,就一直是軟件可靠性工程領域最為關注的研究方向之一[2-3].雖然已有部分經(jīng)典的 SRGM被成功地應用于各類安全關鍵軟件中[4-5],但若能在軟件可靠性建模中考慮軟件測試過程因素的影響,將會進一步提升現(xiàn)有模型的擬合與預計性能[6-8].

測試工作量被認為是一種重要的測試過程因素[6],是指在測試過程中所消耗的資源,可用人力、執(zhí)行的測試用例數(shù)、CPU時間等信息來度量[9].與日歷時間相比,測試工作量對缺陷探測效率的貢獻更為直接[10],其隨測試時間的變化情況對軟件可靠性增長曲線的形狀具有顯著影響[11].早期 SRGM或不考慮測試工作量,或假設測試工作量隨時間的消耗率是常值[1,3,12]顯然是不合理的.如何建立準確定量描述測試工作量隨測試時間變化情況的測試工作量函數(shù)(TEF,Testing Effort Function),進而建立考慮 TEF的 SRGM已成為軟件可靠性建模研究的熱點之一[6,9,11,13-22].

目前已有的 TEF包括:指數(shù)、雷利、威布爾[13]、指數(shù)威布爾[14]、泛化指數(shù)[15]、Burr[16]、Logistic[6,9,11,23]、泛 化 Logistic[17-18]、Log-Logistic[19]及 Chatterjee學習函數(shù)模型[20],在此基礎上開展的考慮 TEF的軟件可靠性建模研究包括:①結合指數(shù)型非齊次泊松過程類(NHPP,Non-Homogeneous Poisson Process)的 SRGM[9,11,13-20];②結合S型 NHPP類的 SRGM[6,21-22];③考慮變點[23-26]、排錯情況[21,27-28]及失效類型[29]等因素的擴展模型.其中,第 1種類型的模型最為常見且是其它兩類模型的研究基礎,因此,本文的研究內(nèi)容與實例驗證均圍繞這種結合指數(shù)型 NHPP類 SRGM展開,暫不考慮與后兩類模型的對比研究.

實際測試過程經(jīng)常會出現(xiàn)如下情形:初始時測試工作量快速增長,但進行到某一時間點后,由于軟件結構以及學習因素等綜合影響,測試工作量的增長速率會逐漸變慢并趨于平穩(wěn),因此測試工作量隨時間的增長速率會呈現(xiàn)出先增后減的 S型增長趨勢[11].此時,指數(shù)類、威布爾類等TEF顯然不再適合.Logistic TEF[11]雖然也是一種 S型TEF,但其初始測試工作量不為 0,與直覺不符;且僅有這一種 S型 TEF對于 TEF及其建模研究是遠遠不夠的.

延遲 S型函數(shù)[30]與變形 S型函數(shù)[31]是兩種經(jīng)典的 S型函數(shù),適于描述 S型增長趨勢,且已被應用于軟件可靠性建模研究[30-31].本文首先提出兩種 S型 TEF,然后提出兩種考慮 S型 TEF的指數(shù)型 NHPP類 SRGM(STEF-SRGM),最后將這兩種 STEF-SRGMs與若干傳統(tǒng) NHPP類 SRGMs及其它典型的考慮 TEF的指數(shù)型 NHPP類 SRGMs進行對比,以驗證 STEF-SRGMs在模型評估性能上的有效性與適用性.

1 TEF概述

TEF不但可用于描述測試工作量隨時間的變化情況,也是建立考慮 TEF的 SRGM的前提與基礎.本節(jié)首先介紹現(xiàn)有的 TEF(如表 1所示).其中,W(t)表示時間間隔[0,t]內(nèi)的累積測試工作量,Wmax表示最終消耗的測試工作量,即 Wmax=W(∞),w(t)是測試工作量在時刻 t的增長速率函數(shù),f(t)是學習因素函數(shù)(t的增函數(shù)).

對表 1中的 TEF,補充說明如下:

①雖然威布爾類 TEF(表 1的 1～6)具有形式靈活等優(yōu)點,但其無法很好地描述 S型增長趨勢,且當形狀參數(shù) m＞3時,威布爾類型的函數(shù)會有較明顯的峰值現(xiàn)象[11];②Logistic類 TEF(表 1的 7～8)雖然為 S型 TEF,但當 t=0時,計算出的初始測試工作量 W(0)不為 0,這一結論與直覺不相符;③Chatterjee提出的考慮學習函數(shù)的 TEF的形式較復雜,且與 Log-logistic TEF的表現(xiàn)相同,即基于這兩種 TEF的 SRGM的評估性能一般,因此在相關研究中未得到關注.

表 1 已有的測試工作量函數(shù)

2 考慮 S型 TEF的 SRGM

本節(jié)首先提出兩種 S型 TEF,在此基礎上提出兩種考慮 S型 TEF的 NHPP類 SRGM.

2.1 S型TEF

2.1.1 延遲 S型 TEF

利用延遲 S型函數(shù)來描述測試工作量隨時間的變化趨勢,則[0,t]內(nèi)的累積測試工作量為

其中 b為測試工作量消耗率,且 b＞0.

由式(1)可知:①W(0)=0,即初始測試工作量為 0;②W(t)為非負值且隨時間 t單調遞增,這與測試過程中測試工作量的不斷增長相符合;③將W(t)對時間 t求導,可得 TEF隨時間的變化速率函數(shù)為

其中,w(t)是一個先增后減的函數(shù),在 t=1/b時,測試工作量的增長速率達到最大值.

2.1.2 變形 S型 TEF

利用變形 S型函數(shù)描述測試工作量隨時間的變化形式,則[0,t]內(nèi)的累積測試工作量為

其中 ψ是常量.

由式(3)可知:①W(0)=0;②W(t)為非負值且隨時間 t單調遞增;③增長速率函數(shù)為

其中,w(t)是先增后減的函數(shù),在 t=lnψ/b時,測試工作量的增長速率達到最大值.

2.2 考慮 S型 TEF的 SRGM(STEF-SRGM)

STEF-SRGM的模型假設如下[6,9,11,14]:

①軟件缺陷探測過程服從 NHPP過程,且軟件中殘存的缺陷總數(shù)是一個定值,記為 N;②當前軟件失效是由殘存缺陷引發(fā)的;③在時間間隔[t,t+Δt]內(nèi)探測到的缺陷數(shù)均值與殘存缺陷數(shù)成正比,該比值表示測試過程中的缺陷探測率;④利用延遲或變形 S型 TEF來描述測試工作量隨時間的消耗情況;⑤缺陷一旦被發(fā)現(xiàn),立即被排除且不引入新錯.

根據(jù)上述假設可得考慮 TEF的指數(shù)型 NHPP類 SRGM滿足下式[9]:

其中,m(t)是[0,t]時間段的探測缺陷數(shù)的期望值;r表示每個缺陷被檢測到的概率.

在邊界條件 m(0)=0下,對式(5)求解可得:

由于 W(0)=0,式(6)可以簡化為

由式(7)可得

式(7)、式(8)可以定量地反映缺陷探測數(shù)均值與所消耗的測試工作量之間的關系.根據(jù)式(7),結合式(1)、式(3)即可獲得如下兩種考慮 S型 TEF的指數(shù)型 NHPP類 SRGMs.

2.2.1 考慮延遲 S型 TEF的 SRGM(DSTEFSRGM)

將式(1)代入式(7),可以得到考慮延遲 S型TEF的 NHPP類 SRGM:

由式(9)可得失效強度函數(shù)和最終軟件殘存的缺陷數(shù):

2.2.2 考慮變形 S型 TEF的 SRGM(ISTEFSRGM)

將式(3)代入式(7),得到考慮變形 S型 TEF的NHPP類SRGM:

由式(12)可得失效強度函數(shù)和最終軟件殘存的缺陷數(shù):

3 實例驗證

3.1 實例概述

1)選取 12個 NHPP類 SRGMs作為對比模型,其中前 9個模型為經(jīng)常用于軟件可靠性建模驗證研究的經(jīng)典 NHPP類 SRGMs[1,3],后 3個模型為目前最為典型的 TEF-SRGMs,詳見表 2.

2)選擇兩組真實的失效數(shù)據(jù)集 Ohba與Wood[6],用于估計模型的參數(shù)值并計算模型的擬合結果.這兩組數(shù)據(jù)集均是用于軟件可靠性模型性能比較的經(jīng)典范例,均包含 3類數(shù)據(jù),即測試時間(t),測試工作量(W)以及探測缺陷數(shù)(m).計算過程中,本文將 Wood數(shù)據(jù)集中的測試工作量數(shù)據(jù)縮小 100倍,目的是為了提高模型參數(shù) Wmax的估計質量,且這種縮放處理不會對模型的可靠性評估性能對比產(chǎn)生影響.

3)選用最小二乘估計(LSE,Least Square Estimation)作為模型參數(shù)估計方法,LSE產(chǎn)生的估計結果具有無偏性[32].

4)選用 3種經(jīng)典評價準則作為模型擬合結果的評價準則,分別為均值誤差平方和[6](見式(15))、回歸曲線方程的相關指數(shù)[8](見式(16))、相對誤差圖[6](RE圖,見式(17)).

其中,yi為真實的觀測數(shù)據(jù),y′i為模型計算出的對應 yi的擬合值.MSE值越小,則模型擬合效果越好,也即表明模型的可靠性評估性能越好.

其中,yave表示觀測數(shù)據(jù) yi的均值.RSq值越接近于1,則模型擬合效果越好.

RE圖由模型在每個觀測數(shù)據(jù)點上計算出的RE值(式(17))繪制而成.

RE圖整體越接近于 x軸,模型擬合效果越好.

3.2 實例計算結果與分析

表 2分別列出各模型在兩組失效數(shù)據(jù)集上的參數(shù)估計值和模型擬合結果,具體分析如下.

表 2 STEF-SRGMs與對比 SRGMs在各組失效數(shù)據(jù)集上的參數(shù)估計與模型擬合結果

1)Ohba數(shù)據(jù)集上的擬合結果.①在 Ohba數(shù)據(jù)集上,本文提出的 ISTEF-SRGM的擬合結果為最優(yōu)(MSE值最小,為 74.05;RSq值最接近于 1,為0.993),且顯著好于其它對比模型;但 DSTEFSRGM的擬合效果表現(xiàn)一般.②擬合效果最好的前 5個模型依次為:ISTEF-SRGM、GGO、威布爾-TEF、指數(shù)威布爾-TEF、Logistic-TEF.③圖 1描述了這 5個擬合效果最優(yōu)模型對 Ohba數(shù)據(jù)集中每個探測缺陷數(shù)均值的擬合值與實際觀測值的對比情形,可看出,ISTEF-SRGM的擬合圖形與實際觀測值圖形的整體增長趨勢最為相似,且在許多點上的距離也最為接近.④圖 2是根據(jù) 5個擬合效果最優(yōu)模型在 Ohba數(shù)據(jù)集中每個數(shù)據(jù)點上的 RE值繪制得到的模型 RE圖.可看出,ISTEF-SRGM的 RE圖整體上最接近于 x軸,且這 5個模型在多數(shù)點上的擬合結果略偏于保守.

圖1 Ohba數(shù)據(jù)集上的擬合結果

圖2 Ohba數(shù)據(jù)集上的 RE圖

2)Wood數(shù)據(jù)集上的擬合結果.①在 Wood數(shù)據(jù)集上,本文提出的 ISTEF-SRGM的擬合效果依然為最優(yōu)(MSE值最小,為 7.88;RSq值最接近于1,為 0.990),且顯著好于其它對比模型.但DSTEF-SRGM的擬合效果依然表現(xiàn)一般.②擬合效果最好的前 5個模型依次為:ISTEF-SRGM、IS、GGO、GO和 OID.③圖 3描述了這 5個擬合效果最優(yōu)模型對 Wood數(shù)據(jù)集中每個探測缺陷數(shù)均值的擬合值與實際觀測值的對比情形.可看出,ISTEF-SRGM的擬合圖形與實際觀測值圖形的整體增長趨勢最為相似且在許多點上的距離也最為接近.④圖 4是根據(jù) 5個擬合效果最優(yōu)模型在Wood數(shù)據(jù)集中每個數(shù)據(jù)點上的 RE值繪制得到的模型 RE圖.可看出,ISTEF-SRGM在 Wood數(shù)據(jù)集上的 RE圖整體上最接近于 x軸,且這 5個模型在多數(shù)點上的擬合結果略偏于樂觀.

圖3 Wood數(shù)據(jù)集上的擬合結果

圖4 Wood數(shù)據(jù)集上的 RE圖

3)實例計算結果分析.綜上,可得出如下結論:①本文提出的考慮變形 S型 TEF的 SRGM在兩組數(shù)據(jù)集上的擬合效果均是最優(yōu)的,顯著優(yōu)于絕大部分對比模型,從而證明 ISTEF-SRGM在模型評估性能上具有很好的有效性及適用性;②對于 Ohba數(shù)據(jù)集,擬合效果最優(yōu)的 5個模型中有 4個是 TEF-SRGM,所以在軟件可靠性建模中考慮TEF,確實可以有效地改進傳統(tǒng)模型的評估性能;③ISTEF-SRGM的評估性能顯著優(yōu)于 2種最典型的 TEF-SRGM,即 Logistic-TEF和指數(shù)威布爾 TEF模型,從而表明了本文研究成果具有顯著的理論研究意義;④本文提出的考慮延遲 S型 TEF的SRGM(DSTEF-SRGM)在兩組數(shù)據(jù)集上的擬合效果均表現(xiàn)一般.分析原因,可能是因為延遲 S型TEF并不適合用于描述測試工作量隨時間的增長趨勢、進而影響了模型的評估性能.因此,選擇合適的 TEF對于保證 TEF-SRGM的可靠性評估性能具有重要意義.

4 結束語

本文提出兩種 S型 TEF,即延遲 S型與變形S型 TEF,在此基礎上提出兩種考慮 S型 TEF的SRGMs,并在兩組經(jīng)典失效數(shù)據(jù)集上,將這 2種STEF-SRGMs與若干經(jīng)典 SRGMs及典型的 TEF-SRGMs進行了對比研究.結果表明,本文提出的考慮變形 S型 TEF的 SRGM的可靠性評估性能及模型適用性顯著有效,具有良好的理論研究意義與工程應用前景.

在未來的研究工作中,將關注以下問題:①將變形 S型TEF與S型 NHPP類軟件可靠性模型相結合;②在建模過程中考慮不完美排錯的情況;③與基于測試工作量函數(shù)的 S型 NHPP類軟件可靠性模型進行對比研究.

References)

[1]Lyu M R.Handbook of software reliability engineering[M].New York:McGraw Hill,1996

[2]Gokhale S S,Lyu M R.A simulation approach to structure-based software reliability analysis[J].IEEE Trans on Software Engineering,2005,31(8):643-656

[3]Pham H.Software reliability[M].Singapore:Springer-Verlag,2000

[4]Gana A,Huang S T.Statistical modeling applied to managing global 5ess-2000 switch software development[J].Bell Labs Technical Journal,1997,2(1):144-153

[5]Kruger G A.Validation and further application of software reliability growth models[J].Hewlett-Packard Journal,1989,40(4):75-79

[6]Huang C Y,Kuo SY,Michael R L.An assessment of testing-effort dependent software reliability growth models[J].IEEE Transactions on Reliability,2007,56(2):198-211

[7]Shibata K,Rinsaka K,Dohi T.Metrics-based software reliabil-ity models using non-homogeneous Poisson processes[C]//Proc of the 17thIEEE International Symposium on Software Reliability Engineering.Washington DC:IEEE Computer Society,2006:52-61

[8]謝景燕,安金霞,朱紀洪.考慮不完美排錯情況的 NHPP類軟件可靠性增長模型[J].軟件學報,2010,21(5):942-949 Xie JY,An JX,Zhu JH.NHPP software reliability growth model considering imperfect debugging[J].Journal of Software,2010,21(5):942-949(in Chinese)

[9]Kuo SY,Huang CY,Michael R L.Framework for modeling software reliability,using various testing-efforts and fault-detection rates[J].IEEE Transactions on Reliability,2001,50(3):310-320

[10]Norman E F,Martin N.A critique of software defect prediction models[J].IEEE Transactions on Software Engineering.1999,25(5):675-689

[11]Huang CY.Analysis of incorporating logistic testing-effort function into software reliability modeling[J].IEEE Transactions on Reliability,2002,51(3):261-270

[12]Musa JD,Iannino A.Software reliability,measurement,prediction and application[M].New York:McGraw Hill,1987

[13]Yamada S,Hishitani J,OsakiS.Software reliability growth model with Weibull testing effort:a model and application[J].IEEE Transactions on Reliability,1993,42(1):100-106

[14]Ahmad N,BokhariM U,Quadri SM K,et al.The exponentiated Weibull software reliability growth model with various testing efforts and optimal release policy[J].International Journal of Quality＆Reliability Management,2008,25(2):211-235

[15]Quadri SM K.Non homogeneous Poisson process software reliability growth model with generalized exponential testing effort function[J].RAU Journal of Research,2006,16(2):159-163

[16]Ahmad N,Khan M G M,Quadri SM K,et al.Modeling and analysis of software reliability with Burr type X testing-effort and release-time determination[J].Journal of Modeling in Management,2009,4(1):28-54

[17]Huang C Y.Cost-reliability-optimal release policy for software reliability models incorporating improvements in testing efficiency[J].The Journal of Systems and Software,2005,77:139-155

[18]Huang C Y.Optimal release time for software systems considering cost,testing-effort,and test efficiency[J].IEEE Transactions on Reliability,2005,54(4):583-591

[19]Bokhari M U,Ahmad N.Analysis of a software reliability growth models:the case of log-logistic test-effort function[C]//Proceedings of the 17thInternational Conference on Modeling and Simulation.Montreal,Canada:Acta Press,2006:540-545

[20]Chatterjee S,Misra R B,Alam SS.Joint effectof test effort and learning factor on software reliability and optimal release policy[J].International Journal of System Science,1997,28(4):391-396

[21]Ahmad N,Khan M G M.A study of testing-effort dependent inflection S-shaped software reliability growth models with imperfect debugging[J].International Journal of Quality＆Reliability Management,2010,27(1):89-110

[22]Jha PC,Gupta D,Yang B,et al.Optimal testing resource allocation during module testing considering cost,testing effort and reliability[J].Computers＆Industrial Engineering,2009,57:1122-1130

[23]Lin C T,Huang C Y.Enhancing and measuring the predictive capabilities of testing-effort dependent software reliability models[J].The Journal of Systems and Software,2008,81:1025-1038

[24]Huang C Y.Performance analysis of software reliability growth models with testing-effort and change-point[J].The Journal of Systems and Software,2005,76:181-194

[25]Kapur P K,Gupta A.Testing effort control using flexible software reliability growth modelwith change point[J].International Journal of Performability Engineering,2006,2(3):245-262

[26]Lin C T,Huang C Y,Chang J R.Integrating generalized Weibull-type testing-effort function andmultiple change-points into software reliability growth models[C]//12th Asia-Pacific Software Engineering Conference.Los A lam itos:IEEE Computer Society,2005:431-438

[27]Kapur P K,Goswami DN,Amit B,et al.Flexible software reliability growth model with testing effort dependent learning process[J].Applied Mathematical Modeling,2008,32:1298-1307

[28]Kapur P K,Grover P S.Modelling an imperfect debugging phenomenon with testing effort[C]//Proceedings of the 4thSoftware Reliability Engineering.Los Alamitos:IEEE,1994:178-183

[29]Kapur P K,Omar S,Anu G A,et al.Unified framework for developing testing effort dependent software reliability growth models[J].WSEAS Transactions on Systems,2009,4(8):521-531

[30]Yamada S,Ohba M,Osaki S.S-shaped software reliability growth modelsand their applications[J].IEEE Transon Reliability,1984,R-33(4):289-292

[31]Ohba M.Inflection S-shaped software reliability growth models[M].Stochastic Models in Reliability Theory.Berlin:Springer,1984:144-162

[32]Su Y S,Huang C Y.Neural-network-based approaches for software reliability estimation using dynam ic weighted combinational models[J].The Journal of Systems and Software,2007,80:606-615

[33]Yamada S,Tokuno K,Osaki S.Imperfect de bugging models with fault introduction rate for software reliability assessment[J].International Journal of Systems Science,1992,23(12):2241-2252

(編 輯 :婁 嘉)

Software reliability growth model with S-shaped testing effort function

Li Qiuying Li Haifeng Lu Minyan Wang Xuecheng

(School of Reliability and Systems Engineering,Beijing University of Aeronautics and Astronautics,Beijing 100191,China)

The shape of the observed reliability grow th curve depends strongly on the time distribution of the testing effort.Thus,the reliability estimation power of software reliability growth model(SRGM)can be improved by considering the testing effort function(TEF).Due to the integrated effects of software structure and learning factor on testing process,testing effort increasing rate may exhibit an S-shaped varying trend first increasing and then decreasing.To accurately describe this S-shaped varying trend,two S-shaped testing effort functions were proposed first,i.e.delayed S-shaped TEF and inflected S-shaped TEF,which were simple and flexible.Then two new SRGMs were put forward by combining two S-shaped TEFs into SRGM,i.e.DSTEFSRGM and ISTEF-SRGM.Finally,for two real failure data-sets,the case study was done by comparing these two S-shaped TEF-SRGMs with several classical SRGMs and other representative SRGMs considering TEF in the form of estimation power.The result shows that compared with these comparison models,the proposed ISTEF-SRGM has the best fitting results on each data-set.In other words,the proposed ISTEF-SRGM provides novel applicability and a significantly better power of reliability estimation.

software reliability;testing;reliability analysis;growth;models

TP 311

A

1001-5965(2011)02-0149-06

2010-07-13

李秋英(1973-),女,黑龍江大慶人,講師,li qiuying@buaa.edu.cn.