基于失效模式的軟件可靠性評估模型

田 雷 ,封 亮 ,李海峰

(1.上海華訊網(wǎng)絡(luò)系統(tǒng)有限公司,上海 201620;2.北京航空航天大學(xué),北京 100183)

0 引言(Introduction)

軟件尤其是安全關(guān)鍵軟件的失效可能會(huì)導(dǎo)致財(cái)產(chǎn)損失甚至人員傷亡。因此,可靠性已成為軟件發(fā)布時(shí)用戶最為關(guān)心的驗(yàn)證指標(biāo)[1]。作為軟件可靠性定量評估的重要手段,軟件可靠性模型已經(jīng)成功地應(yīng)用于各種類型關(guān)鍵軟件的開發(fā)過程[2-3]。

現(xiàn)有軟件可靠性模型主要依據(jù)基于運(yùn)行剖面的軟件可靠性測試中收集的失效時(shí)間數(shù)據(jù),對失效行為進(jìn)行定量評估或預(yù)計(jì),其存在揭錯(cuò)效率低下、工作量巨大等情況[4-8]。為解決這些問題,已有研究提出一個(gè)基于順序統(tǒng)計(jì)量的軟件可靠性模型處理混合測試數(shù)據(jù),但其需要同時(shí)開展功能測試以及可靠性測試,工作量較大[9];而基于失效模式的軟件測試方法,雖然可以提升揭錯(cuò)效率,但是其產(chǎn)生的失效數(shù)據(jù)卻不能用已有的模型進(jìn)行處理,難以準(zhǔn)確刻畫軟件運(yùn)行時(shí)的可靠性。

因此,本文在傳統(tǒng)軟件可靠性模型的基礎(chǔ)上,面向基于失效模式的軟件測試過程,借助失效模式概率與馬爾科夫過程,提出一種新的軟件可靠性評估模型,并在某型動(dòng)力控制軟件測試失效數(shù)據(jù)上開展工程實(shí)踐。應(yīng)用結(jié)果表明,新模型可對軟件測試過程中的失效數(shù)據(jù)進(jìn)行處理,獲得準(zhǔn)確的軟件可靠性定量評估結(jié)果。

1 基于運(yùn)行剖面與輸入空間的失效模式概率(The failure mode probability based on the operation profile and input domain)

1.1 軟件失效模式概率概述

軟件運(yùn)行過程中接收外部輸入數(shù)據(jù),如果功能處理過程出現(xiàn)異常,則外部輸出數(shù)據(jù)也會(huì)出現(xiàn)異常,導(dǎo)致軟件運(yùn)行出現(xiàn)失效(即軟件動(dòng)態(tài)執(zhí)行的輸出為不希望或不可接受的結(jié)果,是軟件系統(tǒng)運(yùn)行行為對用戶要求的偏離),即“輸入—處理—輸出”軟件失效鏈模型,該模型認(rèn)為決定失效模式發(fā)生概率的主要因素有兩點(diǎn),即失效模式所在功能的執(zhí)行概率,以及觸發(fā)失效模式的輸入空間分布概率[10]。

記失效模式k的發(fā)生概率為φk,失效模式k所在的功能m的執(zhí)行概率為f p m,失效模式k的輸入空間分布概率為εIPD,則失效模式k發(fā)生概率可由公式(1)計(jì)算:

由公式(1)可知,若想計(jì)算失效模式k的發(fā)生概率,需要先計(jì)算功能m的執(zhí)行概率f p m與失效模式k的輸入空間分布概率εIPD。

1.2 基于運(yùn)行剖面的功能執(zhí)行概率

假定軟件共有n個(gè)功能,各項(xiàng)功能的執(zhí)行概率記為。依據(jù)軟件運(yùn)行剖面,確定功能之間轉(zhuǎn)移關(guān)系的定量描述,即針對功能f i,假定其在運(yùn)行剖面中共有path i條轉(zhuǎn)移路徑(從起始點(diǎn)到結(jié)束點(diǎn)之間的若干功能之間轉(zhuǎn)移所組成的一條通路)可以經(jīng)過功能f i,則稱這些轉(zhuǎn)移路徑為功能f i的可達(dá)路徑。

假設(shè)功能f i的可達(dá)路徑K(K=1,…,path i)上共有K ik次轉(zhuǎn)移,每次轉(zhuǎn)移的發(fā)生概率記為tp ikj(j=1,…,K ik,tp ikj≤1),則功能f i的每條可達(dá)路徑上轉(zhuǎn)移概率的乘積之和即為功能f i的執(zhí)行概率fp i,如公式(2)所示:

1.3 軟件輸入空間分布概率

軟件輸入數(shù)據(jù)C的有效取值區(qū)間為ψ,無效取值區(qū)間為θ,則輸入數(shù)據(jù)C的取值空間?=ψ∪θ。可依據(jù)軟件歷史運(yùn)行數(shù)據(jù),對輸入數(shù)據(jù)C取值區(qū)間的分布概率進(jìn)行計(jì)算,具體計(jì)算方法如下。

假設(shè)共有m組運(yùn)行數(shù)據(jù),每組數(shù)據(jù)中均記錄輸入數(shù)據(jù)C的取值情況。假定第i組數(shù)據(jù)下,輸入數(shù)據(jù)C在有效取值區(qū)間ψ的取值次數(shù)為k i N,在無效取值區(qū)間θ的取值次數(shù)為k i A,則輸入數(shù)據(jù)C有效取值區(qū)間ψ的分布概率εψ如公式(3)所示:

輸入數(shù)據(jù)C無效取值區(qū)間θ的分布概率εθ如公式(4)所示:

1.4 基于功能執(zhí)行與輸入分布的失效模式概率

基于軟件功能執(zhí)行概率與輸入分布概率的計(jì)算,本文提出軟件失效模式概率的計(jì)算方法如下。

假設(shè)失效模式k的發(fā)生概率記為φk,其所在功能m的執(zhí)行概率記為f p m,并且失效模式k與功能m的一個(gè)或多個(gè)不同類型的輸入數(shù)據(jù)相關(guān)。

假定失效模式k對應(yīng)一個(gè)輸入數(shù)據(jù)C,若該輸入數(shù)據(jù)C在無效取值區(qū)間θ取值時(shí),導(dǎo)致失效模式k發(fā)生,則可依據(jù)公式(4)計(jì)算無效取值區(qū)間的分布概率εθ。

依據(jù)上述計(jì)算結(jié)果,可得到軟件失效模式k的發(fā)生概率φk如公式(5)所示:

2 基于馬爾科夫過程與失效模式的軟件可靠性評估模型(Soft ware reliability evaluation model based on Markov process and failure modes)

2.1 基于失效模式概率的功能失效率評估

假定軟件失效模式總數(shù)為N,在測試過程中共探測到m個(gè)失效模式,每個(gè)失效模式的發(fā)生概率記為φk,k=1,…,m。整個(gè)軟件測試過程中,累積失效模式概率記為{k,φk|k=1,…,m},k表示測試過程中的累積失效模式個(gè)數(shù);φk為測試過程中的累積失效模式概率,即。

將軟件測試結(jié)束時(shí)的功能失效率記為λO,軟件測試開始時(shí)的功能失效率記為λI。本論文提出如下幾個(gè)假設(shè),為軟件功能失效率的評估奠定基礎(chǔ)。

假設(shè)1:功能失效率是當(dāng)前殘存失效模式的發(fā)生概率之和。

假設(shè)2:考慮到學(xué)習(xí)因素的影響,軟件測試過程中累積失效模式概率的增長速率可能會(huì)呈現(xiàn)先增后減的“S”形增長趨勢。

根據(jù)假設(shè)2,本論文采用變形“S”形函數(shù)描述累積失效模式概率φk的這種“S”形增長趨勢,如公式(6)所示:

其中,φmax=λI=φN,c,b,q為參數(shù)常量。

假設(shè)3:假定功能失效模式總數(shù)N是有限的。

進(jìn)而獲得功能失效率的估計(jì)值如公式(8)所示:

2.2 基于馬爾科夫過程的軟件可靠性建模

馬爾科夫過程具有“無后效性”,即系統(tǒng)在下一時(shí)刻所要執(zhí)行的功能,僅取決于當(dāng)前時(shí)刻的執(zhí)行功能。針對長時(shí)間連續(xù)運(yùn)行的軟件,功能之間的轉(zhuǎn)移關(guān)系通常近似服從馬爾科夫過程。基于上述分析,本論文提出如下建模假設(shè)。

假設(shè)1:軟件可劃分為有限個(gè)獨(dú)立的功能模塊。

假設(shè)2:軟件運(yùn)行過程中,各項(xiàng)功能之間的轉(zhuǎn)移關(guān)系服從馬爾科夫過程。

假定軟件具有n個(gè)功能,功能i轉(zhuǎn)移到功能模塊j的轉(zhuǎn)移概率記為p ij。將轉(zhuǎn)移概率p ij依次排列,構(gòu)成功能轉(zhuǎn)移概率矩陣P如公式(9)所示:

功能轉(zhuǎn)移概率矩陣P是一個(gè)n階矩陣,具有如下性質(zhì)。

性質(zhì)1:p ij≥0,即每個(gè)元素均是非負(fù)的;

由于軟件可靠性表示軟件最終成功地完成任務(wù)的概率,因此對于假定服從馬爾科夫過程的軟件可靠性R,可以用功能模塊失效率λi和功能轉(zhuǎn)移概率矩陣P表示。即對于有n個(gè)功能的軟件,軟件可靠性函數(shù)可表示為公式(10):

其中,p i表示功能模塊F i的執(zhí)行概率,p ij表示在下一項(xiàng)操作時(shí)由功能模塊F i遷移到模塊F j的概率,λi表示功能模塊F i的失效率,t表示軟件運(yùn)行或測試時(shí)間。

3 實(shí)例應(yīng)用(Case study)

本論文針對某型動(dòng)力控制系統(tǒng)軟件開展工程應(yīng)用,驗(yàn)證基于失效模式的軟件可靠性評估模型的有效性和可行性。具體的應(yīng)用步驟與評估結(jié)果如下。

(1)應(yīng)用概述。針對某型動(dòng)力控制系統(tǒng)軟件進(jìn)行基于失效模式的軟件可靠性測試,共執(zhí)行測試用例185項(xiàng),總測試時(shí)間約502 h,確認(rèn)13項(xiàng)軟件問題(對應(yīng)13項(xiàng)軟件失效模式,問題編號分別為REQ-01至REQ-13),受篇幅限制,問題內(nèi)容不再詳述。

(2)軟件失效模式概率計(jì)算。針對軟件外場運(yùn)行數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,評估運(yùn)行剖面中每項(xiàng)功能的執(zhí)行概率。以“初始化功能”為例,其在外場運(yùn)行過程中,有效執(zhí)行時(shí)間為43 h,而軟件的總運(yùn)行時(shí)間總計(jì)863 h。所以,“初始化功能”的執(zhí)行概率為43/863≈0.049 8。由此也可獲得該動(dòng)力控制軟件全部功能的執(zhí)行概率計(jì)算結(jié)果,如表1所示。

表1 軟件功能執(zhí)行概率Tab.1 Operation probabilities of the software functions

針對軟件外場運(yùn)行數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,確認(rèn)每項(xiàng)外部輸入接口數(shù)據(jù)在不同值域的取值概率。以輸入接口數(shù)據(jù)“啟動(dòng)信號”為例,該數(shù)據(jù)為離散型,取值值域?yàn)閧0,1},取值為0表示啟動(dòng)無效(即異常值),1表示啟動(dòng)有效(即正常值)。在外場運(yùn)行過程中,數(shù)據(jù)取值為0的時(shí)間為24.6 h,取值為1的時(shí)間為838.4 h。所以,“啟動(dòng)信號”取值為0的概率為24.6/863≈0.028,取值為1的概率為1-0.028=0.972。

依據(jù)表1中的功能執(zhí)行概率,以及外部輸入接口數(shù)據(jù)的取值概率,對每項(xiàng)失效模式的發(fā)生概率進(jìn)行計(jì)算。本文以失效模式“REQ-01”為例,說明該失效模式的發(fā)生概率計(jì)算過程如下。

首先,確定失效模式“REQ-01”對應(yīng)功能的執(zhí)行概率。該失效模式與“啟動(dòng)功能”相關(guān),由表1可知,“啟動(dòng)功能”的執(zhí)行概率為0.034 8;然后,確定失效模式REQ-01對應(yīng)外部輸入接口數(shù)據(jù)的取值概率分布。該失效模式是由“啟動(dòng)信號”取值為0(異常值)引發(fā)的。所以,該失效模式對應(yīng)的外部接口數(shù)據(jù)取值概率應(yīng)為取值為0的發(fā)生概率,即0.028。最后,計(jì)算失效模式REQ-01的發(fā)生概率為0.034 8×0.028=0.000 974 4。

(3)基于失效模式的功能失效率計(jì)算。依據(jù)失效模式的發(fā)生概率,以及功能執(zhí)行概率,計(jì)算失效模式相關(guān)功能的失效率。以“啟動(dòng)功能”為例,說明該項(xiàng)功能失效率的計(jì)算過程。在本次軟件可靠性測試過程中,與“啟動(dòng)功能”相關(guān)的失效模式為REQ-01、REQ-02、REQ-03,進(jìn)而根據(jù)模式假設(shè)3進(jìn)行功能失效率計(jì)算。

(4)基于功能失效率的軟件失效率計(jì)算。依據(jù)功能失效率以及表1中的功能執(zhí)行概率,對軟件失效率λ進(jìn)行計(jì)算,具體過程如下。

依據(jù)式λ=λ1p1+λ2p2+…+λnp n,需確定動(dòng)力控制軟件的所有失效模式發(fā)生概率及相應(yīng)功能的執(zhí)行概率。軟件失效率^λ經(jīng)計(jì)算得

即動(dòng)力控制系統(tǒng)軟件的平均失效前間隔時(shí)間MTBF=1/^λ≈100.24 h。

(5)與傳統(tǒng)軟件可靠性測試評估方法的比對分析。該動(dòng)力控制系統(tǒng)軟件曾經(jīng)進(jìn)行過基于運(yùn)行剖面的傳統(tǒng)軟件可靠性測試評估試驗(yàn),共用時(shí)1 100 h,發(fā)現(xiàn)軟件問題11項(xiàng)。將這種基于運(yùn)行剖面的傳統(tǒng)軟件可靠性測試評估方法(傳統(tǒng)方法),與本文提出的基于失效模式的軟件可靠性測試評估方法(新方法)相比,可以得出如下對比分析結(jié)果。①新方法可有效提升軟件的揭錯(cuò)效率。本論文借助基于失效模式的軟件可靠性測試,共識別13項(xiàng)軟件問題;而傳統(tǒng)的基于運(yùn)行剖面的軟件可靠性測試只發(fā)現(xiàn)了11項(xiàng)問題。因此,相比傳統(tǒng)可靠性測試,本文所提軟件的揭錯(cuò)效率提升了(13-11)/11×100%≈18.2%。②新方法顯著降低軟件測試工作量。基于失效模式的軟件可靠性測試所用的測試時(shí)間僅為502 h,而傳統(tǒng)軟件可靠性測試則用時(shí)為1 100 h。因此,測試工作量降低了(1 100-502)/1 100×100%≈54.4%。③新方法可獲得與傳統(tǒng)方法同樣準(zhǔn)確的軟件可靠性評估結(jié)果。借助經(jīng)典軟件可靠性模型(GO 模型),計(jì)算軟件的MTBF為103.41 h。借助本論文提出的模型,計(jì)算軟件的MTBF為100.24 h,二者之間的誤差僅為3.1%。因此,與經(jīng)典的GO模型相比,本文所提模型也可以獲得較為準(zhǔn)確的可靠性評估結(jié)果。

4 結(jié)論(Conclusion)

本文提出一種新的基于失效模式的軟件可靠性定量評估模型。首先,借助運(yùn)行剖面與輸入空間計(jì)算失效模式概率,進(jìn)而評估軟件功能失效率;然后,借助馬爾科夫過程實(shí)現(xiàn)基于失效模式的軟件可靠性定量評估。實(shí)例應(yīng)用結(jié)果表明,本文提出的基于失效模式的軟件可靠性測試方法以及評估模型,可提升18.2%的揭錯(cuò)效率,降低54.4%的測試工作量,可以獲得準(zhǔn)確的軟件可靠性評估結(jié)果,同時(shí)適用于軟件可靠性測試。

本文所提可靠性評估模型的準(zhǔn)確性可能受限于軟件測試的充分性,即如果軟件測試數(shù)據(jù)未覆蓋所有功能及其接口時(shí),可能會(huì)對失效模式概率以及功能執(zhí)行概率的評估值產(chǎn)生影響。因此,在未來研究工作中,將考慮采用軟件仿真數(shù)據(jù)(或運(yùn)行數(shù)據(jù))與測試數(shù)據(jù)相結(jié)合的方式優(yōu)化該模型的適應(yīng)性和準(zhǔn)確性。