基于框圖評估方法的軟件測試的可靠性評估原則*

田立軍 丁 楠

（1.中國人民解放軍91404部隊 秦皇島 066001）（2.河北建材職業(yè)技術學院 秦皇島 066001）

1 引言

軟件評估的實質(zhì)是對軟件質(zhì)量的度量與評價。對軟件質(zhì)量評估的定義是“為了確定某一特定的軟件模塊、軟件包或軟件產(chǎn)品是否驗收合格或發(fā)布而把特定的評估準則應用到該軟件模塊、軟件包或軟件產(chǎn)品上去的活動”［1］。定義中提到的評估準則，包括了評估方法和指標體系，即如何處理獲得的測試數(shù)據(jù)與如何應用準則到被評估軟件上。

軟件測試所得到的數(shù)據(jù)經(jīng)過處理以后，可以用來作為評估軟件系統(tǒng)是否滿足用戶需求的依據(jù)。軟件質(zhì)量評價特性主要有［2］：功能性、可靠性、易用性、效率性、可維護性、可移植性。其中每一個質(zhì)量特性都分別與若干子特性相對應。

對于規(guī)定任務的裝備應用軟件，其完成任務的程度是可以測試并度量的，對裝備應用軟件的測試和評估，主要是考核在各種輸入條件下，被測軟件的行為及其滿足需求的程度［3］。

2 軟件評估指標的選取原則

按照統(tǒng)計理論，對裝備軟件在接近實戰(zhàn)態(tài)勢下進行試驗是對試驗函數(shù)的一種采樣［4］。而實驗室仿真測試通過計算機模擬產(chǎn)生試驗環(huán)境參數(shù)和目標參數(shù)，同樣也是試驗函數(shù)的一種采樣方式。顯然，當仿真測試較充分時，就可以得到試驗函數(shù)的估計，這種估計同樣可以揭示被試軟件的功能、性能和可靠性等統(tǒng)計指標。

選擇合適的指標體系并使其量化是軟件測試與評估的關鍵。評估指標可以分為定性指標和定量指標兩種。指標的確定一般是采用自頂向下的方法逐層分解［5］，并且需要在動態(tài)過程中反復綜合平衡。

在進行裝備軟件的測試與評估時，主要側(cè)重于功能性、可靠性、易用性和效率特性等幾個方面。在評價活動的具體實施中，把軟件的研制任務書等作為主要依據(jù)，采用自頂向下逐層分解的方法，并參照有關國家標準和軍用標準進行［6］。

2.1 功能性指標

功能性是裝備軟件最重要的質(zhì)量特性之一，可以細化成完備性和不確性。對裝備軟件的功能評價主要采用定性評價方法。

1）完備性。完備性是與軟件功能完整、齊全有關的軟件屬性。如果軟件實際完成的功能少于或不符合研制任務書所規(guī)定的明確或隱含的那些功能，則不能說該軟件的功能是完備的［7］。

2）正確性。正確性是與能否得到正確或相符的結(jié)果或效果有關的軟件屬性。軟件的正確性在很大程度上與軟件模塊的工程模型（直接影響輔助計算的精度與輔助決策方案的優(yōu)劣）和軟件編制人員的編程水平有關。

對這兩個子特性的評價依據(jù)主要是裝備軟件功能性測試的結(jié)果，評價標準則是軟件實際運行中所表現(xiàn)的功能與規(guī)定功能的符合程度。在軟件的研制任務書中，明確規(guī)定了該軟件應該完成的功能，進行驗收測試的裝備軟件就應該具備這些明確或隱含的功能。

目前，對于軟件的功能性測試主要采用解答標準測試用例的辦法。即針對每種功能設計若干典型測試用例，軟件測試過程中運行測試用例，然后將得到的結(jié)果與已知標準答案進行比較。所以，測試用例集的典型性和權(quán)威性是功能性評價的關鍵。

2.2 可靠性指標

可靠性可以細化為成熟性、穩(wěn)定性、易恢復性等［8］。對于軟件的可靠性評價主要采用定量評價方法。即選擇合適的可靠性度量元（可靠性參數(shù)），然后分析可靠性數(shù)據(jù)而得到參數(shù)具體值，最后進行評價。經(jīng)過對軟件由可靠性細化分解并參照研制任務書，可以得到軟件的可靠性性度量元（可靠性參數(shù)）。

1）可用度。可用度指軟件運行后在任意一個隨機時刻需要執(zhí)行規(guī)定任務或完成規(guī)定功能時，軟件處于可使用狀態(tài)的概率。可用度是對應用軟件可靠性的綜合（即綜合各種運行環(huán)境以及完成各種任務和功能）度量。通常可用度用A表示，其計算方法為

2）初期故障率。指軟件在初期故障期（一般以軟件交付給用戶后的一個月內(nèi)為初期故障期）內(nèi)單位時間的故障數(shù)。一般以每100小時的故障數(shù)為單位。可以用它來評價交付使用的軟件質(zhì)量與預測什么時候軟件可靠性基本穩(wěn)定。初期故障率的大小取決于軟件設計水平、檢查項目數(shù)、軟件規(guī)模、軟件調(diào)試徹底與否等因素。

3）偶然故除率。指軟件在偶然故障期（一般以軟件企付給用戶后的四個月以后為偶然故障期）內(nèi)單位時間的故障數(shù)。一般以每1000小時的故障數(shù)為單位，它反映了軟件處于穩(wěn)定狀態(tài)下的質(zhì)量。

4）平均故障間隔時間（MTBF）。指軟件在相繼兩次失效之間正常工作的平均統(tǒng)計時間。在實際使用時MTBF通常是指當n很大時，系統(tǒng)第n決失效與第n+1次失效之間的平均統(tǒng)計時間。

國外軟件的MTBF大體在1000h左右。對于高可靠性的軍用裝備軟件，則要求在1000h～10000h之間。

5）缺陷密度（FD）。指軟件單位源代碼中隱藏的缺陷數(shù)量。通常以每千行無注解源代碼為一個單位。一般情況下，可以根據(jù)同類軟件系統(tǒng)的早期版本估計FD的具體值。如果沒有早期版本信息，也可以按照通常的統(tǒng)計結(jié)果來估計。典型的統(tǒng)計表明，在開發(fā)階段平均每千行源代碼有50個～60個缺陷，交付后平均每千行源代碼有15個-18個缺陷。

6）平均失效恢復時間（MTTR）。失效恢復時間為排除故障或系統(tǒng)重新啟動所用的時間而不是對軟件本身進行修改的時間（如嵌入式軟件，因軟件己經(jīng)固化在機器內(nèi)，修改軟件勢必涉及重新固化問題，而這個過程的時間是無法確定的）。

2.3 易用性指標

易用性可以細化為易理解性、易學習性和易操作性等。這三個特性主要是針對用戶而言的。對裝備軟件的易用性評價主要采用定性評價方法。

1）易理解性。易理解性是與用戶認識軟件的邏輯概念及其應用范圍所花的努力有關的軟件屬性。該特性要求裝備軟件研制過程中形成的所有文檔語言簡練、前后一致、易于理解以及語句無歧義。

2）易學習性。易學習性是與用戶為學習軟件應用（例如運行控制、輸入、輸出）所花的努力有關的軟件屬性。該特性要求研制方提供的用戶文檔（主要是《計算機系統(tǒng)操作員手冊》、《軟件用戶手冊》和《軟件程序員手冊》）內(nèi)容詳細、結(jié)構(gòu)清晰以及語言準確。

3）易操作性。易操作性是與用戶為操作和運行控制所花的努力有關的軟件屬性。該特性要求戰(zhàn)術應用軟件的人機界面友好、界面設計科學合理以及操作簡單等。

2.4 效率特性指標

效率特性可以細化成時間特性和資源特性［9］。對軟件的效率特性評價采用定量方法。

1）輸出結(jié)果更新周期。輸出結(jié)果更新周期是裝備軟件相鄰兩次輸出結(jié)果的間隔時間。

2）處理時間。處理時間是裝備軟件完成某項功能所用的處理時間（注意：不應包含人機交互的時間）。處理時間越短則對指揮員做出正確決策越有利，抓住戰(zhàn)機的概率越大。

3）吞吐率。吞吐率是單位時間軟件的信息處理能力（即各種目標的處理批數(shù)）。未來的戰(zhàn)場態(tài)勢復雜、信息眾多，裝備軟件必須具有處理海量數(shù)據(jù)的能力［10］。吞吐率就是體現(xiàn)該能力的參數(shù)。隨著現(xiàn)代戰(zhàn)爭中信息源的不斷增多，要求裝備軟件的吞吐率應至少達到數(shù)百批。

4）代碼規(guī)模。代碼規(guī)模是軟件源程序的行數(shù)（不包括注釋）屬于軟件的靜態(tài)屬性。軟件的代碼規(guī)模過大不僅要占用過多的硬盤存儲空間，而且顯得程序不簡潔、結(jié)構(gòu)不清晰，容易存在缺陷。

因為這些參數(shù)屬于軟件的內(nèi)部表現(xiàn)，所以需要用專門的測試工具和特殊的途徑才可以獲得。將測試數(shù)據(jù)與研制任務書中的指標進行比較，得到的結(jié)果可以作為效率特性評價的根據(jù)［11］。

3 實例分析

3.1 定量計算模型

本文運用框圖評估方法求得軟件的任務可靠度，應用該方法描述了軟件在執(zhí)行某單項任務情況下的可靠性。

應用框圖評估方法的前提：

1）已經(jīng)得到了各個功能模塊的可靠性參數(shù)（主要是失效率λ）；

2）各個功能板塊的壽命為指數(shù)分布，即滿足公式：

根據(jù)軟件壽命的指數(shù)分布規(guī)律，在按照軟件運行剖面做隨機輸入（或?qū)嶋H使用）時，如果軟件不作更改而且是無容錯的，則軟件的壽命為指數(shù)分布。由此可知軟件的測試與評估恰好滿足條件［12］。

在計算軟件的可靠度之前，還需要進行參數(shù)變換，將測試的數(shù)據(jù)轉(zhuǎn)換為與可靠度計算有關的數(shù)據(jù)。在軟件的單元測試中能夠得到模塊可靠性參數(shù)MTTF（平均失效的時間，其度量方法即GJB451-90《可靠性維修性術語》中所述的“在規(guī)定的條件下和規(guī)定的時間內(nèi)，產(chǎn)品的壽命單位數(shù)與故障總次數(shù)之比”，MTTF常記作θ），這時要將MTTF轉(zhuǎn)化為模塊的失效率λ（λ＝1/θ），進而得到所有功能模塊的可靠度函數(shù)：

這樣，根據(jù)等效模型，最終可以計算出軟件的可靠度。

3.2 實例分析

根據(jù)某系統(tǒng)試驗軟件的組成，可以將該軟件分解為偵察、干擾、告警、通信、指揮決策六個模塊。該軟件執(zhí)行一次任務（有源干擾）的基本流程見圖1。

圖1 有源干擾程序控制基本流程圖

軟件在運行中調(diào)用了偵察、有源干擾、指揮3個模塊，其可靠性模型屬于簡單串聯(lián)模型，可靠度計算為

假設在測試過程中該軟件同時在50臺目標機中運行，運行環(huán)境滿足規(guī)定條件，全部運行該的測試用例，為避免重復，每個測試用例對頻率、脈寬、極化方式等參數(shù)設定均不同。每天開機時間為20h，連續(xù)運行10天，則累計測試時間最多可以達到10000h。對于每一個失效不采取修改措施記錄下這10000h內(nèi)的失效數(shù)據(jù)。

設在軟件的單元測試中得到的測試數(shù)據(jù)如表1。

表1 模塊單元測試數(shù)據(jù)

相應的平均失效前時間MTTF、失效率λi和可靠度Ri（t）分別如表2。

表2 模塊單元測試計算結(jié)果

于是得到該軟件執(zhí)行干擾任務的可靠度為

4 結(jié)語

國內(nèi)可靠性的評估工作主要是從20世紀80年代開始興起，軟件可靠性的度量在軟件可靠性的建模和評估中起到了十分重要的作用，但是在軟件的可靠性評估方面，國內(nèi)還未形成統(tǒng)一的標準和算法。本文通過框圖評估的方法得到的軟件可靠度只是一個定量的模型，基于軟件可靠性的分析和度量還需要進行更多系統(tǒng)性的研究。