星載軟件可靠性測(cè)試實(shí)踐

石 柱，鄭 重

(中國(guó)航天科技集團(tuán)公司軟件評(píng)測(cè)中心，北京100048)

0 引言

為驗(yàn)證星載軟件的可靠性，在軟件驗(yàn)收之前，應(yīng)進(jìn)行軟件可靠性測(cè)試，以評(píng)估星載軟件的可靠性是否能滿足任務(wù)書(shū)規(guī)定的可靠性要求。軟件可靠性測(cè)試一般在軟件產(chǎn)品驗(yàn)收階段進(jìn)行，在軟件需求方參與的情況下實(shí)施，其目的是在給定的統(tǒng)計(jì)置信度下驗(yàn)證軟件產(chǎn)品是否達(dá)到了規(guī)定的可靠性指標(biāo)要求。在測(cè)試過(guò)程中，軟件版本是凍結(jié)的，即不會(huì)試圖通過(guò)定位錯(cuò)誤后再排出錯(cuò)誤來(lái)解決所發(fā)現(xiàn)的失效。通過(guò)軟件可靠性測(cè)試，得到一個(gè)二選一的結(jié)論，即軟件是否已經(jīng)達(dá)到了規(guī)定的可靠性指標(biāo)［1］。目前，特別在航天等對(duì)可靠性要求較高得領(lǐng)域，還缺乏開(kāi)展可靠性測(cè)試和評(píng)估的實(shí)踐和經(jīng)驗(yàn)，亟待開(kāi)展軟件可靠性測(cè)試方法的研究和實(shí)踐工作。本文在對(duì)軟件可靠性測(cè)試一般方法和過(guò)程研究的基礎(chǔ)上，針對(duì)某星載嵌入式軟件的特點(diǎn)，根據(jù)用戶(hù)需求，給出了開(kāi)展軟件可靠性測(cè)試的過(guò)程、途徑和方法，并給出了對(duì)該軟件的可靠性評(píng)估結(jié)果，從而驗(yàn)證了該過(guò)程和方法的可行性。

1 軟件可靠性測(cè)試方案

1.1 測(cè)試對(duì)象

本次測(cè)試對(duì)象是某星載嵌入式軟件，該軟件產(chǎn)品在設(shè)計(jì)上存在一些亟待解決的可靠性問(wèn)題，例如，軟件不定期復(fù)位 (復(fù)位間隔幾周或幾個(gè)月)、計(jì)算精度下降等，這些問(wèn)題嚴(yán)重影響了空間飛行器任務(wù)的順利執(zhí)行。在對(duì)該型號(hào)軟件在軌失效情況進(jìn)行可靠性評(píng)估后發(fā)現(xiàn):該軟件不能滿足衛(wèi)星總體對(duì)該軟件提出的可靠性要求 (平均無(wú)故障時(shí)間MTBF大于6個(gè)月，置信度大于0.6)，而且隨著該軟件關(guān)鍵等級(jí)的提高，以及新的應(yīng)用需求，對(duì)該產(chǎn)品的可靠性提出了更高的要求。

在經(jīng)過(guò)一系列可靠性分析和測(cè)試后，研制單位對(duì)該軟件進(jìn)行了修改，即本次可靠性測(cè)試的軟件版本即為修改后的軟件版本。本次測(cè)試目的即是驗(yàn)證修改后的軟件是否能滿足規(guī)定的可靠性指標(biāo)要求。

1.2 測(cè)試過(guò)程

軟件可靠性測(cè)試是指為了保證和驗(yàn)證軟件的可靠性要求而對(duì)軟件進(jìn)行的測(cè)試，與一般軟件測(cè)試不同，軟件可靠性測(cè)試的主要目的不是發(fā)現(xiàn)所有的軟件錯(cuò)誤和缺陷，而是通過(guò)獲取軟件失效數(shù)據(jù)進(jìn)行分析，評(píng)估軟件當(dāng)前的可靠性水平，預(yù)測(cè)未來(lái)可能達(dá)到的水平，從而驗(yàn)證軟件可靠性的定量要求是否得到滿足［2］。

根據(jù)以上特點(diǎn)，參考以往經(jīng)驗(yàn)，此次軟件可靠性測(cè)試工作過(guò)程如圖1所示，主要包括7個(gè)工作環(huán)節(jié)。

圖1 軟件可靠性測(cè)試過(guò)程

(1)確定驗(yàn)收準(zhǔn)則

根據(jù)軟件的特點(diǎn)，以及用戶(hù)的要求制定出適合的驗(yàn)收準(zhǔn)則，以便能獲得可用來(lái)判別驗(yàn)收通過(guò)與否所需的數(shù)據(jù);

(2)定義失效

軟件失效的定義是面向用戶(hù)的，即用戶(hù)不期望發(fā)生的那些故障才可算作失效，因此，在進(jìn)行測(cè)試之前，首先要明確定義測(cè)試中軟件發(fā)生哪些故障可以算作失效，以及失效的嚴(yán)重程度，便于數(shù)據(jù)的收集。

(3)構(gòu)造使用剖面

所謂使用剖面是指:軟件各種使用情況及其發(fā)生概率的集合。在使用信息分析的基礎(chǔ)上，按照被測(cè)軟件的實(shí)際使用規(guī)律，構(gòu)造軟件的使用剖面。

(4)生成測(cè)試用例

基于上述構(gòu)造的軟件使用剖面，通過(guò)程序生成測(cè)試數(shù)據(jù)及自動(dòng)測(cè)試驅(qū)動(dòng)工程文件 (含多個(gè)腳本文件)，該工程文件相當(dāng)于測(cè)試用例集，以驅(qū)動(dòng)高動(dòng)態(tài)仿真器對(duì)該軟件進(jìn)行測(cè)試。

(5)準(zhǔn)備測(cè)試環(huán)境

軟件可靠性測(cè)試對(duì)測(cè)試環(huán)境有苛刻的要求，要求測(cè)試環(huán)境與被測(cè)軟件的真實(shí)運(yùn)行環(huán)境盡可能一致，并在測(cè)試期間不對(duì)軟件進(jìn)行任何修改，以保證軟件失效率在此期間看成時(shí)恒定的。本次測(cè)試的環(huán)境由測(cè)試方和委托方合作開(kāi)發(fā)專(zhuān)用的可靠性測(cè)試環(huán)境，包括測(cè)試設(shè)備、相關(guān)軟件及環(huán)境。

(6)執(zhí)行測(cè)試并收集分析測(cè)試數(shù)據(jù)

在上述工作準(zhǔn)備就緒的情況下，執(zhí)行可靠性測(cè)試，并通過(guò)可靠性測(cè)試平臺(tái)中的監(jiān)測(cè)功能收集測(cè)試數(shù)據(jù)及發(fā)生的失效數(shù)據(jù)，測(cè)試人員分析發(fā)生的失效事件，并將有效的失效記錄下來(lái)。

(7)可靠性評(píng)價(jià)

根據(jù)測(cè)試期間發(fā)生的失效次數(shù)和時(shí)間，利用可靠性模型，評(píng)估軟件的可靠性指標(biāo)是否達(dá)到預(yù)期的可靠性指標(biāo)要求，得出拒絕或接受被測(cè)軟件的結(jié)論。

1.3 驗(yàn)收準(zhǔn)則的確定

本次可靠性測(cè)試采用無(wú)失效考核方案，即根據(jù)該軟件的可靠性定量指標(biāo)——平均無(wú)失效運(yùn)行前時(shí)間 (MTBF)，確定一個(gè)預(yù)定的可靠性測(cè)試連續(xù)無(wú)失效的累積時(shí)間 (設(shè)為T(mén)')，然后進(jìn)行可靠性測(cè)試，若實(shí)際的累積連續(xù)無(wú)失效測(cè)試時(shí)間 (設(shè)為T(mén))超過(guò)T'，即T＜T'，在給定的置信水平γ下認(rèn)為達(dá)到了可靠性要求;如未達(dá)到要求，即T＜T'，則軟件需要修改，那么在修改后仍需重新按無(wú)失效考核方案進(jìn)行測(cè)試。

在開(kāi)展測(cè)試之前，應(yīng)用兩種可靠性模型擬合 (指數(shù)分布模型、正態(tài)分布模型)對(duì)該軟件在軌失效數(shù)據(jù)進(jìn)行擬合，通過(guò)擬合結(jié)果發(fā)現(xiàn)，其失效間隔并不是一個(gè)穩(wěn)定、均勻的分布，所以造成方差過(guò)大，因此，正態(tài)分布模型擬合該軟件失效率是不適合的，盡管指數(shù)模型存在誤差，但是相比正態(tài)分布模型的結(jié)果，指數(shù)模型的誤差是可以接受的，因此，該軟件的失效率服從指數(shù)分布，在這種情況下，無(wú)失效考核時(shí)間與MTBF的時(shí)間比計(jì)算公式為

由置信度γ=0.6可以計(jì)算得到:無(wú)失效考核時(shí)間為MTBF的0.91629倍，由MTBF=0.5年得到，如果投入一臺(tái)被測(cè)件進(jìn)行測(cè)試，其無(wú)失效執(zhí)行測(cè)試時(shí)間為:0.5年×0.91629=0.458145年 (即168天)，即本次可靠性測(cè)試最少執(zhí)行的時(shí)間是168天，在168天內(nèi)如果沒(méi)有發(fā)生一次失效，則可認(rèn)為該軟件達(dá)到了要求的可靠性水平［3］。

2 軟件可靠性測(cè)試方法

參照GJB899《可靠性鑒定與驗(yàn)收試驗(yàn)》和用戶(hù)需求，本次軟件可靠性測(cè)試的關(guān)鍵步驟擬采取以下方法和途徑:

2.1 定義失效

進(jìn)行軟件可靠性測(cè)試，首先需要明確定義軟件失效，經(jīng)與研制方的溝通，此次測(cè)試的失效定義為［4］:

(1)軟件復(fù)位:發(fā)生主動(dòng)復(fù)位或被動(dòng)復(fù)位;

(2)無(wú)定位數(shù)據(jù):連續(xù)半小時(shí)不能提供有效導(dǎo)航定位數(shù)據(jù)，軟件也未復(fù)位。

2.2 構(gòu)建測(cè)試環(huán)境

在測(cè)試過(guò)程中，投入一臺(tái)星載嵌入式設(shè)備作為被測(cè)件，該設(shè)備接收高動(dòng)態(tài)仿真器信號(hào) (以下稱(chēng)動(dòng)態(tài)機(jī))，運(yùn)行時(shí)間為168天;同時(shí)，又投入兩臺(tái)設(shè)備作為比對(duì)分析，其中包括一臺(tái)動(dòng)態(tài)機(jī)，該設(shè)備與被測(cè)件運(yùn)行相同的測(cè)試用例，另一臺(tái)接收靜態(tài)天線信號(hào) (以下稱(chēng)靜態(tài)機(jī))，兩臺(tái)設(shè)備運(yùn)行時(shí)間均為168天。測(cè)試中引入比對(duì)設(shè)備的目的是，當(dāng)被測(cè)設(shè)備發(fā)生故障時(shí)，能正確定位故障原因是否是設(shè)備本身問(wèn)題還是仿真器信號(hào)問(wèn)題，且CPU時(shí)間與日歷時(shí)間一致。

為確保盡可能在真實(shí)環(huán)境進(jìn)行可靠性測(cè)試，全面考核該軟件的所有對(duì)外接口及使用剖面，應(yīng)保持被測(cè)軟件在整機(jī)環(huán)境中運(yùn)行，即應(yīng)保持該軟件與其他軟硬兼得正常數(shù)據(jù)交換和信號(hào)交換。通過(guò)高動(dòng)態(tài)信號(hào)仿真器模擬接近真實(shí)運(yùn)行狀態(tài)的信號(hào)，并可通過(guò)改變電文源碼、偽碼類(lèi)型、傳播誤差等因素考核該軟件在各種信號(hào)輸入條件下的故障發(fā)生率。

星載嵌入式軟件可靠性試驗(yàn)平臺(tái)包括運(yùn)行平臺(tái)和監(jiān)測(cè)平臺(tái)兩個(gè)部分，其中運(yùn)行平臺(tái)設(shè)備主要包括受試設(shè)備 (包括監(jiān)測(cè)數(shù)據(jù)采集模塊);監(jiān)測(cè)平臺(tái)設(shè)備主要包括高動(dòng)態(tài)仿真器、工控機(jī)、監(jiān)測(cè)設(shè)備及監(jiān)測(cè)軟件等。該試驗(yàn)平臺(tái)的設(shè)備連接圖如圖2所示。該環(huán)境在運(yùn)行正確和穩(wěn)定的前提下，提供如下功能:

(1)記錄并輸出測(cè)試過(guò)程中該軟件發(fā)生復(fù)位的次數(shù)、時(shí)間和相關(guān)場(chǎng)景;

(2)記錄并輸出測(cè)試過(guò)程中發(fā)生連續(xù)半小時(shí)不能提供定位數(shù)據(jù)的次數(shù)、時(shí)間和相關(guān)場(chǎng)景。

圖2 可靠性測(cè)試平臺(tái)設(shè)備連接

2.3 構(gòu)造使用剖面

軟件可靠性測(cè)試的過(guò)程必須以某種方式近似地反映軟件的真實(shí)運(yùn)行情況，測(cè)試的基本過(guò)程要求首先確定一個(gè)以概率方式定量描述軟件系統(tǒng)使用過(guò)程的統(tǒng)計(jì)模型，然后由模型產(chǎn)生測(cè)試用例，以求能合理地反映軟件使用的統(tǒng)計(jì)規(guī)律。本次測(cè)試通過(guò)構(gòu)造軟件的使用環(huán)境和使用剖面來(lái)刻畫(huà)軟件的使用情況，其中，使用剖面不僅包括對(duì)軟件操作和使用概率的描述，還包括可能的操作約束和序列信息。下面給出使用環(huán)境和使用剖面的構(gòu)造過(guò)程［5-8］。

(1)使用環(huán)境的構(gòu)造

使用環(huán)境的構(gòu)建包括:導(dǎo)航星星座模型、大氣模型、載體模型、天線模型，其中:

1)導(dǎo)航星星座模型主要是對(duì)導(dǎo)航星星歷和歷書(shū)的變化的模擬;

2)地球周?chē)拇髿鈱訒?huì)影響信號(hào)的傳輸，引起測(cè)量誤差，因此應(yīng)該對(duì)這些誤差進(jìn)行修正。對(duì)于該衛(wèi)星軟件而言，因其工作在對(duì)流層之外，所以電離層效應(yīng)是其中最重要的定位誤差之一;

3)根據(jù)衛(wèi)星的實(shí)際運(yùn)行情況并通過(guò)以下設(shè)置來(lái)建立載體模型，包括:載體特性及動(dòng)力學(xué)極限，載體軌道、載體指向;

4)根據(jù)衛(wèi)星的實(shí)際運(yùn)行情況并通過(guò)以下設(shè)置建立接收天線模型，包括:天線信號(hào)類(lèi)型及通道分配、天線偏移量、接收天線模式;

(2)使用剖面的構(gòu)造

在對(duì)軟件使用信息分析的基礎(chǔ)上，按照軟件的實(shí)際使用規(guī)律，構(gòu)造該軟件的使用剖面，本次測(cè)試構(gòu)造以下幾個(gè)該軟件的使用剖面，包括電文、信號(hào)功率、偽距隨機(jī)噪聲和載體動(dòng)作，其中以電文剖面為例:

由于電文參數(shù)在實(shí)際運(yùn)行中絕大多數(shù)情況下都較為穩(wěn)定，但在某些情況下會(huì)出現(xiàn)異常，因此，電文剖面可根據(jù)電文參數(shù)正常和異常對(duì)電文進(jìn)行劃分。

1)根據(jù)與開(kāi)發(fā)方溝通，電文正常的概率為0.99，異常的概率為0.01，按照導(dǎo)航電文不健康類(lèi)型、電文精度和其他極端情況，又可將電文的異常類(lèi)型分為9類(lèi);

2)每次發(fā)生電文異常的星數(shù)是隨機(jī)的，即可能是一顆星，也可能是多顆星，對(duì)于單一導(dǎo)航星和所有導(dǎo)航星來(lái)說(shuō)，電文的某一或全部的參數(shù)錯(cuò)誤時(shí)隨機(jī)和均等的。

電文參數(shù)異?？梢愿鶕?jù)以上導(dǎo)航星數(shù)和異常類(lèi)型的不同組合和概率來(lái)構(gòu)造剖面，最終共生成289個(gè)剖面。

在測(cè)試用例設(shè)計(jì)中，電文正常范圍值由高動(dòng)態(tài)仿真器來(lái)保證，對(duì)于異常值需要構(gòu)造測(cè)試用例。根據(jù)導(dǎo)航星電文異常發(fā)生的概率和運(yùn)行時(shí)間計(jì)算，需從288個(gè)異常剖面中隨機(jī)抽取20個(gè)電文異常操作，最后將20組異常數(shù)據(jù)隨機(jī)分配到168天的時(shí)間軸上。由于該軟件的一個(gè)軌道周期大約是2個(gè)小時(shí)，因此，設(shè)定每個(gè)異常持續(xù)2個(gè)小時(shí)，一臺(tái)仿真器需要構(gòu)造10個(gè)不同的用例，即從288個(gè)電文異常剖面中抽取10個(gè)用例。

基于上述構(gòu)造的該軟件使用剖面，每個(gè)剖面的動(dòng)作序列都以仿真軟件可識(shí)別的工程腳本文件的形式加載到每個(gè)場(chǎng)景中，該工程文件可以驅(qū)動(dòng)高動(dòng)態(tài)仿真器對(duì)該軟件進(jìn)行測(cè)試。

2.4 執(zhí)行測(cè)試

按照方案的要求，本次測(cè)試共設(shè)計(jì)測(cè)試用例11個(gè)，其中動(dòng)態(tài)軌道10個(gè)用例，靜態(tài)軌道1個(gè)用例。動(dòng)態(tài)軌道用例在時(shí)間上是連續(xù)的，且順次執(zhí)行，共運(yùn)行168天;每個(gè)軌道的輸入域均按照前面構(gòu)造的4個(gè)剖面中描述的輸入空間及概率進(jìn)行抽取。所有動(dòng)態(tài)測(cè)試用例運(yùn)行同一軌道，該軌道是以某衛(wèi)星軌道為基礎(chǔ)而設(shè)計(jì)的。

本次測(cè)試的終止條件是:在測(cè)試中，累積測(cè)試時(shí)間達(dá)到驗(yàn)證測(cè)試計(jì)劃的時(shí)間，完成所有測(cè)試用例的執(zhí)行，并且測(cè)試平臺(tái)完整記錄測(cè)試過(guò)程中的監(jiān)測(cè)數(shù)據(jù)，表明被測(cè)軟件通過(guò)驗(yàn)證測(cè)試，則終止可靠性驗(yàn)證測(cè)試，若驗(yàn)證測(cè)試過(guò)程中發(fā)生失效，并確認(rèn)是被測(cè)軟件導(dǎo)致的，表明被測(cè)軟件未通過(guò)驗(yàn)證測(cè)試，則終止測(cè)試［9，10］。

2.5 數(shù)據(jù)采集

在測(cè)試運(yùn)行過(guò)程中，軟件未發(fā)生由于本身設(shè)計(jì)原因而導(dǎo)致的復(fù)位，即該軟件未發(fā)生定義的失效。根據(jù)可靠性測(cè)試?yán)碚?，由于兩?dòng)態(tài)機(jī)是運(yùn)行相同的測(cè)試用例，因此被測(cè)件的考核時(shí)間以其中最長(zhǎng)的計(jì)算，而且以下運(yùn)行或操作過(guò)程所耗費(fèi)的時(shí)間也不能算作考核時(shí)間:

(1)星載設(shè)備換軌道過(guò)程中無(wú)高動(dòng)態(tài)信號(hào)的時(shí)間，共計(jì)3小時(shí);

(2)人為或外界意外因素導(dǎo)致被測(cè)件復(fù)位到重新接收高動(dòng)態(tài)信號(hào)之間所耗費(fèi)的時(shí)間，共計(jì)7小時(shí);

通過(guò)以上分析和計(jì)算，最終被測(cè)件的無(wú)失效考核時(shí)間為168天。

3 測(cè)試結(jié)果分析

根據(jù)可靠性評(píng)估規(guī)程，以及無(wú)失效考核時(shí)間與MTBF的時(shí)間比計(jì)算公式

由置信度γ=0.6可以計(jì)算得到:MTBF=180(天)

因此，按照目前運(yùn)行結(jié)果，MTBF為180天，達(dá)到了可靠性指標(biāo)要求 (180天)。

以上過(guò)程、方法和結(jié)果適用于該軟件在該使用剖面下的運(yùn)行情況。

4 結(jié)束語(yǔ)

本文針對(duì)某星載嵌入式軟件特點(diǎn)，結(jié)合一般軟件可靠性測(cè)試的過(guò)程，給出了開(kāi)展該軟件可靠性測(cè)試的關(guān)鍵步驟的解決方法和途徑，包括失效的定義、測(cè)試環(huán)境的搭建、使用剖面的構(gòu)造和數(shù)據(jù)的采集，最后通過(guò)測(cè)試結(jié)果的分析，給出了該軟件的可靠性評(píng)估結(jié)論。本次測(cè)試的實(shí)踐過(guò)程證明了該方法的實(shí)用性和可行性，為該軟件的評(píng)價(jià)和驗(yàn)收工作提供了決策依據(jù)，同時(shí)在測(cè)試中發(fā)現(xiàn)了一些一般軟件測(cè)試無(wú)法發(fā)現(xiàn)的軟件錯(cuò)誤，有利于該軟件可靠性的提高。

［1］Michael R Lyu.Software reliability engineering:A roadmap［C］//Proc of Future of Software Engineering，Minnesota，2007:153-170.

［2］IEEE Std 982.1-2005，IEEE standard dictionary of measures of the software aspects of dependability［S］.New York:IEEE Computer Society Press，2005.

［3］WU Yumei，RUAN Lian.Research on the acceleration principle of software reliability testing ［J］.Computer Applications，2006，26(6):1449-1451(in Chinese).［吳玉美，阮鐮.軟件可靠性測(cè)試的加速機(jī)理研究 ［J］.計(jì)算機(jī)應(yīng)用，2006，26(6):1449-1451.］

［4］SHI Zhu，ZHENG Zhong.Case study on software reliability measurement［J］.Systems Engineering and Electronics，2011，33(1):239-242(in Chinese).［石柱，鄭重.軟件可靠性度量實(shí)例研究 ［J］.系統(tǒng)工程與電子技術(shù)，2011，33(1):239-242.］

［5］ZHANG Xu，SHI Zhu，WANG Kunsheng.A test case generation approach of software reliability based on usage profile［J］Computer Simulation，2009，26(12):82-85(in Chinese).［張旭，石柱，王崑聲.基于使用剖面的軟件可靠性測(cè)試用例生成方法 ［J］.計(jì)算機(jī)仿真，2009，26(12):82-85.］

［6］Vincent Almering，Michiel van Genuchten，Ger Cloudt，et al.U-sing software reliability growth models in practice［J］.IEEE Software，2007，24(6):82-88.

［7］FENG Erqiang，LIU Chang，ZHENG Jun.Analysis on principle of software reliability accelerated testing methods［J］.Computer Engineering and Design，2011，32(9):3087-3090(in Chinese).［封二強(qiáng)，劉暢，鄭軍.軟件可靠性測(cè)試加速方法分析 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2011，32(9):3087-3090.］

［8］CAI Jianping.New explore on test method for software reliability［J］.Computer Engineering and Design，2009，30(20):84-87(in Chinese).［蔡建平.軟件可靠性測(cè)試方法新探 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30(20):84-87.］

［9］ZHANG Lei，ZHOU Jifeng，ZHANG Qiang.Study on a testing method of verifying software reliability［J］.Computer＆ Digital Engineering，2010，38(6):86-88(in Chinese).［張磊，周繼峰，張強(qiáng).系統(tǒng)軟件可靠性驗(yàn)證測(cè)試方法研究 ［J］.計(jì)算機(jī)與數(shù)字工程，2010，38(6):86-88.］

［10］CHEN Chunxiu，MA Li.Research of software reliability test technology ［J］.Computer Engineering and Design，2010，31(21):96-99(in Chinese).［陳春秀，馬力.軟件可靠性測(cè)試技術(shù)研究 ［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2010，31(21):96-99.］