軍用嵌入式軟件測(cè)試技術(shù)研究

周平平，張 俊，羅海鷹，李 翔

（航空工業(yè)洪都，江西 南昌，330024）

0 引言

軍用軟件具有高可靠性、高安全性、規(guī)模大、結(jié)構(gòu)復(fù)雜和實(shí)時(shí)性強(qiáng)等特點(diǎn)，因此軟件開(kāi)發(fā)時(shí)的質(zhì)量問(wèn)題顯然至關(guān)重要。質(zhì)量不高、可靠性不強(qiáng)的軍用軟件在使用過(guò)程中會(huì)帶來(lái)各種各樣的問(wèn)題，甚至造成災(zāi)難性的后果，無(wú)法承擔(dān)國(guó)家安全和軍事斗爭(zhēng)的重任。其中，嵌入式軟件因與硬件結(jié)合緊密，其可靠性指標(biāo)具有很大的隨機(jī)性，如外界環(huán)境變化、系統(tǒng)輸入出錯(cuò)、使用不當(dāng)以及軟硬件設(shè)計(jì)的固有缺陷等原因都會(huì)導(dǎo)致軟件可靠性指標(biāo)降低，但是不能因?yàn)檫@些因素，使得嵌入式軟件可靠性的保證成為空談。特別是在武器系統(tǒng)中起著至關(guān)重要作用的嵌入式軟件，必須保證武器裝備的精確性和可靠性。

軟件可靠性是可以通過(guò)軟件工程化的實(shí)踐來(lái)提高，在系統(tǒng)開(kāi)發(fā)過(guò)程中進(jìn)行全面的質(zhì)量控制，包括系統(tǒng)分析、系統(tǒng)設(shè)計(jì)、軟件實(shí)現(xiàn)、軟件測(cè)試和評(píng)估、開(kāi)發(fā)人員培訓(xùn)和用戶培訓(xùn)等的質(zhì)量控制。

本文簡(jiǎn)要介紹了軟件測(cè)試的基本概念和分類，從單元測(cè)試、部件測(cè)試、配置項(xiàng)測(cè)試和系統(tǒng)測(cè)試的角度介紹了不同測(cè)試級(jí)別的測(cè)試內(nèi)容和測(cè)試方法，并據(jù)此從軟件工程化視角分析了軍用軟件的測(cè)試現(xiàn)狀、存在的問(wèn)題和原因，然后分別從軟件管理層面和軟件技術(shù)層面對(duì)軍用嵌入式軟件的測(cè)試提出了一些應(yīng)對(duì)措施，為整體推進(jìn)軟件測(cè)試工作提供了可行的解決方案。

1 軟件測(cè)試技術(shù)分析

1.1 軟件測(cè)試概念及意義

所謂軟件測(cè)試，是通過(guò)對(duì)源程序及其實(shí)際執(zhí)行所產(chǎn)生的結(jié)果進(jìn)行檢查分析，以找出程序中可能隱藏的錯(cuò)誤的過(guò)程，即為了發(fā)現(xiàn)程序錯(cuò)誤而執(zhí)行程序的過(guò)程[1]。它是軟件開(kāi)發(fā)過(guò)程中一個(gè)非常關(guān)鍵的環(huán)節(jié)，在軟件的生存周期中占有重要的位置，通過(guò)測(cè)試可以確認(rèn)軟件產(chǎn)品是否達(dá)到了指標(biāo)和可靠性要求，并了解軟件的實(shí)際水平。

根據(jù)統(tǒng)計(jì)，軟件故障在不同階段發(fā)生的比例及在不同階段發(fā)生時(shí)修復(fù)的費(fèi)用比例如圖1所示[2]。

圖1 軟件故障在不同階段發(fā)生及修復(fù)費(fèi)用的比例示意圖

通過(guò)統(tǒng)計(jì)數(shù)據(jù)可看出，軟件故障多出現(xiàn)在軟件開(kāi)發(fā)過(guò)程的早期，同時(shí)軟件故障越早發(fā)現(xiàn)，故障修復(fù)付出的費(fèi)用越少。因此，軟件測(cè)試在軟件開(kāi)發(fā)過(guò)程中是一個(gè)非常關(guān)鍵的環(huán)節(jié)，且軟件測(cè)試工作越早介入越好。

1.2 軟件測(cè)試級(jí)別

如圖2所示，軟件測(cè)試根據(jù)測(cè)試對(duì)象的不同可分為4個(gè)測(cè)試級(jí)別，分別是單元測(cè)試、部件測(cè)試、配置項(xiàng)測(cè)試和系統(tǒng)測(cè)試。

圖2 軟件測(cè)試級(jí)別與測(cè)試對(duì)象

其中，單元測(cè)試是針對(duì)《軟件詳細(xì)設(shè)計(jì)說(shuō)明》對(duì)應(yīng)的獨(dú)立軟件單元或相關(guān)單元組的測(cè)試，確保軟件模塊的代碼覆蓋率達(dá)到100%；部件測(cè)試是針對(duì)《軟件概要設(shè)計(jì)說(shuō)明》對(duì)應(yīng)的獨(dú)立軟件部件或相關(guān)部件組的測(cè)試；配置項(xiàng)測(cè)試是針對(duì)《需求規(guī)格說(shuō)明》對(duì)單個(gè)軟件的測(cè)試，部件測(cè)試和配置項(xiàng)測(cè)試都是對(duì)應(yīng)的軟件功能性能測(cè)試，確保軟件功能、性能、外部和內(nèi)部接口等符合要求；系統(tǒng)測(cè)試是在完整的、集成的系統(tǒng)上的測(cè)試行為，針對(duì)《軟件研制任務(wù)書(shū)》對(duì)應(yīng)的軟件需求測(cè)試，確保軟硬件各項(xiàng)指標(biāo)符合用戶的驗(yàn)收要求。如圖3所示。

圖3 軟件開(kāi)發(fā)V模型

在每個(gè)測(cè)試階段中，根據(jù)具體的測(cè)試方法又可分為靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試，其中動(dòng)態(tài)測(cè)試方法根據(jù)測(cè)試用例設(shè)計(jì)方法的不同，又分為黑盒測(cè)試和白盒測(cè)試兩類。通常，白盒測(cè)試多用于單元測(cè)試階段，黑盒測(cè)試多用于系統(tǒng)測(cè)試階段。

1.3 軟件測(cè)試流程

軟件測(cè)試流程和軟件開(kāi)發(fā)流程是可以并行執(zhí)行的，如圖4所示，圖中左邊第1列為軟件開(kāi)發(fā)流程，第2列到第5列為各級(jí)測(cè)試流程。所有級(jí)別的軟件測(cè)試工作都無(wú)需等到代碼全部實(shí)現(xiàn)后再開(kāi)展。

圖4 軟件測(cè)試過(guò)程與開(kāi)發(fā)過(guò)程并行關(guān)系

一般來(lái)說(shuō)，單元測(cè)試和部件測(cè)試是屬于軟件開(kāi)發(fā)組的工作，配置項(xiàng)測(cè)試和系統(tǒng)測(cè)試則屬于軟件測(cè)試組的工作，且軟件測(cè)試組獨(dú)立于軟件開(kāi)發(fā)組。因此，各級(jí)別的軟件測(cè)試均可并行開(kāi)展。

2 軍用嵌入式軟件測(cè)試現(xiàn)狀及問(wèn)題

2.1 軍用軟件測(cè)試的管理問(wèn)題

1）軟件開(kāi)發(fā)過(guò)程不規(guī)范

現(xiàn)階段，軍用軟件的開(kāi)發(fā)大多集中于軍隊(duì)直屬單位或國(guó)家科研院所，這些單位中有相當(dāng)一部分未建立起相對(duì)完善的軟件質(zhì)量保證體系。質(zhì)量體系的不完善導(dǎo)致軟件開(kāi)發(fā)過(guò)程缺乏行之有效的管理和監(jiān)督，軟件的質(zhì)量保證工作基本上是由軟件開(kāi)發(fā)者自身完成的。實(shí)踐證明，采用這種方式開(kāi)發(fā)軟件是無(wú)法保證軟件測(cè)試的相對(duì)獨(dú)立性和測(cè)試質(zhì)量的。

此外，軟件測(cè)試是一個(gè)貫穿于整個(gè)軟件開(kāi)發(fā)過(guò)程的系統(tǒng)工程，測(cè)試工作的進(jìn)入點(diǎn)應(yīng)前置到需求分析和系統(tǒng)設(shè)計(jì)階段開(kāi)始，而我軍的軟件測(cè)試工作，一般是在編碼完成之后和軟件產(chǎn)品交付運(yùn)行之前進(jìn)行，如果需求理解不充分或設(shè)計(jì)中有錯(cuò)誤，測(cè)試的質(zhì)量就難以保證而且返回修改的代價(jià)相當(dāng)巨大。

2）軟件測(cè)試組織不健全

當(dāng)前，我國(guó)多數(shù)的軍用軟件承制方?jīng)]有按照軟件工程的要求建立獨(dú)立的軟件測(cè)試部門，軟件測(cè)試僅僅是走過(guò)場(chǎng)，測(cè)試作用的可信度大大降低，“重開(kāi)發(fā)、輕測(cè)試”的思想和現(xiàn)象較嚴(yán)重。同時(shí)對(duì)測(cè)試人員本身缺乏專業(yè)的測(cè)試思想和測(cè)試技術(shù)的培訓(xùn)，這些因素影響了軟件測(cè)試的效果。

3）軟件設(shè)計(jì)文檔不完備

軟件測(cè)試工作與軟件設(shè)計(jì)文檔密不可分，測(cè)試人員正是依據(jù)這些文檔形成測(cè)試中需要的軟件測(cè)試計(jì)劃、軟件測(cè)試說(shuō)明、軟件測(cè)試報(bào)告等測(cè)試文檔。但是，在軟件研制過(guò)程中，相關(guān)人員往往不重視軟件設(shè)計(jì)文檔的編制和管理，這些不完備或不符合要求的軟件文檔給測(cè)試工作造成重重障礙，嚴(yán)重影響測(cè)試工作的展開(kāi)。

4）軟件測(cè)試技術(shù)不先進(jìn)

由于我軍軟件測(cè)試工作起步較晚且投入有限，許多測(cè)試機(jī)構(gòu)的測(cè)試方法和手段都還比較落后，甚至沿用人工測(cè)試的方式。一些測(cè)試機(jī)構(gòu)雖然購(gòu)買了測(cè)試工具，但是由于軍用軟件應(yīng)用的特殊性，許多工具沒(méi)有被充分利用。此外，測(cè)試用例和缺陷是測(cè)試管理的核心，但是一些承制方在開(kāi)展軟件測(cè)試時(shí)，沒(méi)有建立起完善的管理庫(kù)，對(duì)設(shè)計(jì)的測(cè)試用例和測(cè)試過(guò)程中發(fā)現(xiàn)的缺陷缺少數(shù)據(jù)庫(kù)管理手段，不能對(duì)測(cè)試問(wèn)題進(jìn)行有效跟蹤、分析和處理。

2.2 軍用軟件測(cè)試的技術(shù)問(wèn)題

1）嵌入式軟件測(cè)試環(huán)境問(wèn)題

在任務(wù)繁忙的時(shí)候，軟件測(cè)試往往是用真實(shí)環(huán)境進(jìn)行，但是受到嵌入式軟件運(yùn)行環(huán)境難以修改的約束限制，對(duì)于一些安全性的測(cè)試難以正常注入，測(cè)試的充分性得不到保障。并且，不同的測(cè)試級(jí)別對(duì)測(cè)試環(huán)境的要求也不盡相同。所以，嵌入式軟件測(cè)試必須根據(jù)測(cè)試級(jí)別、軟件項(xiàng)目需求建立合適的測(cè)試環(huán)境。

2）嵌入式軟件內(nèi)存分配問(wèn)題

在嵌入式軟件運(yùn)行過(guò)程中，內(nèi)存泄露、數(shù)組越界、內(nèi)存空間不足等問(wèn)題都會(huì)使系統(tǒng)受到影響，甚至?xí)?dǎo)致系統(tǒng)的崩潰。針對(duì)用于系統(tǒng)內(nèi)存分配和使用的源代碼的檢查，一直是人工方式進(jìn)行檢查，但是工作量太大，且不能動(dòng)態(tài)監(jiān)視內(nèi)存分配，測(cè)試不充分。

3）嵌入式軟件數(shù)學(xué)模型驗(yàn)證問(wèn)題

在軟件測(cè)試的驗(yàn)證過(guò)程中一直都存在數(shù)學(xué)模型驗(yàn)證的難題，數(shù)學(xué)模型中含有大量的復(fù)雜數(shù)學(xué)公式和數(shù)值的計(jì)算，還有定義了大量的全局和局部的變量。為了保證這些運(yùn)算的正確，必須要做好計(jì)算機(jī)軟件數(shù)學(xué)模型的驗(yàn)證。

4）嵌入式軟件靜態(tài)測(cè)試問(wèn)題

軟件靜態(tài)測(cè)試是對(duì)源代碼的規(guī)則和度量元進(jìn)行檢測(cè)，在靜態(tài)測(cè)試中，測(cè)試工具會(huì)在分析過(guò)程中存在一些誤差，需要利用人工對(duì)軟件靜態(tài)測(cè)試結(jié)果進(jìn)行深入的分析和確認(rèn)。人工分析和確認(rèn)工作與測(cè)試人員的認(rèn)知和經(jīng)驗(yàn)直接相關(guān)，因此如何提高嵌入式軟件測(cè)試人員判斷的準(zhǔn)確性是靜態(tài)測(cè)試過(guò)程不可忽略的問(wèn)題。

5）嵌入式軟件測(cè)試覆蓋率問(wèn)題

為了保證嵌入式軟件的高可靠性和高安全性，要求測(cè)試要有很好的覆蓋率，在測(cè)試過(guò)程中要盡量保證所有的代碼都會(huì)被執(zhí)行，最大限度的發(fā)現(xiàn)軟件中潛藏的BUG。覆蓋率的實(shí)現(xiàn)過(guò)程是通過(guò)對(duì)源代碼的插裝來(lái)完成的，如果用人工方式進(jìn)行插裝，不僅工作量巨大且易存在疏漏，由此得到的覆蓋率分析工作也有巨大困難。所以，選擇合適的覆蓋率測(cè)試工具是解決問(wèn)題的關(guān)鍵。

3 測(cè)試問(wèn)題的解決措施

軍用軟件測(cè)試是一項(xiàng)跨部門、覆蓋多學(xué)科、涉及多技術(shù)領(lǐng)域的復(fù)雜系統(tǒng)工程，要有效解決目前存在的困難和問(wèn)題，促進(jìn)其正規(guī)、有序發(fā)展，就必須樹(shù)立體系建設(shè)思想，遵循積極、穩(wěn)妥的原則，運(yùn)用系統(tǒng)工程方法，著力尋求要素全面、協(xié)調(diào)配套的綜合解決方案，分步實(shí)施、整體推進(jìn)。目前，我們可以采取如下基礎(chǔ)措施。

3.1 測(cè)試管理問(wèn)題的解決措施

1）規(guī)范開(kāi)發(fā)及測(cè)試過(guò)程

按照國(guó)家軍用標(biāo)準(zhǔn)的相關(guān)要求，明確及規(guī)范開(kāi)發(fā)及測(cè)試過(guò)程。規(guī)范的制定應(yīng)由高層領(lǐng)導(dǎo)支持，在整個(gè)單位內(nèi)實(shí)施。測(cè)試工作應(yīng)隨著項(xiàng)目啟動(dòng)盡早計(jì)劃與開(kāi)展，并貫穿整個(gè)項(xiàng)目過(guò)程，避免因時(shí)間節(jié)點(diǎn)等原因?qū)е马?xiàng)目測(cè)試工作不夠充分，甚至測(cè)試工作無(wú)法及時(shí)介入項(xiàng)目的情況。

2）提升軟件測(cè)試人員的素質(zhì)

成立由專人負(fù)責(zé)并由專職人員組成的軟件測(cè)試隊(duì)伍，負(fù)責(zé)從軟件需求分析到交付用戶的全壽命周期軟件測(cè)試組織與管理工作。由于軟件測(cè)試在軟件的開(kāi)發(fā)過(guò)程中占有重要地位，因此對(duì)軟件測(cè)試人員提出了很高的要求，一般來(lái)說(shuō)軟件測(cè)試人員的水平不能比設(shè)計(jì)人員的水平低。軟件測(cè)試人員需通過(guò)不斷實(shí)踐總結(jié)測(cè)試的經(jīng)驗(yàn)與不足，加強(qiáng)對(duì)軟件工程與測(cè)試方法的學(xué)習(xí)，同時(shí)提高與開(kāi)發(fā)人員的溝通能力，切實(shí)做好單位內(nèi)部的測(cè)試工作。

3）提升軟件開(kāi)發(fā)人員的素質(zhì)

通過(guò)軟件工程化及軟件測(cè)試過(guò)程培訓(xùn)等手段，加強(qiáng)開(kāi)發(fā)人員對(duì)軟件測(cè)試工作的認(rèn)識(shí)，使軟件開(kāi)發(fā)人員能夠積極配合軟件測(cè)試相關(guān)工作，切實(shí)有效地保證軟件質(zhì)量。

4）加大軟件設(shè)計(jì)文檔審查力度

目前，GJB5000A在軍工企業(yè)逐步應(yīng)用推廣，軟件產(chǎn)品研制過(guò)程的工程化要求越來(lái)越規(guī)范和嚴(yán)謹(jǐn)，對(duì)軟件產(chǎn)品研制已經(jīng)定義了流程化或模板式的操作方法，但大部分項(xiàng)目軟件人員仍然會(huì)犯“先做事，后補(bǔ)文檔”的錯(cuò)誤。針對(duì)這種“重代碼、輕文檔”的現(xiàn)象，應(yīng)該結(jié)合測(cè)試管理規(guī)定中的評(píng)審機(jī)制，進(jìn)一步加強(qiáng)對(duì)文檔的審查力度，力求文檔能夠及時(shí)更新，與軟件實(shí)時(shí)保持一致。

3.2 測(cè)試技術(shù)問(wèn)題的解決措施

1）嵌入式軟件測(cè)試環(huán)境

嵌入式軟件是軟硬件耦合系統(tǒng)，把軟硬件分離開(kāi)來(lái)，建立嵌入式軟件獨(dú)立的運(yùn)行環(huán)境是建立嵌入式軟件仿真測(cè)試環(huán)境的關(guān)鍵。一個(gè)完整的嵌入式系統(tǒng)包括處理器、I/O接口以及各種外部設(shè)備。在建立嵌入式軟件仿真測(cè)試環(huán)境時(shí)，需要考慮軟硬件的分離原則，即哪些采用真實(shí)硬件設(shè)備，哪些需要用軟件仿真實(shí)現(xiàn)，哪些需要用硬件仿真實(shí)現(xiàn)。如圖5所示，不同的嵌入式系統(tǒng)以及軟件測(cè)試階段，需要建立的仿真測(cè)試環(huán)境也不相同。

圖5 不同軟件測(cè)試階段需要的測(cè)試環(huán)境

嵌入式軟件的單元測(cè)試主要采用白盒測(cè)試方法，一般在宿主機(jī)上，利用集成開(kāi)發(fā)環(huán)境或測(cè)試工具的全數(shù)字仿真模擬器來(lái)進(jìn)行，找出單元編碼時(shí)產(chǎn)生的錯(cuò)誤以及與軟件設(shè)計(jì)的偏差。在極特殊情況下，也可以在目標(biāo)機(jī)上進(jìn)行，利用單元測(cè)試中的驅(qū)動(dòng)模塊和樁模塊進(jìn)行。

嵌入式軟件的部件測(cè)試可在宿主機(jī)環(huán)境上利用測(cè)試工具來(lái)完成，也可在目標(biāo)機(jī)上搭建仿真測(cè)試環(huán)境來(lái)完成，具體依賴于軟硬件耦合程度和部件的集成級(jí)別。

嵌入式軟件的配置項(xiàng)測(cè)試主要是軟件形成獨(dú)立的配置項(xiàng)后，加載到相應(yīng)的硬件平臺(tái)上測(cè)試其運(yùn)行情況，以確定軟硬件能夠正確協(xié)調(diào)工作，實(shí)現(xiàn)軟件需求規(guī)定的功能、性能等要求。配置項(xiàng)測(cè)試必須在目標(biāo)機(jī)環(huán)境下進(jìn)行，交聯(lián)設(shè)備可以采用仿真模型替代，也可以利用半實(shí)物仿真測(cè)試工具搭建測(cè)試環(huán)境來(lái)進(jìn)行確認(rèn)測(cè)試。

嵌入式軟件的系統(tǒng)測(cè)試是將被測(cè)軟件和硬件資源都綜合起來(lái)構(gòu)成完整的應(yīng)用系統(tǒng)進(jìn)行測(cè)試，確保整個(gè)系統(tǒng)達(dá)到研制任務(wù)書(shū)的要求。嵌入式軟件的系統(tǒng)測(cè)試對(duì)測(cè)試環(huán)境有嚴(yán)格的要求，必須在真實(shí)目標(biāo)機(jī)環(huán)境下進(jìn)行，包括運(yùn)行平臺(tái)、交聯(lián)設(shè)備都要是真實(shí)的，目的是要確保嵌入式軟件能夠在最終的真實(shí)硬件環(huán)境下正確運(yùn)行。

2）嵌入式軟件測(cè)試工具

軟件測(cè)試是一項(xiàng)有難度的專業(yè)技術(shù)工作，除了人工代碼走查、系統(tǒng)測(cè)試之外，大部分工作需要專業(yè)的軟件測(cè)試工具完成。軟件測(cè)試的很多技術(shù)問(wèn)題，如內(nèi)存分配問(wèn)題、測(cè)試覆蓋率問(wèn)題等都可以借助合適的測(cè)試工具來(lái)解決。常見(jiàn)的軟件單元測(cè)試工具見(jiàn)表1。

表1 軟件單元測(cè)試工具

根據(jù)測(cè)試的具體需要選擇合適的測(cè)試工具既可以提高測(cè)試人員的測(cè)試效率，又可以極大提高測(cè)試的有效性。其中，TestBed能夠?qū)崿F(xiàn)匯編語(yǔ)言、C/C++、Fortran、Ada等語(yǔ)言的靜態(tài)和動(dòng)態(tài)測(cè)試，可用于代碼評(píng)審、質(zhì)量評(píng)審、設(shè)計(jì)評(píng)審、測(cè)試驗(yàn)證和測(cè)試管理，是目前針對(duì)嵌入式軟件測(cè)試最有效的工具，被較多用于軍用嵌入式軟件測(cè)試。

4 結(jié)語(yǔ)

軍用嵌入式軟件在開(kāi)發(fā)方法、實(shí)現(xiàn)語(yǔ)言特點(diǎn)、運(yùn)行環(huán)境和承擔(dān)功能等方面所具有的特殊性，決定了其測(cè)試方法、平臺(tái)和工具的選型需要周密考慮。同時(shí)，要注重系統(tǒng)化的嵌入式軟件測(cè)試體系的建立、軟件測(cè)試環(huán)境的搭建、測(cè)試隊(duì)伍的建設(shè)，以及測(cè)試管理體系的標(biāo)準(zhǔn)化等軟件測(cè)試配套工程的建設(shè)，從而保證軍用嵌入式軟件測(cè)試的順利實(shí)施。