基于仿真的嵌入式軟件白盒覆蓋測試系統(tǒng)設計

楊振興,劉久富,孫琳

(南京航空航天大學 自動化學院,南京210016)

楊振興(碩士研究生),研究方向為嵌入式軟件測試;劉久富,(博士、碩士生導師),研究方向為軟件測試技術(shù)與軟件質(zhì)量工程。

引 言

隨著嵌入式系統(tǒng)的廣泛應用,人們對嵌入式系統(tǒng)軟件的質(zhì)量提出了更高的要求,而作為保證軟件質(zhì)量最有效手段的測試技術(shù),也越來越受到關(guān)注。目前嵌入式軟件的開發(fā)語言以C等高級語言為主,因此,對這些高級語言的測試顯得尤為重要[1]。

目前實用的嵌入式系統(tǒng)測試平臺主要由國外廠商開發(fā),比較具有代表性的測試平臺有 Teleloglc公司的 Logiscope、Metrowerks公司的 CodeTest,Windriver公司的CoverageScope和IPL公司的Cantata等。國外廠商的嵌入式系統(tǒng)測試平臺功能較強,技術(shù)較先進,但一套測試系統(tǒng)價格往往高達數(shù)萬到十多萬美元,極大增加了嵌入式系統(tǒng)的開發(fā)成本,無法得到普遍的應用,影響了國內(nèi)嵌入式系統(tǒng)的開發(fā)質(zhì)量[2]。

國內(nèi)的嵌入式系統(tǒng)測試平臺有基于目標開發(fā)的測試系統(tǒng)。電子科技大學研究了基于目標的嵌入式軟件測試系統(tǒng),實現(xiàn)了對匯編語言進行自動插裝,并實現(xiàn)基本的覆蓋測試功能。但由于嵌入式軟件需要基于硬件電路進行調(diào)試,當軟件程序?qū)懭胗布娐泛?如果電路工作不正常甚至無法工作,則難以斷定問題所在,這就限制了嵌入式軟件測試必須按照先硬件后軟件的模式進行[3]。

本系統(tǒng)實現(xiàn)了基于仿真的嵌入式C語言軟件覆蓋測試分析。通過有效的詞法語法分析、自動插裝、測試用例的生成和加入、動態(tài)仿真運行及覆蓋報告分析等模塊對源代碼進行覆蓋分析,縮短了嵌入式系統(tǒng)開發(fā)周期,有效地解決了傳統(tǒng)手工測試程序運行效率低、繁瑣等問題,保證了嵌入式軟件系統(tǒng)高效穩(wěn)定的運行。

1 嵌入式軟件測試系統(tǒng)框圖

嵌入式軟件測試系統(tǒng)的結(jié)構(gòu)框圖如圖1所示。它主要由5部分組成:程序的預處理過程(包括詞法語法分析)、程序的自動插裝過程、測試用例的加入、動態(tài)仿真運行及覆蓋報告分析[4]。

被測試程序首先經(jīng)過預處理。由于源程序中存在宏定義、文件包含和條件編譯等預處理命令,因此在進行詞法分析前必須進行預處理,將宏展開,以利于查找變量。詞法分析是將預處理階段產(chǎn)生的中間代碼分解成單獨的詞的表示,語法分析是將輸入字符串識別為單詞符號流,主要用來確定插裝的位置,在一些關(guān)鍵的字段和函數(shù)處插入,然后編譯后產(chǎn)生含有插裝函數(shù)的目標文件。

圖1 嵌入式測試系統(tǒng)框圖

在動態(tài)仿真運行過程中,將測試用例注入到分析后的目標文件中,動態(tài)運行后,將產(chǎn)生的測試結(jié)果存放到記錄文件或緩沖區(qū)中,此時可以動態(tài)生成覆蓋率報告和GUI顯示,并將測試的結(jié)果與測試用例庫生成的測試用例期望值作比較,得出測試結(jié)果,并將測試結(jié)果保存與打印。

2 功能模塊設計

2.1 詞法語法分析模塊

(1)預處理

在源程序中,空白符、跳格符、回車符和換行符等編輯性字符除了出現(xiàn)在文字常數(shù)中之外,在別處任何地方出現(xiàn)都沒意義,而注釋部分出現(xiàn)在程序中的任何地方。對于這些不是程序必要組成的部分,預處理時可以將其剔掉[5]。

(2)詞法分析

將預處理階段產(chǎn)生的中間代碼分解成單獨詞的表示,并將詞的基本信息表,如詞的行號、詞的列號及詞的類型等信息,為語法分析做準備。詞的類型有:普通變量標識符、數(shù)字表、關(guān)鍵字表運算符表[6]。

(3)語法分析

語法分析的主要任務是在詞法分析識別出的單詞符號串的基礎上,分析并判斷程序的語法結(jié)構(gòu)是否符合語法規(guī)則。由于本系統(tǒng)分析的程序是經(jīng)過嵌入式軟件編譯器編譯的,因此認為不存在語法上的錯誤,只是通過語法分析得到程序結(jié)構(gòu)及函數(shù)信息,為插裝做準備。

2.2 插裝模塊

程序插裝概念由J.G.Huang教授首次提出,簡單地說就是借助向被測程序中插入操作來實現(xiàn)測試目的。在調(diào)試程序時,常常要在程序中插入一些打印語句,希望執(zhí)行程序時打印出所關(guān)心的信息。通過這些信息進一步了解執(zhí)行過程中程序的一些動態(tài)特性。比如,程序的實際執(zhí)行路徑,或是特定變量在特定時刻的取值。從這一思想發(fā)展出的程序插裝技術(shù)能夠按用戶的要求,獲取程序的各種信息,成為測試工作的有效手段[7]。嵌入式軟件覆蓋率測試的核心問題是代碼插裝,要求插裝技術(shù)先進且代碼量少。

設計程序插裝時需要考慮的問題包括:探測哪些信息;在程序的什么部位設置探測點;需要設置多少個探測點[7]。

為了減少測試的復雜性,本系統(tǒng)設計過程中只采用了1次插裝的方式。只在能產(chǎn)生分支的語句之后、程序開始及結(jié)束部分插入樁函數(shù),該函數(shù)能在執(zhí)行過程中將執(zhí)行標記寫入特定的文件。該模塊算法流程如圖2所示。

圖2 插裝流程圖

2.3 動態(tài)仿真運行模塊

在嵌入式軟件測試中,由于嵌入式軟件具有實時性、嵌入式等特性,因此嵌入式軟件編譯后不能直接在宿主機執(zhí)行,需要嵌入式仿真軟件來模擬目標機環(huán)境執(zhí)行。但畢竟是在模擬環(huán)境中進行的,因而與定時問題有關(guān)的白盒測試、中斷測試、硬件接口測試只能在目標環(huán)境中進行。

本系統(tǒng)選擇Proteus仿真軟件作為該系統(tǒng)的模擬仿真環(huán)境,Proteus軟件可以仿真 51系列、AVR,PIC等常用的MCU及其外圍電路。在動態(tài)運行過程中,通過嵌入式軟件相對應的編譯環(huán)境編譯成含有插裝函數(shù)的目標文件。將生成的插裝文件在Proteus仿真環(huán)境中動態(tài)運行,將產(chǎn)生的測試結(jié)果存放到記錄文件或緩沖區(qū)中[8]。

2.4 覆蓋率分析

通過動態(tài)仿真運行模塊,覆蓋信息被寫入文件中,讀取存放記錄文件,分別對語句塊數(shù)和執(zhí)行分支數(shù)進行計算。根據(jù)覆蓋率公式,結(jié)合計算的結(jié)果,得到測試語句覆蓋、分支覆蓋與程序的有效代碼率并GUI顯示。將測試的結(jié)果與測試用例庫生成的測試用例期望值作比較,得出測試結(jié)論[9]。

2.4.1 語句覆蓋率算法分析

語句覆蓋是軟件測試中最基本的覆蓋標準,因此在測試時應將每個語句至少執(zhí)行1次。在 TestImp系統(tǒng)中得到語句覆蓋率的算法流程如圖3所示,通過詞法分析后,讀單獨的詞語,如遇到能產(chǎn)生分支的關(guān)鍵詞(for、if、else、switch 、goto、return、break、continue、do、“{”和“}”)則繼續(xù)往下判斷,否則返回繼續(xù)讀詞語。如果是能產(chǎn)生分支的關(guān)鍵詞,則將關(guān)鍵詞對應的當前標號(flagif、flagelse、flagwhile、flagfor、flagswitch)推進棧中的 account單元保存,并將當前標號加1。當讀取到關(guān)鍵詞之后第1個“{”時,標志fflag加1,且判斷是否大于1:如果大于1,則將此時的行號推入到棧當前位置中的nline單元中保存;否則直接返回讀詞。如果是“}”標號,則判斷鏈表的節(jié)點是否大于0,如果是且為1,則用“}”當前行數(shù)減去保存棧中“{”的行數(shù),然后減去最近嵌套內(nèi)層的總行數(shù)即得到該層對應行數(shù);如果鏈表節(jié)點大于1,則判斷鏈表節(jié)點數(shù)與對應層數(shù)是否相等,如果相等則計算出該層的總行數(shù),即用此時“}”行數(shù)減去棧中保存“{”的總行數(shù),然后保存該層總行數(shù),并用總行數(shù)減去最近嵌套內(nèi)層行數(shù)之和,即得到該層行數(shù)對應記錄。如果鏈表節(jié)點數(shù)與對應層數(shù)不相等,則將對應層數(shù)加1循環(huán)作判斷。當所有的詞語全部讀取完畢之后,讀取動態(tài)執(zhí)行時寫入的插裝文件,讀取關(guān)鍵詞標號,取對應關(guān)鍵詞鏈表中的行數(shù)與總行數(shù)變量相加,直至插裝文件讀取完畢,此時可以輸出被覆蓋語句數(shù)。

2.4.2 分支覆蓋率算法分析

圖3 計算覆蓋語句流程

分支覆蓋率的計算一般也需要達到一定的指標。在TestImp系統(tǒng)中得到分支覆蓋率的算法流程如圖4所示,初始化定義1個鏈表隊列。首先讀取插裝記錄文件,讀取時將分支標號與鏈表隊列中的關(guān)鍵詞標號分別作比較,如果此時鏈表隊列中已經(jīng)存在了,則讀取下一條記錄,否則覆蓋分支總數(shù)加1,并將分支標號添加到隊列中,直至插裝記錄文件全部讀取完畢,輸出被覆蓋的分支數(shù)。分支總數(shù)在插裝時已經(jīng)記錄在全局變量中。

圖4 計算覆蓋分支流程

3 嵌入式軟件測試系統(tǒng)實現(xiàn)

根據(jù)設計框架,在VC++2005上實現(xiàn)了基于宿主的嵌入式軟件測試系統(tǒng)。整個系統(tǒng)包括對源程序的詞法語法分析,自動插裝,并保存插裝后文件用以編譯,能配置各種嵌入式編譯環(huán)境。

該系統(tǒng)實現(xiàn)如下幾個模塊:

①分析模塊。用打開文件菜單選擇要分析的源文件,并進行詞法分析。在詞法分析過程中,對關(guān)鍵詞、符號、數(shù)字、變量等用不同的標記,并去除源文件中的注釋,給出每個詞的行數(shù)和列數(shù)。語法分析并沒有生成可見的語法樹,只是形成提供插裝的結(jié)構(gòu)信息。

②插裝模塊。選擇自動插裝菜單,系統(tǒng)會讀取詞法語法分析的結(jié)果,根據(jù)圖2算法流程實現(xiàn)對源程序的自動插裝 ,插裝點有 for、if、else、case、goto、return 、break、continue、do、while語句后及程序開始與結(jié)束處插入記錄函數(shù)指針,并在程序最后插入插裝函數(shù)體。

③編譯器配置模塊。根據(jù)不同嵌入式軟件選擇不同的編譯環(huán)境,該部分需在使用該系統(tǒng)之前對各種嵌入式編譯軟件進行配置,在本系統(tǒng)中有Visual C++、ARM編譯器ADS、Keil環(huán)境、偉福環(huán)境、Borland C環(huán)境、DSP編譯器CCS。

④覆蓋率報告。本系統(tǒng)已實現(xiàn)的覆蓋率報告有語句覆蓋與分支覆蓋,并將覆蓋率通過三維圖形形式體現(xiàn)。后續(xù)將實現(xiàn)條件覆蓋、多條件判定覆蓋、多條件覆蓋、MC/DC、路徑覆蓋等覆蓋率報告。

⑤報告生成及幫助文檔。將測試覆蓋結(jié)果與測試前生成設定的覆蓋率指標進行比較得到測試結(jié)果。如果覆蓋率沒有達到要求,則繼續(xù)增加測試用例,以提高測試覆蓋率。另外有幫助文檔,提供使用說明、注意事項及應用范圍等。

4 實驗結(jié)果

在實驗中,采用1個AT89C51單片機鍵盤識別系統(tǒng)作為實驗對象。在該系統(tǒng)中,通過AT89C51的P1口連接1個4×4的矩陣鍵盤,并通過P0.4～P0.6所連接的74LS138擴展連接到型號位7SEG-MPX6-CA的6位LED選通端上,可以顯示所按下鍵盤的編號,將RXD和TXD連接到串口。

實驗過程中,將測試源程序進行分析并自動插裝,然后通過單片機的Keil編譯器對插裝后的源程序進行編譯,得到.hex文件,添加到Proteus6.9仿真軟件原理圖中的AT89C51單片機中,點擊運行按鈕后可以執(zhí)行程序。此時可以在Proteus6.9界面中輸入生成的測試用例[10],本實例中的測試用例是鍵盤按鍵的輸入,只需點擊Proteus6.9原理圖中的鍵盤。此時插裝后的程序會將插裝的信息通過串口傳送到TestImp測試系統(tǒng)的聯(lián)機串口傳送界面中,并將其保存在指定文件中,為覆蓋測試做準備。

為該系統(tǒng)設計的基本測試用例是按下單個1號鍵。在此測試用例下,手工運行推算出語句覆蓋率和分支覆蓋率分別為55.6%和42.8%,在測試系統(tǒng)運行后,得出的語句覆蓋率和分支覆蓋率分別為55.6%和42.8%。測試結(jié)果如圖5所示。

圖5 測試系統(tǒng)實驗結(jié)果圖

實驗結(jié)果表明:在特定的測試用例下,對嵌入式系統(tǒng)應用本文設計的基于仿真嵌入式軟件白盒覆蓋測試系統(tǒng)與理論上推導出來的語句和分支覆蓋率指標完全相同。

[1]劉利枚,周鮮成,石彪.嵌入式軟件測試系統(tǒng)的設計與實現(xiàn)[J].國外電子測量技術(shù),2008(1):59-61.

[2]余盛季.嵌入式軟件系統(tǒng)測試平臺研究[D].成都:電子科技大學,2004.

[3]伍馮潔,謝陳躍,謝斌.Proteus與Keil在單片機開放性實驗中的應用[J].電子測量技術(shù),2008(6):100-103.

[4]劉利枚,周鮮成,石彪.嵌入式軟件白盒測試系統(tǒng)的實現(xiàn)[J].電子測量技術(shù),2008(6):69-71.

[5]陳火旺,劉春林,等.編譯原理[M].北京:國防工業(yè)出版社,2000.

[6]譚浩強.C語言程序設計[M].北京:清華大學出版社,1999.

[7]鄭人杰.計算機軟件測試技術(shù)[M].北京:清華大學出版社,1992.

[8]王飛,趙建濤,鐘瑛.Keil與Proteus在現(xiàn)代教學中的應用[J].現(xiàn)代企業(yè)教育,2009(12):238.

[9]喬文軍.嵌入式軟件測試平臺的研究與實現(xiàn)[D].南京:南京航空航天大學,2007.

[10]鐘艷花.Proteus仿真軟件在單片機教學中的應用[J].江門職業(yè)技術(shù)學院學報,2007(1):1-3.