基于Sylix OS嵌入式系統(tǒng)的自動(dòng)化測(cè)試裝置及測(cè)試系統(tǒng)設(shè)計(jì)

陳洪邦 李孝成

南京翼輝信息技術(shù)有限公司 南京 210000

引言

隨著物聯(lián)網(wǎng)的發(fā)展，使用不同硬件平臺(tái)、不同操作系統(tǒng)和安裝各種軟件的嵌入式設(shè)備被不斷的研發(fā)生產(chǎn)出來，安裝在這些設(shè)備中的嵌入式軟件系統(tǒng)變得多種多樣。多種設(shè)備為在各個(gè)設(shè)備中安裝的嵌入式軟件系統(tǒng)提供多種執(zhí)行環(huán)境，但是會(huì)產(chǎn)生錯(cuò)誤。因此，考慮到可能在執(zhí)行這些嵌入式系統(tǒng)功能中出現(xiàn)的錯(cuò)誤，需要提前對(duì)嵌入式系統(tǒng)進(jìn)行測(cè)試。

在與對(duì)應(yīng)于真實(shí)環(huán)境的目標(biāo)環(huán)境端口連接之前的主機(jī)環(huán)境下，根據(jù)基于許多情況的多種用戶情景來測(cè)試嵌入式系統(tǒng)。在主機(jī)環(huán)境下展開的情景可以在目標(biāo)環(huán)境下再現(xiàn)。由于可以將嵌入式系統(tǒng)與具有多種硬件特性和軟件環(huán)境的目標(biāo)環(huán)境端口連接，并進(jìn)行操作，所以在完成嵌入式系統(tǒng)的開發(fā)之前，嵌入式系統(tǒng)需要進(jìn)行多種情景詳細(xì)且深入的測(cè)試。存在一種傳統(tǒng)的測(cè)試方法，使用商業(yè)化的自動(dòng)測(cè)試工具，以便向嵌入式軟件單向發(fā)送命令。

單獨(dú)加載嵌入式軟件系統(tǒng)的多個(gè)電子設(shè)備在通過通信接口發(fā)送和接收數(shù)據(jù)的同時(shí)執(zhí)行每個(gè)嵌入式系統(tǒng)功能。各個(gè)嵌入式系統(tǒng)的特性相互不同(例如，不同操作系統(tǒng)或者不同CPU架構(gòu))，因此問題可能不僅由一個(gè)嵌入式系統(tǒng)引起而且也由多個(gè)嵌入式系統(tǒng)之間的交互引起。在后者的情況下，在執(zhí)行各個(gè)嵌入式系統(tǒng)功能的時(shí)間差、嵌入式軟件在接口上的效果等可以引起多種不期望的問題。

因此，基于針對(duì)單個(gè)嵌入式系統(tǒng)的單向命令發(fā)送的傳統(tǒng)測(cè)試難以再現(xiàn)特性相互不同的多個(gè)嵌入式系統(tǒng)之間的交互中、發(fā)送和接收數(shù)據(jù)的交互操作等中發(fā)生的多種問題。要覆蓋多種交互情景，傳統(tǒng)測(cè)試是不靈活的，驗(yàn)證與多種情況相對(duì)應(yīng)的情景的成本較高，浪費(fèi)了時(shí)間和勞動(dòng)力，難以精確測(cè)試。

針對(duì)上述嵌入式系統(tǒng)測(cè)試驗(yàn)證問題，本文提出一種嵌入式系統(tǒng)的自動(dòng)化測(cè)試裝置和測(cè)試方法，根據(jù)此方法實(shí)現(xiàn)一套基于Sylix OS嵌入式系統(tǒng)的自動(dòng)化測(cè)試系統(tǒng)作為一種解決方案，解決嵌入式系統(tǒng)外設(shè)眾多、交互場(chǎng)景復(fù)雜、硬件平臺(tái)和軟件平臺(tái)(包括操作系統(tǒng)和軟件)多樣的測(cè)試和驗(yàn)證工作量巨大且難以覆蓋的難題。

1 系統(tǒng)總體設(shè)計(jì)

1.1 自動(dòng)化測(cè)試裝置設(shè)計(jì) 自動(dòng)化測(cè)試裝置由三個(gè)功能組件組成，上位機(jī)、工具代理、目標(biāo)代理；上位機(jī)是一臺(tái)安裝Windows操作系統(tǒng)(也可以是Linux或Mac OS)的電腦，上位機(jī)上部署了自動(dòng)化測(cè)試系統(tǒng)人機(jī)操作界面，人機(jī)界面使用跨平臺(tái)C＋＋圖形用戶界面應(yīng)用程序開發(fā)框架Qt開發(fā)；工具代理是具備完整嵌入式系統(tǒng)功能的板卡或設(shè)備；目標(biāo)代理是被測(cè)目標(biāo)對(duì)象，一般是具備嵌入式系統(tǒng)功能的板卡或嵌入式設(shè)備。

自動(dòng)化測(cè)試裝置的連接拓?fù)淙鐖D11所示，上位機(jī)、工具代理和目標(biāo)代理之間需要通過網(wǎng)線連接，并給三個(gè)設(shè)備分配同網(wǎng)段的IP地址，以便于網(wǎng)絡(luò)通信。根據(jù)測(cè)試需求的需要，測(cè)試工具與被測(cè)目標(biāo)之間可以通過各種總線連接，例如網(wǎng)口、串口、I2 C、CAN、SPI等，被測(cè)目標(biāo)也可以通過HDMI連接顯示器輸出圖像。

圖1.1 自動(dòng)化測(cè)試裝置連接拓?fù)?/p>

1.2 系統(tǒng)軟件架構(gòu)設(shè)計(jì) 自動(dòng)化測(cè)試系統(tǒng)軟件架構(gòu)分為三個(gè)部分，上位機(jī)軟件、工具代理軟件和目標(biāo)代理軟件，上位機(jī)軟件主要承擔(dān)整個(gè)系統(tǒng)的業(yè)務(wù)流程控制和人機(jī)交互界面；工具代理軟件承擔(dān)測(cè)試用例的執(zhí)行管理和測(cè)試執(zhí)行協(xié)作，如按照用例設(shè)計(jì)的順序執(zhí)行等；目標(biāo)代理軟件需要完成在測(cè)試前置條件滿足情況下，執(zhí)行測(cè)試用例，并向測(cè)試工具和上位機(jī)反饋測(cè)試結(jié)果和上傳測(cè)試日志文件。嵌入式系統(tǒng)的自動(dòng)化測(cè)試系統(tǒng)架構(gòu)如圖12所示。

圖1.2 嵌入式系統(tǒng)的自動(dòng)化測(cè)試系統(tǒng)架構(gòu)

2 軟件設(shè)計(jì)

2.1 上位機(jī)軟件設(shè)計(jì) 上位機(jī)軟件是自動(dòng)化測(cè)試系統(tǒng)的人機(jī)操作主界面。主要功能包括測(cè)試用例和測(cè)試負(fù)載的管理，包括增加、刪除、修改、保存等功能；設(shè)備拓?fù)涔芾怼⑴c工具代理和設(shè)備代理的消息通信和文件傳輸；對(duì)XML和JSON格式文件的管理，測(cè)試業(yè)務(wù)流程控制、測(cè)試報(bào)告生成和打印，日志文件收集、查看、分析等，負(fù)載監(jiān)控和系統(tǒng)設(shè)置等。

2.1.1 測(cè)試配置流程 測(cè)試配置主要目標(biāo)是根據(jù)測(cè)試需求生成目標(biāo)代理執(zhí)行的測(cè)試場(chǎng)景文件，如圖2.3所示。測(cè)試場(chǎng)景文件以XML文件保存，一般包括測(cè)試用例和測(cè)試負(fù)載。

根據(jù)測(cè)試需求，首先需要配置測(cè)試用例和測(cè)試負(fù)載，生成測(cè)試用例文件和測(cè)試負(fù)載文件，這兩種以JSON文件保存；測(cè)試用例和測(cè)試負(fù)載文件結(jié)構(gòu)一般又劃分成測(cè)試集、測(cè)試用例和測(cè)試項(xiàng)，以樹形結(jié)構(gòu)組織；在配置測(cè)試場(chǎng)景時(shí)，可以直接選擇配置好的測(cè)試用例和測(cè)試負(fù)載的內(nèi)容作為測(cè)試場(chǎng)景文件的測(cè)試項(xiàng)，添加到測(cè)試場(chǎng)景文件中的測(cè)試項(xiàng)也可以根據(jù)待測(cè)板卡的硬件參數(shù)進(jìn)行測(cè)試項(xiàng)參數(shù)的調(diào)整，并不會(huì)影響被引用的測(cè)試用例或測(cè)試負(fù)載文件中的測(cè)試項(xiàng)。

因此，測(cè)試用例和測(cè)試負(fù)載文件可以被復(fù)用，測(cè)試場(chǎng)景中測(cè)試參數(shù)也可以動(dòng)態(tài)調(diào)整，大大提高了測(cè)試效率，降低用例管理的復(fù)雜度。

圖2.1 測(cè)試配置流程

2.1.2 啟動(dòng)測(cè)試流程 啟動(dòng)測(cè)試流程是自動(dòng)化測(cè)試系統(tǒng)的核心流程，首先，需要啟動(dòng)執(zhí)行工具代理和目標(biāo)代理上的軟件程序，在Sylix OS中啟動(dòng)的命令是/apps/test_tool&，/apps/test_target&。啟動(dòng)上位機(jī)軟件，在系統(tǒng)設(shè)置中配置自動(dòng)化測(cè)試執(zhí)行的必需參數(shù)。其次，需要在上位機(jī)的測(cè)試場(chǎng)景中勾選待執(zhí)行的測(cè)試用例和測(cè)試負(fù)載，點(diǎn)擊啟動(dòng)執(zhí)行。最后在測(cè)試分析中查看測(cè)試報(bào)告和測(cè)試產(chǎn)生的日志文件。啟動(dòng)測(cè)試后的三個(gè)組件之間具體交互流程，詳見圖2.2。

圖2.2 啟動(dòng)測(cè)試流程

2.2 工具代理軟件設(shè)計(jì)

2.2.1 業(yè)務(wù)主流程 工具代理軟件負(fù)責(zé)交互命令應(yīng)答，XML解析，測(cè)試流程控制，測(cè)試執(zhí)行和分派測(cè)試任務(wù)給目標(biāo)代理，并更新測(cè)試項(xiàng)執(zhí)行鏈表中的測(cè)試結(jié)果和測(cè)試日志路徑，然后再上報(bào)上位機(jī)。業(yè)務(wù)流程，如圖2.3所示。

2.3 目標(biāo)代理軟件設(shè)計(jì)

2.3.1 業(yè)務(wù)主流程 目標(biāo)代理軟件負(fù)責(zé)執(zhí)行負(fù)載程序和測(cè)試用例，并向測(cè)試工具和上位機(jī)反饋測(cè)試結(jié)果和上傳測(cè)試日志文件，業(yè)務(wù)具體流程，如圖2.4所示。

2.3.2 負(fù)載監(jiān)控流程 負(fù)載監(jiān)控流程主要是周期性的上報(bào)監(jiān)控?cái)?shù)據(jù)到上位機(jī)，具體業(yè)務(wù)流程，如圖2.5所示。

圖2.3 工具代理軟件主流程

圖2.4 目標(biāo)代理軟件主流程

圖2.5 負(fù)載監(jiān)控流程

3 系統(tǒng)驗(yàn)證

自動(dòng)化測(cè)試系統(tǒng)驗(yàn)證的步驟是：

1、進(jìn)行系統(tǒng)設(shè)置；

2、配置設(shè)備拓?fù)洌?/p>

3、配置測(cè)試用例和測(cè)試負(fù)載；

4、配置測(cè)試場(chǎng)景；

5、啟動(dòng)測(cè)試，執(zhí)行測(cè)試用例；

6、生成測(cè)試報(bào)告，查看測(cè)試日志，進(jìn)行測(cè)試分析。

3.1 系統(tǒng)設(shè)置 進(jìn)行系統(tǒng)設(shè)置，主要對(duì)后續(xù)軟件運(yùn)行需要用到的默認(rèn)目錄、默認(rèn)設(shè)備拓?fù)湮募湍J(rèn)系統(tǒng)通信端口號(hào)進(jìn)行設(shè)置，如圖3.1所示。

圖3.1 系統(tǒng)設(shè)置對(duì)話框

3.2 配置設(shè)備拓?fù)?配置設(shè)備拓?fù)洌壳爸恢С忠粋€(gè)工具代理設(shè)備管理一個(gè)目標(biāo)代理設(shè)備，后續(xù)業(yè)務(wù)場(chǎng)景需要，也可以擴(kuò)展成一對(duì)多，主要是配置上位機(jī)IP，工具節(jié)點(diǎn)設(shè)備和目標(biāo)代理設(shè)備的IP和通信端口，如圖3.2所示。

圖3.2 設(shè)備拓?fù)涔芾?/p>

3.3 配置測(cè)試用例 增加測(cè)試集、測(cè)試用例、測(cè)試項(xiàng)，進(jìn)行配置測(cè)試用例并保存，以便于后續(xù)在配置測(cè)試場(chǎng)景時(shí)使用，如圖3.3所示。

圖3.3 測(cè)試用例管理對(duì)話框

3.4 配置測(cè)試場(chǎng)景 增加選中的測(cè)試用例到測(cè)試場(chǎng)景中，配置測(cè)試場(chǎng)景，如圖3.4所示。

圖3.4 增加選中測(cè)試用例到測(cè)試場(chǎng)景中

3.5 執(zhí)行測(cè)試用例 執(zhí)行選中的測(cè)試用例，如圖3.5所示。

圖3.5 執(zhí)行選中測(cè)試用例

3.6 測(cè)試分析 生成和查看測(cè)試報(bào)告，查看測(cè)試日志文件，進(jìn)行測(cè)試分析，如圖3.6所示。

圖3.6 生成測(cè)試報(bào)告和查看日志記錄

結(jié)語(yǔ)

本文探討了現(xiàn)有嵌入式系統(tǒng)的傳統(tǒng)測(cè)試方法存在的不足，設(shè)計(jì)了基于Sylix OS操作系統(tǒng)的自動(dòng)化測(cè)試裝置和自動(dòng)化測(cè)試系統(tǒng)。從測(cè)試裝置設(shè)計(jì)和測(cè)試系統(tǒng)軟件設(shè)計(jì)兩個(gè)方面介紹了該系統(tǒng)的實(shí)現(xiàn)方法。最后，該系統(tǒng)已經(jīng)過全面完備的驗(yàn)證，根據(jù)翼輝信息研發(fā)部和測(cè)試部工作中的測(cè)試需求，配置測(cè)試用例和測(cè)試負(fù)載，生成測(cè)試場(chǎng)景文件，下發(fā)到工具代理和目標(biāo)代理機(jī)上執(zhí)行，并對(duì)自動(dòng)化用例執(zhí)行結(jié)果進(jìn)行分析，對(duì)該自動(dòng)化測(cè)試系統(tǒng)進(jìn)行了詳細(xì)的驗(yàn)證，已達(dá)到該系統(tǒng)設(shè)計(jì)的初衷。在研發(fā)過程中，使用此系統(tǒng)輔助測(cè)試人員和開發(fā)人員進(jìn)行嵌入式系統(tǒng)的自動(dòng)化測(cè)試，提升了測(cè)試效率，節(jié)約測(cè)試時(shí)間和人力，提高測(cè)試覆蓋率，可以更早發(fā)現(xiàn)系統(tǒng)錯(cuò)誤(BUG)并快速進(jìn)行回歸測(cè)試，提升產(chǎn)品質(zhì)量。此測(cè)試系統(tǒng)只要稍加修改，就可以用于基于其他操作系統(tǒng)的嵌入式設(shè)備的自動(dòng)化測(cè)試驗(yàn)證。