基于模型測試汽車自動化控制系統對照研究

摘要：在汽車行業，隨著ECU增加的復雜性，需要創建便于早期測試以確保功能的模型，但對于如何編寫這些測試以獲得最大覆蓋范圍幾乎沒有指導。文章評估了原型CANoe+，它從軟件開發人員和軟件測試人員的角度出發，使用CANoe和（GraphWalker工具Vs CANoe關于生成測試用例的覆蓋范圍最大化。實驗通過使用Mann-Whitney-Wilcoxon統計檢驗時，CANoe+比單獨使用顯著更有效，這些結果加強了現有證據，證明使用基于模型的測試技術（如CANoe+）在汽車系統中使用CANoe等測試方法的優越性。

關鍵詞：EUC;最大覆蓋;CANoe;GraphWalker工具

中圖分類號：U467.1+3

文獻標識碼：A

文章編號：1001-5922（2020）08-0179-04

Comparative Study on Automated Control System Based onModel Testing

DUAN Shao-yong

（Yangling Vocational & Technical College，Yangling Shaanxi 712IOO.China）

Abstract ： In the automotive industry，with the added complexity of ECUs，there is a need to create models that facili-tate early testing to ensure functionality，but there is little guidance on how to write these tests for maximum cover-age.This article evaluates the prototype CANoe+.which uses CANoe and the GraphWalker tool Vs CANoe to maxi-mize the coverage of the generated test cases from the perspective of software developers and software testers.Ex-periments Using the Mann-Whitney-Wilcoxon statistical test.CANoe+is significantly more efficient than using italone.These results reinforce existing evidence and demonstrate the use of model-based testing techniques such asCANoe+for CANoe testing in automotive systems. The superiority of the method.

Key Words ： EUC;Maximum Coverage;CANoe;GJraphWalker Tool

1概述

如今，隨著電子控制單元（ Electronic ControlUnits，ECU）中的軟件變得越來越復雜，汽車行業對高效測試過程的需求日益增加。ECU是任何控制汽車中一個或多個電氣系統或子系統的嵌入式系統的通用術語，行業內專家已經提出了基于自動化模型的軟件測試，但是由于所構建系統的復雜性，生成自動化測試用例是很巨大的挑戰[1]。考慮到這一點，創建一種方法使開發人員能夠使用圖論理論技術對期望系統的行為進行建模，并生成自動化測試用例實現系統功能測試的智能化。

該系統主要2種工具（即CANoe[2]和GraphWalker[3]）的優勢生成和執行最大覆蓋范圍的測試用例，并成功應用于汽車行業。通過最大覆蓋范圍，可表示系統的功能由生成的測試用例執行多少來確定。這將通過使用模型來驗證系統要求，并驗證被測系統是否滿足客戶的需求;此外，本文所提出的假設是，從長遠來看，這種方法將降低了回歸測試的成本，開發人員的努力將被引導至探索性和負面測試。

2基于模型測試介紹

基于模型的測試是通過應用許多復雜的方法從與被測系統（Svstein Under Test，SUT）相關的模型生成測試的過程。基于模型的測試的基本思想是：并非通過手動創建測試用例，而是選擇一種算法從模型中自動生成測試用例，這種方式減少了測試設計時間，并且允許通過使用不同的測試選擇標準等來從同一模型生成各種測試套件。

通過使用基于模型的測試工具，測試用例從被測軟件的抽象模型中生成，測試用例被實現為可執行測試，然后使用所選算法自動執行測試用例。的每個測試輸出和每個預期輸出得到。基于模型的測試過程由幾個主要步驟組成，即被測軟件的建模，從模型生成抽象測試，抽象測試的具體化以使其可執行，針對待測軟件（SUT）執行測試以分配判決并分析測試結果等，各步驟介紹如下。

1）對待測試軟件進行建模，根據圖1中的實際模型編寫待測試系統的抽象模型。抽象模型必須關注測試開發人員想要測試的功能，并將其他不需要測試的細節抽象出來。在描述模型之后，可以檢查驗證和驗證哪種GraphWalker可以用于此效果。

2）通過模型生成抽象測試。抽象測試是自動生成的，并且是被測軟件的簡單視圖。因此，它們不包含有關如何直接執行測試用例的詳細信息，但是它們是在執行測試之前要實現的方法的接口。然后測試開發人員必須決定測試選擇標準，測試選擇標準也決定了測試覆蓋范圍，以確定從模型中產生哪些測試，因為可以進行無數次可能的測試。這一步的輸出是抽象測試，它是來自模型的操作序列。

3）將抽象測試轉換為可執行的具體測試。可通過使用將每個抽象測試轉換為可執行測試腳本的轉換工具來完成。這通過在抽象模型中未提及的低級SUT細節中添加抽象測試和具體軟件之間的差距。

4）針對被測系統執行具體測試。這可以在線完成，其中基于模型的測試工具直接連接到SUT，并在基于模型的測試工具生成測試用例作為計算機可讀資產（以后可以白動運行）時動態或脫機地進行測試。

5）分析測試執行結果和采取糾正措施。對于每個失敗的測試，必須確定導致失敗的故障。當測試失敗時，可能是由于SUT中的錯誤，或者它可能是測試用例本身的錯誤。盡管如此，該測試模式能夠獲得有關模型正確性的反饋，因為故障可以與模型或可執行測試相關聯。

3CANoe+測試研究介紹

CANoe+是解決手頭挑戰的解決方案，其集成了GraphWalker和CANoe等工具，通過接口的實施構建這兩種工具之間的溝通橋梁。但是，除上述工具外，該解決方案還包括模型和測試模塊，在使用CANoe+編寫測試時涉及3個主要步驟，如圖2所示的上下文框圖所示[4-9]。

3.1建模

CANoe+涉及要測試的功能的建模，使用vEd桌面應用程序，將被測試系統的預期行為模型繪制為擴展的有限狀態機。它將待測系統建模為狀態和轉換，模型以GraphML格式保存，保存的模型作為預期狀態，轉換和需要測試的值的輸入提供給GraphWalker工具。

3.2GraphWalker

在如圖2所示的上下文中，GraphWalker有3個主要角色：①檢查模型以確保從起始狀態到結束狀態至少有一條直接路徑;②生成一個界面，即提供的模型的抽象測試;③以非確定性順序執行測試。Graph-Walker通過上面提到的通信橋連接到CANoe，為了進行此通信，GraphWalker生成的接口已實現，并使用“gwlnterface.jar”。使用了100%的邊緣覆蓋選擇標準來覆蓋所有邊緣，從而導致覆蓋狀態，當執行Graph-Walker時，jar文件只有一個單獨的任務，即向服務器發送GraphWalker請求，然后執行測試。Graph-Walker請求包含當前狀態/轉換及其值的快照，并且快照打包在一個“JSON”對象中。

3.3 CANoe

CANoe包括一個模擬的CAN網絡和一個保存網絡值的數據庫（通過服務器實現）。如圖2中的上下文的模擬CAN網絡就是被測系統，CANoe負責測試框架，它是用來測試被測系統的測試驅動程序。本文使用了一個.Net測試模塊，它由CANoe提供的庫來實現測試模塊，測試模塊是SUT適配器的實現，它應該與前一步中由GraphWalker生成的接口100%對應。測試模塊使用“MBT.dll”，它是上述橋的另一端，并充當服務器以執行從GraphWalker收到的請求。

3.4測試執行

GraphWalker使用隨機函數通過模型生成隨機測試序列，以確保邊緣覆蓋，因此當它執行時，它會發送一個要執行的給定函數的請求。在發送請求時，它具有附加的期望值。當找到測試模塊中要執行的功能時，將比較模型的期望值與CANoe數據庫中的實際值。向GraphWalker發回一個確認信息，確認該功能已被執行，然后CANoe會生成一份測試報告，顯示被稱為測試用例的功能是否合格。

要使用CANoe+，需要為被測系統建模，添加gwlnterface，將jar添加到GraphWalker并使用它提供的接口來實現可執行測試。在CANoe方面，將MBT.dll庫添加到測試模塊中，生成的接口被實現為.NET測試模塊。通過Incase修改或更改需要在被測系統中進行，例如，如果模型中定義了一個變量，并且需要在測試中使用它，那么需要完成的所有工作就是在實現的java類中定義它生成的接口以及實現生成接口的.NET測試模塊。采用這種方法，回歸測試變得更容易，因為變更和功能易于并入，并且能夠以低得多的成本輕松編寫測試。

4實驗設計

本文選擇進行控制實驗來評估原型，采用原型評估方式對不同模型的控制系統性能進行對比研究，原型評估是由使用CANoe+和CANoe工具完成的。參與者隨機抽樣進行兩種治療，以防止偏差影響結果。

覆蓋工具，即將CANoe+的使用與使用CANoe進行了比較。覆蓋的依賴或響應變量有助于了解給定模型在創建的測試中覆蓋了多少。覆蓋范圍在3個不同方面進行測量，即煙霧測試，功能測試和穩定性測試。本文主要專注于功能測試，這些測試取決于模型中邊緣的100%覆蓋率，以充分鍛煉待測軟件，從而確定有多少軟件已被執行。

定義如下假設：空假設：與使用CANoe相比，使用CANoe+工具生成的基于白動化模型的軟件測試用例的覆蓋率沒有最大化;實驗（可選）假設：與使用CANoe相比，使用CANoe+工具可以最大化基于自動化模型的軟件測試用例的覆蓋率;使用收集到的數據，假設能夠提供一個是否拒絕還是拒絕零假設的基礎。

為了分析選擇的分析模型，通過運行如下R函數，采用shapiro.test（）來測試失敗測試用例的樣本分布的正態性，qqnorm（）和qqline（）從正態分布中計算分位數;R函數wilcoxon.test（）在0.05的顯著性水平下運行，替代性較小的意思是單側測試，從替代假設使用替代值較少的方法，聲明CANoe的平均覆蓋率小于CANoe+的平均覆蓋率。對于每種情況，都會顯示正態性測試，Mann-Whitney-Wilcoxon測試，Q-Q圖和適用的工具的qqline，如下分別介紹了不同模型下的性能指標情況。

1）無故障。CANoe和CANoe+中失敗測試的所有值都是相同的，因此無法描述Shapiro wilk正態性測試，如下圖所示為CANoe和CANoe中失敗測試用例的Q-Q曲線圖，沒有錯誤注入，檢驗結果如圖3所示。

2）一個故障。為Canoe和CANoe+工具運行Shap-iro wilk正態性檢驗，證實的數據不正常。正是基于此，才根據Mann-Whitney-Wilcoxon非參數檢驗來檢查的數據是否有統計學意義，檢驗結果如圖4所示。

3）兩個故障。在運行shapiro wilk測試時，CA-Noe+工具提供了非正常數據，通過分析了兩組數據，運行Mann-Whitney-Wilcoxon非參數檢驗來確定是否存在統計學意義，如圖5所示為CANoe和CANoe+中帶有兩次故障注入的失敗測試案例的Q-Q圖。

5結語

文章主要介紹了基于模型測試汽車白動控制系統的工具CANoe+的原型，該工具旨在通過新工具（CA-Noe+）與目前的CANoe工作方式進行比較，研究是否存在覆蓋范圍最大化的基于模型的測試用例。通過對每次運行、記錄失敗的測試用例的數量，并進行分析。收集的數據進行統計分析并以對照實驗的形式報告。測試結果提供了足夠的證據，證明在汽車系統中使用CANoe+與使用CANoe相比可以增加測試用例的覆蓋范圍。

參考文獻

[1] Fodor D，Enisz K.Vehicle dynamics based ABS ECUverification on real-time hardware-in-the-loop simulator[C]//Power Electronics and Motion Control Conferenceand Exposition.IEEE， 2014： 1247-1251.

[2] Altinger H， Wotawa F，Schurius M.Testing methodsused in the automotive industry： results from a survey[C]//The Workshop on Joining Academia&IndustryContrihutions To Test Automation&Model-Based Test-ing. ACM，2014：1-6.

[3] Arcuri A， Briand L.A practical guide for using statis-tical tests to assess randomized algorithms in softwareengineering[C]//lntemational Conference on Software En-gineering.IEEE， 2011： 1-10.

[4]崔亦博.CBTC系統軟件測試自動化的研究[D].中國鐵道科學研究院，2017.

[5]魯劍俠.自動控制在汽車生產中的地位及展望[J].內燃機與配件，2017（17）：116-117.

[6]侯瑞春，丁香乾，陶冶，等.制造物聯及相關技術架構研究[J].計算機集成制造系統，2014， 20（01）：11-20.

[7]鄧曉華，余超，徐瑾，等.基于制造物聯技術的智能遠程服務平臺的設計及實現[J].自動化與儀器儀表，2015（08）：125-128+130.

[8]邱釗鵬，王彰云，李暉，等.一種基于串聯諧振補償拓撲的電動汽車變壓式無線充電系統[J].電子器件，2018，41（03）：667-671.

[9] Yang X， Lin Y， Gao F，et al.Automated test svstemdesign of body control module[C]//Intemational Confer-ence on Information Science. Electronics and ElectricalEngineering.IEEE， 2014： 1542-1546.

收稿日期：2020-04-19

作者簡介：段少勇（1982-），男，河南漯河人，碩士研究生，講師，研究方向：汽車檢測與維修、汽車制造工藝等。