控制系統軟件系統級測試問題分析及測試方法研究

劉軍

關鍵詞 軟件測試 軟件系統級測試 軟件研制 軟件聯調 系統級測試方法

1引言

隨著信息化迅猛發展，大型控制系統已成為典型的軟件密集型裝備。以某系列軟件的測試統計為例，A 版、B 版、C 版的軟件規模分別為24 萬行、74 萬行、270 萬行;與A 版軟件相比，C 版軟件規模增長了11倍。由于軟件呈現“規模龐大、結構復雜、一體化綜合”的趨勢，因此軟件缺陷越來越難以發現，軟件質量難以保證[1] 。針對現有的問題與困難，經過對某控制系統軟件系統級測試的結果和過程進行分析，本文闡述了軟件系統級測試對軟件研制、軟件測試和聯調的作用，以及實施軟件系統級測試的方法[2] 。

2大型控制系統的特點

目前，控制系統及其軟件主要具備以下特點。

（1）控制系統功能復雜，要求具備網絡化控制能力以及復雜環境下的控制能力。

（2）外部接口和內部接口繁多，通信多元化，內部結構復雜，軟件規模龐大，一般在幾十萬至幾百萬行不等。

（ 3）信息處理數據量大，速度快。在系統中，各個分系統和數據處理組合之間采用了數字化數據交換模式，并且最快每幾秒甚至幾毫秒交換一次數據，每次達數百個字節，要求處理的數據量很大。

（4）控制復雜性高，系統包括多個分系統及其組合或設備，有很多狀態量和數據量，并且其周期不盡相同，系統軟件要對它們進行統一管理，邏輯關系非常復雜。

（5）實時性要求強，各個分系統和數據處理組合之間的數據交換周期是不同的，綜控計算機按照統一時序來協調分系統的工作，實現多個設備的同步。一旦在實時性方面出現錯誤，就會造成整個系統運行錯誤。

（ 6）規模巨大，一般在幾十萬甚至上百萬行，而對于如此巨大的軟件系統的需求分析、設計文檔內容相對單一，有的軟件需求文檔的描寫力度是平均每個軟件需求對應一萬行左右的程序。

（7）系統職責分層、數據分布處理，往往將系統劃分為分系統、子系統以及配置項等，不同的配置項部署于支持層、傳輸層、應用層等，處于不同層次的配置項行使的職責不同，支持層、傳輸層等配置項的功能在系統中對用戶不可見，應用層配置項的功能需要經由支持層、傳輸層的功能協助完成。而從用戶使用角度來看，使用功能是由多個軟件配置項/ 構件組合共同完成的，單一配置項/ 構件不能實現用戶的使用功能，配置項和系統需求的界限不易清晰的區分，分系統和子系統均是獨立運行和保障用戶使用的一個完整系統。

（8）人機交互多，系統的可用性、易用性必須符合用戶的使用習慣和任務需要，受人員影響很大，是使用需求驅動的軟件系統。

3大型控制系統軟件系統級測試現狀

面對以上軟件系統的特點，傳統的軟件配置項測試充分暴露“只見樹木、不見森林”的缺陷：測試力度不夠，無法驗證軟件配置項之間的功能協調性和接口協調性。通過調研發現，控制系統軟件系統級測試存在以下問題。

（1）大多控制系統軟件的測試只針對單個配置項，導致配置項之間互聯、互通、互操作，分系統之間的協調匹配沒有得到充分驗證;大多控制系統軟件沒有軟件系統級的需求分析和設計文檔。軟件配置項合格性測試完成后進入系統聯試，由于缺乏系統級測試和驗證依據軟件，導致軟件驗證不充分，使得盡管對軟件配置項的功能、性能進行了全面驗證，但仍有超過半數的軟件質量問題發生在系統聯試或系統試驗中，嚴重影響系統的研制進度。

（2）由于缺乏工程可行的系統級測試充分性準則、針對使用過程的描述手段以及海量測試數據的分析手段，即使開展了系統級測試也缺少統一的評價方法與充分性要求。

（3）系統總體單位組織的系統聯試，雖然聯合系統中所有軟件完成了使用流程的系統驗證，但驗證目的僅針對系統試驗要求，無法滿足復雜裝備軟件高可靠的質量需求。

雖然我國在2004 年發布的軍用軟件測試指南中明確提出了系統測試的內容和技術要求[3] ，但是并未針對大型復雜裝備軟件給出具體的指南。因此，本文通過結合項目調研和工程實踐，嘗試提出大型控制系統軟件系統級測試方法。

4大型控制系統軟件系統測試發現的問題

調研多個已進行軟件系統級測試或系統試驗的大型控制系統，對系統軟件系統級測試或系統試驗發現的軟件問題進行分析，發現出現問題的原因如下。

（1）系統級測試特點決定的：單個軟件配置項執行沒有問題，但作為系統執行時就有問題，此類問題為典型的系統級問題，配置項無法發現。

（2）模型設計缺陷。

（3）設計師對系統的認知與設計總體相比存在差異。

（4）設計師無系統概念，想方設法提高軟件指標但卻與系統指標無法協調，導致對其他軟件產生不良影響。

（5）測試人員認識提高，測試用例設計足夠復雜，激活潛在的軟件缺陷。

5軟件系統級測試問題分析對于軟件研制的啟發

5.1軟件系統級測試之于軟件測試的啟示

針對大型控制系統軟件系統級測試現狀，測評機構應該開展軟件系統級測評，并制定一套行之有效的系統級測試技術規范和實施管理流程。但基于提高軟件質量的要求，只在軟件驗收階段進行系統級測試又顯得不夠，那在軟件研制過程中是否可以實施系統級測試？ 而軟件研制過程中各軟件狀態不定、測試周期短，導致無法完全進行系統級測試。鑒于此，應從軟件測試的思路和方法進行改進：測試設計時應多從使用者的角度進行設計，而不應只對軟件進行覆蓋性測試;需對軟件任務剖面進行分析，構造任務應用場景;充分考慮與軟件有關的所有硬件和設備對軟件的影響;測試用例設計應增加針對飽和或滿負荷情況下的設計且用例應盡量復雜;測試執行時耦合度高的軟件應協同測試。

5.2軟件系統級測試之于軟件研制的啟示

分析軟件系統級測試或系統試驗問題產生的原因，不難發現如果在軟件研制過程中采取一定措施，相關問題在一定程度上是可以避免的。對此，在軟件研制過程中應采取以下措施。

（1）重視軟件系統需求分析與系統設計

系統需求是介于用戶需求和軟件需求之間的重要橋梁，是滿足用戶需求的重要保障，更是系統級測試的唯一依據。在系統軟件需求類文檔中，應明確系統軟件用途，重點描述系統軟件的任務使命、系統能力（覆蓋技術指標）、軟硬件環境要求、系統/ 分系統軟件體系結構設計等（即系統的任務流、功能流、信息流）。

存在工作狀態轉換的，在需求類文檔中，應詳細說明系統軟件所包含的各種工作狀態、轉換方式，必要時給出狀態轉換圖，以說明轉換條件、轉換點。對于各種工作方式，應清楚描述對應的能力需求組，以及參與實現的軟件，推薦使用表格進行說明。

在需求類文檔中，在對系統能力需求展開描述時，建議從系統/ 分系統的角度出發，對每一組能力需求進行詳細描述，建議給出工作流程圖、數據流圖，文字描述實現路徑，說明軟件參與的操作以及執行過程中的重點數據判讀要求、數據執行周期要求（處理時間分布情況），應列出研制總要求中與軟件相關的所有技術指標，并進行有效分解。

在需求類文檔中，應詳細描述整個系統軟件的內/ 外部接口通信內容，應詳細描述切實可行的安全性需求與措施。

（2）加強使用總體與設計總體、設計總體與設計師的溝通

軟件研制中設計總體、設計師應定期與使用總體進行溝通，這才能保證系統貼近用戶使用;設計總體和設計師定期溝通能夠消除彼此理解上的一些差異，同時形成頭腦風暴，完善模型設計，提高軟件質量。

5.3軟件系統級測試之于軟件系統聯調的啟示

軟件系統聯調一般是依據試驗任務對軟件系統的主要功能和流程進行驗證，缺乏充分性。軟件系統級測試是以測試的角度對軟件系統的所有設計分支進行測試，功能覆蓋全面。在對系統級測試結果分析中，發現如果系統聯調能夠充分測試，那某些問題本可以很早就能發現。鑒于此，應該在軟件系統聯調中采取以下措施，以提高軟件的可靠性。

（1）軟件系統聯調應轉變思想：系統聯調不應只為試驗任務服務，而是以提高軟件系統可靠性為目的。

（ 2）組織軟件系統聯調的人員應了解軟件測試，以軟件測試的角度結合軟件系統聯調的特點，綜合考慮制定聯調方案。

（3）軟件系統聯調依據試驗任務制定聯調方案時，應盡可能充分考慮系統功能，提高測試的充分性。

（4）軟件系統聯調應多考慮異常分支、異常情況，驗證系統可靠性。

（5）必要時，軟件系統聯調應請測試人員參與。

6大型控制系統軟件系統級測試方法研究

針對大型控制系統軟件研制特點以及系統測試或系統試驗發現的問題，本文開展了研究，建議大型控制系統軟件系統級測試應從以下兩方面進行研究。

6.1面向使用過程的系統級測試用例生成技術

大型控制系統使用環境復雜，使用過程綜合程度高，軟件系統級高精度、抗干擾、快速反應性能的考核需要在系統級集成測試環境下開展。面對復雜軟件系統，測試用例是一個與被測軟件的交互執行過程相對應的、由輸入控制點及其輸入指令或數據等要素組成的多元組的序列。大型控制系統作為復雜大系統，對于裝備軟件系統級測試用例的描述應包括使用環境情景想定、使用過程描述、測試激勵數據三個層次。系統級測試用例的描述示意圖如圖1所示。

（1）使用環境情景想定

控制系統裝備軟件系統級測試用例的前置條件需要想定符合實際使用過程的情景，涵蓋系統要求的各個性能指標、系統功能、任務剖面等。

（2）基于UML 順序圖的使用過程描述

UML 順序圖可以用來描述控制系統中不同對象之間的動態交互，顯示使用過程中涉及對象間的消息傳遞關系。而消息是由系統特征狀態構成的，課題研究應用UML 順序圖依照由系統特征狀態構造的任務剖面描述控制系統的測試場景，將輸入、輸出及約束條件合理組合生成覆蓋該場景的測試流程，以提高測試的充分性。

（3）針對GUI 的測試激勵數據生成

大型控制系統包括嵌入式軟件和GUI 軟件，針對嵌入式軟件，通常采用數據文件形式的測試用例，包括時間驅動和事件響應兩類用例激勵方式，目前已經較好地解決了這類軟件的用例生成和用例加載問題。

6.2軟件系統級驗證技術

（1）系統級形式化驗證

將組成控制系統的各分系統作為對象，構建狀態圖，應用形式化語言描述上層設計的軟件模型規格，研究形式化方法驗證系統行為的正確性和完備性。狀態圖用于對系統模型元素的動態行為進行建模，它描述一個實體基于事件反應的動態行為，顯示該實體如何根據當前所處的狀態對不同的事件做出不同的反應。形成狀態機模型后，根據定義驗證規則使用CTL 語句對模型進行仿真驗證。

（2）系統級協議分析

調研發現，近年的系統試驗所暴露出的軟件問題，誘因已經不是單一軟件配置項處理的特殊數據或異常數據，而是在系統/ 子系統內、系統/ 子系統外流轉的數據流在實際使用過程中發生的特例，也許基于本系統，它是有效數據，但由于它到來的時序特殊、與其他數據產生了疊加、軟件集成后與整系統硬件未良好匹配等因素，導致其觸發軟件缺陷，因此需要通過系統地分析、審查接口通信的協議，發現設備之間接口通信方面可能存在的隱患，以進一步提高軟件接口以及系統的可靠性。協議分析技術包括接口設計與實現審查、通信設計與實現審查兩部分。

7結束語

目前，針對大型控制系統開展系統級測試驗證一直是行業研究的熱點。本文基于理論研究成果，結合多個控制系統軟件系統級測試的工程實踐積累，研究出了一套實施系統級測試驗證的技術與方法，通過試點開展多個控制系統軟件測試驗證工作，后續將繼續深入研究系統級測試技術，以完善系統級測試流程規范，為系統軟件順利完成每一次試驗努力。