基于軟件、測試、缺陷“三域”鉸鏈的軟件測試新架構研究與應用

顧濱兵，李軍鋒，朱佳良

(中國人民解放軍91404部隊，河北 秦皇島 066000)

0 引言

軟件測試是貫穿整個軟件開發生命周期，對軟件產品進行驗證和確認的活動過程，也是對軟件產品質量持續的評估過程，其目的是盡快盡早地發現在軟件產品中所存在的各種問題，盡最大可能揭示軟件開發過程中所存在的產品質量風險[1]。軟件工程實踐證明，軟件測試是檢驗軟件質量，把好軟件質量關的關鍵手段。通過開展軟件測試，測試人員在軟件中發現并解決了大量軟件缺陷，軟件測試對軟件質量提升作用十分明顯。

隨著軟件規模越來越大、結構越來越復雜，軟件測試從伴隨軟件開發、發現軟件錯誤的一項活動，向相對獨立、成熟方法、標準手段的專業方向發展。軟件測試已成為一個專業，形成了專門的方法手段，遵循規范的流程規程。軟件測試通常按照被測軟件的不同類型特點，分別采用靜態、動態、白盒、黑盒等測試方法，單元測試、集成測試、配置項測試、系統測試等測試級別[2]，并根據不同軟件制定針對性策略，按照不同次序對軟件開展測試。

軟件測試過程中，特別是對于大型復雜軟件，必須設置恰當的測試策略，選擇合適的測試工具和方法手段，合理分解和設計測試用例，有效搭建測試環境，才能優質高效地發現軟件問題，客觀評價質量，完成測試任務，而這些工作需要建立相應標準統一的測試框架，這就是軟件測試架構。

但目前，從單元測試到系統測試、從功能測試到非功能測試的傳統線性架構，不能體現軟件敏捷開發、快速迭代和柔性擴展、高度復用等特點，也不能體現軟件測試從層層遞進向分級分類迭代式驗證的發展新趨勢。為有效應對軟件比重的快速增長以及井噴式軟件測試需求，根據軟件敏捷開發和迭代升級特點，設計了一種基于軟件、測試、缺陷“三域”鉸鏈的軟件測試新型架構，通過測試數據跨項目共享復用，能夠有效實施全過程敏捷測試，極大提升軟件測試質效。

1 軟件測試架構的分析與研究

在大型軟件的測試中，軟件測試架構對提高測試團隊的技術能力，有效開展軟件測試，起著越來越關鍵的作用。雖然軟件測試架構是一個新興概念，但像微軟、阿里巴巴集團等軟件公司早就設置了軟件測試架構師的職位，由軟件測試架構師對軟件測試進行規劃指導、整體設計、并統籌測試資源、安排各項測試活動等。

1.1 軟件測試架構的發展及現狀

最初，軟件測試作為輔助軟件編碼、提高軟件質量的重要手段，其測試架構高度依賴于軟件開發架構。軟件測試為了與研發活動相銜接，在軟件開發模型的基礎上，建立配套的軟件測試模型。目前常見的測試模型有V模型、W模型(見圖1)、H模型、X模型[3]、“跑道”模型[4]等。

圖1 W模型測試架構

V模型強調了在整個軟件項目開發中需要經歷的若干測試級別，并與開發級別對應。W模型強調了測試計劃工作的先行和對系統需求，以及系統設計的測試。在H模型中，軟件測試活動完全獨立，貫穿于整個軟件周期，與其他流程并發進行。此外還有X模型，多根并行線代表著變更可以在各個部分發生，提高了迭代效率。雖然從H模型開始，軟件測試活動獨立，但從測試模型構建角度上講，還是與開發模型相互綁定的。

隨著軟件測試的進一步發展，軟件測試相對于軟件研發進一步獨立，2018年起，國內首次提出軟件測試模型-“川模型”測試架構[5]，開始建立獨立的測試體系。“川模型”由3條相對獨立的測試實施流程組成，包括驗收測試實施流程、需求級測試實施流程和業務級測試實施流程。“川模型”突出體現了測試活動對質量把控的重要性，站在測試者的角度，以測試來保證最終用戶的質量認可，體現測試先行的重要意義。

以上這些軟件測試模型主要考慮同一測試對象不同級別、不同類型測試的前后銜接與繼承關系，但未考慮與同類測試對象間的橫向關聯。實際上，同類軟件測試項目特別是同一領域的測試項目具有較強的關聯性和相似度，其數據具有很高的借鑒意義，必須將相關項目的測試先驗數據納入本項目測試設計，構建啟發式的軟件測試架構模式，最大程度上吸收已有測試經驗，復用已有測試成果，才能滿足軟件敏捷開發和快速交付要求下，快速增長的測試需求。對于軟件測評機構，雖然測試任務存在一定的不確定性和非延續性，但目前看來，隨著軟件測試領域不斷發展成熟，越專業的機構，主體業務越是相對固化，形成了對該專業領域的核心競爭力，競爭力來自經驗技術的不斷積累。因此，優質的軟件測評機構往往高度重視專業領域測評技術總結沉淀，通過測試平臺建設，建立測試數據共享機制，使已發現同類項目的典型軟件缺陷數據和測試數據等能用于指導后續測試，有效復用測試用例及相關測試資源，規避問題風險，同時利用工程化方法預測軟件缺陷[6-7]，可以大大提高測試精準性。因此，建立更為高效適用的軟件測試架構，必要具備“測試知識”的積累應用能力和數據共享復用能力。

1.2 軟件測試架構的特性與發展方向

軟件測試架構的構建由兩方面因素決定：一是被測軟件本身的技術特點，二是軟件測試資源投向。

從被測軟件來看，軟件本身的功能、性能、系統架構等決定了軟件如何被優質高效地測試，必須針對性制定測試計劃，進行測試安排，例如軟件功能架構情況決定了軟件功能測試項和測試用例的劃分、分解和設計，從而確定合理的測試用例集。

從測試資源看，人工設計用例方式受人為因素的影響較大且日益不能滿足現有需求[8]，必須根據軟件測試需求和要求，統籌考慮測試環境、測試工具、測試方法，并引入測試管理系統來提高測試自動化水平。

在線形模型架構基礎上，近年來國內也提出以測試過程為中心，軟件質量、測試團隊、測試技術3要素鉸鏈構建的軟件測試架構[9]，特別是針對專業領域所研究的人員素質、工作流程與模型、測試技術和工具三個因素的公安交通管理信息系統軟件測試總體架構[10]，以及以高效可信、靈活賦能為目標的雷達產品軟件測試框架[11]等，均主要從測試管理角度構建，主要為發揮測試團隊質量優勢，本文提出的軟件測試新架構偏重于為發現軟件缺陷提高測試質效而構建軟件測試技術框架，但這些架構的提出也有一定的借鑒意義。

當前被測軟件系統，不但規模上越來越復雜，還在交付周期上不斷壓縮。其為了迅速應對使用需求和快速部署要求，往往采用分階段目標設定、分階段設計實現，分階段能力生成的研發方式，確保軟件能夠快速交付，并按計劃目標不斷迭代優化。在這種情況下，軟件測試架構發展呈現以下的特點趨向：

1)確保測試先行，盡早發現問題，及時了解項目的測試風險，及早制訂應對方案，并使軟件測試貫穿軟件全壽命周期；

2)必須適應軟件快速開發要求，在敏捷測試理念下明確測試重點，設置合理的測試策略，縮短軟件測試周期，提高測試效率；

3)打破軟件測試從單元測試到驗收測試的傳統線性關系，支持在全壽命周期內根據軟件變更進行測試迭代，以應對軟件需求變更調整和自身優化升級；

4)充分利用歷史經驗，基于前序測試知識，盡可能進行測試用例復用，從而科學有效地實現分級分類迭代測試。

設計的基于軟件、測試、缺陷的軟件測試新架構主要著眼于已有軟件測試數據的積累應用，在軟件測試已形成的“知識”的啟發指導下，準確應對軟件測試需求，精準投入測試資源，達到提高軟件測試質效的目的。

2 基于“三域”鉸鏈的軟件測試新架構

當前，傳統的軟件測試架構雖然也試圖解決迭代測試的問題，但線性為主的架構方式，以及不同軟件項目間測試信息關聯度低，未能充分挖掘數據信息內在規律等現實情況，不可避免地導致大量軟件測試工作簡單重復、無法跨項目復用歷史用例等。而之所以出現軟件測試數據無序累積，無法共享應用，不能實現優化迭代測試等問題，一個重要的原因就是缺少測試信息共性基礎標準，未形成以共享復用為基礎的啟發式測試體系架構。

本文提出的軟件測試新架構，在重新梳理軟件測試信息及其模型構建的基礎上分析認為，要在傳統的軟件測試架構基礎上，重點針對由于軟件測試數據采編標準不統一、存儲管理無序化、自動處理落地難，以及缺乏專業信息系統對軟件測試數據進行常態化積累與常態化應用等問題，著力推動軟件測試數據共享復用、凝結測試經驗知識，支撐迭代性測試。以軟件測試數據的采存管理、異構融合、分析挖掘、交換共享等為基點，提出了基于軟件、測試、缺陷 “三域”鉸鏈的“知識化”軟件測試新型架構，通過基于測試的軟件缺陷參數化表述模型，形成了軟件測試/試驗數據關聯關系圖譜，突破了軟件試驗數據聚類重組技術和軟件典型缺陷模式提取技術，實現了軟件測試從隨機發散型向缺陷特征規律啟發型轉變，推動軟件測試更加精準深入高效。

2.1 軟件、測試、缺陷“三域”

按照CCSE2004發布的報告，軟件工程學科由10個知識域構成：軟件需求、軟件設計、軟件構造、軟件測試、軟件維護、軟件配置管理、軟件工程管理、軟件工程過程、軟件工程工具和方法、軟件質量。對軟件測試信息的有效收集、表示和存儲，不僅能為重復測試提供方便[12]，但其根本目的是通過軟件測試方法改進，精準發現軟件缺陷[13]，快速提高軟件質量。在傳統軟件工程知識域的基礎上，以建立軟件測試新型架構為目標，測試信息劃分為3個獨立的域：被測軟件域、測試域、軟件缺陷域[14]，在“三域”鉸鏈下對軟件測試信息進行一系列“知識化”處理，形成軟件測試領域知識模型[15]，最終制導構建軟件一體化測評框架[16]。國內提出基于軟件缺陷知識的測試框架[17]，而這里提出的 三域鉸鏈“知識化”下的軟件測試新架構更利于表述復用共享高效的測試解決方案。

2.2 “三域”鉸鏈下的軟件測試架構

軟件、測試、缺陷“三域”中，被測軟件域和測試域之間，在分析軟件測試信息時，以歷史軟件測試項目的數據作為基礎，并參考軟件測試項目數據，對測試信息進行自頂向下、層層細化的詳細分析，并通過測試人員及開發人員不同的視角進行，從而得出各種分散的測試信息知識[18]，構建跨項目測試框架[19]；其次，測試域與軟件缺陷域之間，測試需求、測試用例和測試發現的故障之間的映射關系具有復雜的多對多對應關系[20]。在系統建立的測試數據庫的基礎上，進行合理的統計分析和數據挖掘，獲得需要的數據[21]。把知識庫的結構引入到軟件缺陷管理中，把缺陷分析從數據管理層面提升為知識管理層面，提取規則知識，并生成能指導軟件測試工作的策略[21]；再次，被測軟件域與軟件缺陷域之間，開展軟件故障模式分析，針對特定軟件的常見故障，歸納故障特征(包括故障類型、原因、現象等)，形成軟件故障模式庫[22]。目的在于根據故障模式生成可能觸發軟件故障的異常測試數據，并施加于被測軟件，從而對其進行針對性的測試。

軟件測試新架構構建軟件、測試、缺陷三域鉸鏈的測試信息模型，如果沒有一致的信息模型定義，數據的交互和重用難度很大。測試信息模型要求通過創建一致的信息模型和信息接口，把與測試相關數據進行信息的模型化，消除不同域內數據和信息的表達差異，實現裝備軟件、測試資源和測試過程和測試結果各個域內所有測試數據的共享和信息的有效融合，從而切實提高裝備軟件的測試與診斷能力。

3 關聯知識啟發式的新型測試架構詳細設計

通過總結“三域鉸鏈”的軟件測試信息規律，根據當前軟件測試業務從隨機性向“知識化、啟發式”的發展需求，提出了基于軟件、測試、缺陷 “三域”鉸鏈的軟件測試技術架構(見圖2)。

圖2 基于軟件、測試、缺陷“三域”鉸鏈的軟件測試技術架構

該軟件測試新架構的主要內容是：

3.1 信息表征模型化

通過建立統一軟件測試技術框架和測試描述語言規范，實現軟件典型缺陷與測試樣例的描述標準化、結構參數化(見圖3)，消除不同域內軟件測試數據的表達和組織差異，為軟件測試數據“采存管用”規范化、標準化、常態化奠定技術基礎，提供由研發、測試等各階段、各方共享，用于測試的信息框架，實現測試信息的有效融合和復用。

建立基于測試視角的參數化軟件測試信息表述模型(見圖4)，以測試視角為數據處理主要原則，將軟件、軟件測試項目、軟件缺陷等信息進行參數化描述，建立信息模型，實現軟件測試數據、缺陷數據的聚類重組。

圖4 基于測試視角的參數化軟件測試信息表述模型

3.2 缺陷數據知識化

對于某一裝備領域比如說軟件密集的電子信息裝備等，軟件缺陷呈現重復性、規律性。軟件典型缺陷與測試樣例庫通過對軟件缺陷數據按“層次”進行聚類重組，按軟件典型缺陷模式提取軟件缺陷知識，顯式表述軟件缺陷及測試過程中呈現的規律，用于指導裝備軟件的研發、測試等工作，避免軟件歷史缺陷及類似缺陷的重復發生。

將以往的軟件缺陷數據按照測試視角以及應用分層的思想進行聚類重組，提取模式化的軟件典型缺陷(見表1)。

在面向測試視角的軟件缺陷信息模型基礎上，統一規范軟件缺陷數據和測試信息，消除不同域內數據信息的表達差異，并易于分析軟件缺陷特征規律，實現軟件精準測試。

1)測試需求分析精準化：主要依托被測軟件知識庫實現，利用軟件開發特征知識庫知識分析被測軟件技術特點；利用軟件應用場景知識庫知識，分析測試背景，確定測試重點內容；利用裝備及軟件關系知識庫，抽取裝備軟件間繼承依賴關系，分析歷史信息和測試軌跡，優化調整測試策略。

2)測試策劃精準化：主要依托測試過程知識庫，尤其是其中的測試環境條件知識庫，根據被測軟件實際情況，既可利用依賴項目抽取相關信息建立初始環境工具數據集，也可利用跨項目比對，對已有測試環境搭建需求提報和測試工具選擇進行精準化的調整。

3)測試設計精準化：主要依托軟件缺陷知識庫和測試過程知識庫，根據軟件質量理論，功能類似、同一領域軟件的缺陷經常呈現重復性、聚集性等規律特征，在航空航天、電子信息裝備等特定專業領域中的軟件進行測試時，可以通過知識化的缺陷數據和缺陷規律，通過吸收測試經驗，復用測試用例，借鑒測試方法和測試手段應用，指導軟件測試過程，充分發揮數據驅動作用和倍增效應，實現測試投向的精準化。

4)測試執行精準化：主要依托被測軟件知識庫、軟件缺陷知識庫與測試過程知識庫的關聯關系，吸收以往測試執行經驗，以測試數據采集、處理、分析為中心，利用知識反饋實現測試迭代，實現更有效的測試過程管理。

5)測試總結精準化：主要依托軟件缺陷知識庫，評價遺留問題危害和后果，同時依托被測軟件知識庫，進行同類裝備軟件質量的橫向和縱向比較，真實反映當前軟件的質量情況。

4 軟件測試新架構的應用

要應用軟件測試新架構，離不開軟件測試信息系統和數據共享平臺的支撐，必須實現軟件測試信息系統與測試新架構的有效融合。通過建立統一的技術框架和信息表述規范，并在此基礎上設計軟件測試信息管理系統，實現軟件測試數據、缺陷數據的完整準確留存和優質高效共享，為加強軟件測試設計、優化組織實施提供有效數據保障。

首先通過基于測試的軟件缺陷參數化表述模型和軟件測試結構化描述語言規范，按照因素結構分析法，區分固定變量、枚舉型變量、自由變量等要素設計數據采集界面，以及多源數據的融合整編，構建了軟件典型缺陷與測試樣例共享平臺。

其次實現從軟件缺陷基本特征到各要素分類表述的數據組織，對軟件測試/試驗數據進行聚類重組。新的重組方式要更易按照軟件缺陷進行檢索和統計，形成測試知識，實現數據標準化采編和共享復用，為軟件測試任務提供數據支撐。

再次是軟件測試信息管理系統的設計與實現。根據“被測軟件”、“測試”、“軟件缺陷”三域主題，確定主題應該包含的數據。雖然各軟件測評機構使用的測評實驗室管理系統保存著大量測試數據，但這些數據不能等同于圍繞軟件缺陷主題的數據。“軟件監測人”、“測試的具體日期”等對軟件缺陷沒有直接的影響，可在系統中進行字段切除。要將關于某一主題的、散落在其他軟件測試實驗室管理系統中的信息組織進來。例如“軟件缺陷”還存在于試驗、研制的相關數據系統中，在進行軟件缺陷的分析和統計時，需要了解這一信息，由于這些信息包含了更多的裝備實際外場環境和使用背景，利用價值很高，就必須要將其組織進來。不同的主題之間可能會出現相互重疊的信息，例如“軟件缺陷”與“測試項目”主題在具體的測試結果和測試過程信息方面有很多相互重疊的信息，這種重疊信息往往來源于兩個主題之間的聯系，例如，“軟件缺陷”主題與“測試項目”主題在測試項目編號和測試過程方面的相互重疊來源于軟件測評的實驗室管理系統及相關的數據存儲處理系統。因此需要圍繞“軟件缺陷”這一主題重新進行數據的組織。在數據組織基礎上采用軟件倉庫的相關工具對軟件測試信息管理系統(見圖5)進行了設計和開發。

最后，應用軟件測試信息管理系統和軟件測試新架構，進行測試需求輔助分析，通過跨項目經驗借鑒優化調整測試策略，快速完成軟件測試設計，利用先驗缺陷知識和測試知識指導用例設計，通過跨項目關聯明確測試用例復用和篩選策略，在測試執行中記錄重要和關鍵現象，與預期結果進行比對，在缺陷知識支持下進行測試信息分析和缺陷匹配，確定軟件缺陷，分析定位原因，同時以質量數據和質量模型為基礎評估軟件質量。

在實際工作中，建立了電子信息裝備軟件典型缺陷與測試樣例平臺和測試信息系統，收錄了十多年的試驗/測試數據，已在多項測試任務和研制項目中得到應用。在測試信息系統基礎上的軟件測試新架構，應用于各項測試任務中，為改進傳統軟件測試方式，精準投放測試資源，提高測試質效方面發揮作用明顯，在某型偵察系統中將軟件測評周期從6個月縮減至3個月。特別在某型裝備中根據已服役類似裝備的相關缺陷知識，發現多年來一直未被發現的信號分選問題。并根據信號偵收不穩定相關的測試數據分析，應用缺陷知識，成功測試出后續裝備存在的某判斷算法邏輯錯誤的問題。

5 結束語

本項目為高效開展軟件試驗工作，首次針對性地提出了軟件、測試、缺陷“三域”鉸鏈軟件測試新架構，通過構建基于測試的軟件缺陷參數化表述模型、研發軟件測試信息管理系統，收集了大量數據，使軟件測試數據模型化、知識化，為更好、更深入開展軟件試驗工作提供了有效技術支撐，推動軟件測試/試驗水平和效率的整體提高，并為裝備研制單位和使用單位提高研發質量、快速診斷排故等提供較好數據服務。