基于可視化的集成式自動化測試管理平臺

摘 ?要：大數據和云計算的興起，對數通廠家的產品質量和測試效率都提出了極高的要求。由于云計算自動化管理平臺和RF自動化管理平臺都無法解決測試過程和測試報告的管理問題、復雜環境并發問題等疑難問題。文章提出VTest的自動化測試管理平臺，實現測試流程、自動化開發、標準化結果輸出等集成式管理，滿足企業內部測試、互聯網企業和運營商集采入圍測試的需求，可以提升測試效率，縮短測試周期，提高產品的質量，加速產品的發布速度。

關鍵詞：自動化測試;測試管理;自動化測試開發

中圖分類號：TP311.52 ? ? 文獻標識碼：A 文章編號：2096-4706（2020）12-0098-07

Abstract：With the rise of big data and cloud computing，the product quality and test efficiency of data communication manufacturers have put forward extremely high requirements. Because the cloud computing automation management platform and RF automation management platform can not solve the test process and test report management problems，complex environment concurrency problems and other difficult problems. This paper puts forward the VTest automated test management platform，which can realize the integrated management of test process，automatic development and standardized result output，so as to meet the needs of enterprise internal testing，internet enterprises and operatorscentralized purchase and shortens the test period，improves the product quality and accelerates the release speed of products.

Keywords：automated testing;test management;automated test development

0 ?引 ?言

成功入圍互聯網企業如阿里、騰訊、運營商如中國移動等的集采測試，是對廠商在業界中的領先地位的一種認可，集采測試每次都能吸引諸多設備廠商競爭。集采測試涉及路由器領域、交換機領域、無線領域和安全領域等，其中高端路由器和數據中心交換機集采測試是中國移動在IP數通產品領域最重要的選型測試，會從眾多國內外產品供應商里優中選優[1]。在路由器和交換機領域的設備選型過程中設置了最高測評規格，移動方基于Spirent（思博倫）和IXIA（意達康）的儀表廠商，構建了相應測試平臺[2]，其保密性高、測試效率高。由于移動測試人員一個人需面對多廠商產品的測試，在高標準的驗收條件下，如何提升測試效率是目前最主要的問題。本文章通過分析傳統自動化管理平臺、RF自動化管理平臺，提出了全新的VTest（Visual Test）自動化測試管理平臺，實現了測試用例管理、測試報告管理、測試過程管理、自動化測試管理等集中式管理，提高了測試效率，縮短了測試周期，降低了人工成本，有效地降低了外部測試的風險。

1 ?現有的自動化測試管理平臺分析

云計算的自動化測試管理平臺[3]，更傾向于企業內部的集成測試，實現功能型的測試，局限性較大，無法勝任中國移動集采入圍測試的相關測試要求。

RF平臺的優勢在于較好的擴展性，支持較多第三方管理平臺如Jenkins、持續集成（Continuous Integration，CI）平臺[4]等，支持主流的開發語言。由于其開源特性，對外提供的公共庫支持有限，用戶需要基于不同的產品投入大量的人力和時間，以進行二次開發并進行適配。這就要求人員對自動化語言要極其熟悉，對人員水平要求極高。同時，RF缺少相應的測試管理和測試報告管理，測試配置通過表格形式進行設置，易用性較差，穩定性也不足。平臺運行復雜組網用例時需要人工逐個配置，極其耗時也容易出錯。

2 ?VTest自動化測試管理平臺

通過對比RF自動化測試管理平臺的優劣勢，提出并設計了VTest自動化測試管理平臺，其優勢如表1所示。

2.1 ?VTest自動化測試管理平臺架構

互聯網業務和運營商網絡都具有周期短、質量要求高等特點，銳捷網絡公司為了更好地控制人力成本、縮短產品交付周期、提升產品的測試效率、提高產品的交付質量，分析研究了云計算自動化測試管理平臺和RF自動化測試管理平臺無法解決的復雜場景組網測試、可視化測試管理等問題，基于測試儀表廠商Spirent和IXIA的配套儀表，提出了VTest自動化測試管理平臺，通過分級分層的測試平臺架構，實現了測試用例、測試腳本等的統一管理，具有上手快、自動化開發效率高、維護簡單等優點，其封裝的QuickCall和自帶的Native API擴展功能可以解決復雜的疊加應用場景，并支持多廠家的測試報告輸出，輸出報告統一并且完整，方便對過程的跟蹤和問題的排查。如圖1所示，將整體分為表示層、邏輯層、封裝層、接口層和物理層。

用戶基于可視化操作界面，發送相應的測試指令給測試資源、被測設備以及測試儀表，完成對測試拓撲的管理。

2.2 ?VTest自動化測試管理平臺實現與應用

2.2.1 ?VTest自動化測試管理平臺實現的動能

（1）測試用例庫管理：實現記錄測試項目名稱、測試廠家信息、測試軟件版本號以及測試用例名稱等測試用例管理功能。

（2）自動化測試管理：根據測試用例的設計要求，實現自動化公共庫設計、自動化腳本開發、自動化腳本調試等自動化相關功能。

（3）測試過程管理：按照項目測試要求，在自動化測試管理平臺下發全局的功能配置、測試動作與拓撲對應關系配置，把以上配置結果分別下發給被測設備與測試儀表，完成測試用例的測試。同時，通過測試過程的監控，實現對被測設備的設備信息、測試表項、設備回顯、測試指標等信息的監控功能。

（4）測試報告管理：自動化測試管理平臺提取登記內容、測試時間、測試過程以及測試結果等信息自動生成測試報表，同時實現對測試結果的瀏覽和打印功能。

2.2.2 ?VTest自動化測試管理平臺的應用

（1）應用于企業內部測試：自動化測試管理平臺可實現對測試全流程的監控，并提供了可靠的自動化測試解決方案，通過可視化的人際交互界面和標準化的測試報告，解決了成長性企業內部自動化率低、測試流程混亂以及無嚴格的測試報告審核等問題。該平臺的使用讓本公司的產品的自動化率從10%提升到80%、測試效率提升了8倍，縮短了產品研發的周期，提高了產品入市的速度，有效地降低了40%的成本。

（2）應用于互聯網企業入圍測試：由于互聯網產品的版本迭代快、測試內容多、效率要求高等特點，自動化測試管理平臺支持CI平臺的聯動，通過QuickCall與Response Maps的組合，使測試用例轉化為快速的自動化測試，利用平臺的拓撲管理功能，實現服務器、虛擬機、物理PC機、被測設備和測試儀表的多套并發與拓撲自動切換，結合CI平臺實現自定義時間段的執行與測試驗證，極大程度上減低了人工成本的投入。單測試用例執行周期從60分鐘/個提升到6分鐘/個，測試效率提升10倍，有效地縮短了測試回歸周期，提升了測試用例的復用率。

（3）應用于運營商集采測試：針對運營商集采測試周期短、用例復雜度高、測試要求嚴苛等特點，利用自動化測試管理平臺的可視化界面，結合報文的回放和錄制功能生成千萬級路由轉發流量;利用測試用例隨機、測試端口隨機等隨機算法，實現了測試用例隨機概率的觸發;再進一步通過圖形化人機交互功能，實現10臺被測設備的復雜組網;由自動化測試管理平臺統一調用800個測試儀表端口，實現瞬時的并發操作，從而完成7*24 h穩定的長時間的自動化拷機測試。該平臺的使用讓環境搭建周期從7天縮短到1天，測試效率提升7倍，大大降低了測試的復雜度，提高了測試的質量，減少了人工操作的耗時以及手工任務的錯誤概率，提升了企業入圍集采測試的可能，降低了入圍集采測試失敗的風險。

VTest自動化測試管理平臺提出了可視化的自動化測試管理，統一了操作規范和測試流程，解決了傳統自動化的資源獨占性問題。其通過測試拓撲的自動切換，提升了被測設備、被測儀表等測試資源的利用率，較好地縮短了項目的測試周期。該平臺解決了云計算自動化測試管理平臺下應用場景局限性的問題，能更好地適應復雜的、嚴苛的、較大規模的測試場景;解決了RF自動化框架穩定性差、開發效率低的問題，保證了自動化測試管理平臺的穩態運行，提高了自動化腳本的開發效率，從而進一步提升了測試的效率。

2.2.3 ?VTest自動化測試管理平臺的提升效果

文章分析了業界多平臺多架構的優劣勢，VTest自動化測試管理平臺采用分層架構，以高效率、高可用、高可靠、擴展性強為設計準則，滿足多廠商的適應復雜性環境、多功能、高性能、大容量、能完成7*24 h測試的測試需求。VTest平臺通過對運維管理工具的整合和對測試流程的管控，實現了產品質量與測試管理方面的創新性突破。借助這一全新的平臺，參與集采測試的廠商實現了產品質量與測試管理水平、測試工作交付效率的大幅度提升，從而不斷降低測試成本與入圍測試出局的風險。

3 ?結 ?論

VTest自動化測試管理平臺是集成測試用例設計和執行的解決方案，可用于測試用例的快速開發、自動化和維護以及標準化測試報告的管理。該平臺能靈活應對企業內部測試、互聯網企業集采測試、運營商集采測試等業務場景的挑戰，避免自動化測試項目可能遭遇的各種陷阱。其更完美地提供給客戶定制化的解決方案，嚴格地遵循產品開發和測試過程中的最佳實踐方案。對比現有的自動化管理平臺，VTest提升了自動化腳本開發的效率，提高了測試用例的復用率，提升了產品的質量，有效地縮短了產品測試周期，極大地降低了人工成本，完全可以適應今天和未來所面臨的各項挑戰。

參考文獻：

[1] 周俊.運營商產品測試機制研究 [J].電信技術，2014（3）：8-11.

[2] 蒙克.思博倫通信：測試為ICT產業保駕護航 [N].網絡世界，2013-04-29（8）.

[3] 林奇.基于云計算的測試管理平臺 [J].科技傳播，2013，5（17）：227-228+192.

[4] 張晨，姚莉.基于RF的自動化測試腳本設計與應用 [J].電子技術與軟件工程，2014（1）：103-104.

[5] WELCH B B.Tcl/Tk編程權威指南 [M].崔凱，譯.北京：中國電力出版社，2002.

作者簡介：賀宏達（1986.10—），男，漢族，湖南耒陽人，中級工程師，本科，研究方向：數通產品測試、軟件黑盒測試。