黃鵬 高雅濛 程小賢

摘要:隨著網絡應用數量的持續增長,服務質量已經成為決定用戶體驗的核心因素。面對網絡環境下應用質量保障的挑戰,確保網絡應用的穩定性以支持其順暢運行顯得尤為重要。通過實時監測和快速故障診斷,能夠迅速定位并解決問題,縮短故障的持續時間,從而增強應用的穩定性。鑒于此,全面介紹了撥測系統的背景、理論基礎以及接口測試工具的選擇比較;然后引入JMeter的相關知識,為自主研發撥測系統的架構和模塊設計提供了理論支撐,并詳盡描述了自研撥測系統的設計流程;最后對自研系統的優點進行闡述,通過接口撥測實現對Web應用可用性的監控,證明了該系統具有很高的實用價值。
關鍵詞:JMeter工具;接口測試;健康檢查;撥測系統;任務調度
中圖分類號:TP319? ? 文獻標志碼:A? ? 文章編號:1671-0797(2024)07-0026-04
DOI:10.19514/j.cnki.cn32-1628/tm.2024.07.007
0? ? 引言
隨著網絡技術的快速發展,采用B/S架構應用成為企業信息化主流。但網絡應用也存在服務無法訪問、異常等問題,造成用戶體驗不佳等。現在應用缺少監測手段,故障發現周期長,進而解決緩慢,甚至有些情況下會導致業務受影響中斷,但無告警產生,直到用戶投訴大量產生時,系統故障才被發現。
因此,監控保障應用穩定性變得尤為重要。撥測系統扮演著關鍵角色,相比于傳統人工接收故障工單反饋,它能在提升應用穩定性方面發揮重要作用,通過對網絡應用的實時測量,幫助用戶快速識別問題,快速響應處理并解決問題,縮短故障的持續時間,減小影響范圍。
1? ? 撥測系統原理
與被動模式相反,撥測系統[1]采用主動模式,它通過內部觸發接口調用判斷和監控應用的正確性來監控保障應用的穩定性。業務應用程序對外暴露接口,撥測系統通過模擬客戶端或者Web瀏覽器向應用程序發送請求,應用程序接收請求后對接收到的數據做處理,同時向撥測系統返回請求應答,然后撥測系統解析響應體是否符合預期,判斷應用程序是否正常,是否對外正常提供服務,可以幫助確保應用程序的質量和可靠性。
通常判斷響應體是否符合預期有以下兩種方式:
1)判斷響應狀態碼[2]:應用程序默認請求成功會返回狀態碼200;假如請求錯誤返回400、404、500等狀態碼,則意味著Web應用出錯。
2)判斷響應數據:通過相等、包含、正則表達式等手段檢查數據特性是否正確與完整,從而判斷應用程序的正確性。
2? ? 接口測試工具對比
撥測系統底層采用接口測試方式實現。市面上有很多測試工具可供選擇,下面就常見的三種方式進行介紹:
1)編程方式:使用開源社區封裝的Http客戶端工具包,通過編寫程序方式調用接口,接收響應,判斷檢測結果。此方式靈活性、定制化程度高,但耦合性也同樣高,后續修改可能大,不利于擴展。
2)Postman工具[3]:它是一款輕量級接口測試工具,主要測試RESTful[4]接口,其特點包括簡單易用、界面簡潔、快速上手;專注于Http請求,功能相對簡單,響應斷言支持不夠。它適合作為一個獨立工具,在開發、自測階段供程序員使用。
3)JMeter工具[5]:它是Apache基金會開發的一款功能全面的性能測試工具,既支持性能測試,也支持接口測試。純Java跨平臺工具,支持Windows、Linux多平臺;功能強大,支持編程式的前置后置處理,靈活度高;可作為獨立工具使用,也提供開發庫方便程序使用。
通過上述接口測試工具的對比可知,JMeter工具既可作為獨立工具做接口測試和排錯,又可被程序調用使用,功能強大,擴展能力強,自研系統將基于JMeter腳本設計撥測系統。
3? ? 自研撥測系統
3.1? ? 創建JMeter腳本步驟
自研撥測系統以JMeter腳本為核心,圍繞Jmx腳本上傳、執行、結果解析、告警構建業務系統,因此在詳細介紹系統設計之前,有必要就如何創建JMeter腳本做簡要介紹。按照下述步驟創建Jmx腳本:
1)啟動JMeter應用:進入JMeter_Home下的bin目錄,雙擊jmeter.bat文件啟動程序界面;
2)創建測試計劃:打開JMeter后,首先創建測試計劃,選中“測試計劃”,右鍵選擇添加“線程組”,在線程組界面根據需要設置線程數、啟動時間、循環次數等參數;
3)添加采樣器:在線程組處右鍵,選擇添加“HTTP Request”采樣器,在HTTP采樣器界面上填寫服務器IP、端口、路徑、請求方式、參數等信息;
4)添加配置元素:根據需要,可以在線程組和采樣器上添加配置元素,比如添加Http Cookie管理器、Http請求頭管理器、默認配置等內容;
5)添加預處理和后處理器:在線程組和采樣器上增加處理器,用于對采樣器發送請求前的攔截處理、響應后的數據處理;
6)添加斷言:在采樣器上添加斷言,用于驗證服務器響應是否符合預期;
7)添加監聽器:在線程組上添加各類監聽器,對線程組下所有采樣器的執行數據進行收集、分析和展示。
通過上述步驟,完成對第三方接口的測試配置,點擊“運行”按鈕測試接口正確性,這樣就完成了一個JMeter腳本的編寫,最后點擊“保存”按鈕會生成一個Jmx腳本文件,自研撥測系統利用Jmx文件實現應用的撥測功能。
3.2? ? 架構設計
自研撥測系統采用程序加JMeter腳本方式設計實現。圖1展示了整個系統的設計圖,整個系統分為三個部分:
第一部分生成Jmx文件,利用前面小節的JMeter創建步驟,編寫、調試并生成Jmx腳本,保證Jmx正確實現對第三方應用程序的接口調用。
第二部分是自研撥測系統,它由多個模塊組成,模塊相互配合,完成Jmx腳本的保存/執行、結果的解析、異常告警的觸發。
第三部分為第三方應用服務,它們對外開放暴露接口,方便撥測系統檢測服務狀態。
3.3? ? 模塊設計
依據撥測系統架構設計,撥測系統共分為6個模塊,分別為Upload配置模塊、調度器模塊、JMeter引擎模塊、日志模塊、告警模塊、查詢模塊。
3.3.1? ? Upload配置模塊
該模塊提供JMeter腳本文件的配置維護功能,負責將JMeter腳本文件從本地上傳到業務服務器上。在用戶界面上使用“文件上傳”組件,同時錄入腳本文件的相關信息,例如:腳本描述、告警接收人、告警接收人郵箱、抄送人郵箱、腳本的時間調度表達式。該模塊除持久化腳本文件數據外,還會根據調度表達式調用調度器模塊。
3.3.2? ? 調度器模塊
調度器模塊采用任務方式管理維護,用戶使用上傳配置模塊完成腳本文件上傳后,調度器模塊會新建一個周期任務。周期任務可以按秒、分鐘、小時、天、周、月等時間周期執行。服務端的調度框架有很多,這里采用Spring的TaskSchedule[6]實現,它是一個輕量級的任務調度器,允許開發者輕松地安排和管理周期性任務,如定時統計數據、定時清理緩存等。它是Spring自帶的調度框架,開發者無須引入額外的第三方類庫,無須安裝額外的第三方服務,集成方便;無須編寫復雜的代碼,易于使用;支持多種任務執行策略,靈活度高。當任務觸發時間到達后,調度器模塊會調用JMeter引擎模塊。
3.3.3? ? JMeter引擎模塊
JMeter引擎模塊用來調用JMeter腳本文件,生成測試報告。制作腳本文件使用JMeter圖形化界面方式,而這里利用JMeter程序開發庫實現。在自研撥測系統里引入開發庫,導入并使用已定義的類和方法完成腳本文件的執行。
3.3.4? ? 日志模塊
JMeter腳本的運行結果是Html報告文件,日志模塊會將Html報告整體打包壓縮,保存在對象服務器Minio中;同時解析報告文件夾中的JSON數據,判斷本次撥測結果。如果運行成功,僅僅將日志記錄持久化到數據庫,后續為查詢模塊提供數據。如果運行失敗,通知告警模塊進行處理,并將日志記錄持久化到數據庫中。
3.3.5? ? 告警模塊
該模塊用于發送通知,當JMeter腳本運行失敗時,根據上傳腳本時預先設置的發送人郵箱、抄送人郵箱,給責任人發送郵件告警,同時郵箱附件包括Html報告。最后將日志記錄狀態從未處理更新為已處理。
3.3.6? ? 查詢模塊
該模塊提供靈活的查詢條件,方便用戶根據需要篩選和查詢日志。例如根據日志狀態查詢歷史日志數據,便于對問題進行回溯和分析。同時,將調度器模塊的能力暴露給用戶,用戶可以查詢調度任務,查看正在運行的調度任務并針對任務進行手動啟動、停止、刪除操作。
3.4? ? 數據庫設計
根據撥測系統的模塊設計,提取業務概念名詞抽象出數據庫實體表,Upload配置模塊對應script表,調度器模塊對應task表,日志模塊對應log_record表,告警模塊對應alarm_record表。系統里一個JMeter腳本上傳配置完成后,script表新增一條腳本記錄,task表也新增一條對應任務記錄,log_record和alarm_record表隨著腳本被定時調度以及告警觸發與清除在對應表里新增若干記錄。
下面詳細介紹四張表擁有的字段含義:
1)script表記錄腳本信息,包含腳本名稱、腳本描述、腳本文件所在地址、觸發時間cron表達式、腳本告警接收人郵箱、告警抄送人郵箱列表信息。
2)task表記錄任務信息,task_id是任務主鍵,script_id是外鍵,指向script表,task和script一對一關系,每當新增一條script記錄,就會同步新增一條task任務,同時在程序內存里的調度器模塊會新增一個任務對象,用于等待觸發任務執行。
3)log_record表記錄腳本運行日志數據。script_id是外鍵,指向script表。task每運行一次,log_record就新增一條記錄。status字段表示本次運行結果成功還是失敗;report_url字段表示本次運行產生的報告文件地址;process_flag字段針對失敗狀態時有效,標記是否已經處理發送告警。
4)alarm_record表存儲發送告警的數據記錄。log_record_id是外鍵,指向log_record表,表示當前告警來源于哪一個日志記錄。script_id字段是外鍵,冗余字段,方便快速找到告警對應的腳本信息數據。alarm_type字段是告警類型,可選值有上報告警和清除告警兩種。valid字段表示當前告警有效性,用于實現發送清除告警功能。
4? ? 自研撥測系統的優點
自研的撥測系統采用程序和JMeter腳本方式,具有很多優點。
1)程序和腳本耦合低:意味著它們之間的依賴較少,互相影響較小。這樣的設計有助于降低系統復雜性,提高代碼的可維護性和可讀性。通過模塊化封裝,可以將程序和腳本分離,使得職責和功能更為清晰。
2)擴展容易:程序和腳本分離的設計使得系統具有較好的可擴展性。當需要新增功能和修改現有功能時,可以在不影響其他部分的前提下獨立對腳本進行調整。
3)調試方便靈活:程序和腳本耦合低、職責分明的情況下,排查和調試問題變得更加容易。當出現問題時,可以快速定位故障邊緣和故障源,并通過腳本進行調試驗證。
4)支持豐富:依托JMeter的接口類型多樣性能力,還可以支持數據庫、Dubbo等形式的接口測試,提供多樣的撥測能力,但程序調用方式固定不變。
總之,程序和腳本方式耦合度低、職責分明、擴展容易、調試方便靈活,有助于提高軟件的質量、可靠性和可維護性,同時降低了開發和運維的難度。
5? ? 結束語
本文介紹了撥測系統的重要性、應用價值、基本工作原理以及各種接口測試工具的差異,然后展示了JMeter腳本的創建步驟,接著詳細說明了自研撥測系統的設計與實施過程,最后對自主研發的撥測系統架構的優點進行了闡述。
[參考文獻]
[1] 鐘鼎,郭志林,鄧瓊,等.一種面向互聯網質量監控的撥測系統[J].信息通信,2014(3):247-248.
[2] 高文輝.軟件測試中接口測試概述與實踐[J].數字技術與應用,2020,38(3):112.
[3] 陳曉陽.基于Java反射自動生成Postman接口測試文件的方法[J].電腦編程技巧與維護,2021(9):27-28.
[4] 陳銳,何華軍,王辰.基于RESTful接口的基礎數據對接設計[J].電腦編程技巧與維護,2022(9):122-124.
[5] 張億軍.JMeter測試應用研究[J].信息技術與信息化,2021(10):61-64.
[6] 丁振凡,李馨梅.Spring的任務定時調度方法的研究比較[J].智能計算機與應用,2012,2(4):55-56.
收稿日期:2023-12-14
作者簡介:黃鵬(1985—),男,陜西人,助理工程師,研究方向:DevOps工具鏈和Web開發。