基于LoadRunner的軟件性能測(cè)試實(shí)踐

王應(yīng)棟 李黔蜀

摘要：文章使用LoadRunner12.6對(duì)民宿信息管理平臺(tái)進(jìn)行性能測(cè)試。首先，根據(jù)測(cè)試需求編寫(xiě)測(cè)試計(jì)劃;然后錄制相關(guān)腳本，針對(duì)測(cè)試需求，增強(qiáng)腳本、壓測(cè)和結(jié)果分析，重點(diǎn)展示如何通過(guò)LoadRunner12.6實(shí)現(xiàn)性能測(cè)試的詳細(xì)測(cè)試策略;最后整理測(cè)試分析報(bào)告。希望該方法可以對(duì)使用LoadRunner應(yīng)用到具體項(xiàng)目中的同行起到一定的指導(dǎo)作用。

關(guān)鍵詞：性能測(cè)試;參數(shù)化;集合點(diǎn);關(guān)聯(lián);

引言

軟件測(cè)試是軟件開(kāi)發(fā)中不可缺少的一個(gè)重要環(huán)節(jié)，是確保軟件質(zhì)量的重要手段[1，2]。其中，性能測(cè)試是驗(yàn)證軟件能否達(dá)到預(yù)期性能標(biāo)準(zhǔn)，提前發(fā)現(xiàn)并修復(fù)軟件潛在的性能缺陷，為軟件上線后高效、穩(wěn)定運(yùn)行奠定基礎(chǔ)。本文結(jié)合民宿信息管理平臺(tái)項(xiàng)目，詳細(xì)介紹性能測(cè)試流程。

1.LoadRunner12.6介紹

LoadRunner12.6是一款預(yù)測(cè)系統(tǒng)行為和性能的工業(yè)標(biāo)準(zhǔn)級(jí)負(fù)載測(cè)試工具[3，4]。在LoadRunner12.6的幫助下，用戶可以模擬上千萬(wàn)用戶實(shí)施并發(fā)負(fù)載及實(shí)時(shí)性能監(jiān)測(cè)的方式來(lái)確認(rèn)和查找問(wèn)題。LoadRunner12.6 能夠?qū)φ麄€(gè)企業(yè)架構(gòu)進(jìn)行測(cè)試，它通過(guò)模擬實(shí)際用戶的操作行為和實(shí)行實(shí)時(shí)性能監(jiān)測(cè)，來(lái)幫助用戶更快的查找和發(fā)現(xiàn)問(wèn)題。此外，LoadRunner12.6 能支持廣泛的協(xié)議和技術(shù)，可以為用戶的特殊環(huán)境提供特殊的解決方案。LoadRunner12.6是主要有三個(gè)部分組成，分別是VuGen（Virtual User Generator）、Controller、Analysis。VuGen是用于Vuser腳本開(kāi)發(fā)的工具，模擬真實(shí)場(chǎng)景操作的過(guò)程;Controller是壓測(cè)Vuser腳本場(chǎng)景的工具，LoadRunner12.6利用Controller模擬多用戶的工作環(huán)境對(duì)應(yīng)用系統(tǒng)進(jìn)行測(cè)試;Analysis是對(duì)測(cè)試數(shù)據(jù)進(jìn)行分析的工具，Analysis提供豐富的圖表幫助分析。

2.測(cè)試過(guò)程

本文基于LoadRunner12.6對(duì)民宿信息管理平臺(tái)進(jìn)行性能測(cè)試流程如圖1所示。

2. 測(cè)試需求

1、系統(tǒng)支持50用戶并發(fā)，響應(yīng)時(shí)間在5秒以內(nèi);

2、在20%用戶處于登錄狀態(tài)，20%用戶處于新增民宿，20%用戶處于注銷民宿，40%用戶處于民宿信息查詢狀態(tài)下，系統(tǒng)50用戶在線的吞吐率（TPS）應(yīng)達(dá)到30事務(wù)/秒。

2.2測(cè)試計(jì)劃

描述軟件性能測(cè)試的范圍、方法、資源、進(jìn)度。測(cè)試計(jì)劃[5]目的主要有：明確測(cè)試范圍、測(cè)試對(duì)象;明確測(cè)試目標(biāo);明確測(cè)試環(huán)境需求，包括：測(cè)試需要的軟、硬件環(huán)境以及測(cè)試人力需求;確定測(cè)試方案，測(cè)試的方法和步驟[6];制定測(cè)試工作的時(shí)間安排;確定測(cè)試需要輸出的結(jié)果和結(jié)果表現(xiàn)形式。

2.3測(cè)試設(shè)計(jì)及執(zhí)行

測(cè)試設(shè)計(jì)包含三項(xiàng)內(nèi)容：環(huán)境確認(rèn)、性能測(cè)試、測(cè)試方法。環(huán)境確認(rèn)是指由于腳本開(kāi)發(fā)環(huán)境和實(shí)際測(cè)試環(huán)境不同，在開(kāi)發(fā)環(huán)境下開(kāi)發(fā)的測(cè)試腳本需要到測(cè)試環(huán)境中進(jìn)行確認(rèn)測(cè)試。如何進(jìn)行環(huán)境確認(rèn)是指運(yùn)用VuGen逐一在測(cè)試環(huán)境中執(zhí)行所有腳本，確認(rèn)腳本能夠在測(cè)試環(huán)境中順利運(yùn)行。性能測(cè)試是指在一定量的并發(fā)情況下測(cè)試以下指標(biāo)：業(yè)務(wù)的平均交易響應(yīng)時(shí)間、并發(fā)操作下的響應(yīng)時(shí)間、混合場(chǎng)景下的吞吐率。通過(guò)性能測(cè)試，模擬實(shí)際生產(chǎn)環(huán)境中在民宿信息管理平臺(tái)中的壓力情況，得到此時(shí)的民宿信息管理平臺(tái)性能表現(xiàn)數(shù)據(jù)。性能測(cè)試的測(cè)試方法是指按照性能測(cè)試需求設(shè)置測(cè)試場(chǎng)景。設(shè)置50并發(fā)量，記錄每次測(cè)試數(shù)據(jù)，收集系統(tǒng)性能變化曲線。

測(cè)試用例主要用于指導(dǎo)性能測(cè)試人員進(jìn)行性能測(cè)試，并對(duì)性能測(cè)試場(chǎng)景設(shè)計(jì)與執(zhí)行給出參考信息，同時(shí)適用項(xiàng)目經(jīng)理、開(kāi)發(fā)經(jīng)理、測(cè)試經(jīng)理及其他人員對(duì)被測(cè)系統(tǒng)的性能評(píng)測(cè)點(diǎn)進(jìn)行評(píng)估與了解。

并發(fā)測(cè)試XQ_001：

使用LoadRunner12.6 Virtual User Generator錄制民宿信息管理平臺(tái)的操作過(guò)程，生成性能測(cè)試腳本，手動(dòng)設(shè)置思考時(shí)間，關(guān)閉緩存，將系統(tǒng)登錄、民宿信息新增、民宿信息查詢、民宿信息注銷動(dòng)作各作為一個(gè)事務(wù)，在民宿信息查詢。

表2中，參數(shù)化設(shè)置：用test001～test050進(jìn)行腳本用戶名參數(shù)化，新增格式使用temp{HostIDHead}-{IDTail}，HostIDHead參數(shù)化數(shù)據(jù)從00～49，并使用Unique+Once設(shè)置;IDTail參數(shù)化從1～1000的%04d格式設(shè)置。集合點(diǎn)設(shè)置：查詢事務(wù)之前，lr_rendezvous（"jihedian"）。檢查點(diǎn)設(shè)置：登錄事務(wù)開(kāi)始之后，web_reg_find（"Text=歡迎您"，LAST）;注銷事務(wù)開(kāi)始之后，web_reg_find（"Text=注銷成功"，LAST）。關(guān)聯(lián)設(shè)置：查詢事務(wù)開(kāi)始之后，格式為：

web_reg_save_param_regexp（

"ParamName=id"，

"RegExp=＼＼{＼"dataList＼"：＼＼[＼＼{＼"id＼"：（.*？），"，

SEARCH_FILTERS，

"Scope=Body"，

"IgnoreRedirections=No"，

LAST）;

吞吐率測(cè)試XQ_002：

表3是吞吐率測(cè)試用例。VuGen：使用LoadRunner12.6 Virtual User Generator分別錄制4個(gè)某民宿信息管理系統(tǒng)的操作過(guò)程，生成性能測(cè)試腳本，手動(dòng)設(shè)置思考時(shí)間，關(guān)閉緩存，關(guān)閉每個(gè)動(dòng)作作為一個(gè)事務(wù)。

表3中，系統(tǒng)登錄TPScon：用test001～test010進(jìn)行腳本用戶名參數(shù)化，使用Unique+Once讓一個(gè)虛擬用戶可以使用唯一的賬號(hào)登錄，登錄事務(wù)使用Login_user表示。新增民宿InsertHostNew：用test011～test020進(jìn)行腳本用戶名參數(shù)化，新增格式使用temp{HostIDHead}-{IDTail}，HostIDHead參數(shù)化數(shù)據(jù)從10～19，并使用Unique+Once設(shè)置;IDTail參數(shù)化從1～1000的%04d格式設(shè)置，最后得到一個(gè)虛擬用戶可以使用唯一的用戶賬號(hào)進(jìn)行新增民宿功能，新增事務(wù)使用insertHost表示。注銷民宿ExitHouseNew：用test021～test030進(jìn)行腳本用戶名參數(shù)化，并使用Unique+Once設(shè)置;對(duì)民宿編號(hào)后面的數(shù)字使用{num1}進(jìn)行參數(shù)化，參數(shù)化數(shù)據(jù)從-00021～-00031;對(duì)民宿地址使用{id}進(jìn)行關(guān)聯(lián)，最后得到一個(gè)虛擬用戶可以使用唯一的用戶賬號(hào)進(jìn)行注銷民宿功能，注銷事務(wù)用ExitHost表示。民宿信息查詢SearchNew：用test031～test050進(jìn)行腳本用戶名參數(shù)化，最后得到一個(gè)虛擬用戶可以使用唯一的用戶賬號(hào)進(jìn)行民宿查詢功能，查詢事務(wù)用searchHost表示。

Controller：場(chǎng)景設(shè)計(jì)使用百分比模式。其中，系統(tǒng)登錄TPScon 20%、新增民宿InsertHostNew 20%、注銷民宿ExitHouseNew 20%、民宿信息查詢SearchNew40%。

3.測(cè)試結(jié)果分析

在利用LoadRunner12.6 Controller壓測(cè)整個(gè)測(cè)試過(guò)程后，使用LoadRunner12.6 Analysis生成相應(yīng)的圖表和報(bào)告，包括概要報(bào)告、運(yùn)行Vuser、每秒點(diǎn)擊次數(shù)、吞吐量、事務(wù)摘要、平均事務(wù)響應(yīng)時(shí)間等，通過(guò)分析這些測(cè)試指標(biāo)來(lái)評(píng)估系統(tǒng)性能。

并發(fā)測(cè)試響應(yīng)時(shí)間如圖2所示。

由圖2可知，此次并發(fā)測(cè)試中的“系統(tǒng)登錄”操作的事務(wù)平均響應(yīng)時(shí)間為0.149s;“新增民宿”操作的事務(wù)平均響應(yīng)時(shí)間為0.118s;在“民宿信息查詢”前加入集合點(diǎn)操作，事務(wù)平均響應(yīng)時(shí)間為0.596s;“注銷民宿”操作的事務(wù)平均響應(yīng)時(shí)間為0.385s。同時(shí)，此次測(cè)試需求操作的響應(yīng)時(shí)間小于5s。顯而易見(jiàn)，“系統(tǒng)登錄”、“新增民宿”、“民宿信息查詢”、“注銷民宿”四項(xiàng)操作的平均響應(yīng)時(shí)間均小于5s。因此，此次并發(fā)測(cè)試符合性能測(cè)試條件要求。

并發(fā)測(cè)試其他測(cè)試結(jié)果如表4所示。

如表4可知，此次并發(fā)測(cè)試中TPS的最大數(shù)值為62.450事務(wù)/秒。由此可知，在運(yùn)行性能測(cè)試的過(guò)程中，測(cè)試場(chǎng)景中每秒最多同時(shí)運(yùn)行62.450項(xiàng)事務(wù)。系統(tǒng)在負(fù)載測(cè)試期間，虛擬用戶從Web服務(wù)器接收或發(fā)送的數(shù)據(jù)，在160s處出現(xiàn)最大吞吐量 784769675字節(jié)。具體事務(wù)數(shù)如3所示。

由圖3可知，“系統(tǒng)登錄”操作的成功事務(wù)數(shù)為4421，且不存在錯(cuò)誤事務(wù)。“新增民宿”操作的成功事務(wù)數(shù)為4421，且不存在錯(cuò)誤事務(wù)。“民宿信息查詢”操作的成功事務(wù)數(shù)為4380，且不存在錯(cuò)誤事務(wù)。“注銷民宿”操作的成功事務(wù)數(shù)為4380，且不存在錯(cuò)誤事務(wù)。

吞吐率測(cè)試TPS如圖4所示。

由圖4可知，系統(tǒng)50用戶在線下的TPS最大數(shù)值為59.875事務(wù)/秒，平均值為52.254事務(wù)/秒。同時(shí)，此次測(cè)試需求TPS數(shù)值應(yīng)超過(guò)30事務(wù)/秒。因此本次的吞吐率測(cè)試TPS數(shù)值符合測(cè)量要求。

吞吐率測(cè)試用戶數(shù)目如圖5所示。

由圖5可知，此次吞吐率測(cè)試場(chǎng)景存在10名用戶處于登錄狀態(tài)，10名用戶處于新增民宿狀態(tài)，10名用戶處于注銷用戶狀態(tài)，20名用戶處于民宿信息查詢狀態(tài)的測(cè)試場(chǎng)景。同時(shí)，測(cè)試需求為：20%用戶處于登錄狀態(tài)，20%用戶處于新增民宿狀態(tài)，20%用戶處于注銷用戶狀態(tài)，40%用戶處于民宿信息查詢狀態(tài)。由于此次吞吐率測(cè)試中的虛擬用戶總數(shù)為50名虛擬用戶。因此，在設(shè)置吞吐率測(cè)試場(chǎng)景時(shí)，需設(shè)置10名用戶處于登錄狀態(tài)，10名用戶處于新增民宿狀態(tài)，10名用戶處于注銷用戶狀態(tài)，20名用戶處于民宿信息查詢狀態(tài)的測(cè)試場(chǎng)景。綜上所述，此次吞吐率測(cè)試符合性能測(cè)試條件要求。

吞吐率測(cè)試其他測(cè)試結(jié)果如表5所示。

如表5可知，此次吞吐率測(cè)試中的“系統(tǒng)登錄”操作的事務(wù)平均響應(yīng)時(shí)間為0.019s，“新增民宿”操作的事務(wù)平均響應(yīng)時(shí)間為0.031s，“民宿信息查詢”操作的事務(wù)平均響應(yīng)時(shí)間為0.064s，“注銷民宿”操作的事務(wù)平均響應(yīng)時(shí)間為0.083s。系統(tǒng)在負(fù)載測(cè)試期間，虛擬用戶從Web服務(wù)器接收或發(fā)送的數(shù)據(jù)，在224s處出現(xiàn)最大吞吐量 205516769625字節(jié)。具體事務(wù)數(shù)如3所示。

由圖6可知，“系統(tǒng)登錄”操作的成功事務(wù)數(shù)為3221，且不存在錯(cuò)誤事務(wù)。“新增民宿”操作的成功事務(wù)數(shù)為2616，且不存在錯(cuò)誤事務(wù)。“民宿信息查詢”操作的成功事務(wù)數(shù)為2925，且不存在錯(cuò)誤事務(wù)。“注銷民宿”操作的成功事務(wù)數(shù)為2460，且不存在錯(cuò)誤事務(wù)。

4.總結(jié)

通過(guò)添加事務(wù)、檢查點(diǎn)、參數(shù)化、集合點(diǎn)、關(guān)聯(lián)增強(qiáng)腳本，手動(dòng)設(shè)置思考時(shí)間，關(guān)閉緩存，關(guān)閉每個(gè)動(dòng)作作為一個(gè)事務(wù)的測(cè)試策略，最后得到的測(cè)試結(jié)果符合測(cè)試需求，這證明本文的增強(qiáng)腳本和測(cè)試策略是可行的。在其他類似的利用LoadRunner工具應(yīng)用到具體Web系統(tǒng)性能測(cè)試項(xiàng)目里面，本文的測(cè)試策略具有廣泛的實(shí)用推廣價(jià)值。

參考文獻(xiàn)：

[1]于涌，王磊，曹向志，高樓，于躍. 精通軟件性能測(cè)試與LoadRunner最佳實(shí)戰(zhàn)[M].人民郵電出版社：軟件測(cè)試叢書(shū)， 201306.762.

[2]李旭東，朱立谷.基于LoadRunner的參數(shù)化策略的研究與應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2012，29（12）：232-236.