中匯公司利用Dynatrace打造可伸縮可調(diào)整的性能測(cè)試之路

周冉

交易系統(tǒng)的性能是體現(xiàn)交易業(yè)務(wù)能力的重要指標(biāo)，如何確保交易系統(tǒng)能夠滿足大數(shù)據(jù)量的交易需求至關(guān)重要。對(duì)于交易系統(tǒng)來(lái)說(shuō)，如果性能問(wèn)題不能提早被發(fā)現(xiàn)，而是到了生產(chǎn)環(huán)節(jié)才被發(fā)現(xiàn)，代價(jià)將是非常慘痛的，輕則影響用戶體驗(yàn)，重則會(huì)造成重大財(cái)務(wù)損失。因此，只有對(duì)交易系統(tǒng)的性能容量指標(biāo)進(jìn)行合理的評(píng)測(cè)，才能滿足業(yè)務(wù)的長(zhǎng)期發(fā)展。

中匯信息技術(shù)（上海）有限公司，是外匯交易中心旗下全資子公司，致力于為建立全球人民幣和相關(guān)產(chǎn)品交易主平臺(tái)和定價(jià)中心提供技術(shù)研發(fā)、運(yùn)維和信息服務(wù)。公司的發(fā)展目標(biāo)是確保交易中心的系統(tǒng)建設(shè)和開(kāi)發(fā)，并且爭(zhēng)取建設(shè)成為國(guó)內(nèi)一流，具有國(guó)際影響力的本外幣交易系統(tǒng)解決方案，行業(yè)標(biāo)準(zhǔn)和國(guó)家的重要基礎(chǔ)設(shè)施的供應(yīng)商。

據(jù)中匯信息技術(shù)測(cè)試部經(jīng)理潘春媚介紹，通常來(lái)說(shuō)，交易中心的性能測(cè)試主要關(guān)注用戶在群體效應(yīng)下系統(tǒng)的響應(yīng)時(shí)間和資源使用的時(shí)間特性。性能測(cè)試的一個(gè)重要目標(biāo)就是快速定位到工程級(jí)的問(wèn)題，并解決回歸問(wèn)題。在飛速的業(yè)務(wù)發(fā)展中，中匯公司的性能測(cè)試在定位環(huán)節(jié)遇到了極大阻力。

壓在性能測(cè)試定位環(huán)節(jié)上的三座大山

首先，統(tǒng)計(jì)分析困難。在傳統(tǒng)測(cè)試的性能分析中，通常依賴(lài)于日志。而交易中心業(yè)務(wù)量巨大、日志多，在這種數(shù)據(jù)量比較大的情況下，宏觀數(shù)據(jù)分析統(tǒng)計(jì)非常困難，而且耗時(shí)很久，且過(guò)多的日志本身就會(huì)對(duì)系統(tǒng)的性能帶來(lái)一定的影響。

第二，很多復(fù)雜的性能問(wèn)題比較隱蔽，往往一個(gè)環(huán)節(jié)的問(wèn)題會(huì)遮蓋掉其他環(huán)節(jié)的問(wèn)題。同時(shí)，基礎(chǔ)設(shè)施問(wèn)題的定位也很困難，因?yàn)橛布A(chǔ)設(shè)施的性能問(wèn)題，往往會(huì)表現(xiàn)為軟件層面的性能問(wèn)題，誤導(dǎo)了性能問(wèn)題的定位和分析。還有一些比較隱蔽的、復(fù)雜的資源限制和參數(shù)限制，也給性能問(wèn)題定位增加了困難。

第三，偶發(fā)性問(wèn)題難以復(fù)現(xiàn)。在性能測(cè)試過(guò)程中，偶發(fā)性問(wèn)題，或者在某些條件下才出現(xiàn)的性能問(wèn)題很難去復(fù)現(xiàn)，這也給性能問(wèn)題的定位增加了很多困難。為了解決這些痛點(diǎn)，經(jīng)過(guò)種種對(duì)比和評(píng)測(cè)，中匯公司選擇了Dynatrace。

依靠數(shù)據(jù)和報(bào)表快速定位

Dynatrace的Hotspots提供了系統(tǒng)的請(qǐng)求鏈路和分布狀況的相關(guān)數(shù)據(jù)，Purepath提供了執(zhí)行的關(guān)鍵路徑，Database提供了資源使用情況和數(shù)據(jù)庫(kù)的情況，Service flow和Smartscape Topology則提供了更多信息。結(jié)合多維度的信息和相應(yīng)的報(bào)表，可以幫助交易系統(tǒng)的性能測(cè)試由黑盒測(cè)試轉(zhuǎn)向灰盒測(cè)試，大大提升了性能問(wèn)題的分析和定位的效率和準(zhǔn)確性。

“Dynatrace在解決性能問(wèn)題定位方面給我們帶來(lái)的好處是顯而易見(jiàn)的。”潘春媚表示。首先，不需要日志的記錄就可以直接定位分析問(wèn)題，并且有詳細(xì)的報(bào)表和詳實(shí)的數(shù)據(jù)提供。其次，可以無(wú)需重現(xiàn)這些問(wèn)題，直接在發(fā)現(xiàn)問(wèn)題的場(chǎng)景來(lái)定位問(wèn)題，大大提高了溝通的效率。Dynatrace提供的多維度數(shù)據(jù)和報(bào)表，還可以拓寬問(wèn)題定位人員的思路，加快定位的效率。

在中匯公司，性能測(cè)試和功能測(cè)試團(tuán)隊(duì)使用同一套環(huán)境，白天做功能測(cè)試，晚上做性能測(cè)試。在進(jìn)行比較復(fù)雜的業(yè)務(wù)場(chǎng)景測(cè)試，或者全鏈路的業(yè)務(wù)流性能測(cè)試時(shí)，往往會(huì)涉及到上下游很多系統(tǒng)，如果發(fā)現(xiàn)最下游的系統(tǒng)有性能問(wèn)題時(shí)，以往都是性能測(cè)試團(tuán)隊(duì)陪著開(kāi)發(fā)團(tuán)隊(duì)一遍遍地重現(xiàn)場(chǎng)景，幫助開(kāi)發(fā)團(tuán)隊(duì)一個(gè)個(gè)進(jìn)行排除，很多時(shí)候會(huì)工作到后半夜。

使用Dynatrace后，只需提供當(dāng)時(shí)發(fā)現(xiàn)問(wèn)題的數(shù)據(jù)給相關(guān)的上下游開(kāi)發(fā)團(tuán)隊(duì)，通過(guò)數(shù)據(jù)分析來(lái)解決定位問(wèn)題，而不再需要一遍遍地重現(xiàn)這些問(wèn)題，極大提高了效率和準(zhǔn)確性。從此，再也不用加班到后半夜！

性能測(cè)試不僅驗(yàn)證了業(yè)務(wù)需求，還驗(yàn)證了是否符合系統(tǒng)設(shè)計(jì)及測(cè)試設(shè)計(jì)。Dynatrace幫助中匯公司改進(jìn)了性能測(cè)試的測(cè)試流程。性能測(cè)試是把復(fù)雜的用戶行為，通過(guò)統(tǒng)計(jì)抽象，建立用戶模型和測(cè)試模型，最終形成規(guī)律性的測(cè)試腳本。通過(guò)性能測(cè)試，分析測(cè)試產(chǎn)生的結(jié)果和數(shù)據(jù)，來(lái)驗(yàn)證系統(tǒng)是否符合業(yè)務(wù)需求，這就相當(dāng)于性能測(cè)試設(shè)計(jì)，來(lái)源于業(yè)務(wù)需求和系統(tǒng)設(shè)計(jì)，同時(shí)最終服務(wù)于業(yè)務(wù)需求。

傳統(tǒng)的性能測(cè)試往往只驗(yàn)證了系統(tǒng)是否符合業(yè)務(wù)需求，卻忽略了系統(tǒng)設(shè)計(jì)。一些系統(tǒng)設(shè)計(jì)層面的問(wèn)題，往往會(huì)遺漏到生產(chǎn)，成為生產(chǎn)問(wèn)題暴露之后才被發(fā)現(xiàn)，這樣的代價(jià)是非常慘痛的。利用Dynatrace提供的多維度的數(shù)據(jù)和專(zhuān)業(yè)的報(bào)表，可以去驗(yàn)證系統(tǒng)的負(fù)載和可靠性的設(shè)計(jì)，分布式的服務(wù)設(shè)計(jì)，調(diào)用鏈路、關(guān)鍵技術(shù)選型、安全設(shè)計(jì)等，檢查系統(tǒng)是否符合當(dāng)初的系統(tǒng)設(shè)計(jì)。同時(shí)通過(guò)這些數(shù)據(jù)，也能驗(yàn)證負(fù)載策略，測(cè)試腳本的正確性、有效性、依賴(lài)性、關(guān)聯(lián)性以及參數(shù)化設(shè)計(jì)。也就是說(shuō)，在Dynatrace的幫助下，性能測(cè)試除了驗(yàn)證業(yè)務(wù)需求之外，還可以檢查系統(tǒng)是否符合當(dāng)初的系統(tǒng)設(shè)計(jì)，以及是否符合當(dāng)初做性能測(cè)試的時(shí)候的測(cè)試設(shè)計(jì)。如果發(fā)現(xiàn)系統(tǒng)設(shè)計(jì)層面的問(wèn)題，將快速定位，讓系統(tǒng)設(shè)計(jì)層面比較難發(fā)現(xiàn)的系統(tǒng)問(wèn)題更早的被發(fā)現(xiàn)。此外，Dynatrace提供的多維度數(shù)據(jù)，能夠幫助查看系統(tǒng)各部分資源占用的情況是否符合預(yù)期，為后續(xù)的調(diào)整提供了參考。

希望在應(yīng)用領(lǐng)域深入合作

談到未來(lái)的合作，潘春媚表示，希望利用Dynatrace幫助中匯公司持續(xù)改進(jìn)測(cè)試質(zhì)量，利用Dynatrace和自動(dòng)化測(cè)試相結(jié)合，不斷監(jiān)控整個(gè)測(cè)試過(guò)程的數(shù)據(jù)，盡早發(fā)現(xiàn)潛在問(wèn)題，提高缺陷預(yù)防的能力。此外，中匯公司還希望通過(guò)Dynatrace在新技術(shù)領(lǐng)域做更多的研究，持續(xù)改善軟件質(zhì)量。在后續(xù)條件成熟后，中匯公司希望把Dynatrace在測(cè)試環(huán)境中的使用經(jīng)驗(yàn)和工作方式，推廣到生產(chǎn)環(huán)境中去，利用Dynatrace監(jiān)控生產(chǎn)環(huán)境，收集生產(chǎn)環(huán)境的數(shù)據(jù)，反向推動(dòng)測(cè)試過(guò)程的改進(jìn)，反向推動(dòng)產(chǎn)品的設(shè)計(jì)。