云計(jì)算平臺(tái)的性能評(píng)測(cè)模型方法研究

摘要：云計(jì)算作為一種新興的商業(yè)模式，正在迅速的發(fā)展，并逐步成為商業(yè)機(jī)構(gòu)、科研單位研究的熱點(diǎn)。云計(jì)算的產(chǎn)生將會(huì)對(duì)傳統(tǒng)軟件行業(yè)、互聯(lián)網(wǎng)運(yùn)營(yíng)模式、企業(yè)管理方式進(jìn)行沖擊，從而推動(dòng)革命性的產(chǎn)業(yè)變革。云計(jì)算的這些商業(yè)特性使其對(duì)用戶的服務(wù)質(zhì)量備受關(guān)注，使得云計(jì)算平臺(tái)的性能好壞成為關(guān)鍵問題。

本文通過探討云計(jì)算平臺(tái)的性能評(píng)測(cè)技術(shù)研究，著力為云計(jì)算平臺(tái)性能評(píng)測(cè)技術(shù)的發(fā)展建立良好的基礎(chǔ)。

關(guān)鍵詞：軟件測(cè)試 云計(jì)算 性能評(píng)價(jià) 效率 效能

云計(jì)算[1]是一種計(jì)算方式，通過互聯(lián)網(wǎng)將資源“以服務(wù)”的形式提供給用戶和應(yīng)用系統(tǒng)，而用戶和應(yīng)用系統(tǒng)不需要了解、知曉和控制支持這些服務(wù)的技術(shù)基礎(chǔ)架構(gòu)“云”。云計(jì)算同時(shí)也是一種通過互聯(lián)網(wǎng)將數(shù)據(jù)中心的各種資源打包成服務(wù)向外提供的商業(yè)模式，它將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，各種應(yīng)用系統(tǒng)和用戶能夠依需獲取存儲(chǔ)空間、計(jì)算能力和各種軟件應(yīng)用服務(wù)。

為了更好地解決這一問題，本文為了完善對(duì)云平臺(tái)的質(zhì)量評(píng)測(cè)中性能指標(biāo)評(píng)測(cè)的目的，就現(xiàn)有的ISO/IEC 9126[2][3]質(zhì)量評(píng)價(jià)模型中效率評(píng)價(jià)指標(biāo)部分進(jìn)行了擴(kuò)展增進(jìn)，并給出了增進(jìn)模型的指標(biāo)測(cè)試方法及評(píng)價(jià)計(jì)算公式。

1 云計(jì)算平臺(tái)的評(píng)測(cè)研究現(xiàn)狀

國(guó)內(nèi)外標(biāo)準(zhǔn)化組織對(duì)云計(jì)算標(biāo)準(zhǔn)的研究從2009年逐步開展起來，到2011年底呈現(xiàn)遍地開花的局勢(shì)，從云存儲(chǔ)、云架構(gòu)、云安全、云管理、虛擬化和云間技術(shù)等多方面對(duì)云計(jì)算技術(shù)進(jìn)行了詳細(xì)地分析與研究，在標(biāo)準(zhǔn)方面確立了度量云計(jì)算平臺(tái)的可行性。NIST（美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院）定義了云計(jì)算的五個(gè)基本特征，快速伸縮、服務(wù)可度量、按需自助服務(wù)、無所不在的網(wǎng)絡(luò)訪問和資源池，在標(biāo)準(zhǔn)方面確立了如何度量云計(jì)算平臺(tái)的方向。[5]國(guó)內(nèi)對(duì)于云計(jì)算平臺(tái)的評(píng)測(cè)體系研究則定義評(píng)測(cè)指標(biāo)模型是一個(gè)統(tǒng)一的整體，既包含縱向的層次關(guān)系，又包含指標(biāo)間的平行關(guān)系，不同的指標(biāo)反映云計(jì)算平臺(tái)的不同側(cè)面，分屬于不同的類別。根據(jù)云計(jì)算產(chǎn)品功能、云計(jì)算的相關(guān)技術(shù)、云計(jì)算標(biāo)準(zhǔn)的特點(diǎn)，結(jié)合國(guó)家在軟件工程的產(chǎn)品質(zhì)量方面的標(biāo)準(zhǔn)，云計(jì)算平臺(tái)通用評(píng)測(cè)模型包含6大類指標(biāo)：網(wǎng)絡(luò)架構(gòu)路由和交換能力、存儲(chǔ)架構(gòu)快速響應(yīng)能力、虛擬化能力、資源抽象與控制能力、服務(wù)成熟度、安全性保證能力。其中，服務(wù)成熟度又分為5個(gè)小類指標(biāo)：服務(wù)提供能力、服務(wù)監(jiān)測(cè)能力、計(jì)量/計(jì)費(fèi)能力、開發(fā)的接口能力、網(wǎng)絡(luò)響應(yīng)性能[1]。

2 云計(jì)算的性能評(píng)測(cè)模型研究

2.1 傳統(tǒng)的性能評(píng)測(cè)模型 ①效率。現(xiàn)有的GB/T 16260國(guó)家標(biāo)準(zhǔn)中規(guī)定，對(duì)于COTS（商用現(xiàn)貨軟件）性能評(píng)測(cè)依據(jù)該標(biāo)準(zhǔn)構(gòu)建的質(zhì)量評(píng)測(cè)模型中的效率指標(biāo)部分（如時(shí)間特性、資源利用性、依從笥）進(jìn)行評(píng)測(cè)。②時(shí)間特性。時(shí)間特性評(píng)測(cè)包含響應(yīng)時(shí)間、吞吐量時(shí)間、周轉(zhuǎn)時(shí)間等要素。③資源利用性。資源利用性評(píng)測(cè)包含的I/O利用率、I/O利用的消息密度、內(nèi)存利用率、內(nèi)存利用率的消息密度、傳輸利用率等要素。

2.2 面向云計(jì)算平臺(tái)性能評(píng)測(cè)指標(biāo)模型的構(gòu)建 ①效能。介于目前沒有針對(duì)云計(jì)算的國(guó)家及行業(yè)標(biāo)準(zhǔn)或規(guī)范性規(guī)約進(jìn)行規(guī)范，通過對(duì)云計(jì)算平臺(tái)的基本定義、云服務(wù)特點(diǎn)及云計(jì)算平臺(tái)的關(guān)鍵要素進(jìn)行研究和分析，并查閱、參考、分析多個(gè)科研機(jī)構(gòu)對(duì)于云計(jì)算標(biāo)準(zhǔn)和規(guī)范性規(guī)約的研究進(jìn)展和階段成果，結(jié)合上述的日常評(píng)測(cè)工作中碰上的與云技術(shù)相關(guān)軟件的項(xiàng)目實(shí)施經(jīng)驗(yàn)，構(gòu)建一套針對(duì)云計(jì)算平臺(tái)性能評(píng)價(jià)的指標(biāo)體系，并給出對(duì)應(yīng)的測(cè)試及評(píng)價(jià)方法，用于對(duì)云計(jì)算平臺(tái)的性能測(cè)試與優(yōu)化、規(guī)模評(píng)估、資源優(yōu)化等給出參考及評(píng)判依據(jù)。效能是通過典型的應(yīng)用體現(xiàn)出來的，如Web服務(wù)、大文件和加解密等應(yīng)用。針對(duì)這些應(yīng)用，我們研究了高性能及云計(jì)算領(lǐng)域的一些測(cè)試方法，并結(jié)合現(xiàn)在典型應(yīng)用相關(guān)的特點(diǎn)，進(jìn)而研究效能相關(guān)的度量指標(biāo)和度量方法。主要對(duì)效能分為計(jì)算、通信和存儲(chǔ)三個(gè)方面進(jìn)行研究。②計(jì)算能力。對(duì)于其中的計(jì)算能力我們劃分為高性能計(jì)算和現(xiàn)在典型的web服務(wù)兩個(gè)方面進(jìn)行研究，通過如圖1所示的要素進(jìn)行評(píng)價(jià)。通過分析和借鑒Linpack、HPCC、NPB、SPEC CPU等組織所采用的測(cè)試方法，進(jìn)而得出效能的計(jì)算能力的相關(guān)度量標(biāo)準(zhǔn)。高通信性能將成為新型計(jì)算機(jī)體系結(jié)構(gòu)的特點(diǎn)之一，它深刻地影響著計(jì)算機(jī)系統(tǒng)的其他各個(gè)方面的性能。③通信能力。針對(duì)通信能力，通過研究MPI通信機(jī)制，并把它應(yīng)用到如圖2所示的對(duì)通信性能的測(cè)試和度量上。④存儲(chǔ)能力。存儲(chǔ)能力問題是計(jì)算機(jī)系統(tǒng)的一個(gè)傳統(tǒng)的性能問題，在分析傳統(tǒng)的存儲(chǔ)系統(tǒng)和分布式存儲(chǔ)系統(tǒng)的實(shí)現(xiàn)機(jī)制和特點(diǎn)的基礎(chǔ)上，并結(jié)合云環(huán)境存儲(chǔ)系統(tǒng)的特點(diǎn)，得到如圖3所示的存儲(chǔ)能力相關(guān)的度量指標(biāo)。

圖1 計(jì)算能力評(píng)價(jià)模型 圖2 通信能力評(píng)價(jià)模型

圖3 存儲(chǔ)能力評(píng)價(jià)模型

3 云計(jì)算平臺(tái)的性能評(píng)測(cè)方法研究

3.1 基于傳統(tǒng)性能評(píng)測(cè)模型的效率指標(biāo)測(cè)試方法 在通用商業(yè)現(xiàn)貨（COTS）軟件的性能評(píng)測(cè)中，效率測(cè)試常常采用負(fù)載測(cè)試、壓力測(cè)試、穩(wěn)定性測(cè)試和大數(shù)據(jù)量測(cè)試等方法，通過收集多次測(cè)試數(shù)據(jù)，從時(shí)間和資源利用兩大特性角度對(duì)軟件性能進(jìn)行科學(xué)計(jì)算及評(píng)價(jià)。①負(fù)載測(cè)試：通過測(cè)試系統(tǒng)在資源超負(fù)荷情況下的能力表現(xiàn)，以發(fā)現(xiàn)設(shè)計(jì)上的缺陷或驗(yàn)證系統(tǒng)的最大負(fù)載能力或確定在各種業(yè)務(wù)工作負(fù)載下的系統(tǒng)平臺(tái)性能。目標(biāo)是測(cè)試并記錄當(dāng)前負(fù)載逐步增加時(shí)，系統(tǒng)平臺(tái)組成部分的相應(yīng)輸出項(xiàng)，如事務(wù)數(shù)、網(wǎng)絡(luò)吞吐量、響應(yīng)時(shí)間、平均CPU使用率和平均可用內(nèi)存等性能情況。②壓力測(cè)試：通過測(cè)試系統(tǒng)平臺(tái)的性能點(diǎn)，來獲得系統(tǒng)平臺(tái)所能提供的最大服務(wù)級(jí)別。壓力測(cè)試預(yù)測(cè)系統(tǒng)的效率能夠滿足日后擴(kuò)容的應(yīng)用。在當(dāng)前系統(tǒng)平臺(tái)的軟硬件環(huán)境不變的情況下，驗(yàn)證系統(tǒng)平臺(tái)是否仍然能夠滿足現(xiàn)在或者將來的需要，從而初步判斷當(dāng)前系統(tǒng)平臺(tái)的軟硬件調(diào)整的必要性。從而分析及應(yīng)對(duì)系統(tǒng)平臺(tái)將來面臨的擴(kuò)容如用戶數(shù)增加、數(shù)據(jù)量不斷增大等多種應(yīng)用情況。③穩(wěn)定性測(cè)試：如果對(duì)系統(tǒng)平臺(tái)有連續(xù)運(yùn)行的要求，可對(duì)系統(tǒng)進(jìn)行疲勞性測(cè)試，確認(rèn)系統(tǒng)是否能夠滿足相應(yīng)的連續(xù)運(yùn)行時(shí)間的要求，一般穩(wěn)定性的時(shí)間要求大于8小時(shí)，如大型數(shù)據(jù)系統(tǒng)需7×24小時(shí)測(cè)試。④大數(shù)據(jù)量測(cè)試：在系統(tǒng)平臺(tái)具有一定業(yè)務(wù)數(shù)據(jù)量的背景下進(jìn)行測(cè)試，目的是發(fā)現(xiàn)在小數(shù)據(jù)量情況下測(cè)試不易發(fā)現(xiàn)的潛在問題與缺陷。

3.2 基于效能評(píng)測(cè)模型的測(cè)試方法 云計(jì)算性能測(cè)試的目標(biāo)是驗(yàn)證在各種負(fù)載情況下云計(jì)算服務(wù)的性能。進(jìn)行性能測(cè)試的最佳方式是使得多個(gè)測(cè)試客戶運(yùn)行完整的云服務(wù)測(cè)試，包括請(qǐng)求提交和應(yīng)答驗(yàn)證。性能測(cè)試不僅通過指定的并發(fā)請(qǐng)求數(shù)目來監(jiān)視服務(wù)器的響應(yīng)速率，還要測(cè)試各類負(fù)載是否導(dǎo)致云服務(wù)功能性故障。因此，要求云服務(wù)性能測(cè)試工具能夠設(shè)置或者定制性能測(cè)試場(chǎng)景（主要是指定負(fù)載等級(jí)、負(fù)載分布等）來執(zhí)行云性能測(cè)試套件。根據(jù)高性能計(jì)算系統(tǒng)常見的應(yīng)用場(chǎng)景，云計(jì)算系統(tǒng)性能測(cè)試可設(shè)置的場(chǎng)景主要包括bell曲線、緩沖區(qū)測(cè)試、線性增加和穩(wěn)定負(fù)載。這樣，通過使用不同的測(cè)試場(chǎng)景來使用不同的測(cè)試用例，同時(shí)還應(yīng)支持跨越遠(yuǎn)端的云服務(wù)器分布虛擬用戶，從而模擬極限測(cè)試與壓力測(cè)試。

3.3 基于效能評(píng)測(cè)模型的評(píng)價(jià)方法 計(jì)算能力測(cè)試與評(píng)價(jià)包含加速比、指令效率、WEB服務(wù)評(píng)估、平均應(yīng)答延遲、集群負(fù)載相對(duì)差等要素；存儲(chǔ)能力評(píng)價(jià)包含I/O利用率、I/O利用的消息密度、內(nèi)存利用率、內(nèi)存利用率的消息密度、傳輸利用率等要素；通信能力評(píng)價(jià)包含I/O利用率、I/O利用的消息密度、內(nèi)存利用率、內(nèi)存利用率的消息密度、傳輸利用率等要素。

4 結(jié)束語(yǔ)

根據(jù)云計(jì)算平臺(tái)用途的劃分為以數(shù)據(jù)存儲(chǔ)為主的存儲(chǔ)型云平臺(tái)、以數(shù)據(jù)處理為主的計(jì)算型云平臺(tái)以及計(jì)算和數(shù)據(jù)存儲(chǔ)處理兼顧的綜合云計(jì)算平臺(tái)，針對(duì)這些平臺(tái)基于商務(wù)需求的性能側(cè)重點(diǎn)不同，云計(jì)算平臺(tái)的性能評(píng)價(jià)模型及性能評(píng)價(jià)度量將會(huì)進(jìn)一步完善。在將來，天空中不會(huì)只有一朵云，而是有多片云，云與云之間的互聯(lián)要靠標(biāo)準(zhǔn)的支撐才得以實(shí)現(xiàn)。當(dāng)云計(jì)算被普及應(yīng)用的時(shí)候，云計(jì)算的標(biāo)準(zhǔn)也應(yīng)該已經(jīng)成熟，至于何時(shí)會(huì)制定出來，還取決于市場(chǎng)的發(fā)展情況、廠商的積極推動(dòng)、科研機(jī)構(gòu)及全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)的深入研究情況。本文意在為將來云計(jì)算標(biāo)準(zhǔn)的制定做出力所能及的貢獻(xiàn)。

參考文獻(xiàn)：

[1]張超等.基于用戶訪問模式的性能測(cè)試模型探討.軟件產(chǎn)業(yè)與工程，2012-1.

[2]趙一鳴.基于ISO質(zhì)量模型的軟件質(zhì)量評(píng)價(jià)方法.計(jì)算機(jī)工程，2002，28（5）.

[3]虞慧群，范貴生.云計(jì)算發(fā)展分析與展望.軟件產(chǎn)業(yè)與工程，2011.9（15-21）.

[4]李征.云計(jì)算平臺(tái)的通用評(píng)測(cè)體系研究.中國(guó)新通信，2012（16）.

[5]LINPACK benchmarks [EB/OL] http：//en.wikipedia.org/wiki/LINPACK_benchmarks.

[6]ISO/IEC JTC1/SC7.Software engingeering-Product quality Quality Model，ISO，2001.