云計算性能測試框架的設計

許 偉 宮立圓

（萊蕪職業技術學院 山東 萊蕪 271100）

0 引言

云計算是處理和儲存大量數據的一種新興技術。它基于互聯網分布式計算機協作，高效處理大量信息，同時確查詢結果保快速反饋給用戶。許多云計算用戶不喜歡使用自己的物理基礎設施，相反，他們從第三方租用基礎設施，云平臺和軟件。這些基礎設施提供的應用服務被稱為云服務。[1]

云服務的一個關鍵技術就是容錯技術。故障和異常會影響服務質量，甚至可用性。Coulouris[2]提出，故障發生在分布式系統，比如，在云計算系統，當一個進程或一個連接通道偏離其正常或預期時，故障就會發生。異常不同于故障，它會部分減弱云計算系統性能，而不是使其完全失效，它會影響某節點的任務性能，最終影響系統自身。

ISO 15939[3]描述了測試的四個步驟，如圖1所示。

性能測試框架改進了ISO 15939中所描述的前兩個測試步驟：（1）建立測試文件，（2）規劃測試過程。這一框架定義了云計算性能測試的要求，數據類型，和評價標準。在未來的工作中，云計算系統測試方法和性能測試模型的設計將得到進一步發展。

1 計算機系統的性能測試方法

系統的性能測試方法中比較熟悉的一個是由Jain[4]提出的，他認為性能研究首先要建立一套性能標準來幫助實施系統測試過程。如果一個系統正確執行一個服務，其性能可通過三方面進行測試：（1）響應時間，（2）吞吐量，（3）占用率。并針對這三點分別提出一個測試過程。此外，Jain認為服務請求結果有三類：（1）該服務被正確執行，（2）該服務被非正確執行，（3）該服務被拒絕執行。他還對影響系統性能的每個可能結果，定義了三個性能：（1）速度，（2）可靠性，（3）可用性。

ISO 25010[5]標準從兩個角度定義軟件產品和計算機系統質量：

（1）使用質量模型：即產品在特定使用范圍下相互作用的結果。

（2）產品質量模型：即軟件的靜態性能和計算機系統的動態性能。

ISO 25010中，兩個性能決定了基于用戶需求的特定環境下的產品質量。例如，性能效率和可靠性與具體專業領域用戶相關，包括信息傳輸、管理、維護。執行效率包括：（1）時間行為，（2）資源利用，（3）容量。可靠性包括：（1）成熟度，（2）可用性，（3）容錯，（4）可恢復性。

2 云計算性能指標

基于Jain提出的性能概念和ISO25010中定義的產品質量特征，我們認為云計算系統的性能取決于對提供有效和可靠服務的特點分析，該服務能夠滿足規定條件下和最大限度系統參數范圍內的要求。性能相關的主要指標有：

性能效率：規定條件下使用的資源量，包括軟件產品、軟硬件配置、材料。

時間行為：響應時間、處理時間和產品或系統的吞吐率。容量：滿足要求的參數的最大極限。

資源利用：執行其功能時，產品或系統所需的資源數量和類型。

可靠性：在特定時間段特定環境下，系統或組件執行規定功能的程度。

成熟度：一個系統在正常運行下滿足可靠性要求的程度。

可用性：使用過程中，一個系統，產品或組件是否能運行和被訪問。

容錯：盡管存在硬件或軟件錯誤，一個系統，產品或組件正常運作的程度。

可恢復性：產品或系統能夠直接恢復發生干擾或失敗事件中的數據的程度。

系統性能取決于性能效率和可靠性。性能效率決定一段時間內的資源使用數額，可靠性決定在相同時間段內系統成功執行特定功能的程度。假設云計算系統正確執行一個服務，但是，在其執行過程中，服務失敗，后來又恢復。雖然服務最終成功完成，但是系統的可用性受到損害，這影響了云計算系統性能。

3 云計算性能測試框架設計

3.1 COSMIC測試方法模型

ISO 19761 COSMIC測試方法[6]定義了一個功能用戶需求的軟件性能模型。功能用戶需求描述了軟件或系統的功能。根據這一方法，每個功能用戶需求以一個或多個功能過程表示，每個功能過程分配給一個軟件來執行。反過來，每個功能過程以子過程表示，即數據傳輸類型或數據轉換類型。

該功能模型中的四種數據傳輸類型是輸入，輸出，讀和寫。圖2顯示了通用軟件的COSMIC模型。

COSMIC模型[7]中，如圖2所示的左側：軟件可以由用戶，硬件設備或其他軟件通過設備使用，如鍵盤，打印機，鼠標等。此外圖2右邊，存儲器硬件決定軟件，如硬盤。因此，軟件的功能可以被視為一個數據流的輸入、輸出、讀、寫數據。輸入輸出操作允許用戶通過I/O設備進行數據交換，讀取和寫入數據操作允許軟件和存儲器之間進行數據交換。

圖2 通用COSMIC模型

3.2 云計算系統性能測試框架

根據通用軟件的COSMIC模型和上面提到的抽象算法，我們提出的通用云計算系統性能測試框架設計如圖3所示。左邊表示云計算系統，輸入云計算系統的詳細屬性如內存使用，CPU占用率，網絡連接信息等，以及用戶應用程序的屬性，如已完成的任務，錯誤的任務等。這些屬性通過各種測量函數來量化效率和可靠性，以滿足功能要求。這些測試函數將系統屬性轉化成表示性能的數值。屬性測試的理想值表示系統要求即可行性所滿足的值。與測試的實際值比較就能得到系統的滿意程度。

圖3 通用云計算系統測試框架

3.3 性能參數

性能測試框架確定后，下一步是確定各種性能相關的參數，并評估是否滿足系統要求。我們選擇ECSS[9]和ISO 25010[5]標準制定系統要求。確定測試的關鍵環節，而且這些已包括在框架中。這些性能參數組成各種函數，使用組合基礎測試法引導測試過程。而且它們與ISO 25010質量體系概念相對應。

3.4 詳細的性能測試框架

詳細的云計算性能測試框架模型如圖4所示。這些功能將通過一個中間服務進行連接，這個中間服務能分享基本的測試，來減少測試計算。

性能測試框架由七個質量控制組成。使用五個基本函數對每個概念進行衡量，通過中間服務共享基礎測量。這意味著中間服務將分享從測量過程的每部分的結果。測試框架要求前期捕獲所需的數據。這些數據可以使用自動數據采集軟件進行收集。

圖4 詳細的云計算性能測試框架模型

3.5 測試的可行性

利用該框架，我們可以證明測試的可行性。例如，一個時間函數可以進行多種測試，如CPU占用，工作時間和響應時間。這些測試是通過使用數據采集器來獲得所需要的基本測試數據。反過來，這些測試數據可以輸入到時間函數，并計算出測試結果。這些測試根據用戶，開發人員或維護人員的期望值組合起來。最后，根據初始性能要求，通過分析模型來對云計算系統性能進行分析。

4 總結

云計算是一種能高效地處理大量數據基于互聯網的技術。它的一個最重要的挑戰是提供一個高水平的耐故障和異常機制。本文提出了云計算系統的一種性能測試框架。這種框架確定了用的軟件質量概念衡量集群行為所必要的元素。框架的設計是基于計量概念，和軟件質量直接相關的性能概念。我們發現，性能效率和可靠性與Jain的測試結果密切相關。

需要進一步研究測試方法和云計算的應用程序性能分析機制，有助于評估驗證我們提出的測試框架。預計未來將提出一種分析模型，能夠檢測可能存在的影響云計算系統性能的異常現象。

［1］H.Jin,S.Ibrahim,T.Bell,L.Qi,H.Cao,S.Wu and X.Shi,Tools and Technologies for Building Clouds.Cloud Computing:Principles, Systems and Applications,Computer Communications and Networks, Springer-Verlag,Berlin,2010.

［2］G.Coulouris,J.Dollimore and T.Kindberg.Distributed Systems Concepts and Design.Addison-Wesley,4th Edition,Pearson Education, Edinburgh,2005.

［3］ISO/IEC 15939 Systems and Software Engineering Measure.International Organization for Standardization ement Process,Geneva,2007.

［4］J.Raj.The Art of Computer Systems Performance Analysis:Techniques for Experimental Design,Measurement,Simulation,and Modeling.Wiley-Interscience,New York,1991.

［5］ISO/IEC 25010:2010(E)Systems and Software Engineering-Systems and Software Product Quality Requirements and Evaluation(SQuaRE)-System and Software Quality Models.International Organization for Standardization,Geneva,2010.

［6］ISO/IEC-19761 Software Engineering-COSMIC v 3.0A Functional Size Measurement Method.International Organization for Standardization,Geneva,2003.

［7］A.Abran.Software Metrics and Software Metrology.John Wiley& Sons Interscience and IEEE-CS Press,New York,2010,doi:10.1002/ 9780470606834.

［8］K.Sarayreh,A.Abran and L.Santillo.Measurement of Software Requirements Derived from System Reliability Requirements.Workshop on Advances on Functional Size Measurement and Effort Estimation,24th European Conference on Object Oriented Programming,Maribor,20-22,June,2010.

［9］ECSS-E-ST-10C Space Engineering:System Engineering General Requirements.European Cooperation for Space Standardization,Requirements&Standards Division,Noordwijk,2009.