基于國產IaaS云平臺的性能測評基準設計與應用

劉維，楊攀飛，陳玥同

（基礎軟硬件性能與可靠性測評工業和信息化部重點實驗室工業和信息化部電子第五研究所，廣州 511300）

0 引言

在“互聯網+”國家戰略的驅動下，云計算［1］逐漸成為互聯網領域主流的計算模式，是信息技術發展和服務模式創新的集中體現。云計算的核心理念是資源租用、應用托管和服務外包，將硬件基礎設施、開發平臺、應用軟件、網絡帶寬等資源整合在云端服務器，通過虛擬化技術［2］將分布的計算節點組成一個共享的虛擬化池，為用戶提供按需租用的計算資源和可靠穩定的云服務。云計算已成為承載各類應用的關鍵基礎設施，為大數據、物聯網、人工智能等新興領域的發展提供基礎支撐。

近年來，國內外云計算技術發展迅速，很多公司都向云計算領域投入了資本與技術力量，向用戶提供虛擬網絡、云服務器、云存儲［3］等服務，主流的云服務提供商包括亞馬遜、微軟、阿里云、騰訊云等，主流的云服務形態包含私有云、公有云、混合云等。在國際上，頗具影響力的公司和組織均已推出了自己的IaaS［4］云平臺的測試基準。不同的測試基準各有特色，其測試指標和測試基準都不盡相同甚至大相徑庭。極具有代表性的云測試基準有：基于BUNGEE Cloud Ealastic?ity Benchmark的虛擬機測試基準［5］、VMmark云平臺測評基準［6］、SPECvirt_sc 2010［7］、Perfkit Benchmarker（PKB）［8］以及SPEC Cloud Benchmark。

在國內，基于Wintel體系的國內云計算廠商大多基于開源成果（如Open Stack［9］）做定制開發或直接采購商用服務，將更多精力放在產品的優化開發及市場推廣，缺乏測試技術研究及測評工具研制，基本依賴國際成果?；趪a基礎軟硬件平臺的國產云計算廠商技術水平與產品質量參差不齊，據調研，國產服務器虛擬化軟件廠商約30家、國產容器云平臺軟件廠商約33家、云管理軟件廠商約39家、云桌面軟件廠商約27家，技術研究條塊狀、碎片化、重復化嚴重，沒有形成產業創新鏈條，在測試技術研究及自主工具研制方面尚未形成研發合力。再加上，當前國產基礎平臺存在多條不同的技術路線，且無標準可依、無工具可用，對基于不同基礎平臺的IaaS平臺的服務能力無法進行評估（如可提供多少用戶并發、可部署幾套系統等），導致信息化建設中設備采購無測算依據，國產IaaS云平臺的選型無有力判據。

基于上述問題，本文提出了一套基于國產IaaS云平臺系統的上云/遷云測試指標評估體系，包含國產虛擬化云平臺、容器云平臺、桌面云性能測評指標體系，實現對國產IaaS平臺計算、網絡、存儲等資源的性能隔離性測試，以及可靠性測試和服務能力評估，可有效支撐“信創云”［10］生態產品質量測評服務。

1 測評指標研究與基準設計

通過研究虛擬化云平臺、容器云平臺、桌面云系統的技術特點，分別制定不同云平臺下云主機、云平臺并發、云存儲、云網絡等的性能測試指標體系，涵蓋硬件虛擬化性能指標、虛擬化云平臺性能測試指標、容器云平臺性能測試指標、桌面云性能測試指標共4個大類14個小類140余項指標，指標基準大類及具體細則如表1所示。

表1 指標類別及細則

續表1

1.1 硬件虛擬化性能測評基準研究及設計

虛擬化技術是云平臺構建的核心，被廣泛用于計算領域中資源按需分配的配置與管理。虛擬化技術的基本特點是實現資源的優化分配、虛擬環境的等價執行、性能效率的明顯提升，以及資源的高可用。由于云平臺需要各種管理軟件和虛擬化軟件等額外的應用，與同等配置的物理機相比，虛擬機的性能會有一定損失，因此需要通過對相近配置的虛擬機和物理機進行多項對比測試來考察性能損耗，如表2所示。

表2 硬件虛擬化性能指標權重表

根據業務場景靈活設置每項測試指標的權重值，拉齊各測試項單位，硬件虛擬化性能測評得分見公式（1）。本文設置權重1為45%、權重2為10%、權重3為5%、權重4為25%、權重5為15%。

1.2 虛擬化云平臺性能測評基準

云平臺是由搭載了云平臺服務器端軟件的云服務器、搭載了云平臺客戶端軟件的云電腦以及網絡組件所構成的，用于提高低配置或老舊計算機的綜合性能，使其達到現有流行速度的效果。在實際生產環境中，云平臺動態管理和調度虛擬資源，為上層應用服務提供支持，如表3所示。

表3 虛擬云平臺性能指標權重表

云平臺基本操作性能反映了云平臺的基本能力，會影響云平臺動態擴展、彈性伸縮及故障恢

復等高級特性，是實現云平臺競爭力的重要基礎；SPEC Cloud ? IaaS 2018是目前最新的SPEC Cloud云計算平臺基準測試，具有完備的云計算平臺級性能測試能力，本文選用其作為國產IaaS云平臺基礎設施性能測試指標；虛擬機作為云平臺提供的主要虛擬資源，其主要性能指標為處理器性能、內存性能、硬盤性能、網絡性能以及虛擬機整體性能五個方面，需要考慮多個虛擬機進行共同作業時的性能隔離性。

續表3

根據業務場景靈活設置每項測試指標的權重值，拉齊各測試項單位，虛擬云平臺性能測評得分見公式（2），本文設置權重1為15%、權重2為20%、權重3為35%、權重4為5%、權重5為25%。

1.3 容器云平臺性能測評基準

根據容器云的特性，本文選取單個/多個容器啟動耗時、單個/多個容器關閉/殺掉耗時、容器服務時效感知時間作為度量容器云平臺基本操作性能指標；容器鏡像作為云平臺提供的主要虛擬資源，其主要性能指標為處理器性能、內存性能、硬盤性能、網絡性能以及虛擬機整體性能五個方面，同樣需要考慮多個微服務進行共同作業時的性能隔離性，如表4所示。

表4 容器云性能指標權重表

根據業務場景靈活設置每項測試指標的權重值，拉齊各測試項單位，容器云性能測評得分見公式（3），本文設置權重1為20%、權重2為30%、權重3為50%。

1.4 桌面云性能測評基準

根據桌面云的特性，本文選取單個鏡像發放擬桌面遷移、虛擬桌面幀率作為用戶體驗性能指標，如表5所示。一臺/多臺虛擬桌面耗時、單個/多個虛擬桌面啟動耗時、虛擬桌面連接耗時作為度量桌面云平臺基本操作性能指標；主要考量網絡傳輸帶寬、虛

續表4

表5 桌面云性能指標權重表

根據業務場景靈活設置每項測試指標的權重值，拉齊各測試項單位，桌面云性能測評得分見公式（4），本文設置權重1為20%、權重2為80%。

續表5

2 應用驗證

保證測評結果的公平、公正，本文對測評對象、測評范圍、測評環境進行約束：

（1）測評對象。本文中描述的信創云測評對象包括虛擬云平臺、容器云平臺、桌面云，適用于公用云、私有云、混合云的測評。

（2）測評范圍。測評指標體系僅涵蓋IaaS層云平臺相關的性能指標，尚未涵蓋PaaS層、SaaS層相關內容。

（3）測評環境。已完成國產主流硬件的適配驗證，適用于基于龍芯、飛騰、鯤鵬、海光、兆芯等硬件為底座的云平臺。測評環境如圖1所示。

圖1 國產IaaS云平臺性能測評測試環境

2.1 基于靈活可定制負載模型的國產IaaS平臺性能隔離性測試

IaaS云計算平臺面對多種多樣的業務，IaaS云服務商需要對計算、網絡、存儲資源管理進行優化，而虛擬機則是多種資源的集合體。虛擬機性能的優劣，體現了IaaS云服務的水平。因此，在進行性能隔離性測試時，對虛擬機計算、存儲、網絡資源進行測試，主要體現是對CPU、內存、網絡、磁盤的性能進行隔離性測試。

本文基于提出的國產IaaS云平臺性能測試基準，設計靈活可定制負載模型的國產IaaS平臺性能隔離性測試，其主要思想是：①從大量虛擬機中選取一臺虛擬機進行性能測試，期間其它虛擬機不進行性能測試或其它負載測試；②大量虛擬機在同一時刻進行性能測試，將兩種測試得到的測試結果進行對比分析，分析IaaS性能隔離性的優劣。

各類型性能隔離性測試主要分為兩種情況：一種情況是在不同時間測出每臺虛擬機的性能（分別為CPU、內存、網絡、磁盤等的性能），期間其他虛擬化不進行相關負載運算；另一種情況是大量虛擬機在同一時刻測試所有虛擬機的性能（分別為CPU、內存、網絡、磁盤等的性能）。對CPU性能測試主要關注CPU的并行計算性能、計算圓周率性能、素數加法運算性能，以及浮點預算性能等；內存測試主要關注內存帶寬、內存延時等指標；磁盤I/O性隔離性測試主要關注磁盤讀、寫、隨機讀、隨機寫等指標；網絡性能隔離性測試主要關注網絡帶寬及吞吐量、響應時間及延遲等指標。

2.2 基于分布式Web系統中間件構建典型業務負載場景的國產IaaS平臺服務能力評估

結合當前“信創云”工程實施特點，本文提出基于分布式Web系統中間件，通過構建典型業務負載場景，對云平臺的性能進行全方位的測試，通過模擬真實業務場景負載，評估國產IaaS平臺可提供服務（可支撐的并發用戶數、吞吐量、響應時間等）的能力。

基于分布式Web系統中間件的負載測試系統主要包括：分布式Web系統中間件、國產關系型數據庫、典型業務模型、測試引擎。其中典型負載模型選取接近真實使用場景的交易型業務模型。測試引擎中的測試負載的選擇需要根據實際業務場景為被測試云平臺添加多樣化、全方位的工作負載。測試負載模塊提供圖形化測試管理端，提供測試條件配置，如：提供測試連接配置、負載因子、并發數、會話數、測試持續時間、預熱時間、請求頻次和思考時間等。測試負載模塊用于提供的負載測試執行計劃，支持多線程框架，保證多個線程并發訪問和取樣能力，提供對測試執行的訪問結果回傳測試管理端的能力，并支持多種協議的模擬訪問（如HTTP、HTTPS、FTP、Database/JDBC等）。測試引擎中的測試結果分析模塊提供測試結果的統計匯總展示，提供并發數、總吞吐量、平均每秒吞吐量、總請求數、平均每秒請求數的統計值，以及提供事務平均響應時間及通過率。綜上，根據設置的負載模型，以及測試結果，即可評估出該國產IaaS平臺的服務能力，為國產IaaS產品的選型及設備采購提供有力評判手段。

3 結語

在政府積極引導和企業戰略布局的推動下，基于國產IaaS平臺的信息化基礎設施建設已成為加快信息化全領域的國產化安全替代優選方案。本文提出的一種基于國產IaaS云平臺的性能測試基準，在國產云計算領域處于不斷完善的時期，填補了國內IaaS云平臺性能測評指標體系的空白，通過制定基于靈活可定制負載模型，實現對國產IaaS平臺計算、網絡、存儲等資源的性能隔離性測試；通過采用基于分布式Web系統中間件構建典型業務負載場景，實現對國產IaaS云平臺可靠性測試和服務能力的評估，解決了當前國產IaaS云平臺的性能測試無標準、壓力測試無工具、上云效果無法評價、遷移效果無法對比的棘手問題，對于產品質量的提升與產業良性發展都有一定的積極作用。