公有云存儲系統(tǒng)性能評測方法研究

李阿妮，張 曉，張伯陽，柳春懿，趙曉南

(西北工業(yè)大學(xué) 計算機(jī)學(xué)院，西安 710129)

公有云存儲系統(tǒng)性能評測方法研究

李阿妮*，張 曉，張伯陽，柳春懿，趙曉南

(西北工業(yè)大學(xué) 計算機(jī)學(xué)院，西安 710129)

(*通信作者電子郵箱liani_1028@163.com)

隨著云存儲系統(tǒng)的迅速發(fā)展和廣泛使用，許多企業(yè)開發(fā)者和個人用戶將其應(yīng)用從傳統(tǒng)存儲遷移至公有云存儲系統(tǒng)，因此，云存儲系統(tǒng)性能成為企業(yè)開發(fā)者和個人用戶關(guān)注的焦點。由于傳統(tǒng)測試難以模擬足夠多的用戶同時訪問云存儲系統(tǒng)；測試環(huán)境構(gòu)建復(fù)雜，測試時間長，準(zhǔn)備測試環(huán)境成本高；受網(wǎng)絡(luò)因素及外界其他因素影響，評測結(jié)果不穩(wěn)定。針對以上所述云存儲系統(tǒng)性能評測的重點和難點，提出一種“云測試云”的公有云存儲系統(tǒng)性能評測方法，該方法通過在云計算平臺動態(tài)申請足夠數(shù)量的實例，對公有云存儲系統(tǒng)性能進(jìn)行評測。首先，構(gòu)建通用的性能評測框架，可動態(tài)伸縮申請實例，自動化部署評測工具及負(fù)載，控制并發(fā)訪問云存儲系統(tǒng)，自動釋放實例及收集并反饋評測結(jié)果；其次，提出多維度的性能評測指標(biāo)，涵蓋不同典型應(yīng)用、不同云存儲接口；最后，提出一種可擴(kuò)展通用的性能評測模型，該模型可以評測常見典型應(yīng)用的性能，分析云存儲性能影響因素，可適用于任何的公有云存儲平臺。為了驗證該方法的可行性、合理性、通用性和可擴(kuò)展性，利用所提方法對Amazon S3云存儲系統(tǒng)進(jìn)行性能評測，并使用s3cmd驗證評測結(jié)果的準(zhǔn)確性。實驗結(jié)果表明, 評測結(jié)果可以為企業(yè)開發(fā)者和個人用戶提供參考意見。

云測試云；公有云存儲系統(tǒng)；性能評測；Amazon S3；自動化評測工具

0 引言

全球數(shù)據(jù)量的迅猛增長使得數(shù)據(jù)存儲日益成為各企業(yè)關(guān)注的焦點，持續(xù)增長的數(shù)據(jù)存儲壓力帶動了整個存儲市場的快速發(fā)展，云存儲迅速成為存儲的熱點[1]。許多企業(yè)開發(fā)者和個人用戶將其應(yīng)用從傳統(tǒng)存儲遷移至公有云存儲系統(tǒng)，為了評判選擇的公有云存儲系統(tǒng)能否滿足業(yè)務(wù)需求，需要對公有云存儲系統(tǒng)進(jìn)行性能評估, 因此，云存儲系統(tǒng)性能成為企業(yè)開發(fā)者和個人用戶關(guān)注的焦點。傳統(tǒng)的存儲系統(tǒng)性能測試方法直接用于云存儲系統(tǒng)時，存在如下問題：第一，由于實際環(huán)境資源的限制，測試不具有可擴(kuò)展性，難以評測大規(guī)模云存儲系統(tǒng)的性能；第二，難以模擬足夠多的用戶同時訪問云存儲系統(tǒng)；第三，測試環(huán)境構(gòu)建復(fù)雜，需要花費大量的人力物力，測試時間長；第四，準(zhǔn)備測試環(huán)境，測試成本投入高；第五，測試過程受網(wǎng)絡(luò)因素及外界其他因素影響，評測結(jié)果不穩(wěn)定。

針對以上問題，本文提出一種公有云存儲系統(tǒng)性能評測方法——“云測試云”，該方法通過在云計算平臺動態(tài)申請足夠數(shù)量的實例，對公有云存儲系統(tǒng)性能進(jìn)行評測。該方法主要針對公有云存儲系統(tǒng)，因為私有云存儲系統(tǒng)是針對特定企業(yè)或高校搭建，供其內(nèi)部人員使用，而公有云存儲系統(tǒng)具有普遍使用性。該方法具有如下優(yōu)點：第一，在云計算平臺上動態(tài)按需申請實例，可以模擬足夠數(shù)量的用戶，具有很好的擴(kuò)展性；第二，評測過程自動化部署，節(jié)約人力物力，使評測過程更高效；第三，使用云計算資源構(gòu)建評測環(huán)境，節(jié)約測試成本；第四，評測過程相對屏蔽網(wǎng)絡(luò)因素的影響，使評測過程穩(wěn)定；第五，該方法可以適用于任何公有云存儲平臺，具有很好的通用性。

本文的主要工作為：第一，提出一種公有云存儲系統(tǒng)性能評測方法——“云測試云”；第二，構(gòu)建通用的性能評測框架，可動態(tài)伸縮申請實例，自動化部署評測工具及負(fù)載，控制并發(fā)訪問云存儲系統(tǒng)，自動釋放實例及收集并反饋評測結(jié)果；第三，提出多維度的性能評測指標(biāo)，涵蓋不同典型應(yīng)用、不同云存儲接口；第四，提出一種可擴(kuò)展通用的性能評測模型，可以適用于任何的公有云存儲平臺，通過該模型可以評測常見典型應(yīng)用的性能，并且可以分析用戶使用機(jī)器類型、用戶訪問文件大小、同時訪問用戶數(shù)對云存儲系統(tǒng)性能的影響。

1 相關(guān)研究

目前，在公有云存儲性能評測方面，已經(jīng)有大量的研究工作，根據(jù)云存儲接口訪問類型，可以分為塊存儲、對象存儲、數(shù)據(jù)庫存儲。

文獻(xiàn)[2]研究Windows Azure云平臺三種主要存儲服務(wù)Blob(塊存儲)、Table和Queue(數(shù)據(jù)庫存儲)的性能，采用1～192個客戶端從多維度評測指標(biāo)角度進(jìn)行評測，比如分析Blob上傳下載的傳輸速率，分析Table常用應(yīng)用程序編程接口(Application Programming Interface, API)操作(Insert、Query、Update、Delete)的次數(shù)。該方法的優(yōu)點是模擬多用戶真實訪問，分析不同存儲接口的性能；但是該方法的不足是評測時限制用戶所在區(qū)域，而真實用戶訪問地區(qū)各不相同，沒有真正地做到從用戶角度分析云存儲系統(tǒng)性能；另外，該方法只是分析用戶訪問數(shù)對云存儲性能影響，而沒有分析其性能的影響因素。文獻(xiàn)[3]針對Azure云存儲平臺的性能研究提出一套開源的benchmark——AzureBench，使用多層次指標(biāo)評測Blob、Table和Queue三種存儲服務(wù)的性能。該方法分析了不同實例數(shù)量、不同文件大小對其存儲性能的影響，但是沒有分析實例類型對存儲性能的影響，同時評測過程沒有做到自動化部署，評測效率低。

文獻(xiàn)[4]從數(shù)據(jù)持久性、數(shù)據(jù)可用性、數(shù)據(jù)訪問性能角度評測Amazon S3(Simple Storage Service)存儲服務(wù)的性能。該方法的優(yōu)點是從5個不同的地區(qū)和Amazon內(nèi)部的EC2角度采用橫向?qū)Ρ仍u測Amazon S3性能; 但是在評測Amazon S3并發(fā)訪問性能時，采用不同地區(qū)的EC2單臺虛擬機(jī)設(shè)置多線程來測試，這種方法不能模擬真實的多用戶并發(fā)訪問。文獻(xiàn)[4]調(diào)用Amazon S3提供的REST API采用Java、C++、Python語言實現(xiàn)評測工具，但是該工具不能實現(xiàn)自動化部署。文獻(xiàn)[5-6]采用C++語言調(diào)用Amazon S3 API實現(xiàn)評測工具，從EC2角度評測Amazon S3的吞吐量、并發(fā)訪問及可用性。該方法的優(yōu)點是能分析時間因素和地區(qū)因素對Amazon S3性能的影響; 但不足是沒有分析不同實例類型及不同實例數(shù)量對Amazon S3性能的影響，并且評測方法使用單客戶端進(jìn)行評測，使得該評測方法不具有可擴(kuò)展性。文獻(xiàn)[7]利用網(wǎng)絡(luò)分析工具iptools獲得云存儲系統(tǒng)在處理用戶訪問請求的各個階段的時間開銷，從而建立模型評測云存儲的性能，并且以百度云盤和金山快盤為測試對象進(jìn)行實驗，驗證模型。但是該方法只分析單客戶訪問云存儲的性能，因此評測方法不具有擴(kuò)展性。文獻(xiàn)[8]采用網(wǎng)絡(luò)嗅探工具Ethereal，通過捕獲網(wǎng)盤客戶端傳輸文件的數(shù)據(jù)包的方式來確定其傳輸時間、計算傳輸速率。該方法的優(yōu)點是采用所提方法橫向?qū)Ρ热N典型網(wǎng)盤的性能，但不足是只分析單用戶訪問的性能，沒有分析多用戶同時訪問的性能，評測方法不具有可擴(kuò)展性。文獻(xiàn)[9]研發(fā)評測Openstack Swift應(yīng)用服務(wù)接口層性能工具CSPTS(Cloud Storage Performance Test System)，通過調(diào)用Swift開放的API接口，測試文件讀寫和元數(shù)據(jù)操作的性能。文獻(xiàn)[10]對公有云存儲Azure和私有云存儲Nimbus進(jìn)行性能評價，使用集成benchmark和負(fù)載應(yīng)用程序?qū)π阅苓M(jìn)行評價，主要指標(biāo)有計算性能、網(wǎng)絡(luò)性能和成本。該方法的優(yōu)點在于將所提性能評測方法在公有云存儲Azure和私有云存儲Nimbus上進(jìn)行對比評測，評測指標(biāo)多樣化，但沒有具體說明提出的性能評測方法。

YCSB(Yahoo Cloud Serving Benchmark)[11]由Yahoo公司開發(fā)，主要是面向key/value云存儲系統(tǒng)的評估。文獻(xiàn)[11]提出了一個稱為YCSB的測試框架，用于云數(shù)據(jù)服務(wù)系統(tǒng)的性能對比，具有通用性與擴(kuò)展性, 并定義了5個核心工作負(fù)載，可用于測試云數(shù)據(jù)服務(wù)系統(tǒng)的基礎(chǔ)性能，也可較容易地基于這些負(fù)載生成新的負(fù)載以對特定的應(yīng)用進(jìn)行測試。文獻(xiàn)[12]提出了一個測試生成工具，可高效運(yùn)行多個benchmark進(jìn)行測試以獲得更高置信度的結(jié)果，該工具與負(fù)載生成器進(jìn)行交互以執(zhí)行每一個測試，類似于YCSB的客戶端。

通過分析發(fā)現(xiàn)，現(xiàn)有的研究通過多維度評測指標(biāo)，橫向?qū)Ρ瓤梢院芎玫卦u測特定公有云存儲系統(tǒng)性能，但是這些方法不具有通用性、可擴(kuò)展性，并且評測工具不能自動化部署，評測效率低，有些方法不能模擬真實的多用戶同時訪問，評測結(jié)果對企業(yè)開發(fā)者和個人用戶不能很好地提供建議。

針對以上研究工作的不足，本文提出一種公有云存儲系統(tǒng)性能評測方法——“云測試云”，該方法具有很好的通用性和可擴(kuò)展性。通過自動化部署和多維度指標(biāo)評測，為企業(yè)開發(fā)者和個人用戶使用云存儲系統(tǒng)提供參考。

2 云測試云

2.1 評測框架

本文構(gòu)建通用的性能評測框架，如圖1所示。主要包括4個模塊：1)控制決策模塊。首先，對企業(yè)開發(fā)者或個人用戶提交的需求說明進(jìn)行需求分析；然后，根據(jù)需求分析結(jié)果創(chuàng)建虛擬機(jī)組；接著，給創(chuàng)建的所有虛擬機(jī)發(fā)送工具和負(fù)載信息，并且控制虛擬機(jī)進(jìn)行訪問操作；其次，當(dāng)訪問測試模塊完成時，從各個虛擬機(jī)中收集評測結(jié)果；最后，當(dāng)用戶收到評測結(jié)果后，釋放虛擬組。2)資源調(diào)度模塊。主要根據(jù)控制決策模塊發(fā)送的請求消息啟動虛擬機(jī)組。3)訪問測試模塊。所有新啟動的虛擬機(jī)根據(jù)控制決策模塊的需求分析信息訪問云存儲系統(tǒng)，進(jìn)行元數(shù)據(jù)訪問或者數(shù)據(jù)訪問。4)結(jié)果處理模塊。主要負(fù)責(zé)處理控制決策模塊從各個虛擬機(jī)收集的評測結(jié)果，分為單節(jié)點結(jié)果處理和多節(jié)點結(jié)果處理，并將分析結(jié)果反饋給企業(yè)開發(fā)者或個人用戶。

圖1 “云測試云”性能評測框架Fig. 1 “Cloud testing cloud” performance evaluation framework

2.2 評測指標(biāo)

本地存儲系統(tǒng)的性能評測指標(biāo)有IOPS(Input/Output Operations Per Second)、數(shù)據(jù)傳輸率、元數(shù)據(jù)吞吐率和并發(fā)數(shù)等，具體如下：

1)IOPS：測試本地存儲系統(tǒng)每秒處理的IO請求數(shù)，單位為IO次數(shù)/秒(IOPS)。

2)數(shù)據(jù)傳輸率：測試本地存儲系統(tǒng)在單位時間內(nèi)的最大數(shù)據(jù)傳輸率，單位為兆字節(jié)/秒(MB/s)。

3)元數(shù)據(jù)吞吐率：本地存儲系統(tǒng)在單位時間內(nèi)能夠處理的元數(shù)據(jù)量，單位為次/秒。

4)并發(fā)數(shù)：同一時間內(nèi)能夠支持的最大用戶訪問數(shù)目。

借鑒本地存儲系統(tǒng)性能評測指標(biāo)，本文提出云存儲系統(tǒng)面向不同典型應(yīng)用和不同云存儲接口的多維度性能評測指標(biāo)，具體如下：

1)面向不同典型應(yīng)用的評測指標(biāo)。

典型應(yīng)用性能：針對不同用戶機(jī)器類型、不同網(wǎng)絡(luò)環(huán)境、不同測試時間點，測試典型應(yīng)用的完成時間，單位為秒(s)。

典型應(yīng)用的性能不只與用戶上傳下載的文件大小有關(guān)系，并且和文件的讀寫訪問模式有關(guān)系。如云相冊，用戶一次寫入，多次進(jìn)行讀訪問，并且用戶一般訪問不是下載單個照片，而是下載某個相冊整體。

常見的云存儲系統(tǒng)典型應(yīng)用如表1所示。因為文件、軟件、視頻等用戶使用時都會有大文件和小文件、大軟件和小軟件等之分，所以設(shè)置兩個參數(shù)值，并且只對小文件，小軟件、小視頻等作測試。

表1 常見的云存儲系統(tǒng)典型應(yīng)用Tab. 1 Common typical applications of cloud storage system

2)面向不同云存儲接口的評測指標(biāo)。

根據(jù)云存儲系統(tǒng)的不同接口訪問類型，可以分為塊存儲接口、對象存儲接口、數(shù)據(jù)庫存儲接口，不同接口的具體評測指標(biāo)如表2所示。

表2 云存儲系統(tǒng)不同訪問接口的評測指標(biāo)Tab. 2 Cloud storage system evaluation index of different access interfaces

2.3 評測模型

本文在評測指標(biāo)的基礎(chǔ)上提出兩種通用可擴(kuò)展的公有云存儲系統(tǒng)性能評測模型：典型應(yīng)用性能評測模型和云存儲接口層性能評測模型。典型應(yīng)用性能評測模型，可以分析用戶使用不同典型應(yīng)用在不同訪問模式、不同機(jī)器類型、不同網(wǎng)絡(luò)環(huán)境和不同測試時間點時完成時間；云存儲接口層性能評測模型可以評測用戶使用的機(jī)器類型、用戶訪問的文件大小及同時訪問的用戶數(shù)對云存儲系統(tǒng)性能的影響。兩種具體評測模型如圖2～3所示。

典型應(yīng)用性能評測模型的具體執(zhí)行流程如下：首先將不同的典型應(yīng)用在不同時間，部署到不同區(qū)域的不同類型機(jī)器上；最后可以評測出不同典型應(yīng)用在不同訪問模式、不同時間、不同區(qū)域、不同類型機(jī)器上的完成時間。

圖2 典型應(yīng)用性能評測模型Fig. 2 Performance evaluation model of typical applications

云存儲系統(tǒng)云存儲接口層性能評測模型主要分為兩個階段，具體執(zhí)行流程如下。

第一階段 因素分析。

1)評測云存儲系統(tǒng)性能和實例類型之間的關(guān)系。固定文件大小(一般設(shè)置小文件)和用戶數(shù)量(一般設(shè)置單用戶)，評測實例類型(即用戶使用的機(jī)器類型)對云存儲系統(tǒng)性能的影響。

2)確定最優(yōu)文件大小。不同云存儲系統(tǒng)支持的最優(yōu)文件大小不同，固定實例類型(一般設(shè)置小配置實例類型)和用戶數(shù)量(單用戶)，尋找評測的云存儲系統(tǒng)支持訪問的最優(yōu)文件大小，即用戶上傳、下載時的最優(yōu)文件大小, 并且分析文件大小和云存儲系統(tǒng)性能之間的關(guān)系。

3)確定云存儲系統(tǒng)支持的最大用戶數(shù)。云存儲系統(tǒng)支持的最大用戶數(shù)，與用戶使用的實例類型及用戶上傳或下載的文件大小有關(guān)系，所以在評測時，將實例類型設(shè)置為較優(yōu)實例配置，將文件大小設(shè)置為小文件，進(jìn)而評測云存儲系統(tǒng)同時支持的最大用戶訪問數(shù)，并且分析用戶數(shù)和云存儲系統(tǒng)性能之間的關(guān)系。

第二階段 當(dāng)用戶使用云存儲系統(tǒng)時， 通過統(tǒng)籌規(guī)劃動態(tài)調(diào)整上述分析的各個因素，盡可能地為用戶提供較優(yōu)的性能，從而為用戶的使用提供指導(dǎo)建議。

圖3 云存儲接口層性能評測模型Fig. 3 Performance evaluation model of cloud storage interface

3 實驗

為了驗證本文提出“云測試云”的公有云存儲系統(tǒng)性能評測方法的可行性、合理性、通用性和可擴(kuò)展性，本文在Amazon S3平臺上進(jìn)行實驗驗證。選擇Amazon S3公有云存儲平臺進(jìn)行驗證，是因為Amazon在2016年最新的為用戶提供最佳云存儲服務(wù)體驗排名[13]中位居榜首；另外，無論是Amazon EC2還是Amazon S3都提供開放的API，這些API發(fā)布時間長，成熟穩(wěn)定，因此評測過程穩(wěn)定。本文使用python語言調(diào)用EC2和Amazon S3的API，使用云測試云評測方法研發(fā)工具進(jìn)行評測，工具名稱為：Amazon S3云測試云工具(S3 Cloud Testing Cloud，S3CTC)。

3.1 評測指標(biāo)

1)面向不同典型應(yīng)用的評測指標(biāo)。同2.2節(jié)面向不同典型應(yīng)用的評測指標(biāo)。

2)面向不同云存儲接口的評測指標(biāo)。從2.2節(jié)通用的評測指標(biāo)中可得，針對Amazon S3(對象存儲)的評測指標(biāo)如表3所示。

表3 Amazon S3云存儲接口的評測指標(biāo)Tab. 3 Evaluation indexes for Amazon S3 cloud storage interfaces’

3.2 實驗環(huán)境

本文的重點在于提出一個通用的公有云存儲系統(tǒng)性能評測框架和評測模型，驗證該評測框架和評測模型的可行性和合理性，所以不驗證所有評測指標(biāo)，只是選具有代表性評測指標(biāo)進(jìn)行評測。所有的實驗都選擇在Amazon EC2平臺東京地區(qū)進(jìn)行。評測環(huán)境的拓?fù)淙鐖D4所示。

圖4 Amazon S3性能評測環(huán)境拓?fù)銯ig. 4 Amazon S3 performance evaluating environment topology

實驗時選擇不同的虛擬機(jī)實例類型進(jìn)行實驗對比,處理器為Intel Xeon E5-2670 v2 2.50 GHz，內(nèi)核版本為3.13.0-48-generic，操作系統(tǒng)為Ubuntu 14.04.2 LTS，實例存儲為EBS only，不同實例配置信息如表4所示。

表4 不同實例配置信息Tab. 4 Configuration information for different instances

3.3 實驗方法

根據(jù)2.3節(jié)提出的通用可擴(kuò)展的評測模型，評測過程分為兩部分進(jìn)行：

第一部分 評測不同典型應(yīng)用的完成時間。只評測不同典型應(yīng)用在同一時間、相同區(qū)域(Amazon EC2平臺東京地區(qū))、相同機(jī)器類型(t2.micro)上的完成時間。

第二部分 評測Amazon S3云存儲系統(tǒng)性能影響因素。只評測數(shù)據(jù)操作時的MBPS和API響應(yīng)時間。

1)判斷Amazon S3云存儲性能和用戶使用機(jī)器類型的關(guān)系， 文件大小固定為100 MB，實例數(shù)量固定為1臺，實例類型分別設(shè)置為：t2.nano、t2.micro、t2.small、t2.medium、t2.large、m4.large。

2)判斷Amazon S3云存儲性能和用戶訪問文件大小的關(guān)系， 實例類型固定為t2.micro，實例數(shù)量固定為1臺，文件大小分別設(shè)置為：1 MB、10 MB、50 MB、100 MB、500 MB、1 GB、1.5 GB、2 GB、3 GB。

3)判斷Amazon S3云存儲性能和同時訪問用戶數(shù)的關(guān)系， 文件大小固定為100 MB，實例類型固定為t2.micro，實例數(shù)量分別設(shè)置為1臺、2臺、4臺、8臺、16臺。

3.4 實驗結(jié)果及分析

為了排除異常值的影響，每次測試進(jìn)行5次實驗，實驗結(jié)果去掉一個最大值和一個最小值，然后將剩余的3次實驗結(jié)果取平均。

第一部分 評測不同典型應(yīng)用的完成時間。當(dāng)用戶同一時間使用EC2東京地區(qū)的t2.micro機(jī)器訪問Amazon S3時，用戶上傳不同典型應(yīng)用的完成時間如圖5所示。

圖5 不同典型應(yīng)用的完成時間Fig. 5 Completion time of different typical applications

第二部分 評測Amazon S3云存儲系統(tǒng)性能影響因素。

1)評測Amazon S3云存儲性能和實例類型關(guān)系。

不同實例類型訪問Amazon S3云存儲系統(tǒng)文件傳輸速率對比如圖6所示，API響應(yīng)時間對比如圖7所示。

由圖6和圖7可知: 無論上傳、下載文件，當(dāng)實例類型為t2.nano、t2.micro、t2.small、t2.medium時，訪問Amazon S3云存儲系統(tǒng)的文件傳輸速率和API響應(yīng)時間差異并不大; 但是當(dāng)實例類型為t2.large和m4.large時，訪問Amazon S3云存儲系統(tǒng)的文件傳輸速率和API響應(yīng)時間都比之前4種實例類型性較優(yōu)。主要原因是t2.large和m4.large的CPU為2個，內(nèi)存為8 GB，比其他實例類型配置提升一倍。

圖6 不同實例類型文件傳輸速率對比Fig. 6 Comparison of file transfer rate of different instance types

圖7 不同實例類型API響應(yīng)時間對比Fig. 7 Comparison of API response time of different instance types

因此，可得結(jié)論，當(dāng)實例類型為t2.large和m4.large時，訪問Amazon S3云存儲系統(tǒng)性能較好。

2)評測Amazon S3云存儲性能和文件大小關(guān)系。

不同實例類型訪問Amazon S3云存儲系統(tǒng)文件傳輸速率對比如圖8所示，API響應(yīng)時間對比如圖9所示。

圖8 不同文件大小文件傳輸速率對比Fig. 8 Comparison of file transfer rate of different file sizes

圖9 不同文件大小API響應(yīng)時間對比Fig. 9 Comparison of API response time of different file sizes

由圖8和圖9可知，當(dāng)文件大小從1 MB到1 GB逐漸增加時，上傳下載文件的文件傳輸速率和API響應(yīng)時間也隨著增加。因為Amazon S3采用流量計費，所以由于經(jīng)費限制，未測得Amazon S3支持的最優(yōu)上傳下載文件大小。

3)評測Amazon S3云存儲性能和實例個數(shù)關(guān)系。

不同實例數(shù)量同時訪問Amazon S3云存儲系統(tǒng)文件傳輸速率對比如圖10和圖11所示，API響應(yīng)時間對比如圖12所示。

圖10 不同實例個數(shù)總的文件傳輸速率對比Fig. 10 Comparison of total file transfer rate of different instance numbers

圖11 不同實例個數(shù)平均文件傳輸速率對比Fig. 11 Comparison of average file transfer rate of different instance numbers

圖12 不同實例個數(shù)API響應(yīng)時間對比Fig. 12 Comparison of API response time of different instance numbers

由圖10和圖12可知，當(dāng)實例個數(shù)從1增加到16時，無論上傳、下載文件, 文件傳輸速率和API響應(yīng)時間都隨著實例個數(shù)的增加而增加，成線性關(guān)系。同樣，由于經(jīng)費限制，未測得Amazon S3支持的最大用戶訪問數(shù)。

但是，結(jié)合平均每個實例文件傳輸速率分析可得：平均上傳速率隨著實例數(shù)增加先降低后逐漸增加，并且增長幅度緩慢，因此可得繼續(xù)增加實例個數(shù)，平均每個實例上傳速率會趨于穩(wěn)定甚至降低，故上傳100 MB文件的總速率也會趨于穩(wěn)定。平均下載速率隨著實例數(shù)增加而逐漸降低，因此可得繼續(xù)增加實例個數(shù)，平均每個實例下載速率逐漸降低，故下載100 MB文件的總速率會趨于穩(wěn)定。

綜上所述，當(dāng)實例個數(shù)增加到一定值時，并發(fā)訪問Amazon S3云存儲系統(tǒng)的上傳、下載速率最終會趨于穩(wěn)定。

4 工具驗證

為了驗證第3章研發(fā)的Amazon S3性能評測工具的準(zhǔn)確性，本文使用開源工具s3cmd進(jìn)行驗證。

4.1 驗證環(huán)境

使用s3cmd驗證S3CTC準(zhǔn)確性的測試環(huán)境拓?fù)淙鐖D13所示。

圖13 s3cmd驗證S3CTC的驗證環(huán)境拓?fù)銯ig. 13 Environment topology of s3cmd to validate S3CTC

使用s3cmd驗證研發(fā)工具時，兩種方式的實例配置相同，具體如下：東京地區(qū)，實例數(shù)1臺，實例類型為t2.micro，操作系統(tǒng)為Ubuntu 14.04.2 LTS。

4.2 驗證方法

因為s3cmd在上傳下載文件時，以15 MB進(jìn)行分塊上傳或下載。而S3CTC調(diào)用S3 API，查看API實現(xiàn)源碼，以8 MB分塊進(jìn)行文件處理。因此，為了避免文件分塊時間的影響，使s3cmd可以準(zhǔn)確驗證研發(fā)工具準(zhǔn)確性，設(shè)置驗證測試的文件大小為1 MB、2 MB、4 MB、6 MB、8 MB。

具體驗證方法如下：首先，使用S3CTC測試1 MB、2 MB、4 MB、6 MB和8 MB文件的上傳和下載速率；其次，使用s3cmd測試1 MB、2 MB、4 MB、6 MB和8 MB文件的上傳和下載速率；最后，對比分析兩種工具測試結(jié)果。

4.3 驗證結(jié)果及分析

S3CTC和s3cmd上傳文件速率對比如圖14所示。

圖14 S3CTC和s3cmd上傳文件速率對比Fig. 14 Comparison of file upload rate of S3CTC and s3cmd

由圖14可得，S3CTC和s3cmd相對比，S3CTC測試的上傳文件速率較低，但是整體誤差不超過0.62 MB/s。

S3CTC和s3cmd下載文件速率對比如圖15所示。

由圖15可得，S3CTC和s3cmd相對比，除下載1 MB文件外，下載其他大小文件時，S3CTC測試的下載文件速率較低，但是整體誤差不超過0.32 MB/s。

綜上所述，上傳文件時，S3CTC和s3cmd相比，誤差不超過0.62 MB/s；下載文件時，S3CTC和s3cmd相比，誤差不超過0.32 MB/s。因此，通過驗證可得，S3CTC可以準(zhǔn)確測試Amazon S3公有云存儲系統(tǒng)性能。

圖15 S3CTC和s3cmd下載文件速率對比Fig. 15 Comparison of file download rate of S3CTC and s3cmd

5 結(jié)語

針對云存儲性能評測的難點問題，本文提出一種“云測試云”的公有云存儲系統(tǒng)性能評測方法，該方法通過在云計算平臺動態(tài)申請足夠數(shù)量的實例，對公有云存儲系統(tǒng)性能進(jìn)行評測。該方法創(chuàng)新在于：第一，構(gòu)建通用的性能評測框架，可動態(tài)伸縮申請實例，自動化部署評測工具及負(fù)載，控制并發(fā)訪問云存儲系統(tǒng)，自動釋放實例及收集并反饋評測結(jié)果；第二，提出多維度的性能評測指標(biāo)，涵蓋不同典型應(yīng)用，不同云存儲接口；第三，提出一種可擴(kuò)展通用的性能評測模型，該模型可以評測常見典型應(yīng)用的性能，分析云存儲性能影響因素，可適用于任何的公有云存儲平臺。為了驗證該方法的可行性、合理性、通用性和可擴(kuò)展性，本文利用提出的方法研發(fā)Amazon S3云存儲系統(tǒng)性能評測工具S3CTC,使用該工具對Amazon S3云存儲系統(tǒng)進(jìn)行性能評測，并使用s3cmd驗證S3CTC工具的準(zhǔn)確性。實驗結(jié)果表明本文方法具有很好的可行性和合理性，評測結(jié)果可以為企業(yè)開發(fā)者和個人用戶提供參考意見。

未來的研究工作將該方法擴(kuò)展到不同的云存儲接口，如阿里云的OSS(Open Storage Service)、Ceph等，以及擴(kuò)展不同的應(yīng)用，如用戶聊天記錄備份等。

References)

[1] 張龍立.云存儲技術(shù)探討[J].電信科學(xué),2010,26(8A):71-74. (ZHANG L L. Cloud storage technology study[J]. Telecommunications Science, 2010, 26(8A): 71-74.)

[2] HILL Z, LI J, MAO M, et al. Early observations on the performance of Windows Azure[J]. Scientific Programming, 2011, 19(2/3): 121-132.

[3] AGARWAL D, PRASAD S K. AzureBench: Benchmarking the storage services of the Azure cloud platform[C]// Proceedings of the 2012 IEEE 26th International Parallel and Distributed Processing Symposium Workshops & PhD Forum. Washington, DC: IEEE Computer Society, 2012: 1048-1057.

[4] PALANKAR M R, IAMNITCHI A, RIPEANU M, et al. Amazon S3 for science grids: a viable solution?[C]// Proceedings of the 2008 International Workshop on Data-aware Distributed Computing. New York: ACM, 2008: 55-64.

[5] GARFINKEL S L. An evaluation of Amazon’s grid computing services: EC2, S3 and SQS, TR-08-07[R]. Cambridge: Harvard University, School for Engineering and Applied Sciences, 2007.

[6] GARFINKEL S. Commodity grid computing with Amazon’s S3 and EC2[EB/OL].[2016-10-20].http://www.dtic.mil/dtic/tr/fulltext/u2/a486666.pdf.

[7] 周小鵬,張小芳,趙曉南. 云存儲性能評測研究[J]. 計算機(jī)科學(xué), 2014, 41(4): 190-194.(ZHOU X P, ZHANG X F, ZHAO X N. Cloud storage performance evaluation research[J]. Computer Science, 2014, 41(4): 190-194.)

[8] 何思敏,康慕寧,張曉,等. 云存儲性能評測技術(shù)與方法研究[J]. 計算機(jī)與現(xiàn)代化, 2011(12): 1-4. (HE S M, KANG M N, ZHANG X, et al. Cloud storage performance evaluation technology and method research[J].Computer and Modernization, 2011(12): 1-4.)

[9] 齊嬋穎, 李戰(zhàn)懷, 張曉, 等. 云存儲系統(tǒng)性能評測技術(shù)研究[J]. 計算機(jī)研究與發(fā)展, 2014, 51(S1): 223-228. (QI C Y, LI Z H, ZHANG X, et al. The research of cloud storage system performance evaluation[J]. Journal of Computer Research and Development, 2014, 51(S1): 223-228.)

[10] TUDORAN R, COSTAN A, ANTONIU G, et al. A performance evaluation of Azure and Nimbus clouds for scientific applications[C]// Proceedings of the 2nd International Workshop on Cloud Computing Platforms. New York: ACM, 2012: Article No. 4.

[11] COOPER B F, SILBERSTEINS A, TAM E, et al. Benchmarking cloud serving systems with YCSB[C]// Proceedings of the 1st ACM Symposium on Cloud Computing. New York: ACM, 2010: 143-154.

[12] SHIVAM P, MARUPADI V, CHASE J S, et al. Cutting corners: workbench automation for server benchmarking[C]// Proceedings of USENIX 2008 Annual Technical Conference. Berkeley, CA: USENIX Association, 2008: 241-254.

[13] 云存儲[EB/OL]. [2016-05-15]. http://www.hostucan.cn/cloud-storage.(Cloud storage [EB/OL]. [2016-05-15]. http://www.hostucan.cn/cloud-storage.)

This work is partially supported by the National High Technology Research and Development Program (863 Program) of China (2015AA015307), the National Natural Science Foundation of China General Program (61472323), the Fundamental Research Funds for the Central Universities (3102015JSJ0009), the National Natural Science Foundation for Distinguished Young Scholars of China (61502392).

LI Ani, born in 1992, M. S. candidate. Her research interests include cloud computing, cloud storage.

ZHANG Xiao, born in 1978, Ph. D., associate professor. His research interests include cloud computing, cloud storage, mass storage.

ZHANG Boyang, born in 1990, M. S. candidate. His research interests include cloud computing, cloud storage.

LIU Chunyi, born in 1993, M. S. candidate. His research interests include cloud computing, cloud storage.

ZHAO Xiaonan, born in 1979, Ph. D., lecturer. Her research interests include cloud computing, cloud storage, mass storage.

Research on performance evaluation method of public cloud storage system

LI Ani*, ZHANG Xiao, ZHANG Boyang, LIU Chunyi, ZHAO Xiaonan

(SchoolofComputerScience,NorthwesternPolytechnicalUniversity,Xi’anShaanxi710129,China)

With the rapid development and wide application of cloud storage system, many enterprise developers and individual users migrate their applications from traditional storage to public cloud storage system. Therefore, the performance of cloud storage system has become the focus of enterprise developers and individual users. The traditional test is difficult to simulate simultaneous access with enough users to the cloud storage system, complex to build and has a long test time with high cost. Besides, the evaluation results are unstable due to the network and other outside factors. In view of above critical problems, a kind of "cloud testing cloud" performance evaluation method was put forward for public cloud storage system. Public cloud storage system was evaluated by this method through applying a sufficient number of instances on the cloud computing platform. Firstly, a general performance evaluation framework was built with abilities such as dynamic instance application, automated deployment of assessment tools and load, controlling concurrent access to cloud storage system, automated instance release and evaluation results collection and feedback. Secondly, some multi-dimensional performance evaluation indicators were presented, covering different typical applications and different cloud storage interfaces. Finally, an extensible general performance evaluation model was put forward, which could evaluate the performance of typical applications, analyze the factors influencing cloud storage performance and be applied to any public cloud storage platform. In order to verify the feasibility, rationality, universality and expansibility of this method, these presented methods were applied to evaluate Amazon S3 cloud storage system, and then the accuracy of the evaluation results was verified by s3cmd. The results show that the evaluation output can provide reference comments for enterprise developers and individual users.

cloud testing cloud; public cloud storage system; performance evaluation; Amazon S3; automated evaluation tool

2016-07-15;

2016-11-16。 基金項目:國家863計劃項目(2015AA015307)；國家自然科學(xué)基金面上項目(61472323)；中央高?；究蒲袠I(yè)務(wù)費專項(3102015JSJ0009)；國家自然科學(xué)基金青年科學(xué)基金資助項目(61502392)。

李阿妮(1992—)，女，陜西咸陽人，碩士研究生，主要研究方向：云計算、云存儲； 張曉(1978—)，男，河南新鄉(xiāng)人，副教授，博士，CCF會員，主要研究方向：云計算、云存儲、海量存儲； 張伯陽(1990—)，男，陜西西安人，碩士研究生，主要研究方向：云計算、云存儲； 柳春懿(1993—)，男，安徽蚌埠人，碩士研究生，主要研究方向：云計算、云存儲； 趙曉南(1979—)，女，東北吉林人，講師，博士，CCF會員，主要研究方向：云計算、云存儲、海量存儲。

1001-9081(2017)05-1229-07

10.11772/j.issn.1001-9081.2017.05.1229

TP301

A