云計算平臺的自適應資源供給*

趙淦森 ，虞 海 ，季統凱 ，宋 泓

（1.華南師范大學 廣州 510631；2.中山大學 廣州 510275；3.廣東電子工業研究院 東莞 523000；4.中國電子科技集團公司 北京 100846）

1 引言

1.1 研究背景

云計算（cloud computing）是一種抽象、虛擬化、動態可擴展的，能將托管的計算能力、存儲能力、平臺及服務按需提供給外部客戶和應用的，以規模經濟驅動的大規模分布式計算模式[1]。

云計算平臺通常提供3個層次的服務，自高而低依次為：軟件即服務 （software as a service,SaaS）、平臺即服務（platform as a service,PaaS）、基礎設施即服務（infrastructure as a service,IaaS）[2,3]。其中，SaaS允許用戶訂閱軟件服務，并將部分或全部的數據及代碼保留在遠程的云中，如Google Docs；PaaS提供基礎應用支撐，允許開發者在已建立的統一的應用基礎設施上構建和部署服務，如Google App Engine；IaaS通過虛擬化等手段對基礎的物理資源進行服務化封裝，通過服務的形式為應用服務提供物理資源，包括計算、存儲、網絡資源等，如Amazon EC2[4,5]。本文主要關注IaaS云。

作為云計算的重要特性之一，較高的規模可擴展性要求云中應用所獲得資源的規模可以動態伸縮，以滿足應用規模增長或縮減的需要。現有的IaaS云允許用戶在需要更多資源時手動開啟多個虛擬機實例以提供更多的資源，或在資源需求下降時關閉部分乃至全部虛擬機實例以節約成本。在這些云中，用戶開啟虛擬機實例時僅需選擇所需資源的數量及所使用的虛擬機鏡像。通常，所需的資源是以虛擬機容器的形式提供給用戶，用戶選擇虛擬機容器及所用虛擬機鏡像后，系統將自動分配資源，開啟虛擬機，用戶無需關心資源是如何被調度或虛擬機究竟運行于哪臺物理機。當用戶關閉虛擬機實例時，僅需選擇要關閉的虛擬機實例，系統將自動完成虛擬機實例的關閉與資源的回收，無需用戶關心虛擬機實例究竟運行于哪臺物理機、所占資源如何釋放等。這種虛擬機實例開關的自動調度方法降低了用戶的使用門檻，方便了用戶，保證了云內部的安全與穩定性，使得用戶的注意力能夠完全集中在對資源的使用而非資源獲取上，提高了效率。但是，當前的IaaS云均不支持以上過程的自動化，即無論是開啟還是關閉虛擬機實例，均需用戶主動介入，系統不會進行任何自動操作或提示。

1.2 研究內容

本文研究IaaS云計算平臺的規模自適應性。云計算平臺的規模自適應性是指平臺具有即需伸縮的資源管理能力。所謂即需伸縮，是指云計算平臺在運行時能夠根據云中應用負載的變化，動態地擴張或縮減其規模[6]。

云計算的規模可擴展性作為吸引互聯網應用服務商和用戶的最重要因素之一，能夠使得互聯網應用服務商和用戶從中直接獲益，其可以分解為以下3大元素。

·向上擴展性：指云能夠提供足夠多的資源以適應計算資源需求的增長，通過大規模的資源來支撐大規模的計算。

·向下擴展性：指云能夠減少資源的供應，以適應計算資源需求的減少，節約成本。

·規模的自適應性：指平臺能夠按照用戶對計算資源需求的變化，及時地自動調整計算資源的供應，提供充足但不過量的計算資源。

1.3 研究現狀

[6]針對本文所研究的問題提出了通過使用與平臺及應用無關的profile描述云平臺上規模調整的專家知識，在運行時根據profile中包含的專家知識實施規模調整的思路，但并未能給出詳解的自適應算法及實現。同時，profile需由應用專家定制，通用性較差。

參考文獻[7,8]提出以應用的用戶數量為衡量標準，假定可以利用合適的數學模型通過用戶數量得出相應的資源需求量，從而實現規模適應性，但并未給出用戶數量與資源需求量間的詳細關系，亦未給出增加或減少資源供給的詳細方法。

參考文獻[9]提出了一種應激性的資源分配方法，在負載高峰時立即增加資源供給并自動將數據遷移和復制到新供給的資源上，以保證系統正常運行，但并未涉及負載低谷時的規模問題。

參考文獻[10]提出了一種在網絡計算中通過統計學方法保證服務質量的方法。該方法將每日分為24個時段，并以每日同一時段內的歷史負載數據作為統計預測的資料，研究了短期負載的預測問題。

2 系統假設與系統模型

2.1 系統假設

本文的研究是在基于資源池的IaaS云環境下進行的。所謂虛擬機資源池，是指將系統中所有的資源整合在一起，當應用需要資源時，系統從資源池中分配出相應數量的資源，以虛擬機實例的形式提供給應用使用；當應用釋放資源時，系統回收虛擬機實例，將所使用的資源放回資源池。基于此，本文進一步對所研究的問題給出以下假設：

（1）所有虛擬機調度指令能在足夠短的時間內完成，在確定調度策略時無需考慮實際調度指令的滯后時間；

（2）云中有且僅有一種已部署應用；

（3）上述應用支持自動負載平衡、自動節點發現及自動容錯。

在實際應用環境下，假設（1）可以通過實例緩存等技術達成；假設（2）是為簡化研究而設，實際應用中可為每個應用單獨應用本模型；假設（3）是為評估性能而設，支持自動負載平衡及自動節點發現的應用能更好地反映增加的虛擬機資源對應用性能的提升作用，并能在部分節點虛擬機實例被終止時保持正常運行。

2.2 系統模型

云計算平臺的規模自適應方法，用來保證云中應用的可用性，即在資源需求高峰時，避免過載，保證服務的正常可用；保證云中應用的高效性，即在資源需求低谷時，盡量減少資源占用，避免浪費。

如前文所述，本文所研究的問題是基于IaaS云，在此環境下，提出了一種云計算平臺的規模自適應性方法，系統模型如圖1所示。本方法分為3個算法：最大并發請求數預測、預測修正及虛擬機選擇。其中，最大并發請求數預測部分根據歷史的每時段最大并發請求數記錄，定期對下一時段內的最大并發請求數做出預測，并據此調用虛擬機選擇部分，以確保在資源需求高峰時服務的正常可用及在資源需求低谷時的節約性；預測修正部分實時監測云系統的并發請求情況，在任意時刻，一旦監測到系統中實際的并發請求數已超過預測，立即增加預測的最大并發請求數，以確保在訪問高峰時服務的正常可用；虛擬機選擇部分接收前兩部分給出的最大并發請求數，在保證資源供給的前提下，確定浪費最少的、適合的虛擬機種類及數量，并調用云系統API完成調度。

圖1 系統模型

3 模型算法

3.1 符號表

符號描述見表1。

表1 符號描述

3.2 最大并發請求數預測

所謂最大并發請求數預測，是指根據應用的歷史最大并發請求數記錄，對下一時段內的最大并發請求數做出預測，并根據此預測值調用虛擬機選擇部分，以確保在訪問高峰時應用的可用性及在訪問低谷時資源的節約性。典型情況下，每日不同時段的最大并發請求數具有一定的規律性，如每日早09:00上班后迅速上升，而后在某個較高位保持，至17:00下班后迅速下降，并在某個低位保持直至第二日上班。同時，中期而言，同一應用每日相同時段的訪問量具有一定的趨勢性，如企業由銷售淡季轉入旺季、新項目開始或結束等。綜上，本文采用一種分時段以日為最小單位的時間序列預測算法[10]作為最大并發請求數預測方法。

所謂分時段以日為最小單位的時間序列預測算法，是指將每日的24 h分為若干時段，在預測當日某一時段內的最大并發請求數時，僅考慮歷史數據中同時段的數據而不考慮其他時段的數據。例如，若當前時間為07:59，需要預測當日08:00～08:59這一時段的最大并發請求數，則預測時應忽略其他時段的最大并發請求數，僅將歷史記錄中每日08:00～08:59這一時段的最大并發請求數作為輸入傳遞給時間序列預測算法。由此可以看出，各時段之間的預測互不影響。就本文所研究的問題而言，使用時間序列預測算法的主要是目的是預測下階段的最大并發請求數，即算法需要面對的是一個短期的預測。而平臺的基礎設施性決定了其通常會連續運行較長時間，能提供大量的歷史數據，同時，也決定了算法應該能夠具有較大限度的通用性以應對不同類型的應用。最后，從中短期來看，最大并發請求數的變化往往有一定趨勢性。綜上，本文選用二次移動平均法作為預測下階段資源需求的時間序列預測算法。二次移動平均法如下[11]：

可以看出，算法使用了最近一個月（29日）的歷史數據，考慮到實際情況，以最近一個月的最大并發請求情況來預測當日當時段的最大并發請求數是合理而且可行的。由于算法是在同一時段內進行預測和產生結果，時段的起止時間不會影響算法本身的使用。為簡潔及實用起見，本算法在此取時段長度為1 h，起止時刻為每小時的第0分至第59分，即將每日劃分為24個時段：00:00～00:59、01:00～01:59、…、23:00～23:59。數據的記錄及分時段整理由云平臺接口完成，此處從略。算法在每個時段起始前的瞬間周期性地運行。

3.3 預測修正

本算法對不足的最大并發請求數預測做出修正。所謂的修正，是指一旦監測到實際的并發請求數達到預測算法的預測值時，立即增大原有預測值，以追加分配資源，保證應用的正常運行。其中，預測值的增大數由歷史平均的預測不足率確定。預測不足率是指預測算法的預測值或經本節預測修正算法修正后的預測值相比實際值的不足量與實際值之比。本部分將歷史數據平均的預測不足率作為增大修正預測值的系數，即增加的預測數為現有預測數與歷史數據平均的預測不足率之積。

預測修正部分保證了預測算法所得結果小于實際值情況下應用的正常運行，是對整個模型的一個有益補充。云平臺發現當前的并發請求數已超過預測值時，隨時調用本算法并負責提供及記錄歷史平均的預測資源不足率，此處從略。

3.4 虛擬機選擇

本算法將給定的預測或修正的最大并發請求數轉化為實際的虛擬機調度方案。定義應用的最大并發請求數req與所需資源rc間存在函數關系freq-rc，即：

由于函數關系freq-rc并不是本文的研究重點，故本文在此認為其為已知且由云系統提供。

根據式（3），可以通過freq-rc將給定的并發請求數轉化為資源需求，對此資源需求，云系統需適當調度虛擬機以適應。實際的虛擬機調度方案為以下兩種之一：開啟某類型的一臺虛擬機或關閉一臺正在運行的虛擬機，即需要在給定的資源需求大于已開啟虛擬機的總資源時，選擇開啟適當類型及數量的虛擬機以保證資源供給；或在相反的情況下，選擇關閉適當的虛擬機。

本文對這一問題采用聚類算法，以待分配資源（當預期資源需求大于已開啟虛擬機的總資源時為正，反之為負）與虛擬機之間的資源差加權向量模長為聚類距離。本文擴展了參考文獻[11,12]的向量模長，引入了不同維度的權值。定義向量=(v1,v2,…,vn)，相應維度的權值為（w1,w2,…,wn），則向量的加權長度為：

具體而言，本算法將最大并發請求數預測值及函數關系freq-rc作為輸入。算法先通過freq-rc計算出所需的資源量，然后計算出每類虛擬機所能提供的資源量與預測值所需資源量之差所構成向量（以資源價值WX為權值）的向量模長，通過不斷地尋找最小模長，從而確定當次所選的待開啟的虛擬機，直至所選的虛擬機已經能夠滿足預測值的資源需求。當預測值的資源需求被滿足后，再計算出每個虛擬機實例所能提供的資源量與預測資源需求量之差所構成向量（以資源價值WX為權值）的向量模長，在滿足資源需求的前提下，通過不斷地尋找最小長度的向量，從而確定當次所選的待關閉的虛擬機。得出所需的每類虛擬機的數量后，通過與已開啟的虛擬機進行比較，得出合理的虛擬機開啟/關閉方案，并進行虛擬機調度。其中，資源價值WX是由管理員給出的，用于平衡各資源間不同單位及價值的參數。例如，設定WCPU=1(/GHz),WMEM=1(/MB),WStore=0.5(/GB)，表示使用同相時長的1 GHz CPU時間與1 MB內存的成本相同，而使用同相時長的1 GB存儲空間的成本則僅有前二者的一半。此時，算法在計算虛擬機分配方案時，會傾向于在滿足需求的前提下，以稍大的存儲空間來換取較小的CPU時間及內存浪費。

4 仿真實驗

4.1 仿真方案

為仿真需要，本文實現了第3章所述的各個云系統API的代理，將仿真數據作為實際數據輸入，以考察算法。由于應用的最大并發請求數與所需資源間存在的函數關系freq-rc不是本文的研究重點，在此假定最大并發請求數與所需資源間存在線性關系。

4.2仿真數據

本文選取了廣州大學門戶網站2010年04月21日至2011年04月20日間每小時的最大每分鐘并發登錄量數據，共8 760項。每項數據由兩個域組成：時間及最大每分鐘并發登錄量。時間域記錄了數據的記錄時段，如2011-01-01 00，指數據的記錄時段為2011年01月01日00:00～00:59；最大每分鐘并發登錄量記錄了在此時段內最大的每分鐘并發登錄量。

本文選取了Amazon EC2的5種虛擬機實例[13]為仿真用虛擬機的資源值。設定仿真用最大并發請求數與所需資源間存在的線性關系freq-rc如下：

設定仿真用資源價值向量如下：

4.3 仿真結果

原數據共有365日，8 760項。本文所提出的最大并發請求數預測算法使用了最近一個月（29日）的歷史數據來預測下一時間段的資源需求，故算法只能用于數據時間段的第二個月起的需求預測，即本文共得出8 016項結果。

4.3.1 最大并發請求數預測仿真

在仿真中，本文共產生了8 016個預測結果，預測結果面積見圖2。由于數據較多，限于排版精度，僅顯示了前500個數據；由于數據波峰及波谷的數值差距較大，限于排版精度，在繪圖時使用了以2為基底的對數刻度。

從圖2中可以看出，預測值的大小及變化趨勢與實際值基本相符。對全部數據而言，預測值對實際值的平均誤差為+28.50%，平均每項誤差方差為0.042%。

4.3.2 預測修正仿真

最大并發請求數預測仿真共產生了8 016個預測結果，其中，有3 976項即49.60%預測值小于實際值，需要使用預測修正算法進行修正以滿足資源需求。預測修正算法的仿真結果見圖3。由于數據較多，限于排版精度，僅顯示了前500個數據，縱坐標軸為預測修正算法即時增加供給后對實際值的平均超量百分比，即預測值加預測修正算法的即需供給值超出實際值的百分比。

從圖3可以看出，預測修正算法即時增加供給后對實際值的平均超量百分比為14.01%，平均每項超量百分比方差為0.0017%。

4.3.3 虛擬機選擇算法仿真

最大并發請求數預測及預測修正仿真共產生了8 016個預測結果，依此對虛擬機選擇算法進行了仿真，仿真結果見圖4。由于數據較多，限于排版精度，僅顯示了前500個數據，縱坐標軸為虛擬機選擇算法浪費率，即經算法調度的所有虛擬機所提供的資源大于實際所需資源的部分與實際所需資源之比。

從圖4可以看出，虛擬機選擇算法平均浪費率為6.44%，平均每項浪費率的方差為0.00080%。

4.3.4 仿真結果分析

本章從3個方面描述了仿真結果，最大并發請求數預測算法產生的預測值對實際值的平均誤差為+28.50%，平均每項誤差方差為0.042%；預測修正算法即時增加供給后對實際值的平均超量百分比為14.01%，平均每項超量百分比方差為0.0017%；虛擬機選擇算法平均浪費率為6.44%，平均每項浪費率的方差為0.00080%；模型整體誤差為+55.94%，即有效資源利用率為64.13%。

圖2 資源仿真結果面積

圖3 預測修正超量折線

圖4 虛擬機選擇算法浪費率折線

總的來說，本文提出的這一模型的有效資源利用率為64.13%，遠高于當前絕大多數的數據中心服務器15%～20%的利用率，其使得具有自適應性云計算模型相較于傳統的數據中心，在硬件購置成本、能源消耗及中長期規劃設計上均能夠體現出一定的優勢。

5 結束語

本文在IaaS云環境下，通過探索合適的資源供應算法，建立了相應的自動資源管理模型，基本解決了云計算平臺的規模自適應性問題。自適應資源供給的實現使得云能夠根據運行時的狀態自動調整資源供應，從而保證了資源的供應規模能夠隨云服務運行時業務負載的變化而伸縮。

本文采用了二次平均時間序列預測算法來預測業務負載，特別適合于業務負載周期性變化規律較為明顯的環境。實驗數據表明，該算法較好地完成預期目的，具有一定的精確性及穩定性，能夠基本正確地反映資源需求的短期變化情況，但也造成了模型中大部分的誤差，且這一誤差被后續算法進行了放大，故仍有進一步改進的空間及必要。預測修正算法較好地解決了模型可能面臨的突然出現的快速增長的需求尖峰問題，對現有最大并發請求數預測算法不失為一種有益的補充，但沒有涉及預測值遠大于實際值的情況，為今后進一步研究的方向之一。虛擬機選擇算法以較好的代價及穩定性解決了給定資源需求下的虛擬機分配問題，利用加權的向量長度，給予了系統管理員合理的自主性。但這一算法目前沒有考慮將多個小虛擬機替換為一個大虛擬機的情況，今后可以進一步研究。

除第4章所討論的理論上影響算法效率的因素之外，一些實際因素亦會對算法的最終效率造成影響。例如，虛擬機調度指令顯然需要占用一定甚至較多的系統資源，且不同的調度指令所消耗的資源通常不同，從而使得虛擬機調度指令在整個算法的實際消耗中占據了較大且不易進行純理論分析的一部分；又例如，支持自動負載平衡、自動節點發現及自動容錯的動作時間及資源消耗，顯然是與應用相關的。限于各種條件，以上兩例及其他一些可能的影響實際算法效率的因素留待今后討論。整體而言，本文的工作能夠大幅提升資源利用率至64%，使得具有自適應性的云計算系統相較傳統的數據中心，在硬件購置成本、能源消耗、服務質量及中長期規劃設計上均能夠體現出一定的優勢。

參考文獻

1 Ian Foster,Yong Zhao,Ioan Raicu,et al.Cloud computing and grid computing 360-degree compared.Grid Computing Environments Workshop,2008

2 Carsten Binnig,Donald Kossmann,Tim Kraska,et al.How is the weather tomorrow?towards a benchmark for the cloud.Proceedings of the Second International Workshop on Testing Database Systems,ACM New York,NY,USA,2009

3 云端運算.維基百科,http://zh.wikipedia.org/w/index.php?title=%E9%9B%B2%E7%AB%AF%E9%81%8B%E7%AE%97&oldid=18129937,2011

4 Amazon Elastic Compute Cloud (Amazon EC2).http://aws.amazon.com/ec2/,2011

5 John Viega.Cloud computing and the common man.Computer,2009(42)

6 Jie Yang,Jie Qiu,Ying Li.A profile-based approach to just-intime scalability for cloud applications.Proceedings of IEEE InternationalConferenceonCloudComputing,Bangalore,India,2009

7 Gansen Zhao,Jiale Liu,Yong Tang,et al.Cloud computing:a statistics aspect of users.Proceedings of the First International Conference on Cloud Computing,Beijing,China,2009

8 Gansen Zhao,Chunming Rong,Jiale Liu,et al.Modeling user growth for cloud scalability and availability.Journal of Internet Technology,2010,11(3)

9 Gokul Soundararajan,Cristiana Amza.Reactive provisioning of backend databases in shared dynamic content server clusters.ACM Trans Auton,2006,1(2)

10 Jerry Roliaa,Xiaoyun Zhua,Martin Arlitta,et al,Statisical service assurances for applications in utility grid environments.Performance Evaluation,2004,11(58):319～339

11 二次移動平均法.http://course.cug.edu.cn/cugFirst/statistics/neirong/zhang194.htm,2011

12 矢量.http://zh.wikipedia.org/wiki/%E5%90%91%E9%87%8F,2011

13 Amazon EC2 Instance Types. http://aws.amazon.com/ec2/instance-types/,2011