DDBS:云數據中心基于數據依賴的虛擬機選擇策略

宋 娟,潘 歡

(寧夏大學 物理與電子電氣工程學院 寧夏沙漠信息智能感知重點實驗室,銀川 750021)

1 引 言

近年來大規模節能的云數據中心的構造與使用成了政府和各大IT企業越來越重視的問題[1-4].一個云數據中心(Data Center,DC)通常配置有大量的物理節點(Physical Hosts,PH),虛擬化是云數據中心中的關鍵技術,虛擬化技術允許虛擬機(Virtual Machines,VM)在云數據中心內的物理節點上動態遷移從而很好的降低云客戶端下載時間和節省能量消耗;每個虛擬機或許運行相同的應用或者是不同的應用,某兩個虛擬機在執行過程中之間或許需要進行通信,這樣的虛擬機之間存在數據依賴(Data Dependency).

數據依賴的判斷方法可以通過流經過虛擬機的數據的數量來確定,在物理節點工作的過程中,因為負載變化的原因,云服務提供商往往通過某種策略在物理節點之間對虛擬機進行選擇、放置、合并等操作,整個這個過程稱為虛擬機遷移.最常見的云平臺模擬器Cloudsim項目中提到虛擬機遷移過程分為虛擬機選擇(VM Selection)過程和虛擬機放置(VM Placement)過程[5].虛擬機選擇過程又分為物理主機狀態判斷(超負載狀態Over-utilized與低負載狀態Under-utilized)和虛擬機選擇.只要存在超負載或者低負載狀態的物理主機,其上運行的虛擬機將作為被選擇對象,最后放置到新的正常物理節點之上.

目前國內外有大量的算法與策略在研究這個過程,虛擬機遷移考慮的因素從硬件因素、網絡帶寬、網絡接口因素等多種.DDBS(data dependency based VM selection)是本文提出的考慮數據依賴的虛擬機選擇策略,即將物理主機上相互有數據通信的虛擬機不作為被選擇對象,遷移任務而不是遷移數據,節省網絡帶寬,降低能量消耗,提高云平臺的服務質量QoS.最后通過CloudSim模擬器的仿真實驗對基于數據依賴的虛擬機遷移策略進行了測試,實驗結果表明帶數據依賴的虛擬機選擇方法與Cloudsim中已有的虛擬機放置算法聯合起來,可以降低云數據中心的能量消耗,減少虛擬機遷移次數,減少SLA違規率,云數據中心的可用性比較好,對其他的企業構造綠色節能的云數據中心有很好的參考價值.

2 虛擬機選擇的相關工作

目前學術界為了節省云數據中心的能量消耗,構建綠色云計算環境,進行了大量的研究.第一種是運行冷凝系統保證物理服務器的空間不會過熱[6];第二種是通過虛擬機遷移策略和算法,即云服務提供商應用虛擬機遷移與合并策略到公有云、私有云、混合云之中.

第二種方法主要分為三大類,第一類是單純的虛擬機遷移策略,沒有利用相關智能算法進行優化,例如文獻[7，8]等;第二類是采用貪心算法、蛙跳算法、遺傳算法等來進行優化的虛擬機遷移策略,例如文獻[9-12].第三類是Anton Beloglazov博士等人為團隊開發的以Cloudsim模擬器平臺中的遷移策略為主線的虛擬機遷移策略的研究及其后續的相關研究[13-18].后續還有帶溫度感知的虛擬機遷移策略[19-21],第三類這些文獻中的內容大多都參考了Cloudsim項目的研究思路與測試條件.

第三類的研究例如文獻[16]提出了云數據中心考慮資源使用閾值邊界的虛擬機分配策略,測試結果表明,它比Cloudsim中已有的Median Absolute Deviation(MAD)策略,StaticThreshold(ST)策略,Local Regression(LR)策略,Local Regression Robust(LRR)策略,Inter Quartile Range(IQR)等性能都要優秀.文獻[17] 提出了云數據中心基于貪心算法的虛擬機遷移策略,利用CloudSim作為云數據中心仿真環境,測試結果表明:采用了貪心算法的遷移策略比CloudSim中已存在的虛擬機遷移策略性能要好.文獻[18]提出了云數據中心基于安全檢測的虛擬機遷移策略.以Cloudsim云計算模擬器中的虛擬機選擇及放置策略作為性能比較對象,結果表明帶安全檢測的虛擬機遷移策略只增加了云端的少量能量消耗,在一定程度上保證了云端的安全.文獻[19]提出了綠色云計算環境下的基于溫度感知的虛擬機遷移策略,它與Cloudsim中四類虛擬機選擇算法(Maximum Correlation(MC)、Minimum Utilization(MU)、Minimum Migration Time(MMT),和Random Selection(RS)進行比較,測試指標與Cloudsim的指標一致.

上述這些研究虛擬機在遷移時考慮的物理資源使用情況的維度由早期的單一CPU利用率與溫度發熱到現在的多個維度的指標,甚至后面還有硬件因素,網絡帶寬因素,網絡設備接口能量消耗等.但是它們并沒有考慮到虛擬機遷移的內部邏輯、數據依賴、軟件因素.本文的DDBS方法也屬于第三類Cloudsim項目的后續研究,由于虛擬機遷移過程非常復雜,本文暫時沒有考慮安全、容錯等因素[22];本文的算法與性能評價指標也參考Cloudsim項目的內容,除考慮節能目標外,還考慮了虛擬機的軟件因素.

最后還有一些相關文獻認為虛擬機選擇的含義是通過映射(Mapping)的方式把計算任務(Tasks)分配給虛擬機[23，24],即虛擬機映射;它們往往把虛擬機選擇過程與虛擬機映射(VM Mapping)再細分,當云客戶端一個新任務達到,它將被映射到一個虛擬機上;在這種的情況下,要么它映射到一個存在的虛擬機,要么系統再重新產生一個虛擬機;如果一個虛擬機空余的,它應該被注銷或者保存下來作為后續的重新再使用;接著才進入到本文所敘述的虛擬機選擇階段,虛擬機尺寸是這類算法的重要考慮因素.例如虛擬機映射算法關注在虛擬機最小代價計算方面,大部分文獻認為虛擬機代價與虛擬機使用時間成比例[25,26],還有研究認為該代價應該由消費的資源的使用情況或者是長期處于租賃狀態下的物理資源使用來計算.

已有的虛擬機映射算法認為虛擬機應該有固定的租賃報酬和固定的計算能力(capacity),盡管這樣在私有云中虛擬機的計算能力可以被反復選擇或者改變,而不是租賃報酬,而在后續的物理主機虛擬機放置上,真正的操作代價結合虛擬機計算能力一起必須是最小化的.

3 數據依賴的虛擬機遷移描述

3.1 遷移策略的工作背景

本文也把虛擬機的遷移過程分為物理主機負載檢測過程、虛擬機選擇過程與虛擬機放置過程,最終完成整個虛擬機遷移過程.虛擬機選擇的含義是通過判斷物理主機的運行狀態,然后從中選擇出合適的侯選遷移虛擬機.虛擬機放置的含義是把虛擬機選擇算法中選擇出來的虛擬機按照一定的規則均勻放置到云數據中心其他的最合適的物理節點.

從這個過程可以看出虛擬機選擇和虛擬機放置應該屬于兩個獨立的過程,這兩個過程都可以通過算法進行優化.前者主要通過虛擬機尺寸、軟件代價等來進行調整;后者屬于一類經典裝相問題,即把大量的虛擬機VM放置到大量的物理節點之中.常見的有首次適應算法First Fit、最好適應算法Best Fit、最壞適應算法Worst Fit等.在研究虛擬機選擇與虛擬機放置過程中,目前的文獻很少研究兩個之間的關系,事實上虛擬機選擇可以影響到虛擬機放置,至少在私有云中虛擬機選擇和虛擬機放置都可以由一個機構去控制;在公有云中我們也必須分析虛擬機選擇和虛擬機放置之間的依賴關系,然后通過調整任務的粒度和虛擬機的尺寸來改善虛擬機放置的性能.

第2節的相關工作提到的已有的虛擬機遷移策略往往都沒有考慮虛擬機任務之間的數據依賴問題,這樣都會對虛擬機的選擇算法產生影響,本文重點考慮虛擬機選擇算法的改進,虛擬機放置算法繼續使用Cloudsim中的方法.由于本文屬于Cloudsim項目的后續研究,所以我們先指出在CloudSim項目中已經有的虛擬機選擇算法包括下面幾種:

1)MaximumCorrelation(MC):最大關聯選擇方法,即選擇同一個物理主機上的,與CPU使用效率有最高關聯度的虛擬機作為對象;

2)MinimumMigrationTime(MMT): 最小遷移時間選擇方法,即遷移一個在最短時間內能夠完成的虛擬機作為選擇對象;

3)MinimumUtilization(MU):最小使用效率選擇辦法,即對一個具有最小使用效率的虛擬機進行遷移.

4)RandomSelection(RS):隨機選擇策略,即在物理主機上隨機選擇一個虛擬機進行遷移.

與CloudSim項目中不同的是,DDBS(Data Dependency Based Selection)虛擬機選擇考慮了虛擬機之間的數據依賴情況.

虛擬機遷移具體的過程是先主機檢測、然后選擇,最后放置.

CloudSim項目中,也提到幾種虛擬機放置算法:

1)LocalRegression(LR):局部歸約放置方法;

2)LocalRegressionRobust(LRR):魯棒局部歸約放置方法;

3)MedianAbsoluteDeviation(MAD):絕對中位差放置方法;

4)StaticThreshold(THR):靜態的資源使用效率閾值放置法;

5)InterQuartileRange(IQR): 四分位數區間放置方法.

3.2 工作機制

下面的四個提綱表示了本文的遷移策略的基本思路.

1)周期性的檢測云數據中心的物理主機的超負載或者低負載狀態(over-utilized or under-utilized);

2)判斷其是否進行虛擬機遷移操作;

3)基于數據依賴完成虛擬機的選擇;

4)侯選將要遷移的虛擬機進行虛擬機放置操作.

物理主機的超負載或者低負載可以通過觀察它的資源使用狀態來判斷,如果CPU的使用效率超過90%或者低于10%都可以認為是超負載或者低負載.在這個時候,該物理節點的這個虛擬機將被選擇出來,同時放置到另外一個物理節點之上.

DDBS基于數據依賴完成虛擬機的選擇如圖1所顯示.當一個物理主機處于超負載狀態,其上運行的虛擬機將進入虛擬機遷移操作.虛擬機被選擇時按照其數據依賴情況完成.數據依賴主要通過運行在虛擬機之上的任務之間的數據流來判斷.圖1中VM1,VM2,VM3三個虛擬機運行在同一個物理主機之上,既然VM1和VM2被發現是互相數據依賴關系,這一點可以通過圖1中的通信路徑判斷.那么DDBS將選擇VM3來作為侯選遷移對象.這樣決定的原因是VM3的遷移代價(cost)肯定小于VM1或者VM2.如果是其他的虛擬機遷移策略,也許會把VM1或者VM2作為侯選遷移對象,這樣遷移VM1與VM2之間的交互會有很大的通信開銷,包括網絡帶寬占用與數據移動等.本文的DDBS方法試圖避免這些消耗時間與能量的開銷.

圖1 基于數據依賴的虛擬機遷移策略Fig.1 Data dependency based VM migration

3.3 工作場景

無論物理主機處于超負載狀態over-utilized還是低負載狀態under-utilized,其上運行的虛擬機都要被選擇,然后放置新的合適物理節點.例如圖2中的場景下,物理主機1上有4個虛擬機,它由于超負載,所以要遷移一個虛擬機到物理主機2,遷移后這樣它們就是處于正常的工作狀態.

例如圖3中的場景下,物理主機1上有1個虛擬機,它由于低負載,所以要遷移一個虛擬機到物理主機2,這樣物理主機2仍然處理正常的工作狀態,物理主機1空閑,自動關閉電源,節省能量消耗.

圖2 超負載狀態(over-utilized)的虛擬機遷移Fig.2 VM Migration in over-utilized status

虛擬機遷移過程完成之后,云數據中心的SLA(Service Level Agreement)違規率、虛擬機遷移次數、總體能量消耗完成計算,這個計算可以是24小時或者48小時之內的統計.

圖3 低負載狀態(under-utilized)的虛擬機遷移Fig.3 VM Migration in under-utilized status

4 數據依賴的虛擬機選擇的實現

本文基于數據依賴的虛擬機遷移策略通過Cloudsim來創建.Cloudsim是一個開源的、可擴展的、靈活的、可編程的云計算模擬器,和其他的SimGrid,Gangsim等模擬器比較起來Cloudsim支持按照需求進行資源的配置,資源的管理,可以評測云數據中心中的能量消耗相關的算法,其他的模擬器往往不提供此功能.Cloudsim的支撐平臺是Java,所以采用Eclipse的編程環境很容易構造云模擬器.DDBS基于數據依賴的虛擬機選擇策略工作過程主要需要計算下面4個內容:

1)使用虛擬機內部的任務之間的數據依賴關系,計算遷移代價(Cost),完成虛擬機選擇DDBS.

虛擬機上的任務之間的數據依賴可以通過任務上的數據流來確定,基于任務之間的數據依賴,可以計算出遷移該虛擬機的代價(Cost),然后DDBS算法將選擇與其他虛擬機比較起來代價最小的虛擬機作為遷移對象.

2)云數據中心的能量消耗的計算.

研究表明云數據中心端的物理服務器的能量消耗值主要和其CPU在某一時刻的使用率密切相關,而且基本呈線性關系.因此在DDBS中物理服務器的能量消耗可以通過這些機器的CPU使用率來表示.見公式(1):

(1)

(2)

這里wi(tj)是服務器i在tj時刻的CPU使用率,S(wi(tj))是服務器i在tj時刻的能量消耗.

還有相關文獻表明,網絡裝置的能量消耗主要和網絡設備本身的消耗及其相關的配置消耗相關.本文這里可以把網絡裝置認定為物理服務器,所以物理服務器的能量消耗可以按照公式(3)來表示.

S(C)=G(C)+B*Y

(3)

這里S(C)表示網絡裝置的能量消耗,C是網絡裝置的配置參數,G(C)是網絡裝置的線路與接口的總體的能量消耗,B表示網絡接口的能量消耗,Y表示網絡接口的數目.

綜上所述,一個云數據中心的能量消耗可以定義為:

(4)

根據公式(2),可以得到:

(5)

這里N是物理服務器的數量.

3)SLA違規及ESV的計算.

SLA違規值表明在客戶有服務請求的時候,CPU并沒有分配資源的情況,因此,為了云客戶端增加QoS,我們的首要目標是減少SLA違規的值.

參考文獻[5]中的方法,采用了2個方法來評價SLA違規.

a)SLA violation Time per Active Host(SLATAH),單活動主機SLA違規時間;

b)Performance Degradation due to Migrations (PDM).虛擬機遷移后的性能降低情況;

所以最終SLA違規的具體值通過公式(6)來計算.

SLAV=SLATAH*PDM

(6)

SLATAH是活動主機的CPU具有100%的使用效率所占的比例.PDM是整個系統因為虛擬機遷移后的性能降低情況.

能量消耗和SLA違規率這兩個指標往往是互相沖突的,QoS主要通過SLA違規(SLAViolation)來體現.如果SLA違規比率過高,表明云數據中心提供服務出現異常,這樣企業將會失去商業利潤.如果使用過多的IT物理資源來保證QoS,這樣能量消耗就會增加,間接的提高了企業的成本,所以本文這里主要是保證能量消耗和QoS之間的平衡.參考了Cloudsim中的ESV(EnergyandSLAViolations)方法來評價整個云數據中心的性能,ESV的計算公式如下:

ESV=E*SLAV

(7)

E是云數據中心的整體能量消耗,SLAV是公式(6)中所表達的SLA違規情況.

4)云數據中心服務可用性的計算.

每經過一個時間間隔,我們必須對云服務的可用性進行計算,本文中每經過10微秒(MicroSeconds),設置為一個時間間隔.在這個時間間隔后,完成云數據中心服務可用性的計算與統計,服務可用性為分配資源與請求資源的比率.

(8)

5 仿真實驗與性能分析

5.1 仿真環境

仿真平臺為Cloudsim模擬器.設置了1000個物理節點和1000個虛擬機,這樣就可以保證云數據中心的基本負載與基本規模,運行時間為24小時.實驗中使用了兩種類型的物理服務器,HP ProLiant G4 和HP ProLiant G5.模擬器物理節點的配置與虛擬機的配置情況如表1和表2.表3顯示了CPU使用效率和能量消耗之間的關系.能量模型使用的是Cloudsim項目中使用的能量模型,物理服務器中CPU使用效率和能量消耗之間的關系是通過Cloudsim工具中的編碼來完成的.

表1 云數據中心中的物理節點配置
Table 1 Host configuration of cloud data centers

物理主機CPU核心數2物理主機MIPS2660物理主機內存8GB物理主機磁盤空間1TB模擬運行時間限制24 Hours

表2 虛擬機對資源的需求情況
Table 2 Resource requirements of virtual machines

虛擬機MIPS2500虛擬機核心數1虛擬機內存大小1GB網絡帶寬100Mbit/S虛擬機總體存儲空間2.5GB

表3 基于資源使用效率的物理服務器能量消耗模型
Table 3 Engery consumption model of physical
resource uitilizaion

CPU使用效率HP ProLiant G4(W)HP ProLiant G5(W)0% 86 93.7 10% 89.4 97 20% 92.6 101 30% 96 105 40% 99.5 110 50% 102 116 60% 106 121 70% 108 125 80% 112 129 90% 114 133 100% 117 135

采用基于數據依賴的虛擬機遷移策略完成虛擬機選擇算法DDBS,配合Cloudsim中的虛擬機放置算法(MAD,LRR,IRQ,LR)等,運行時間為24小時完成云數據中心能量消耗的計算、SLA違規率計算、云服務可用性的計算等.比較的對象Cloudsim中為無數據依賴的虛擬機選擇(RS,MMT,MC,MU)及虛擬機放置方法(MAD,LRR,IRQ,LR)的組合,把1000個虛擬機與1000個物理主機進行調整,分3種情況進行了統計:

1)虛擬機個數小于物理主機個數;

2)虛擬機個數等于物理主機個數;

3)虛擬機個數大于物理主機個數.

5.2 基本性能測試

圖4-圖7顯示了數據依賴的虛擬機選擇算法DDBS與(RS,MMT,MC)虛擬機選擇算法中的虛擬機遷移次數、能量消耗情況、整體SLA違規率及平均SLA違規率的比較結果.從圖4中可以看出,與其他虛擬機選擇方法比較起來,DDBS選擇方法在虛擬機遷移次數上明顯要少.因為遷移次數的減少,最終影響到云數據中心的SLA違規率;DDBS選擇方法也使得整個云數據中心的能量消耗減少.圖5中可以看出四種選擇方法的比較情況,DDBS選擇方法使云數據中心的能量消耗也最少.

圖4 虛擬機遷移次數性能比較Fig.4 Experimental results of VM migration numbers

圖5 云數據中心總體能量消耗性能比較Fig.5 Experimental results in energy consumption of data centers

從圖6和圖7的實驗結果可以看出,當云數據中心的虛擬機個數大于物理主機個數的時候,在SLA違規率及平均SLA違規率上DDBS選擇方法處于性能中等水平,虛擬機個數小于物理主機個數時,DDBS選擇方法的SLA違規率及平均SLA違規率最小.

圖6 整體SLA違規比率的性能比較Fig.6 Experimental results of SLA violation

從上面的結果可以得出結論,對比(RS,MMT,MC)等方法,DDBS算法的虛擬機遷移次數和總體能量消耗等指標上明顯減少,比較適合在物理主機個數很多的工作場景下,有一定的可擴展性及大規模性,但是從圖6和圖7看出DDBS的整體SLA違規率和平均SLA違規率與(RS,MMT,MC)比較起來不是最好的,但是在0.5%到2%范圍內還是可以接受的.

圖7 平均SLA違規比率的性能比較Fig.7 Experimental results of average SLA violation

5.3 可用性測試

為了完成可用性測試,我們每經過10微秒(Microseconds)完成在一個時間點上的請求資源與分配資源的比率的計算.將Cloudsim中的各類虛擬機選擇及虛擬機放置方法組合起來,與DDBS數據依賴的虛擬機選擇策略比較.圖8為實驗結果.

表4 DDBS的可用性的測試環境構造
Table 4 Testing environment construction of
availability for DDBS

虛擬機類型數 4物理服務器類型數2服務器上允許最大虛擬機數100虛擬機遷移的頻率300.0 seconds模擬運行時間限制24 Hours最大的物理主機個數限制1000可用性計算頻率10 microseconds

虛擬機選擇算法RS與虛擬機分配算法IQR組合的可用性如圖8RS-IQR,虛擬機選擇算法MC與虛擬機分配算法IQR組合的可用性如圖8MC-IQR,虛擬機選擇算法MMT與虛擬機分配算法IQR組合的可用性如圖8MMT-IQR,虛擬機選擇算法DDBS與虛擬機分配算法IQR組合的可用性如圖8DDBS-IQR,從圖8可以看出,DDBS-IQR組合的可用性明顯優于其他的RS-IQR,MC-IQR和MMT-IQR.

圖8 DDBS-IQR策略的可用性測試結果Fig.8 Experimental results of DDBS-IQR strategy

6 結 論

本文提出了一種云數據中心基于數據依賴的虛擬機遷移策略,該策略在虛擬機選擇過程中采用一種DDBS方法,遷移時主要考慮軟件因素與虛擬機之間的數據依賴關系.參考Cloudsim項目中的虛擬機遷移過程與虛擬機遷移性能指標完成了DDBS方法的仿真測試.仿真結果表明:DDBS方法組合Cloudsim中的其他虛擬機放置策略,在虛擬機遷移次數與能量消耗上有明顯的優勢,可以作為IT企業構造云數據中心的參考模型.