云數據中心基于溫度感知的虛擬機遷移模型

周 震 袁正道 李俊峰

1(洛陽師范學院信息技術學院 河南 洛陽 471934) 2(河南廣播電視大學信息工程學院 河南 鄭州 450001) 3(中電科信息產業有限公司 河南 鄭州 450001)

0 引 言

為了倡導綠色云計算環境，近年來大規模節能的云數據中心的構造與使用成了政府和各大IT企業越來越重視的問題[1-3]。虛擬化是云數據中心中最關鍵的技術,它在應用程序執行過程中，利用虛擬機遷移策略來提高云資源的利用效率，節省云服務提供商的能量消耗和成本[4]。

目前CloudSim項目在云數據中心的節能研究方面處于世界領先地位[5-8],而且有大量的關于CloudSim項目的后續研究工作，例如有基于閾值邊界[4]、安全檢測[9]、 遺傳算法[10]、貪心算法[11]、任務映射[12]、 數據依賴[13]、穩定匹配[14]、虛擬機關聯[15]等的虛擬機遷移策略。上述策略往往把虛擬機遷移過程劃分為物理主機狀態檢測、虛擬機選擇和虛擬機放置三個步驟。在三個步驟中都把遷移因素關注在物理主機的CPU使用效率、內存大小、空余磁盤空間、網絡帶寬等多個方面,考慮問題的維度從早期的處理器單一維度到現在的多維的復雜組合。盡管如此，如果從最簡單的物理層次來分析，物理主機的處理器溫度應該是影響云數據中心能量消耗的最直接因素。

為此本文提出了一種基于溫度感知的虛擬機遷移模型TA-VMM。TA-VMM在溫度感知的過程中采用一種物理主機處理器溫度閾值邊界遷移方法, 在物理主機負載均衡中考慮的是資源使用效率閾值邊界遷移方法。最后本文把TA-VMM虛擬機遷移模型和CloudSim中已有的模型及常見的其他模型進行仿真實驗與性能分析，實驗結果驗證了TA-VMM在各個性能指標上的優勢。

1 相關工作

目前學術界對虛擬機遷移進行了大量的研究。第一種是運行冷凝系統保證物理服務器的空間不會過熱[16]，它通過設計與布局物理服務器的空間放置方法來散熱與節能；第二種是通過虛擬機遷移策略和算法，即云服務提供商應用虛擬機遷移與合并策略到公有云、私有云、混合云之中。

后者利用虛擬機動態遷移的手段來節省云數據中心的能量消耗又可分為單純的虛擬機遷移策略[17]和采用智能算法等來進行優化的虛擬機分配與遷移策略[18]。另一類是以CloudSim模擬器為主線的虛擬機分配策略極其后續相關的研究[4-8]。由于本文的實驗環境、性能指標、虛擬機遷移過程都參考CloudSim項目,所以相關工作描述主要關注這些方面。

1.1 物理主機狀態檢測

把物理主機狀態檢測稱為物理資源閾值管理方法。CloudSim模擬器中已經有的常見的物理資源閾值管理方法包括下面五種,即根據物理資源利用效率的使用閾值情況來決定：(1) 局部歸約檢測方法(Local Regression,LR)；(2) 魯棒局部歸約檢測方法(Local Regression Robust,LRR)；(3) 絕對中位差檢測方法(Median Absolute Deviation,MAD)；(4) 靜態的資源使用效率閾值檢測法(Static Threshold,THR)；(5) 四分位數區間檢測方法(Inter Quartile Range,IQR)。

1.2 虛擬機選擇

在CloudSim模擬器中已經有的虛擬機選擇算法包括如下四種：

(1) 最大關聯選擇方法(Maximum Correlation,MC),即選擇同一個物理主機上的,與CPU使用效率有最高關聯度的虛擬機作為對象。

(2) 最小遷移時間選擇方法(Minimum Migration Time,MMT)，即將一個在最短時間內能夠完成遷移的虛擬機作為選擇對象。

(3) 最小資源使用效率選擇方法(Minimum Utilization,MU),即對一個具有最小處理器使用效率的虛擬機進行遷移。

(4) 隨機選擇策略(Random Selection,RS)。

在CloudSim項目中采用的是最小時間虛擬機選擇策略(MMT),即選擇一個在最短時間內能夠完成遷移的虛擬機作為候選遷移對象,本文的TA-VMM虛擬機遷移策略在這個階段提出了自己的溫度感知的虛擬機選擇方法。

1.3 虛擬機放置

虛擬機放置研究中一個最重要的因素是活動物理主機的數量，因為它可以最大限度地決定云數據中心能量消耗的大小[19]。

在虛擬機放置中，如果資源比較單一，只把目標放到物理主機的數量降低上，該類問題可以被劃歸為經典的裝箱問題。CloudSim項目中采用的是經典裝箱方法(Bin Packing Problem，BPP)和改進的經典裝箱方法(Best-Fit-Decreasing BPP，BFD)策略來完成虛擬機的重新放置[6]。

總體來講TA-VMM虛擬機遷移模型考慮的是物理硬件層次，而目前大部分虛擬機遷移模型采用智能算法來優化改善，雖然文獻[20-21]在資源分配時也考慮了物理資源的溫度因素，但是并沒有運用到云端的虛擬機選擇與放置之中。

2 TA-VMM模型相關概念描述

2.1 能量消耗模型

在TA-VMM中，物理主機處理器的溫度作為重要因素在虛擬機選擇和分配過程中予以考慮，其工作場景為一個有N個物理服務器節點的云數據中心，云平臺上運行著M個虛擬機。云客戶端向云數據中心申請資源的時候，存在著虛擬機遷移、虛擬機合并等事件,多個虛擬機也可以被分配到一個單獨的物理服務器節點。

在TA-VMM中，為了計算云端的能源消耗，本文假設服務器是空閑的，它的能源消耗的百分比是k,Pfull表示服務器在完全滿負載工作時的能源消耗(峰值能量消耗)，ui是當前的物理主機i的CPU使用效率,一個物理服務器的能量消耗計算見式(1),整個云服務器端的能源消耗計算見式(2)。

(1)

(2)

2.2 溫度模型

在溫度的數學模型中，TA-VMM主要參考了文獻[22]中的lumped RC物理服務器的溫度行為。即在時刻t，一個能量消耗為P的處理器的溫度可以描述為:

T(t)=P×Rh+Tamb-(P×Rth+Tamb-Tinit)×e-t/RthCth

(3)

式中：Rth和Cth分別表示了其等效的熱電阻和熱電容；Tamb表示了環境溫度；Tinit表示的是初始溫度。

2.3 SLA違規比率

采用了兩個因素來評價SLA違規比率(SLA violation)，違規率值SLAV可以計算如下:

SLAV=SLATAH×PDM

(4)

式中：SLATAH是活動主機的CPU具有100%的使用效率所占的時間比例；PDM是整個系統因為虛擬機遷移后的性能降低情況。

3 TA-VMM模型實現

3.1 工作機制

TA-VMM虛擬機遷移策略的工作機制包括如下三個步驟:(1) 判斷云數據中心的所有物理主機狀態,即哪個是超負載工作主機或者低負載的工作主機,形成候選遷移物理主機列表;(2) 從存在的所有虛擬機中選擇出候選遷移的虛擬機列表，該選擇過程都是在候選遷移物理主機列表上選擇;(3) 重新放置候選遷移虛擬機到那些正常狀態的物理主機之上。

TA-VMM模型在起初的時候通過調用第2節中提到的溫度模型和能量消耗模型來獲得云數據中心中的每個物理主機處理器的溫度參數和處理器的資源使用效率情況。總體來說，如果一個物理主機達到溫度的閾值邊界或者資源利用效率的閾值邊界,TA-VMM將尋找另外一個具有更好處理器溫度或者CPU利用效率的物理主機來容納新的虛擬機,這樣虛擬機就從源主機遷移到目的主機。因此可以看出TA-VMM遷移模型既考慮到了云數據中心的能量消耗情況，也考慮到了物理主機的負載均衡，最終間接地提高了物理資源的利用效率。

3.2 物理主機狀態檢測算法

為了驗證提出的溫度感知的虛擬機遷移模型，本文在Java環境下模擬了TA-VMM。原型系統的實現仍然基于CloudSim項目，它是一個Java環境下的一個模擬云數據中心的工具。在第一個物理主機狀態檢測算法步驟中，TA-VMM可以找到云數據中心的候選遷移物理主機(MigrationFromHosts)。該物理資源閾值管理算法如算法1所示,它區別于Cloudsim項目中已有的絕對中位差檢測等方法。

算法1物理資源閾值管理算法

輸入: HostList, VmList。

輸出: MigratingFromHosts。

1 For each host in hostList Do

2 If isHostOverThresholdTemperature (host) Then

3 overThresholdTempHosts ← add host

4 Else

5 If isHostOverThreshold_Utilization (host) Then

6 overUtilizedHosts ← add host

7 End if

8 End if

9 End for

10 MigratingFromHosts ← overThresholdTempHosts

11 + overUtilizedHosts

12 Return MigratingFromHosts

由算法1可見，TA-VMM模型首先遍歷了云數據中心的所有活動物理主機，同時發現那些溫度情況和處理器使用效率情況超過指定閾值的物理主機，該檢測過程步驟執行完成后，形成了候選遷移的物理主機列表MigratingFromHosts,該算法的輸出將作為第二步虛擬機選擇階段的輸入。

3.3 虛擬機選擇算法

由于已經形成了候選遷移的物理主機列表MigrationFromHosts,本文需要從其上尋找出候選遷移的虛擬機列表VMstoMigrateList。

這些候選遷移的虛擬機將按照其CPU的使用效率進行排序，那些具有比較小的CPU使用效率的虛擬機將具有更加高的遷移的優先級，其目的是為了給將來的目標物理主機減輕壓力，不會帶來過負載,同時可以避免更多的虛擬機遷移。

在這個過程中，TA-VMM還必須保證目標物理主機的處理器溫度不能超過閾值邊界。在這個虛擬機選擇算法的最后，TA-VMM形成了候選遷移的虛擬機列表VmstoMigrateList,該列表將作為第三步虛擬機放置階段的輸入。虛擬機選擇過程見算法2,它區別于CloudSim項目中的最小遷移時間選擇等算法。

算法2虛擬機選擇算法

輸入: MigratingFromHosts。

輸出: VMstoMigrateList。

1 For each host in MigratingFromHosts Do

2 While true Do

3 vm ← getVmtoMigrate (host)

4 If vm = Null Then

5 break

6 End if

7 VmstoMigrateList ← add vm

8 host ← deallocate vm

9 If !( isHostOverThresholdTemperature(host) &&

10 isHostOverThresholdUtilisation (host) ) Then

11 break

12 End if

13 End while

14 End for

15 Return VMstoMigrateList

3.4 虛擬機放置算法

最后一個步驟主要把候選虛擬機列表VMstoMigrateList中的虛擬機全部放置到新的正常狀態的目標物理主機之中,該過程還要考慮工作負載需求。TA-VMM首先觀察目標物理主機的溫度情況，如果物理主機的溫度情況低于溫度閾值邊界且物理主機的資源情況滿足虛擬機,那么該觀察到的物理主機可以作為目標放置主機。

如果發現了多個滿足條件的物理主機，那么具有最小能量消耗的物理主機將作為新的目標物理主機。TA-VMM中的虛擬機放置算法見算法3。

算法3虛擬機放置算法

輸入: MigratingFromHosts, vmstoMigrateList。

輸出: MigrationMap。

1 MigrationMap ← null

2 vms toMigrateList.SortDecreasingCPUUtilisation

3 For each vm in vmstoMigrateList Do

4 allocated Host ← null

5 minPower ← Max

6 For each host not in MigratingFromHost Do

7 If host has enough resources for vm Then

8 power ← estimatePower(host,vm)

9 End if

10 If host switchedOff &&

11 hostoverUtilizedAfterAlloc | |

12 overThresholdTemparureAfterAlloc(power)

13 Then continue

14 End if

15 If power

16 allocated Host ← host

17 minPower ← power

18 End if

19 If allocated Host !=Null Then

20 allocate vm to allocated Host

21 End if

22 End for

23 MigrationMap ← add (vm, allocated Host)

24 End for

25 Return migrationMap

為了進一步改善TA-VMM在能量消耗方面的性能，算法3將那些物理主機的CPU使用效率低于其閾值范圍的低負載的物理主機上虛擬機遷移到其他的物理主機上，同時進入睡眠模式，這樣就間接地節省了云數據中心的能量消耗。

4 TA-VMM仿真與性能分析

4.1 仿真環境與性能指標

TA-VMM的仿真環境采用CloudSim 3.0，前面已經提到CloudSim中已經有了許多物理資源閾值管理方法、虛擬機選擇策略、虛擬機放置策略,這些都是TA-VMM將要比較的對象。

在CloudSim模擬的云數據中心的物理主機和虛擬機的配置如表1和表2所示。溫度常量參考了lumped RC溫度模型中的具體值,如表3所示。這個溫度模型可以用來很好地模擬單核心的CPU,實驗中測試數據的最高溫度為353 K。

表1 云數據中心中的物理節點配置

表2 虛擬機類型配置

表3 溫度模型中常量的設置

TA-VMM參考CloudSim,把云數據中心的總體能量消耗、SLA違規比率、虛擬機遷移次數作為主要測試指標。模擬云客戶端的應用程序訪問，使用10 000個具有正確CPU與內存請求的任務數據，這樣就可以保證云數據中心的基本負載。本文統計一天24小時內云數據中心的各個指標數據，把虛擬機遷移的周期設置為5分鐘。

TA-VMM最后還需要設置2個閾值常量,分別是資源使用效率閾值常量和溫度閾值常量。根據CloudSim項目中提到的處理器的使用效率設置為90%條件下系統性能處理最優,所以在TA-VMM中的效率閾值常量設置為90%,這意味著超過了90%的CPU資源被占用后，其上運行的虛擬機將遷移到其他的物理主機之上。

溫度閾值常量Tthreshold(最優溫度)的設定可以參考芯片廠商的要求設置,文獻[23]提到了這一點。本文溫度閾值常量的設置為343 K,343 K這個溫度可以達到云數據中心的總體能量消耗和SLA違規之間的平衡。之所以這樣設置是因為當前的物理主機的處理器都比較先進,處理器都有自動測量芯片溫度的功能，如果芯片處于高溫的狀態，即表明它有高的能量消耗,芯片長期處于功耗大狀態將會出現硬件故障,所以在TA-VMM中期望遷移過來的虛擬機能夠使CPU處于低能量消耗狀態和低溫的狀態。

把當前環境溫度和初始溫度根據式(3)進行計算就得到處理器的當前溫度T(t)。把T(t)和Tthreshold比較，通過TA-VMM中的算法1-算法3來找到最合適的虛擬機或者最合適的物理主機，完成物理主機狀態檢測、虛擬機選擇和虛擬機分配。

4.2 溫度變化的測試

第一個實驗是分析TA-VMM模型中溫度閾值邊界對云數據中心的性能影響。圖1-圖3為實驗結果。圖1顯示了溫度閾值對總體能量消耗的影響，圖2顯示了溫度閾值對虛擬機遷移次數的影響，圖3顯示了溫度閾值對SLA違規率的影響。

圖1 TA-VMM的能量消耗隨溫度閾值的性能變化

圖2 TA-VMM的遷移次數隨溫度閾值的性能變化

圖3 TA-VMM的SLA違規率隨溫度閾值的性能變化

從圖1可以看出，溫度閾值從333 K到360 K,可以分為四個區間,在333 K到335 K之間時總體能量消耗每天保持在52 KWh。

TA-VMM只遷移那些源物理主機的處理器溫度達到了溫度閾值邊界以上的虛擬機。如果一個虛擬機需要遷移，那么它必須有一個溫度小于溫度閾值的物理主機。若出現云數據中心的所有物理主機的溫度都超過了溫度閾值,那么TA-VMM將找不到合適的物理主機去容納那些虛擬機,該情況下將不存在虛擬機遷移活動。比如圖1和圖3中溫度閾值小于333 K,這樣TA-VMM模型將不起作用，云數據中心的能量消耗也比較大，同時也沒有SLA違規率和虛擬機遷移。

第二個區間是335 K到340 K,在這個區間,TA-VMM將開始工作，算法1-算法3將起作用,開始完成物理主機狀態檢測、虛擬機選擇和虛擬機放置過程。隨著溫度閾值的提高，目標物理主機的個數也增加,這是因為有更多的物理主機的溫度會低于這個溫度閾值。在這個區間中，有大量的虛擬機完成遷移，同時也導致了CPU的使用效率下降,間接地導致了SLA違規率的增加。

第三個區間是340 K到353 K,TA-VMM對系統的能量消耗改變不大,因為在這個階段目的物理主機的溫度低于溫度閾值。所以虛擬機遷移個數也沒有什么變化，SLA違規率也沒有大的波動。

第四個區間是353 K以上,系統總體能量消耗有少量降低，原因是到了最高溫度353 K以后，TA-VMM將很多物理主機上的虛擬機都遷移走了，將其設置到了睡眠模式。但是在這個情況下SLA違規率又有少量的增加。

由圖1-圖3可以看出，虛擬機的遷移次數十分依賴于溫度閾值邊界的大小設置,當沒有虛擬機遷移的時候，系統總體能量消耗處理較高的水平。當到了最高溫度Tcase情況下,大部分物理主機將進入睡眠模式，這樣間接影響到了CPU的資源使用效率閾值常量那么虛擬機的遷移個數也將減少。

4.3 與其他遷移模型的比較

為了進一步驗證TA-VMM遷移模型的高效性，本節將TA-VMM與其他三個虛擬機遷移模型進行比較：(1) CloudSim中的LRR-MMT-BPP策略,之所以這樣書寫是因為Cloudsim中采用魯棒局部歸約檢測方法LRR完成物理主機狀態檢測，采用最小時間選擇MMT策略完成虛擬機選擇，采用經典裝箱方法BPP完成虛擬機放置。(2) 無溫度與負載均衡的虛擬機遷移策略,稱為No-TA-VMM。(3) DVFS(Dynamic voltage and frequency scaling)虛擬機遷移策略[24]。TA-VMM的資源使用效率閾值還是設置為90%,溫度閾值設置為343 K。

圖4顯示了TA-VMM模型與其他幾個模型比較的結果,主要統計的是24小時的總體能量消耗。可以看出TA-VMM模型使一個云數據中心具有最小的能量消耗25.64 kWh；在No-TA-VMM能量管理模型中，有150.68 kWh的能量消耗；DVFS模型有52.98 kWh的能量消耗；LRR-MMT-BPP虛擬機遷移策略只有28.9 kWh的能量消耗,性能與TA-VMM最接近。所以可得結論:(1) 云數據中心必須使用虛擬機遷移策略;(2) 虛擬機遷移必須充分考慮物理主機的溫度情況才可以更好地降低總體能量消耗；(3) TA-VMM性能優于常見的其他虛擬機遷移模型。

圖4 模型總體能量消耗性能比較

5 結 語

本文提出云數據中心基于溫度感知的虛擬機遷移策略TA-VMM,它對物理主機狀態檢測、虛擬機選擇、虛擬機放置的各個階段都進行了優化。仿真結果表明，溫度閾值的調整對云數據中心的性能具有很大的影響，與其他的虛擬機遷移策略比較起來，TA-VMM在總體能量消耗上具有優勢。TA-VMM模型給構造綠色云數據中心的企業提供了一個新的思路，溫度感知的虛擬機遷移策略在一定程度上可以更好地降低能量消耗。