云數據中心基于貪心算法的虛擬機遷移策略

劉開南

摘 要：為了節省云數據中心的能量消耗，提出了幾種基于貪心算法的虛擬機（VM）遷移策略。這些策略將虛擬機遷移過程劃分為物理主機狀態檢測、虛擬機選擇和虛擬機放置三個步驟，并分別在虛擬機選擇和虛擬機放置步驟中采用貪心算法予以優化。提出的三種遷移策略分別為：最小主機使用效率選擇且最大主機使用效率放置算法MinMax_Host_Utilization、最大主機能量使用選擇且最小主機能量使用放置算法MaxMin_Host_Power_Usage、最小主機計算能力選擇且最大主機計算能力放置算法MinMax_Host_MIPS。針對物理主機處理器使用效率、物理主機能量消耗、物理主機處理器計算能力等指標設置最高或者最低的閾值，參考貪心算法的原理，在指標上超過或者低于這些閾值范圍的虛擬機都將進行遷移。利用CloudSim作為云數據中心仿真環境的測試結果表明，基于貪心算法的遷移策略與CloudSim中已存在的靜態閾值遷移策略和絕對中位差遷移策略比較起來，總體能量消耗少15%，虛擬機遷移次數少60%，平均SLA違規率低5%。

關鍵詞：低能量消耗;服務等級協議違規;虛擬機遷移;云數據中心;貪心算法

中圖分類號：TP393.093

文獻標志碼：A

Greedy algorithmbased virtual machine migration strategies in cloud data center

LIU Kainan

School of Information and Intelligent Engineering， Sanya University， Sanya Hainan 572022， China

Abstract：

In order to save the energy consumption in cloud data center， some greedy algorithmsbased Virtual Machine （VM） migration strategies were proposed. In these strategies， the virtual migration process was divided into physical host status detection， virtual machine selection and virtual machine placement， and the greedy algorithm was adopted in the process of virtual selection and virtual placement respectively. The three proposed migration strategies were： Minimum Host Utilization selection， Maximum Host Utilization placement （MinMax_Host_Utilization）; Maximum Host Power Usage selection， Minimum Host Power Usage placement （MaxMin_Host_Power_Usage）; Minimum Host MIPS selection， Maximum Host MIPS placement （MinMax_Host_MIPS）. The maximum or minimum thresholds were set for the processor utilization efficency， the energy consumption and the processor computing power of physical host. According to the principle of greedy algorithm， the virtual machines with indicators higher or lower than the thresholds should be migrated. With CloudSim as the simulated cloud data center， the test results show that compared with the static threshold and median absolute deviation migration strategies existing in CloudSim， the proposed strategies have the total energy consumption reduced by 15%， the virtual machine migration number decreased by 60%， and the average SLA violation rate lowered about 5%.

Key words：

low energy consumption; Service Level Agreement （SLA） violation; virtual machine migration; cloud data center; greedy algorithm

0?引言

近年來隨著網絡帶寬的提高與通信流量成本的降低，各類云服務提供商都已經逐步建立了自己的基于云的大數據中心，其能源消耗也日益增大，所以研究節能與環保的云數據中心已經成了政府與IT企業的迫切任務[1-4]。

虛擬化是云數據中心的關鍵技術，它通過虛擬機（Virtual Machine， VM）的形式將應用程序的任務與數據封裝起來，通過虛擬機調度策略將虛擬機分派到具體的物理節點之上執行。為了提高物理資源使用效率，它們還采用虛擬機遷移（VM Migration） 策略來使虛擬機在各個物理服務器上選擇與放置，最終目標是節省云數據中心能量消耗、提高服務質量（Quality of Service，QoS）、節省物理空間和高可靠性等。

目前以Beloglazov等為團隊開發的Cloudsim項目在云數據中心的節能研究方面處于世界領先地位[5-8]，Cloudsim項目[5]中把虛擬機遷移過程劃分為物理主機狀態檢測、虛擬機選擇和虛擬機放置三個步驟， 最終完成整個虛擬機遷移。

物理主機狀態檢測可以通過觀察它的資源使用狀態來判斷，如果CPU的使用效率超過90%或者低于10%都可以認為是超負載或者低負載（overutilized 或 underutilized）;這時該物理節點的這個虛擬機將被選擇出來，同時放置到另外一個物理節點之上。虛擬機選擇的含義是通過判斷物理主機的運行狀態， 然后從中選擇出合適的候選遷移虛擬機集合，形成列表VmsToMigrationList。虛擬機放置的含義是將虛擬機選擇算法中選擇出來的候選虛擬機按照一定的算法重新放置到云數據中心其他的最合適的物理節點。

Cloudsim項目[8]還提出了一個基本框架來模擬和評測Cloudsim模擬器中的各種能量相關的算法，例如絕對中位差檢測方法（Median Absolute Deviation， MAD）、靜態的資源使用效率閾值檢測法（Static Threshold， THR）等[9]，但是這些算法只是單純的物理主機資源閾值管理策略，沒有采用智能算法進行優化。

貪心算法（Greedy Algorithm）是在軟件方面很有效的一種方法，本文將CloudSim中物理主機資源閾值管理策略的算法和貪心算法相結合起來，提出了三類貪心算法， 分別對云數據中心的虛擬機選擇算法和虛擬機放置算法予以優化，目的是為了減少虛擬機的遷移次數，降低云數據中心的能源消耗，減小服務等級協議（Service Level Agreement， SLA）違規比率，改善云端的服務質量。

1?相關工作

目前學術界利用虛擬機動態遷移的手段來節省云數據中心的能量消耗，構建綠色云計算環境，進行了大量的研究[10-12]。主要分為三大類：第一類是單純的虛擬機遷移策略，沒有利用相關智能算法進行優化;第二類是采用貪心算法、遺傳算法、蛙跳算法等來進行優化的虛擬機分配與遷移策略;第三類是Anton Beloglazov等為團隊開發的以Cloudsim模擬器平臺中的遷移策略為主線的虛擬機分配策略的研究。

第一類相關研究屬于早期的研究，文獻[13]提出了云數據中心的綠色計算的思路和減少碳泄露的方法，該方法支持低能量消耗和減少碳泄露，實驗結果顯示它可以減少23%的能量消耗和25%的碳泄露。文獻[14]提出了虛擬機遷移中一個自適應的低能量消耗方法，實驗結果顯示針對普通的能量管理算法，它可以減少18%的能量消耗。

對于第二類研究， 例如文獻[15-16]提出了云計算中的基于貪心算法的任務調度及改進，實驗結果表明貪心算法在串行調度算法的基礎上可以改進任務調度的性能，但是它們并沒有將貪心算法使用到物理資源使用和低能量消耗相關的算法之中。文獻[17]提出了貪心算法優化云數據中心的虛擬機遷移策略，遷移時考慮的約束條件包括硬件因素、軟件因素、網絡帶寬因素，是一種比較先進的遷移方法，但是其主要在多個云數據中心中遷移，本文主要研究的是虛擬機在一個云數據中心的物理節點之間的遷移。文獻[18]提出了遺傳算法優化的云數據中心虛擬機遷移策略，該文中作者直接指出相關實驗數據表明遺傳算法其性能要優于無智能優化算法等。

對于第三類研究，都以Cloudisim項目為研究背景，如基于溫度感知[19]、安全檢測[20]、遺傳算法[21]、貪心算法[22-23]、任務映射[24]、數據依賴[25]、穩定匹配[26]等的虛擬機遷移策略。這些文獻往往把虛擬機遷移過程劃分為物理主機狀態檢測（超負載overutilized 或 低負載underutilized）、虛擬機選擇（VM Selection）和虛擬機放置（VM Placement）三個步驟， 分別在虛擬機選擇和放置階段進行優化，取得了很好的效果。

本文提出的基于貪心算法的虛擬機遷移策略也是針對上述問題的改進，可以認為它是第三類針對Cloudsim云計算模擬器進行后續研究的虛擬機遷移策略。將CloudSim中虛擬機選擇和虛擬機放置相關策略和貪心算法相結合起來，包括最小主機使用效率選擇且最大主機使用效率放置算法（Minimum Host Utilization selection， Maximum Host Utilization placement， MinMax_Host_Utilization）、最大主機能量使用選擇且最小主機能量使用放置算法（Maximum Host Power Usage selection， Minimum Host Power Usage placement， MaxMin_Host_Power_Usage）、最小主機計算能力選擇且最大主機計算能力放置算法（Minimum Host MIPS selection， Maximum Host MIPS placement， MinMax_Host_MIPS）三種貪心算法，最后通過與CloudSim中已有的物理主機資源閾值管理策略進行比較，實驗結果驗證了貪心算法在一定程度上可以減少虛擬機遷移次數，降低云數據中心的能量消耗，降低SLA違規比率。

2?基于貪心算法的虛擬機遷移策略

2.1?虛擬機遷移的工作機制

本文也把虛擬機的遷移過程分為物理主機狀態檢測過程、虛擬機選擇過程與虛擬機放置過程，最終完成整個虛擬機遷移過程，具體包括下面3個步驟：

步驟1?周期性地檢測云數據中心的物理主機的超負載或者低負載狀態（overutilized or underutilized）;

步驟2?基于貪心算法完成虛擬機的選擇;

步驟3?基于貪心算法進行虛擬機放置操作。

由于本文屬于Cloudsim項目的后續研究，所以先指出在Cloudsim項目中已經有的物理主機狀態檢測方法（也可以稱為物理主機閾值管理辦法）， 常見的包括下面5種，即根據物理資源使用效率的使用閾值情況來決定：

1）局部歸約檢測方法（Local Regression， LR）;

2）魯棒局部歸約檢測方法（Local Robust Regression， LRR）;

3）絕對中位差檢測方法（Median Absolute Deviation， MAD）;

4）靜態的資源使用效率閾值檢測法（Static Threshold， THR）;

5）四分位數區間檢測方法（Inter Quartile Range， IQR）。

在步驟2中指出在CloudSim項目中已經有的虛擬機選擇算法包括下面幾種：

1）最大關聯選擇方法（Maximum Correlation， MC）：即選擇同一個物理主機上的，與CPU使用效率有最高關聯度的虛擬機作為對象;

2）最小遷移時間選擇方法（Minimum Migration Time， MMT）：即遷移一個在最短時間內能夠完成的虛擬機作為選擇對象;

3）最小資源使用效率選擇辦法（Minimum Utilization， MU）：即對一個具有最小使用效率的虛擬機進行遷移。

4）隨機選擇策略（Random Selection， RS）：即在物理主機上隨機選擇一個虛擬機進行遷移。

虛擬機放置研究中一個最重要的因素是活動物理主機的數量（Number of Turnon PMs），因為它可以最大限度地決定能量消耗的大小;還有一個重要因素是物理主機的動態能量消耗的負載相關性和最小化超負載物理主機的數量。

在虛擬機放置中，如果資源比較單一，只把目標放到物理主機的數量降低上，該類問題可以劃歸為經典的裝箱問題，該類屬于NP難度問題。Cloudsim項目在最后的虛擬機放置階段，以降低活動物理主機的個數為最重要目標，采用的是經典裝箱方法（Bin Packing Problem， BPP）和改進的遞減經典裝箱方法（BestFitDecreasing， BFD）[8]。

本文的貪心算法策略與Cloudsim項目中不同的是，在虛擬機選擇和虛擬機放置過程中，不是Cloudsim項目中的普通方法，而是參考對這些方法結合貪心算法進行了改進與優化。

2.2?虛擬機遷移的相關術語

1）物理主機使用效率（host utilization）。

物理主機的使用效率體現了云數據中心資源使用狀態，公式中ui是當前的物理主機i的CPU使用效率，m是物理主機的數目，在該情況下，所有的物理主機的平均使用效率可以用式（1）來計算：

=∑mi=1ui/m（1）

2）能源消耗模型（Energy Consumption）。

為了計算云數據中心的能源消耗，假設服務器是空閑的，它的能源消耗的百分比是k，Pfull表示服務器在完全滿負載工作時的能源消耗，ui是當前的物理主機i的CPU使用效率， 這樣整個云服務器端的能源消耗公式為：

E=∫t（k*Pfull+（1-k）*Pfull）（2）

3）主機計算能力（Host_MIPS）。

物理主機的分配可以通過處理能力，即MIPS（Million Instructions Per Second）來分配虛擬機，在虛擬機級別的分配往往通過一個單獨的任務單元（worker unit）的處理能力的總數來確定，這些單獨的任務單元往往都保存在等待隊列中。

虛擬機的資源使用效率如下：

Uvm=所有請求的MIPS某個虛擬機上請求的MIPS（3）

2.3?最小主機使用效率遷移策略

本節描述第一種基于貪心算法的虛擬機遷移策略，即MinMax_Host_Utilization。

前面提到，虛擬機遷移具體的過程是先物理主機狀態檢測，然后選擇，最后放置。

如果主機的CPU的使用效率越高，在某種程度上意味著主機的能量消耗越大，有研究表明當CPU處于空閑模式時，與其具有100%的使用效率時，其能量消耗占70%的比例。因此如果把空閑的主機轉入睡眠模式，能量消耗的還是有很大的降低空間。

在MinMax_Host_Utilization 算法中，所有的主機都在一定的周期范圍內按照它們的使用效率進行排序，具有比較低的使用效率的主機上的虛擬機將被遷移到那些具有高使用效率的主機之上，同時將那些低使用效率的主機進入屏保模式。同時這個高使用效率不能超過一個特定的閾值（utilThreshold）。該算法屬于一類單一閾值貪心算法，其偽代碼如下所示：

程序前

1）

input： hostList， utilThreshold

2）

hostList.sortDecreasingUtilization（）

3）

lastIndex=hostList.indexOfLastNonZeroHostUtilization（）

4）

fori：= lastIndex downto 1

5）

forj：= 1 toi-1

6）

if hostList[j].currentUtil（） + hostList[i].currentUtil（） <= utilThreshold

7）

vmList=hostList[i].getAllVms（）

8）

host[i].deleteAllVms（）

9）

host[j].addVms（vmList）

10）

break

程序后

2.4?最大主機能量使用遷移策略

第二種基于貪心算法的虛擬機遷移策略，即MaxMin_Host_Power_Usage。

在一個異構主機組成的云數據中心中，各類物理服務器可能在任意的時間范圍內加入到數據中心來，每個物理主機都有其自身的能量消耗。改善整個云數據中心能量消耗的一個最直接的方法就是把虛擬機從高能量消耗的主機遷移到低能量消耗的主機之上，這也是貪心算法的思路，在這種情況下，具有低能量消耗的物理主機的能量消耗也應該設置一個最小閾值（utilThreshold），其偽代碼如下所示：

程序前

1）

input： hostList， utilThreshold

2）

hostList.sortIncreasingPowerUsage（）

3）

fori：= hostList.size（） downto 1

4）

if host[i]is off break

5）

forj：= 1 toi-1

6）

if hostList[j].currentUtil（） + hostList[i].currentUtil（）<=utilThreshold

7）

vmList=hostList[i].getAllVms（）

8）

host[i].deleteAllVms（）

9）

host[j].addVms（vmList）

10）

break

程序后

2.5?最小主機計算能力遷移策略

第三種基于貪心算法的虛擬機遷移策略，即MinMax_Host_MIPS。

在CloudSim云計算中，計算能力往往通過MIPS來表達，該貪心算法就以MIPS計算能力作為主要指標來進行虛擬機的選擇和虛擬機分配。物理服務器也是按照計算能力進行降序排列，然后虛擬機從那些低MIPS的物理服務器遷移到高MIPS的物理服務器。這里值得注意的是高MIPS的物理服務器也有一個閾值（utilThreshold）。其偽代碼如下所示：

程序前

1）

input： hostList， utilThreshold

2）

hostList.sortDecreasingTotalMips（）

3）

fori：= hostList.size（） downto 1

4）

forj：=1 toi-1

5）

if hostList[j].currentUtil（） + hostList[i].currentUtil（）<=utilThreshold

6）

vmList=hostList[i].getAllVms（）

7）

host[i].deleteAllVms（）

8）

host[j].addVms（vmList）

9）

break

程序后

3?貪心算法的虛擬機遷移策略實現

3.1?虛擬機選擇過程的實現

根據CloudSim項目的思路，在CloudSim模擬器中把能量相關的虛擬機遷移策略的實現劃分為兩個部分：虛擬機選擇算法和虛擬機放置算法。文獻[8]并沒有在這兩個部分中加入貪心算法，本文也是參考文獻[8]的思路來實現基于貪心算法的虛擬機遷移策略。圖1顯示了貪心算法虛擬機選擇算法在CloudSim中的實現過程，它被描述成通用類圖，在該圖中，每個虛擬機算法算法都按照一個類來實現。中間的4個類是代表CloudSim中已經有的類，最底層的3個類表示貪心算法中新增加的類。

該虛擬機遷移策略中新增加的最底層的4個類解釋如下：

PowerVmSelectionPolicyGreedyAbstract?該類包括所有貪心算法中的通用方法。

PowerVmSelectionPolicyMinHostUtilization?這個類用來從低使用效率的主機中選擇虛擬機并將其遷移到高使用效率的主機之中。

PowerVmSelectionPolicyMaxHostPowerUsage?這個類將虛擬機從高能量消耗的主機遷移到低能量消耗的主機之中。

PowerSelectionPolicyMinHostMips?該類將虛擬機從低計算能力MIPS的物理服務器遷移到高計算能力MIPS的物理服務器。

3.2?虛擬機放置過程的實現

虛擬機放置過程的主要任務是發現最適合的物理主機，并將其放置在上面。圖2顯示了虛擬機放置的主要通用類圖，中間的4個分別表示了CloudSim中已經實現的四分位數區間檢測方法（Inter Quartile Range， IQR），絕對中位差檢測方法（Median Absolute Deviation， MAD）， 局部歸約檢測方法（Local Regression， LR）和靜態的資源使用效率閾值檢測法（Static Threshold， THR）等虛擬機遷移策略，它代表了CloudSim中已經預存在的類，最下面的三個類是表示本文的貪心算法中新增加的類。

對下面的4個的類解釋如下：

PowerVmAllocationGreedyAbstract?這個類包括基于貪心算法的所有虛擬機放置的方法。

PowerVmAllocationMaxHostUtilization?這個類為那些從低使用效率到高使用效率的選擇好的物理服務器放置虛擬機。

PowerVmAllocationMinHostPowerUsage?這個類為那些從高能量消耗到低能量消耗的選擇好的物理服務器放置虛擬機。

PowerVmAllocationMaxHostMips?這個類為那些從低計算能力到高計算能力的選擇好的物理服務器放置虛擬機。

4?貪心算法虛擬機遷移的測試

4.1?仿真環境與性能評價標準

為了對本文提出的基于貪心算法的虛擬機遷移模型進行實驗分析，采用了CloudSim模擬器。CloudSim的最新版本中還提供了很多已經有的虛擬機遷移策略的能量消耗模型的實驗數據，它方便科研工作者對云數據中心的能量相關的虛擬機遷移算法的比較與研究。本文主要與絕對中位差檢測方法和靜態的資源使用效率閾值檢測法進行比較。被模擬的云數據中心主要由三類物理服務器組成，物理服務器總數為50個，物理服務器配置如表1所顯示。

這50個物理服務器被設置為運行100個虛擬機，根據亞馬遜Amazon EC22云服務主機的建議，虛擬機具有四種不同類型的需求，表2顯示了這些虛擬機的具體情況。測試過程中假設每個虛擬機運行的是一個Web應用程序或者其他一個具有不同類型工作負載的應用程序。

按照CloudSim項目研究內容，虛擬機遷移策略評價的主要指標有三個：云數據中心的總體能量消耗、虛擬機遷移次數和平均的SLA違規分析。它們可以體現物理主機資源閾值管理策略的虛擬機遷移的性能好壞。

4.2?總能量消耗性能分析

由于本文貪心算法中是一種單一閾值算法，所以實驗結果和靜態閾值算法（Static Threshold， ST）進行了比較。另外，本文還與CloudSim中已有的絕對中位差檢測方法（Median Absolute Deviation， MAD）策略進行了比較。把三種貪心算法中的使用效率閾值分配參數從20%～100%進行調整，從表3的實驗結果顯示，隨著的使用效率閾值增加，云數據中心的能量消耗越來越小，MinMax_Host_MIPS貪心算法的能量消耗最小。特別在使用效率閾值20%時，ST靜態閾值算法和MAD策略消耗了45.2KWh的電量，MinMax_Host_MIPS只消耗了14.9KWh的電量。在使用效率閾值相同的情況下MinMax_Host_MIPS算法的能量消耗都小于MaxMin_Host_Power_Usage算法和MinMax_Host_Utilization算法，分析原因是本文的貪心算法在虛擬機選擇和虛擬機放置階段都進行了資源使用閾值邊界的優化，充分提高了活動物理主機的資源使用效率，最終間接地降低了云數據中心的能量消耗。

4.3?虛擬機遷移次數分析

表4顯示了隨著資源使用效率閾值從20%～100%的變化，幾種物理主機資源閾值管理策略在虛擬機遷移后的遷移個數比較情況。

表4結果顯示ST算法遷移次數最多，MaxMin_Host_Power_Usage和MinMax_Host_Utilization遷移次數最小，所以采用了貪心算法策略比CloudSim中已有的物理主機資源閾值管理策略要好。只要減少動態虛擬機的遷移個數，就間接減少了云數據中心的能源消耗。

4.4?平均SLA違規率分析

云數據中心中，服務質量（QoS）必須保證，QoS的衡量標準主要通過SLA違規來體現。SLA違規可以通過最小的吞吐量或者最大響應時間來表示。但是在云計算中針對不同的應用，表示方法也不完全一致，在本文中通過式（1）來表示SLA違規。

SLAviolation=

所有請求的MIPS-所有已經分配的MIPS所有請求的MIPS×100%（1）

SLA違規值的百分比將表明在客戶有服務請求時，CPU并沒有分配資源的比例，因此，為了云客戶端增加QoS，本文的首要目標是減少SLA違規的值。一般來說，貪心算法性能應該優于CloudSim中提到的方法，但是值得注意的是，從表5可以看出來，本文的貪心算法在SLA違規指標上起初還比較低， 但是后來整體上差于MAD策略和ST策略，這個是因為貪心算法過于追求最優的目標而降低了服務質量（QoS），MinMax_Host_MIPS算法的總體能量消耗最小，這個是以SLA違規率比較高為代價的。其他的2個MaxMin_Host_Power_Usage貪心算法和MinMax_Host_Utilization貪心算法比MAD策略和ST策略的平均SLA違規比率在某些條件下還是要低，保證了云服務器的QoS。

5?結語

本文針對云數據中心的總體低能量消耗和高服務質量需求，在CloudSim物理主機資源閾值管理策略中增加了貪心算法，進一步降低服務器的能量消耗。仿真結果表明，與CloudSim中已有的虛擬機遷移策略比較起來，采用了最小主機計算能力選擇且最大主機計算能力分配的MinMax_Host_MIPS算法在一定程度上可以很好地降低能量消耗，可以為企業構造云數據中心提供參考。在后續過程中將針對提出的貪心虛擬機遷移算法考慮更加多的硬件資源因素（網絡帶寬、內存大小、空余磁盤空間等），設計新的虛擬機動態遷移策略。

參考文獻 （References）

[1]ARIANYAN E，TAHERI H，KHOSHDEL V. Novel fuzzy multi objective DVFSaware consolidation heuristics for energy and SLA efficient resource management in cloud data centers[J]. Journal of Network & Computer Applications， 2017， 78 ：43-61.

[2]LEI Z， SUN E， CHEN S， et al. A novel hybridcopy algorithm for live migration of virtual machine[J]. Future Internet， 2017， 9（3）：1-13.

[3]JIN X， ZHANG F， WANG L， et al. Joint optimization of operational cost and performance interference in cloud data centers[J]. IEEE Transactions on Cloud Computing， 2017， 5（4）：697-711.

[4]張玉清，王曉菲，劉雪峰，等. 云計算環境安全綜述[J]. 軟件學報， 2016， 27（6）： 1328-1348. （ZHANG Y Q， WANG X F， LIU X F， et al. Survey on cloud computing security[J]. Journal of Software， 2016， 27（6）： 1328-1348.）

[5]CALHEIROS R N， RANJAN R， BELOGLAZOV A， et al. CloudSim： a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms[J]. Software — Practice & Experience， 2011， 41（1）：23-50.

[6]BELOGLAZOV A， BUYYA R. Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in cloud data centers[J]. Concurrency and Computation Practice and Experience， 2012， 24（13）： 1397-1420.

[7]CloudsLab. CloudSim： a framework for modeling and simulation of cloud computing infrastructures and services[EB/OL]. [2019-01-03]. http：//github.com/Cloudslab/cloudsim.

[8]BELOGLAZOV A， ABAWAJY J， BUYYA R. Energyaware resource allocation heuristics for efficient management of data centers for cloud computing[J]. Future Generation Computer Systems， 2012， 28（5）：755-768.

[9]葉可江，吳朝暉，姜曉紅，等. 虛擬化云計算平臺的能耗管理[J]. 計算機學報， 2012， 35（6）： 1262-1285. （YE K J， WU Z H， JIANG X H， et al. Power management of virtualized cloud computing platform[J]. Chinese Journal of Computers， 2012， 35（6）： 1262-1285.）

[10]CHASE J， NIYATO D. Joint optimization of resource provisioning in cloud computing[J]. IEEE Transactions on Services Computing， 2017， 10（3）： 396-409.

[11]ZHOU B， WU J， WANG L， et al. Joint optimization of server and network resource utilization in cloud data centers[C]// Proceedings of the 2018 IEEE Global Communications Conference. Piscataway： IEEE， 2018 ：1-6.

[12]LI Y， LIU J， CAO B， et al. Joint optimization of radio and virtual machine resources with uncertain user demands in mobile cloud computing[J]. IEEE Transactions on Multimedia， 2018， 20（9）： 2427-2438.

[13]GARG S K， YEO C S， BUYYA R. Green cloud framework for improving carbon efficiency of clouds[C]// Proceedings of the 2011 European Conference on Parallel Processing， LNCS 6852 . Berlin： Springer， 2011：491-502.

[14]SALEHI M A， KRISHNA P R， DEEPAK K S， et al. Preemptionaware energy management in virtualized data centers[C]// Proceedings of the IEEE 5th International Conference on Cloud Computing. Piscataway： IEEE， 2012：844-851.

[15]CHOUDHARY M， PEDDOJU S K. A dynamic optimization algorithm for task scheduling in cloud environment[J]. International Journal of Engineering Research & Applications， 2012， 2（3）： 2564-2568.

[16]SHARMA R K， SHARMA N. A dynamic optimization algorithm for task scheduling in cloud computing with resource utilization[J]. International Journal of Scientific Engineering & Technology， 2013， 2（10）： 1062-1068.

[17]PAUL A K， ADDYA S K， SAHOO B， et al. Application of greedy algorithms to virtual machine distribution across data centers[C]// Proceedings of the 2014 IEEE India Conference. Piscataway： IEEE， 2014：1-6.

[18]PORTALURI G， GIORDANO S， KLIAZOVICH D， et al. A power efficient genetic algorithm for resource allocation in cloud computing data centers[C]// Proceedings of the IEEE 3rd International Conference on Cloud Networking. Piscataway： IEEE， 2014：58-63.

[19]WANG J V， CHENG C T， TSE C K. A power and thermalaware virtual machine allocation mechanism for cloud data centers[C]// Proceedings of the 2015 IEEE International Conference on Communication Workshop. Piscataway： IEEE， 2015：2850-2855.

[20]AHAMED F， SHAHRESTANI S， JAVADI B. Security aware and energyefficient virtual machine consolidation in cloud computing systems[C]// Proceedings of the 2016 IEEE Trustcom/BigDataSE/ISPA. Piscataway： IEEE， 2016：1516-1523.

[21]VASUDEVAN M， TIAN Y， TANG M， et al. Energyefficient application assignment in profilebased data center management through a repairing genetic algorithm[J]. Applied Soft Computing， 2018， 67：399-408.

[22]BEIK R. Green cloud computing： greedy algorithms for virtual machines migration and consolidation to optimize energy consumption in a data center[J]. International Journal of Digital Application & Contemporary Research， 2014， 2（9）：1-9.

[23]MAURYA K， SINHA R. Energy conscious dynamic provisioning of virtual machines using adaptive migration thresholds in cloud data center[J]. International Journal of Computer Science & Mobile Computing， 2013， 2（3）：74-82.

[24]MANN Z A. Interplay of virtual machine selection and virtual machine placement[C]// Proceedings of the 2016 European Conference on ServiceOriented & Cloud Computing， LNCS 9846. Berlin： Springer， 2016： 137-151.

[25]JOSEPH C T， MARTIN J P. Task Dependency Aware Selection （TDAS） in cloud[J]. Procedia Computer Science， 2016， 93：269-275.

[26]WANG J V， FOK K Y， CHENG C T， et al. A stable matchingbased virtual machine allocation mechanism for cloud data centers[C]// Proceedings of the 2016 IEEE World Congress on Services. Piscataway： IEEE， 2016：103-106.

This work is partially supported by Hainan Natural Science Foundation Surface Project （618MS082）， the National Key R&D Program of China （2017YFC0306400）.

LIU Kainan， born in 1970， Ph. D.， professor. His research interests include computer network， cloud computing.