基于負載特征的虛擬機動態(tài)遷移決策算法

◆劉 健 王馬龍

?

基于負載特征的虛擬機動態(tài)遷移決策算法

◆劉 健 王馬龍

（四川大學（成都）計算機科學與技術學院 四川 610065）

虛擬機動態(tài)遷移算法要求在不中斷對外實時服務的條件下遷移虛擬機資源，同時要求宕機時間非常短、遷移操作對用戶透明。要達到遷移算法的目標，在不同的應用場景下選擇合適的遷移算法至關重要。本文提出一種虛擬機動態(tài)遷移決策算法，通過分析不同虛擬機動態(tài)遷移算法的性能，基于虛擬機負載特征，決策出最優(yōu)遷移性能的算法。實驗結果表明，該算法能夠針對不同的負載類型準確地選擇最優(yōu)的遷移算法，相對主流的預拷貝遷移算法能夠有效減少遷移時間和停機時間。

虛擬機動態(tài)遷移；負載特征；決策算法；云計算

0 引言

作為虛擬化的關鍵技術之一，虛擬機動態(tài)遷移能夠改善系統(tǒng)性能、提高資源配置靈活性，在數(shù)據中心和云計算中被應用于很多重要方面，包括負載均衡、在線維護、主動容錯和資源優(yōu)化與電源管理。

當前，主流的虛擬化平臺xen和KVM中虛擬機動態(tài)遷移算法都是基于內存預拷貝算法，國內外學者通過對遷移算法的研究和改進提出了一系列的遷移算法，這些算法有各自的適用場景和優(yōu)缺點，選擇不同的遷移算法對遷移性能的影響是巨大的。本文提出一種虛擬機動態(tài)遷移決策算法，意在通過不同的虛擬機負載情況決策得到最優(yōu)的遷移算法，提高遷移性能。

1 現(xiàn)有虛擬機動態(tài)遷移算法性能分析

虛擬機動態(tài)遷移主要遷移三類資源：內存和CPU狀態(tài)、網絡連接和虛擬設備狀態(tài)、存儲。當前，動態(tài)遷移的研究與應用主要集中在局域網環(huán)境，網絡連接的遷移通過ARP廣播實現(xiàn)，虛擬機磁盤空間由NAS等共享存儲設備提供，用以避免遷移龐大的磁盤數(shù)據。因此，局域網環(huán)境中，虛擬機動態(tài)遷移主要考慮的問題是內存和CPU狀態(tài)的遷移。

Clark0等人提出并實現(xiàn)了預拷貝（Pre-copy）算法。Pre-copy算法具有可靠性，適合Idle型虛擬機的遷移。但是，在遷移CPU密集型、內存密集型或網絡密集型虛擬機時，由于Pre-copy算法采用迭代復制的方式傳送內存頁，在遷移過程中需要傳送大量的數(shù)據，因此產生較高的網絡開銷，導致虛擬機服務性能下降，進而延長停機時間和總遷移時間，甚至導致服務中斷。為了解決預拷貝算法的不足，文獻提出并實現(xiàn)了一種混合內存復制遷移（HMDC）算法。相對Pre-copy算法，HMDC算法避免了內存迭代拷貝，減少了總遷移數(shù)據量和對網絡帶寬的占用，在停機時間內只復制臟內存頁面位圖，減少了虛擬機停機時間。但是HDMC算法通過缺頁中斷從源主機請求內存頁，對虛擬機應用程序的性能造成一定損失。文獻中基于CR/TR-Motion算法提出了一種結合CPU調度的快速虛擬機動態(tài)遷移（FMC）算法。CR/TR-Motion算法降低了遷移過程中的數(shù)據傳輸量，對網絡密集型和低帶寬環(huán)境尤其適合。但是，CR/TR-Motion算法要求日志重現(xiàn)速率比日志生成速率快。在遷移計算密集型虛擬機時，F(xiàn)MC算法采用了限制CPU的方法降低日志的生成速率來獲得較低的總遷移時間。同時，在多處理器或多核環(huán)境下通過CR/TR-Motion進行動態(tài)遷移需要通過VCPU熱插拔技術的特殊處理，對虛擬機應用性能造成了一定的影響。

評價一個遷移算法的優(yōu)劣有四個性能參數(shù)，遷移總時間、遷移停機時間、遷移數(shù)據量和對虛擬機應用程序的影響程度。前三者可以通過具體的實驗測得數(shù)據，后者可以通過分析遷移算法的過程給予一般的程度評價。Pre-copy算法由于運行在log-dirty的影子內存模式下采用迭代傳送復制的方法傳輸內存，在遷移虛擬機時會通過占用CPU和內存的方式對虛擬機應用程序造成影響，但相對HMDC算法則要小很多。當虛擬機在目標主機端恢復執(zhí)行后HMDC算法會通過缺頁錯誤從源主機獲取內存頁數(shù)據，對虛擬機應用程序的影響較大。CR/TR-Motion 算法帶來的性能開銷主要來自于對日志時間的記錄和回放，但相對其他兩種算法開銷較小。然而，在遷移多核或多處理器的虛擬機時，CR/TR-Motion算法需要通過VCPU熱插拔技術處理，這對虛擬機應用程序的影響是很大的。FMC算法基于CR/TR-Motion算法在遷移計算密集型虛擬機時更要通過限制CPU的方法來減少總遷移時間。綜上所述，遷移算法對虛擬應用程序的影響程度為：FMC算法大于CR/TR-Motion算法大于HMDC算法大于Pre-copy算法。各種遷移算法的性能分析如表1所示。

表1遷移算法性能分析表

算法遷移總時間停機時間遷移數(shù)據量對應用程序影響適宜遷移負載類型 Pre-copy長內存密集型較長，其他較短大較小Idle型 HMDC長短小一般內存密集型 CR/TR-MotionCPU密集型較長，其他較短短小較大網絡密集型，內存密集型 FMC較長短小大計算密集型

2 虛擬機動態(tài)遷移決策算法

本文將預拷貝（Pre-copy）算法、混合內存復制（HMDC）算法、CR/TR-Motion算法以及FMC算法這四種較優(yōu)的遷移算法納入到動態(tài)遷移決策算法框架中，動態(tài)遷移決策算法框架如圖1所示。決策算法的具體步驟如下：

（1）提取虛擬機的負載特征。基于OpenStack云平臺的Ceilometer監(jiān)控組件提取要遷移虛擬機的最近3個時刻的負載數(shù)據，包括CPU使用率、內存使用量、網絡流入速率、網絡流出速率，取其平均值進行數(shù)據處理獲得負載特征。

（2）根據經驗確定負載特征的臨界值，負載特征包括CPU利用率、內存利用率和網絡帶寬利用率。

（3）用負載類型和決策因子作為參數(shù)，根據遷移性能表計算不同負載類型的遷移代價，選擇遷移代價最小的遷移算法作為決策算法的遷移算法遷移虛擬機。

（4）遷移過程中統(tǒng)計該次遷移的遷移總時間、停機時間和遷移數(shù)據量，并反饋給遷移性能表，遷移性能表更新數(shù)據，算法完成。

圖1虛擬機動態(tài)遷移決策算法框架

遷移性能表與遷移代價：

虛擬機動態(tài)遷移決策算法的核心在于如何準確預測要遷移虛擬機的遷移代價。由于遷移算法大多會占用虛擬機操作系統(tǒng)的CPU資源和內存資源，因此采用模擬遷移算法的過程來估計虛擬的遷移代價是不準確的，本文采用遷移決策因子和遷移性能表來預測不同遷移算法的遷移代價。遷移決策因子為一個向量：

本文根據每種負載類型的多次遷移結果，取平均值，依據Pre-copy算法為基準，將遷移過程中的遷移總時間、停機時間和遷移數(shù)據量歸一化得到遷移性能表，根據不同算法的實現(xiàn)原理，本文以Pre-copy算法為基準，將缺頁中斷處理的HDMC算法，和限制CPU的CR/TR-Motion和FMC算法對應用程序的影響程度分別量化為1.3，1.5，1.6。如表2所示：

表2遷移性能表

負載類型算法類型總遷移時間停機時間遷移數(shù)據量影響程度 計算型負載Pre-copy1111 HMDC0.6220.1330.9361.3 CR/TR-Motion0.6970.1790.8461.5 FMC0.6670.1490.8061.6 內存型負載Pre-copy1111 HMDC0.5770.0140.7781.3 CR/TR-Motion0.7960.2350.7731.5 FMC0.8080.2270.7621.6 網絡型負載Pre-copy1111 HMDC0.8230.2260.8031.3 CR/TR-Motion0.4640.2480.6991.5 FMC0.4410.2630.6891.6 Idle型負載Pre-copy1111 HMDC0.9070.2670.9451.3 CR/TR-Motion0.8990.3730.9271.5 FMC0.8700.3570.9261.6

針對某一負載類型，本文定義遷移代價值為算法的量化因子與遷移決策因子權重的乘積之和，遷移代價值為：，其中A為當前負載類型的遷移性能矩陣，如：

3 實驗

實驗的架構圖如圖2所示。三臺主機均采用相同的配置如下表所示。

表3 配置表

圖2實驗架構圖

實驗選擇了四種負載，Daily Use、UnixBench、Memtester、以及Netperf，分別代表Idle型、計算密集型、內存密集型和網絡密集型虛擬機負載，分別利用Pre-copy算法、HMDC算法、CR/TR-Motion算法和FMC算法進行遷移，運行這些應用的虛擬機都配置1GB內存，2個vcpu，可用帶寬為1000Mbit/sec。

我們分別指定遷移決策因子為migration_facotr=（0，1，0，0）、migration_factor=（1，0，0，0）和migration_factor=（0，0，1，0），只考慮遷移停機時間、停機時間和遷移數(shù)據量。遷移性能的結果分別如圖3、圖4和圖5所示。可以看到決策算法總是能選擇較優(yōu)的算法執(zhí)行遷移過程，消耗的性能也是較小的。

圖3不同遷移算法對不同負載類型虛擬機造成的停機時間

圖4不同遷移算法對不同負載類型虛擬造成的總遷移時間

圖5不同遷移算法對不同負載類型虛擬機造成的遷移總數(shù)據量

運行Linpack應用的虛擬機既是內存密集型又是CPU密集型，假設遷移時需要考慮遷移總時間、停機時間、遷移數(shù)據量和對應用程序的影響程度，設置器遷移決策因子migration_factor=（0.4，0.3，0.15，0.15），利用決策算法進行判定后選擇了HMDC算法進行遷移，遷移的性能結果如圖6所示，各性能指標為以最小值為基準的規(guī)格化后結果。在計算型中計算各個算法的遷移代價，最小的遷移代價為C=0.4*0.622+0.3*0.133+0.15* 0.936+0.15*1.3=0.6241，在內存密集型中計算各個算法的遷移代價，最小的遷移代價為C=0.4*0.577+0.3*0.014+0.15* 0.778+0.15*1.3=0.5467。因此選擇HMDC算法遷移該虛擬機可以獲得較小的遷移代價和較優(yōu)的遷移性能。

圖6不同遷移算法遷移運行Linpack虛擬機的性能消耗

4 結束語

特定的虛擬機動態(tài)遷移算法大多由某一解決問題出發(fā)點而設計，故此其適用的應用場景會有所不同。本文通過分析不同遷移算法的執(zhí)行過程與特性，提出了一種基于負載特征的虛擬機動態(tài)遷移決策算法，為不同負載類型的虛擬機遷移尋找合適的遷移算法。其核心有兩點，其一：如何準確地判定虛擬機的負載類型，本文基于最近相似原則，根據最近時刻虛擬機的負載特征決策出當前虛擬機的負載類型。其二：如何準確地預測每一臺虛擬機遷移的代價，由于遷移代價與眾多因素息息相關，如云平臺物理機器的性能、網絡的吞吐量、虛擬機的負載類型、遷移算法對虛擬機CPU、內存、網絡資源的消耗等，因此通過初始獲得的參數(shù)去模擬動態(tài)遷移代價是較不準確的。本文利用遷移性能表可以量化遷移算法的方法，用多次試驗的后驗結果估計遷移代價，并通過以后每次的遷移結果學習改進遷移性能表中的因子。隨著遷移次數(shù)的增多，遷移性能表會更加收斂和準確。

[1]常德成，徐高潮.虛擬機動態(tài)遷移方法[J].計算機應用研究，2013.

[2]CLARK C，F(xiàn)RASER k，HAND S.Live Migration of Virtual Machines[M].USA：ACM，2005.

[3]鄒瀟，姚立紅等.基于臟頁率的虛擬機動態(tài)內存遷移[J].通信技術，2013.

[4]趙佳.虛擬機動態(tài)遷移的關鍵問題研究[D].吉林大學，2013.

[5]劉海坤.虛擬機在線遷移性能優(yōu)化關鍵技術研究[D].華中科技大學，2012.

[6]廖國龍.面向業(yè)務特征的虛擬動態(tài)遷移研究[D].四川大學，2016.

國家重點研發(fā)計劃（2016yfb00604，2016yfb00605），國家自然科學基金項目（61572334）。