云數據中心的虛擬機放置問題

樊勇兵，陳 天，陳 楠，黃志蘭，呂翠娥

（1.中國電信股份有限公司廣州研究院 廣州 510630；2.浪潮集團有限公司 濟南 250101）

1 虛擬機放置問題的來源

在云數據中心（cloud data center，CDC），計算資源和網絡資源被多個租戶動態共享，其中計算資源共享方式主要是虛擬化，即物理服務器（又稱物理機）被虛擬化為多臺虛擬服務器（又稱虛擬機）。當一個或多個租戶的資源請求動態到達并動態變化時，如何有效地為其分配（或調整）虛擬機和網絡連接且滿足一定的服務等級協議（service level agreement，SLA）和資源約束，稱為虛擬機放置（virtual machine placement，VMP）問題。

與VMP問題很類似的一個問題是虛擬網絡映射（virtual network mapping，VNM）問題：在一個物理網絡（又稱為基礎網絡）上有多個虛擬網絡（virtual network，VN），這些VN在一定的SLA和資源約束下動態共享物理網絡中的物理節點（即物理網絡設備）資源、物理鏈路資源。

如果將VNM中的節點理解為（物理的或虛擬的）服務器，并且將節點限定為接入節點（即直接接入通信終端設備的節點），那么VMP問題可以理解為帶位置約束的VNM問題。本文的討論對象是VMP。因為VNM的算法大多都可以直接或間接應用于VMP，所以在不會引起歧義的情況下，以下將不加區分地使用VMP和VNM。

VMP問題是云IDC的核心問題之一，在數學上它是一個NP難的問題[1]，這使得VMP研究既具實用價值又具學術價值，從而成為云IDC的研究熱點。

2 VMP問題分析

大部分虛擬機放置算法都包含節點映射和鏈路映射兩個階段，二者都是組合最優化問題，也都是NP難的問題，所以虛擬機放置面臨的首要問題是算法。此外還有優化目標的綜合權衡、算法評估、算法比較、模擬與仿真等。

在規模足夠大時求解NP難問題只能采用啟發式算法。所謂啟發式算法，是相對于最優算法提出的，可以這樣定義[2]：一個基于直觀或經驗構造的算法，在可接受的成本下給出待解決問題每一個實例的一個可行解，該解與最優解的偏離程度不一定可以事先預計。啟發式算法有諸多好處，但也有明顯不足：不能保證求得最優解；表現不穩定；算法的好壞依賴于實際問題和設計者的經驗，很難總結規律，同時使不同算法之間難以比較。啟發式算法可以大致分為如下幾類：一步法；迭代法；數學規劃法；解空間松弛法；現代優化算法，如模擬退火、遺傳算法等，它們的共同目標是求NP難問題的全局最優解，但NP難問題的特性又使它們只能以啟發式的算法去求解；其他方法，一類算法是根據實際問題而產生的，另一類算法是集成諸多啟發式算法的算法。在虛擬機放置問題中，算法的選擇、集成、改進或適配、算法的并行化、新算法的研究、經驗的整理和應用都是重要內容。

在不同場合，虛擬機放置問題有不同優化目標，如資源利用率、資源利用均衡性、SLA保障（節點保障、鏈路保障、服務保障、容災備份、SLA違規成本等）、節能、收益成本比、使用節點最少（可能要求更多虛擬機遷移）、降低虛擬機遷移代價（可能增加物理服務器數量）等。其中，有些目標是互斥的，如追求資源利用的均衡性則不能保證節能，追求資源利用率可能導致大量的SLA違規，即使是相容的目標也需要考慮如何轉換為綜合的單一目標。因此，優化目標的綜合權衡也是虛擬機放置問題不容忽視的方面。

啟發式算法有諸多缺陷，虛擬機放置問題的場景、輸入、約束、優化目標復雜多樣，所以對算法的評估成為虛擬機放置問題的重要內容，評估參數主要包括：算法的收斂速度、算法適用的問題規模、優化目標的滿足程度以及對多優化目標的適用性、映射成功率、對不同請求模型和物理網絡拓撲的適用性。

與算法評估緊密相關的是基準模型。為了比較不同算法的特點和優劣勢，必須建立各種算法可以共享的比較基準。參考文獻[3]提出了一個標準輸入和評估度量，以對不同算法進行客觀比較。

設計完成的算法最終是需要在生產環境中使用的，但在此之前該算法必須要得到驗證，云計算模擬和仿真工具應運而生。

CloudSim是云計算環境下的現代模擬框架和工具套件。相比于其他工具套件（如SimGrid、GangSim），CloudSim允許虛擬化環境的建模，支持按需資源指配和管理，并擴展到支持能源感知的模擬，還集成了動態負載下的業務應用模擬能力。其他如面向能耗感知的GreenCloud、面向應用性價比建模的iCanCloud、面向社交網絡工具評估的CloudAnalyst等都是各具特色的云環境模擬工具。

此外，還有用于網格計算和VNM環境的平臺，如GridSim[4]、GangSim[5]、Netbed[6]、PlanetLab[7]等。

3 VMP算法概述

表1是對VNM相關算法的一個分類[8]，這些算法基本都可以直接或間接地應用于VMP問題。表1的一個明顯缺陷是分類維度不一致。

關于VMP算法或VNM算法的參考文獻很多，下面補充介紹幾個具有顯著特色的算法。

[18]利用了云IDC歸屬于單一管理實體的特點，提出了在多租戶的云中以虛擬數據中心（virtual data center，VDC）為資源分配單位的方法，設計了一種數據中心網絡虛擬化架構，稱之為SecondNet，將虛擬機到物理機的映射、路由、帶寬預留狀態等功能都分布在服務器的虛擬機管理器（virtual machine manager，VMM）上，從而達到可擴展性；其基于源路由的端口交換（port-switching based source routing，PSSR）特性進一步使SecondNet適用于任意網絡拓撲；定義了3種服務模型；虛擬機分配采用啟發式算法。為此，參考文獻[18]將相鄰的服務器組合成一個集群，如ToR集群、Pod集群或n-hop集群，一個服務器可以同時屬于一個ToR集群和一個Pod集群，甚至整個物理服務器集群。當分配一個VDC時，僅需要搜索集群而不是整個物理網絡。使用單路徑的最小成本流算法將虛擬機映射到物理機上，然后通過最短路徑算法為虛擬機對分配路徑。

表1 虛擬網絡映射算法分類

仿真結果顯示，在一個10萬物理服務器的數據中心里，該方法可以在平均493 s的時間內分配5 000個虛擬機，速度非常快；缺點是不能處理多路徑問題（可能導致亂序）、不能處理特殊情況（如某些虛擬機要單獨部署）、不能處理服務器失效等。

參考文獻[19]提出的服務器整合方法充分利用了虛擬機間的通信關系和應用特征的相容性。服務器整合時需要遷移虛擬機，可能使本來距離很近的需要相互通信的虛擬機變得很遠。大部分研究者都是基于CPU利用率進行虛擬機遷移的，這可能導致同一物理服務器上運行多臺有同樣資源需求的虛擬機，使該服務器的某類資源（如CPU或內存）迅速耗盡，最終結果是需要開啟更多的服務器以容納其他虛擬機，從而提高了總體能耗和流量成本。該參考文獻給一對虛擬機定義了一個流量權、一個通信成本（如跳數），并對所有虛擬機及其通信關系建模得到一個圖。頂點是虛擬機，邊是通信關系，邊的權值是流量權。對邊的權值從小到大排序，將權值最小的邊刪除，得到若干子圖。如此遞歸，最終所有子圖都只包含一個頂點。整個過程可以用樹型結構描述，最終同一層次的兄弟葉子節點部署在靠近的物理機上（但不是同一臺物理機）。

參考文獻[20]將商業運營的云IDC因SLA違規導致的成本作為算法的重要考慮因素，并得到很多富于啟發意義的結論。提出一種基于歷史數據以自適應預測過載主機的算法，然后根據3種策略選擇被遷移虛擬機：策略1——根據所使用內存決定遷移時間最小的虛擬機；策略2——隨機選擇；策略3——選擇和其他虛擬機的CPU利用率有最大相關性的虛擬機進行遷移。用Power Aware Best Fit Decreasing方法[21]找到目的主機：將虛擬機按CPU利用率降序排列，目的主機應提供最小的能耗增加；將所有過載主機處理完之后，選擇負載最低的主機，將其上虛擬機遷移到其他主機且使目的主機不過載。若該主機上所有虛擬機被遷移，則關閉該主機。如此循環，遍歷所有主機。

參考文獻[20]得出的結論是：動態整合算法顯著優于靜態分配策略；啟發式動態整合算法顯著優于優化在線確定性算法；上述虛擬機遷移策略的策略1顯著優于策略2和策略3；基于本地回歸的動態整合優于基于閾值和自適應閾值的算法，因為前者更好地預見了過載，從而降低了SLA違規和遷移次數；基于本地回歸的算法優于頑健的本地回歸算法，這可以解釋為對于實驗中的模擬負載，響應峰值負載比平滑這些峰值更重要。

4 骨干互聯網的“虛擬機”放置問題

直觀上看，骨干互聯網也存在VMP問題。數以億計的接入用戶（如寬帶用戶、專線用戶、移動用戶、IDC用戶、它網用戶）通過互聯網進行通信，猶如數以億計的虛擬機通過云IDC的網絡進行通信。無論是從規模還是從復雜性，似乎骨干互聯網的問題嚴重性都遠大于云IDC網絡，但從實踐上看前者解決VMP問題的方法是粗糙而有效的，不需要非常精致：以歷史流量流向為基礎，結合宏觀規劃或預測（如GDP、城市規劃、大的技術升級或新的應用部署），通過簡單的擬合外推等手段，輔以仿真和局部調整，總是能得到基本滿意的網絡方案。但這并不意味著看似規模和復雜性都更小的云IDC的VMP問題也同樣如此。

骨干互聯網的VMP具有以下幾個特點。

·只需要考慮單個“虛擬機”的出口帶寬，不需要考慮多個虛擬機承載在一個物理機上的情況，也不需要考慮“虛擬機”的CPU、內存等其他節點約束。

·只需要考慮獨立“虛擬機”的出口帶寬，不需要考慮有組網關系和通信需求的多個“虛擬機”的通信約束，其根本原因并不在于“虛擬機”間真的沒有通信約束，而是由于骨干互聯網以B/S架構為主的通信模式、分層匯聚結構、巨大的網絡容量和“虛擬機”數量、可預知的單“虛擬機”出口帶寬和相對穩定的通信需求、內置的負載均衡、粗顆粒的調度、“盡力而為”的通信保障機制，共同導致了流量模型的統計穩定性，使得“虛擬機”間的通信約束湮沒其中，可以忽略不計。

·“虛擬機”數量和總容量是預知且有限的，不需要考慮未知且無限的請求序列；“虛擬機”的位置分布是幾乎固定的（除了極少量的移動用戶），不需要考慮因節點容量、SLA等因素的約束而導致的位置選擇和遷移，因而簡化了鏈路映射。

總之，不管從實踐上還是從理論上看，相對云IDC來說，骨干互聯網的VMP問題都是經過高度簡化的，簡化主要來源于以下3個方面。

·問題特性，如不需要考慮過多的節點約束、鏈路約束。

·技術上的“不作為”，如不考慮多個“虛擬機”間的通信約束（事實上也難以考慮）、不大規模地部署細顆粒度的流量工程。

·技術上的“作為”，如網絡架構、內置的負載均衡、分布式處理、粗顆粒的QoS機制等。這種簡化一方面帶來了操作上的便利性、有效性；另一方面也間接地說明了在大型公眾互聯網上，細顆粒度、多目標、逐跳預留的流量工程沒有被大規模成功部署的原因。

骨干互聯網的VMP問題為云IDC的工程實踐提供了重要借鑒。

·業務特性決定網絡特性。云IDC網絡與骨干互聯網本質上是兩種不同的網絡，這使得前者既存在創新的可能和必要，也存在借鑒和甄別傳統技術的可能和必要。

·虛擬機通信是云IDC網絡承載的基本業務，可以考慮將VMP問題的復雜性部分卸載到網絡層或商業層解決（緩解），而不是僅由算法層承擔。

·看似完美但已經證明是徒勞無功的做法（如上述“理想的”流量工程）不應再次成為新網絡的負擔。

5 VMP算法和骨干互聯網規劃為云IDC帶來的工程啟示

VMP問題是NP難問題，一定規模下只能采用啟發式算法，而啟發式算法的有效性高度依賴于算法設計者的經驗——既包括工程經驗（對具體問題的理解）也包括算法經驗（基于對算法的理解，將工程經驗轉化為算法設計）。一方面，工程經驗可以指導云IDC的規劃設計，并轉化為算法經驗內置在運營平臺中；另一方面，一個既有的平臺可以為算法設計者和云IDC設計者反饋經驗。因此，經驗的獲取、積累、應用、反饋、改進以及工程經驗和算法經驗的互相轉化，成為一個重要問題。顯然，算法和工程是一種相互適配、相得益彰的關系。

5.1 監控和計量

為了積累、復用基礎數據和經驗，并將其用于驗證或修正已有方法，必須對運營平臺進行實時、連續、全面的監控和計量，包括客戶請求信息和到達情況、平臺和算法運行情況、資源占用情況、SLA違規情況、流量流向數據、能耗數據等。運營者宜事先籌劃并不斷完善監控和計量的對象、參數、工具。例如，算法的歷史數據既可以作為比對和改進的基礎，也可以留待將來有類似需求時參照使用。參考文獻[22]針對中心輻射拓撲結構的虛擬網絡請求，提出了一種個性化的節點映射算法。推而廣之，如果能根據歷史數據總結各種請求模型并分別得到較優化的算法，可以極大提高運營效率和效益。

5.2 業務模型、SLA和資費設計

通過完善的業務模型、SLA和資費設計，既可以有效發掘和引導用戶需求，提供差異化增值服務，又可以使得用戶請求的內在關聯顯性化，量化程度和可預見性也大大增強，從而有利于部分卸載算法層的復雜性和運營管理的迭代改善。例如，現在絕大部分公有云平臺所能接受的用戶請求參數基本限于虛擬機規格和數量，并不涉及虛擬機間的通信拓撲和帶寬、時延等參數，僅有的幾個SLA指標也是由云服務提供商單方面強加給用戶的，這顯然不利于業務的精細開展和資源的高效使用。一種可供借鑒的選擇是以VDC為分配單位（或者考慮虛擬機之間的通信密度），并盡量將有通信需求的虛擬機分配在鄰近的節點，不僅能節省資源，還能改善SLA。參考文獻[19]提出的算法可以部分滿足要求，前提是要通過某種手段（技術手段或非技術手段）獲取用戶的通信模型。但從激勵用戶或提供增值服務的角度看，非技術手段（完善的業務模型、SLA和資費設計）才是用戶可以直接感知的，因此顯然是更合適的。

5.3 云資源池的設計

資源池設計的根本依據是業務和技術要求。設計一旦確定，它對算法的效能將起到決定性作用。所以，從算法出發反推，可以給出另一個審視資源池設計的角度，期望設計既不違反通用原則，又有利于算法高效運行。事實上，既存在通用設計原則，也存在針對性設計原則，可以使資源池與算法更為匹配，從而在一定程度上卸載算法復雜性，提高總體效能。

5.3.1 資源池規模和架構

如果資源池中存在明顯的稀缺資源，容易導致映射失敗[23]。骨干互聯網的“虛擬機”放置問題之所以簡單，一個重要原因是規模帶來的流量流向的統計穩定性。而傳統IDC網絡的分層匯聚架構恰好在骨干鏈路形成瓶頸，因此需要規模更大的、稠密的扁平網絡。這里的“規模”是相對于資源池中典型的單用戶虛擬機通信容量而言的，規模越大，則資源越豐富，流量流向的統計穩定性越強，有利于消除啟發式算法內在的不穩定性；“稠密”指的是網絡節點的“度”（degree）數要達到一定水平，也就是網絡的鏈路數量要足夠多；“扁平”意指去掉不必要的匯聚層次，并使網絡在一定范圍內（以下稱為“域”）形成對稱結構，消除局部的資源稀缺。當某些情況下只能采用特殊的網絡架構，則算法改變成為必然。

5.3.2 業務分區和遷移控制的設計

嚴格說，業務分區和遷移控制（尤其是遷移網絡）的設計也是資源池架構的一部分。

與上述“扁平”所強調的“連通性”不同，“分區”強調的是“隔離”，即按照一定分類標準（如用戶類型、業務類型、生命周期等），每個類別形成一個獨立的域，域之間往往通過3層進行隔離。分區對算法的意義在于：降低計算復雜度，有利于算法的并行化和隔離，將域特定的經驗應用于算法，從而形成定制算法，算法的不穩定性或非全局最優性不會無限累加，也不會在域間互相滲透。此外，參考文獻[18]認為，VDC分配過程中能否為VDC選擇到合適的集群比在確定的集群中能否找到一個好的分配對算法的影響更大（這里的“集群”可以粗略理解為“分區”）。

對于高頻率使用的大規模單一應用（如Hadoop計算），可使用物理上獨立的業務分區。該應用如果必須與其他應用共享物理基礎設施，算法上則可將該應用處理為已經成功映射的虛擬機放置請求。

關于云IDC網絡業務分區的設計，可以借鑒參考文獻[24]提出的方法。

云IDC區別于傳統IDC的一個重要特點就是虛擬機遷移。在手工管理或小規模自動化管理的情況下，虛擬機遷移也許不是大事，但在大規模自動化管理環境中，系統往往借助它完成優化部署任務。由于虛擬機遷移對環境敏感，所受限制較多，資源占用厲害，所以規模越大，自動化程度越高，遷移網絡相對于業務網絡的隔離越重要，遷移的啟動控制和實施控制也應該越精細。參考文獻[20]提出了具體的遷移控制建議，包括遷移決策方法、遷移依據、遷移與SLA違規的關系等。

5.3.3 資源池的資源均衡性

包括同質資源的均衡性（如扁平對稱網絡、鏈路帶寬和成本、物理服務器的配置和功能）、異質資源之間的均衡性（如網絡容量和計算容量之間的均衡性、CPU和I/O之間的均衡性）。這種均衡性本質上是以規模為基礎，消除某些資源類別的稀缺性（從資源配比的角度），從而達到物理資源消耗的統計穩定性。

5.3.4 邏輯網絡和物理網絡基礎功能的設計

首先是負載均衡功能，這可以極大緩解因算法內在缺陷導致的對資源池的負面影響，提升資源池對算法的支持能力。通常，網絡都具備負載均衡能力。云IDC的特殊之處在于，網絡已經延伸到物理服務器內部，并且為了盡量不改變原有基礎網絡，當前傾向于采用疊加（Overlay）組網方式（在當前實現中，基礎網絡和疊加網絡幾乎無法相互感知、適配），隧道端點既可以在物理服務器上，也可以在ToR交換機上。如果是前者，受服務器處理能力的限制，一般采用TCP/UDP之上的隧道封裝，以便很多協議處理可以卸載到網卡上，因此對網卡的要求也成為整體網絡功能設計的一部分；如果是后者，為了避免“大象流”對網絡的沖擊，也需要采用TCP/UDP之上的隧道封裝，以便形成足夠細顆粒度的負載均衡能力，而不是傳統基于五元組的負載均衡。另一個特殊之處在于，如果VMP算法使用路徑分割[11]方法，負載均衡可能導致分組亂序；此外，某些云IDC網絡拓撲需要成千上萬的等價路徑，而傳統網絡一般只支持16條或更少等價路徑；最后，業務鏈（service chain）的引入破壞了傳統端到端的負載均衡機制，使原來純粹基于網絡的負載均衡與業務編排、網絡服務節點的部署緊耦合。關于路徑分割、海量等價路徑和業務鏈導致的負載均衡問題，目前并無成本可行的、統一的商用解決方案，需要進一步深入研究。

其次是QoS功能，它同樣可以有效卸載算法復雜性，并提供增值服務。云IDC網絡在數學模型上是一個比骨干互聯網復雜得多的網絡，如果連后者都從來沒有大規模成功部署過細顆粒度、多目標、逐跳預留的流量工程，那在設計云IDC的VMP算法時更應避免淪為繁瑣的流量工程工具，而應借鑒骨干互聯網，在物理承載網絡上采用區分服務QoS模型。

5.4 廣闊的創新空間

云IDC網絡與骨干互聯網存在本質不同，并且云資源池大多歸屬于單一管理實體，這為相關的創新提供了廣闊空間。例如，參考文獻[18]提出的基于VMM的源路由，在公共互聯網上就很難實現，因為網絡運營商不能控制通信終端，所以路由不能由終端決定，只能由網絡決定；Google提出的B4網絡[25]是云IDC網絡整體架構上的創新，這種短時間內整體架構的創新在公共互聯網上是難以想象的，而其技術上的成功又是因為該架構與Google新型業務模型的高度適配。

6 結束語

本文總結了虛擬機放置相關的算法、目標及算法評估等關鍵問題，概述了虛擬機放置問題的主要算法，深入分析了骨干互聯網中虛擬機放置問題的特點和對云數據中心工程實踐的借鑒意義，并從算法和工程相互適配的角度，提出了云數據中心設計、運營的若干重要原則，對未來云數據中心的建設和發展具有重大的借鑒價值。

隨著云服務和軟件定義網絡的興起與發展，VMP算法作為云管理平臺核心組件的重要性越來越突出。雖然算法涉及的基礎理論研究大部分都比較成熟，但在該領域的應用研究現狀并不盡如人意：沒有完整的通用算法框架；算法經驗不豐富，更沒有系統性；欠缺算法與云資源池、需求模型的適配研究；算法評估和基準比較不完善；有些重要算法（如神經網絡）的應用研究還只是非常零星地被發現。這些問題應該是VMP算法下一步的重點研究方向。

參考文獻

1 Andersen D G.Theoretical approaches to node assignment(unpublished manuscript).http://nms.lcs.mit.edu/papers/andersenassign.ps,2002

2 邢文訓,謝金星.現代優化計算方法.北京:清華大學出版社,1999 Xing W X,Xie J X.Modern Optimization Computing Method.Beijing:Tsinghua University Press,1999

3 Zhu J.Benchmarking virtual network mapping algorithms.University of Massachusetts,2012

4 Buyya R,Murshed M.GridSim:a toolkit for the modeling and simulation of distributed resource management and scheduling for grid computing.Journal of Concurrency and Computation:Practice and Experience,2002,14(13～15):1175～1220

5 GangSim:a simulator for grid scheduling studies with support for uSLAs.http://people.cs.uchicago.edu/～cldumitr/GangSim,2006

6 White B,Lepreau J,Stoller L,et al.An integrated experimental environment for distributed systems and networks.Proceedings of the 5th Symposium on Operating Systems Design and Implementation,Boston,MA,USA,2002:255～270

7 Peterson L,Anderson T,Culler D,et al.A blueprint for introducing disruptive technology into the internet.Proceedings of HotNets-I,Princeton,NJ,USA,2002

8 程祥,張忠寶,蘇森等.虛擬網絡映射問題研究綜述.通信學報,2011,32(10)Cheng X,Zhang Z B,Su S,et al.Survey of virtual network embedding problem.Journal on Communication,2011,32(10)

9 Zhu Y,Ammar M.Algorithms for assigning substrate network resources to virtual network components.Proceedings of IEEE INFOCOM,Barcelona,Spain,2006:1～12

10 Lu J,Turner J.Efficient Mapping of Virtual Networks onto a Shared Substrate.Technical Report WUCSE-2006-35,Washington University,2006

11 Yu M,Yi Y,Rexford J,et al.Rethinking virtual network embedding:substrate support for path splitting and migration.ACM SIGCOMM Computer Communication Review,2008,38(2):17～29

12 Chowdhury N,Rahman M,Boutaba R.Virtual network embedding with coordinated node and link mapping.Proceedings of IEEE INFOCOM,Rio de Janeiro,Brazil,2009:783～791

13 Lischka J,Karl H.A virtual network mapping algorithm based on subgraph isomorphism detection.Proceedings of the 1st ACM Workshop on Virtualized Infrastructure Systems and Architectures,Barcelona,Spain,2009:81～88

14 Shamsi J,Brockmeyer M.QoSMap:QoS aware mapping of virtual networks for resiliency and efficiency.Proceedings of IEEE GLOBECOM Workshop,Washington,IX,USA,2007:1～6

15 Houidi I,Louati W,Zeghlache D.A distributed virtual network mapping algorithm.Proceedings of IEEE ICC,Beijing,China,2008:5634～5640

16 He J,Zhang S R,Li Y,et al.Davinci:dynamically adaptive virtual networks for a customized intemet.Proceedings of the ACM CoNEXT Conference,Madrid,Spain,2008:1～12

17 Cheng X,Su S,Zhang Z,et al.Virtual network embedding through topology-aware node ranking.ACM SIGCOMM Computer Communication Review,2011,41(2):39～47

18 Guo C X,Lu G H,Wang H J,et al.SecondNet:a data center network virtualization architecture with bandwidth guarantees.ACM CoNEXT 2010,Philadelphia,USA,2010

19 Vu H T,Hwang S.A traffic and power-aware algorithm for virtual machine placement in cloud data center.International Journal of Grid and Distributed Computing,2014,7(1):21～32

20 Beloglazov A,Buyya R.Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in cloud data centers.Concurrency and Computation:Practice and experience,2012(24):1397～1420

21 Beloglazov A,Abawajy J,Buyya R.Energy-aware resource allocation heuristics for efficient management of datacenters for cloud computing.Future Generation Computer Systems,2011

22 Yu M L,Yi Y,Rexford J,et al.Rethinking virtual network embedding:substrate support for path splitting and migration.ACM SIGCOMM Computer Communication Review,2008,38(2)

23 Ricci R,Alfeld C,Lepreau J.A solver for the network testbed mapping problem.ACMSIGCOMMComputerCommunicationsReview,2003

24 樊勇兵,丁圣勇,陳楠.基于業務交換機的大規模云數據中心通用網絡架構.電信科學,2013,29(10):1～4 Fan Y B,Ding S Y,Chen N.A general network architecture design of large-scale cloud data center based on service switch.Telecommunications Science,2013,29(10):1～4

25 Jain S,Kumar A,Mandal S,et al.B4:experience with a clobally-deployed software defined WAN.Proceedings of SIGCOMM’13,Hong Kong,China,2013