未來網絡XIA中的虛擬機跨子網遷移

孟宏偉，陳鐘，孟子騫，SONG Chuck

?

未來網絡XIA中的虛擬機跨子網遷移

孟宏偉1,2,3，陳鐘1,2,3，孟子騫1,2,3，SONG Chuck4

(1. 北京大學信息科學技術學院，北京 100871；2. 北京大學高可信軟件技術教育部重點實驗室，北京 100871； 3. 北京大學網絡和軟件安全保障教育部重點實驗室，北京 100871；4. 卡耐基梅隆大學計算機學院，匹茲堡15213)

在IP網絡中，虛擬機跨子網遷移后其網絡地址發生了變化，將面臨IP移動性問題。主要研究如何在未來網絡體系結構—XIA（expressive internet architecture）中解決這一問題。利用XIA中標識與地址分離、基于DAG（directed acyclic graphs）的靈活路由等特性，提出了基于集合點代理的虛擬機在線遷移方法，并進行了具體實現和實驗驗證。結果表明，所提出的方法可滿足虛擬機遷移后與通信對端網絡連接的快速恢復，并具備控制平面簡單和數據平面高效的優點。

虛擬機在線遷移；未來網絡體系結構；可表達網絡；集合點代理

1 引言

由于傳統互聯網在路由可擴展性、安全性、移動性以及滿足用戶需求變化等方面的諸多缺陷，未來網絡體系結構（FIA，future internet architecture）正逐步成為全球性研究熱點[1~4]。未來網絡體系結構是區別于現有IP網絡，采用新的命名與路由規則、網絡協議、運行機理以及管理機制設計的網絡體系結構。近年來，世界各國針對未來網絡研究已經制定了系統性的研究計劃，如美國的FIA計劃、歐盟的FP7計劃、日本的AKARI計劃等，這些計劃支持了眾多新型網絡體系結構的研究項目。典型的未來網絡體系結構如美國NSF在其FIA計劃[5, 6]中資助的NDN（named data networking）[7]、MobilityFirst[8]和XIA[9]。這些新型的網絡體系結構，圍繞內容高效獲取、泛在移動、安全可信等互聯網發展趨勢與特點進行了全新設計。其中，NDN注重提升內容的共享和分發效率，MobilityFisrt主要解決海量設備的泛在移動，XIA綜合考慮了網絡演進、內生安全和靈活路由等特性。到目前為止，學術界關于未來網絡體系結構沒有達成一致的意見，尚處于百家爭鳴階段。但是從研究的角度所達成的共識是：未來網絡體系結構需要在具體應用場景的驅動下不斷優化完善。目前，內容共享、VoIP、車聯網、物聯網等應用，已經在這些新的網絡體制下開展了實驗和驗證[10, 11]，并促進了網絡體系結構的改進和提升。

本文基于未來網絡體系結構XIA[12~15]，針對虛擬機在線遷移（virtual machine live migration）這一應用場景進行研究。虛擬機在線遷移是指在不影響虛擬機運行的前提下，將虛擬機從一臺宿主機移動另外一臺宿主機的過程。這一技術可使虛擬機作為獨立的計算單元按需動態移動，契合了未來互聯網眾多應用需求，主要包括如下內容。1) 企業服務向數據中心轉移。在商用領域，中小企業為了節約成本，會逐步將自建IT環境中的軟件服務轉移到數據中心，而且在轉移過程中不影響業務的正常運行。在軍事領域，美國國防部在其云計算戰略[16]中也提出了將遺留系統向云環境過渡的目標，并且要求在遷移過程中保證重要軍事服務的連續性和服務質量。2)數據中心服務質量保證。為了保證租戶的服務質量，數據中心會根據負載均衡、流量控制、災難恢復等要求，將虛擬機在同一數據中心內部或多個數據中心之間動態遷移，遷移過程中要盡量保證虛擬機所提供服務的連續性，不能造成服務中斷或服務降級。3)提供就近服務。服務提供商為了提高服務響應速度，會根據服務/內容訪問熱度將特定的服務即時遷移到距離用戶較近的位置。4)支持“Follow Me Cloud”[17, 18]。為滿足時間敏感性高的應用要求，讓虛擬機跟隨“主人”遷移到本地運行，以降低跨廣域網的傳輸時延。

虛擬機監視器（virtual machine monitor）又稱為hypervisor，如VMWare、Xen、KVM等，能夠較好地支持虛擬機在局域網內的在線遷移，但對于跨子網遷移的情況不能很好地滿足。這是因為虛擬機跨子網遷移后網絡接入點地址（IP地址）發生了變化，需要額外的機制恢復虛擬機與通信對端（CN）的通信連接。針對這一問題，研究人員基于IP網絡和ILNP（identifier-locator network protocol）、LISP（locator/identifier separation protocol）等新型網絡開展了大量研究[19~28]。但這些解決方案相對復雜，靈活性不強，當大量虛擬機頻繁遷移時，面臨可擴展性問題。本文基于未來網絡體系結構XIA，提出了基于集合點代理的虛擬機跨子網遷移方法，并進行了實驗驗證和分析。該方法降低了虛擬機遷移后數據分組重定向的復雜度和開銷，避免了三角路由和隧道轉發，不僅能夠支持虛擬機在線遷移，也可作為一種通用的移動性管理方案，解決XIA網絡中主機和設備的移動性問題。

2 相關工作

2.1 虛擬機在線遷移及其問題描述

虛擬機在線遷移主要包括虛擬機鏡像文件傳輸和網絡連接重同步2個過程[19]。

1) 虛擬機鏡像傳輸是指虛擬機文件系統、CPU和內存狀態的拷貝傳輸過程。源宿主機在保持虛擬機運行的同時，使用預拷貝算法，采取多輪迭代的方式，將虛擬機內存頁面拷貝到目的宿主機。當內存臟頁數小于一定閾值時，將虛擬機停機。在完成最后的內存臟頁傳輸后，虛擬機在目的宿主機重新啟動。虛擬機的停機時間大致相當于最終內存臟頁的傳輸時間。由于最終內存臟頁與整個鏡像文件相比數據量很小（通常為幾十兆字節），在線遷移可極大地縮短虛擬機停機時間。

2) 網絡連接重同步是指恢復虛擬機與通信對端之間已經建立的通信連接。網絡連接重同步根據虛擬機遷移網絡邊界范圍不同而有所差別，包括局域網內部和跨子網（或跨網絡域）2種情況。虛擬機在局域網內遷移時，IP地址可以保持不變，遷移后只需要LAN交換機根據虛擬機ARP廣播更新其所對應的ARP表和端口，就能將發往原虛擬機的數據分組發送到遷移后位置。但是對于跨子網遷移情況，遷移完成后并不能正常工作。這是因為遷移到其他子網后，虛擬機的網絡接入點地址發生了變化，這將帶來2個問題：1) 發往原地址的數據分組無法路由到虛擬機當前位置；2) 虛擬機中與原IP地址關聯的TCP連接失效。從根本上看，這是由于IP網絡中傳輸層連接標識與網絡層地址耦合造成的。通信連接中斷會嚴重影響虛擬機所提供服務的連續性和服務質量，對于關鍵服務和時間敏感性服務尤為重要。

2.2 現有研究工作

2.2.1 IP網絡的解決方案

1) 數據鏈路層的解決方案

利用VXLAN[20]、VPLS（virtual private lan service）[21]等技術，在不同子網之間建立二層虛擬網絡，以此屏蔽虛擬機遷移后IP地址變化。但是建立二層虛擬網絡需要交換設備支持，以及相對復雜的配置和維護，對于有大量虛擬機動態遷移的情況，無疑會增加數據中心網絡基礎設施管理的成本。另外，通常數據中心出于安全防護、負載均衡等考慮，會將數據中心網絡劃分為不同的子網以方便管理。但是為了虛擬機遷移目的將不同數據中心中不同的子網劃分到同一個二層的網絡域，會與數據中心網絡的管理策略相沖突，給數據中心網絡維護和配置帶來了負擔。

2) 網絡層的解決方案

網絡層的解決方案[22, 24]主要使用IP隧道和動態DNS組合的方法。1)通過在虛擬機原地址和新地址之間建立IP隧道，將發往虛擬機原地址的數據分組重新封裝并重定向到虛擬機的新地址，解決已建立連接的數據分組轉發問題。2)虛擬機遷移后更新DNS中虛擬機的IP地址，確保新建連接使用的是虛擬機最新的IP地址，但是這種方法并不高效。①所有發往虛擬機原地址的數據分組都需要經過IP隧道，增加了數據分組經過隧道封裝和解封裝的處理開銷，降低了數據分組轉發的效率；②直到沒有發往原地址的數據分組后，隧道才能關閉，增加了狀態維護的開銷；③發往原地址的數據分組都要經過原來虛擬機所在的網絡，造成了三角路由問題，數據分組傳輸路徑并不是優化路徑；④如果IP隧道設置在源宿主機中，會增加源宿主機的資源占用，違背了由于宿主機資源受限而需要將虛擬機遷移到他處運行的初衷；⑤每次虛擬機的遷移都需要單獨配置和管理隧道，可擴展性不強，無法應對有大量虛擬機遷移的情況。使用Mobile IPv6中的路由優化機制可以消除三角路由問題[25]，在虛擬機遷移后，向已經與其建立連接的所有CN發送綁定更新消息（BU, binding update）。CN在收到BU消息后更新虛擬機地址，然后直接向虛擬機的新地址發送數據分組，從而消除了虛擬機原地址和目的地址之間建立的長期隧道和三角路由。但是該方法增加了虛擬機和通信對端的移動性管理開銷，重新同步過程需要CN的配合，增加了資源受限等便攜移動終端設備的負擔。

3) 傳輸層的解決方案

通過引入新的傳輸層標識（TIFID, transport independent flow identifier），并將TIFID與IP地址動態綁定，也能夠支持虛擬機在線遷移[26]。在虛擬機遷移后，由其內部的同步代理（synchronization agent）向CN發送綁定更新。CN端的同步代理收到綁定更新后，將與TIFID對應的TCP連接重新綁定。但這種方法不能支持虛擬機和CN同時移動的情況，若發生同時移動，虛擬機和CN都無法與對方取得聯系。

2.2.2 其他網絡協議的解決方案

ILNP[27]和LISP[28]都采用了標識和位置分離的設計，其中，ID是傳輸層標識，Locator是網絡層標識。在ILNP中，由邊界路由器（SBR, site border router）負責虛擬機ID和Locator的動態綁定。虛擬機遷移之后，向CN發送(LU, locator update)消息，將移動后的新Locator通知CN所在網絡的SBR。CN所在網絡的SBR收到LU后，更新虛擬機ID與Locator的映射，進而完成向虛擬機最新地址的轉發。在LISP中，由映射系統完成ID與Locator的綁定。虛擬機遷移完成后，一方面向映射系統和源網絡路由器發送Locator更新消息。另一方面，由源網絡路由器根據之前的通信列表向所有CN所在網絡的路由器發送更新通告，觸發其查詢映射系統，并獲取虛擬機的最新地址。

ILNP和LISP中的方法不僅需要在映射系統中更新ID對應的Locator，還要求所有CN所在網絡的路由器更新關于虛擬機的綁定緩存。每次遷移會引發全局性的更新，當CN數量巨大且在網絡中比較分散時，會帶來巨大的信令開銷，存在可擴展性問題。

2.2.3 虛擬機跨子網在線遷移的要求

通過對虛擬機遷移應用場景和相關研究工作綜合分析，虛擬機跨子網在線遷移需滿足以下要求。

1) 最小化對虛擬機中服務的影響。用戶感受到的服務質量不能因為虛擬機遷移而降級，更不能造成重要的應用或服務中斷，要求虛擬機遷移后與其通信對端連接重新同步時間越短越好。2)不增加數據中心網絡配置的復雜度。數據中心網絡不需要為支持虛擬機遷移而進行特殊的設置，虛擬機的遷移也不會影響到現有數據中心網絡配置。3)降低虛擬機遷移后維護網絡連接的開銷。盡量減少原網絡中hypervisor或路由器對維護虛擬機遷移后網絡連接的資源占用。另外，還要考慮盡量降低整個網絡的開銷，不能因為虛擬機網絡接入點的變化而引發全局性路由表更新。4)對上層應用和通信對端透明。對應用層來說，應用程序應該感知不到虛擬機遷移的發生，無需增加額外的編程來支持虛擬機遷移，最好由網絡層來提供對虛擬機遷移的支持。CN無需增加特殊的功能配合虛擬機遷移，要盡量減少與CN控制消息的交互，降低相關協議的復雜度。

2.2.4 XIA概述

XIA是美國國家科學基金（NSF, national science foundation）未來網絡體系結構研究計劃支持的主要項目之一，由卡耐基梅隆大學的研究團隊提出。XIA早在2010年開始的FIA計劃[5]中就得到了支持，并在新一期的FIA-NP計劃[6]中得到了繼續資助，XIA[12~15]的主要特點包括可演進、可信（trustworthy）和靈活路由（flexible routing）3個方面。

1) 可演進。網絡體系結構的細腰不再局限于某一種特定通信主體，而是可包容多種通信主體，并支持未來可能的新的通信規則定義與加入，從而支持網絡長期演進。目前，XIA中定義了4種通信主體，包括網絡域（network domain）、主機（host）、服務（service）和內容（content）。這4種通信主體標識分別用NID、HID、SID和CID表示。NID代表網絡域或子網，路由時用來定位網絡地址；HID代表主機標識，支持單播（unicast）路由尋址；SID代表網絡中的服務實例，支持任播（anycast）；CID是內容標識，便于網絡中的內容獲取。

2) 可信。NID、HID和SID（統稱為XID）都是通過對各自公鑰進行散列算法得到的160 bit二進制數據。基于XID，XIA設計了支持數據分組的源地址驗證的機制。首先第一跳路由器（first-hop router）負責驗證與其連接的主機是否有源地址欺騙行為（HID verification）。其次，數據分組所經過的所有的邊界路由器上，會檢查數據分組的上一跳NID是否合法（NID verification）。這種認證機制保證了數據分組從主機到邊界路由器，以及邊界路由器之間的可信轉發，是一種內生安全機制。

3) 靈活路由。XIA使用了有向無環圖（DAG, directed acyclic graphs）的地址結構，支持靈活路由。XID作為DAG中的節點（node），通過相互指向表示一個地址結構，這種方法區別于IP地址和NDN命名采用的字符串方式。

一臺主機基本的DAG如圖1（a）所示。?表示概念上的起點，沒有具體含義，HID為終點，是主機標識。終點又稱為“Intent”，為想要到達或者獲取的對象。如果終點為HID，表示想要到達的主機；若終點為CID，表示想要獲取的內容；若終點為SID，表示想要獲取的服務。這種地址表示方式，將意圖直接表達在DAG中，也就是XIA中“expressive”的內涵。這種路由方式為網絡提供了針對內容或服務的優化機會。由于網絡中HID、SID和CID的數量巨大，為了提高路由效率，圖1（b）給出了支持層次化路由的DAG。路由器首先要將數據分組發送到以NID為標識的子網，當到達NID后，再將數據分組轉發到標識為HID的主機上。這種方式相當于IP中按照網絡地址和主機地址的尋址路由方式。圖1（c）說明了對于不能直接尋址到HID的情況，可通過fallback路徑（虛線），先轉發到備用的重定向節點，然后再轉發到HID。虛線表示的fallback路徑在路由時優先級較低，當路由表中不存在到下一個節點直接路徑（實線）的情況下使用。這種路由機制為路由可靠性（fallback指向備用路由節點）和未來網絡與現有網絡兼容（fallback指向IP節點）提供了很大的靈活性。

3 基于集合點代理的虛擬機在線遷移

3.1 基本機制

在XIA中，虛擬機的DAG可表示為NID1→HID，其中NID1為虛擬機所在的網絡標識，HID為虛擬機標識。虛擬機跨子網遷移到目的地網絡NID2后，虛擬機的DAG變為NID2→HID。遷移后，發往虛擬機的數據分組依然會按照原來的路徑發送到NID1。由于虛擬機已經遷移離開，所以該數據分組會被丟棄。

為了解決這一問題，利用DAG中的fallback機制，并引入了集合點代理（RA, rendezvous agent），提出了基于集合點代理的虛擬機遷移方法。按照XIA中基于DAG的路由原理，當路由器無法直接路由時，會根據DAG中的fallback路徑轉發。因此，在虛擬機的DAG中增加一個fallback路徑，并且將fallback指向RA，由RA負責數據分組轉發到虛擬機最新位置。采用了fallback的虛擬機DAG如圖2所示。

基于集合點代理的虛擬機遷移機制如圖3所示。1)虛擬機遷移后，發往虛擬機的數據分組按照原來的DAG發送到虛擬機原來所在網絡路由器（源路由器）；2)源路由器中指向虛擬機的路由表項將被超時刪除，源路由器接收到CN發往虛擬機的數據分組后，無法通過正常路徑（DAG中的實線）路由，會根據fallback將數據分組轉發到RA；3)RA接收到轉發來的數據分組后，根據虛擬機遷移后注冊的最新DAG，將數據分組轉發到虛擬機的最新位置；4)虛擬機接收到RA轉發的數據分組后，使用新的DAG向CN進行回復；5)CN收到虛擬機遷移后發來的數據分組，根據虛擬機的新地址更新Xsocket綁定（類似socket），之后按照虛擬機最新DAG發送數據分組，完成通信連接中同步。

RA作為虛擬機遷移后的移動錨點，作用相當于Mobile IP中的家鄉代理（HA, home agent）。RA維護虛擬機的最新位置信息，并且負責轉發數據分組，但是RA與IP網絡中的HA有所區別。1) 網絡位置不同。RA不必限定在虛擬機的家鄉網絡中，而HA必須位于移動節點的家鄉鏈路上。RA可以作為一種網絡服務部署在網絡中任意位置。移動節點可以自由選擇RA作為其fallback指向的移動錨點，選擇的策略能夠根據不同的應用場合靈活設置。比如在考慮災難恢復時，RA的選擇就要避開原來虛擬機所在的網絡。2) 數據分組轉發方式不同。RA通過修改數據分組頭的DAG進行轉發，而HA則需要通過隧道方式進行轉發。采用隧道方式的情況下，HA端的數據分組封裝和虛擬機端的數據分組解封裝會帶來額外開銷和性能損失。從網絡層次結構上看，本文提出的方法屬于網絡層的解決方案，虛擬機遷移后可以自動與通信對端恢復通信連接。對上層應用透明，無需在源宿主機上增加如隧道、重定向、主動更新路由表等額外的操作。

3.2 主要流程

虛擬機從開始準備遷移，到遷移后完成通信連接恢復，主要分為4個階段，如圖4所示。

1) 遷移前，虛擬機與通信對端正常通信

虛擬機啟動后，接收到XHCP廣播（類似DHCP），得到當前網絡NID和RA的相關信息。

虛擬機向RA發送注冊請求消息（registration request message），注冊當前DAG。

RA收到注冊請求消息后，將虛擬機加入綁定緩存（BCE, binding cache entry），并返回注冊響應消息（registration reply message）。

虛擬機收到注冊響應消息后，將fallback指向RA，完成DAG配置，與通信對端建立連接。

2) 遷移開始，虛擬機正常運行

源宿主機輸入遷移命令，虛擬機開始遷移。通過不斷地迭代拷貝，將虛擬機的鏡像文件和內存狀態向目的宿主機傳輸。虛擬機沒有停機，與外界通信正常。

3) 虛擬機停機，完成最后的臟頁傳輸

迭代拷貝進入最后階段，虛擬機停機，等待最后內存臟頁數據的傳輸完成。虛擬機停機后，無法向源路由器發送路由更新消息，導致源路由器虛擬機路由表項超時。源路由器認為虛擬機已經不再網絡中，把虛擬機路由項從路由表中刪除。

4) 虛擬機重啟，與通信對端恢復通信

虛擬機在目的宿主機重新啟動后，同樣會接收到目的地網絡的XHCP廣播消息。通過對XHCP中的NID信息與之前DAG中的NID進行比對，虛擬機發現所在網絡的NID發生了變化（如NID1變為NID2）。虛擬機更新DAG中的NID，將NID1變為NID2。

虛擬機發現NID變化后，一方面，使用新的DAG向RA發送綁定更新（BU, binding update），另一方面把DAG更新情況通知Name Service。

RA收到BU消息后，更新綁定緩存。

以虛擬機原來的DAG為目的地址的數據分組，被路由到虛擬機原來所在網絡的路由器。由于源路由器中不存在虛擬機HID對應的路由項（被超時刪除），源路由器會使用fallback將數據分組發送到RA。

RA收到源路由器轉發的數據分組后，根據綁定緩存修改目的DAG進而轉發。

虛擬機收到由RA轉發的數據分組后，使用新DAG直接向CN發送數據分組。

在反向路徑上，如果CN收到由虛擬機最新位置發來的數據分組，CN會自動更新其Xsocket中與虛擬機綁定的DAG。之后虛擬機通信中所有數據分組都會使用新的DAG直接發送到虛擬機最新位置，不需要經過RA轉發。虛擬機與CN之間的通信連接重同步過程完成。

4 設計與實現

按照虛擬機跨子網遷移的應用場景構建的實驗環境如圖5所示。

實驗環境分為NID1和NID2這2個子網，XIA Router1和XIA Router2分別是NID1和NID2的網關路由器。宿主機Host1位于NID1，宿主機Host2位于NID2，分別連接在Router1和Router2上。RA位于子網1中，虛擬機的初始位置在宿主機Host1上，在實驗中動態遷移到宿主機Host2。通信對端CN連接在Router2上，在虛擬機遷移過程中與虛擬機進行通信，用來觀察遷移過程對服務的影響。Router、Host都是運行了XIA協議棧（XIA協議棧通過Click路由器實現）的PC機，操作系統為Linux (Ubuntu 12.04) 。PC機之間通過100 bit/s 以太網交換機連接。基于Click的XIA協議棧從GitHub獲得（http://www.github.com/xia-project/xia-core）。下面介紹每個網絡元素的實現細節。

4.1 宿主機與虛擬機

宿主機使用的虛擬機監視器為KVM（kernel- based virtual machine），宿主機和VM之間的網絡連接選取的是橋接模式（bridging mode）。Host1、Host2和VM采用了XIA 原型系統中主機的典型配置。為縮短虛擬機鏡像文件的傳輸時間，源宿主機和目的宿主機之間采用了共享存儲的方式，使用網絡文件系統（NFS）共享虛擬機鏡像文件。這樣，虛擬機遷移傳輸的主要是虛擬機內存和CPU狀態，以省去鏡像文件傳輸，方便多次實驗。

4.2 XIA路由器

Router1和Router2由2臺配置了雙網卡的PC機實現，使用的是XIA中Router的典型配置。本文在Router中增加了路由表項超時機制。如果路由器在一定時間內沒有收到主機注冊信息，定時器發生超時后將刪除對應的路由表項。當虛擬機遷移后，源路由器中關于虛擬機的路由表項被超時刪除，確保了源路由器將發往虛擬機的數據分組通過fallback轉發給RA。

4.3 Name Server

Name Server在XIA中類似于DNS，提供名稱解析服務，完成名稱與網絡地址DAG的綁定。通信發起方可以通過查詢Name Server獲取通信對端的DAG。當虛擬機的DAG改變時，要在Name Server中進行更新，以方便后續其他用戶查找。在實驗環境中，Name Server運行在Host1上。

4.4 通信對端

在XIA傳輸層協議中，接收方會對數據分組頭中的源地址字段進行檢查，對比DAG是否有變化，若有變化就進行更新，下次回復數據分組將使用更新后的地址。在虛擬機遷移后，CN會發現虛擬機DAG中的HID相同但NID不同，則判斷數據分組來自同一個虛擬機，與之前是同一個連接，將替換并使用最新的DAG為目的地址。在虛擬機遷移之后，只要CN收到虛擬機發送的數據報，就可以自動完成通信連接的重新同步，直接向虛擬機的新地址發送數據，而無需虛擬機向CN發送專門的通告消息，簡化了路由優化機制。

4.5 集合點代理

RA是在XIA網絡中新增的功能實體，提供對移動節點或者虛擬機的移動性管理功能。在部署上，RA既可以獨立運行，也可以與路由器綁定到一起。RA作為移動錨點的功能不僅局限在移動節點的家鄉網絡中，它也可以作為其他與RA不在同一個NID中移動節點的代理。也就是說，在XIA網絡中有了RA，移動節點可以自由選擇RA作為其fallback指向的移動錨點。這樣對移動性的支持更加地靈活，能夠根據支持移動節點的具體要求（安全、實時性等）靈活設置。RA的主要功能包括：1）虛擬機位置管理，負責對虛擬機位置進行注冊，接收虛擬機遷移后的BU消息，更新虛擬機對應的綁定緩存；2）數據分組轉發，接收CN發往虛擬機的數據分組，并按照虛擬機對應的綁定緩存，修改數據分組的目的地址并轉發。

5 定量與定性分析

本節通過實驗測試XIA中虛擬機遷移給用戶使用服務帶來的影響，并給出定量和定性分析。

5.1 服務響應時間

服務響應時間是指從用戶的角度來看，由于虛擬機遷移引起的服務遲滯時間。為了測定服務響應時間，在虛擬機中運行plus server程序，在通信對端運行plus client程序：雙方建立連接后，通信對端周期性地向虛擬機發送一個數字，虛擬機將用戶端發送的數字加1后返回。通信對端記錄下每個數字返回的時間，即為服務響應時間。需要指出這是一種簡化方法，精確服務響應時間的計算要比本文復雜。虛擬機遷移前后的服務響應時間如圖6所示。

從圖6中可以看出，服務響應時間呈現出4個階段的差別，每個階段服務響應時間的均值和方差如表1所示。

表1 服務響應時間

其中，在虛擬機遷移階段的服務響應時間（均值為8.166 ms）明顯大于遷移前、遷移后的服務響應時間（均值分別為1.925 ms1.028 ms），而且服務響應時間的波動也很大。這是因為在遷移過程中要執行拷貝傳輸，虛擬機內存臟頁傳輸占用了大量網絡帶寬，增加了虛擬機與通信對端的通信時延，并且由于帶寬占用的不規律性，造成了通信時延方差較大。而在虛擬機遷移前和遷移后，并沒有其他程序占用帶寬，所以這2個階段的服務響應時間相對較小（2 ms以內），并且波動不大。在虛擬機停機階段，虛擬機無法響應通信對端，所以此階段的服務響應時間認為是無窮大。

另外，虛擬機遷移前和虛擬機遷移后的服務響應時間略有不同（均值分別為1.925 ms和1.028 ms），前者大概為后者的2倍。這是因為，在遷移之前，虛擬機與通信對端位于2個子網中，通信路徑上要經過2臺路由器（如圖5所示），會引入額外的傳輸時延和處理時延。而遷移后二者位于同一個局域網中，相比之下時延會顯著降低。可以預料，如果2臺路由器之間的傳輸時延增加（如廣域網），遷移前后的服務響應時間差別也會隨之變大。

5.2 服務中斷時間

服務中斷時間是由于在遷移最后階段，虛擬機停機拷貝引起的服務“無響應”時間。從過程上看，服務中斷時間是從虛擬機停機開始，直到虛擬機重啟并完成網絡連接恢復所花費的時間，包括虛擬機停機時間、虛擬機網絡配置并完成與RA綁定更新的時間。在這段時間內，由于虛擬機掛起，網絡沒有配置完成，虛擬機中的服務無法與外界發生交互。其中，虛擬機停機時間是指虛擬機在源宿主機停機，完成最后的內存臟頁傳輸，以及在目的宿主機重啟的時間。虛擬機網絡配置時間是指虛擬機在目的地網絡獲取新的網絡接入點地址，以及向新的接入路由器完成路由表注冊的時間。虛擬機與RA綁定更新的時間，是指虛擬機獲得新DAG，向RA發送綁定更新消息并收到綁定更新確認的時間。

在實驗中，通信對端若在一定時間內（實驗中為1 s）沒有收到虛擬機回復，則會進行重發，直到收到回復為止，這段時間即為服務中斷時間。經過多次實驗得到的服務中斷時間均值為4 350 ms。應當注意到，這一時間主要被最后階段的內存臟頁傳輸所占用。實驗中，需停機拷貝階段的臟頁內存為54 MB，網卡速率為100 Mbit/s，內存臟頁傳輸的時間大致為4 320 ms。而虛擬機啟動、進行網絡配置并完成與RA綁定更新的時間僅為50 ms。因此，服務中斷時間主要取決于最終臟頁內存的傳輸時間。如果提升網絡傳輸速率到1 Gbit/s，服務中斷時間可以縮小到1 s以內。當前數據中心之間多以專線連接，帶寬通常達到1~10 Gbit/s，因此將虛擬機停機時間控制在1 s內甚至幾百毫秒是可能的，可基本滿足網頁瀏覽、視頻播放等應用要求。在這種情況下，虛擬機與RA的綁定更新時間就會成為影響服務中斷時間的關鍵因素。如果虛擬機與RA在廣域網中相隔較遠，通信傳輸時延有可能達到秒級。所以，有必要研究RA合理部署以縮短綁定更新時間。

5.3 路由優化

三角路由問題存在于Mobile IPv4中，這是因為節點移動后數據分組必須通過家鄉代理進行轉發。Mobile IPv6中采用了路由優化機制，通過向通信對端發送通告消息的方式避免了三角路由。在XIA中，本文提出的方法在避免三角路由的同時，簡化了路由優化機制和流程。

為了測試路由優化的效果，比較了plus server和Xping（類似于IP中的ping）的服務響應時間。在Xping中，通信對端以一定的時間間隔向虛擬機發送Xping命令，通過測量收到Xping回復的時間，得出其服務響應時間。虛擬機遷移前和遷移后2種應用的服務響應時間如圖7和圖8所示。

從圖中可以看出，遷移之前2種應用的服務遷移時間大致相同，而遷移之后，Xping的服務遷移時間明顯大于plus server。這是由于Xping基于UDP，遷移后數據分組發送的目的地址仍然是虛擬機遷移之前的DAG，導致數據分組首先到達虛擬機源網絡路由器，然后再由RA轉發到目的地網絡，形成了三角路由。而plus server基于TCP，虛擬機遷移后，只要通信對端收到虛擬機從新地址發來的數據分組，其傳輸層協議就會根據新的DAG更新目的地址，從而實現路由優化，避免了之后的三角路由。這種方式也無需虛擬機主動向通信對端發送專門的通告消息進行位置更新，實現起來更加簡化。因此，對基于UDP的應用，需要由上層協議定期查詢DNS（或name server）獲取最新地址，才能避免三角路由。

5.4 關于RA的討論

虛擬機遷移與設備移動的移動特點不同。移動設備的移動性具有一定隨意性，而虛擬機遷移是在數據中心預先規劃下進行的，有一定的計劃性，遷移的目的地是預先確定好的。利用這一特性，可以將虛擬機遷移的目的網絡地址作為先驗信息在遷移之前寫入RA中，這樣可以省去虛擬機在目的地網絡啟動后向RA發送的綁定更新的時間（通常為一個RTT），進而縮短服務中斷時間。對于網絡游戲等交互性強的時敏性應用，這種方法能進一步提高服務質量。

另外，ID與Locator分離的網絡體系結構如ILNP、LISP、MobilityFirst等，在支持移動性方面都具有一定優勢。但是在這些網絡體系結構中，ID與Locator的動態綁定是在路由器上完成的（或者依賴于全局的名稱解析服務），單次移動事件就會引發全局路由表的更新，當大量設備或虛擬機移動（遷移）時，將導致可擴展性問題。在XIA中，通過RA支持虛擬機遷移或設備的移動不存在這樣的問題。因為RA可以根據數據中心或用戶的需要按需設置和部署，為網絡的移動性支持提供了較大的靈活性。

6 結束語

本文針對虛擬機跨子網在線遷移中的通信連接快速恢復問題，利用未來網絡體系結構XIA中ID與Locator分離、基于DAG的靈活路由等特點，提出了基于集合點代理的虛擬機遷移方法，并通過實驗對服務響應時間、路由優化等進行了驗證和分析。結果表明，本文提出的方法具有一定的靈活性，能夠滿足虛擬機在線遷移的要求。

[1] 黃韜, 劉江, 霍如, 等. 未來網絡體系架構研究綜述 [J]. 通信學報, 2014, 35(8):184-197 . HUANG T, LIU J, HUO R, et al. Survey of research on future network architectures [J]. Journal on Communications, 2014, 35(8):184-197.

[2] 任勇, 徐蕾, 葉王毅, 等. 未來網絡的研究進展和發展趨勢[J]. 中國科技論文在線, 2011, 6(4):247-255. REN Y, XU L, YE W Y, et al. Research progress on future Internet [J]. Science Paper Online, 2011, 6(4):247-255.

[3] 畢軍. SDN體系結構與未來網絡體系結構創新環境[J]. 電信科學, 2013, 1(8): 7-15. BI J. SDN Architecture and future network innovation environment[J]. Telecommunications Science, 2013, 1(8): 7-15.

[4] 林濤, 李楊, 韓言妮, 等. 融合內容和服務的未來網絡體系架構[J]. 網絡新媒體技術, 2012, 1(6):52-57. LIN T, LI Y, HAN Y N,et al. A future internet architecture of content and service aware network[J]. Network New Media, 2012, 1(6):52-57.

[5] NSF FIA project[EB/OL]. http://www.nets-fia.net/, 2013.

[6] NSF FIA next phase[EB/OL]. http://www.nsf.gov/news/newssumm.jsp? cntn_id=131248, 2014.

[7] NDN project[EB/OL]. http://www.named-data.net/, 2013.

[8] MobilityFirst project[EB/OL]. http://mobilityfirst.winlab.rutgers.edu/, 2013.

[9] XIA project[EB/OL]. http://www.cs.cmu.edu/~xia/,2013.

[10] ZHANG L X, AFANASYEV A,et al. Named data networking[C]// ACM SIGCOMM Computer Communication Review, c2014.

[11] Raychaudhuri D, Nagaraja K, Venkataramani A. MobilityFirst: a robust and trustworthy mobility centric architecture for the future Internet[J]. ACM SIGMobile Mobile Computing and Communication Review (MC2R), 2012, 16(4).

[12] Anand A, Dogar F, et al. XIA: an architecture for an evolvable and trustworthy internet[R]. Technical Report CMU-CS-11-100, Carnegie Mellon University, 2011.

[13] Han D S, Anand A, et al. XIA: efficient support for evolvable internetworking[C]//The 9th USENIX Symposium on Networked Systems Design and Implementation (NSDI'12). San Jose, CA, c2012.

[14] Anand A, Dogar F, Han D S, et al. XIA: an architecture for an evolvable and trustworthy internet [C]//Tenth ACM Workshop on Hot Topics in Networks (HotNets-X). Cambridge, MA, c2011.

[15] Naylor D, Mukerjee M K, et al. XIA: architecting a more trustworthy and evolvable internet[J]. ACM SIGCOMM Computer Communication, 2014, 44(3): 50-57.

[16] Department of Defense of US. Cloud computing strategy[R]. July, 2012.

[17] Antonescu A F, Gomes A, et al. Follow-me cloud: an openflow-based implementation[C]// 2013 IEEE International Conference, c2013.

[18] Satyanarayanan M, Bahl P, Caceres R, et al. The case for VM-based cloudlets in mobile computing[C]//Pervasive Computing, IEEE, 2009.

[19] Fischer A, Fessiy A, Carley G, et al. Wide-area virtual machine migration as resilience mechanism[C]//30th IEEE Symposium on Reliable Distributed Systems Workshops, c2011.

[20] Mahalingam M, Dutt D, Duda K, et al. VXLAN: a framework for overlaying virtualized layer 2 networks over layer 3 networks[EB/OL]//https://tools.ietf.org/html/draft-mahalingam-dutt-dcops-vxlan-02.

[21] Kompella K and Rekhter Y. Virtual private LAN service (VPLS) using bgp for auto-discovery and signaling[EB/OL]. http://www.ietf. org/rfc/rfc4761.txt.

[22] Ajila A S, Iyamu O. Efficient live wide area vm migration with IP address change using type ii hypervisor[C]//IEEE IRI 2013. San Francisco, California, USA, c2013:14-16,

[23] Bradford R, Kotsovinos E, et alLive wide-area migration of virtual machines including local persistent state[C]//VEE’07. San Diego, California, USA, c2007.

[24] LI Q. Hypermip: hypervisor controlled mobile ip for virtual machine live migration across networks[C]//High Assurance Systems Engineering Symposium. c2008: 80-88.

[25] Harney E, Goasguen S, et al. The efficacy of live virtual machine migrations over the internet[C]//VTDC’07. Reno, NV, USA, c2007.

[26] Kalim U, Gardner M K, Brown E J, et al. Seamless migration of virtual machines across networks[C]//Computer Communications and Networks (ICCCN). c2013.

[27] Raad P, Colombo G, et alAchieving sub-second downtimes in internet-wide virtual machine live migrations in LISP networks[C]// Integrated Network Management. c2013.

[28] Bhatti S N, Atkinson R. Secure & agile wide-area virtual machine mobility[C]//Military Communications Conference. c2012.

VM migration across subnets in future internet architecture—XIA

MENG Hong-wei1,2,3, CHEN Zhong1,2,3, MENG Zi-qian1,2,3, SONG Chuck4

(1. School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China; 2. Key Laboratory of High Confidence Software Technologies (Peking University) Ministry of Education, Beijing 100871, China; 3. MoE Key Laboratory of Network and Software Security Assurance, Peking University, Beijing 100871, China;4. School of Computer Science, Carnegie Mellon University, Pittsburgh 15213, USA)

When a VM migrates among hosts residing in two IP subnets, the network attachment point of VM changed, which causes the IP mobility problem. It was meaningful to design and evaluate VM migration performance under the future internet architecture. XIA (expressive Internet architecture) was focused, a novel future internet architecture, support for VM live migration. Motivated by the natural features of ID/location decoupling, versatile routing with DAG (directed acyclic graphs) in XIA, The design and implementation of rendezvous agent based migration (RABM) approach was given. In demonstrate that XIA supported VM migration can achieve fast network re-connection between VM and correspondent node, while keeping the network control plane simplicity and data plane efficiency.

virtual machine live migration, future internet architecture, expressive internet architecture, rendezvous agent

TP302

A

10.11959/j.issn.1000-436x.2016058

2015-07-25；

2015-11-06

國家自然科學基金資助項目（No.61170263）

The National Natural Science Foundation of China (No.61170263)

孟宏偉（1983-），男，山西神池人，北京大學博士生，主要研究方向為未來網絡體系結構、網絡與信息安全。

陳鐘（1963-），男，江蘇徐州人，北京大學教授、博士生導師，主要研究方向為計算機軟件與理論、密碼學、網絡與信息安全。

孟子騫（1990-），男，北京人，北京大學博士生，主要研究方向為未來網絡體系結構、網絡與信息安全。

SONG Chuck（1957-），男，卡耐基梅隆大學高級研究員，主要研究方向為計算機網絡、未來網絡體系結構。