基于Serval的廣域網下虛擬機在線遷移系統

同濟大學電子與信息工程學院　周德江

?

基于Serval的廣域網下虛擬機在線遷移系統

同濟大學電子與信息工程學院周德江

【摘要】隨著互聯網的不斷發展，TCP/IP網絡架構暴露出越來越多的問題，優化TCP/IP網絡的研究逐漸引起了學術界的關注。普林斯頓大學(Princeton University)提出的Serval網絡架構在網絡層之上添加一個新的服務控制層來解耦服務層的控制平面和數據平面。在Serval的基礎之上，本文提出了一種虛擬機在線遷移通信恢復的方法，保證虛擬機在遷移結束之前已經建立的通信能夠正常工作。相對于傳統的虛擬機在線遷移通信恢復的方法，該方法更加的簡單，方便，并且不會產生額外的開銷。

【關鍵詞】網絡；Serval架構；虛擬機在線遷移

0　引言

TCP/IP網絡奠定了今天Internet的基礎，但隨著互聯網的普及和計算機的大范圍的使用，現有的TCP/IP網絡架構逐漸暴露出越來越多的缺點。為了改變目前的困境，學術界主要有兩條思路，一是，完全摒棄現有的TCP/IP架構，研究并部署全新的網絡體系，比如卡耐基梅隆大學主導研究的XIA[1]和加利福尼亞大學洛杉磯分校主導研究的命名數據網絡NDN[2]。這一類的研究旨在研發出全新的網絡架構，并取代現有的TCP/IP架構。二是改良和完善現有的TCP/IP架構。相對于第一條思路，第二條思路的優勢在于能夠較為快速的完成實驗室到實際應用的轉換，并能夠迅速的接受到實際的檢驗，并根據反饋進行進一步的優化。普林斯頓大學提出的Serval架構正是在現有的TCP/IP的基礎上的一次改進。

高效合理地對云上資源的分配和管理是云計算技術中必須要解決的一個問題。虛擬機在線遷移正是一種能夠高效管理虛擬化的資源的技術，具有很大的研究價值。通過虛擬機在線遷移，可以進行負載均衡，能量管理[3]，災難恢復[4]等。在TCP/IP網絡中，局域網下的虛擬機在線遷移，遷移之后通信可以自動地恢復，但是，在廣域網下，因為原有的IP地址無法在新的網絡中使用，所以通信無法進行自動地恢復。現有的方案包括創建一個隧道[5]，ARP代理[6]，移動IP等方案。這些方案要么比較復雜，需要新的配置或者節點機器。要么產生額外的流量，比如移動IP的三角路由。

1　系統設計

1.1通信恢復原理

Serval通過在TCP/IP的傳輸層和網絡層之間添加一個新的層SAL（Service Access Layer）構建一個以服務為中心的網絡[7]。服務訪問層包含兩個重要的表，流表和服務表。

流表中記錄了連接的源流標識符，目的流標識符，源IP地址，目的IP地址以及下一跳的網卡。當IP地址發生變化之后，只需要修改Serval中的流表即可以恢復通信。在Serval中具有遷移流的功能，即將流從一張網卡遷移到另外一張網卡中。遷移流將修改通信雙方的流表中的源IP地址和目的IP地址。為了實現虛擬機在線遷移通信的自動恢復，遷移完成之后，首先需要給虛擬機一個新的IP地址，然后采用Serval中遷移流的功能，特殊點在于遷移前后流的網卡是同一張，但是會觸發修改修改流表的操作，從而達到修改流表中虛擬機IP地址的目的。哲學角度來說，IP地址修改之后的網卡與IP地址修改之前的網卡并不是同一張網卡，遷移流將流從修改IP前的網卡遷移到修改IP后的網卡上。

1.2系統模塊

1.2.1數據傳輸模塊

實驗采用的虛擬機是QEMU-KVM，通過分析QEMU-KVM的源程序可知，KVM虛擬機提供TCP、EXEC、UNIX和FD四種虛擬機遷移的方式，其中，TCP方式，通過在兩臺主機間建立TCP連接進行遷移數據的傳輸；EXEC方式，源主機上將遷移數據作為一個輸入流發送給本地遷移發送進程，目的主機的遷移發送進程接收到遷移數據之后將其作為一個輸出流發送給KVM，遷移發送進程和遷移接收進程可以由用戶自定義。因為Serval采用的是新的通信模式，所以EXEC方式可以用于Serval網絡虛擬機在線遷移。

1.2.2自適應目的主機網絡環境模塊

虛擬機進入到一個新的網絡環境中，原有的IP地址以及網關信息已經無法使用，必須要進行更新。在原始套接字的基礎上，定義了一個新的網絡狀態更新協議和以太網報文，用于保證虛擬機能夠適應新的網絡環境。更新協議及其報文格式將在1.3節介紹。恢復運行之后，虛擬機根據接收到的更新網絡狀態的報文，虛擬機更新自己的網絡狀態，采用新的IP地址和網關。

1.2.3流狀態更新模塊

遍歷虛擬機中的流表，根據每一條流的源流標識符，使用serval中遷移流的功能，將流遷移到擁有了新網絡地址的網卡上。

1.2.4性能測試模塊

該模塊用于驗證虛擬機在線遷移是否是無縫的。

1.3網絡狀態更新協議及其報文

圖1　虛擬機網絡狀態更新報文

遷移數據接收完成之后，遷移接受進程推出之前發送一個消息給本地的一個守護進程P，該守護進程P接收到這個消息之后周期性地發送虛擬機恢復運行探測報文，該報文在虛擬機恢復運行之后會得到一個確認消息，守護進程P接收到確認消息之后構造虛擬機網絡狀態更新報文，該報文包含了虛擬機新的網絡地址以及新的網關地址，報文格式如圖2所示。虛擬機完成了狀態更新之后發送確認消息給宿主主機的守護進程P，守護進程P接收到確認數據包之后退出。如果守護進程P超過一定時間仍未接收到確認，再次發送網絡狀態更新報文，嘗試三次之后，報告失敗信息。圖2中，協議字段包含兩種情況，0x0001表示宿主主機發送的網絡狀態更新報文，0x0002表示虛擬機發送給宿主主機的確認報文。

1.4停機時間測量方案及其誤差分析

總遷移時間（Total migration time）和停機時間（Downtime）是虛擬機在線遷移中兩種重要的性能評價參數[8]。停機時間是指虛擬機在源宿主主機掛起之后到在目的主機通信恢復之后的一段時間間隔。相對于停機時間，總遷移時間容易測量，本文不做討論。

在TCP/IP網絡中，ping通常是作為一個網絡連通性檢測的工具。Serval中也可以實現類型ping的應用，根據Serval的套接口，本文實現了Serval-ping，利用Servalping工具也可以用來估算虛擬機在線遷移的停機時間。在虛擬機停機期間不斷發送Serval-ping包給虛擬機，記錄下丟失的Serval-ping的個數。例如，如果Serval-ping在虛擬機遷移的停機時間內有n個未收到回應，且Serval-ping的時間間隔為△t，那么即可估算出停機時間約為n*△t。

2　性能分析

實驗測試床如圖2所示。其中HOST_A和HOST_B分別指定SR1和SR2作為其默認的服務路由器。虛擬機從HOST_A遷移到HOST_B。HOST_VM上也安裝了Serval網絡環境，其中，HOST_VM的服務路由器設置成SR1。

圖2　基于Serval的廣域網下虛擬機在線遷移實驗測試床

一方面通過Serval下的Serval-ping應用測試遷移結束之后是否可以得到Serval-ping應答以及測量停機時間，另一方面通過運行兩種不同類型的負載，CPU密集型和I/O密集型，比較不同的負載下遷移性能的差別。其實驗結果如表1所示，Serval的確可以很方便的實現虛擬機在線遷移中通信的恢復。此外，對比可以發現，I/O密集型的負載，遷移的總時間和停機時間都比較長。這是由于在遷移過程中，I/O密集型的負載會影響宿主主機的數據傳輸。虛擬機在線遷移數據傳輸過程相對于宿主主機而言是一種I/O密集性負載，會與虛擬機的I/O操作形成資源的競爭，因此遷移總時間和停機時間更長。

表1　基于Serval的廣域網下虛擬機在線遷移實驗結果

3　結論

本文提出了一種基于Serval的廣域網下虛擬機在線遷移通信恢復方案。主要創新點在于提出了一種網絡狀態更新及其報文格式；通過遷移流的方法完成Serval的流表中IP地址的更新；通過一種類似于ping的應用Serval-ping進行停機時間的測量，針對不同負載帶來的性能差異進行了分析。

參考文獻

[1]Han D,Anand A,Dogar F R,et al.XIA:Efficient Support for Evolvable Internetworking.9th USENIX conference on Networked Systems Design and Implementation,2012,Vol.12:309-322.

[2]Zhang and D.Estrin and J.Burke.Named data networking(ndn)project.Technical report,PARC;2010.

[3]C.Clark,K.Fraser,S.Hand,J.G.Hansen,E.Jul,C.Limpach,et al.Live migration of virtual machines.Symposium on Networked Systems Design & Implementation;2005:273-286.

[4]Comer D.A future Internet architecture that supports Cloud Computing[C].In:Proceedings of the 6th International Conference on Future Internet Technologies.ACM;2011:79-83.

[5]R.Bradford,E.Kotsovinos,A.Feldmann and H.Schioberg. Live Wide-Area Migration of Virtual Machines Including Local Persistent State.VEE;2007:169-179.

[6]E.Silvera,G.Sharaby,D.Lorenz and I.Shapira.IP Mobility to Support Live Migration of Virtual Machines across Subnets.SYSTOR;2009.

[7]Nordstr?m E,Shue D,Gopalan P,et al.Serval:An End-Host Stack for Service-Centric Networking[J].Proc Usenix Nsdi,2012.

[8]Zhang J,Ren F,Lin C.Delay Guaranteed Live Migration of Virtual Machines.INFOCOMM’2014.IEEE.2014:574-582.

周德江（1991—），江蘇鹽城人，研究生，現就讀于同濟大學。

作者簡介：