支持并行化快速實驗部署的網絡創新實驗平臺

李 帥，李 勇，蘇 厲，金德鵬，曾烈光

(清華大學電子工程系，北京 100084)

1 概述

伴隨著互聯網的不斷發展，其規模的擴張和業務類型的需求多樣化帶來了很多問題，例如IPv4地址的耗盡、對移動特性的支持不夠、由猛增的視頻流量導致的網絡擁塞等。這些問題直指互聯網體系結構，因此針對互聯網體系結構革命性創新的研究在全球逐步興起，例如美國的NDN項目、XIA項目。但現有的網絡無法靈活地支持各種新型的體系結構部署，所以，一大批支持網絡創新的工程項目和實驗平臺涌現出來，比較有代表性的有美國的GENI[1]項目、歐洲的FIRE[2]項目、PlanetLab[3]平臺、Emulab[4]平臺。這些項目和平臺大多采用網絡虛擬化技術，支持多個實驗網絡的并行和靈活的網絡配置，為各種新型體系結構的性能測試提供了有力的工具。

網絡創新實驗平臺是一個開放的平臺，不同的實驗者會接連不斷地提交實驗請求，實驗部署的耗時長短不僅影響實驗者的個人體驗，也是衡量實驗平臺工作效率的重要指標。Emulab建立初期對實驗的部署進行了闡述和耗時測試[5]，實驗部署的耗時問題首次得到關注。在文獻[4-5]中，PlanetLab、Emulab等主流項目和平臺的實驗部署耗時都較長，這樣的耗時會大大影響整個實驗平臺的運行時效。但很多實驗平臺在建設過程中，更多注重靈活定制實驗、隔離性等特性，對實驗部署的耗時問題并不重視。

清華大學網絡創新實驗(Tsinghua University Network Innovation Environment, TUNIE)[6-7]平臺是基于虛擬化技術的網絡創新實驗平臺。在建設TUNIE的過程中，也遇到了實驗部署耗時較長的問題。傳統的單線程串行實驗部署方案及集中式鏡像池是導致耗時較長的主要原因，針對這兩點，本文提出并行化快速實驗部署(Paralleled Fast experiment Deployment, PFD)方案，對實驗部署流程做并行化處理，并且引入分布式鏡像池的方案。

2 TUNIE中的實驗部署

本節首先介紹TUNIE的網絡架構和實驗部署的基本流程，然后結合實際測量數據，分析實驗部署過程中耗時較長的原因。

2.1 TUNIE網絡架構

TUNIE是基于虛擬化技術的網絡創新實驗平臺，它的網絡結構如圖1所示，各物理節點分布于3個不同的域，域間通過公網VPN相連，域內各物理節點通過內網交換機實現全聯通。每個物理節點上部署有Xen[8]軟件，用于實時建立虛擬機，虛擬機通過開源軟件Xorp[9]和Click[10]實現可編程虛擬路由器的功能。另外，平臺還支持基于 FPGA的硬件虛擬化可編程路由器，這不在本文討論的范圍內。

圖1 TUNIE網絡結構

TUNIE采用集中控制模式，控制中心位于域A，下文將稱域A為本地域，其他域為非本地域。域A包含一個集中控制中心、一個全局鏡像池和若干物理節點。控制中心負責實時處理用戶請求、管理和控制整個平臺的運行；全局鏡像池存儲平臺支持的若干種不同類型的操作系統鏡像和用戶自定義的操作系統鏡像，各物理節點可通過網絡文件系統(Network File System, NFS)從全局鏡像池拷貝鏡像。

平臺內同時運行 2類網絡：控制網和實驗網。控制網負責承載控制中心或全局鏡像池與各物理節點的傳輸流量，實驗網負責承載各虛擬化實驗網絡的流量。控制網與實驗網是物理隔離的，這既可以有效地防止 2張網絡互相干擾，也可以較好地保障控制中心、全局鏡像池與各物理節點間的帶寬。由于操作系統的鏡像大小[11]一般都在 GB量級(TUNIE中一般為4 GB)，這樣的帶寬保障對于鏡像的拷貝尤其重要。

TUNIE中用戶建立實驗的流程如圖2所示。整個實驗建立分3步：(1)用戶需要通過TUNIE提供的Web頁面提交實驗請求；(2)資源映射[12]模塊會將用戶請求的虛擬網絡映射到底層物理網絡中；(3)如果映射成功，進入實驗部署模塊，直至所有虛擬機被成功部署并運行正常。

圖2 用戶建立實驗的流程

2.2 實驗部署流程

實驗部署模塊的一般流程是串行地部署各臺虛擬機，每臺虛擬機的部署分為 3個步驟：通信，鏡像分發和虛擬機建立，其流程如圖3所示。

圖3 串行部署實驗的流程

每臺虛擬機的部署流程具體如下：

(1)通信：資源映射成功后，每臺虛擬機會映射到一個物理節點上，同時形成一個虛擬機配置文本，控制中心會將該配置文本發送給對應的物理節點，物理節點接收到該文本并解析其內容，然后據此進行后續操作。

(2)鏡像拷貝：物理節點根據配置文本的內容，從鏡像池中將對應的虛擬機操作系統鏡像拷貝過來，供Xen建立虛擬機時使用。

(3)虛擬機建立：通過運行 Xen，完成虛擬機的生成和配置，并發送反饋信息給控制中心。

綜上所述，實驗部署時間的計算公式如下：

2.3 部署時間的測量

本文選取TUNIE的本地域A和一個非本地域B，對單個虛擬機的部署進行了多次測試，表 1給出了單個虛擬機部署的各步驟的平均耗時和平均總耗時。由此可知：通信時間只占總時間的很小一部分，優化的意義不大；域B內的節點的鏡像拷貝時間遠大于域A內的節點，而且占虛擬機總耗時的比例達到90%。

表1 單個虛擬機的部署時間 s

結合表1和T的計算式，可以得到表2。可以看到，如果要部署20臺虛擬機，即使都部署在域A，也需要約30 min的時間，如果部署在域B，則需要159 min。域B過大的時間開銷與采用串行的部署方式是密切相關的。

表2 多個虛擬機的部署時間 s

綜上所述，可以從兩方面對實驗的部署流程進行優化：(1)縮短非本地節點拷貝鏡像的時間；(2)將部署流程做并行化處理。基于這 2點考慮，本文提出并行化快速實驗部署(PFD)方案。

3 并行化快速實驗部署方案

由于非本地節點的鏡像拷貝時間遠大于本地節點，串行的部署方式造成整個部署流程耗時過長，因此針對以上兩點，結合TUNIE自身的特點，本文提出基于并行處理和分布式鏡像池的PFD方案，包括2個子方案：(1)分布式鏡像池，用于解決非本地節點鏡像拷貝耗時較長的問題；(2)并行化處理，用于提高時間維度上的資源利用率，從而縮短部署總時間。

3.1 分布式鏡像池

非本地節點從中心鏡像池拷貝鏡像時，由于需要經過公網進行傳輸，無法保障較高的帶寬且擁塞時有發生，因此會導致拷貝耗時過長。而域內拷貝只需要經過內網傳輸，只要網絡設備性能良好，便可以很好地保障帶寬，耗時較短。基于這個特點，本文提出了分布式鏡像池的方案，如圖4所示。

圖4 分布式鏡像池示意圖

由圖 4可知，各域都配備一個鏡像池，每個鏡像池都儲存不同操作系統的鏡像和用戶自定義的鏡像，這樣非本地節點只需要從其所在的域拷貝鏡像，即不僅傳輸速度比現網更快，而且帶寬有保障。假定非本地域的網絡環境與本地域相同，可以得到優化后的單個虛擬機的部署時間耗時，如表3所示。可以看到，域B中單個虛擬機的總部署時間和域A非常接近。

表3 采用分布式鏡像池后的單個虛擬機部署時間 s

3.2 并行化處理

并行化處理是將各虛擬機的部署過程盡可能的并行化，以節約時間。TUNIE的映射算法決定了在同一個實驗中，不同的虛擬機部署在不同的物理節點上；由此觀察到，用于通信的時間只占整個實驗部署時間的很小一部分，基于以上兩點，提出如圖5所示的并行化實驗部署流程：

(1)串行的通信：控制中心將各虛擬機的配置文本順序發送給對應的物理節點。

(2)并行的鏡像拷貝：各物理節點接收到文本后，同步地從所在域的鏡像池中拷貝所需的鏡像。但由于鏡像池節點對外的傳輸帶寬是一定的，因此并行拷貝與串行拷貝的總耗時比較接近。

(3)并行的虛擬機建立：各物理節點拷貝完鏡像后立即開始建立虛擬機，完成后將反饋信息發送給控制中心。由圖5可見，經過并行化處理，各虛擬機幾乎同時開始建立，能有效地減少整個實驗的部署時間。

圖5 并行化部署實驗的流程

4 性能評估

4.1 仿真評估

在本地和非本地虛擬機部署的測量中發現，各步驟所用時間分布的比較集中，所以，假設虛擬機部署的各步驟在表1和表3的均值基礎上服從正態分布，表4通過(均值，標準差)的形式給出了各步驟滿足的正態分布參數。通過Matlab軟件分別實現了串行方案和PFD方案的部署流程，然后利用表 4的數據對不同規模的實驗的部署時間進行仿真，得到實驗部署時間仿真，如圖6所示。

表4 虛擬機部署各步驟耗時的正態分布數據 s

圖6 理想條件下的實驗部署時間

由圖6可以得到：對于部署于本地域的實驗，PFD方案相比串行方案在實驗部署時間上平均節省約 40%，且該優化百分比隨節點數目的增加保持不變；對于部署于非本地域的實驗，PFD方案相比串行方案在實驗部署時間上平均節省約 89%，且該優化百分比隨節點數目的增加保持不變；圖中2條虛線幾乎重合，說明在PFD方案下，不論實驗節點位于本地域還是非本地域，實驗的部署時間都幾乎相同。總體來看，PFD方案相比串行方案可以節省約40%～89%的實驗部署時間，對于非本地部署的實驗，其優化效果更加突出。

4.2 實際應用評估

本文將串行方案和PFD方案分別應用于TUNIE的控制中心，部署不同規模的實驗，對實驗的總時間進行了測量。這里需要說明是：域A的節點全部配備千兆網卡，而域B的節點僅配備了百兆網卡，所以，域B的鏡像拷貝速度大大低于域A，表5給出了TUNIE中的域A和域B的單個虛擬機部署時間的均值。另外，受限于TUNIE平臺中的節點規模，實驗的最大節點數目取為15。

表5 TUNIE中單個虛擬機的部署時間 s

由圖7可看出，對于部署于本地域的實驗，PFD方案相比串行方案在實驗部署時間上平均節省約 50%，且該優化百分比隨節點數目的增加保持不變；對于部署于非本地域的實驗，PFD方案相比串行方案在實驗部署時間上平均節省約21%，且該優化百分比隨節點數目的增加保持不變。

圖7 TUNIE中的實驗部署時間

對比圖6和圖7可看到：對于部署于本地域的實驗，圖7中PFD方案的優化效果優于圖6，這是因為經實際測量，域A內多個物理節點并行拷貝鏡像所需的總時間比各物理節點串行拷貝鏡像所需的總時間略短一些；對部署于非本地域的實驗，圖7中PFD方案的優化效果遠差于圖6，這是由域B中物理節點較低的帶寬限制導致的。由此可見，要想充分發揮PFD方案的優勢，需要各域內具備較高的傳輸帶寬。

在實際應用過程中，PFD方案需要的額外開銷包括2個部分：(1)存儲空間的增加，為了鏡像池的分布式布置，需要為每個非本地域配置一個鏡像池節點，TUNIE中每個鏡像池的大小為500 GB，所以，用于存儲鏡像的存儲空間由500 GB增加到1500 GB；(2)控制邏輯的復雜化，為了實現并行化處理，TUNIE控制中心的控制邏輯需要調整。從工程實現的角度考慮，以上兩點的代價都較小，這保證了PFD方案具備較高的可行性。

5 結束語

針對TUNIE運行過程中實驗部署耗時過長的問題，本文基于實際測量數據提出了PFD方案。該方案將鏡像池由集中式變為分布式，將部署流程由串行變為并行。經過仿真和在TUNIE中的實際應用，證明了PFD方案能夠有效地減少實驗部署的耗時，對于非本地部署的不同節點規模的實驗，PFD方案相比于串行部署方案可以節約89%的部署時間。PFD方案采用并行化的方式建立虛擬機，這增加了實驗建立出錯時的處理難度，如何針對PFD方案來設計容錯機制將是今后需要研究的課題。

[1]Duerig J, Ricci R, Stoller L, et al.Getting Started with Geni: A User Tutorial[J].ACM SIGCOMM Computer Communication Review, 2012, 42(1): 72-77.

[2]Gavras A, Karila A, Fdida S, et al.Future Internet Research and Experimentation: The FIRE Initiative[J].ACM SIGCOMM Computer Communication Review, 2007, 37(3): 89-92.

[3]Peterson L, Bavier A, Fiuczynski M E, et al.Experiences Building Planetlab[C]//Proceedings of the 7th Symposium on Operating Systems Design and Implementation.Berkeley,USA: USENIX Association, 2006.

[4]Hibler M, Ricci R, Stoller L, et al.Large-scale Virtualization in the Emulab Network Testbed[C]//Proceedings of 2008 Annual Technical Conference on Annual Technical Conference.Boston, USA: USENIX Association, 2008.

[5]White B, Lepreau J, Stoller L, et al.An Integrated Experimental Environment for Distributed Systems and Networks[C]//Proceedings of the 5th Symposium on Operating Systems Design and Implementation.New York,USA: [s.n.], 2002.

[6]周 燁, 李 勇, 蘇 厲, 等.基于虛擬化的網絡創新實驗環境研究[J].電子學報, 2012, 40(11): 2152-2157.

[7]龔 宇, 李 帥, 李 勇, 等.基于云計算的網絡創新實驗平臺[J].計算機工程, 2012, 38(24): 5-8.

[8]Barham P, Draqovic B, Fraser K, et al.Xen and the Art of Virtualization[C]//Proceedings of the 9th ACM Symposium on Operating Systems Principles.New York, USA: ACM Press,2003.

[9]Handley M, Hodson O, Kohler E.Xorp: An Open platform for Network Research[J].ACM SIGCOMM Computer Communication Review, 2003, 33(1): 53-57.

[10]Kohler E, Morris R, Chen Benjie, et al.The Click Modular Router[J].ACM Transactions on Computer Systems, 2000,18(3): 263-297.

[11]Jin K, Miller E L.The Effectiveness of Reduplication on Virtual Machine Disk Images[C]//Proceedings of the Israeli Experimental Systems Conference.New York, USA: [s.n.],2009.

[12]Yu Minlan, Yi Y, Rexford J, et al.Rethinking Virtual Network Embedding: Substrate Support for Path Splitting and Migration[J].ACM SIGCOMM Computer Communication Review, 2008, 38(2): 17-29.