基于NS3的BCube數據中心網絡仿真

蔣凌云 盧凱 黃海平

摘 要：為了解決復雜數據中心網絡仿真難題，在對NS3仿真工具的研究基礎上，對NS3的路由協議進行擴充，研究使用NS-3網絡仿真軟件自動生成BCube網絡拓撲，實現BSR路由協議，通過NetAnim可視化模塊直觀展示網絡仿真結果，并通過Tracing系統收集、統計與分析網絡丟包情況、端到端時延以及吞吐量等性能指標。與傳統RIP協議、OSPF協議進行對比，證明了BSR路由的優越性。該研究可為數據中心網絡提供有效的參考信息，有利于簡化數據中心網絡仿真工作，使數據中心網絡能更快地投入使用。

關鍵詞：NS3;網絡仿真;BCube;數據中心;網絡性能指標

DOI：10. 11907/rjdk. 192104 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP393文獻標識碼：A 文章編號：1672-7800（2020）005-0190-05

0 引言

近年來，隨著云計算和計算機密集型網絡技術的快速發展，作為其基礎設施的數據中心網絡再次成為研究熱點。在當前的云計算與大數據環境下，數據中心網絡中的服務器節點數呈指數級增長，而傳統多根樹型數據中心網絡結構[1]由于具有造價昂貴、容錯性差等缺點，很難滿足實際需求。因此，學術界與企業界研究出很多新的數據中心網絡結構，例如BCube[2]、DCell[3]、RCube[4]等以服務器為中心的數據中心網絡結構，以期解決現有問題。

每種數據中心網絡都有其對應的路由協議。本文重點研究了BCube數據中心網絡中的BSR路由算法，其相比傳統RIP協議與OSPF協議有著很大不同。BSR是一種基于函數計算的路由協議，無需維護龐大的路由信息，路由負載能力較強，配置相對簡單，適用于大規模數據中心網絡[5]。

但由于受到數據中心網絡的服務器節點數量龐大、拓撲結構復雜及實驗成本高等現實因素限制，目前大多僅停留在理論研究階段[6]。一般來說，科研人員經過研究提出的新數據中心網絡及路由協議不會立即部署使用，在此之前，必須進行大量復雜的測試與分析工作，而如何更好地測試與驗證新提出的數據中心網絡，是一個亟待解決的難題。

一種有效的解決方案是運用仿真方法對新提出的數據中心網絡進行初步實現與驗證，有助于對新結構作出及時調整與改進。當前有許多優秀的網絡仿真軟件（如NS-2[7]、OPNET[8]）都具備很強的模擬仿真功能。NS3在完備性、開源性、易擴展性等方面的特色使其優于現有大多數主流網絡仿真軟件。NS3功能非常強大，其可以對各種網絡協議和各個層次進行模擬與研究，并提供靈活的擴展支持[9]。

本文主要對NS3網絡仿真軟件的點到點通信模塊進行分析，重點介紹網絡設備節點和網絡鏈路仿真特性，并以此為基礎給出BSR路由協議擴展方法，并構建BCube結構的數據中心網絡。

1 BCube數據中心網絡特點

BCube是一種基于集裝箱的模塊化數據中心新型網絡架構[10]。BCube架構核心是以服務器為中心的網絡結構，其中具有多個網絡端口的服務器連接到多層COTS（商品貨架式）小型交換機。BCube是遞歸定義的結構。BCube0只是連接到 n 端口交換機的n個服務器。一個BCube1由 n 個 BCube0與n個n端口交換機構成。以此類推，BCubek（k≥1）由n個BCubek-1和nk個n端口交換機構成。BCubek中的每個服務器都有k + 1個端口，并從0級到k級編號。由此可知，BCubek有N = nk +1個服務器和k + 1級交換機，每個級別都有 nk個n端口交換機，如圖1所示。

BCube采用BSR路由協議提供高效的路由策略[11]。BSR可以充分利用BCube的高網絡容量，并自動均衡通信負載，同時具有良好的容錯性能。BSR將服務器分為起始服務器、中繼服務器和目的服務器[12]。其通過起始服務器控制路由路徑，而不需要中繼服務器的協調。中繼服務器不需要路由，只需要根據報文頭文件進行轉發。起始服務器負責選取可達的最優路徑，即最小剩余帶寬最大的路徑，若其相同時則選取最短路徑[13]。中繼服務器向起始服務器返回錯誤信息，并報告各條路徑的帶寬信息，目的服務器返回含有路徑中最小帶寬的探測信息，從而一方面避免了全局路由狀態播報，另一方面使BCube具有動態均勻負載能力，且路由效率極高[14]。

2 BCube網絡拓撲仿真過程

NS3不是NS2的擴展，而是一款全新的網絡模擬軟件[15]，是由美國華盛頓大學的Thomas教授及其研究小組開發的。其廣泛汲取了當前主流仿真器NS2、YANS 和GTNets的特點，目前已經發展到3.29版本。

NS3本質上是一款離散事件仿真器，從上到下每個模塊都依賴于其底層模塊[16]。內核模塊位于最底層，實現了NS3最核心的功能，如事件調度器、智能指針、回調機制等，為不同網絡類型提供一般性的網絡仿真服務，其它模塊功能都建立在該底層模塊之上。Network是網絡數據分組模塊，主要定義了數據包、Pcap文件操作以及網卡等抽象基類。

2.1 點到點通信模型

NS3的點到點通信模型是一個非常簡單的點到點數據鏈路，通過一個PointToPointChannel正好連接兩個PointToPointNetDevice裝置，可以看作是一個全雙工RS-232或RS-422鏈路。PointToPointChannel模擬了點到點通信模型，并能以指定速率進行通信，且提供以下屬性：Delay： NS3：：Time用于指定信道的光傳輸延遲速度，而PointToPointNetDevice提供Address/DataRate/TxQueue等屬性。

通過實例化PointToPointHelper對象連接PointToPoint網絡設備，并配置信道屬性，構建點到點通信網絡。

2.2 BSR路由協議實現

NS3中的所有路由協議都是繼承自Ipv4RoutingProtocol類，其實現了路由協議最基本的函數RouteOutput（）和RouteInput（），且其中默認了一個基本的靜態路由。首先通過函數RouteOutput（）將應用層（application）產生的數據包進行層層封裝然后發送，直到到達網卡（device），再通過路由規則LookupStatic（）轉發給其它節點，到達目的節點后通過函數RouteInput（）接收數據包，并層層剝離數據包首部，一直發送到應用層（application）。本文模擬的BCube網絡是一種以服務器為中心的互連結構，服務器兼具路由功能，報文在具有多個網絡接口的服務器中轉發，交換機僅在第二層執行報文轉發功能。其連接方式是在B0， n以外的層次采用普通交換機實現連接。BCube在任一級都具有相同的單元數n（基數），因此Bk， n擁有nk+1臺服務器（B0，n中的服務器數為n）[17]。

BCube網絡采用BSR（BCube Source Routing）路由協議，其是一種基于函數計算的路由方法，采用路徑自適應協議，使用k+1進制的地址組對每個服務器節點編號，通過任意兩節點編號之間的函數關系，自動生成路由，而不需要向局域網中廣播報文獲取相鄰路由信息，每個節點只需存儲目的節點編號，從而減少了內存需求，提高了帶寬利用率[18]。BSR能很好地構造網絡中最長路徑較短的多條不相交路徑，并實現可靠數據傳輸[19]。以下將詳述BSR路由協議在NS3中的實現過程。

為了能在NS3環境下模擬運行BSR路由協議，首先生成一個代理類，該類繼承于Ipv4RoutingProtocol類，同時繼承了兩個基本功能函數RouteOutput（）和RouteInput（），用于轉發與接收經過該節點的數據包;其次需要實現Bcube的路由轉發規則，先對每個主機（node）編號，當網絡中的某個服務器節點發送數據時，該節點便會自動獲取本節點地址數組與目的地址數組，并進行對比計算，記錄數據傳輸經過的每一個節點，最終得到整條路由路徑。核心代碼如下：

BCube數據中心網絡的任意兩個服務器節點之間存在k+1條路徑，通過for循環隨機產生不同的array數組，生成k+1條不相交路徑。本文將源節點生成的路徑存放在報文頭中，每轉發一次報文，發送端便從數據包的path數組中向后遍歷一位，作為下一跳節點，直到遍歷結束。

3 BCube示例仿真實現

本文將構建一個2層4端口的BCube拓撲（見圖2），并進行簡單的性能測試。仿真實驗環境在虛擬機上構建，在VMware上創建一臺Ubuntu虛擬機，并安裝NetAnim可視化軟件與NS3仿真軟件。

搭建BCube數據中心網絡拓撲，在scratch/bcube.cc文件中編輯腳本。首先通過NodeContainer節點容器類的Create（）方法創建24個節點，其中16個為服務器，另外8個為交換機。PointToPointHelper類負責連接網絡設備以及設置網絡信道屬性。通過實例化PointTopointHelper對象設置信道速率及時延等屬性，并通過InStall（）方法安裝到每個節點。以上便完成了設備與信道配置，接下來通過InternetStackHelper類為每臺設備安裝一個網絡協議棧，主要是IP層。通過類Ipv4AddressHelper的SetBase（）為節點上的設備配置IP地址和子網掩碼。至此，一個安裝了協議棧、配置了IP地址的點到點BCube網絡便搭建完成。核心代碼如下：

在成功建立拓撲后，可以通過NetAnim模塊顯示該網絡拓撲的效果。NS3中的NS3：：AnimationInterface類負責追蹤節點間的數據分組流軌跡，并生成XML跟蹤文件[20]。在NetAnim中讀取statistics文件夾下生成的XML文件，生成如圖3所示的BCube拓撲，可以動態顯示數據流向以及經過的節點。

創建好的網絡并不會自己產生流量，需要選擇合適的網絡應用模型產生數據通信。首先選擇一個節點作為客戶端發送數據（0號節點），另一個節點作為服務器端，負責接收數據（8號節點），客戶端節點以TCP流量發送數據包給服務器節點。本實驗仿真該拓撲網絡的TCP擁塞窗口機制，通過加入錯誤機制制造數據丟失，最終引起擁塞窗口的改變。主要代碼如下：

通過對NS3中Tracing文件的處理可以對整個網絡進行性能分析，計算出整個網絡的數據傳輸延遲、丟包率和吞吐量，并通過Gnuplot工具生成相應實驗結果圖，以反映各種網絡性能參數隨時間變化的趨勢。

4 實驗結果及分析

仿真分為3組實驗進行，分別針對端到端時延、網絡吞吐量和丟包情況，并與RIP協議及OSPF協議進行對比。

圖4給出了BSR協議、RIP協議和OSPF協議下網絡吞吐量隨時間的變化關系。BCube網絡吞吐量隨時間變化呈近似線性增長，當數據流變大時，網絡吞吐量的增長率都有所降低，且趨于平穩。在相同的網絡流量下，BSR協議吞吐量略高于OSPF協議，也高于RIP協議。

由仿真結果可知，BSR協議不涉及中間路由，避免了鏈路狀態廣播，其網絡結構提供了大量并行不相交路徑，且網絡中更多服務器的平均長度小于3，可以有效減少路由產生的擁堵，增加網絡吞吐量，縮短網絡時延，減少網絡的丟包情況。

5 結語

本文通過實例介紹如何使用NS3快速、便捷地創建一個數據中心網絡拓撲，并對其進行簡單的性能測試與調整，以便其更符合實驗環境，且更貼近真實網絡。本文還在NS3中重點實現了適用于BCube架構的BSR路由協議，并與RIP及OSPF路由協議進行了比較。今后將對NS3模擬軟件的其它模塊進行研究及改進，同時對其它數據中心網絡拓撲下的各類應用性能及可行性進行驗證。

參考文獻：

[1] DIEGO K， FERNANDO M V R， PAULO V，et al. Software-defined networking： a ?comprehensive survey[J]. ?Proceedings ?of the IEEE， 2015， 103（1）： 14-76.

[2] GUO C， LU G， LI D， et al. BCube： a high performance，server-centric network architecture for modular data centers[J]. ?ACM SIGCOMM Computer Communication Review， 2009， 39（4）： 63-74.

[3] LI Z， YANG Y. RCube： a power efficient and highly available network for data centers[C]. Parallel and Distributed Processing Symposium （IPDPS）， 2017 IEEE International. IEEE， 2017： 718-727.

[4] GUO C， WU H， TAN K， et al. DCell： a scalable and fault-tolerant network structure for data centers[C]. ACM SIGCOMM Computer Communication Review. ACM， 2008， 38（4）： 75-86.

[5] HAN Z， YU L. A survey of the BCube data center network topology[C]. 2018 IEEE 4th International Conference on Big Data Security on Cloud （BigDataSecurity）， 2018： 229-231.

[6] 茹新宇，劉淵. 網絡仿真器 NS3 的剖析與探究[J]. 計算機技術與發展， 2018， 28（3）： 72-77.

[7] KASHYAP V K，ASTYA R， NAND P， et al. Comparative study of AODV and DSR routing protocols in wireless sensor network using NS-2 simulator[C]. 2017 International Conference on Computing， Communication and Automation （ICCCA）. ?IEEE， 2017： 687-690.

[8] BISWAS S. Simulation model of beacon enabled 802.15. 4 networks with OPNET modeler[C]. 2017 International Electrical Engineering Congress （iEECON）. ?IEEE， 2017： 1-4.

[9] COUDRON M， SECCI S. An implementation of multipath TCP in ns3[J]. ?Computer Networks， 2017， 116： 1-11.

[10] PAN T， CHENG B， FAN J， et al. Toward the completely independent spanning trees problem on BCube[C]. 2017 IEEE 9th International Conference on Communication Software and Networks （ICCSN）. ?IEEE， 2017： 1103-1106.

[11] ASGHARI V， MOGHADDAM R F， CHERIET M. Performance analysis of modified BCube topologies for virtualized data center networks[J]. ?Computer Communications， 2016， 96： 52-61.

[12] KUMAR A R A， RAO S V， GOSWAMI D. Ns3 simulator for a study of data center networks[C]. 2013 IEEE 12th International Symposium on Parallel and Distributed Computing （ISPDC），2013： 224-231.

[13] SINGH A， ONG J， AGARWAL A， et al. Jupiter rising： a decade of clos topologies and centralized control in google's datacenter network[C]. ACM SIGCOMM Computer Communication Review，ACM， 2015， 45（4）： 183-197.

[14] GUO D. Aggregating uncertain incast transfers in BCube-like data centers[J]. ?IEEE Transactions on Parallel and Distributed Systems， 2017， 28（4）： 934-946.

[15] ZARRAD A， ALSMADI I. Evaluating network test scenarios for network simulators systems[J]. International Journal of Distributed Sensor Networks， 2017， 13（10）： 6-8.

[16] 孫永勝，賀珊珊，王維. 基于 NS-3 的核電 DCS 網絡仿真框架[J]. ?電子技術與軟件工程， 2018 （5）： 17-18.

[17] LI Z， YANG Y. Permutation generation for routing in BCube connected crossbars[C]. ?2015 IEEE International Conference on Communications. IEEE， 2015.

[18] WANG S， LUO J， LO Y H， et al. Forwarding and optical indices in an all-optical BCube networks[C]. 2018 IEEE 37th International Performance Computing and Communications Conference （IPCCC）. ?IEEE， 2018.

[19] KLIAZOVICH D， BOUVRY P， KHAN S U. Simulation and performance analysis of data intensive and workload intensive cloud computing data centers[M]. Optical Interconnects for Future Data Center Networks. Springer， New York， NY， 2013： 47-63.

[20] ALDALBAHI A，RAHAIM M，KHREISHAH A，et al. Extending ns3 to simulate visible light communication at network-level[C]. 2016 23rd International Conference on Telecommunications （ICT）， 2016.

（責任編輯：黃 健）