虛擬化與數字仿真融合的多尺度網絡復現技術

吳文燕，姜 鑫，王曉鋒，劉 淵

(1.江南大學 物聯網工程學院，江蘇 無錫 214122； 2.江南計算技術研究所，江蘇 無錫 214083;3.江南大學 數字媒體學院，江蘇 無錫 214122)

0 引言

網絡與信息系統安全評估平臺為網絡安全評估與計算機系統安全評估提供了有力支撐，而網絡復現技術[1]是整個平臺的基石。近年來，圍繞著如何復現大規模網絡這個問題，關鍵技術主要集中在網絡模擬、網絡仿真和實物測試床三個方面。網絡模擬技術具有高度的可擴展性，可模擬超大規模的網絡；美國倫斯勒理工學院曾經就基于并行離散事件模擬技術，模擬了百萬節點至十億節點級規模的網絡[2]；但網絡模擬技術依靠相關模型僅僅是模擬系統的一部分功能，難以支撐現實用戶的操作和實際網絡應用的部署，所構建的虛擬網絡在逼真度上具有局限性。相比網絡模擬，網絡仿真和實物測試床能夠有效滿足網絡實驗和評估中對逼真度的要求，但是實物測試床存在成本高、靈活性差等缺點，難以支持大規模網絡的研究。加拿大維多利亞大學的Case Lab曾基于1 000個物理服務器仿真了具有10 000臺虛擬機規模的網絡[3]；網絡仿真雖然在規模上依舊難以與網絡模擬相比，但是超出實物測試床很多。綜上而言，網絡仿真技術擯棄網絡模擬和實物測試床的缺點，集成二者的優點，是一種較為優秀的網絡復現技術，但是，如何進一步提高網絡研究實驗中的大規模性和高逼真性是目前亟須解決的問題，網絡模擬與網絡仿真融合的網絡復現技術可以有效解決以上問題。

融合網絡復現技術結合了網絡模擬、網絡仿真各自的優點，可有效兼顧復現網絡的規模和逼真度。文獻[4]綜合分布式網絡模擬技術以及基于虛擬化的網絡仿真技術，實現了模擬、仿真相融合的實驗平臺，重點研究了網絡模擬與網絡仿真的同步問題，但缺乏考慮網絡仿真中的鏈路仿真。文獻[5]重點研究了網絡模擬與網絡仿真的同步技術以及高性能仿真模型，同樣實現了模擬與仿真相結合的實驗平臺。文獻[6] 針對網絡實驗中路由器仿真的規模性、擴展性以及逼真度的問題，結合虛擬化技術和軟件路由技術，提出了一種虛擬化的路由仿真平臺設計方法，但是多個虛擬路由器實例會各自維護多個獨立的路由表，導致平臺的存儲空間開銷很高，并隨著規模的擴大而急劇增長。文獻[7]結合高性能大規模網絡模擬和高保真網絡仿真，使真正的網絡應用及協議的實例能在實際操作環境上運行并在模擬的網絡設置上被測試，但運行與測試的協議比較單一、缺乏多樣性。文獻[8-9]結合虛擬化平臺技術，通過將物理資源虛擬化，并將多個全功能網絡節點和模擬通信鏈路實體部署在虛擬機層面，設計了一種網絡仿真準實驗床系統。文獻[10]提出了一個集成了輕量級的仿真系統和并行離散事件網絡模擬器的網絡測試平臺，設計了一個全球同步的算法來管理虛擬時間與仿真時間的轉換。OpenStack[11]作為當前云計算平臺的代表，可實現全虛擬化、輕量級虛擬化仿真，但在兩種虛擬化融合的網絡仿真方面缺乏考慮，且忽視了數字仿真與上述兩種虛擬化仿真無縫融合的問題。當前網絡模擬與仿真融合的復現技術重點關注了網絡模擬與網絡仿真間的同步機制，缺乏對模擬與仿真融合網絡的任意靈活構建與融合網絡規模性的考慮。

本文針對上述方法和技術存在的缺陷提出了一種基于OpenStack的輕量級虛擬化、全虛擬化和數字仿真三種尺度無縫融合的網絡復現技術。首先描述了該技術的體系架構；其次詳細介紹了通過該技術構建多尺度融合仿真系統的具體過程以及關鍵技術；接著對融合仿真系統的透明性、并發性、靈活性、擴展性四個特性進行了詳細說明，并通過實驗驗證了以上四個特性；然后在所構建的大規模多尺度融合仿真系統上進行多種協議的通信測試，證明大規模融合仿真系統的實用性；最后通過一個簡單的網安實驗驗證了融合仿真系統效果評估的有效性。

1 虛擬化與數字仿真融合的復現技術分析

1.1 虛擬化與數字仿真融合的體系架構

如圖1所示，虛擬化與數字仿真融合的多尺度復現體系架構是一個基于OpenStack云平臺，融合了輕量級虛擬化、全虛擬化、數字仿真三個尺度的網絡體系架構。OpenStack的基本架構包括一個控制節點、一個網絡節點和若干個計算節點(本文中是3個計算節點)，控制節點負責系統的管控功能，網絡節點負責提供諸如動態主機配置協議(Dynamic Host Configuration Protocol, DHCP)服務和路由服務等網絡服務，計算節點負責為虛擬主機的建立提供資源；其中網絡節點只有一塊外網網卡，用來連接實物主機，網絡節點和控制節點相互獨立開來。在OpenStack的計算節點上進行面向三個尺度融合的多粒度配置，融合性多粒度配置是構建多尺度無縫融合仿真系統的基礎。無縫融合策略則是連接虛擬化與數字仿真層面和底層OpenStack的橋梁，無縫融合策略配置是否成功，關系著整個平臺能否正常運行。

1.2 虛擬化與數字仿真技術性能分析

虛擬化與數字仿真技術已然成為當今計算機領域的熱門技術，目前的虛擬化包括完全虛擬化、半虛擬化和基于容器的虛擬化等，其中半虛擬化和基于容器的虛擬化統稱為輕量級虛擬化。全虛擬化以基于內核的虛擬機(Kernel-based Virtual Machine, KVM)[12]為代表，KVM虛擬化技術依賴物理CPU和內存，是硬件級別的，功能強大，比較適用于高性能計算服務的云計算環境中作為基礎設施即服務(Infrastructure As A Service, IAAS)層的虛擬化部署工作。輕量級虛擬化中以Docker[13]容器作為代表，利用Linux容器(LinuX Container, LXC)實現了類似KVM的功能，從而利用更加節省的硬件資源提供給用戶更多的計算資源。和KVM方式不同，LXC不是一套硬件虛擬化方法，而是一個共享Kernel的操作系統級虛擬化方法。通過在執行時不重復加載內核，且虛擬容器與宿主機之間共享內核來提高啟動速度和減少內存消耗，減少了系統開銷，提高了資源利用率。數字仿真以NS3(Network Simulator version 3)[14-16]為代表，NS3是一個極具特色的新型網絡模擬器，具有完備性、開源性、易用性和可擴展性等方面的特色，優于現有的大多數主流網絡模擬器。

KVM、Docker、NS3三種仿真技術各有優劣，通過大量文獻與前人成果已知，KVM吞吐量、延時等性能優于Docker，且前兩者吞吐量、延時等性能均優于NS3，但是由于KVM與Docker占內存大，在保證正常工作的情況下啟動個數受內存大小和邏輯CPU個數所限制，所以一個計算節點能夠啟動的KVM與Docker路由器個數較少。為了滿足規模性，而同時又不丟失逼真性，本文創新地提出與實現了KVM、Docker、NS3三種仿真技術在OpenStack平臺上的融合。

圖1 虛擬化與數字仿真融合的多尺度體系架構 Fig. 1 Multi-scale architecture for fusion of virtualization and digital simulation

2 虛擬化與數字仿真融合的關鍵技術

2.1 虛擬化與數字仿真融合網絡構建

在OpenStack云平臺中構建虛擬化與數字仿真融合的仿真系統，關鍵在于解決融合性多粒度配置和無縫融合策略配置問題，而融合性多粒度配置問題又可分為虛擬化粒度配置問題和數字仿真粒度配置問題，因此該融合仿真系統的實現可分為以下5個模塊。

1)虛擬化粒度配置模塊：該模塊負責在OpenStack計算節點中根據目標網絡拓撲創建并啟動虛擬化節點，對兩種虛擬化節點的網段以及宿主機等進行設置。

2)遠程登錄模塊：該模塊負責在實物主機與虛擬化節點之間建立聯系，通過安全終端模擬程序訪問OpenStack網絡節點，輸入ip netns list列出網絡命名空間，選擇正確的網絡命名空間進行操作，然后登錄虛擬化節點。

3)數字仿真粒度配置模塊：該模塊負責基于全虛擬化粒度進行創建并啟動數字仿真節點操作，并對數字仿真節點的IP地址與MAC(Media Access Control)地址等進行設置。

4)無縫融合策略配置模塊：該模塊負責實現基于OpenStack云平臺的面向輕量級虛擬化、全虛擬化和數字仿真三個尺度的無縫融合策略配置，實現輕量級虛擬化、全虛擬化和數字仿真三個尺度的無縫安全連接。

5)動作執行模塊：上述模塊完成以后，多尺度融合仿真系統拓撲就已創建完畢，動作執行模塊負責根據源節點和目的節點的地址，進行從源地址到目的地址的通信行為。

各模塊之間的關系如圖2所示。

圖2 各模塊之間的聯系 Fig. 2 Relation of different modules

2.2 融合性多粒度配置與無縫融合策略配置

作為整個構建仿真系統過程中最重要的兩個部分，融合性多粒度配置的作用是創建并啟動虛擬化節點與數字仿真節點，對虛擬化節點的網段、宿主機等進行設置，對數字仿真節點的IP地址、MAC地址等進行設置，完成多尺度融合網絡拓撲的構建；無縫融合策略配置的作用主要是對OpenStack安全組、虛擬化粒度的路由信息、端口安全、網卡模式以及數字仿真拓撲的路由信息、運行協議等進行配置。這兩個部分使得所有節點之間的數據包傳輸可以正常進行，主要涉及到多尺度融合仿真系統的虛擬化粒度配置模塊、數字仿真粒度配置模塊以及無縫融合策略配置模塊；虛擬化粒度配置模塊在OpenStack的計算節點上進行，數字仿真粒度配置模塊在全虛擬化節點上進行，而無縫融合策略配置模塊則需要在OpenStack、虛擬化節點與數字仿真節點上同時進行。

虛擬化粒度配置是對應于網絡與宿主機的，每添加一個虛擬化節點都需要設置它的網絡與宿主機；數字仿真粒度配置則對應于IP地址與MAC地址，每添加一個數字仿真節點都需要對它的IP地址與MAC地址進行設置。多粒度配置的詳細步驟如下：

步驟1 遠程登錄OpenStack dashboard。

步驟2 判斷OpenStack云平臺中是否有網絡或是否有足夠的網絡，若有且網絡數量足夠則進行下一步，若沒有或網絡數量不足，則根據目標網絡拓撲需要創建網絡。

步驟3 虛擬化粒度宿主機配置，以KVM構建全虛擬化節點，以Docker構建輕量級虛擬化節點；選擇全虛擬化節點與輕量級虛擬化節點的宿主機，輕量級虛擬化節點的宿主機是設置成Docker模式的計算節點3，全虛擬化節點的宿主機則可以是計算節點1或2中任意一個。

步驟4 虛擬化粒度網絡配置，輕量級虛擬化節點與全虛擬化節點的網段均需要進行設置。在融合網絡拓撲中，作為虛擬主機的虛擬化節點的網絡配置較為簡單，虛擬主機一般只需要設置一個網段，而作為路由器的虛擬化節點的網絡配置較為復雜，路由器一般需要設置多個網段，以此來實現不同網段之間的互聯互通。

步驟5 配置完成，執行創建虛擬化節點操作。

步驟6 遠程登錄作為虛擬主機的全虛擬化節點，此為遠程登錄模塊，不贅述。

步驟7 在作為虛擬主機的全虛擬化節點上以NS3構建數字仿真節點，部署數字仿真節點的IP地址與MAC地址。

由以上步驟可知，本文中使用KVM虛擬化技術來部署虛擬化節點，KVM在Linux內核部署，任何場景下都可以直接和硬件進行交互，而不需要修改虛擬化的操作系統，可以方便控制虛擬化進程；使用Docker虛擬化技術來部署輕量級虛擬化節點，Docker 是一個開源的應用容器引擎，性能開銷很小，可以很容易地在機器和數據中心運行，而且Docker不依賴于任何語言、框架包括系統；使用NS3仿真技術來部署數字仿真節點，NS3是一個極具特色的新型網絡模擬器，具有完備性、開源性、易用性和可擴展性等方面的特色，優于現有的大多數主流網絡模擬器。此外，KVM是操作系統級仿真，Docker是輕量級仿真，NS3是數字仿真，已知KVM逼真度優于Docker優于NS3，但是規模性是NS3優于Docker優于KVM，所以面向全虛擬化、輕量級虛擬化和數字仿真三種尺度無縫融合的網絡復現技術，可有效滿足融合網絡的逼真性和可伸縮性需求。

融合性多粒度配置流程如圖3所示。

圖3 多粒度配置流程 Fig. 3 Flow chart of multi-granularity configuration

與此同時，無縫融合策略配置則是對應于OpenStack、虛擬化粒度和數字仿真粒度的，不論是OpenStack云平臺還是輕量級虛擬化節點、全虛擬化節點亦或數字仿真節點，都需要進行無縫融合策略配置，其詳細步驟如下：

步驟1 登錄OpenStack云平臺，添加新的iptable或在原有iptable上添加新的規則，一個安全組就是網絡訪問規則的組合，比如防火墻策略，這些訪問規則指定了哪些傳入網絡流量應該被發送與接收，哪些流量則應該被丟棄。用戶可以隨時修改安全組的規則，所有運行中的實例以及從那時起啟動的實例將強制使用這些新的規則。

步驟2 遠程登錄輕量級虛擬化節點與全虛擬化節點，此為遠程登錄模塊，不贅述，并且命令輸出所有虛擬化節點的IP地址與MAC地址。

步驟3 完成作為虛擬主機的全虛擬化節點的網卡模式配置，網卡模式設置成混雜模式。

步驟4 完成作為虛擬主機的虛擬化節點上的默認路由設置，虛擬主機轉發數據包的下一跳指定為與該虛擬主機相連的路由器接口。

步驟5 完成作為虛擬路由器的虛擬化節點的靜態路由設置，虛擬路由器需要為數字仿真拓撲中的網段設置靜態路由，因為虛擬路由器之間的路由信息可以相互學習，但是數字仿真拓撲與虛擬路由器之間的路由信息不可以相互學習，所以必須在虛擬路由器上為數字仿真網絡設置靜態路由。

步驟6 完成全虛擬化節點與輕量級虛擬化節點上端口安全配置，訪問OpenStack控制節點，在控制節點上使用CURL執行POST命令，每發送一個虛擬化節點MAC地址信息，則可以關閉該MAC地址對應端口安全組。

步驟7 完成數字仿真節點組成的數字仿真拓撲的路由信息設置以及運行協議設置，數字仿真拓撲的路由可以設置為默認路由也可以設置為靜態路由，拓撲內部協議為開放式最短路徑優先(Open Shortest Path First, OSPF)協議。

無縫融合策略配置流程如圖4所示。

圖4 無縫融合策略配置流程 Fig. 4 Flow chart of seamless fusion strategy configuration

融合性多粒度配置與無縫融合策略配置完成后，一個網段的虛擬化節點或數字仿真節點就可以與另一個網段的虛擬化節點或數字仿真節點進行正常的流量交互了。

2.3 并發性與可擴展性

依靠上述體系架構和關鍵技術構建的多尺度融合仿真系統具有并發性和可擴展性。

并發性是指多尺度融合網絡中虛擬化節點、數字仿真節點之間的流量交互不限于一對一的交互，本文實現多對虛擬化節點、數字仿真節點之間的數據包并發地發送與接收。擴展性包括兩方面:一是指能夠在虛擬化與數字仿真融合網絡中接入更多的輕量級虛擬化節點、全虛擬化節點與數字仿真節點，從而構建更為復雜的網絡拓撲；二是指數字仿真節點組成的數字仿真拓撲的規模是可擴展的，這意味著不僅僅需要實現某網段多個獨立的數字仿真節點與另一網段多個獨立的數字仿真節點之間的通信，而是可以實現某網段多個數字仿真節點組成的數字仿真拓撲內部通信以及與外部的通信，因此可以添加更多的數字仿真節點，從而構成更為復雜的數字仿真拓撲，組成大規模的多尺度融合仿真網絡。

2.4 靈活性與透明性

在本文中實現了兩個方面的靈活配置：一是虛擬化節點和數字仿真節點可靈活接入融合復現網絡；二是不同網段之間的流量可靈活控制。此外，本文實現的融合復現網絡還具有透明性特點，具體是指涉及到數字仿真節點的不同網段之間的數據包的發送與接收均對作為數字仿真節點宿主機的全虛擬化節點透明，跟蹤數據包轉發路徑可知作為虛擬主機的全虛擬化節點的IP地址對不同網段之間的流量透明。

在前文中通過融合性多粒度配置和無縫融合策略配置實現了虛擬化與數字仿真融合網絡的流量正常傳輸。在一些實驗中，實驗人員對仿真網絡間流量的流向有特定要求，本文中的環境可以實現流量限制以及網絡分流，例如指定某些網絡的流量只能流向指定網絡。

涉及到數字仿真節點的不同網段之間的數據包轉發對作為虛擬主機的全虛擬化節點完全透明，即對不同網段之間的流量交互，從源節點發出數據包到目的節點接收到數據包，路徑列表中不會顯示數字仿真節點所在的宿主虛擬主機，可以看成數字仿真節點的數據包不通過宿主虛擬主機，直接與外部拓撲通信。

3 實驗分析與驗證

運用本文中的多尺度融合復現技術可以在OpenStack中構建一個透明、并發、靈活、可擴展的虛擬化與數字仿真融合的網絡環境，基于該環境可以進行面向多種協議的靈活并發通信。如圖5所示，該環境中擁有多個全虛擬化節點、輕量級虛擬化節點以及數字仿真節點，創建了多個仿真網絡，其中由數字仿真節點組成的網絡是虛擬網絡1，2，3。

圖5 實驗拓撲圖 Fig. 5 Experiment topology

3.1 連通性測試及結果分析

如圖6所示的網絡拓撲，擁有2個全虛擬化節點、2個輕量級虛擬化節點和2個數字仿真節點。為了驗證虛擬化與數字仿真融合網絡的連通性，先讓兩個數字仿真節點互相執行ping命令，再讓數字仿真節點與輕量級虛擬化節點互相執行ping命令，最后讓兩個輕量級虛擬化節點互相執行ping命令，結果顯示該融合網絡中三個尺度的節點之間可以無縫連通。表1是多尺度節點之間互ping結果(全虛擬化節點不用測試，因為不論是上述哪兩個節點進行測試均需經過全虛擬化節點)。

圖6 連通性測試拓撲 Fig. 6 Topology for connectivity test 表1 連通性測試結果 Tab. 1 Result of connectivity test

源主機目的主機是否互通源主機目的主機是否互通NS3-1NS3-2是Docker1Docker2是NS3-1Docker1是

3.2 透明性測試及結果分析

虛擬化與數字仿真融合網絡中的全虛擬化節點既可以作為虛擬路由器，又可以作為數字仿真節點的宿主虛擬主機，通過多尺度融合網絡復現技術實現的融合網絡使得數據包的轉發在此融合網絡中從總體效果上而言對作為虛擬主機的全虛擬化節點是透明的。

實驗證明，從一個數字仿真節點到另一個數字仿真節點，中間雖然經過源數字仿真節點所在的宿主機以及目的數字仿真節點所在的宿主機，但是不會在數據包的路由路徑上多出兩跳。同理，數字仿真節點與虛擬化節點之間的數據包傳輸同樣對作為數字仿真節點宿主機的全虛擬化節點透明。如圖7所示，在本測試中選用NS3- 1和NS3- 2作為數據包傳輸的源節點和目的節點，用traceroute命令跟蹤數據包的路由路徑，結果如圖8所示，路徑只有目的數字仿真節點這一跳，證明數據包傳輸對作為宿主機的全虛擬化節點的透明性。

圖7 透明性測試拓撲 Fig. 7 Topology for transparency test

圖8 traceroute的輸出結果 Fig. 8 Output of traceroute

接下來，加入虛擬路由器，參與測試的兩個數字仿真節點不屬于同一個網絡，中間經過一個虛擬路由器，拓撲如圖9所示。在NS3- 1上以NS3- 2為目的地址執行traceroute命令，結果如圖10所示，NS3- 1到NS3- 2之間的路徑只有虛擬路由器、目的數字仿真節點這兩跳，符合預期，證明透明性。其余情況下的透明性不再進行重復實驗。

圖9 加入虛擬路由的透明性測試拓撲 Fig. 9 Topology for transparency test with virtual router

圖10 加入虛擬路由后traceroute的輸出結果 Fig. 10 Output of traceroute with virtual router

3.3 并發性測試及結果分析

為了驗證虛擬化與數字仿真融合網絡的并發性，在圖6所示原有拓撲的基礎上，在每個涉及到數字仿真節點的虛擬網絡中均新添加了一個數字仿真節點(并且為了接下來的靈活性測試實驗，又新添加了一個虛擬網絡)，拓撲如圖11所示。

每個虛擬網絡中均有不止一個數字仿真節點，同一個虛擬網絡中的數字仿真節點相當于是通過交換機與虛擬路由器互聯，為每一個數字仿真節點配置了固定的IP地址與MAC地址。發送數據包時指定源IP地址以及目的IP地址，就可以實現多對節點之間的并發通信。

圖11 并發性測試拓撲 Fig. 11 Topology for concurrency test

3.1節已經實現了虛擬化與數字仿真融合網絡中三個尺度節點之間的無縫連通；在此基礎上實現不同網絡中三個尺度節點之間的并發通信。實驗結果如表2所示，NS3- 1與NS3- 3，NS3- 2與NS3- 4之間的通信可同時進行；NS3- 1與Docker2，NS3- 3與Docker1之間的通信也可同時進行；此外，NS3- 1與NS3- 3，Docker1與Docker2之間的通信同樣可以同時進行；由此驗證了虛擬化與數字仿真融合網絡的并發性。

表2 并發性測試結果Tab. 2 Results of concurrency test

3.4 靈活性測試及結果分析

如圖11所示拓撲，對比圖7所示拓撲，可以看出新添加了全虛擬化節點、輕量級虛擬化節點以及數字仿真節點，只需將這些節點的IP地址設置為想接入的網絡的IP地址中的地址即可，以上證明了虛擬化節點和數字仿真節點可靈活接入多尺度融合仿真網絡。

如圖11所示拓撲，不同網絡之間的流量可靈活控制。實驗驗證，虛擬網絡1中數字仿真節點NS3- 1可以和虛擬網絡2中數字仿真節點NS3- 3或NS3- 4互通，也可以與虛擬網絡3中數字仿真節點NS3- 5或NS3- 6互通，還可以與Docker1或Docker2互通；虛擬網絡1中數字仿真節點NS3- 1、NS3- 2可同時分別與虛擬網絡2中NS3- 3、虛擬網絡3中NS3- 5互通，也可同時分別與Docker1、Docker2互通；以上均證明了對虛擬化與數字仿真融合網絡流量的靈活控制。

此外，虛擬網絡1中數字仿真節點NS3- 1、NS3- 2可同時分別與虛擬網絡2中NS3- 3、虛擬網絡3中NS3- 5互通，也可同時分別與Docker1、Docker2互通，進一步驗證了3.3節中所述的并發性。

3.5 擴展性測試及結果分析

一方面，比較圖6所示簡單網絡拓撲和圖5所示復雜網絡拓撲，拓撲中的虛擬化節點與數字仿真節點的數量都有了明顯增加，證明了虛擬化與數字仿真融合網絡的可擴展性。

另一方面，對圖5所示拓撲，可以看出有多個由數字仿真節點組成的數字仿真拓撲，本文實現了數字仿真拓撲內部通信以及不同數字仿真拓撲之間的通信。根據2.2節中無縫融合策略配置，對數字仿真拓撲運行OSPF協議以及進行路由設置。例如，虛擬網絡1中的所有數字仿真節點構成了數字仿真拓撲1，虛擬網絡2中的所有數字仿真節點構成了數字仿真拓撲2；拓撲1中的任一數字仿真節點想與拓撲2中任一數字仿真節點通信，不僅需在源節點和目的節點上添加路由信息，還需在邊界節點上配置轉發規則，因為數據包的傳輸要經過兩個數字仿真拓撲中的邊界節點轉發，而邊界節點的轉發依據是此節點上添加的路由信息或數字仿真拓撲運行的OSPF協議。數字仿真拓撲規模具有高度可擴展性，因此融合復現技術所復現的仿真網絡也具有可擴展性。

3.6 不同復現技術規模性對比

實驗環境：基于OpenStack分別部署在3臺物理服務器上的計算節點1、2、3，其中計算節點3為Docker模式，只能啟動輕量級虛擬化實例，計算節點1、2則可以啟動全虛擬化與數字仿真實例。計算節點1、2、3的配置都是24 VCPU，32 GB內存，而全虛擬化節點的配置是2 VCPU，4 GB內存。

經過實驗驗證，面向圖5所示網絡拓撲，計算節點1、2中約可同時啟動16個全虛擬化節點(4個作為虛擬路由器和12個作為數字仿真節點宿主機)與4 800個數字仿真節點，并實現以上節點與計算節點3中輕量級虛擬化節點組成的三尺度融合網絡的大規模實例同時運行、通信，在有限的物理資源條件下，實現較大規模的虛擬化與數字仿真融合的多尺度復現網絡。

表3是在以上實驗環境下，分別使用全虛擬化技術、輕量級虛擬化技術、數字仿真技術以及三種尺度融合的復現技術創建的仿真網絡規模對比數據。由結果可以看出，三尺度融合復現技術所構建的仿真網絡規模遠大于單一全虛擬化技術或輕量級虛擬化技術所構建的仿真網絡規模，規模僅小于使用低逼真度的數字仿真技術所構建的仿真網絡規模。

表3 規模對比Tab. 3 Contrast of scale

3.7 大規模網絡多協議測試及結果分析

通過多尺度無縫融合復現技術構建了如圖5所示大規模網絡，本文實現了該多尺度融合大規模網絡中基于多種協議的正常通信，該網絡中的虛擬化節點、數字仿真節點可以靈活并發地發送與接收傳輸控制協議(Transmission Control Protocol, TCP)、用戶數據報協議(User Datagram Protocol, UDP)、Internet控制報文協議(Internet Control Message Protocol, ICMP)數據包，驗證了面向三種尺度無縫融合的大規模網絡的實用性。實驗結果如表4所示(“Y”表示報文正常，“N”表示報文有誤，“—”表示此報文不需要)。圖12是不同虛擬網絡中兩個數字仿真節點之間通信時，在通信鏈路上任取一個節點使用wireshark工具進行抓包的報文捕獲情況，可以看出仿真結果符合表4實驗結論。

表4 協議測試結果Tab. 4 Results of protocol test

圖12 捕獲到的三種協議報文 Fig. 12 Captured messages of three protocols

3.8 簡單網絡安全實驗

由3.6節可知，基于現有計算資源，面向圖5所示網絡拓撲，計算節點1、2、3中約可同時啟動16個全虛擬化節點(4個作為虛擬路由器和12個作為數字仿真節點宿主機)、4 800個數字仿真節點與200個輕量級虛擬化節點共5 000個仿真節點。虛擬網絡中有一節點A，IP地址為192.168.1.100，當此節點創建完畢并啟動運行時，整個融合網絡拓撲中任一節點都可以正常訪問仿真節點A，同一網段中節點B訪問節點A的結果如圖13所示。

融合網絡拓撲中除節點A、B以外所有節點不間斷地向節點A發送TCP、UDP或ICMP協議報文，此時仍選擇節點B來訪問節點A，由圖14可知節點B無法正常訪問節點A，結果顯示簡單流量攻擊實驗成功。

圖13 正常訪問結果 Fig. 13 Access result of normal situation

圖14 攻擊時訪問結果 Fig. 14 Access result of attacked situation

4 結語

網絡復現是當前進行網絡研究的主要方法，本文在分析當前網絡復現技術存在的不足的前提下，提出了一種透明、并發、靈活、可擴展的虛擬化與數字仿真融合的多尺度網絡復現方法，并針對該方法的這四個特性進行了說明和實驗論證，然后在此基礎上實現了基于該方法所構建的大規模融合網絡上多種協議的通信與流量攻擊實驗。本文重點研究了面向三種尺度無縫融合的網絡構建技術，在通過該技術所創建的大規模融合網絡上進行網安實驗方面還有不足，所以在下一步的研究中，將重點考慮在所創建的大規模融合網絡中進行多種復雜的網絡安全實驗，進一步提高融合網絡的規模性、實用性和逼真度。

參考文獻(References)

[1] 方濱興,賈焰,李愛平,等.網絡空間靶場技術研究[J].信息安全學報,2016,1(3)：1-9. (FANG B X, JIA Y, LI A P, et al. Cyber ranges: state-of-the-art and research challenges [J]. Journal of Cyber Security, 2016, 1(3): 1-9.)

[2] LIU N, CAROTHERS C, COPE J, et al. Model and simulation of exascale communication networks [J]. Journal of Simulation, 2012, 6(4): 227-236.

[3] NEVILLE S W, LI K F. The rational for developing larger-scale 1000+ machine emulation-based research test beds [C]// WAINA ’09: Proceedings of the 2009 International Conference on Advanced Information Networking and Applications Workshops. Washington, DC: IEEE Computer Society, 2009: 1092-1099.

[4] JIN D, ZHENG Y, NICOL D M. A parallel network simulation and virtual time-based network emulation testbed [J]. Journal of Simulation, 2014, 8(3): 206-214.

[5] ERAZO M A, LIU J. Leveraging symbiotic relationship between simulation and emulation for scalable network experimentation [C]// SIGSIM PADS ’13: Proceedings of the 1st ACM SIGSIM Conference on Principles of Advanced Discrete Simulation. New York: ACM, 2013: 79-90.

[6] 黃敏桓,張堯學,許飛,等.基于虛擬化技術的路由仿真實驗平臺設計[J].系統仿真學報,2014,26(8):1672-1677. (HUANG M H, ZHANG Y X, XU F, et al. Design of virtualization platform for router emulation [J]. Journal of System Simulation, 2014, 26(8): 1672-1677.)

[7] ERAZO M A, RONG R, LIU J. Symbiotic network simulation and emulation [J]. ACM Transactions on Modeling and Computer Simulation, 2015, 26(1): Article No. 2.

[8] 黃錦松,楊藝,王文鼐.一種基于虛擬化平臺的網絡仿真準實驗床[J].計算機技術與發展,2015，25(8):208-212. (HUANG J S, YANG Y, WANG W N. A network simulation test bed based on the virtualization platform [J]. Computer Technology and Development, 2015, 25(8): 208-212.)

[9] 何新華,金國柱,王瓊.仿真試驗中的虛擬化技術應用[J].四川兵工學報,2011,32(8):71-73,82. (HE X H, JIN G Z, WANG Q. The simulation test of virtualization technology application [J]. Journal of Sichuan Ordnance, 2011, 32(8): 71-73, 82.)

[10] FUJIMOTO R M. Research challenges in parallel and distributed simulation [J]. ACM Transactions on Modeling & Computer Simulation, 2016, 26(4): Article No. 22.

[11] GE X, LIU Y, DU D H C, et al. OpenANFV: accelerating network function virtualization with a consolidated framework in OpenStack [C]// SIGCOMM ’14: Proceedings of the 2014 ACM Conference on SIGCOMM. New York: ACM, 2015: 353-354.

[12] LI Y, GUO L, LIN T, et al. Key technique research on virtual machine management based on KVM [C]// AsiaSim 2016, SCS AutumnSim 2016: Proceedings of the 2016 Asian Simulation Conference on Theory, Methodology, Tools and Applications for Modeling and Simulation of Complex Systems, CCIS 645. Berlin: Springer-Verlag, 2016: 540-546.

[13] MERKEL D. Docker: lightweight Linux containers for consistent development and deployment [J]. Linux Journal, 2014, 2014(239): 2.

[14] KIM B S, LEE D, CHOI T H. Performance evaluation for Modbus/TCP using network simulator NS3 [C]// TENCON 2015: Proceedings of the 2015 IEEE Region 10 Conference. Piscataway, NJ: IEEE, 2016: 1-5.

[15] RAJANKUMAR P, NIMISHA P, KAMBOJ P. A comparative study and simulation of AODV MANET routing protocol in NS2 & NS3 [C]// Proceedings of the 2014 IEEE International Conference on Computing for Sustainable Global Development. Piscataway, NJ: IEEE, 2014: 889-894.

[16] ALDALBAHI A, RAHAIM M, KHREISHAH A, et al. Extending NS3 to simulate visible light communication at network-level [C]// Proceedings of the 2016 3rd IEEE International Conference on Telecommunications. Piscataway, NJ: IEEE, 2016: 1-6.

This work is partially supported by the National Natural Science Foundation of China (61672264), the National Key Research and Development Program of China (2016YFB0800801).

WUWenyan, born in 1994, M. S. candidate. Her research interests include network emulation, network security.

JIANGXin, born in 1982, Ph. D., engineer. His research interests include network and information security.

WANGXiaofeng, born in 1978, Ph. D., associate professor. His research interests include network emulation, network security.

LIUYuan, born in 1967, M. S., professor. His research interests include computer network, network security.