針對分布式靶場大規模網絡多粒度節點高效構建方法的研究

劉子健 劉楚涵 張宏斌 田曉娜

收稿日期：2023-09-02

DOI：10.19850/j.cnki.2096-4706.2024.06.006

摘? 要：目前網絡威脅嚴峻，網絡靶場作為網絡風險評估、攻防對抗演練等場景下的安全技術驗證手段備受矚目。合理使用網絡靶場內計算資源的開銷，高效地完成目標網絡構建是當前亟須解決的問題。文章提出了一種大規模、多粒度節點融合的動態網絡構建方法，一方面通過多粒度節點協同工作的方式使用靶場內資源，擴大了網絡規模；另一方面通過改進E-CCD算法，優化節點間鏈路添加的時間復雜度，降低網絡構建時間。經驗證，構建10萬級節點規模的大規模網絡可在235分鐘內完成，可面向目前主流的分布式異構靶場。

關鍵詞：網絡靶場；大規模；多粒度；動態構建

中圖分類號：TP393? ? 文獻標識碼：A? 文章編號：2096-4706（2024）06-0024-06

Research on Efficient Construction Method of Large-scale Network Multi-granularity Nodes for Distributed Cyber Range

LIU Zijian， LIU Chuhan， ZHANG Hongbin， TIAN Xiaona

（National Computer System Engineering Research Institute of China， Beijing? 100083， China）

Abstract： The increasing severity of cyber security threats has led to a growing interest in the use of network cyber range as a means of assessing risks， conducting defensive exercises in complex scenarios. A pressing issue is how to reasonably utilize the computational resources within network cyber range to efficiently construct target networks. This paper proposes a large-scale， multi-granularity node fusion method for dynamically building networks， which leverages the computational resources by coordinating the work of multiple granularity nodes and expand the network scale. Furthermore， the method improves the E-CCD algorithm to optimize the time complexity of the inter-node link addition， thus reducing time in network construction. Results have shown that the construction of large-scale networks with a node scale of 100 000 can be completed within 235 minutes， making it applicable to mainstream distributed and heterogeneous cyber range.

Keywords： network cyber range; large-scale; multi-granularity; dynamic construction

0? 引? 言

隨著互聯網行業的迅速發展，已由傳統單一的網絡環境發展到泛在的網絡環境，網絡靶場作為網絡安全技術研究、網絡安全應急演練、網絡安全人員培訓等網絡安全服務的基礎環境，被世界各國極為重視，目前，以美國為首的國家均將網絡靶場建設作為支撐網絡安全技術驗證、網絡武器研制實驗和風險評估分析的重要場所[1]。因此，發揮網絡靶場的優勢在維護我國網絡主權、加快我國向網絡強國邁進的步伐和在未來網絡戰中占據有利地位等方面具有重要的意義[2]。

在網絡靶場中大規模網絡構建技術具有核心的地位，尤其針對主流的異域、異構的分布式靶場下的虛實互聯網絡構建技術與國外差距較大，如何高效地實現大規模網絡拓撲靈活部署、合理地使用資源開銷是大規模網絡構建中需要解決的兩個問題[3]。

本文基于云計算技術和行業專用仿真系統搭建了分布式異構靶場，完成了物理機、裸金屬、全虛擬化、輕量級虛擬化、協議棧五種粒度節點協同工作的模擬網絡環境構建和特定業務場景仿真。進而在資源開銷、仿真效果和部署規模上達到平衡，并通過本文提出的E-CCD優化算法縮減了網絡構建時間。

1? 分布式異構靶場多粒度節點融合網絡構建方法

在網絡空間靶場有限的資源中，考慮網絡規模的同時，還需關注資源的開銷，采用多粒度節點融合的方法恰恰能夠實現不同級別的網絡節點部署，提高計算資源利用率，進而擴大網絡規模。該方法結合了網絡模擬、虛擬仿真、容器仿真、虛實互聯等技術，對大規模網絡拓撲進行統一編排和抽象描述，滿足真實性與成本平衡的綜合業務仿真場景。分布式異構靶場多節點融合網絡構建的總體架構如圖1所示。

1.1? 分布式異構靶場多粒度虛擬化技術理論研究

由于多粒度節點所對應的部署需求和底層的虛擬化仿真應用程序實現均不同，需要對多粒度節點網絡進行統一化的編排管理，隱藏底層虛擬化仿真應用程序的實現，以虛擬網絡拓撲文件的形式描述部署。各類粒度虛擬化技術如下所述。

全虛擬化是一種計算機實體資源的虛擬化技術，全虛擬化節點是多粒度靶場中最重要的一類節點。該技術允許模擬真實完整的操作系統和實體資源，該技術虛擬出的網絡節點互相之間高度隔離、各自具備完整軟件、硬件結構，可完整地模擬現實網絡中真實的節點。

輕量級虛擬化是相較于傳統全虛擬化技術而區別的，輕量級虛擬化技術提供的是用戶空間層次的隔離性，而在內核、其他部分資源上與宿主機和其他輕量級虛擬化節點共享，適用于不需要高度模擬物理環境、但需要大量、快速部署網絡節點的靶場需求[4]。

離散仿真是由離散事件模擬器進行的協議棧網絡構建技術，在大規模目標網絡構建時，并非所有節點都在網絡中發揮關鍵作用。在實現低資源開銷，高網絡構建效率時，可將虛擬網絡的邊緣部分使用安裝有離散事件模擬器的全虛擬化節點完成。

裸金屬融合了物理節點和虛擬節點各自的優勢，以裸金屬實例為載體，直接使用物理服務器穩定的計算能力，以及云平臺內存儲、網絡等資源。突破云資源與物理資源的邊界，保障核心應用的高性能和穩定性的同時，又結合云平臺中資源的彈性優勢，該類節點用于強算力的使用場景。

1.2? 分布式異構靶場多粒度融合技術實現方法

多粒度融合的網絡節點包含物理主機、裸金屬、虛擬機、容器、協議棧五類節點，通過應用上述不同層次的虛擬化技術，以最少的資源開銷、最快的構建速度滿足實際業務需求的大規模目標網絡場景。行業專用靶場系統與總靶場異域、異構互聯，形成多粒度節點融合的分布式異構靶場。下面從全虛擬化、輕量級虛擬化、離散模擬、裸金屬和實體終端虛實互聯具體實現的角度出發，論述面向多粒度節點分布式異構靶場實現方式。

1.2.1? 全虛擬化粒度節點

全虛擬化節點采用KVM虛擬化技術實現，網絡虛擬化技術通過OVS實現交換機節點的構建，二者結合來構建高性能、高可靠的云主機實例和虛擬網絡設備，模擬出極為真實的網絡和主機環境。

1.2.2? 輕量級虛擬化粒度節點

輕量級虛擬化節點采用Docker輕量虛擬化技術，按照用戶需求靈活構建目標網絡環境以及其上的應用業務。在部署一個較復雜的業務時，采用了OVS的解決方案，使各個服務器上的Docker容器通過自身的虛擬網卡連接到OVS上后再接入網絡[5]。

1.2.3? 離散仿真粒度節點

離散仿真節點采用NS3協議棧模擬技術實現，虛擬網絡環境中對于網絡協議有高逼真度要求的部分，完整模擬環境中的節點行為，模擬應用構建、進程調度、網絡監控等功能，并采用了基于原始套接字的協議棧節點流量仿真接入技術和協議棧節點按需動態追蹤技術。

1.2.4? 裸金屬粒度節點

裸金屬節點采用OpenStack體系結構中的Ironic組件實現，該組件可以直接對物理機執行節點管理，進行物理機節點的添加、刪除，進行電源管理，部署系統等操作。用戶通過Nova API和Nova Scheduler來啟動一個裸金屬實例，之后請求會通過Ironic API，連接到Ironic Conductor服務，再到對應的Driver，最后完成實例部署，為用戶提供成功部署的物理機服務。

1.2.5? 實體終端接入

實體機的接入依靠Vxlan隧道，打通SDN交換機與云平臺各個計算節點OVS中 br-tun隧道網橋之間的鏈路，通過控制器對交換機進行全權掌握。vxlan隧道的構造首先分別在云平臺內各個OVS虛擬交換機的隧道網橋和實體SDN上都添加相應的vtep_port端口對，這些端口對實現了實體交換機和虛擬網橋的連通，進而實現云平臺中虛擬實例與實體終端的鏈路連通，之后在每個br-tun 隧道網橋中添加守護進程，將新增加的vtep_port信息添加進入其中的各級流表中[6]。虛實互聯的物理架構圖如圖2所示。

圖2? 實體機接入物理結構

2? 大規模多粒度節點融合網絡高效構建方法

在各粒度節點均融入靶場環境之后，需要改進云計算環境下復雜網絡靈活構建的關鍵算法。通過對基礎設施網絡節點和鏈路資源進行虛擬化，虛擬網絡構建技術可動態、靈活創建網絡拓撲，也可以動態分配帶寬，為用戶提供更高質的通信服務，滿足未來網絡的擴充改造。目前，在靶場網絡拓撲擴建添加的過程中，要盡可能規避源節點到目的節點之間存在多跳而產生的網絡時延，將虛擬網絡的拓撲結構轉化為小世界網絡結構[7]，降低虛擬網絡的平均路徑長度（APL），提高網絡的平均聚類參數（ACC）。在其他網絡模塊的共同作用下，構建一個拓撲的基本方法架構如圖3所示。

圖3? 拓撲生成方法架構

2.1? 虛擬網絡鏈路構建理論研究

主流基于虛擬網絡拓撲構建和動態帶寬分配的OpenStack多節點的大規模鏈路添加算法包括以下幾種。

基于最大度數差鏈路添加算法（MaxDgd）是小世界模型的啟發式算法，它通過遍歷網絡圖中所有邊來計算圖中每個頂點的度數，排序選擇度數最大的頂點與度數最小的頂點，在最大度差異的節點對之間來添加新鏈路，在一個邊數為M的網絡中添加一條新鏈路的時間復雜度為O（M）。該算法不考慮節點在當前網絡位置關系，因此添加的新路徑與原靶場拓撲的關系不大。與此相似的基于最大點度中心參數差的鏈路添加算法（MaxDCD），遍歷N個節點網絡中的所有節點而不是邊，選擇網絡中最大度數數差的節點對來添加新鏈路構建小世界網絡，該算法的時間復雜度為O（N2logN）。

基于最大介數中心參數差的鏈路添加算法（MaxBCD）也是通過遍歷網絡拓撲圖中的所有節點來添加新的鏈路，選擇最大介數中心參數差的節點對連接構成新的虛擬拓撲，時間復雜度為O（N2logN）。中介中心性的計算思想認為，網絡中兩個非相鄰成員之間的相互作用依賴于其他成員，特別是兩成員之間路徑上的節點，對二者的相互作用具有控制和制約作用，因此當一個成員位于其他成員的多條最短路徑上，那么該成員就是核心成員，就具有較大的中介中心性。一個特定節點的中介中心度值由通過該節點的所有最短路徑數和拓撲中存在的所有最短路徑數量比值所決定。

基于中心聚集系數差高效鏈路添加算法（E-CCD）不僅能夠利用節點的連接數網絡局部特征，還考慮其在整個結構中所處的位置。對于到圖中其他節點的最短距離都很小，即接近中心性很高的用戶來說，它更可能處于網絡的核心位置，新鏈路的添加有更大概率與其相關。一個節點的接近中心性由拓撲中節點的數量與所有節點到該點最短路徑距離和的比值計算得到：

（1）

其中N-1是為了使網絡拓撲中所有節點的CC值保持均一化值。對于計算得到的所有節點CC值，選取其中最大與最小的點形成新的鏈路，隨后更新所有的最短路徑距離，以用于下一次鏈路添加時CC值的計算。

可見E-CCD算法能夠在生成拓撲鏈路的時候很好地考慮到各個用戶的參與重要程度與位置影響的作用，使得增改后的靶場結構最短路徑和保持一個盡量小的狀態，用于各節點間的快速通信。但該算法仍明顯地存在著兩個問題，一是每添加一條新鏈路后對所有節點的最短路徑進行數值上的計算更新，在數量龐大的超大規模仿真靶場網絡中，時間的資源消耗會非常大，因此應在算法的過程中求出最短距離情況和聚集系數受到相對影響的部分節點組，僅更新計算符合條件節點的d值的；二是由不同粒度節點搭建的不同網絡之間，用戶的級別不同造成雙方直接的通信資源消耗大，更加漫長，需要考慮到擬連接二者間的直線距離，減少或避免跨級別網絡間的鏈路生成[8-10]。

2.2? 基于大規模多粒度靶場網絡環境改進的E-CCD鏈路添加算法

網絡拓撲即為抽象的一張復雜圖，節點之間通過邊相互連通，其中通信網絡拓撲結構較為復雜，網絡冗余高，網絡端到端傳輸距離較大，網絡平均路徑長度導致平均網絡時延很高。虛擬的通信網絡靶場視為一個無權重無向圖G = {V，E}，其中V = {V1，V2，…Vn}表示G中的節點集合，網絡的連接矩陣A（i，j） = 1代表圖G中節點i和j有連接關系，i、j之間的最短距離d（i，j）構成了網絡的最短距離矩陣D（i，j）。

算法執行開始時，對每個節點計算其中心聚集系數CC（vi），從中選取數值最大的節點作為鏈路連接的選擇，為了防止跨量級網絡節點間通信代價過大的問題，以選中的用戶為基準，通過各個節點的CC值與基準間最短距離d的比值計算其他所有節點與最重要基準核心的匹配程度MD，與選中的基準節點匹配程度最高的節點則為鏈路生成的另一端點。在一條鏈路添加完畢后，為了更新最短距離矩陣的時間過長，通過不穩定節點對形成定理降低計算的復雜度，根據其他節點到添加新鏈路兩端點最短距離變化與否，劃分為穩定節點s與不穩定節點u，通過更新兩組節點間的最短距離即可完成整個拓撲D的更新。最短距離d的更新，具體來說是通過計算U與S中每對節點的最新最短距離，當計算的結果小于原本D中的數值時對其進行替代。改進后算法的具體流程圖如圖4所示。

圖4? 優化的大規模多粒度靶場網絡環境E-CCD鏈路添加算法流程

由此生成的新虛擬網絡拓撲可以在滿足任意兩節點通信距離最短、時間最短的情況下，減少了跨級別網絡間用戶的直接相連造成的通信資源消耗增加，同時還使得原本E-CCD算法更新最短距離矩陣的時間減少，拓撲生成的執行速度增加。在大規模、構成類型復雜的模擬通信靶場實驗環境中，優化改進的算法節約了大量構建成本，應用于新技術驗證和網絡安全人才培養的靶場中去。

3? 實驗結果與分析

基于OpenStack標準部署方案搭建的并發本地仿真實驗網絡，采用1臺H3C S5130千兆交換機實現云平臺管理網搭建，選用39臺浪潮NF5270M5計算服務器，其中控制節點、網絡節點、存儲節點、裸金屬各使用1臺、全虛擬化計算節點使用10臺，輕量級虛擬化節點使用20臺，協議棧計算節點使用5臺，并采用2臺H3C S6812萬兆交換機實現業務網和測量網搭建。十萬規模規模級網絡中含CentOS 7.5操作系統的KVM虛擬機實例2 000臺、Dokcer容器實例30 000臺，2.36版本的NS3協議棧模擬70 000節點規模網絡，其中每個容器、協議棧主機內均可實現萬級以上用戶節點的創建。大規模異構靶場網絡拓撲如圖5所示。

異構網絡間數據報文能夠做到無縫互通，各級別網絡通過路由器直接互相訪問。節點互訪情況如圖6所示。

圖6? 節點互通訪問

針對擴展靶場網絡的優化算法驗證，通過：

EccdAlgorithm eccdAlgorithm = new NewECCD（File jsonFile， String[] netNode， String[] nodeType， String[] clusterName， int[] nodeCount）;

Boolean isSuccess = eccdAlgorithm.build（）;

對使用傳統的E-CCD與針對復雜級別實驗靶場改進的E-CCD拓撲生成算法的時間成本進行分析。

從表1中可以直觀地看出，在組成節點類型多樣、整體拓撲規模巨大的情況下，改進后的拓撲生成算法總體上更能減少時間的消耗。生成的拓撲規模越大，該算法優化的效果越好，大大減少了虛擬靶場環境下的實驗成本。

表1? E-CCD與優化E-CCD搭建靶場時間對比

節點數量/算法 E-CCD 優化E-CCD

1 000 15 min 21 s 12 min 32 s

10 000 60 min 32 s 54 min 58 s

100 000 4 h 20 min 18 s 3 h 54 min 22 s

4? 結? 論

本文通過多粒度節點融合和優化的E-CCD拓撲生成算法高效完成大規模網絡構建，實驗表明，五種粒度節點組成的十萬規模的協同靶場內互聯互通，封裝成API的拓撲生成算法能夠靈活構建新型網絡，構建的時間成本比傳統的E-CCD算法縮短了10%以上，在靶場環境模擬中能夠節約更多的時間開銷。因此本文提出的新方法在未來網絡安全行業中有重要的應用價值。

參考文獻：

[1] 藍炫勉，陳剛，李周，等.基于虛擬化技術的智能制造網絡安全靶場設計 [J].自動化博覽，2023，40（7）：34-37.

[2] 莫媛淇，史媛，陳智慧.網絡攻防靶場實戰核心平臺應用研究 [J].電子元器件與信息技術，2023，7（5）：200-203+207.

[3] 畢曉東.網絡安全虛擬仿真靶場設計與實現 [J].計算機時代，2022（10）：29-32.

[4] 梁建輝，侯昱輝，劉潤福，等.基于Docker的網絡安全靶場設計與實現 [J].鐵路計算機應用，2022，31（11）：67-70.

[5] 崔軻，燕瑋，劉子健，等.基于OpenStack云平臺的Docker容器安全監測方法研究 [J].信息技術與網絡安全，2022，41（4）：65-70.

[6] 顏詩祺.面向靶場的高逼真大規模目標網絡構建關鍵技術研究 [D].廣州：廣州大學，2023.

[7] 柴瑤琳.虛擬網絡構建方法研究 [D].北京：北京郵電大學，2018.

[8] 李蔚恒.云邊架構中大規模目標網絡構建關鍵技術研究 [D].哈爾濱：哈爾濱工業大學，2020.

[9] 李劍鋒，劉淵，王曉鋒，等.基于多粒度虛擬化的虛實融合網絡仿真 [J].傳感器與微系統，2018，37（6）：43-47.

[10] 陳琪.傳送網拓撲構建與規劃系統優化研究 [D].北京：北京郵電大學，2019.

作者簡介：劉子?。?991—），男，本科，工程師，主要研究方向：網絡安全、云計算、大數據；劉楚涵（1998—），女，博士在讀，主要研究方向：網絡安全、用戶行為模擬；張宏斌（1988—），男，高級工程師，碩士，主要研究方向：網絡安全；田曉娜（1989—），女，工程師，碩士，主要研究方向：網絡安全。