網絡空間內生安全試驗場管理技術

朱泓藝，陸肖元，李毅

（上海寬帶技術及應用工程研究中心，上海 200436）

1 引言

隨著互聯網技術與垂直行業的緊密結合，網絡空間安全作為國家安全的組成部分，其重要性日益凸顯。尤其是在云網融合、車聯網、工業互聯網、天地一體化等技術發展的加速推進下，移動通信、智能網聯汽車、工業系統、衛星通信均逐漸暴露在網絡攻擊的風險之下。網絡空間安全造成的影響，也從個人隱私、企業機密的泄露，提升到危害人民財產、生命安全以及國家利益的高度。快速迭代的網絡架構、設備以及應用場景，使傳統的網絡安全防御技術和傳統的網絡信息產品安全性能檢測技術捉襟見肘，難以承擔維護國家網絡空間安全的重要任務。

在網絡安全防御技術方面，“內生化”的網絡安全在近年來已成為研究熱點。由于網絡攻防態勢的普遍不對稱性，被動式的防御技術與產品僅依靠阻擋、檢測和修復[1-2]等手段存在一定的滯后性。因此，在面對未知的系統漏洞后門與惡意網絡攻擊時，往往無法及時有效地發現威脅，只能在網絡受到攻擊造成損失后進行修補，無法滿足如今工業互聯網、車聯網等領域的高安全性要求。采用主動防御技術，為系統引入動態隨機性使之呈現不可預知的特點，從而減少對網絡攻擊先驗知識的依賴，成為網絡安全領域新的主流觀點?；诖?，擬態防御原理引入動態異構冗余架構[3-4]，從網絡空間的根本結構上為系統提供“內生”的安全性能。擬態防御作為目前實現網絡空間內生安全的一種最具有可行性的技術體系，已被廣泛應用于網絡架構與軟硬件設備的設計之中[5-6]。

在網絡安全檢測技術方面，網絡靶場[7]（cyber range，CR）和試驗床（test-bed，TB）作為一種網絡空間安全研究的信息基礎設施，可承擔網絡信息產品安全性能的評估、網絡安全性策略的制定和在典型網絡應用場景進行網絡攻防演練等任務，為新型網絡技術與設備提供一個具有高度可操作性的試驗環境。因此，CR技術已受到國際社會的高度重視，世界各國均將CR作為體現國家安全實力的重要信息基礎設施。

作為兩者的融合，網絡空間內生安全試驗場是一種主要面向網絡空間內生安全技術的CR/TB。參考文獻[8]重點探討了基于面向對象設計思想的網絡空間先進防御技術試驗場構建方法，為網絡空間內生安全試驗場的設計與建設提出了一種可行的方法。

在我國，CR/TB的研究主要以科研院所如國防科學技術大學、中國科學院計算技術研究所、北京郵電大學等機構牽頭建設，在網絡攻防演練、場景仿真、數據采集等多個方面均有重大突破。同時，在南京紫金山實驗室的支持下，全球首個網絡內生安全試驗場在南京落地，主要面向全球提供真實的人機對抗環境，提供網絡設備的安全測試與網絡安全人員的技能培訓。

國外關于CR/TB的研究情況見表1，國外關于CR/TB的相關研究于20世紀初已經開始，其中美國的起步相對較早。各國CR/TB的主要建設機構分為兩類，分別為國家政府部門與科研機構，前者如美國國防部更側重于網絡攻擊防御技術與網絡武器有效性評估等，后者例如各世界著名高校與非營利科研組織則更側重下一代網絡體系架構研究。無論出于何種建設目的，所有的CR/TB均具有大規模網絡環境模擬以及構建可重復實驗的需求。

本文基于對CR/TB的全球趨勢研究與5G新形勢下對于網絡安全試驗的需求分析，提出了一種網絡空間內生安全試驗場管理技術，針對先進防御技術的模擬測試、內生安全設備的部署驗證以及攻防演練場景的快速構建與切換等需求，設計了以內生安全軟件定義網絡控制器為核心的虛實結合試驗場管理架構，通過雙層隔離的方式，在保障試驗環境獨立安全的前提下，提供網絡信息可視化、場景快速重構、多場景并行運行以及信息資源可編排等功能。同時，提出了一種內生安全網絡控制系統的架構設計，采用中間層轉發代理實現數據安全隔離，支持多種異構開源控制器執行體構建擬態資源池，并采用了基于關鍵字段流一致策略的裁決算法。最后，基于一種試驗場組網方案提出試驗場場景重構與資源編排方法?？紤]到篇幅問題，在下文中，主要以試驗場來指代網絡空間內生安全試驗場。

表1 國外關于CR/TB的研究情況

2 虛實結合的試驗場管理架構

本節基于以5G為核心的網絡空間安全新形勢，重點分析了建設虛實結合的試驗場管理體系架構的必要性以及需要實現的技術要求，最終提出一種以內生安全軟件定義網絡控制器銜接實體網絡與虛擬網絡的試驗場管理架構，實現對于虛實結合試驗場的統一控制管理與資源編排。

2.1 需求分析

5G的到來不僅強化了網絡功能虛擬化（network function virtualization，NFV）與軟件定義網絡（software defined network，SDN）的重要性，更使得兩者緊密結合。一方面，隨著云計算的發展，許多新型高科技企業與電信服務運營商都青睞部署于原生云中的虛擬網絡功能（virtual network function，VNF）。容器與微服務技術的發展更促進了NFV技術的應用，以容器運行VNF可以提供自動擴/縮容、編排等功能，對于新型企業而言，是較為高效的業務部署方式，也是擺脫傳統設備商軟硬一體化限制的重要手段；另一方面，隨著分布式計算、邊緣計算等技術的發展，SDN技術重新被廣泛應用于數據中心網絡，通過解耦網絡設備的控制層與數據層，在控制層實現了網絡管理的標準化與可編程，從而更有效地分配東西向網絡資源。5G在核心網控制面實現全面的虛擬化，而在用戶面則基于SDN技術實現高效的轉發與分流，通過以NFV/SDN融合技術為代表的網絡結構轉型，滿足多種垂直行業不同應用場景的差異化用戶體驗保障要求。

5G技術的發展也為網絡安全問題帶來了巨大的挑戰：（1）由于5G建設過程中大量應用了支持通用白盒設備以及通用接口的NFV/SDN技術，與過去的傳統移動網絡相比，與固定寬帶網絡聯系更為緊密，同時也為惡意網絡攻擊者提供了方便之門；（2）VNF的部署與應用為網絡控制層帶來了具有較高復雜度的程序構成與底層操作系統，大幅提升了網絡控制層中存在漏洞或后門的概率；（3）在5G技術應用于垂直行業的過程中，NFV/SDN技術也逐漸滲透至例如工業互聯網、車聯網、衛星網絡等，而這些場景過去未曾考慮網絡攻擊的風險，部分基礎設施安全防護措施薄弱、業務系統復雜，安全等級要求卻遠高于傳統互聯網。

為了應對網絡空間安全新形勢，本文提出的試驗場的構建方法與管理架構以面向虛實結合網絡空間的大規模多場景攻防演練為目標，從試驗場管理層面實現對于虛實網絡的統一控制管理與資源編排；在面向用戶的應用平臺層面則需要消除對于虛實網絡差異的感知，從而支持內生安全虛擬/實體網元的聯合測試驗證以及可重構的攻防演練場景。

2.2 架構設計

在試驗場管理方面涉及大規模虛實網絡的互聯組網、高可靠高安全的網絡控制、高效率的資源編排、可重構切換的攻防演練場景等多項關鍵技術。本文所提出的試驗場管理架構如圖1所示，主要分為試驗場平臺、SDN控制器、虛擬/實體網絡3部分，其中實線表示數據鏈路，虛線表示管理鏈路。試驗場平臺作為整個試驗場的應用層，提供網絡拓撲可視化、動態信息資源編排、攻防演練場景構建與切換以及先進防御技術與設備的測試評估等功能。SDN控制器為統一網絡控制的關鍵網元，通過動態異構冗余架構以及異構SDN控制器執行體池的構建，為SDN控制層提供內生安全保護。虛擬網絡主要提供大規模組網場景的快速構建以及內生安全虛擬網元的部署；實體網絡主要部署內生安全實體網元以及攻擊、測試等專業設備。整個試驗場在SDN控制層與物理硬件設備管理接口采用了雙層隔離的設計思路保障試驗場平臺的安全可靠。整個試驗場管理架構在設計中遵循以下原則。

· 先進性：針對先進防御技術與設備的部署需求提供模擬環境建立的功能，以滿足測試評估需求。

· 可重構性：支持攻防演練場景的快速構建、釋放、切換，提供高效靈活的測試驗證環境；

· 可擴展性：支持新增設備與硬件資源，可支持大規模分布式試驗場部署。

· 規范性：以先進防御技術標準體系為導向，保障先進防御技術測試驗證的規范性。

· 安全性：試驗場管理系統需要與試驗場環境進行高度隔離。

圖1 虛實結合的網絡空間內生安全試驗場管理架構

根據上述設計原則與需求，本架構具備如下特點。

在虛實網絡的高速互聯方面，SDN使用軟件應用程序對虛實網絡進行集中控制編程，北向支持開放的RESTconf API，使得試驗場網絡管理無須考慮底層網絡技術的復雜性。南向則通過NETconf協議，在虛擬網絡側與云平臺的網絡節點進行對接，例如在基于OpenStack平臺的虛擬網絡中，SDN控制器可與Neutron模塊對接，用以管理虛擬網絡中所有的計算、存儲和控制節點，實現虛擬網元的組網；實體網絡側對接SDN交換機，作為實體網元的數據匯聚節點。SDN控制器具備大規模網絡拓撲發現、高速信息處理和流表下發的能力，采用流表聚合和標簽路由算法，可以解決實體SDN交換機流表數量限制和查詢效率，從而實現大規模二層組網和高效率的二層交換，最終實現虛實網絡的萬兆高速互聯。

安全可靠的網絡控制方面，在SDN控制層引入動態異構冗余的架構，首先在數據層和應用層之間加入中間層與擬態層，其中中間層不進行路由計算僅作為數據采集、報文上傳、流表下發等任務的中間節點，擬態層則維護支持多個異構SDN控制器執行體的資源池，將報文信息同時轉發給多個執行體，通過流表一致性裁決強化路由信息安全可靠性，同時實現對于異常執行體的發現與清洗重啟。

在統一信息資源編排方面，網絡拓撲信息的維護由SDN控制器統一管理，在虛擬網絡側通過路由器、端口、子網、主機與鏈路等元素的映射，將基于云平臺的虛擬網絡拓撲與實體網絡拓撲進行整合，提供統一的網絡拓撲展示，簡化試驗場網絡運維管理，提高試驗場管理平臺可視化效果；承載虛擬網絡的云服務器以及構成實體網絡的實體網元額外設置了管理接口與鏈路，將承載試驗場攻防演練的數據鏈路和實現各設備配置管理與數據采集的管理鏈路進行安全隔離，避免試驗場中的攻擊數據流直接影響到試驗場管理平臺。

在支持攻防演練場景的快速構建與切換方面，試驗場支持的獨立管理鏈路可以快速生成或釋放虛擬網元、啟動或停止實體網元，并通過SDN控制器調整組網結構，大幅簡化攻防演練場景構建的流程，同時支持不同設備組成多個測試環境并行試驗，實現高效的測試評估。

3 內生安全軟件定義網絡控制系統

在虛實結合的試驗場管理架構體系中，實現虛實網絡集中控制的SDN控制層為整個試驗場的核心部位，需要承載虛擬網絡中與云平臺的對接、在實體網絡中控制SDN交換機實現拓撲變更以及虛實網絡的高速互聯等功能，其安全性能需要最高級別的保障。

本節提出基于動態異構冗余架構的內生安全軟件定義網絡控制系統架構保障SDN控制層安全，實現多異構SDN控制器執行體動態調度、流表對比裁決、快速調度下線重啟控制器等關鍵性技術。

3.1 異構開源SDN控制器執行體

基于擬態防御的SDN控制層安全機制在參考文獻[20]中進行了充分的討論，研究了基于語義層面的異構控制器流表項對比裁決。在實驗中，選用了ODL（Open Day Light）控制器作為主控制器，而POX和ONOS（Open Network Operating System）作為等價異構控制器提供對比裁決的流表數據。在本文中，選用自研的DCFabric開源SDN控制器作為中間層，本身并不提供路由功能，僅為多個異構SDN控制器執行體提供報文上傳、網絡拓撲信息更新以及流表轉發的功能，構成擬態防御架構中的代理節點。在安全性上，該部分僅作為透傳通道，其功能具有簡單可靠的特點，難以出現故障或被網絡攻擊。在功能性上，提供了與云平臺對接和可視化的能力，可以滿足虛實結合的試驗場組網需求。

在異構執行體的選取方面，本文提出的內生安全SDN控制器采用三大主流開源SDN控制器ODL、ONOS、Ryu構成異構資源池，其各項特點對比見表2。其中，ODL控制器由Linux基金會主導開發推進，主要面向數據中心網絡支持SDN/NFV分布式框架和平臺；ONOS控制器則由非營利性組織ONLab主導推出，主要聚焦控制器平臺層，業務組件則提供開放接口供使用者自行開發；Ryu控制器由日本NTT公司負責設計研發，完全采用Python語言實現，具有輕量化的優點。

表2 開源SDN控制器對比

根據測試對比可見，本文所引用的3種開源SDN控制器分別采用不同的語言進行編寫，在執行體的異構度上有足夠的保障。與ONOS和Ryu相比，ODL控制器由于功能模塊豐富，不僅代碼量為另外兩種控制器的上百倍，同時在啟動時需要占用更多的時間。這一點在內生安全SDN控制器運行過程中，將會較大地影響ODL控制器下線清洗后恢復上線所需要的速度。而Ryu控制器屬于輕量級系統，在代碼量與ONOS相當的情況下，可以實現10 s以內的快速啟動，并且內存占用也遠低于其他兩種控制器。

3.2 控制器架構

SDN控制器整體架構如圖2所示，包括應用層、中間層、數據層以及擬態層；應用層與中間層之間使用RESTful API進行消息傳遞，包括拓撲信息獲取、配置下發等消息；中間層和數據層之間使用OpenFlow協議進行消息交互，包括數據層的請求以及流表下發等消息；擬態層主要作為中間層的一部分，包括裁決器、調度器以及各種異構控制器。

圖2 內生安全SDN控制器架構

其中，中間層和擬態層是內生安全SDN控制器的兩個重要組成部分，中間層使用DCFabric與數據層的SDN交換機或云平臺中的網絡節點建立連接，數據層中的數據發生交換時，向中間層請求路由策略。在初始化完成之后，擬態層中的各個異構控制器會各自獨立獲取并更新數據處理中整體網絡狀態，中間層收到交換發送的策略請求之后，通過輸入代理模塊將請求信息分發到層中的各個異構控制器，各個控制器分別進行路由策略計算。各個控制器計算得到的轉發策略會統一發到裁決器進行匯總，裁決器將策略統一匯總發送到輸出代理，最后下發到SDN交換機。

擬態層中的各個控制器以虛擬機或容器的方式運行，可以根據需求快速地創建或釋放一個控制器實例。其中裁決器不只是對策略進行裁決，還會將裁決的結果向調度器反饋，調度器收到裁決結果后，對有安全風險的控制器執行體進行清洗。

應用層主要是對網絡的可視化管理，包括可視化的查看以及配置，前端頁面向應用層服務端獲取網絡當前狀態數據，并將其展現在前端頁面，包括網絡拓撲信息、當前各種異構控制器的運行狀態、當前SDN交換機的流表信息等。應用層服務端通過RESTful API向DCFabric控制器獲取狀態信息，不同的用戶擁有不同的配置管理權限以及查看權限，從而增強網絡管理的安全性。

3.3 擬態裁決的流程設計

內生安全SDN控制器的擬態裁決主要針對“流一致”的要求進行設計，即多個異構SDN控制器執行體流表的路由策略保持一致。在裁決器收到多個控制器發送的流表信息后，開始裁決過程，主要由同步、折分、比較和裁定4個步驟組成。

同步：本步驟為了保證擬態裁決的對象是異構控制器，是針對同一路由策略請求后下發的流表信息，該過程可通過報文標識符Packet_ID完成。

拆分：由于逐比特比較計算量大，且無法處理異構控制器私有的控制規則信息，難以在裁決器進行流表的逐位匹配。因此，在本步驟對流表的關鍵信息進行提取，按照路由策略的語義規則，將其分為多個關鍵字段。

比較：根據關鍵字段拆分結果，對多個流表每個字段進行分別匹配比對，例如分別就源地址、目標地址、轉發端口等字段進行比對。

裁定：在比較過程結束后，根據比對結果裁定具有多數優勢的流表信息為真，轉發至代理節點，并將流表信息裁定為假的控制器信息反饋至調度器進行處理。

在本系統設計中，除了采用細粒度的流一致裁決算法，還添加了帶容忍閾值的自清洗機制強化內生安全SDN控制器的可靠性與穩定性。由于多個控制器執行體的路由策略可能有一定的不一致，同時考慮到部分控制器執行體的重啟時間較長，裁決器在經過裁定之后可以記錄控制器執行體的錯誤次數：在初始狀態時，所有控制器執行體的錯誤次數均為0，每當發現有錯誤消息出現將相應控制器執行體的錯誤次數加1。當錯誤次數達到某個預設的容忍閾值時，裁決器將信息反饋至調度器，相應控制器執行體進入自清洗階段——重啟/替換控制器執行體。完成自清洗階段之后，該控制器執行體的錯誤次數重置。

基于動態異構冗余架構的內生安全SDN控制系統由于采用了多個異構控制器執行體與流一致的擬態裁決算法，在少于半數的控制器執行體被攻擊時，仍能保證正確的流表輸出。同時裁決器能夠識別這些具有安全風險的執行體，并進行調度清洗消除網絡攻擊對控制器執行體的影響，大幅強化了SDN控制層的安全能力。

4 可快速切換場景的試驗場部署管理技術

建設網絡空間內生安全試驗場的主要目的是對網絡空間內生安全原理、技術、方法進行全面的系統研制，從而促進內生安全理論體系的完善和深化，為內生安全技術、設備提供測試認證，支撐基于虛實結合網絡空間環境的攻防演練、人員培訓和能力評價，最終實現相關產業鏈的標準化與商業化。本節提出一種可支持場景快速重構、切換的試驗場部署管理技術，以一個典型的組網方案為例，充分介紹面向服務、動態充足、按需分發等能力的試驗場管理策略。

4.1 虛實結合的試驗場典型組網方案

網絡空間內生安全試驗場組網案例如圖3所示，一個典型的虛實結合試驗場主要分為5個主要組成部分：試驗場平臺、外部互聯網接入、虛擬網絡、實體網絡和管理接口鏈路。

試驗場平臺是面向測試及運維人員的用戶接口，也是整個試驗場的應用層，通過對接SDN控制器獲取全網信息感知，并通過管理接口鏈路獲得試驗場各設備資源信息與管理配置能力，從而支持網絡可視化、場景構建切換等功能；外部互聯網接入處首先完成用戶接入認證以提供不同級別的測試服務，在接入側旁掛攻擊/背景流量生成器模擬網絡攻擊與雜訊干擾；虛擬網絡主要由例如OpenStack的云平臺支持，可基于鏡像實現虛擬網元的快速生成，并通過云平臺網絡節點與SDN控制器對接；實體網絡主要部署網絡空間內生安全設備，如內生安全路由、內生安全存儲等系統，以一個或多個SDN控制器作為數據鏈路通道進行互聯；管理接口鏈路獨立于試驗場數據鏈路，通過管理接口交換機匯聚全試驗場各網絡設備、服務器、主機的管理配置信息與資源信息數據。

4.2 場景重構與資源編排

基于物理設備和物理鏈路構建的傳統網絡安全防御試驗場，存在實驗規模有限和場景重構緩慢等缺陷。在虛實結合的試驗場環境中，以基于云平臺構建的虛擬網絡可以極快的速度提供大規模虛擬網元互聯的復雜網絡試驗環境，可以較低的成本滿足多種大規模復雜網絡試驗場景構建的需求，強化了試驗場針對異構網絡架構進行試驗測試與攻防演練的能力。同時，虛擬網絡在重構網絡場景方面相對于實體網絡具有較高的優勢，基于鏡像的虛擬網元具有快速生成、釋放實例的能力，并且部分云平臺支持藍圖功能，可以更為簡便地實現場景切換。

圖3 網絡空間內生安全試驗場組網案例

在實體網絡方面，通過SDN控制器也可以相對快速地調整網絡拓撲結構，實現實體網絡場景的重構。如圖3所示的試驗場組網方案中采用多網口的云平臺服務器設備與SDN交換機，以多重標簽流量牽引的SDN動態組網方式實現實體網元之間以及實體和虛擬網元的虛擬網絡鏈路動態可定義，從而實現試驗場應用層與物理網絡環境的解耦。同時，這樣的組網方式支持多種場景的并行試驗測試，通過內生安全SDN控制器控制多個SDN交換機與虛擬網絡，隔離出多個互不影響的網絡場景，可供多個測試團隊同時在試驗場中針對不同的網絡技術與設備進行攻防演練，提升了試驗場的工作效率。

在大規模復雜組網條件下，試驗場運維人員對全網設備資源的感知、配置與調度存在困難。本組網部署方案在試驗場測試環境的數據鏈路外，獨立部署管理接口鏈路匯聚至試驗場平臺。通過試驗場資源編排器管理維護全網設備資源信息數據，并基于此執行試驗場資源編排。試驗場編排器可部署人工智能引擎，在長期運行中采集分析試驗場數據，提供智能化的資源優化能力。

5 結束語

本文提出面向虛實結合的試驗場管理架構與組網部署技術，可以針對性地滿足網絡空間安全新形勢下，對于內生安全技術、設備的測試驗證與人員技能的培訓要求，有效利用了內生安全SDN控制器與數據管理鏈路的隔離設計為試驗場提供了安全可靠的可編排可重構能力。該管理架構基于人工智能編排器，有望發展為智能化的網絡空間內生安全試驗場。