基于主備監視的擬態云代理設計實現方法

郭喬羽，陳福才，程國振，曾威，肖玉強

基于主備監視的擬態云代理設計實現方法

郭喬羽*，陳福才，程國振，曾威，肖玉強

（國家數字交換系統工程技術研究中心，鄭州 450002）（*通信作者電子郵箱guoqiaoyu0211@163.com）

針對擬態云系統中代理的安全威脅和單點故障問題，提出一種主備監視的高可用擬態云代理實現方法。首先，在云環境分布式代理基礎之上，提出一種主備用監視機制來構建異構的主備代理，備用代理通過鏡像流方式分析到達主用代理的流量，并對主用代理輸出結果進行交叉驗證；其次，基于數據平面開發套件（DPDK）平臺設計備用代理的同步裁決機制和無縫的主備切換機制，實現云代理的安全加固與性能優化；最后，提出一種主備切換判決算法以避免主備頻繁切換造成的資源浪費。實驗結果分析表明，該擬態云代理相較于基于Nginx的云代理，在高并發下的流量處理時延損耗為毫秒級。可見該設計能夠大幅提升云代理的安全性和穩定性，減少單點故障對代理穩定性造成的影響。

擬態防御；云代理；主備監視；交叉驗證；擬態云系統

0 引言

隨著云計算的高速發展，面向用戶的個性化服務定制和分布式計算服務模式使得云服務具有極高的用戶黏性［1］，得到國內外學者的廣泛關注。其中，云服務代理作為業務入口，接收用戶的海量流量并按照流規則轉發給服務節點，為云租戶提供穩定可靠的服務，其性能和安全性是當前研究的熱點問題。目前與云服務代理相關的研究主要針對如何提升處理轉發性能來保證服務質量（Quality of Service， QoS），對云業務代理的安全性研究相對較少。事實上，云服務代理在云服務架構的位置和流量處理轉發等特點，決定了云代理是攻擊者實施攻擊手段的極佳切入點［2］，會面對多種安全威脅，如注入攻擊［3］、病毒木馬［4］、安全漏洞［5］、側信道攻擊、界面和接口攻擊等，所以云服務代理的安全問題成為云計算不可不解決的現實問題。針對云服務代理的安全問題，通常采用升級防火墻、更新病毒庫、進行入侵檢測等傳統的被動防御方法，難以防御未知的漏洞后門。

網絡空間擬態防御（Cyberspace Mimic Defense，CMD）［6-8］是中國工程院鄔江興院士提出的一種主動防御技術，該技術不追求建立一種無漏洞、無后門、無缺陷的安全系統來抵御網絡空間的安全威脅，而是通過如圖1所示的架構，構建一種動態、異構、冗余性的防御機制來增加攻擊者的攻擊難度和代價。云計算采用共性平臺、共性資源池提供云端服務，天然具備動態、異構、冗余的資源分配與使用機制，適于將擬態防御架構引入到云服務體系之中，以提高云應用的安全性。如圖1所示架構，擬態云系統由異構化的云主機組成異構執行體集合，針對所承載的上層應用，由擬態代理調度多個異構執行體并發執行，并通過對響應結果同步裁決，輸出正確結果。其中擬態代理作為與用戶側進行交互的輸入/輸出組件，可以像云服務代理一樣在保證性能的同時，增強擬態云系統的安全性。

圖1 網絡空間擬態防御的基礎架構

目前針對擬態防御的研究大多聚焦于拓展應用場景，根據目標場景的網絡威脅、安全需求和自身系統架構中的設計缺陷來定制擬態系統，進行后端應用節點的安全防護，較少考慮擬態系統組件的安全性和穩定性。目前擬態防御系統中輸入/輸出代理通常只進行轉發作業，不進行業務流量處理和數據檢測，無法感知隱匿于流量的網絡偵查和病毒蠕蟲攻擊，尤其是在云服務高密集型網絡流量場景下，擬態系統組件的安全變得更加脆弱。即使可以采用極簡化設計來減少擬態組件的網絡攻擊面［9］，即當前多采用軟硬件協同的方式實現擬態系統的開發設計，如將擬態功能組件集成到芯片、基于現場可編程門陣列（Filed Programmable Gate Array， FPGA）的擬態服務器設計［10］和擬態板卡等。這些設計固然減少了組件網絡攻擊面，但是服務場景固化、開發成本較高，而且組件單點故障問題不可避免，一旦關鍵組件（如表決器、擬態代理等）發生未知故障，將導致整個系統功能異常，甚至出現系統崩潰。

針對上述問題，本文設計了一種基于主備監視的高可用擬態云代理，并基于數據平面開發套件（Data Plane Development Kit， DPDK）設計了異構的主備用代理（擬態代理和表決器功能耦合組件），能夠大幅度提高系統的安全性和轉發性能。備用代理通過對主用代理的裁決結果進行實時交叉驗證來監測系統健康狀況，實現了快速的威脅感知和故障檢測，并能夠及時進行主備熱切換，減少單點故障造成的影響。這種主備監視的擬態云代理在保持擬態系統安全防護功能的基礎上，實現了對擬態代理組件的安全加固，保證服務質量的同時還解決了擬態代理的安全問題和單點故障問題。本文的主要工作如下：

1）針對擬態云代理面對的安全威脅，提出一種基于主備的擬態云代理安全架構。主用代理根據擬態表決機制實時檢測業務流量的同時，備用代理通過鏡像流量方式檢測主用代理流量得到表決結果，并與主代理輸出結果進行交叉驗證，判斷主用代理的異常，雙重表決機制保證了擬態云代理的安全性。

2）基于不同的CPU處理架構設計了主備用代理，通過異構的主備代理進行切換，動態地改變網絡攻擊面，增加了云代理的魯棒性。

3）在反饋控制器中設計了一種主備用代理切換判決算法來提高判決的準確性，避免主備反復切換造成多余的系統開銷。

4）基于所提的擬態云代理架構，設計了一個擬態云服務場景并搭建實驗環境，有效地驗證了擬態云代理的安全性和穩定性。

1 相關工作

在擬態防御應用實現方面，文獻［11］的研究將擬態應用到軟件定義網絡（Software Defined Network， SDN）中，提出了一種具有動態、異構和冗余的擬態網絡操作系統架構（Mimic Network Operating System， MNOS）來保護SDN控制器免受劫持和數據修改等攻擊。文獻［12］中針對當前Web服務器安全防御方法的被動性，提出了一種多層次的擬態Web服務器，在不同的層次實現異構化動態化，保護Web服務器的安全。文獻［13］中將傳統蜜罐技術與擬態防御結合，構建了一種擬態式蜜罐系統模型，改善了傳統蜜網系統的威脅感知能力和部署效率。文獻［14-15］中針對當前分布式存儲系統無法解決未知威脅等安全問題，提出了分布式存儲系統擬態化架構，并通過實驗測試了系統的可行性。文獻［16］中提出了一種基于擬態防御的DNS架構，以保護DNS服務器免受DNS投毒攻擊。文獻［17］中針對以太網交換機無法防御未知安全威脅的弱點，設計了一種擬態交換機安全架構，并提出TAMA算法實現交換機的安全增強；實驗測試結果表明該設計架構極大提升了擬態交換機防御未知威脅的能力。

當前云計算安全主要基于傳統網絡防御方法，如防火墻、升級病毒庫、打補丁、入侵檢測等，這些方法都存在一定的滯后性，且無法有效處理未知漏洞和后門等未知威脅。但是云服務場景有其固有的安全優勢，例如云服務提供的虛擬化服務節點能夠根據用戶要求進行定制，虛擬化節點本身就具有異構和冗余特性，云管理平臺能夠動態調整服務節點使云平臺具有動態性，所以云平臺本身的架構和特性與擬態防御動態異構冗余的特性高度契合，因此結合擬態防御來提高云平臺安全是可行和必要的。目前對于擬態云的研究也有一些研究成果：文獻［18］中提出了一個-變體系統來保護提供動態內容的媒體Wikiphp應用程序免受云中的外部SQL持久存儲的影響；文獻［19］中提出了一種云環境下科學工作流執行系統框架，通過云計算平臺的靈活資源管理，針對不同操作系統之間的共同漏洞進行異構性度量和執行體的動態調度，極大減少了云工作流中的安全風險；文獻［20］中針對云服務節點安全性設計了一種擬態云服務架構，在云平臺上將擬態系統集成到軟件包部署到每個服務節點上，實驗結果表明該擬態云服務架構提高了云平臺服務的安全性和魯棒性；文獻［21］中提出了MimicCloudSim模擬云服務模擬系統，可以對評估擬態云DHR架構進行仿真和評估，并設計了拓展接口來實現動態調度策略和裁決策略，最后通過實驗驗證了該系統對擬態云評估的可拓展性。

盡管擬態防御系統能夠增加云服務處理未知威脅的能力，但是擬態云系統中擬態代理作為直接與用戶交互的組件，卻較少考慮其安全性，一旦被攻擊者攻擊利用或篡改裁決結果，會導致整個擬態系統異常甚至崩潰。盡管有些研究通過對擬態代理組件進行極簡化設計來減少網絡攻擊面，但仍存在被攻擊的可能；且擬態系統中單點故障問題不可避免，系統安全性和穩定性無法得到保證。

2 基于主備監視的擬態云代理架構設計

2.1 擬態云代理組件設計架構

本文設計了一種基于主備監視模式的高可用擬態系統架構，圖2描述了該擬態代理應用在公有云環境中的擬態云服務實例。

圖2 擬態代理組件架構

該實例的設計分為兩部分：前端采用基于主備模式并適用于云平臺的四層加七層代理服務結構的擬態云組件；后端采用的是云計算技術，由云控制組件管理的云中執行體集合。擬態云代理組件的設計主要分為四個功能模塊：I/O代理、主用代理、備用代理和反饋控制器。用戶請求通過I/O代理傳輸到主用代理，主用代理將輸入流量復制后分發至選擇的執行體處理，執行體的響應流量在主用代理的裁決模塊進行分析、裁決和輸出，同時執行體的響應流量鏡像轉發至備用代理進行裁決，并對主用裁決結果進行對比監督。反饋控制主要負責系統中各組件的配置下發更新和反饋異常。系統運行，一方面需要備用代理能夠及時發現主用代理的異常，進行主備切換維護系統功能正常；另一方面主備切換操作會造成服務中斷，影響服務質量。為了設計該高可用擬態架構，面臨以下挑戰：

1）備用代理的安全問題。只有安全的備用代理進行切換，才能保證切換后系統業務代理組件功能正常，如果切換上線不安全的備用代理，反而會使系統暴露更多的攻擊面。

2）擬態系統應用導致的性能問題。由于各執行體性能差異和裁決時延等原因會導致擬態系統的性能降低，特別是在云計算這種數據密集型場景下，這個問題尤為突出。

3）主備用代理輪換導致服務中斷問題。當主用代理發生故障或者被攻擊導致異常輸出時，會進行主備用代理的切換，但切換期間會導致服務中斷，降低服務質量。

針對第一個問題，本文設計了主備異構的主備用代理，并設計了多種策略來保證備用代理安全。備用代理通用DPDK捕獲網卡流量，實現了同步裁決監督，實時進行故障和威脅感知，并及時進行主備切換。同時本文實現了DPDK在ARM架構的移植，使得異構的主備用代理都能適配DPDK。

針對第二個問題，本文在主備用代理嵌入了DPDK。DPDK能夠通過UIO技術將報文拷貝到應用空間處理，規避不必要的內存拷貝和系統調用，大大提高了主備用代理處理性能和吞吐量，提高了數據分發和裁決的效率。

針對第三個問題，系統執行切換操作時，用戶建立的長連接不可避免地會發生中斷，本文設計了一種動態切換機制，通過犧牲部分用戶的服務質量，短暫地降低可用性，實現對用戶的透明切換，保證系統的安全性。同時設計了一種主備切換判決算法，考慮主用代理的歷史異常信息進行切換判決，避免了報文丟失等異常情況導致主備用代理之間的頻繁輪換，消耗系統資源。

2.2 擬態云代理關鍵組件設計

2.2.1 I/O代理

I/O代理作為四層代理組件為用戶提供唯一的訪問入口，通過建立和維護傳輸層連接處理用戶的請求報文來完成與用戶的交互，并將用戶請求的處理和轉發。I/O代理采用極簡化設計來減少暴露的攻擊面，提高組件安全，設計中使用了用戶態的輕量級網絡協議棧，同時還在協議棧中設計了流量過濾來防御網絡中的掃描偵查和一些網絡攻擊，如基于ICMP的端口掃描攻擊，ICMP回顯攻擊，以及Smurf、 Ping of Death、 Pingflood等分布式拒絕服務攻擊（Distributed Denial of Service， DDoS）攻擊。

2.2.2 主用代理

2.2.3 備用代理

備用業務代理能夠實時對主用代理裁決結果進行監控，并采用數據面和控制面分離的方式，保證了備用代理的安全高效，組件結構圖如圖2所示。在數據層，備用代理沒有與I/O代理建立連接，不存在上行數據處理邏輯，以這種網絡隔離的方式提高安全性；下行鏈路上，備用代理通過與DPDK綁定的網卡捕獲執行體響應的鏡像流量，并對應用層會話數據進行報文重組、協議還原后，將處理后的報文發送到裁決模塊進行裁決。在裁決監視模塊將裁決結果與主用代理輸出的三元組數據對比校驗，如果主用代理出現故障或裁決結果被攻擊者篡改造成裁決結果對比異常，會立即上報異常，并由反饋控制下發主備切換操作指令。備用業務代理組件管理層進行日志審計和配置更新，來維持備用代理的正常功能以及控制切換；在控制層接收交互報文，進行配置更新、主備切換和異常上報操作。

2.2.4 反饋控制器

反饋控制器負責聯動擬態系統各組件，進行反饋調節作業，主要功能有以下三種：一是配置信息下發，每次下發給各組件的地址和端口都動態變化，提高了各組件的安全性，維護系統的正常服務；二是處理異常反饋信息，并將異常信息上報給執行體管理平臺，進行異常執行體輪換操作，并在反饋控制器中開發了針對多個平臺的API和響應平臺匹配通信控制程序，實現了對多場景的高可用；三是控制主備用代理的切換，當收到備用代理上報的裁決不一致異常消息，會根據異常判斷算法去決定是否進行主備切換。

2.3 業務流程設計

圖3詳細描述了該系統的業務流程，詳細步驟如下：

步驟1 用戶發起服務請求。

步驟2 I/O代理與用戶建立連接，并將用戶請求流量轉發給主用代理模塊。

步驟4 主用代理接收執行體應答消息，送往裁決模塊。

步驟5 執行體應答消息進行流量鏡像，輸入到備用代理進行消息還原和裁決。

步驟6 主用代理裁決模塊對響應消息進行一致性裁決，并將裁決結果轉發給備用代理的裁決對比模塊；

a）裁決結果一致，將裁決結果轉返回給I/O代理；

b）裁決結果不一致，根據大數裁決將相對正確的結果返回給I/O代理，將異常執行體信息上報給反饋控制器。

步驟7 備用代理監測機制將其裁決結果與主用代理裁決結果進行交叉驗證，出現裁決不一致則上報異常信息給反饋控制器，進行主備切換。

步驟8 由I/O代理將裁決返回的消息響應給用戶。

圖3 業務流程

3 高可用的擬態云代理技術設計與實現

3.1 基于實時流量監測的高性能備用代理設計

基于主備思想設計的擬態云系統架構中，備用代理接收異構執行體響應的鏡像數據，對應用層會話數據進行單向重組、歸一化和裁決，還要對主用代理裁決輸出的結果進行同步對比監督，要求備用代理同樣需要很高的性能，同時還要具有較高的安全性免受攻擊者攻擊。如果備用代理的設計不完善，不僅不能提高該系統的穩定性和安全性，反而會影響正常的系統服務，甚至暴露出更大的攻擊面，使攻擊者有機可乘。針對如第2章所介紹的前兩個挑戰，在該系統中，主要實現了以下四種機制來提高系統的安全性和魯棒性。

3.1.1 主備異構

在擬態系統中執行體可能會被攻擊者攻擊，攻擊者可以通過執行體向擬態系統內部進行探測掃描，一旦發現主用代理的漏洞和后門，可以通過病毒注入、篡改裁決結果、暴力破壞等方法對代理實施攻擊，導致系統奔潰。基于移動目標防御（Moving Target Defense， MTD）技術動態改變系統組件暴露的攻擊面的思想，本文提出擬態組件中主備用代理采用異構CPU處理架構（X86和ARM），且每次主備切換不僅底層架構發生變化，還會由反饋控制器為各組件隨機分配和更新IP和端口，實現了內部組件的攻擊面的動態改變，使攻擊者收集的先驗知識無效，無法根據先驗知識發動攻擊。同時主備用代理的服務進程實現了在兩種架構下的適配，從而在應用層面也實現了異構化。異構主備模式不僅提高了擬態組件的安全性，還使系統更加容易感知攻擊行為，并對異常執行體進行清洗輪換。

3.1.2 網絡隔離

為了防止備用代理被攻擊者探測發現，該系統設計了一種網絡隔離機制來實現備用代理對攻擊者透明以及攻擊不可達。

1）通過交換機配置對執行體返回數據進行鏡像，備用代理進程捕獲鏡像流量數據進行還原和裁決。這種基于流量鏡像的業務處理方法保證了攻擊不可達。

2）擬態組件之間的通信被設計在隔離網段，反饋控制器作為系統中唯一與備用代理通信的組件，采用網段隔離的方式實現安全性。此外，備用代理并不對外（用戶側）暴露接口，達到了攻擊不可達的效果。實際場景中攻擊者只有先成功攻擊主用代理，再成功攻擊反饋控制器，才有可能對備用代理服務器進行漏洞掃描和攻擊，但是這種攻擊收益極低，還增加了攻擊被探測的風險。

3.1.3 同步裁決監視

為了提升備用代理的處理性能，備用代理在數據層采用DPDK捕獲流量，避免了網卡收發性能限制帶來的時延；同時嵌入輕量級協議棧支持各種應用層協議的還原，并設計了業務API接口用來讀取協議還原的結果及其一些流量元數據，其工作原理如圖4所示。

基于DPDK的I/O驅動將數據包合理地分布到多個獨立的CPU物理核上，每個核只和一個線程綁定，實現多線程并行數據處理，能有效提高物理網卡和應用緩存隊列之間的轉發效率，使得DPDK綁定的網卡能夠實現線速報文處理。主控線程lcore0負責DPDK中操作環境、網卡驅動、消息隊列和緩存池等初始化，以及主備切換控制和業務的分發。副核（slave_lcore）只處理其綁定線程的數據傳輸，通過內核旁路、輪詢、多線程和批處理等技術加速數據包I/O，并將網卡數據繞過內核直接傳輸到應用層處理。備用代理中實現了DPDK版本升級，與主用代理的DPDK版本統一，為主備代理進程之間的快速切換提供了底層支持。基于Redis高速緩存實現了同步裁決功能：首先將還原后的數據包輸入裁決模塊進行裁決，然后將裁決結果存入Redis高速緩存分區，同時Redis還接收、保存主用代理發送的裁決結果三元組消息，最后由裁決對比模塊進行裁決結果對比校驗，實現主備裁決監視功能，大大提升了云服務代理的安全性。基于Redis的裁決機制也可大大提高裁決性能，根據時延測試結果，備用代理的裁決處理時延與主用代理相差為毫秒級，幾乎實現了同步裁決性能。同時還基于Kafka設計了日志收集系統，具有很高的實時處理能力，即使對TB級以上數據也能保證常數時間的訪問性能，能夠記錄所有的業務處理信息和裁決結果，也方便代理的調試和維護。

圖4 裁決監視原理

3.1.4 基于DPDK的動態切換機制

由于主備用代理切換，正在進行的服務連接不可避免地會發生中斷，因此需要設計合適的切換策略，在用戶可接受范圍內犧牲一些服務質量來保證系統安全性，增加服務的可用性。該系統設計了一種基于DPDK的動態切換機制來實現主備用代理之間的無縫切換。該機制使用內核NIC接口允許應用層程序訪問DPDK控制平面，可以通過標準Linux網絡工具管理綁定端口信息，使用dpdk-devbind應用程序綁定網卡，流程如圖5所示。DPDK初始化時，提前分配好主備用代理并綁定網卡收發隊列和網卡驅動，應用層主備用代理進程同時運行，此時備用代理綁定的業務網卡處于未激活狀態，實現了攻擊隔離。收到切換消息時，會傳輸到內核協議棧解析，提取切換報文中的地址、端口、掩碼等信息通過標準Linux網絡工具更新網卡配置，執行DPDK應用程序激活網卡，以便切換為主用代理進程后能恢復正常業務工作，可與I/O代理和執行體建立連接，執行轉發和裁決功能。實驗結果表明，在切換過程中出現短暫的網絡時延波動，在用戶可接受的服務質量范圍內實現了快速切換。

3.2 主備切換判決算法

反饋控制器是保證主備用代理工作正常運行的核心組件，在主備切換中有著最高級權限。反饋控制器主要起控制和反饋的作用，能夠控制更新各組件的配置信息，將異常執行體異常信息反饋給執行體控制器；它同時還是主備切換的控制器，只有反饋控制器中觸發了切換，才會下發切換指令，控制主備用代理進行并行切換。

圖5 主備切換邏輯

為了保證反饋控制器的安全性，系統設計了自定義協議，反饋控制器與各組件之間通過自定義協議進行通信；并采用網絡隔離方式，各模塊間的交互設計在隔離網段，每次觸發主備用代理切換會更新各組件的IP和端口信息，動態地改變系統的攻擊面，保證了反饋控制的安全性以及各組件的通信透明。

本節定義主備切換操作記為MS_Switch。在該系統中，只有滿足以下兩種情況才能觸發主備切換：1）反饋控制監聽不到主備用代理進程的心跳；2）通過判決算法決定是否切換。備用代理發現主用代理裁決結果異常，會向反饋控制器發送異常消息；反饋控制收到異常上報消息，并不會立即觸發切換機制，而是將異常信息存儲起來，并輸入到判決算法，根據當前異常信息和歷史異常信息去判斷是否進行切換，避免主備用代理的頻繁切換。

當執行體數量較多、網絡負載較大時，不可避免地會造成部分響應數據丟失，導致主備裁決不一致現象，在這種情況對正常的服務并沒有影響，應該避免不必要的切換。當第一次接收異常消息時，默認不會觸發切換機制；當收到多次異常信息時，會根據上報的異常信息進行裁決判斷是否切換。兩次故障間隔越短，發生異常的可能性越大，威脅因子的定義為：

算法1 切換判決算法

輸出 主備切換判決結果。

4 實驗及分析

4.1 實驗環境搭建

為了評估該擬態系統架構在真實環境中的安全性和性能，使用1臺測試主機安裝Windows 7操作系統、5臺海光x86服務器和1臺鯤鵬ARM服務器安裝centos7.6操作系統，2臺交換機，基于Openstack開源軟件云管理器實現了一種擬態云實驗場景和一種基于Nginx代理的非擬態云場景。真實實驗場景拓撲如圖6所示。其中，主備用代理分別部署到一臺鯤鵬服務器與一臺海光服務器，通過服務器CPU處理架構的不同實現主備用代理的異構；還通過環境多樣化的Web服務程序來構造簡單的異構執行體（如在不同操作系統Centos 7.6、Redhat 7.6、Ubuntu 16.04.1上部署相同版本的Nginx提供Web服務），執行體之間功能等價且性能接近，以減小時延離散度。為了方便實驗，本文選擇執行體池冗余度為3，具體的執行體信息如表1所示。

圖6 實驗環境拓撲

表1 異構執行體信息表

實驗采用對比實驗方法，基于最小環境變量差異化原則，使用同一個I/O代理搭建了云環境下的非擬態測試場景和擬態測試場景，并分別對兩種場景進行性能、安全性和穩定性測試和比較，能夠更好地說明本文提出的優化擬態架構相對于非擬態的差異變化。

4.2 性能測試

基于該實驗拓撲設計的非擬態系統采用傳統云服務網絡架構（四層代理+七層代理）模型，I/O代理（四層代理）作為云網關提供云服務接口VIP，Nginx（七層代理）作為最常用的反向代理Web服務器，將流量分發到集群服務節點，本實驗中從執行體池中選擇單一執行體作為服務節點。在擬態云異構執行體的Web服務程序中，部署了資源大小為2 KB、4 KB、8 KB、16 KB、 32 KB大小的網頁；同樣，在非擬態云環境中，Web服務器的部署與擬態云中執行體配置相同，本文通過訪問不同大小的網頁來測試系統的性能差異。在本文架構中，為了保證系統的裁決結果安全，選擇3個執行體同時提供服務，裁決模塊對響應結果進行大數裁決。

為了測試性能開銷，本文針對兩種場景下的用戶平均訪問時延以及備用代理裁決模塊輸出時延進行對比評估。實驗中使用了Apache旗下的JMETER測試工具，設置線程數為100（一個線程相當于一個用戶），總訪問請求數1 000，針對不同大小的訪問網頁構造了HTTP請求報文進行測試，并記錄了平均響應時延，其中備用代理裁決響應時延通過日志審計獲得。結果如圖7所示，整體上平均響應時延隨著訪問資源大小的增加而增加，且擬態云場景的響應時延大于非擬態。對于資源較小的頁面，訪問時延在兩種場景下的差別并不明顯，整體上處于同一水平，且備用代理的裁決響應時延與主用代理的響應時延相差僅為毫秒級，實現了同步裁決監視功能。當頁面資源較大時，擬態云場景下的平均響應時延明顯大于非擬態場景，但主備用代理之間的裁決延遲相差不大，說明對于不同大小的資源，主備裁決具有較好的同步性。

圖7 平均響應時延與文件大小的關系

為了進一步測試該架構的性能，在JMETER工具中設置了不同測試并發數（即2 000、4 000、8 000、12 000、16 000、20 000、24 000、28 000、32 000），對64 B大小的資源頁面進行5 min高并發壓力測試，針對不同網絡負載的平均響應時間進行測試統計，結果如圖8所示。可以看出，隨著網絡負載增大，用戶平均響應時延增長。請求并發數較低時，兩種場景下的平均訪問時延幾乎相同；隨著網絡負載增加出現較大增長，且擬態云場景的平均響應時延明顯高于非擬態場景，其平均響應時延較非擬態場景增長了兩倍。備用代理裁決時延與主用代理的裁決響應時延在低并發環境下幾乎實現了同步，當并發數大于16 000時，主備用代理之間的裁決時延出現明顯差別。隨著并發數的增加，高并發下的主備用代理之間的平均響應時延差也控制在25 ms以內，保證了系統交叉驗證的敏感性，能夠迅速對異常進行處理。

圖8 不同并發請求下的平均響應時延

主備用代理的切換不可避免地會造成用戶連接的中斷，為了測試切換對服務質量的影響，使用請求響應時間作為指標來評估切換帶來的性能損害。通過JMETER測試工具模擬了單個線程連續60 s循環高速發送請求消息，通過記錄請求的響應時間來度量服務質量。測試期間通過手動觸發主備用代理執行切換操作，并將測試結果繪制成圖，如圖9所示。圖9中數據顯示，若用戶在正常訪問時發生主備切換操作，會出現短暫的網絡時延抖動，主備切換完成后迅速恢復至正常水平，這種短暫的網絡波動不易被用戶感知，因此該系統的主備切換操作在用戶可接受的QoS下，實現了對用戶無感的動態切換。

圖9 響應時間測試

4.3 安全性評估

基于圖6所示的拓撲，采用擬態白盒測試的方式對該架構的容侵能力進行測試，針對擬態界內脆弱點進行協同攻擊，以評估擬態機制的安全特性。實驗中創建并上線一個白盒執行體，并開放根權限給攻擊者，攻擊者可以通過觸發預置在該白盒執行體的API來篡改響應結果，同時攻擊者可通過偵查和滲透來攻擊架構組件。在系統當前的主用代理上預置了CVE-2018-15919和CVE-2019-14287（Linux sudo）漏洞，使得攻擊者通過有效攻擊手段能夠獲得該主用代理服務器的根權限，并進行攻擊。設計三種測試來驗證該架構的安全性：1）篡改白盒執行體響應信息，測試系統的入侵容忍能力；2）通過觸發預置的篡改結果API，篡改主用代理裁決結果；3）對主用代理制造單點故障（如暴力關閉程序、服務器重啟等）來進行系統穩定性測試，并使用JMETER軟件測試并記錄響應時延和吞吐量變化。

結果如表2所示，當執行體或者系統代理組件被攻擊時，該系統能夠迅速檢測到異常，并迅速執行響應異常處理操作來維護正常的服務水平。若檢測到系統組件發生未知故障，反饋控制模塊檢測到服務心跳停止，并迅速執行切換操作替換異常組件來維持正常服務。測試數據表明，該系統對于未知威脅有較好的防御效果，且對系統組件的故障和攻擊行為有較高的敏感性。

表2 安全性測試結果

4.4 穩定性評估

對系統的穩定性進行測試。首先，在每個執行體服務端添加了不同大小的文件（分別為32 MB、64 MB、128 MB、512 MB、1 024 MB），然后客戶端通過訪問該擬態云服務平臺的服務接口去下載目標文件，記錄并驗證用戶下載文件時的傳輸時間以及文件的完整性，并對比非擬態云服務傳輸文件的時間，結果如圖10所示。

圖10 傳輸時間與文件大小的關系

由圖10可以看出，對于小文件傳輸，擬態云服務系統的文件傳輸時間與非擬態系統的文件傳輸時間相差不大；對于大文件傳輸，由于擬態云服務系統需要對傳輸報文進行裁決，且三個執行體的處理能力不同，導致其傳輸時間明顯高于非擬態系統的文件傳輸時間。

為了測試系統主備用代理切換時的穩定性，將每秒下載速度作為穩定性指標，在該擬態云服務場景中模擬用戶下載512 MB的文件，并在下載期間手動進行主備用代理切換，記錄下載過程中的傳輸速度變化，結果如圖11所示。

圖11 文件下載穩定性測試

從圖11中可以看出，在客戶端下載過程發生主備切換，下載速度會瞬間減小至0，經過短暫的波動后迅速恢復至原有傳輸速度，最終完成文件的下載，且下載文件的完整性和源文件一致。經過抓包分析發現，用戶在文件下載過程中系統觸發主備切換，會立即中斷用戶連接并進行切換；待切換后會立即重新與用戶建立連接，并進行文件重傳操作。

5 結語

本文從提高擬態云系統中云代理的安全性和魯棒性出發，結合鄔江興院士提出的網絡空間擬態防御理論，設計實現了一套基于主備監視的高可用擬態云代理服務框架，并搭建了云服務場景進行分析和測試，結果表明，該設計在提高擬態系統安全性和性能的同時，還提升了擬態系統應對未知故障干擾的能力，降低了攻擊成功的概率。當然，本文提出的擬態代理架構還存在很多可改進的地方，今后的工作將圍繞將該擬態架構集成到云中服務包以便于用戶部署，并設計優化一種執行體調度策略來減少異構執行體性能不同造成的額外開銷，優化裁決算法減少系統裁決造成的時延損耗，來提高系統的性能。

[1] SINGH S， CHANA I， BUYYA R. STAR： SLA-aware autonomic management of cloud resources［J］. IEEE Transactions on Cloud Computing， 2020， 8（4）： 1040-1053.

[2] 馬海龍，伊鵬，江逸茗，等. 基于動態異構冗余機制的路由器擬態防御體系結構［J］. 信息安全學報， 2017， 2（1）： 29-42.（MA H L， YI P， JIANG Y M， et al. Dynamic heterogeneous redundancy based router architecture with mimic defenses［J］. Journal of Cyber Security， 2017， 2（1）： 29-42.）

[3] MA L M， ZHAO D M， GAO Y J， et al. Research on SQL injection attack and prevention technology based on web［C］// Proceedings of the 2019 International Conference on Computer Network， Electronic and Automation. Piscataway： IEEE， 2019： 176-179

[4] 魏為民，袁仲雄. 網絡攻擊與防御技術的研究與實踐［J］. 信息網絡安全， 2012（12）：53-56.（WEI W M， YUAN Z X. Research and practice of network attacks and defense techniques［J］. Netinfo Security， 2012（12）： 53-56.）

[5] KANNAN K， TELANG R. Market for software vulnerabilities？ Think again［J］. Management Science， 2005， 51（5）： 726-740.

[6] 鄔江興. 擬態防御技術構建國家信息網絡空間內生安全［J］. 信息通信技術， 2019， 13（6）：4-6.（WU J X. Mimicry defense technology to construct the endogenous security of national information network space［J］. Information and Communications Technologies， 2019， 13（6）： 4-6.）

[7] 普黎明，劉樹新，丁瑞浩，等. 面向擬態云服務的異構執行體調度算法［J］. 通信學報， 2020， 41（3）：17-24.（PU L M， LIU S X， DING R H， et al. Heterogeneous executor scheduling algorithm for mimic cloud service［J］. Journal on Communications， 2020， 41（3）： 17-24.）

[8] 張玉清，王曉菲，劉雪峰，等. 云計算環境安全綜述［J］. 軟件學報， 2016， 27（6）： 1328-1348.（ZHANG Y Q， WANG X F， LIU X F， et al. Survey on cloud computing security［J］. Journal of Software， 2016， 27（6）： 1328-1348.）

[9] 鄔江興. 網絡空間擬態防御研究［J］. 信息安全學報， 2016， 1（4）： 1-10.（WU J X. Research on cyber mimic defense［J］. Journal of Cyber Security， 2016， 1（4）： 1-10.）

[10] 崔冰萌，倪明，凌幸華. 基于FPGA的擬態服務器設計［J］. 計算機系統應用， 2018， 27（4）：219-225.（CUI B M， NI M， LING X H. Design of mimicry computing server with FPGA［J］. Computer Systems and Applications， 2018， 27（4）： 219-225.）

[11] HU H C， WANG Z P， CHENG G Z， et al. MNOS： a mimic network operating system for software defined networks［J］. IET Information Security， 2017， 11（6）：345-355.

[12] 仝青，張錚，張為華，等. 擬態防御Web服務器設計與實現［J］. 軟件學報， 2017， 28（4）：883-897.（TONG Q， ZHANG Z， ZHANG W H， et al. Design and implementation of mimic defense Web server［J］. Journal of Software， 2017， 28（4）： 883-897.）

[13] 韓煦. 基于服務計算的擬態式蜜罐研究［D］. 青島：中國石油大學（華東）， 2014： 30-41.（HAN X. Research on mimicry honeypot based on service computing［D］. Qingdao： China University of Petroleum （East China）， 2014： 30-41.）

[14] 郭威，謝光偉，張帆，等. 一種分布式存儲系統擬態化架構設計與實現［J］. 計算機工程， 2020，4 6（6）：12-19.（GUO W， XIE G W， ZHANG F， et al. Design and implementation of a mimic architecture for distributed storage system［J］. Computer Engineering， 2020， 46（6）： 12-19.）

[15] 王夢童，邵培南. Ceph分布式存儲系統擬態防御設計［J］. 信息技術， 2020， 44（2）：43-48， 57.（WANG M T， SHAO P N. Design of Ceph distributed storage system based on mimic defense［J］. Information Technology， 2020， 44（2）： 43-48， 57.）

[16] 王禛鵬，扈紅超，程國振. 一種基于擬態安全防御的DNS框架設計［J］. 電子學報， 2017， 45（11）：2705-2714.（WANG Z P， HU H C， CHENG G Z. A DNS architecture based on mimic security defense［J］. Acta Electronica Sinica， 2017， 45（11）： 2705-2714.）

[17] 宋克，劉勤讓，魏帥，等. 基于擬態防御的以太網交換機內生安全體系結構［J］. 通信學報， 2020， 41（5）：18-26.（SONG K， LIU Q R， WEI S， et al. Endogenous security architecture of Ethernet switch based on mimicry defense［J］. Journal on Communications， 2020， 41（5）： 18-26.）

[18] POLINSKY I， MARTIN K， ENCK W， et al.--Variant Systems： adversarial-resistant software rejuvenation for cloud-based web applications［C］// Proceedings of the 10th ACM Conference on Data and Application Security and Privacy. New York： ACM， 2020： 235-246.

[19] WANG Y W， WU J X， GUO Y F， et al. Scientific workflow execution system based on mimic defense in the cloud environment［J］. Frontiers of Information Technology and Electronic Engineering， 2018， 19（12）： 1522-1536.

[20] 普黎明，衛紅權，李星，等. 面向云應用的擬態云服務架構［J］. 網絡與信息安全學報， 2021， 7（1）：101-112.（PU L M， WEI H Q， LI X， et al. Mimicry cloud service architecture for cloud applications［J］. Chinese Journal of Network and Information Security， 2021， 7（1）： 101-112.）

[21] PU L M， WU J X， MA H L， et al. MimicCloudSim： an environment for modeling and simulation of mimic cloud service［J］. China Communications， 2021， 18（1）： 212-221.

Design and implementation method of mimic cloud agent based on active-standby monitoring

GUO Qiaoyu*， CHEN Fucai， CHENG Guozhen， ZENG Wei， XIAO Yuqiang

（，450002，）

Aiming at the security threats and single point of failure of the agent in mimic cloud systems， a high-available mimic cloud agent with active-standby monitoring was proposed. Firstly， an active-standby monitoring mechanism based on distributed agents in the cloud environment was proposed to construct heterogeneous active-standby agents. The traffic to the active agent was analyzed by the standby agent through mirroring the traffic， and the output results of the active agent were cross-validated by the standby agent. Secondly， based on the Data Plane Development Kit （DPDK） platform， a synchronous adjudication mechanism for standby agents and a seamless active-standby switching mechanism were designed to achieve security reinforcement and performance optimization of cloud agents. Finally， an active-standby switching decision algorithm was proposed to avoid the waste of resources caused by frequent active/standby switching. Experimental results showed that compared with the traffic processing delay of Nginx based cloud agents， the loss of this mimic cloud agent was milliseconds under high concurrency. It can be seen that the designed method can greatly improve the security and stability of the cloud proxy， and reduce the impact of the single point of failure on the stability of the proxy.

mimic defense; cloud agent; active-standby monitoring; cross validation; mimic cloud system

This work is partially supported by National Natural Science Foundation of China （62072467， 62002383）.

GUO Qiaoyu， born in 1997， M. S. candidate. His research interests include network active defense.

CHEN Fucai， born in 1974， M. S.， research fellow. His research interests include network communication， network active defense.

CHENG Guozhen， born in 1986， Ph. D.， associate professor. His research interests include cyber security， cloud data security.

ZENG Wei， born in 1997， M. S. candidate. His research interests include network active defense.

XIAO Yuqiang， born in 1997， M. S. candidate. His research interests include software diversification， network active defense.

TP393

A

1001-9081（2022）06-1932-09

10.11772/j.issn.1001-9081.2021040595

2021?04?15；

2021?07?09；

2021?07?09。

國家自然科學基金資助項目（62072467， 62002383）。

郭喬羽（1997—），男，河南商丘人，碩士研究生，主要研究方向：網絡主動防御；陳福才（1974—），男，江西高安人，研究員，碩士，主要研究方向：網絡通信、網絡主動防御；程國振（1986—），男，山東菏澤人，副教授，博士，主要研究方向：網絡安全、云數據安全；曾威（1997—），男，河南信陽人，碩士研究生，主要研究方向：網絡主動防御；肖玉強（1997—），男，吉林遼源人，碩士研究生，主要研究方向：軟件多樣化、網絡主動防御。