基于交互式流量回放的用戶行為仿真技術

黃 寧，劉 淵，王曉鋒

（江南大學 人工智能與計算機學院，江蘇 無錫 214122）

0 概述

隨著網絡安全形勢日趨嚴峻，網絡靶場［1］已經成為支撐網絡空間安全技術研究、攻防對抗試驗的重要基礎設施，為大規模網絡用戶行為仿真提供靈活逼真的仿真環境。同時網絡用戶行為仿真作為網絡靶場的重要組成部分，也為靶場平臺提供了注入背景流量、構建真實網絡場景的有效手段，對于真實網絡場景重現、網絡安全態勢評估、網絡安全實驗等方面研究具有重要意義。

網絡用戶行為仿真［2］的關鍵目標在于如何能夠真實地還原現實網絡用戶行為，主要體現在仿真的逼真性及規模性。傳統的網絡用戶行為主要通過對單個行為特征分析建立通用仿真模型，然后在NS3［3］、OPNET［4］等網絡仿真軟件上進行模擬，仿真的用戶行為類型較為單一，無法體現網絡用戶行為多樣性的特點，仿真的逼真度不高，且NS3 等軟件仿真的規模有限，無法支撐大規模高逼真的網絡用戶行為仿真。流量回放近年來在網絡安全、網絡測試評估［5］等領域越發受到關注，通過流量回放的方式重現真實網絡場景，對目標設備進行評估。隨著云平臺［6］興起，可將回放目標擴大為整個虛擬網絡，使得通過流量回放的方式在虛擬網路中復現真實網絡場景，將網絡流量作為用戶行為仿真的載體，向虛擬目標網絡注入背景流量的方案變得可行。

本文結合真實流量回放的方式進行大規模高逼真網絡用戶行為仿真，向虛擬目標網絡注入現實網絡中的用戶行為流量，設計一個面向云平臺的網絡用戶行為仿真系統。通過真實流量回放的網絡注入多樣化的網絡用戶行為，解決基于仿真模型模擬用戶行為單一、逼真度低的問題，在此基礎上，研究復雜目標網絡回放時確保回放的交互性和逼真度，以及基于互動式流量回放驅動的大規模高逼真網絡行為仿真的可行性與逼真性。

1 相關工作

與本文相關的工作主要體現在基于模型驅動的流量生成方法、基于真實流量驅動的回放方法和用戶行為建模與仿真方法3 個方面。

在基于模型驅動的流量生成方法［7］方面，文獻［8-10］基于流量模型的回放方法根據真實網絡中流量的數學特征建立相關模型生成仿真流量，由于該方式回放的流量逼真性取決于建立的相關流量模型是否逼真準確。而真實網絡場景復雜多變，幾乎難以建立一個與真實網絡場景完全一致的流量模型，因此該方式存在一定的局限性。

在基于真實流量驅動的回放方法方面，由于該回放方式生成的流量直接來自真實網絡中，因此能夠完整且精確地重現真實網絡中的用戶流量以及數據包層面的內容。相比基于流量模型回放的方式，該回放方式關注在回放過程中數據報文層面的應用有效載荷，更加符合網絡用戶行為仿真的高逼真需求。目前基于真實流量驅動的流量方式研究熱點開始轉向交互式流量回放，即更加注重回放過程中報文狀態交互準確。文獻［11］提出交互式流量回放這一概念，并開發了交互式回放系統TCPOpera，通過模擬TCP/IP 協議棧維護請求與響應端的會話狀態，基于狀態判定控制報文的收發。文獻［12］提出一種有狀態流量回放方式，維護請求響應端的交互狀態，重放應用層的流量用于測試應用代理服務器的安全性能。文獻［13］引入收發平衡機制，提出一種基于收發平衡和狀態判斷相結合的TCP 流量回放方法，在發送報文前通過優先收法平衡判定，減少狀態判定的開銷，提高回放性能。但是以上方法都只局限于物理回放設備，并且是單個DUT 設備的回放場景，無法在虛擬網絡中進行回放。針對現有回放方法難以在復雜的虛擬目標網絡上實現回放問題，文獻［14］論述了網絡環境對回放的影響，通過計算物理網絡與虛擬網絡的相似度和IP 映射的方法將流量回放到虛擬網絡中，但該方法并沒有實現交互式流量回放。文獻［15］提出一種基于云平臺的虛擬網絡交互回放的方法ITRM，重點研究在一個縮小規模的虛擬網絡場景下如何進行多節點的交互流量回放的問題，但該方法回放規模相對較小，前提條件需要保證各回放節點時鐘高度同步，虛擬網絡中時鐘同步的精度無法滿足此需求，而且該方法并未考慮到延時等網絡環境對回放造成的影響，因此無法在復雜的目標網絡場景下保證流量回放的交互性。

目前關于大規模多用戶的行為仿真的研究較少，文獻［16］基于目前用戶網絡行為研究現狀，將目前研究方向細分為個人與群體網絡行為，將用戶網絡行為定義為用戶通過操作某個或某種應用程序與他人或服務進行交互的行為以及產生的網絡流量。文獻［17］對用戶訪問HTTP 服務的行為進行了建模，并以此模型對HTTP 協議流量進行模擬，且模擬的網絡流量滿足流量的自相似性。但上述方法都只是針對單個用戶行為進行仿真研究，且模型無法靈活模擬真實用戶的行為，仿真的逼真性不高。文獻［18］提出一種基于云平臺的多用戶行行仿真的方法，針對天地一體化網絡［19］中的多用戶并發行為，通過模型驅動衛星用戶行為仿真，但是該研究只停留在窄帶用戶行為。文獻［20］提出基于“錄制-回放”策略的網絡桌面應用行為仿真方案，通過錄制單個用戶的應用操作行為，然后在虛擬機上進行回放，由此仿真出具有真實負載的交互流量，但該方法耗費的資源相對較高，仿真規模會受到一定的限制。

本文提出一種面向目標網絡的流量回放方法，并設計一套多用戶行為仿真架構，以解決無法在目標網絡中進行精確交互流量回放以及目前用戶行為仿真規模逼真度不高的問題。

2 體系結構

2.1 現有方法存在問題與設計思路

目前大部分的交互式回放工具為面向DUT 設備（如路由器、防火墻）測試的應用需求而設計［21］，因此回放場景通常是回放設備的端口與DUT 設備串接測試，如圖1（a）所示，無需考慮鏈路延時等網絡環境對回放性能的影響，這顯然與基于云平臺的目標網絡仿真場景需求不符：即鏈路回放的場景更為復雜。圖1（b）所示為一個目標網絡的回放場景，回放的對象為虛擬目標網絡，即回放的流量需要經過整條鏈路，因此在面向云平臺設計時，需要考慮延時導致的數據包亂序問題。同時，在進行大規模行為仿真實驗時，設計的體系架構需滿足多條鏈路并發交互式回放的需求。

圖1 DUT 串接回放場景和目標網絡鏈路回放場景對比Fig.1 Comparison of DUT serial replay scene and target network link replay scene

2.2 基于交互式流量回放的用戶行為仿真體系

本文提出的用戶行為仿真架構面向OpenStack作為仿真平臺，采用分布式架構可按需靈活地將用戶行為仿真節點加載到任意目標網絡實驗中，較好地滿足用戶行為仿真對多樣性和靈活性的需求。該仿真體系如圖2 所示。其中仿真控制端部署在控制節點上，仿真用戶節點由KVM 或Docker生成。

圖2 基于流量回放的網絡用戶行為仿真體系架構Fig.2 Network user behavior emulation architecture based on traffic replay

具體仿真流程如下：

1）用戶行為流量模板生成。控制端負責用戶行為仿真模板的生成、配置和下發，并且具有一個用戶行為數據庫，用于存放各種類型的用戶行為流量模板。試驗人員可以將現實網絡中采集的混雜流量導入仿真控制端，仿真控制端首先按照輸入配置對輸入流量過濾清洗，然后匹配流量中各個報文的五元組（源/目的IP 地址、源/目的MAC 地址、協議類型）識別特征行為流量，再根據協議的端口號、狀態碼、載荷抽取出單個完整的會話流，按照請求-響應標記分類，最后生成行為流量模板存入用戶行為數據庫中。

2）行為仿真任務配置與下發。在一次行為仿真任務過程中，首先仿真控制端解析試驗人員的配置文件，獲取目標網絡部署信息，創建所需的回放節點并接入到目標網絡中，并根據配置文件在目標網絡中自動化配置路由。同時，從用戶行為數據庫中加載對應類型的用戶行為流量模板進行處理，修改數據包MAC 地址等字段保證用戶行為流量能夠在目標網絡中轉發。然后建立用戶行為仿真模型，該模型包括目標網絡鏈路信息以及用戶規模數、行為類型、仿真時間等具體的仿真運行參數，將生成的仿真模型以及流量模板通過配置下發模塊下發至對應的仿真節點中。

3）行為仿真任務并行控制。在所有實例模型以及流量模板下發到回放節點后，仿真控制端通過消息隊列控制各仿真節點啟動運行，按照時間線實現對不同節點不同用戶行為仿真事件的集群調度。仿真節點在收到仿真指令后，調用回放模塊報文發送函數將用戶行為流量注入到虛擬目標網絡中，并實時采集仿真運行狀態。

3 交互式流量回放關鍵技術

交互式流量回放最為關鍵的目標就是保證回放流量過程中數據包的時序狀態以及報文內容與原始流量一致，該目標也是評估回放逼真性的重要指標之一。為實現該目標，現有主流的交互式回放方法普遍將請求和響應端放在同一服務器上，以便于更加精確地協同控制請求和響應。本文采用此架構，但是回放的對象為目標網絡，即回放的流量需要經過整條鏈路，因此，需要考慮延時導致的數據包亂序問題：

1）原始流量文件中可能出現部分相鄰報文間隔極短的特殊情況，造成此情況的原因之一可能是采集過程中采集點沒有選取請求與響應端鏈路的中點，或者是在一個超低延時的網絡環境下進行流量采集。因此，有必要針對該情況進行時間戳校正。

2）回放過程中鏈路延時、抖動以及回放節點處理延時對回放效果的影響。面向云平臺的流量回放相比于DUT 測試場景更為復雜，延時和抖動會隨著鏈路的復雜度增大而增加，尤其是大規模的網絡試驗場景。不同于實物回放設備，在時間精度方面，實物網卡往往可以達到微秒級時鐘控制，而虛擬機的時鐘無法達到此精度，因此，還需要考慮報文處理階段虛擬機的I/O 性能，包處理能力等造成的回放誤差。

基于上述問題，本文設計一種基于RTT 校正的時間戳修復算法和延時補償策略，通過對原始流量文件進行RTT 時間戳修正，鏈路延時補償，解決因延時造成的誤差。在保證報文順序準確的前提下，盡可能將回放時間誤差降至最低。

此外，在基于流量回放的用戶行為仿真過程中，保證回放數據包的順序準確性優先級比保證時序的精確性更高。因為采集的數據包的時間戳是按網卡接收數據包的時間記錄的，從而無法獲取數據包真實發送時間，而且有的協議例如TCP 協議具有延時確認機制。較小的時間誤差（微秒級）通常對一個會話流狀態的影響很小，但是請求與響應順序會決定會話流的協議狀態。因此，設計回放算法的原則應在保證回放數據包順序一致的前提下盡可能將時間精度誤差降低，以維持重放的會話狀態，保證用戶行為仿真的逼真度。為此，本文采用的報文發送函數基于相鄰報文時間間隔進行發送，而非距離第1 個報文的時間間隔進行發送，該方式能夠有效確保報文順序的精確性。

3.1 RTT 時間戳修復算法

回放時需要維持整個會話的狀態，即數據報文交互的順序需與原始流量文件保持一致，否則將會導致協議狀態錯亂。圖3 所示為一個TCP 會話建立連接過程，當采集點不是客戶/服務端之間的中間節點，或者是采集網絡延遲非常低時，流量會話中SYN請求報文與SYN-ACK 響應報文的時間間隔非常短，則回放時就有可能因為傳輸延時出現SYN-ACK 響應報文比SYN 請求報文先到達目標節點的狀態錯亂情況。因此，有必要對采集的用戶行為流量進行延時修復處理，保證其在回放過程中順序的一致性，以維持正確的用戶行為協議狀態。

圖3 TCP 會話3 次握手過程Fig.3 Process of TCP 3-way handshake

本文提出一個基于RTT 修復算法解決流量采集時采集點不在中間節點的問題。其中心思想是：根據TCP 會話3 次握手中第1 次握手SYN 報文與第3 次握手SYN-ACK 時間戳可計算出原網絡RTT 往返延時，再根據RTT 將報文修復為在中心節點采集時的時間戳，具體的偽代碼描述如算法1 所示。

3.2 低延時補償策略

因為RTT 修復算法只有在原始流量中包含TCP會話時才有效，當原始流量中不包含完整TCP 會話則無法預估采集時的RTT 延時，所以需要對其他低延時的情況進行延時補償。假設原始流量相鄰報文間隔為Td，回放時鏈路的抖動為Tj，當Tj>Td時，則有可能發生數據包亂序的情況，為盡可能避免這一問題，本文提出一種低時延補償策略。通過對報文較小的包進行延時補償，盡可能消除抖動對回放造成的誤差。

本文具體策略如下：在仿真實驗前，設定一組等同數量具有固定間隔的流量文件進行回放。比較原始流量與回放流量中每對相鄰報文的時間間隔Δo、Δr，得到一個誤差均值。計算公式如下：

將得到的誤差均值對原始流量進行補償，具體操作如下：從原始流量中第2 個報文開始順序遍歷，當報文滿足Δoi<且與上一條報文不同側時，則對當前報文的時間戳Tsi進行誤差補償：Tsi=Tsi-1+，并更新報文時間戳，直至最后一個報文。使得每個報文間隔始終不小于平均誤差，以此減小延時在回放延時中造成的誤差。

4 實驗驗證與評估

本節對基于交互式流量回放的用戶行為仿真方法進行實驗驗證。

4.1 實驗環境

該用戶行為仿真體系部署在基于Openstack Mitaka 版本搭建的云平臺上，控制節點采用Intel Xeon E5-2620 v2×4 機架式處理器，內存為32 GB；網絡節點處理器為Intel Xeon E5-4607 v2×8，內存為32 GB；計算節點1 處理器為Intel Xeon E5-2620 v3×4，內存為32 GB；計算節點2、3、4 處理器均為IntelXeon E5-2620 v3×4，內存為32 GB；采用OVS 提供虛擬網絡；所有節點的操作系統均為CentOS 7.5。

實驗場景如圖4 所示，目標網絡為一個普通的多尺度虛擬網絡拓撲，圖中灰色節點均為虛擬路由器，實驗場景兩端為本仿真方法生成的用戶節點，中心黑色路由節點為實驗采集點。共設計了3 個驗證實驗分別對鏈路交互流量回放方法的逼真性與精準度，以及用戶行為仿真的可行性與逼真性進行驗證。

4.2 實驗結果

4.2.1 交互式流量鏈路回放方法逼真性驗證實驗

為驗證本文所提出的鏈路交互式流量回放方法可滿足大規模高逼真用戶行為仿真的需求，對該方法進行逼真性實驗評估。在圖4 的目標網絡中，創建一個回放節點接入目標網絡中，仿真一對Web 請求響應會話；鏈路延時為1.21 ms，在整條鏈路上回放了5 組采集自互聯網的真實的TCP 流量文件（數據報文個數依次為2 萬、5 萬、10 萬、20 萬、30 萬個），對本文所設計的交互式流量鏈路回放方法在順序的準確性以及時間的精確度2 個方面進行評估，以驗證該回放方法的逼真性。基于該評估方法對比直接回放方法，具體的評估方法如下：

通過對回放后的流量文件與原始流量文件進行遍歷，比較兩組在同一位置的每個報文內容是否相同，統計錯誤的報文數以驗證該方法的順序準確性。通過計算回放與原始流量中每個相鄰報文的時間間隔的誤差驗證時間精確度，即設Δr為回放流量中2 個相鄰報文的時間間隔，Δo為原始流量中對應的2 個相鄰報文的時間間隔，可以計算出：

在5 組回放實驗中，本文方法產生的亂序報文數分別為2、4、4、6、4 個。如圖5 所示，隨著回放數據包的增多，直接回放方法產生的亂序報文數明顯增多，在回放30 萬個數據包時，直接回放共產生亂序報文5 900 個，而本文方法僅為4 個。

圖5 本文方法與直接回放方法的亂序報文數對比Fig.5 Comparison of the out-of-order packets number between the method in this paper and direct replay method

本文所提出延遲補償策略極大地減少了回放中產生錯誤數據包的數量，在回放的順序準確性上具有一定的優勢，能夠保證流量回放不亂序這一基本目標。相比未經過延時補償的直接回放方法，本文方法經過延時補償后回放產生的亂序報文數并不會隨著回放報文數增加而大幅增加，回放的準確率穩定在99.99%。

由于直接回放法在報文的順序準確率低，無法準確驗證其回放誤差，因此本文通過對比經典單機流量回放軟件Tcpreplay 回放效果進行時間精確度驗證。對比結果如圖6 所示，本文所設計的鏈路交互式流量回放方法平均誤差均小于0.026 ms，與流量回放軟件Tcpreplay 基本持平，但是Tcpreplay 為單機回放，無需考慮鏈路延時問題，且無法實現在鏈路中交互回放。

圖6 本文方法與Tcpreplay 單機回放方法平均誤差對比Fig.6 Average error comparison of the this paper method and Tcpreplay stand-alone replay method

表1 為本文方法與目前主流的回放方法的對比分析。在回放的逼真性方面，Tcpreplay 由于是單機回放，在時序的準確性和精確度上要略優于本文方法，但是其無法面向目標網絡回放，ITRM 和本文方法都是面向虛擬網絡回放的，但是其無法保證各回放節點的高精度的同步時鐘，且其回放機制是根據第1 個報文間隔進行回放，沒有考慮到復雜網絡環境產生亂序報文的問題。因此，本文設計的鏈路交互式流量回放方法在回放時間和順序的精確性上具有一定的逼真性，特別是在復雜網絡的情況下，能夠滿足用戶行為仿真對于回放逼真度的需求。

表1 不同回放方法的對比分析Table 1 Comparative analysis of different playback methods

4.2.2 交互式流量鏈路回放方法多樣性驗證實驗

真實網絡中多用戶行為具有多樣化、大規模并發的特點。因此，多用戶行為仿真也應具備大規模實驗的能力。為驗證本文仿真方法的多樣性與規模，在圖4 網絡場景下設計了基于Web 請求、數據庫操作、郵件操作3 種行為的多用戶并發仿真實驗，目標網絡兩端為本文方法創建的3 組仿真節點，通過消息隊列下發用戶仿真配置參數，并進行分布式協同控制。本次仿真規模為36 000 個用戶，仿真時間設置為315 s，共回放了917 000 個報文。具體的行為參數及回放結果如表2 所示。

表2 并發行為仿真流量回放結果Table 2 Replay result of concurrent behavior simulation traffic

在保證不丟包和回放的數據包內容與原始報文一致的前提下，表2 結果顯示在回放的917 000 個數據報文中共產生了66 個亂序報文，3 種行為仿真準確率均維持在99.99%，回放的精確度能夠滿足多用戶并發行為仿真的逼真需求。

4.2.3 惡意用戶行為仿真逼真性驗證安全實驗

惡意用戶行為仿真對于網絡安全研究有著重要意義，本文通過重放復現攻擊場景進行惡意用戶為行為分析。本文用戶行為仿真方法亦可構建惡意用戶行為模型，根據基于重放攻擊的安全實驗驗證惡意用戶行為模型的逼真性。在圖4 目標網絡中設置了一組通話節點sip_client1 與sip_client2，并在中間路由節點添加了一個通信代理服務節點sip_server，該節點集成開源通信代理軟件SIPp，對通話進行驗證。采用本文行為仿真方法創建惡意用戶節點mal_user 進行重放攻擊，具體攻擊流程如下：首先截獲sip_client1 到sip_server 的通話請求流量，構造通話用戶行為模型，具體的通話用戶模型如表3 所示。然后在惡意用戶節點mal_user 上進行重放攻擊，即在鏈路2（mal_user->sip_server）中重放鏈路1 中（sip_client1->sip_server）的通話請求行為。

表3 通話行為仿真流量模型Table 3 Simulation traffic model of call behavior

本次實驗共重放500 組用戶通話行為，圖7 為代理節點sip_server 實時統計的通話成功數，圖8 為通話節點sip_client2 最終顯示的通話成功用戶數。在圖7 中，曲線呈線性增長的趨勢符合預設的正常通話速率。實驗結果證明，通過惡意節點重放的通話流量能夠通過代理服務器的交互驗證，并實現與SIP_c2 節點上的用戶成功通話對正常通話行為進行干擾。該行為仿真方法具有一定的逼真性。

圖7 代理服務器sip_server 節點實時統計的通話成功數Fig.7 Number of successful calls counted by the call proxy server sip_server node in real time

圖8 通話節點sip_client2 最終通話成功數Fig.8 Number of successful final calls of call node sip_client2

5 結束語

本文通過流量回放的方式進行網絡用戶行為仿真，提出一種交互式流量鏈路回放的方法。將回放對象從單個節點擴大到整個目標網絡鏈路，并基于該方法設計一個高逼真大規模的網絡用戶行為仿真體系。實驗結果表明，該方法能夠在保證會話順序與內容的準確性前提下，達到與現有單機回放方法同等的精確性及逼真性。基于該回放方法的網絡安全仿真體系具有可行性，其仿真體系可實現靈活構建大規模高逼真的用戶行為仿真目標，從而滿足基于云平臺構建的目標網絡注入網絡用戶行為背景流量的需求。下一步將融合虛實互連技術，研究面向大規模目標網絡的高逼真用戶行為仿真方法。