基于IXP2850的異常流量檢測模塊的設計與實現

賴 粵， 黃河濤， 謝勝利

(華南理工大學電子與信息學院，廣東廣州510640)

0 引 言

異常流量檢測是網絡流量工程的一個重要課題。它通過對網絡流量特征的提取和分析，從而發現其中的行為偏離，為系統對已經發生或者即將發生的非法行為做出反應提供依據和預警，可以防止網絡設施(如路由器、服務器、交換機和網絡帶寬)遭受蠕蟲病毒、拒絕服務攻擊和一些網絡濫用行為的襲擾[1]。近幾年，融合網絡和視頻、語音型服務的不斷普及，使得互聯網的規模不斷擴大，復雜性不斷增加，隨著而來的網絡安全問題也愈發的突出與復雜。非法網絡行為往往隱藏在越來越龐大的網絡流量行為中，其突發性和隱秘性讓異常流量檢測面臨極大的挑戰。

網絡處理器(network processor，NP)是一種針對若干類通信領域任務而開發設計的可編程器件，比如路由查找、QOS、安全網管等，與其他同類器件相比，其具有更強的針對性和更高的靈活性[2]。目前提供網絡處理器的廠商有很多，比較有代表性的是Intel的IXP系列和IBM的PowerNP，而前者在國內得到比較廣泛的研究和應用。隨著網絡處理器的推廣，基于這類器件的安全應用也逐漸受到國內外研究人員的關注。

本文提出了一種基于Intel第二代網絡處理器IXP2850的異常流量檢測模塊的設計和實現方案。該模塊主要分為兩大部分：流量信息的采集和流量信息的分析，利用IXP2850系統結構多層并發的特點，實現在千兆線速的網絡環境下對流信息的實時監控。該設計解決了線程交叉復雜而造成的資源沖突問題，并通過實驗探討距離運算結合本地資源監控的異常流量分析方法，對于網絡處理器在安全領域的運用推廣有積極的促進作用。

1 相關工作

1.1 流量的采集與分析

網絡流量異常檢測要解決的核心問題之一是獲得流量信息的全面性和流量信息描述的準確性[3]。目前使用最為廣泛的網絡安全檢測的采集方法是基于網絡探針的采集方法，通過在總線安插探針，監聽并接收經過監測點的每一次通信，數據收集范圍可從數據鏈路層到應用層。但是這種方法采集數據量龐大，無論對采集還是分析系統的要求都比較高，并不適和高速設備的實時檢測。另外一種較為常用的方法是基于網絡流的數據采集方法，通過抓取流經路由的網絡數據包的TCP/IP信息，整理成流信息，不涉及網絡高層，這樣雖然影響了全面檢測，但是卻極大的降低了對系統的要求而不失對網絡流量的直觀分析。

數據分析方面，近幾年，研究人員對網絡異常流量及其分析方法進行了廣泛的研究，提出了基于不同方法的檢測方案和構架，主要有以下幾種[4]：基于統計學的異常檢測、基于數據挖掘的異常檢測和基于機器學習的異常檢測等。其中，文獻[5]提出通過改進型的CUSUM算法實現實時監控端口流量，并通過均值的比對檢驗異常情況；文獻[6]提出利用熵對網絡流量的數據包報文進行特征分析，能夠獲得較好的大流量異常檢測效果和無監督學習分類；文獻[7]提出通過對用戶網絡流量進行統計，獲得用戶的行為模式，利用這種模式進行行為識別，為入侵檢測提供一種新思路。

1.2 網絡處理器IXP2850

IXP2850是Intel公司IXP系列的第二代網絡處理器，功能強大設計靈活而受到國內外研發人員的青睞。它具有16個1.4GHz的微引擎(ME)，1個700MHz的32位嵌入式處理核心(XScale)，并且集成了哈希、加解密、原子操作等硬件功能。每個ME內部可支持8個硬件線程，多個ME之間可并行操作，這可使系統設計者在硬件資源和軟件構架之間更靈活的搭配。主要存儲資源包括便箋寄存器(Scratchpad)、DRAM、SRAM，如表1所示[8]。

表1 存儲資源

表1中，Scratchpad屬于芯片內部資源，容量最小，訪問時延短，支持原子操作，適用于各ME之間或者ME與XScale之間的同步協作。SRAM和DRAM屬于芯片外部資源。通過網絡處理器提供的接口實現資源共享。SRAM訪問時延介乎中間，支持原子操作。DRAM訪問時延較大，不支持原子操作，但是能夠不通過ME直接與MSF進行數據交換，以提高數據的吞吐量。

結合IXP2850批處理能力強的特性，本異常流量檢測模塊采取基于網絡流的數據采集方法，采用行為距離運算和本地資源監控相結合的分析方法，在以IXP2850為核心的路由平臺上實現對網絡流進行分析檢測。如何保證模塊的融入既不影響系統的線速，又能提供有效的檢測是設計和實現的重點。

2 系統的設計與實現

2.1 系統總體構架設計

利用Intel提供的互聯網交換可移植構架(IXAsoftwareportability framework)，可以構建以 IXP28XX為核心的適用于OC-3～OC-192多種線速下的路由、安全網關等網絡節點系統。異常流量檢測模塊將建立在上述的路由系統中，整體構架與路由系統相一致，分3層：管理層、控制層和數據層。管理層負責人機交互、策略管理；控制層負責異常檢測以及分析、策略管理、數據結構管理；數據層負責數據采集和策略的執行。其中控制層和數據層部署于網絡處理器，而管理層部署于遠程主機，如圖1所示，兩者通過socket進行信息交換。

圖1 系統構架

本文異常檢測模塊的核心集中在控制層和數據層，數據層面需要進行大量的讀寫和查找操作，部署于ME；控制層需要進行靈活控制和深度計算，部署于 XScale，兩者通過Scratchpad進行控制命令交換、通過SRAM進行數據交換。其中，控制層主要包括異常檢測構件、安全策略管理構件、特征庫管理構件和數據庫管理構件，統稱異常檢測內核組件。數據層的主要構件為流量采集整理微模塊(Microblock)，由2個ME并行執行。模塊涉及的主要數據結構有：

(1)流計量數據庫：每個存儲條目記錄一條正在傳輸的網絡流的信息，包括時間戳、IP層源/目的地址、端口號、協議類型、流量、傳輸狀態、數據包數量、網絡層開銷、傳輸層開銷，應用層協議狀態記錄。數據庫表的頭部為每個線程預留空間存放已更新條目的地址和狀態，提高XScale讀取信息效率。

(2)統計數據庫：每個存儲條目記錄一個終端的一定周期內作為源地址和作為目的的地址的網絡流統計，包括計時、總字節數、網絡層速率、網絡包數、TCP連接數、TCP半連接數、端口數、IP數、危險端口數、TCP協議數、UDP協議數、ICMP協議數以及TOPN統計數，XScale通過對流計量數據庫中流信息進行周期性整理，并存儲于統計數據庫中，以進行運算分析。

(3)特征數據庫：每個存儲條目記錄已知的用戶不同時段的行為特征，管理員可以對其進行修改。

這3個數據庫都由XScale創建和維護，其中 (1)存放于SRAM，(2)、(3)存放于 DRAM。

可移植框架的實現方式是在微引擎上和XScale上開發的代碼模型?；贛E上開發的代碼模塊為微模塊，使用Intel公司提供的Developer Workbench開發環境，使用微代碼來進行編程；而XScale上的為核心組件，使用基于ARM平臺嵌入式操作系統開發工具，使用C語言進行編程。

當一個數據包抵達網絡處理器時，異常檢測模塊對數據的處理流程如圖2所示。接收微模塊將抵達的數據包從MSF轉入DRAM后，并通過在SRAM生成數據描述符(Metadata)定位和傳遞數據包。圖2中，系統通過設定全局參數使每個ME執行相應的微模塊，并以一定的順序組織起來，而XScale上執行著與微模塊相對應的內核組件(圖2中并未標示其他內核組件)，在接收數據包后經過分類、采集、整理、路由、隊列等處理，由發送微模塊將數據包封裝轉發。

圖2 異常檢測處理流程

2.2 流量采集整理微模塊的設計與實現

流量采集整理微模塊由兩個相鄰ME0：2和ME0：3并行執行，16個線程以循環的方式進行數據操作，并通過Scratchpad2與 XScale完成計時同步。圖2中，①當數據包到達時，該微模塊通過Metadata中的定位信息，前往DRAM讀取網絡封裝信息。②進行協議分析之后，基于網絡地址、端口號、協議類型中的某些元素進行哈希尋址，記錄包信息。每個線程記錄數據包信息的同時，區分3種情況：(a)通過同步計時確定當前流是否超時；(b)通過記錄的狀態信息確定當前流是否已經結束；(c)是否覆蓋原有的流信息，對3種情況加以標記，最后將更新條目的地址和標記存放于表頭中該線程對應的存儲空間 (更新空間)；當某線程存滿自有更新空間時，通過Scratchpad1發送中斷通知XScale讀取。提高該微模塊的效率是提高整個流量檢測系統吞吐量的關鍵所在。以64B的以太包(全文以下均用以太包做實驗分析)為例，流量采集整理微模塊處理每個包所占的最大工作周期T為

式中：n——并行執行程序的ME數。而實際程序執行過程中，每個線程不可能達到硬件資源的100%利用，所以實際最大工作周期小于。流量采集整理微模塊處理一個64B數據包最差情況消耗大約4500時鐘周期。

2.3 異常流量內核組件的設計與實現

異常流量內核組件在專有的執行引擎上運行，以軟件多線程的形式執行數據庫的管理、安全策略的執行、數據的分析檢測以及與管理界面的交互。圖2中③根據Scratchpad1發送的中斷請求到指定地址讀取指定線程的更新空間，進而根據更新空間地址讀取對應的流計量信息，當固定周期內未收到中斷請求時，內核組件順序讀取每個更新空間；通過計時獲取每次讀取更新空間的時間 m，m是整個系統資源的集中體現。④按照管理指令對特征庫的數據進行刪除、添加或者修改；通過統計數據庫內的信息進行統計分析，生成用戶行為特征，或者對原有特征進行修正，同時保持特征數據庫與管理界面特征表的同步更新。⑤將流計量信息整理存入統計數據庫，獲得一段時間內兩通信終端基于網絡層和傳輸層的網絡行為記錄；對存入信息進行橫向分析，并與特征數據庫進行比對。如果把 ME上運行的微模塊看成數據處理的快通道，那么XScale上運行的異常流量內核組件就是數據處理的慢通道，信息數據從收集到分析完畢是整個系統的反應時間。針對信息收集，我們的設計形成了一個從ME到XScale的動態通道：以流計量數據庫為信息中轉中心，ME與XScale分段統計，利用快慢通道的特性，當流量異常時，更新空間的更新速度加快，通過Scratchpad1進而增加XScale訪問更新空間的頻率，當流量趨于平緩時，XScale愈趨于平緩，如此非常有利于數據庫的維護和減少線程的訪問沖突。

內核組件在數據庫生成基于用戶IP的統計集合，每一個IP所關聯的統計集合為I(S,D)，其中S={}是該IP為源地址時的統計集，D={}為目的地址時的統計集。S和D有獨立的計時空間，則每一次訪問該統計集合時可以計算時間周期P'，當P'≥P的時候，對該條目進行一次距離運算。以統計集S為例，定義有

式中： ——t時段的用戶某類特征參數，于是定義的距離運算為

表2 S統計集

距離d越大，采樣時間內用戶行為與正常行為差異越大，源地址偏差一般是攻擊行為異常，而目的地址偏差一般是承受攻擊異常。目前網絡充斥的蠕蟲、DDOS等攻擊在傳輸層會形成一定的表征，與用戶的正常行為有較大的偏差，但是僅依靠一兩個統計參數進行判定準確率太低、針對性過強，因此采用類似均方差運算來判別，加入權值函數，一方面通過加入系統資源參數來優化系統檢測率，另一方面加大一些特征函數的權重以提高系統對DDOS和蠕蟲攻擊的檢測靈敏度。當異常流量出現時，內核組件對異常用戶進行標記，并通過socket向管理層發出警報信息，等待管理層返回的安全策略加以執行。

3 實驗結果與分析

通過控制終端，我們分別將未整合和整合了異常流量檢測模塊的基于IXP2850的路由系統裝載于硬件并運行，使用Spirient公司生產的TestCenter依次對系統進行測試，分析系統性能。測試主要集中于系統的吞吐量變化、時延、異常流量檢測的反應和精確度。

對系統的吞吐量測試是通過TestCenter模擬一個局域網的結構，在10Gbit/s的理論線速下，從最小以太包開始逐級加大流量和加大包長直到系統丟包為止，得到系統在各種環境下的最大處理數據包能力以及數據包處理時延。測試結果吞吐量如圖3所示，時延如表3所示。

圖3中灰色方柱表示理論速率，黑色方柱表示實際測速率。在系統整合異常檢測模塊之前，吞吐量性能的主要瓶頸有數據包的接收、路由查找、數據包發送3處，小數據包增加路由查找的消耗，大數據包則增加接收和發送的消耗，所以整合前系統最高速率大約在8.4Gbit/s(約4M個256B數據包)。整合之后，增加的瓶頸在于數據包封裝的解析和信息收集，數據包越多對系統影響越大，所以當數據包大小集中在64B的時，檢測模塊對系統有影響，最高速率約6Gbit/s(約9.6M個64B數據包)，而隨著數據包的增大，異常檢測模塊對系統吞吐量影響消失。

圖3 吞吐量測試

表3 最小時延測試

如表3所示，隨著流量的增大，最小時延和最大時延微量遞增，而平均時延在最大流量是有明顯增大，主要原因存在于查表沖突的增加和隊列開銷增大。時延大小是網絡系統的重要指標，直接影響著接入網絡的性能，另一方面也影響著系統存儲資源的規劃。

圖4 模擬蠕蟲攻擊

圖4為TestCenter模擬蠕蟲攻擊的實時統計，其中圖中上部分曲線為包含各類應用層協議的流量統計，下部分曲線為參與蠕蟲攻擊的用戶統計。將系統接入模擬攻擊網絡中，對攻擊行為進行檢測，通過比對IP的方法，在其余參數值不變的情況下，考察時間粒度P的變化規律，結果如圖5所示。

圖5 關于時間粒度P的實驗結果

時間粒度P是系統對攻擊反應時間的主要影響因素，突發性的流量攻擊是本系統的主要檢測對象，此時要求時間P越小越好，但是另一方面P值越小，系統的計算壓力就越大，反而會影響系統的性能，所以可以通過調整參數，在檢測精確度允許的情況下，獲得盡可能小的P。

4 結束語

本文結合網絡處理器IXP2850設計實現了一種基于用戶行為距離運算和本地資源監控相結合的異常流量檢測模塊。采用多線程并行的方式提高系統采集流量信息的效率，設計了一種分級統計的方法，解決因多線程引起的資源沖突和實現復雜的問題，在系統吞吐量、最小時延、反應速率上比一般的采集-分析雙系統的結構方式有較大的優勢。嵌入到路由系統后，對蠕蟲、泛洪攻擊的檢測反應快，準確度高，提高了整個路由系統的安全性。優化分析算法，進行多分類的研究和實現是筆者下一階段的工作方向。

[1]顧榮杰,晏蒲柳,鄒濤.基于統計方法的骨干網異常流量建模與預警方法研究[J].計算機科學,2006,33(2):92-96.

[2]張宏科,蘇偉,武勇.網絡處理器原理和技術[M].北京:北京郵電大學出版社,2004:22-30.

[3]周穎杰,胡光岷,賀偉淞.基于時間序列圖挖掘的網絡流量異常檢測[J].計算機科學,2009,36(1):46-50.

[4]Patcha A,Park J M.An overview of anomaly detection techniques:existing solutions and latest technological trends[C].Elsevier Computer Networks,2007,51(12):3448-3470.

[5]孫知信,唐益慰,程媛.基于改進CUSUM算法的路由器異常流量檢測[J].軟件學報,2005,16(12):2117-2123.

[6]Lakhina A,Crovella M,Diot C.Mining anomalies using traffic feature distributions[C].Philadelphia,Pennsylvania,USA:Proc of ACM SIGCOMM,2005:9-20.

[7]繆紅保,李衛.基于數據挖掘的用戶安全行為分析[J].計算機應用研究,2005,22(2):105-107.

[8]Intel Crop.Intel IXP2850 Network Processor Hardware Reference Manual[Z].2004:1-3.