大規模網絡安全處理分析平臺架構設計

張榆 韋安壘

摘 要：文章提出了一種在大流量網絡環境下的大規模網絡安全處理分析平臺的系統架構設計方案，采用分級的思想，分為：第一級——流量匯聚分流；第二級——流量還原實時處理；第三級——文件分析處理；第四級——大數據存儲與挖掘分析。通過分級架構，把原本復雜的網絡安全處理分析流程，分為四個層面，每個層面都通過專用技術實現處理的優化和加速，并且可以單獨擴容單獨演進。采用SDN技術，通過統一的集中管理平臺，對系統中的各節點下發策略，形成自動化配置和呈現的閉環。

關鍵詞：大數據安全處理；匯聚分流；存儲挖掘

中圖分類號：TN915.08 文獻標識碼：A

1 引言

隨著網絡安全的形勢越來越嚴峻，威脅和攻擊手段越來越多樣化、越來越難以察覺和抵御，傳統的“防火墻+入侵檢測+病毒防護”的三種防御手段已經不足以防護諸如DDoS攻擊、APT（Advanced Persistent Threat：高級持續性威脅）攻擊、來自于內部的攻擊以及0day漏洞利用攻擊，需要構建立體化的縱深防御體系來抵御這些高級攻擊。

現有的企業級應對高級攻擊的防護思路是以檢測為主，通常是在網絡出口處通過鏡像或者分光的方式將進出網絡的雙向流量復制一份，發送給安全分析系統。安全分析系統進行入侵檢測、異常流量檢測、惡意代碼檢測等工作；同時，可在安全分析系統后面接存儲或者數據挖掘系統，對安全分析結果進行審計和存檔，進行深度挖掘，實現對威脅態勢的感知和攻擊模型的分析和預警。旁路的好處是部署簡單，且不會因為性能和處理延時問題造成網絡瓶頸，并且可以將分析的結果呈現給安全團隊，制定相應的應急響應策略。

企業級的網絡安全分析系統架構如圖1所示，目前通用的盒式設備可以滿足百兆到準萬兆的環境，提升性能需要擴充硬件平臺的CPU、內存等硬件資源，現階段最高端的雙路Intel志強平臺可達雙向萬兆的實網吞吐量，基本適用于萬兆以內環境。受限于進程間通信及網卡收發包機制帶來的瓶頸，采用更高端的更多核心的硬件設備（如四路服務器）并不會帶來性能上過多的提升。因此，要想進一步提升性能通常需要采用分布式的硬件平臺，通過插箱式的架構，將流量經過分流模塊按照分發給多塊業務板協同處理，可采用高端路由器架構或者ATCA架構。

即使采用分布式硬件平臺，性能也有瓶頸，最多也就能夠處理幾十Gbps的實網流量，對于更大規模如1～10Tbps的網絡環境，如運營商骨干網、城域網等，并沒有很好的方案。

本文將設計一種在大規模/超大規模流量模型下的網絡安全處理分析平臺架構設計，要求具備性能擴展彈性靈活、功能模塊隨意增減、部署簡單、不影響現有網絡環境、不造成網絡瓶頸，且網絡兩端無感知。

2 架構設計

對于100Gbps以上的網絡環境，采用擴容CPU、內存等硬件配置以及業務板卡的Scale-up的方式是不夠的，需要全新的集群部署的Scale-out方式。將整個集群系統功能分解為幾個要點。

（1）將大規模網絡流量復制并進行收集，負載均衡分發給集群中的各個計算節點來進行處理，同時需要保持同源同宿，避免同一條流分發給不同的節點。

（2）針對計算節點對網絡流量的分析進行優化，提升單個節點的處理能力。

（3）對于文件的分析，需要在將流量還原成文件之后，負載均衡分發給一個大的文件資源池，進行不同的分析。

（4）將對流量和文件的分析結果保存到大數據存儲分析系統中，進行歸檔審計以及深度數據挖掘，最終實現威脅態勢感知。

根據以上功能需求，設計四級的處理架構，如圖2和圖3所示。

2.1 第一級

一般來說，如此大流量的網絡環境，存在于運營商骨干網絡中，如國際出口、省口互聯網，移動互聯網核心網出口，大型IDC機房等，而且一般都有多條等價路由的鏈路，由于同一個流的不同數據包有可能通過不同的鏈路，在做網絡安全分析時，需要對完整的流量進行還原，因此要將多條鏈路的雙向流量全部接入。一般都是通過分光的方式，在鏈路中接入分光器，全部復制并匯聚下來。

如果是廣域網的流量，接口封裝具有多樣性，一般來說，有10GE、100GE、10G POS、40G POS、100G OTN等。對于POS接口，走的不是以太網流量，是SDH或者HDLC流量，通用的企業網設備無法識別該協議。另外，廣域網中流量復雜，可能會有大于MTU值的巨幀（Jombo Frame）和超小幀（Runt Frame）等存在，企業網設備無法識別該數據，會做丟棄處理，嚴重時甚至造成程序出錯；同樣，廣域網中會有大量的隧道報文，如QinQ、MPLS（包含多層封裝）、VPN、IPinIP、Terado、6to4等，企業網設備同樣無法處理。

這就要求第一級能夠將多種接口的流量以及廣域網中各種流量進行識別和處理，并且處理性能足夠，不會丟包。

在對流量匯聚后，第二步的工作是負載均衡分流，且能夠將這些流量進行通用化處理，比如進行切片、補齊、隧道頭剝離、協議轉換等，統一轉換成10GE接口，負載均衡分流給后端的第二級的處理集群。

關于負載均衡算法，要求保證同一個流量的所有數據報文轉發到同一個計算節點之上，一種常見的實現方式時根據五元組進行HASH運算。對于IPv4報文來說，HASH不均勻的情況還好，但是IPv6由于現在應用較少，大部分地址都集中在某些段，如果對全部128bit的IPv6地址進行HASH，會造成嚴重的不均勻，因此需要根據實際網絡環境調整HASH算法。

在第一級采用大型高端的匯聚分流設備來實現，目前市面上最高端的大型匯聚分流設備整機可以線速處理2Tbps以上的流量，對于大于2Tbps的流量處理需求，可以采用設備堆疊或者集群的方式處理。

2.2 第二級

由于要處理分析的流量巨大，目前單臺通用雙路x86服務器的處理能力在5Gbps左右，因此就需要大量的服務器來構建分析集群。可以將網絡安全的業務模型進行劃分，如DDoS攻擊檢測，入侵檢測，HTTP協議檢測（WAF的功能、檢測SQL注入、跨站腳本攻擊等），郵件檢測，DNS檢測等。在第一級分流時可以根據具體業務的分析內容，進行初步的處理，比如根據協議做過濾，過濾出HTTP、DNS、FTP等協議分發給不同的業務集群，同時還可以將不需要關心的流量進行過濾，比如只關注某個網段的流量，即可將其他流量全部過濾。這樣能夠從很大程度上降低第二級計算節點的工作量，節省計算資源。同樣，針對多個安全分析集群，需要復制多份流量，這就要在第一級匯聚分流設備中即支持過濾又支持多份復制。

集群的單臺計算節點處理能力有限，每臺大概在5Gbps左右，比如要分析1Tbps的流量，則需要200臺設備，如有多套分析系統，設備數量還需翻倍。這對于機房空間、電力能耗和資金成本等來說都是一筆小的開銷。

在架構設計時，需要考慮系統性能的優化，通過技術手段提升單個節點的處理能力，從而減少設備使用量，提升系統ROI。

現階段CPU的處理能力已經很強大，網絡安全分析系的瓶頸在于收發包的過程，通用網卡在處理網絡流量時存在明顯的瓶頸，如圖4所示，數據包進入網卡，要發起CPU中斷，CPU響應中斷，將數據包從內核空間經過協議?？截惖接脩艨臻g，經過操作系統協議棧的處理，最后才能交給應用程序使用。在這一系列過程中CPU中斷和內存拷貝占用了大量的系統資源。

而這些流程占用了CPU大量的資源，事實上如入侵檢測、DDoS異常流量分析時，完全不需要經過如此復雜的處理，可對其進行優化。在設計時可以采用兩種方式。

（1） 零拷貝技術。可基于網卡自行開發零拷貝驅動或者是使用開源的NetMAP等技術，原理是網卡在收到數據包時，直接DMA（Direct Memory Access，直接內存存?。┑接脩魬B內存中，應用程序可直接調用，省去了從內核態到用戶態的拷貝。也可以采用比較成熟的DPDK技術，該技術是Intel開發的，需要Intel網卡和CPU的支持，可在網卡層面實現零拷貝快速收發包，并且可以采用Intel配套的用戶態協議?；蛘咦孕虚_發一套精簡的協議棧，采用該技術實測可提升2～3倍的處理能力。

（2） 專用網卡。通過專用芯片，如Cavium、FPGA、ASIC等加速數據包的處理，與零拷貝原理一樣，可避免內核態到用戶態的拷貝，同時，作為專用硬件協處理卡，可以針對不同的安全分析系統進行定制，對更多的流還原、分片重組、過濾、正則表達式匹配高負載應用進行卸載，進一步提升處理能力。

無論哪種技術，其核心思路均是把占CPU計算資源的收發包等簡單重復的工作進行卸載，從而釋放計算資源，使其更多的用于網絡安全分析。

第二級網絡安全分析集群也可采用虛擬化的架構搭建，實現彈性擴展，業務快速部署，但如果采用協處理卡，需要其支持SR-IOV技術，以供虛擬機調用。關于虛擬化，本文不再做深入探討。

2.3 第三級

第二級的計算集群完成的是網絡流量的實時分析處理，對流量進行還原，根據定義的模式或者特征庫分析攻擊行為。對于一些需要深度分析的文件，如音視頻、加密文件、可執行程序等，比較耗費資源和時間，在大規模網絡安全處理分析平臺中，將其分發到另一個集群中進行統一的分析處理。

第二級將網絡流量還原成文件后，通過文件負載均衡平臺，按照一定的規則分發給第三級文件分析處理平臺。該平臺同樣分為多個分析系統，包括沙箱、音視頻文件解析、加密文件破解等。

對于可執行文件、批處理文件和文本文件等，分發給沙箱系統，文件沙箱會模擬運行這些文件，觀察其動作，如果發現對系統造成破壞或者大量復制，或者有非法外連行為，則定義其為惡意代碼，進行歸檔和告警。

對于音視頻文件，可分析其內嵌字幕、臺標等，以及比對人臉、物品等特征。網上傳輸的一般都是壓縮格式的視頻文件，在分析時，需要將其轉換為原始的YUV格式的視頻流，從而對每一幀進行分析。而視頻文件的格式轉換非常耗費CPU計算資源，可采用協處理卡方式將這部分工作進行卸載。在設計時可以考慮兩種方式。

（1） 顯卡/GPU?，F階段應用最廣泛的方式，顯卡輸入通用產品，專門用于視頻圖像處理，性能強勁。但是其也有一定的局限性。首先，尺寸大，全高半長，要占用PCIE x16的槽位，受限于機器空間，每臺通用服務器一般也就插一兩塊；其次，功耗大，都在200瓦以上；最后，采用CUDA編程，較復雜。

（2） 專用視頻加速卡。采用Tilera眾核芯片或者Xeon E3 CPU（集成GPU顯卡），在某些場景下對視頻文件的分析性能更強，尺寸?。ㄍǔ槿甙腴L、占用PCIE x8槽位），功耗低（幾十瓦），編程簡單（C語言編程），一臺服務器能夠插4塊卡，整體方案性價比高。

對于加密文件。需要對其密碼進行暴力破解，同樣采用協處理卡方式進行加速，同樣有兩種技術路線：（1）顯卡/GPU；（2）FPGA。其優缺點與音視頻文件的技術路線類似，此處不再贅述。

2.4 第四級

對于分析的結果，需要做歸檔和離線深度挖掘，構建大數據安全威脅態勢感知系統。由于前段分析的是網絡中的全部流量，因此能夠掌握網絡中的全部信息，可以從大量的分析結果中總結出包括攻擊頻率、攻擊模型、攻擊特征等，可進一步實現主動安全防御，即安全預警。

第四級大數據存儲分析系統需要分析處理的數據包括兩部分。

（1） 文件歸檔。前端分析平臺分析日志的保存于呈現；第三級處理后需要歸檔的各種文件；原始數據包文件，將原始流量保存成Pcap文件，可以在需要時調出進行現場還原，可以構建流量回放取證系統。

（2） 大數據挖掘分析。對前端分析結果進行匯總，通過機器學習、推理等數據挖掘手段，做安全威脅態勢感知分析。

由于數據量非常龐大，因此需要采用分布式架構來存儲和分析數據。

對于文件歸檔，采用分布式并行文件系統，將多臺低成本的通用存儲服務器的存儲空間虛擬成一個具有統一訪問接口和管理界面的存儲池（也叫統一命名空間）。應用服務器通過統一訪問接口獲得所需得存儲資源。用戶的數據按照一定的負載均衡策略，條帶化的分布到后臺的多套存儲設備上，從而能夠實現數據的并行讀寫以獲得更高的并發訪問性能，充分利用多臺存儲設備的性能和更大的存儲容量，并有效的提高存儲空間利用率。

對于大數據挖掘分析，采用Hadoop大數據框架來搭建。加速加載和查詢，對海量數據實現秒級處理。

3 應用論證

本文設計的大規模網絡安全處理分析平臺適用于需要對海量流量進行分析處理的應用場景，通常都是大型的大數據分析系統。

（1）大型IDC數據中心及云計算數據中心的安全大數據態勢感知系統、不良網站分析系統。

（2）公安、國安、國防等基于骨干網絡的流量分析系統、大數據分析系統；公安和運營商的網絡分析系統。

（3）運營商、廣電網絡骨干網的安全分析系統、DPI分析系統、網絡優化系統、信令分析系統。

4 結束語

本文設計了一種通過分級處理實現大規模網絡安全處理分析平臺架構，通過高性能匯聚分流技術、DPI深度報文檢測技術、異構計算加速技術、大數據處理分析技術、機器學習模型訓練及推理技術等，解決Tb級海量流量接入與處理的問題，打通計算瓶頸，并應用于骨干網流量的分析與處理，為網絡安全與信息安全保駕護航。

參考文獻

[1] 楊松岸，楊華，楊宇航.用于TCP/IP減荷的智能網卡的設計與實現[J].計算機工程，2004，30（14）：178-180.

[2] 曾宇，劉朝暉，云曉春，孫凝暉.一種可重構智能網卡的設計及實現[C].全國網絡與信息安全技術研討會，2007.

[3] 王佰玲，方濱興，云曉春.零拷貝報文捕獲平臺的研究與實現[J].計算機學報，2005，28 （1） ：46-52.

[4] 管磊，胡光俊，王專.基于大數據的網絡安全態勢感知技術研究[J].信息網絡安全，2016 （9） ：45-50.

[5] 李詩旸，沈軍，劉東鑫，鄧博仁.基于大數據架構的安全分析技術研究與實踐[J].廣東通信技術，2017，37 （11） ：2-7.