網絡攻擊的智能精準檢測方法與實踐

林榆堅 梁寧波

(北京安賽創想科技有限公司 北京 100083)

(linx@aisec.com)

2017年11月21—28日，由貴陽市大數據發展管理委員會、貴陽市公安局、貴陽經開區主辦的2017貴陽大數據及網絡安全攻防演練圓滿結束.本次演練活動以“共建安全生態，共享數據未來”為主題.為期8天，在2016年“安全診斷”與“意識喚醒”的基礎上，進一步推進攻防演練的迭代升級，邀請40余位大數據及網絡安全領域的知名院士、專家蒞臨指導，30余支國內一流水平的攻防團隊參與演練.

圖1 WebIDS檢測流程

在此次攻防演練活動中，安賽科技作為受邀參加演練的優秀安全廠商之一，再次征戰貴陽防護演練，在演練過程中積極配合指揮部相關工作，不僅協助主辦方做了部分比賽方案規劃和技術把關工作，同時也作為攻擊團隊，參與了對在水務系統、工業云、汽車北斗定位系統等一大批門戶網站的漏洞檢測和攻擊滲透等相關項目.安賽科技憑借此次活動中表現出的積極態度、專業精神、精湛的技術能力，贏得了組委會一致認可及感謝，并在攻防比賽中獲得“安全使命獎”、“安全協作獎”、“安全防衛獎”3項重要獎項.

在演練防守中，安賽科技拳頭產品Web漏洞感知與入侵檢測系統大放異彩，憑借出色的智能化、高精準入侵檢測與漏洞感知能力，保障目標系統正常運行.不僅是針對Web的防護取得成功，像水務系統的工控系統也在Web漏洞感知與入侵檢測系統產品的防護下，提高了防護能力.

安賽科技作為中國信息安全測評中心——CNNVD國家信息安全漏洞庫技術支撐單位，國家互聯網應急中心——CNVD國家信息安全漏洞共享平臺技術合作單位，國家信息技術安全研究中心網絡空間聯合實驗室成員，工信部全國信息技術人才培養工程培訓基地，OWASP中國區CWASP唯一授權培訓中心，擁有豐富的網絡攻防實踐經驗和理論基礎，為圓滿完成包括G20峰會、“一帶一路”、十九大、金磚5國峰會在內的重大時期網絡安全保障提供技術支撐.

1 產品概述

根據2017年Trustwave《2017全球網絡安全報告》顯示，99.7%的Web應用都有安全漏洞[1].威脅和安全響應是一場時間爭奪賽，42%的新漏洞在紕漏30天內被黑客利用，企業響應的時間遠大于30天，打的就是時間差[2].縮短安全事件破壞和響應修復間的時間差，是減少經濟和數據損失的關鍵.曾“名聲大振”的勒索軟件WannaCry讓超過24萬受害者遭受損失，而相比于“震網”這類高度復雜的攻擊，WannaCry本身的技術性不強，但傳播快、感染范圍廣.盡管所有廠商都紛紛宣稱可以檢測到WannaCry，客戶最關注的不是你能否“檢測”到，也不是在事后能從海量數據中尋找牽強附會的數據進行自圓其說，而是能在第一時間將關鍵信息呈現出來.這是夯實組織對抗威脅的基礎工程能力的重要組成部分，提升有效的告警和響應能力是客戶關注的焦點.

1.1 總體設計

基于上述原因，Web漏洞感知與入侵檢測系統開發設計之初就秉承“以客戶為中心”的理念，如圖1所示.以黑客視角從“Web應用攻擊周期”和“Web漏洞攻防實踐”深度理解的角度出發，結合“全流量鏡像技術”和“大數據處理技術”，為用戶提供面向Web應用智能化、高精準的漏洞感知及入侵檢測系統.

1.1.1設計目標

設計Web漏洞感知與入侵檢測系統時，數據采集模塊作為系統的基礎，應該著重考慮以下4個目標：

1) 精確性.采集到的數據可以精確代表網絡中數據流的狀態.

2) 實時性.對采集到的數據應當進行高效快速的處理，防止因處理速度跟不上收報的速度而引起采集數據的丟失.

3) 高效性.數據采集模塊應當可以占用較少的系統資源，高效地完成數據采集任務.

4) 可重現性.對采集到的網絡流數據應當具備匯聚存儲的功能，以便出現異常后對網絡流數據進行進一步的分析處理.

設計關聯分析算法應該考慮以下3個目標：

1) 準確性.準確性是異常檢測算法的基本要求，準確性要求算法應該具有高檢測率和低誤檢率.

2) 健壯性.健壯性要求檢測算法具有較強的抗干擾能力，能夠適應網絡流量強度多變和業務類型多變的運行環境.

3) 實時性.檢測算法應能實時地檢測各種網絡性能問題和安全隱患，從而為盡早采取措施、減少造成的危害創造條件.

1.1.2層次模型

網絡異常行為檢測及判定系統功能架構如圖2所示.包括Web前端管理模塊和攻擊檢測模塊.Web前端管理模塊中包括日志查看模塊、分析報告模塊、系統管理模塊；攻擊檢測模塊中包括漏洞掃描識別引擎、Web漏洞識別引擎、攻擊影響判定引擎、攻擊關聯分析引擎.

圖2 Web IDS層次模型示意圖

2 核心技術研究

2.1 數據采集方法研究

攻擊者只需要找到1個漏洞或者1條路徑，就能一招致命，防御者卻需要堵住所有漏洞和入口，從投入產出來講，顯然是不對等的.但如果反過來想，攻擊者需要抹掉所有自己的攻擊路徑和痕跡才能自保，防御者卻只需要找到1處蹤跡也許就能追溯反制，從投入產出來講，顯然是180°的轉彎.提高檢測、監測和溯源能力是當前發現攻擊者蛛絲馬跡的唯一途徑.

發現攻擊者蛛絲馬跡的核心問題是從網絡流中發現異常的網絡行為，需要保證對流量進行準確的描述、實時的檢測并且獲得全面的信息.由于網絡流量在剛開始時被定義為來自源、目的地址之間的所有數據包的和，因此根據這項定義也就產生了網絡流這個概念.網絡流的最早定義是由Jain等人[3]提出的Packet Train(數據包隊列)模型.他定義了一個Packet Train為從相同的源端點發往統一目的端點的1串數據包.若2個包之間的間距超過了數據包隊列的距離，那么這2個包屬于不同的序列.在這個模型中，隊列間距是1個用戶參數，依賴于應用程序使用網絡的頻率.1個應用程序2次使用網絡的時間間隔過長，該應用程序發出的2組數據包可能歸為2個網絡流.網絡監控中通常監控的對象類型主要有：目的IP地址、源IP地址、目的端口和協議、源端口和協議等[4].Claffy等人[5]在Jain的Packet Train模型的基礎上提出了新的網絡流定義：在2個網絡實體之間符合某種準則的數據包序列.分析網絡行為的第1步就是對網絡中的數據進行采集.網絡監視一般使用采樣技術，通常基于時間或者基于數據包進行采樣.為了對某個網絡的流量進行測試分析，需要通過測量手段采集網絡上流過的數據包或者關于數據包的統計量信息.也就是說需要完成網絡數據的采集.

近年來應用比較廣泛的網絡流技術主要包括：NetFlow(Cisco公司)、J-Flow(Juniper公司)、sFlow(HP，InMon，Foundry Networks公司)、NetStream(華為公司).其中J-Flow和NetStream這2種網絡流的原理和內容基本上與NetFlow相類似，故可以認為目前應用常見的網絡流主要以NetFlow和sFlow為主[6].

2.1.1基于NetFlow的流量采集方法

Cisco公司開發的NetFlow技術用于專用流數據處理，可以為流量統計信息提供原始數據，其工作原理是：NetFlow利用標準的交換模式處理數據流的第1個IP包數據，生成NetFlow緩存，隨后同樣的數據基于緩存信息在同一個數據流中進行傳輸，不再匹配相關的訪問控制等策略，NetFlow緩存同時包含了隨后數據流的統計信息.

在NetFlow的協議規范中將流定義為從源主機到目的主機的單向數據包的集合.1個數據流由7個參數標識：源IP地址、目的IP地址、協議類型、源傳輸層端口、目的傳輸層端口、業務類型TOS以及設備的輸入接口.基于NetFlow的采集方法采用了3層體系結構，包含數據輸出設備、數據收集器和數據分析器.通過這些設備完成采集、匯聚、輸出、接收、過濾、存儲到分析流數據的整個過程.通常情況下，NetFlow設定1個集中的服務器或者工作站完成對多個路由交換設備上報數據的收集處理.上報數據中包含更多的信息，包括數據流的起止時間、字節數、報文數、路由信息或AS域等.清晰的參數標識和詳細的數據信息為關聯分析和線性回歸提供了有效的數據.

2.1.2基于sFlow的流量采集方法

sFlow是由In Mon，HP，Foundry Networks于2001年聯合開發的一種網絡監測技術，它采用數據流隨機采樣技術，可提供完整的第2層到第4層，甚至全網絡范圍內的流量信息，可以適應超大網絡流量(如大于10 Gbs)環境下的流量分析，讓用戶詳細、實時地分析網絡傳輸流的性能、趨勢和存在的問題[7].

sFlow是基于標準的最新網絡導出協議(RFC 3176)，能夠解決當前網絡管理人員面臨的很多問題.通過將sFlow技術嵌入到網絡交換機的ASIC芯片中，sFlow已經成為一項線速運行的“一直在線”技術.與使用鏡像端口、探針和旁路監測技術的傳統網絡監視解決方案相比，sFlow能夠大大降低實施費用，采用該技術，一種面向每一個端口的全網絡監視解決方案成為可能.

與數據包采樣技術如RMON不同，sFlow是一種導出格式，它增加了關于被監視數據包的更多信息，并使用嵌入到網絡設備中的sFlow代理轉發被采樣數據包，因此在功能和性能上都超越了當前使用的RMON，RMON II技術.接收sFlow數據包的設備稱為采集器(collector).sFlow技術之所以如此獨特，主要在于它能夠在整個網絡中以連續實時的方式完全監視每一個端口，但不需要鏡像監視端口，對整個網絡性能的影響也非常小.

sFlow使擁有高速千兆和萬兆端口的現代網絡能夠得到精確的監視，同時，經過擴展，可以在1個采集點上管理數萬個端口.因為sFlow代理嵌入在網絡交換機ASIC中，所以與傳統的網絡監視解決方案相比，這種方法的實施成本要低得多.而且，也不需要購買額外的探針和旁路器就能全面監視整個網絡.

與那些需要鏡像端口或網絡旁路器來監視傳輸流量的解決方案不同，在sFlow的解決方案中，并不是每一個數據包都發送到采集器.sFlow使用2種獨立的采樣方法來獲取數據——針對交換數據流的基于數據包的統計采樣方法和基于時間采樣的針對網絡接口統計數據(類似RMON的輪詢).而且，sFlow還能使用不同的采樣率對整個交換機或僅對其中一些端口實施監視，這樣保證了在設計管理方案時的靈活性.

2.1.3采集方案小結

NetFlow協議雖然功能較強，但其信息僅包含網絡層的信息，單獨使用有一定的局限性，而sFlow協議廣泛應用于交換機設備，且技術也比較成熟，可以彌補NetFlow在其他層數據獲取方面的不足.由于單一網絡流在協議本身設定和外界網絡因素的影響下導致出現的信息覆蓋不全面和數據丟失嚴重的現象，從而使單一網絡流協議的應用有一定的局限性.安賽創想科技在設計數據流采集模塊時采用基于NetFlow和sFlow 2種協議字段融合的方法，不僅克服了單一網絡協議的數據局限性的弊端，而且還降低了網絡數據存儲量和運行主機的CPU負載率.

2.2 關聯分析算法研究

2.2.1Apriori算法

Apriori算法是一種同時滿足最小支持度閾值和最小置信度閾值的關聯規則挖掘算法[8].使用頻繁項集的先驗知識，通過逐層搜索迭代的方式探索項度集.將NetFlow數據流的7元組信息和sFlow網絡性能方面的特征信息，范化為數據集合.通過定義支持度閾值和最小可信度閾值，找到頻繁項集.在異常行為檢測中，求得流量中元素在整體流量樣本中的頻繁項集和關聯規則.根據每種元素經范化后，都可作為一種特征標識，進行組合篩選，得出該樣本中的“異常”行為(組合元素越多準確度越高).由于Apriori算法無法定義異常行為，所以需要與其他算法相結合分析異常行為.將基于最小支持度與可信度計算得出的多元素集合作為驗證樣本，導入預先設計的SVM算法框架，記錄異常流量在樣本算法中的百分率，并調整最小支持度與可信度，提高檢測效率.

2.2.2FP-Growth算法

對于大量數據的關聯分析，Apriori算法在數據掃描計算量上有比較大的局限.對于每個潛在的頻繁項集都會掃描數據集判定給定模式是否頻繁[9].FP-Growth算法，通過構建FP樹來存儲數據，只需要對數據庫進行2次掃描.經過測試，可以使效率提高2個數量級.利用FP-Growth算法發現頻繁項集的過程分為2個步驟：構建FP樹和從FP樹中挖掘頻繁項集.1個元素可以在1棵FP樹中出現多次.FP樹會存儲項集的出現頻率，而每個項集會以路徑的方式存儲在樹中.存在相似元素的集合會共同分享樹的一部分.只有當集合之間完全不同時，樹才會分叉.樹節點上給出集合中的單個元素及其在序列中的出現次數，路徑會給出該序列的出現次數.在大量數據網絡異常檢測中，使用FP-Growth算法，可有效提高效率.

2.3 分析結果呈現

將計算后的符合最小支持度和最小可信度的多元素集合及其超集數據流進行深度報文檢測，按照“Web應用攻擊周期”歸類(如圖3所示)，便于用戶決策.

圖3 WebIDS安全事件等級呈現圖

3 仿真實驗

3.1 特征提取及參數選擇

基于大數據關聯分析方法的網絡異常流量監測，與傳統的網絡異常流量監測在方式上有很大不同.傳統的監測是預先知道異常流量特征，再通過掃描、監測等手段尋找帶有該特征的流量，進而達到監測目的.在大數據關聯分析中，分析引擎沒有預先定義掃描特征.只對NetFlow，sFlow流量模型作特征值提取和范化，如表1所示.基于時效性與實際編碼運算能力，本文預先搜集了2 260個流量樣本，其中異常樣本760個(占比33.62%)，1 500個正常樣本(占比66.38%).將總體樣本分為10份，對其中7份進行大數據關聯分析.并對余下樣本使用特征檢測方式檢驗.

表1 部分流量特征化結果

本文是用NetFlow流模型，提取其中流量定義特征，選取其中7種特征進行關聯分析，分別是：源IP地址、目的IP地址、源端口號、目的端口號、包數量、協議類型、流量值.并對其進行范化，以適應關聯分析算法數據處理方式，并易于在結果中發現其中邏輯關系.

3.2 實驗結果分析

為了更準確地評估關聯分析法檢測的準確率，本文采用準確率、召回率、F值評測進行評估[10]，正確率是提取出的正確數據條數提取出的數據條數；召回率是提取出的正確信息條數樣本中的信息條數；F值是正確率×召回率×2(正確率+召回率).基于處理好的樣本，對傳統檢測技術和大數據關聯分析技術進行對比，實驗結果如表2所示：

表2 Web異常網絡行為檢測的正確率、

從實驗結果可以看出，關聯分析法在正確率、召回率、F值測評的結果比傳統基于特征庫匹配規則檢測技術更好.說明使用大數據關聯分析法有利于提高檢出率，降低誤報率.

4 總 結

本文針對SQL注入、DDOS攻擊、XSS攻擊、越權訪問等，采取關聯分析法，對數據流量進行檢測，可以準確快速地檢測出異常行為，表現出較好的性能.將異常流量通過DPI深度包檢測，結合黑客視角進行事件等級歸類展現.由于樣本選取數據量及種類有限，且大多為已知威脅，靜態特征庫在檢出率上占有一定優勢.后期研究，將納入第三方檢測機制，更準確地計算出檢出率，并對關聯算法進行優化.

參考文獻

[1]Trustwava. 2017 Trustwava Global Security Report[EB/OL]. 2017[2018-04-15]. https://www.trustware.com/Resources/Library/Documents/2017Trustwava-Global-Securiby-Report

[2]華為敏捷網絡. 從“隨云而動”到“動態對抗入侵”, 檢測智能讓企業從被動防御變為主動防御[EB/OL].[2018-04-15]. http://www.sohu.com/a/194472405_505784

[3]Jain R, Routhier S A. Packet trains—Measurement and a new model forcomputer network traffic[J]. IEEE Journal on Selected Areas in Communications, 1986, 4(6): 986-995

[4]王風宇, 云曉春, 王曉峰, 等. 高速網絡監控中大流量對象的提取[J]. 軟件學報, 2007, 18(12): 3060-3070

[5]Claffy K C, Braun H W, Polvzos G C. A parametrizable methodology for Internet traffic flow profiling[J]. IEEE Journal on Selected Areas in Communications, 1995, 13(8): 1481-1494

[6]陶樺. 網絡運行狀況監控研究[D]. 南京: 東南大學, 2004

[7]張紅林, 王宏. 一種基于sFlow的網絡流量分析方法[J]. 計算機工程與科學, 2007, 29(8): 61-63

[8]趙洪英, 蔡樂才, 李先杰. 關聯規則挖掘的Apriori算法綜述[J]. 四川理工學院學報: 自然科學版, 2011, 24(1): 66-70

[9]王文槿, 劉寶旭. 一種基于關聯規則挖掘的入侵檢測系統[J]. 核電力學與探測技術, 2015, 35(2): 119-123

[10]王同慶. 動態環境下嵌入式網絡關系和網絡能力對服務創新的影響[D]. 濟南: 山東大學, 2012