使用Spark Stream ing的自適應實時DDoS檢測和防御技術*
2016-06-07 02:35:01蔡志平肇啟佳林加潤
計算機與生活 2016年5期
方 峰，蔡志平，肇啟佳，林加潤，朱 明
?
使用Spark Stream ing的自適應實時DDoS檢測和防御技術*
方峰，蔡志平+，肇啟佳，林加潤，朱明
國防科學技術大學計算機學院，長沙410073
ISSN 1673-9418 CODEN JKYTA8
Journal of Frontiers of Computer Science and Technology
1673-9418/2016/10(05)-0646-11
E-mail: fcst@vip.163.com http: //www.ceaj.org Tel: +86-10-89056056
* The National Natural Science Foundation of China under Grant Nos. 61379145, 61363071 (國家自然科學基金). Received 2015-07,Accepted 2015-09.
CNKI網絡優先出版: 2015-10-16, http://www.cnki.net/kcms/detail/11.5602.TP.20151016.1108.006.htm l
FANG Feng, CAI Zhiping, ZHAO Qijia, et al. Adaptive technique for real-time DDoS detection and defense using Spark Stream ing. Journal of Frontiers of Com puter Science and Technology, 2016, 10(5): 601-611.
摘要：分布式拒絕服務（distributed denial of service，DDoS）攻擊是重要的安全威脅，網絡速度的不斷提高給傳統的檢測方法帶來了新的挑戰。以Spark等為代表的大數據處理技術，給網絡安全的高速檢測帶來了新的契機。提出了一種基于Spark Stream ing框架的自適應實時DDoS檢測防御技術，通過對滑動窗口內源簇進行分組，并根據與各分組內源簇比例的偏差統計，檢測出DDoS攻擊流量。通過感知合法的網絡流量，實現了對DDoS攻擊的自適應快速檢測和有效響應。實驗結果表明，該技術可極大地提升檢測能力，為保障網絡服務性能和安全檢測的可擴展性提供了一種可行的解決方案。
關鍵詞：DDoS檢測；DDoS防御；實時檢測；自適應檢測；Spark Stream ing
1 引言
分布式拒絕服務（distributed denial of service, DDoS）攻擊是威脅極大的一類網絡攻擊行為。DDoS防護服務市場領導者Black Lotus發布的最新報告顯示，全球大型服務提供商都飽受各種DDoS攻擊。DDoS攻擊范圍非常廣泛，涵蓋各行各業，其中64%的平臺提供商、66%的托管解決方案提供商和66%的VoIP服務提供商受到影響。DDoS攻擊是用很多計算機發起協作性的DoS攻擊來攻擊一個或者多個目標，它試圖耗盡一臺服務器的計算資源，以使服務器無法響應合法用戶的資源請求。其典型的攻擊方法就是數據包泛洪，通過每秒發送數千個數據包到目標主機以致網絡鏈路擁塞。大量的非法網絡流量一般是黑客通過控制連接到網絡的一大批肉機（僵尸網絡）產生的。因為攻擊規模大和不斷變化，所以DDoS攻擊檢測和防御技術具有很大的挑戰性。成功的防御機制，必須能有效地過濾掉惡意流量，且盡可能小地減少對合法用戶流量的影響，能持續快速地對威脅做出響應，并具有微小的延時開銷（特別是當沒有遭到攻擊時）。
實時異常檢測[1]的目標是能實時捕獲系統中的異常行為，包括接受連續不斷的數據流，實時分析數據和及時的應對策略，它的挑戰來自于輸入數據的體積、流速和復雜多樣性。但近幾年，DDoS攻擊呈現攻擊流量不斷增大的趨勢，可達每秒數十GB甚至數百GB的攻擊帶寬，傳統的防御技術和機制已很難應對。一旦防御失敗，對于商業的持續運行將造成十分嚴重的后果。因此，企業數據中心的DDoS檢測必須建立在低延時的有大數據處理能力的可擴展的框架上。
數據的迅猛增加使得Hadoop、Spark等大數據處理技術得到了快速發展。但是Hadoop目前只能處理批數據，無法處理實時數據。Spark是一個分布式的實時數據處理的優秀框架，相比Hadoop，它是基于內存的計算框架，避免了傳統的MapReduce[2]編程模型帶來的巨大的I/O通信開銷瓶頸。目前的大數據處理性能在內存中可達到Hadoop的100倍，在硬盤中的速度也可達到Hadoop的10倍。
Spark有兩個關鍵概念：彈性分布數據集（resilient distributed dataset，RDD）和有向無環圖（directed acyclic graph，DAG）執行引擎。RDD是一個分布式的內存抽象，它允許在大型分布式集群上進行高容錯的內存計算。Spark有兩種RDD：基于現有編程集合（如map、list等）的并行集合和存儲在HDFS中的文件。對RDD的操作分兩種：轉換和動作。轉換是為輸入的RDD或現存的RDD創建出一個新的數據集，動作是在執行對數據集的計算后返回一個值。相比而言，轉換只是定義一個新的RDD，是一個惰性操作，而動作執行真正的計算，它能計算出結果或寫入外部存儲介質。每當用戶對RDD進行動作，會在考慮所有轉換的依賴關系后生成一個有向無環圖，它消除了傳統MapReduce的多步執行模型且提升了性能。
Spark也有對流的實現，具有高可擴展和高容錯的特點。Spark Stream ing是將流式計算分解成一系列短小的批處理作業。這里的批處理引擎是Spark，也就是把Spark Stream ing的輸入數據按照batch size（如1 s）分成一段一段的數據（discretized stream, DStream），每一段數據都轉換成Spark中的RDD，然后將Spark Stream ing中對DStream的Transformation操作變為Spark中對RDD的Transformation操作，將RDD經過操作變成中間結果保存在內存中。整個流式計算根據業務的需求可以對中間結果進行疊加，或者存儲到外部設備。
將數據流技術用于緩解DDoS攻擊是網絡安全研究的重要趨勢，特別是最近已經出現了一些優秀的彈性可擴展的數據流引擎和框架[3]。本文做了以下工作：
（1）利用彈性可擴展的數據流框架Spark Streaming 和Kafka消息中間件，實現了對連續不斷到來的網絡流量數據進行實時查詢分析處理。
（2）利用基于源簇統計的分組策略，將正常流量與DDoS流量的偏差根據動態自適應計算出的流量閥值區分開，能有效檢測出DDoS攻擊，并制定針對攻擊流量的緩解策略，有效防御應對DDoS攻擊。
（3）在低延時和準確性兩個方面對實時DDoS檢測框架通過實驗進行了驗證。
2 相關工作
近年來，針對有效解決DDoS攻擊問題的迫切需求，DDoS檢測已成為研究熱點。在網絡入侵方面主要有兩類檢測方法[4]：基于特征的方法和基于異常的方法。基于特征的方法[5]通過檢查每一個數據包的特征，以決定轉發或丟棄。但是它有一些局限性：不是所有的協議都可以被標記出特征，并且針對每個新型的攻擊，需要有與之對應的特征才能被檢測出[6]。與基于特征的方法相反，基于異常的方法試圖通過覆蓋更寬的范圍，從當前和相關的流量中[4]發現偏差以檢測威脅。因為單獨來看，每一個惡意數據包可能是合法的，但通過識別當前和上下文的流行為后，就會發現它是惡意的。很多基于異常的方法，通過對流量特征的復雜分析[6-11]，可檢測和緩解多種類型的攻擊。目前的挑戰在于如何定義一種適合在線實時處理，并且能足夠精確緩解攻擊的流量分析方法。文獻[6]中提到的基于挖掘工具的方法更適合于用來做研究，而不適合于用來檢測威脅。簡單觀察整體流量[12-15]的方法無法給出要丟棄哪些攻擊數據包。
可以應用于網絡安全檢測的大數據處理技術包括MapReduce、Hadoop和Spark等，由于網絡流量數據的大容量、實時性和不穩定性，現有的大數據技術框架可能無法穩定地進行處理。Linkedin開源的Kafka為消息的順序傳遞提供了可靠的機制，是一個高吞吐量分布式消息系統中間件。首先，Kafka的開發者們認為不需要在內存里緩存什么數據，操作系統的文件緩存已經足夠完善和強大，只要你不進行隨機寫，順序讀寫的性能是非常高效的。Kafka的數據只會順序append，數據的刪除策略累積到一定程度或者超過一定時間再刪除。Kafka另一個獨特的地方是將消費者信息保存在客戶端而不是MQ服務器，這樣服務器就不用記錄消息的投遞過程，每個客戶端都知道自己下一次應該從什么地方什么位置讀取消息，消息的投遞過程也是采用客戶端主動pull的模型，這樣大大減輕了服務器的負擔。Kafka還強調減少數據的序列化和拷貝開銷，會將一些消息組織成Message Set進行批量存儲和發送，并且客戶端在pull數據的時候，盡量以zero-copy的方式傳輸，利用sendfile這樣的高級IO函數來減少拷貝開銷。Spark Stream ing 1.3.0版本提供了相關的API實現對Kafka的較好支持，因此可以實現對連續不斷到來的網絡流量數據進行實時查詢分析處理。
3 自適應DDoS攻擊檢測防御架構
本文基于對網絡DDoS攻擊流量在給定時間窗口內的源簇特征的統計分析，提出了一種自適應的DDoS攻擊檢測防御架構。以下將介紹網絡和流量模型，定義攻擊模型和狀態，對DDoS攻擊檢測和防御問題進行建模。
3.1網絡DDoS攻擊流量模型
該網絡包括4種類型的實體：（1）受保護的網絡實體，即被攻擊的網絡主機；（2）合法主機，即占用受保護網絡實體資源的終端；（3）DDoS防御系統主機，用于運行DDoS防御系統的主機；（4）僵尸機，即被攻擊者控制的網絡主機。
受保護的網絡實體、合法主機和僵尸機通過網絡鏈路和路由交換機相連，當通信鏈路中含有DDoS攻擊流量時，其流量模型如圖1所示。
通常DDoS攻擊流量的特征是在較短的時間內發送大量的網絡數據包，為了及時檢測出DDoS攻擊流量，本文采用滑動時間窗口的檢測方法。假設滑動窗口大小為D，滑動距離為d，網絡最大流量負載為L，合法流量的平均負載為βL，攻擊流量平均負載為γL。當滑動窗口內含有t時間長度攻擊流量時，t×γL部分的流量源簇（按不同源IP地址統計的平均包數、平均包大小和平均包時間間隔）與D×βL部分的流量源簇有一定偏差，因此，如果計算出偏差超出一定的閥值（合法流量源簇之間偏差最大值），就能檢測出DDoS攻擊。
Fig.1 Traffic model of network DDoS attack圖1 網絡DDoS攻擊流量模型
本文定義了兩個輸入數據流：網絡流S和聚合的網絡流Sa。S表示發送到受保護網絡實體的數據包流量，其中每個包可以被看作是一個元組
3.2自適應DDoS攻擊檢測和防御框架
基于對3.1節網絡DDoS攻擊流量模型的分析，本文設計了自適應的DDoS攻擊防御系統（圖2）。檢測控制中心（detection control center，DCC）根據Sa中當前時間窗口源簇的特征與歷史數據集（historical dataset，HD）中源簇的參考特征比較，進行DDoS攻擊檢測。緩解中心（m itigation center，MC）設在輸入流S和受保護的網絡實體之間，當流量負載超過αL時就對流量進行過濾，過濾標準由DCC確定，MC的輸出流Sm是S的子集。若流量負載低于αL，則MC的輸出流Sm等于S，MC不被激活，只簡單地轉發S數據包，因為這些流量對受保護的網絡實體來說開銷很微小。DDoS攻擊防御框架將計算并聚合多個相同源IP地址的流量特征，并以源簇（srcCL）形式被保存在各個分組中。
Fig.2 Adaptive DDoS attack detection and defensesystem architecture圖2 自適應DDoS攻擊檢測和防御系統架構
給定一個受保護的實體和它的最大負載L，通過監測超過負載閥值αL時的流量檢測可能的威脅。每當應用過濾時，必須保證最大程度地將合法用戶流量轉發到受保護的網絡實體。不僅要在真正有威脅時保護主機，也要在出現合法的峰值負載（如瞬間擁塞）時保護主機。因此，在攻擊流量和由合法用戶產生的峰值流量之前，使用真實的合法流量與受害主機保持通信。防御機制必須確保流入到受保護網絡實體的惡意IPs在被檢測出之前，無法達到網絡的最大負載。其中的挑戰在于在S中使用什么樣的丟包標準，保證整體流量負載不超過L的前提下，盡可能多地轉發合法流量。為什么只有當流量超過αL時才過濾流量，有兩方面原因：一方面，本文的解決方案并不打算分析異常原因，也不區分流量峰值是否合法；另一方面，當沒有超出αL時，轉發潛在的惡意流量就使得攻擊者很難適配系統對攻擊的響應機制。3.2.1源簇分組策略
為了將DDoS攻擊流量從混合流量中區分出來，采用了分組策略（圖3），在分組前，先對D時間窗口內的流量按源地址聚簇（算法1），簡稱源簇（SourceIPs cluster, srcCLi）。統計出相同源IP地址的平均特征fi= (φi,ωi,τi)，其中φi表示每條流的平均包數目，ωi表示每條流的平均包字節數，τi表示每條流中的平均包間隔時間。算法1的第1～8行統計得到每個源地址的每條流的平均特征，第9～10行統計出并保存每個源地址的平均特征。因為DDoS攻擊數據包在一段時間內都會呈現出比較固定的特征，如固定的每秒發包數目、固定的包字節、固定的平均間隔時間。取參考點О=(Оφ,Оω,Оτ)（取特征的0.95分位點，因為在之前的研究[4]中表明，超過90%的網絡數據流都是包數較少的微型流），即可將DDoS攻擊流量集中分到某個分組中。
算法1聚簇
1. Procedure CLUSTERTING
2.srcCL←null /*源簇集合初始化*/
3.for each tuple t do /*遍歷元組*/
4.srcIP←t.srcIP /*賦值源IP地址*/
5.avgFeature←{0, 0, 0} /*初始化每個源IP
地址對應的平均特征*/
6.for each tuple tu do /*遍歷元組*/
7.if tu.srcIP equals srcIP then /*匹配相
同的源IP地址*/
8.GetFeature(tu.dstIP, tu.pktNum, tu.pktSize, tu.pktInterval) /*特征統計*/ 9.avgFeature←{avgPktNum, avgPktSize, avgPktInterval} /*賦值統計出的平均特征*/ 10.srcCL.addFeature(srcIP, avgFeature) /*插入源簇集合*/ 3.2.2檢測控制中心
檢測控制中心（DCC）接收流量Sa，屬于同一源簇的源IP地址特征結合在一起，因此每個源簇i（srcCLi）由特征表示。其中φi表示每條流的平均包數目，ωi表示每條流的平均包字節數，τi表示每條流中的平均包間隔時間。在當前窗口中的信息是指最近的數據部分，例如，φi可以表示為在剛過去一小時內，從srcCLi發送到受保護網絡實體的每條流的平均包數目。通過將源IP地址簇進行分組觀察源簇的走向，并研究各個分組中源簇數比例隨時間變化的情況。具體而言，將空間劃分成8個不同的組{G0, G1,…,G7}，并保存屬于各組的源簇數目。通過比較源簇特征和參考點О=(Оφ,Оω,Оτ)進行分組（圖3）。參考點不是固定值，它必須根據流入受保護網絡實體的流量特征計算得到，其值取保存在歷史數據集中的每個特征值的0.95分位數。之所以是0.95分位數，是因為在之前的研究[4]中表明，超過90%的網絡數據流都是包數較少的微型流。本文的這種方法，將大部分（如果3個特征之間相互獨立，則95%× 95%×95%≈85%）流向受保護網絡實體的流（在短時間周期被發送的數目較少和字節較短的包）分到了G0組。
如果新的源簇的特征預分組的數目比例與相應每個分組的數目比例的偏差超出了閥值，則認為有異常。當前流量中，屬于各分組的源簇數目用{?0,?1,…,?7}表示，相對應的各分組中的參考源簇數目用{n0,n1,…,n7}表示。使用這些量計算每個分組的當前比例和參考比例。如果參考比例與當前比例之間的差值超出給定閾值tol，將檢測出流量異常，例如，。檢測偏差閥值tol受合法流量之間統計量的最大偏差所約束，若tol過小，則造成較高的誤檢測率，若tol過大，則檢測出攻擊流量的延遲較大。因此在使用下文所述的檢測方法前，對已設定了滑動時間窗口D和滑動時間距離d的合法流量之間統計量的偏差范圍進行了不間斷的評估，以動態確定出合適的檢測偏差閥值tol。
Fig.3 Grouping strategy圖3 分組策略
3.2.3緩解中心
緩解中心（MC）能過濾掉惡意流量并極小影響合法流量而緩解攻擊。算法2給出了流向受保護網絡實體的數據包是否被丟棄的步驟和順序。第1～4行，若沒有超出受保護網絡實體的最大負載且緩解沒被激活，則數據包將被轉發。第5～6行，若減緩被激活，緩解中心必須保證讓合法流量優先轉發的同時不超過網絡的最大負載。屬于G0組流量的過濾優先讓在檢測威脅之前與受保護網絡實體的源簇通過。第7～9行，因為大部分源簇都屬于G0組，所以屬G0組的流量用布隆過濾器（bloom filter，BF）[16]過濾。另一方面，屬G1, G2,…, G7組流量的過濾優先讓頻繁與受保護網絡實體通信的源簇通過，在這種情況下，第10～11行，根據保存在白名單（acquaintance-list，AL）里的信息對每個源簇進行過濾。此外，屬于每個分組包的轉發還要由它將占用多少鏈路的負載所決定，因此每個分組的流量盡可能讓合法流量優先通過。第12～13行，那些分組未知的源簇（可能既不是攻擊也不是瞬間擁塞的流量）的數據包的轉發要依賴于是否有可用的負載。第14～15行，過濾掉不屬于以上條件的流量。
算法2過濾
1. Procedure FILTERING(InputStream)
2.srcCL←CreateCluster(InputStream) /*從輸入
流創建源簇*/
3.if exceed max load L then /*若當前流量超出網絡
最大負載*/
4.Discard（InputStream）/*進行過濾*/
5.else if m itigation is not active then /*若緩解沒被
激活*/
6.GoToEntity(InputStream) /*轉發當前流量至受保護網絡實體*/
7.else
8.if BelongToG0(srcCLi) &InBloomFilter(srcCLi) &hasAvailLoad then
9.GoToEntity(srcCLi, srcIP) /*若源簇屬G0組，在布隆過濾集合中，有可用負載，則轉發*/
10.if BelongToOtherGroup(srcCLi) & InAcquainList(srcCLi) & hasAvailLoad then
11.GoToEntity(srcCLi, srcIP) /*若源簇屬其他組，在白名單集合中，有可用負載，則轉發*/
12.if BelongToUnKnown(srcCli)
& hasAvailLoad then
13.GoToEntity(srcCLi, srcIP) /*若源簇分
組未知，有可用負載，則轉發*/
14.else
15.DisCard(srcCLi, srcIP) /*若其他情況，被過濾*/
布隆過濾器（BF）用來過濾屬于G0組源簇的數據包，這是一個空間有效的概率性數據結構，被用于檢查一個集合中是否有某個元素[16]。布隆過濾器允許新的元素加入到集合里，但元素的刪除并不是微不足道。本文將基本的布隆過濾器改進為一個基于時間戳的布隆過濾器，屬于集合的元素與時間戳相關聯，這個時間戳在被加到布隆過濾器時就被指定（基于時間的BF跟基礎的BF[16]具有相同的時間空間上的復雜性）。這樣，能保存屬于G0組一定時間周期內的源簇（本文緩解機制里的最后5 m in）。
白名單（AL）用于保存那些屬于G1, G2,…,G7組的源簇。當緩解攻擊時，每一個源簇會被指定一個被轉發的概率和比例。比起偶爾與受保護網絡實體通信的源簇數據包，那些屬于與受保護網絡實體頻繁通信的源簇的數據包將有更高的概率被轉發。
應該注意的是，無論是使用BF還是AL，人們始終不能確保流向受保護網絡實體的單一源簇不會超出鏈路的最大負載L。雖然攻擊者不了解受保護網絡實體的流量，但如果一組源地址與保存在BF和AL的有重疊，就需要一個機制確保這些流量不會讓受保護網絡實體的容量飽和。出于這個目的，根據每個分組平時正常的負載情況，為每個分組分配一個相對于最大負載的一個負載比例。
4 基于Spark Stream ing的DDoS攻擊檢測和防御架構
本文的DDoS攻擊防御框架使用了VMware集群配置，集群由兩臺浪潮英信服務器組成，每臺具體配置是英特爾Xeon?CPU E7-4820 v2 2.00 GHz處理器，32 GB DDR3內存，4 TB硬盤，每臺處理器有18個核，32個線程，安裝Linux CentOS6.5 64位系統。集群包括3個虛擬機，每個虛擬機安裝JDK/JRE v1.7版本，CDH v5.0發行版本（內含Spark v1.3.0版本和Hadoop v2.4.0版本），所有虛擬機共享硬件資源，一個控制節點，兩個計算節點。
本文的技術架構（圖4）主要由兩個組件構成，一個是消息中間件（Kafka）模塊，另一個是實時統計檢測的Spark集群。
4.1消息中間件模塊
本文通過消息中間件將Netflow協議產生的流量日志文件與Spark集群相連接，Spark可集成一些消息中間件（如Apache Kafka、RabbitMQ等），之所以選擇Kafka v3.3.4版本，是因為它可非常穩定地與Spark兼容。Kafka為消息傳輸創建了專用的隊列，以正確的順序提供有保障的消息傳輸，人們可以使用Kafka集群處理大體積的數據。
4.2實時檢測的Spark集群
Fig.4 DDoS attack detection and defense architecture based on Spark Stream ing圖4 基于Spark Stream ing的DDoS攻擊檢測和防御架構
如圖4所示，實現了一個Spark集群，流量數據以連續不斷的流通過Kafka隊列傳給Spark集群處理。流量被分割成微小的批次（DStream），對DStream進行轉換和相關的動作，通過算法3檢測出DDoS攻擊。第2～4行對流進行Map操作后將二進制流處理成字符串元組，再把元組Map成新的DStream。第5行使用了Spark Stream ing框架支持的滑動窗口對DStream進行處理。第6行對新窗口內的不同源IP地址進行聚簇。第7～9行根據源簇的分組比例計算出窗口內的統計偏差。第10～16行與檢測閥值threshold比較，通過作用于緩解中心模塊，若未超出閥值，則不過濾當前流量，直接將其流入受保護網絡實體，若超出閥值，則過濾當前流量，有選擇地將其流入受保護網絡實體。
算法3檢測新窗口數據流異常
1. Procedure DETECTING(InputDStream)
2.dtModel←InputDStream.map(Stream s){ /*對
輸入流量數據進行Map操作*/
3.tuple←ParseTuple(s) /*從流量數據中解
析出元組對象*/
4.return Map(tuple.srcIP, tuple) /*返回以源IP地址為key，與之對應元組對象為value的鍵值對并進行Map操作*/
5.}.reduceByKeyAndWindow(srcIP, [Tuple], windowLength, slidingInterval){ /*設定數據處理的時間窗口和滑動距離*/
6.srcCL←CreateCluster(srcIP) /*按源IP地址
聚簇*/
groupi) /*源簇預分組的各組比例值*/
8.ri←GetRatioOfGroup(groupi) /*已有分組
中各組源簇的比例值*/
9.d←max| ri-?i| /*計算偏差值*/
10.if d≤threshold then
11.AddToGroup(srcCLi, groupi)
12.return false /*若偏差值不超出設定的閥值，直接將源簇加入所屬分組中，并返回false */
13.else
14.AddToGroupWithFilter(srcCLi, groupi)
15.return true /*若偏差值超出設定的閥值，將源簇有過濾地加入所屬分組中，并返回true */
16.}
5 實驗
下面對自適應DDoS攻擊防御系統進行了測試和評估。如上文所述，一個有效的DDoS防御機制必須能快速地檢測攻擊，過濾掉攻擊流量，并最大限度地減少對合法用戶流量的影響。出于這個目的，用于評估的度量如下：（1）檢測時間，攻擊開始和攻擊檢測之間經過的時間；（2）緩解精度，合法用戶流量受影響的程度。
實驗的合法流量數據使用了新西蘭懷卡托大學WAND網絡研究組在2013年10月21日公開的“ISPDSL II”[17]部分數據，DDoS攻擊流量數據使用了CAIDA[18]公開的“DDoS 2007”數據。“ISPDSL II”合法流量負載在11 Mb/s至13 Mb/s，原始攻擊流量負載在500 Kb/s至600 Kb/s，本文將“DDoS 2007”攻擊流量放大到12 Mb/s至14 Mb/s后與“ISPDSL II”合法流量進行了合成。實驗采用的滑動時間窗口大小為3 600 s，滑動時間距離為300 s，合法流量數據從第900 s（第10個時間窗口）開始加入了500 s的DDoS攻擊流量數據。
5.1分組效果
在評估度量之前，先對分組策略的各分組源簇比例偏差進行了統計。該實驗使用了7個時間窗口的DDoS攻擊數據，圖5（a）描述了合法流量在各分組源簇比例偏差值，最大源簇比例偏差值低于0.004。圖5（b）描述了混合DDoS攻擊流量在各分組源簇比例偏差值，檢測閥值設為0.004，從含有DDoS攻擊流量（第10個時間窗口）的時間段內，G0、G3、G4和G6分組的源簇比例偏差值有十分明顯的上升趨勢，因此本文的分組策略對檢測DDoS攻擊流量的效果很好。
5.2檢測時間
快速檢測出流入的DDoS攻擊流量對于緩解效果至關重要。圖6表示出了當發生攻擊期間的時刻t的源簇分組比例與合法源簇分組比例之間的最大偏差(maxi|ri-?i|)。當攻擊開始時這種差異迅速增加。如果檢測得到這個最大值超過允許的范圍，那么這個異常會被檢測出來。例如：設檢測閥值為0.004，那么檢測攻擊要經過6 s的時間。
5.3緩解精度
該實驗研究BF和AL如何有效地防止非法數據轉發到受保護的實體上。為了做到這一點，在檢測到攻擊時（第906 s），系統丟棄所有不屬于BF或AL的數據包。首先測量與該MC組件轉發的合法流量，并丟棄非法流量的精度。圖7給出了合法流量與非法流量被轉發到受保護網絡實體的比例。可以注意到，在攻擊期間，合法流量被轉發的百分比約為95%。非法流量在全部轉發到受保護實體并實施攻擊前被檢測，一旦緩解被激活，約超過97%的非法流量會被丟棄。
Fig.5 Source cluster proportional deviation of legitimate traffic and mixed DDoS attack traffic in each packet圖5 合法流量及混合DDoS攻擊流量在各分組源簇比例偏差值
Fig.6 Detection time圖6 檢測時間
Fig.7 M itigation precision圖7 緩解精度
6 結束語
本文提出了基于Spark Stream ing的自適應DDoS攻擊防御框架，利用數據流實現應用的實時性要求。通過連續提取源簇的特征和保持分組的源簇數據檢測DDoS攻擊，對于合法用戶來說緩解了DDoS攻擊的影響。本文的緩解機制對瞬間擁塞問題也能起到很好的緩解作用，因為用戶的優先級與其歷史訪問次數正相關，若優先級較高則優先轉發。該系統已在彈性可擴展的Spark Streaming框架上進行了實現，實驗評估顯示，它在檢測和緩解方面都有非常好的效果。
References:
[1] Bhuyan M H, Bhattacharyya D K, Kalita J K. Network anomaly detection methods, systems and tools[J]. IEEE Communications Surveys & Tutorials, 2014, 16(1): 303-336.
[2] Dean J, Ghemawat S. Mapreduce: simplified data processing on large clusters[J]. Communications of the ACM, 2008, 51 (1): 107-113.
[3] Gulisano V, Jim enez-Peris R, Patino-M artnez M, et al. StreamCloud: a large scale data streaming system[C]//Pro-ceedings of the 2010 IEEE 30th International Conference on Distributed Computing Systems, Genova, Italy, Jun 21-25, 2010. Piscataway, USA: IEEE, 2010: 126-137.
[4] Kompella R R, Singh S, Varghese G. On scalable attack detection in the network[C]//Proceedings of the 4th ACM SIGCOMM Conference on Internet Measurement, Sicily, Italy, 2004. New York, USA:ACM, 2004: 187-200.
[5] Roesch M. Snort[EB/OL]. (2012)[2015-07-10]. http://www. snort.org/.
[6] Lakhina A, Crovella M, Diot C. M ining anomalies using trace feature distributions[C]//Proceedings of the 2005 ACM SIGCOMM Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications, Philadelphia, USA, Aug 22-26, 2005. New York, USA:ACM, 2005: 217-228.
[7] Chandola V, Banerjee A, Kumar V. Anomaly detection: a survey[J].ACM Computing Surveys, 2009, 41(3): 15.
[8] Silveira F, Diot C, Taft N, et al. Astute: detecting a different class of trace anomalies[J]. ACM SIGCOMM Computer Communication Review, 2010, 40(4): 267-278.
[9] Tang Chenghua, Liu Pengcheng, Tang Shensheng, et al. Anomaly intrusion behavior detection based on fuzzy clustering and features selection[J]. Journal of Computer Research and Development, 2015, 52(3): 718-728.
[10] Cheng Jieren, Yin Jianping, Liu Yun, et al. Detecting distributed denial of service attack based on address correlation value[J]. Journal of Computer Research and Development, 2009, 46(8): 1334-1340.
[11] Liu Yun, Cai Zhiping, Zhong Ping, et al. Detection approach of DDoS attacks based on conditional random fields[J]. Journal of Software, 2011, 22(8): 1897-1910.
[12] Krishnamurthy B, Sen S, Zhang Yin, et al. Sketch-based change detection: methods, evaluation, and applications[C]// Proceedings of the 3rd ACM SIGCOMM Conference on Internet Measurement, M iam i Beach, USA, Oct 27-29, 2003. New York, USA:ACM, 2003: 234-247.
[13] Barford P, K line J, Plonka D, et al. A signal analysis of network trace anomalies[C]//Proceedings of the 2nd ACM SIGCOMM Workshop on Internet Measurment, Marseille, France, Nov 6-8, 2002. New York, USA:ACM, 2002: 71-82.
[14] Roughan M, Griffin T, Mao Z M, et al. Combining routing and trace data for detection of IP forwarding anomalies[J]. ACM SIGMETRICS Performance Evaluation Review, 2004, 32(1): 416-417.
[15] Cai Zhiping, Wang Zhijun, Zheng Kai, et al. A distributed TCAM coprocessor architecture for integrated longest prefix matching, policy filtering, and content filtering[J]. IEEE Transactions on Computers, 2013, 62(3): 417-427.
[16] Broder A Z, M itzenmacher M. Network applications of Bloom filters: a survey[J]. Internet Mathematics, 2003, 1 (4): 485-509.
[17] WITS: Waikato Internet traffic storage, WAND network reseach group“ISPDSL II”[EB/OL]. (2013)[2015-07-10]. http://wand.net.nz/w its/.
[18] Hick P, Aben E, Clay K. The CAIDA“DDoS Attack 2007”dataset[EB/OL].（2012）[2015-07-10]. http://www.caida.org.
附中文參考文獻：
[9]唐成華,劉鵬程,湯申生,等.基于特征選擇的模糊聚類異常入侵行為檢測[J].計算機研究與發展, 2015, 52(3): 718-728.
[10]程杰仁,殷建平,劉運,等.基于地址相關度的分布式拒絕服務攻擊檢測方法[J].計算機研究與發展, 2009, 46(8): 1334-1340.
[11]劉運,蔡志平,鐘平,等.一種基于條件隨機場的DDoS攻擊檢測方法[J].軟件學報, 2011, 22(8): 1897-1910.
FANG Feng was born in 1987. He is an M.S. candidate at National University of Defense Technology. His research interests include network security and big data processing, etc.
方峰（1987—），男，安徽蒙城人，國防科技大學碩士研究生，主要研究領域為網絡安全，大數據處理等。
CAI Zhiping was born in 1975. He received the Ph.D. degree from National University of Defense Technology in 2005. Now he is a professor and M.S. supervisor at National University of Defense Technology. His research interests include network virtualization, network security, big data processing and software-defined networking, etc.
蔡志平（1975—），男，湖南益陽人，2005年于國防科技大學獲得博士學位，現為國防科技大學副教授、碩士生導師，主要研究領域為網絡虛擬化，網絡安全，大數據處理，軟件定義網絡等。
ZHAO Qijia was born in 1985. He is an M.S. candidate at National University of Defense Technology. His research interests include network security and machine learning, etc.
肇啟佳（1985—），男，吉林長春人，國防科技大學碩士研究生，主要研究領域為網絡安全，機器學習等。
LIN Jiarun was born in 1987. He is a Ph.D. candidate at National University of Defense Technology. His research interests include cloud computing security, network security and machine learning, etc.
林加潤（1987—），男，福建莆田人，國防科技大學博士研究生，主要研究領域為云計算安全，網絡安全，機器學習等。
ZHU M ing was born in 1986. He is a Ph.D. candidate at National University of Defense Technology. His research interests include w ireless networks, network virtualization and software-defined networking, etc.
朱明（1986—），男，吉林長春人，國防科技大學博士研究生，主要研究領域為無線網絡，網絡虛擬化，軟件定義網絡等。
Abstract:Distributed denial of service (DDoS) attack is an important security threat, the constant improvement of network speed to the traditional detection methods has brought new challenges. Represented by Spark and so on, the big data processing technology brings new opportunity to the completion of high-speed safety detection. This paper proposes an adaptive technique for real-time DDoS detection and defense using Spark Stream ing framework. Based on source cluster grouping in sliding w indows, and the deviation of proportionate to the source cluster of groups, this paper detects out the DDoS attack traffic trace, and realizes the adaptive rapid and precise detection of DDoS attacks through sensing legitimate network traffic. The experimental results show that the technique can greatly improve detection capabilities, in order to ensure the security of network service performance and the extensibility of detection, this paper provides a feasible solution.
Key words:DDoS detection; DDoS defense; real-time detection; adaptive detection; Spark Stream ing
Adaptive Technique for Real-Time DDoS Detection and Defense Using Spark Stream ing?
FANG Feng, CAI Zhiping+, ZHAO Qijia, LIN Jiarun, ZHU M ing
College of Computer Science, National University of Defense Technology, Changsha 410073, China + Corresponding author: E-mail: zpcai@nudt.edu.cn
doi:10.3778/j.issn.1673-9418.1507073
文獻標志碼：A
中圖分類號：TP393
