基于通信相似度的僵尸網絡節點檢測方法

金渝筌，謝彬，朱毅

?

基于通信相似度的僵尸網絡節點檢測方法

金渝筌1,2，謝彬1，朱毅2

（1. 中國工程物理研究院電子工程研究所，四川 綿陽 621900； 2. 四川大學，四川 成都 610065）

目前，僵尸網絡檢測方法大多依靠對僵尸網絡通信活動或通信內容的分析，前者對數據流的特征進行統計分析，不涉及數據流中的內容，在檢測加密類型方面具有較強優勢，但準確性較低；后者依賴先驗知識進行檢測，具有較強的準確度，但檢測的通用性較低。因此，根據杰卡德相似度系數定義了通信相似度，并提出了一種基于用戶請求域名系統（DNS，domain name system）的通信相似度計算方法，用于基于網絡流量的僵尸網絡節點檢測。最后，基于Spark框架對所提出的方法進行了實驗驗證，實驗結果表明該方法可以有效地用于僵尸網絡節點檢測。

僵尸網絡；相似度檢測；DNS流量檢測；網絡安全

1 引言

自僵尸網絡1993年被首次提出至今已經過了很長時間，但是攻擊者不斷更新僵尸網絡的隱藏、逃匿、加密等技術，致使研究人員對僵尸網絡的探索從未停止。僵尸網絡使攻擊者擁有了一個攻擊平臺，利用這個平臺攻擊者可以發起各類攻擊從而造成各類安全問題：①發起分布式拒絕服務攻擊（DDoS，distributed denial of service），相比拒絕服務攻擊，使用僵尸網絡發起分布式拒絕服務攻擊更具威脅，如Mirai僵尸網絡造成了“美國斷網”事件；②發送垃圾郵件，如Rustock僵尸網絡，其每天可發送近300億垃圾郵件；③竊取資源，僵尸網絡可以從僵尸主機中竊取包括個人信息、敏感數據、計算資源等各類網絡資源；④惡意軟件發布，僵尸網絡可以用作惡意軟件的發布平臺，如著名的Zeus[1]就是惡意軟件的發布平臺。目前，越來越多的攻擊者利用僵尸網絡進行各種惡意攻擊，僵尸網絡的檢測已成為網絡安全研究人員所關注的重點之一，研究僵尸網絡檢測技術對于學術和工程實踐均具有重要意義。

本文針對僵尸網絡的通信特點，根據杰卡德相似度系數（Jaccard系數）定義了通信相似度，并對DNS通信數據進行分析，提出了基于用戶請求DNS的通信相似度的僵尸網絡檢測方法。且通過實驗驗證了該方法能夠有效地用于僵尸網絡節點的檢測。

2 相關研究

學者在研究僵尸網絡的過程中對其定義略有不同，方濱興等[2]認為僵尸網絡是一種通過入侵網絡空間內若干非合作用戶終端構建的、可被攻擊者遠程控制的通用計算平臺；諸葛建偉等[3]認為僵尸網絡是攻擊者出于惡意目的，傳播僵尸程序控制大量主機，并通過一對多的命令與控制信道所組成的網絡；Hoque等[4]認為僵尸網絡是指一系列由惡意實體控制感染了惡意軟件的主機實體。從整體而言，僵尸網絡由3個部分組成：僵尸主機（Bots）、攻擊者（Botmaster）以及遠程控制方法。僵尸主機是指對于被入侵事件并不知情的僵尸網絡受控主機。攻擊者是指對僵尸網絡具有實際操控權的控制者。遠程控制方法即命令與控制（C&C，command and control）信道，是指攻擊者用來對僵尸主機發布命令的方法。僵尸網絡起源于幫助IRC網絡聊天室的管理員高效管理網絡的程序“Eggdrop”[5]，而1998年出現的GTBot則是第一個惡意僵尸網絡。時至今日依然有部分僵尸網絡使用IRC協議進行通信，如Chuck Norris、LightAidra、Tsunami等[6]。

僵尸網絡檢測技術是為了發現僵尸網絡的存在，并且檢測出其中部分僵尸主機節點[2]。目前，僵尸網絡檢測技術主要分為5種類型：基于蜜網進行捕獲分析、基于通信內容的僵尸網絡檢測、基于異常行為的僵尸網絡檢測、基于安全設備日志的僵尸網絡檢測以及基于網絡流量分析的僵尸網絡檢測。

基于通信內容的僵尸網絡檢測是指通過深度報文識別（DPI，deep packet inspect）等技術使用預先設置的特征碼進行正則匹配或規則匹配，從而發現僵尸網絡。該方法常用于各大廠商（如Cisco、華為、深信服等）的防火墻等安全設備中，其檢測效率高、精度準，但是需要維護龐大的僵尸網絡特征庫并實時更新，對新出現的僵尸網絡檢測效果較差。

基于異常行為的僵尸網絡檢測是指通過識別網絡中主機的異常通信行為對僵尸網絡進行檢測的方法。北京郵電大學的王新良提出了一種基于指紋特征自提取的僵尸網絡檢測方法，并結合僵尸網絡流統計特征和僵尸網絡行為特征對僵尸網絡進行檢測，大幅度提升了僵尸網絡檢測率。Zeidanloo等[7]基于同一個僵尸網絡的數據分組具有一些相同的特征這一判斷，對數據分組的主機地址、端口號、數目等特征進行了分析，然后通過比較計算得到僵尸網絡流量的相似性并以此進行檢測?；诋惓Ｐ袨榈慕┦W絡檢測由于需要對攻擊行為進行預先研究和分析，不適用于檢測新型僵尸網絡。

基于安全設備日志的僵尸網絡檢測是指通過郵件網關日志、防火墻日志等安全設備日志分析，建立安全事件與僵尸網絡之間的關聯，從而對僵尸網絡進行檢測。Gu等[8]基于同一局域網中Bots網絡行為在時空上的關聯性假設，結合掃描、二進制文件下載、spam等異常事件日志進行關聯分析，提出了IRC、HTTP流量中僵尸網絡的識別方法。鄧國強[9]提出了一種郵件行為異常和郵件內容相似性匹配相結合的僵尸網絡檢測方法，該方法不僅可以發現多個具有一定規模的僵尸網絡，還能用于垃圾郵件檢測。

基于網絡流量分析的僵尸網絡檢測是通過網絡流量分析，檢測網絡中是否存在僵尸網絡C&C通信，并通過C&C信道的檢測和分析定位僵尸主機，發現僵尸網絡。Narang等[10]基于正常P2P通信成員與僵尸網絡P2P通信成員之間特征不同，提出了一種對網絡會話進行統計分析的檢測僵尸網絡的方法。此方法可以對加密的僵尸網絡進行檢測，但因其忽略了大量信息，對于一些隱蔽性較強的僵尸網絡檢測率不高。張維維等[11]從域名的依賴性和使用位置兩方面刻畫DNS活動行為模式，并基于有監督的多分類器模型提出了一種DAOS算法，該算法可以有效地檢測僵尸網絡、釣魚網站以及垃圾郵件等惡意活動。

在上述僵尸網絡檢測方法中，網絡流量分析方法是一種非侵入式方法，以旁路方式部署在小型網絡邊界及骨干網上，既可以細粒度地監測特定用戶網絡，又可以并發檢測僵尸網絡，是當前主流的僵尸網絡檢測方法之一，也是本文用于研究僵尸網絡節點檢測的方法。

3 基于通信相似度的僵尸網絡節點檢測

本節首先簡要介紹了僵尸網絡結構、杰卡德相似系數等概念；然后基于杰卡德相似度系數定義了通信相似度，并提出了用于僵尸網絡節點檢測的基于DNS流量的檢測方法；最后基于Spark框架對提出的僵尸網絡節點檢測方法進行了實現和驗證。

3.1 相關概念

3.1.1 僵尸網絡結構

目前在僵尸網絡研究中，其結構主要分為3種模式：集中模式、純P2P模式以及混合模式，如圖1所示。

圖1 僵尸網絡結構

集中模式采用客戶端–服務器（C/S）模式，在該模式中所有的僵尸主機與控制服務器連接獲取控制命令，如圖1(a)所示。在純P2P模式中每個僵尸主機既充當僵尸程序的客戶端也充當僵尸網絡的服務器，如圖1(b)所示?；旌夏Ｊ降慕┦W絡結構將僵尸網絡分為多層，既具有專門的控制服務器又使用僵尸主機作為客戶端和服務器，如圖1(c)所示。其中，使用分層結構混合模式的僵尸主機為本文檢測內容。

3.1.2 杰卡德相似度系數

那么，集合、的杰卡德相似度系數可以表示為

集合、的杰卡德距離可以表示為

3.2 僵尸網絡節點通信相似度定義

僵尸網絡中的僵尸主機節點在產生共同活動（如DDoS攻擊、垃圾郵件發送等）時，其節點會產生共同或類似的網絡通信行為，基于此提出了使用僵尸網絡節點通信相似度對僵尸網絡進行檢測的方法。由于主機在通信過程中大多情況下使用DNS服務，因此本文的通信相似度檢測基于DNS流量進行，即通信相似度是指客戶機在DNS服務中請求域名的相似度。

本文中僵尸網絡節點通信相似度定義如下。

3.3 基于通信相似度的計算方法

由于杰卡德相似度系數不考慮用戶評分的影響，本文僅計算符號度量或布爾值度量的個體間的相似度，對杰卡德相似度系數的計算進行了修改以適應僵尸網絡節點通信相似度的計算。

僵尸網絡節點相似度計算方式如下。

3.4 基于Spark的計算方法實現

本文使用Spark實現僵尸網絡節點的通信相似度計算，其計算流程如圖2所示。首先從DNS流量中獲取所需信息，包括客戶端IP、請求域名以及請求域名次數；然后將提取的信息以客戶端IP為主要鍵值進行笛卡爾積計算形成客戶端與集合的數據集，接著分別計算每對節點的通信相似度；最后過濾出節點通信相似度大于0.9的IP對作為最終輸出結果。

圖2 節點通信相似度計算流程

在僵尸網絡節點相似度計算過程中，計算量往往較大，而且在計算過程中會使用笛卡爾積進行數據關聯操作，這會使計算數據以平方倍數增加，造成無法計算或計算時間過長的問題。針對該問題，本文對僵尸網絡節點相似度在Spark中的計算流程進行優化，使計算時間下降到可計算范圍內。優化后的節點通信相似度計算流程如圖3所示。

算法實現的具體步驟如下。

步驟1 讀取DNS流量。

步驟2 提取DNS流量中的有效信息，包括客戶端IP、請求域名、客戶端請求域名次數以及客戶端請求DNS次數。

步驟3 根據客戶端請求DNS次數的對數結果將數據進行分塊。

步驟4 對每一個分塊計算其自身以及相鄰分塊的笛卡爾積。

步驟5 對步驟4的計算結果求取相似度。

步驟6 獲取相似度不小于0.9的數據計算結果，并將所有計算結果進行union操作。

步驟7 輸出最終計算結果，節點通信相似度計算完畢。

本文主要考慮通過IP請求DNS的次數對數據進行分割，以減少進行笛卡爾積計算后數據的增量。本文中的節點通信相似度計算在杰卡德相似度系數計算基礎上充分考慮了用戶的評分情況，其計算結果與用戶使用DNS的次數呈正相關，當用戶使用次數具有較大差異時，其節點通信相似度不可能較大?；诖耍矰NS服務器在2017年2月1日至2月10日對用戶請求分布進行了統計，統計結果如圖4所示。

圖3 基于Spark的通信相似度計算實現流程

圖4 IP請求次數與IP平均數分布

由圖4可以看出，IP請求DNS服務次數與IP數目呈現明顯的冪律分布，因此本文采用IP請求次數的對數進行數據分割。再使用分割后的數據集求取其自身與相鄰分割模塊的笛卡爾積，然后計算其相似度并按照相似度大于0.9的條件對處理數據進行篩選，最后將處理結果進行union操作，輸出最終的節點通信相似度檢測結果。

3.5 計算方法有效性驗證

3.5.1 實驗數據說明

本文中所有數據采集、實驗過程，以及使用的DNS流量數據均基于網絡業務與安全態勢大數據分析平臺[13]。該平臺部署了Hadoop實現對網絡流量的大規模存儲，同時通過Spark、MapReduce等計算框架實現網絡安全大數據分析。對于數據存儲主要使用HDFS、Hive、MySQL等存儲組件，其中，HDFS和Hive負責大規模數據的分布式存儲，MySQL用于存儲平臺分析結果和少量分析配置信息。

3.5.2 節點通信相似度有效性驗證實驗

1) 實驗數據集

為了驗證算法的有效性，本文使用2017年3月21日的DNS流量數據進行計算，網絡業務與安全態勢大數據分析平臺顯示當日數據出現了小規模的DNS異常請求，其為DDoS攻擊事件。在當日數據中發現有24個IP在DNS請求上具有極強的通信相似性，如圖5所示，圖中24個IP大量訪問部分域名，且訪問內容具有很強的相似度。此次攻擊與本文提出的僵尸網絡節點通信的相似度非常相似。

圖5 2017年3月21日疑似DDoS攻擊事件

2017年3月21日的DNS流量數據規模如表1所示。

表1 節點通信相似度有效性驗證數據規模

2) 實驗結果與分析

根據本文提出的節點通信相似度算法，對2017年3月21日的DNS流量進行統計，并以IP為點，相似度不小于0.9為邊建立關系圖，如圖6所示。圖中圈內為24個根據網絡業務與安全態勢大數據分析平臺找出的DDoS攻擊IP，即僵尸網絡節點。

圖6 節點相似度關系

由此，通過本文提出的節點通信相似度算法可以檢測出僵尸網絡。此外，圈外還存在大量IP相似關系，經分析其行為與24個事先找出的IP行為十分相似，但訪問量低，非DDoS攻擊，即非僵尸網絡節點。綜上，本文提出的節點通信相似度算法是一種有效的僵尸網絡節點檢測方法。

3.5.3 優化算法有效性驗證實驗

1) 實驗數據與環境

為了驗證優化算法的有效性，本文使用2017年3月21日的DNS流量數據進行計算，其數據規模如表1所示。為進行算法優化先后的對比，需要保證優化前后算法運行環境的一致性，因此本實驗中對Spark程序的運行環境進行了限定，具體配置如表2所示。

表2 Spark程序運行環境

2) 評價標準

3) 實驗結果與分析

根據本文提出的節點相似度算法及其優化算法，分別對2017年3月21日DNS流量進行統計，其時間消耗如圖7所示，根據式(6)計算可得其算法速度提升率為1756.60%，因此，本文提出的優化方案大大降低了算法時間消耗。

圖7 計算時間消耗

對于Spark shuffle消耗，本實驗也做了相關統計，其結果如圖8所示，根據式(7)計算得出shuffle減少率為83.33%，因此，本文提出的優化方案大大降低了在Spark計算中的shuffle消耗。綜上所述，本文提出的僵尸網絡節點相似度優化算法是有效的。

圖8 shuffle消耗量

4 結束語

本文根據杰卡德相似度系數定義了通信相似度，并提出了一種基于用戶DNS流量請求的通信相似度計算方法，用于僵尸網絡節點檢測。該方法基于Spark框架進行了實現，并基于網絡業務與安全態勢大數據分析平臺的網絡流量監控數據進行了驗證，驗證結果表明該方法可以有效地用于僵尸網絡節點的檢測。

本文中對節點通信相似度的計算以及拓撲結構分析過程，由于數據量龐大、特征時間跨度較大以及算法未能分布式實現等問題，僅對單日的數據進行檢測與發現。對于威脅性更大、處于爆發階段的僵尸網絡需要在盡量短的時間內實現其檢測和發現，因此，未來將針對算法和特征進一步實現優化，使其可以分布式、實時地對僵尸網絡進行檢測。

[1] FALLIERE N, CHIEN E. Zeus: king of the bots, 2009[EB/OL]. http://www. symantec. com/content/en/us/ enterprise/ media/ security_ response/whitepapers/zeus_king_of_bots. pdf. 2014: 07-30.

[2] 方濱興, 崔翔, 王威. 僵尸網絡綜述[J]. 計算機研究與發展, 2011, 48(8): 1315-1331

FANG B X, CUI X, WANG W. Survey of botnets[J]. Journal of Computer Research and Development, 2011, 48(8): 1315-1331..

[3] 諸葛建偉, 韓心慧, 周勇林, 等. 僵尸網絡研究[J]. 軟件學報, 2008, 19(3): 702-715

ZHUGE J W, HAN X H,ZHOU Y L, et al. Research and Development of Botnets[J]. Journal of Software, 2008, 19(3): 702-715

[4] HOQUE N, BHATTACHaryya D K, KALITA J K. Botnet in DDoS attacks: trends and challenges[J]. IEEE Communications Surveys & Tutorials, 2015, 17(4):2242-2270.

[5] IRC Eggdrop: open source bot[EB/OL]. http://www.eggheads.org/, 1993.

[6] 李可. 基于行為分析的僵尸網絡對抗技術研究[D]. 北京郵電大學, 2017.

LI K. Research on botnet countermeasure technology based on behavior analusis[D]of Posts and Telecommunications, 2017.

[7] ZEIDANLOO H R, MANAF A B A. Botnet detection by monitoring similar communication patterns[J]. International Journal of Computer Science & Information Security, 2010, 7(3): 88-96.

[8] GU G, ZHANG J, LEE W. BotSniffer: detecting botnet command and control channels in network traffic[J]. Computer Science and Engineering, 2008.

[9] 鄧國強. Spamming botnet網絡行為分析及檢測算法設計與實現[D].華中科技大學, 2013.

DENG G Q. Network behavior analysis of the spamming botnet and the design and implementation of spamming botnet detection algorithms[D]. Huazhong University of Science and Technology, 2013

[10] NARANG P, RAY S, HOTA C, et al. PeerShark: detecting peer-to-peer botnets by tracking conversations[J]. Medical & Biological Engineering & Computing, 2014, 51(10):1105-1119.

[11] 張維維, 龔儉, 劉尚東, 等. 面向主干網的DNS流量監測[J]. 軟件學報, 2017, 28(9): 2370-2387.

ZHANG W W, GONG J, LIU S D，et al. DNS surveillance on backbone[J]. Journal of Software, 2017, 28(9): 2370-2387

[12] 嵇威華, 呂國芳. 基于廣義Jaccard系數處理沖突證據方法[J]. 控制工程, 2015(1): 98-101.

JI W H, LV G F. Conflicting evidence combination method based on generalized Jaccard coefficient[J]. Control Engineering of China, 2015(1): 98-101

[13] 王煜驄, 陳興蜀, 羅永剛, 等. NTCI-Flow:一種可擴展的高速網絡流量處理框架[J]. 四川大學學報(工程科學版), 2017(s1): 168-174.

WANGY C, CHEN X S, LUOY G, et al. NTCI-Flow: a scalable high-speed network traffic processing framework[J]. Journal Sichuan University (Adanced Engineering Sciences) 2017(s1): 168-174.

Method of botnet network nodes detection base on communication similarity

JIN Yuquan1,2, XIE Bin1, ZHU Yi2

1. Institute of Electronic Engineering in China Academy of Engineering Physics, Mianyang 621900, China 2. Sichuan University, Chengdu 610065, China

At present, the botnet detection method mostly relies on the analysis of the network communication activity or the communication content. The former carries on the statistical analysis to the characteristic of the data flow, does not involve the content in the data flow, has the strong superiority in the detection encryption type aspect, but the accuracy is low. The latter relies on the prior knowledge to examine, has the strong accuracy, but the generality of detection is low. The communication similarity was defined according to Jaccard similarity coefficient, and a method of calculating communication similarity based on user request DNS (domain name system) was proposed, which was used for botnet node detection based on network traffic. Finally, based on the spark framework, the experimental results show that the proposed method can be used in the detection of botnet nodes effectively.

botnet, similarity detection, DNS flow detection, network security

TP393

A

10.11959/j.issn.2096-109x.2018078

金渝筌（1979-），男，四川三臺人，碩士，中國工程物理研究院電子工程研究所工程師，主要研究方向為網絡安全和應用軟件安全。

謝彬（1966-），女，四川安岳人，碩士，中國工程物理研究院電子工程研究所高級工程師，主要研究方向為信息安全、軟件安全、安全保密測評。

朱毅（1991-），男，四川內江人，四川大學碩士生，主要研究方向為網絡安全、大數據分析。

2018-09-17；

2018-09-30

謝彬，jinfire@qq.com