面向網絡大數據的安全分析技術應用

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

面向網絡大數據的安全分析技術應用

汪來富，金華敏，劉東鑫，王帥

（中國電信股份有限公司廣州研究院，廣東 廣州 510630）

大數據分析技術的蓬勃發展，給安全行業帶來了許多新的思路和發展機遇。從電信運營商視角，深入解析了面向Netflow、DPI、DNS等網絡大數據資源的大數據安全分析平臺的架構、技術實現機制等，并介紹了大數據安全分析產品的相關功能和應用場景。

大數據；安全分析；攻擊檢測

1 引言

在當前萬物互聯的時代，各類信息應用日益豐富，與安全相關的各類數據呈指數級增長趨勢，數據來源豐富、內容更為多維、種類繁多。而具有目標性強、長期潛伏滲透特性的APT（advanced persistent threat，高級持續性威脅）攻擊更是讓傳統的安全分析技術防不勝防。因此，在當前不斷發展的安全形勢下，傳統的基于特征匹配的安全防護技術難以起效，各類安全威脅更具殺傷力和逃避力。在此背景下，數據驅動安全已逐漸成為業界共識，而大數據技術的出現，則為其落地和發展奠定了技術基礎。

大數據技術可實現大容量、低成本、高效率的數據分析能力，滿足海量安全信息的處理和分析需求，將大數據技術應用于網絡安全分析領域已日趨成熟，由此催生了大數據安全分析產業的快速崛起，并對網絡安全技術發展帶來深遠的影響。大數據安全分析技術是指將大數據技術應用到網絡和信息安全領域，通過采集、存儲、挖掘和分析流量、日志、事件等與安全相關的各類網絡行為數據，從更高視角、更廣維度上發現異常、捕獲威脅，實現對異常行為、未知威脅的早期檢測和快速發現。與傳統安全分析技術相比，大數據安全分析技術具有以下兩個重要特征。

· 基于海量異構數據存儲與快速計算處理能力，可拓展安全分析與監控數據源的廣度和深度，有助于發掘更為隱蔽的安全威脅。

· 可在更長時間窗口內對多維度數據進行深度回溯和關聯分析，有助于快速發現異常行為或未知安全威脅。

2 大數據安全分析應用

從應用主體的維度來劃分，目前積極引入大數據安全分析技術的主力軍包括互聯網安全公司、傳統安全廠商和電信運營商，因安全理念、原有產品體系以及對業務流、系統數據、日志等資源掌控能力的不同，其應用重點和技術實現也存在較大差異。

2.1 互聯網安全公司

新興互聯網安全公司不受傳統產品線的束縛，主要將大數據技術應用于威脅發現領域，在云端通過多緯度跨域分析、深度數據挖掘和人工智能技術對海量數據進行深度分析，以實時獲取未知安全威脅的發展動態，通過構建完善的威脅特征庫，提供對未知安全威脅的解決方案?；ヂ摼W安全公司基于其擁有的海量樣本庫、日志以及與各類惡意行為相關的漏洞、網址、域名等信息，可以支持未知威脅發現所需的存儲、搜索、挖掘、機器學習等資源。互聯網安全公司一般將大數據安全分析平臺作為基礎安全能力平臺，一方面為其他產品提供基礎安全能力，另一方面也面向對APT攻擊敏感的企業客戶以及有特殊安全需求的政府機構或相關單位進行定制開發，以滿足其個性化的高等級安全需求。

2.2 傳統安全廠商

傳統安全廠商，尤其是SIEM/SOC廠商，引入大數據安全分析技術的初衷是因其傳統的集中化安全分析平臺在處理、分析海量異構數據存在性能瓶頸，傳統的基于規則和特征的分析引擎在未知安全威脅面前無能為力，因此其主要應用大數據安全分析技術對SIEM/SOC進行改造和重塑，側重于提升SIEM/SOC安全分析平臺的分析處理能力，以提供更具競爭力的整體安全解決方案。在技術實現上，傳統安全廠商主要利用大數據的海量信息采集和處理能力，實現對海量異構數據的準實時分析、各類安全事件的快速回溯和取證以對安全報表的快速統計、查詢和可視化呈現等。

2.3 電信運營商

電信網絡作為關乎國計民生的基礎通信設施，其自身安全保障及安全能力建設是國家網絡空間安全戰略的重要環節。在網絡安全能力體系中，安全風險的快速檢測和早期預警是提升基礎通信設施安全防護水平的關鍵要素。隨著網絡應用的全社會化滲透，網絡安全分析的數據規模將不斷增大、數據來源也日益豐富，重點業務、關鍵網絡節點更提出了實時性防護要求，而傳統安全分析方法難以滿足新形勢下提出的安全檢測需求，大數據安全分析技術則為解決這些問題提供了有利契機。

在電信運營商領域，數以億計的客戶量決定了其龐大的網絡規模和不斷拓展并日益復雜的業務系統，由此帶來的是海量、異構、多變、低密度價值的網絡大數據，其擁有全網Netflow、重要鏈路DPI、DNS數據等重要的網絡大數據資源，在開展大數據安全分析服務方面具有先天優勢。引入大數據安全分析技術，保障電信網絡運營安全，開拓新興大數據安全分析和安全檢測業務，是電信運營商健全網絡安全防護能力、提升網絡核心價值的必備選擇。鑒于上述原因，電信運營商積極開展大數據安全分析技術研發實踐，融聚大網多維安全數據資源，以期將豐富的網絡大數據資源轉化為強大的安全服務能力。

本文基于電信運營商視角，提出面向網絡大數據的大數據安全分析平臺，系統地闡述該平臺的技術架構和主要功能模塊技術實現機制，并簡要分析基于該平臺的大數據安全分析產品業務功能與應用前景。

3 大數據安全分析平臺架構

該平臺采用基于Hadoop平臺的分布式存儲與計算框架，實現對現網各類安全大數據的融合關聯分析與可視化展示，通過建模分析 DDoS攻擊、僵尸網絡/惡意域名、Web攻擊等安全事件及數據間的關聯關系；實現對網絡安全狀況的深度感知，為企業用戶提供網絡安全分析及預警服務，并為網絡運營管理提供可視化的安全分析工具及分析報表。

該平臺采用分層架構，自下而上分為 4層，依次是數據采集層、數據存儲層、數據計算分析層和數據呈現層，具體架構如圖1所示。

圖1 大數據安全分析平臺技術架構

平臺采集的數據源包括Netflow、DPI、DNS等多維大網數據，同時支持以 Flume/syslog等方式采集的客戶端數據。數據采集層主要完成數據的泛化處理和標準化處理，然后進入數據存儲層。數據計算層是平臺的核心能力模塊，按功能維度分為攻擊溯源分析模塊、僵尸網絡/惡意域名分析模塊、Web安全分析模塊和客戶安全分析模塊。數據呈現層主要完成分析結果的可視化呈現，分為管理門戶和客戶門戶，其中管理門戶主要為后臺運維人員提供安全分析視圖、可視化的安全分析手段和數據鉆取工具；客戶門戶則是大數據安全分析產品的載體，客戶通過登錄自服務門戶查看自身安全狀況、安全事件等各類數據報表。

同時，平臺基于上述各安全分析模塊，可輸出“肉雞”/疑似“肉雞”、CC控制端/疑似CC控制端、惡意URL等數據分析結果，構建現網第一手威脅情報庫資源，并可進行持續滾動分析和動態更新。

3.1 攻擊溯源模塊

攻擊溯源模塊實現的主要功能是對現網各類DDoS攻擊進行深度挖掘、精細化分析和可視化呈現，功能框架如圖2所示。其實現機制是通過采集大網路由器層面的Netflow數據和DDoS攻擊事件等數據信息，結合網絡拓撲信息、路由器接口信息等數據，通過數據關聯和統計分析，實現對DDoS攻擊流量的深度分析、精準溯源和可視化回溯。

該模塊根據流量分析系統檢測以及系統自身分析發現攻擊，結合采集存儲原始Netflow流量信息、路由器端口信息、路由拓撲信息、城域網 IP地址庫等多維參數進行關聯分析，通過基于多元廣度遍歷算法，快速全景回溯攻擊流量穿越路徑及流量分布特征，可對互聯網發生的網絡攻擊進行實時監測、溯源及攻擊路徑重演，解決了偽地址攻擊溯源難題，并大幅提升攻擊溯源分析效率，具體方案如圖3所示。該技術方案監控范圍大、智能性高、靈活快速，不需過多人工參與分析攻擊源和攻擊路徑，能夠在攻擊發起初期就進行攻擊發現和抑制，不但能直觀顯示攻擊源，而且可對攻擊流量穿行路徑進行可視化分析，有效提升DDoS攻擊應急響應處理效率。

圖2 攻擊溯源模塊功能框架

圖3 流量攻擊路徑回溯流程

3.2 僵尸網絡/惡意域名分析模塊

從Zeus、Cutwail等著名僵尸網絡的例子來看，一個大型僵尸網絡的構建往往代價不菲，并且需要一定的時間。在僵尸網絡生命周期的 “傳播—感染—加入—受控—攻擊”等階段，幾乎都存在CC控制端和“肉雞”的交互行為。在數據驅動安全的理念下，只要有一個保持及時更新、惡意IP地址/域名足夠豐富的安全威脅情報庫，就可對僵尸網絡做有效的檢測和控制。

在本系統中，僵尸網絡的檢測分析包括定位CC控制端的IP地址、發現CC控制端所使用的域名和定位“肉雞”的 IP地址。首先，從已部署的“僵木蠕檢”測系統、攻擊溯源系統和移動互聯網惡意程序監控系統等安全系統中歸并生成相關的惡意IP地址、惡意域名等安全情報；進一步地，在監控鏈路中部署DPI系統、采集Netflow數據流；最后，根據已生成的安全情報信息對DPI日志、Netflow數據流進行關聯匹配，可以檢測得到“肉雞”和疑似“肉雞”的IP地址列表。僵尸網絡檢測分析處理流程如圖4所示。

圖4 僵尸網絡檢測分析處理流程

其中，在IP地址或域名匹配檢測中，當一個Netflow數據流中發現與CC控制端IP地址通信的流量，如果在一定的時間窗口（例如30 min）內，Netflow條數大于一定閾值N，則Netflow里的另一個IP地址可以判斷為存活“肉雞”；如果Netflow條數小于閾值N而落在一個區間[M，N)，則Netflow里的另一個IP地址可以判斷為疑似“肉雞”。值得注意的是，閾值N可以根據統計結果做設置，降低運維人員工作負擔。相比之下，如果在一個Netflow數據流中發現“肉雞”的 IP地址，但是另一個 IP地址既不是已知的“肉雞”，也不是CC控制端，那么對于這個IP地址的判斷應結合后續的DNS等數據做進一步分析。

DNS數據分析已經成為僵尸網絡檢測的重要入口。為了躲避追蹤、延長生命周期，大部分僵尸網絡會采用fast-flux技術，頻繁變換IP地址，而僵尸網絡內部的通信可通過DNS查詢，獲取到最新、及時、有效的IP地址。這些關鍵網絡行為特征總結如下。

· 域名頻繁變換IP地址。

· 所頻繁變換的IP地址地理歸屬地差異較大。

· 域名服務器有多個IP地址，且跨多個ASN。

·whois信息不完整。

·域名的注冊E-mail地址曾經以惡意域名注冊人出

現過。

· 域名通常較長并且字符隨機。

基于以上關鍵特征定義，可以對DNS流量日志做挖掘分析，得到惡意域名、惡意IP地址等安全情報。依據DNS流量日志的分析結果，對僵尸網絡檢測分析中需要進一步分析的 Netflow數據，提取與“肉雞”通信的IP地址，可以在DNS流量日志中做進一步的匹配分析，以確定該IP地址是否為CC控制端或者其他“肉雞”。

3.3 Web安全分析模塊

Web安全模塊的主要功能是對針對Web網站的攻擊行為進行檢測和統計分析。其實現機制是通過采集DPI數據，分離出HTTP會話文件，將文件數據通過元數據提取、數據分析、數據挖掘及事件呈現在具體檢測方法上，主要通過行為特征庫的匹配和Web入侵規則檢測，基于正則表達式等方式，實現對各類Web攻擊行為的檢測和識別，并進行可視化呈現。

下面以XSS攻擊檢測為例闡述其具體實現機制。首先XSS跨站腳本攻擊監測模塊從數據倉庫中提取元數據，對元數據的內容進行抽取、解析，從中獲得待監測Web系統的URL，并對其進行提取和還原；然后再結合XSS跨站腳本規則庫去比對和發現該Web系統中的XSS跨站腳本漏洞；最終將所獲得的XSS跨站腳本攻擊分析結果隊列存儲到內存數據庫中。此外，還需要結合如圖5所示的控制流圖（CFG圖）對URL頁面進行靜態分析檢測，獲知并保存當前URL頁面所有存在的XSS漏洞位置信息，為下一步識別XSS跨站腳本有效攻擊做準備。

對于XSS跨站腳本攻擊同樣也需要區別有效攻擊和一般攻擊。首先比較當前URL的XSS注入點和之前通過源碼靜態檢測得到的該URL頁面的XSS漏洞注入點，如果其XSS漏洞的注入點位置相同，則判定為一次有效的XSS跨站腳本有效攻擊。然后再檢測返回的響應報文，根據返回的響應報文反饋信息判斷是否有注入點不相同的XSS漏洞攻擊成功，若成功，則對應的XSS跨站腳本攻擊也是一次有效的攻擊。

3.4 用戶安全模塊

圖5 XSS跨站腳本攻擊監測分析流程

客戶關聯分析模塊的主要功能是從大數據安全分析平臺中分析、提取與客戶資產相關的各類安全事件、網絡行為日志和相關安全數據，其主要機制是將客戶資產信息以及各類網絡行為信息和平臺分析出來的各類安全事件、分析結果和知識庫進行自動關聯和自動匹配，從而為用戶安全狀況分析和安全報表提供原始的數據資源。

該功能模塊需要基于客戶的監控 IP地址、站點域名、報表查詢條件等數據，從DDoS攻擊統計數據、Web應用層安全數據、“肉雞”統計、CC控制端統計等分析結果數據以及DDoS攻擊事件、僵木蠕事件、惡意程序事件等原始事件數據中統計與客戶相關的安全事件信息。例如，以客戶IP地址為索引，從平臺分析結果中檢索其是否為“肉雞”或CC，是否發起過DDoS攻擊，攻擊時間段和攻擊流量大小以及從原始流數據中檢索其是否訪問過惡意URL等。這些匹配的數據都將作為客戶安全狀況分析和安全報表具體的數據來源。

綜上所述，該平臺通過融聚電信大網數據資源與客戶數據，基于大數據技術進行存儲、挖掘與可視化展示，實現安全態勢分析、安全威脅與異常檢測等基礎安全能力，并通過構建威脅情報庫等方式，實現安全能力開放。

4 面向SME的大數據安全分析產品

當前以FireEye公司Threat Analytics Platform等為代表的大數據安全分析產品，主要面向政府、金融等高端目標客戶，分析的數據源以客戶自身網絡側的流量數據、日志數據為主，側重于APT攻擊檢測和未知威脅發現，具有較高的技術門檻和商用門檻。

本平臺依托大網DPI、DFI、DNS等海量數據資源，具有覆蓋范圍廣、運行成本低等特點，具備強大的集約化優勢?；谠撈脚_面向網絡大數據的安全分析能力，通過和客戶資產的關聯匹配實現用戶安全狀況的快速感知，可為用戶提供持續安全監測、安全預警和深度安全診斷服務。

（1）安全監測

基于大數據分析和威脅情報等技術，為用戶提供長時間周期的持續安全監測服務，通過安全事件等信息的主動呈現，協助用戶主動發現企業內網已經發生和正在發生的安全威脅。

（2）安全預警

基于大網DPI、Netflow、DNS、僵木蠕等多維海量安全數據，進行自動挖掘分析，提供安全態勢分析、安全威脅等預警服務。

（3）深度安全診斷

結合用戶內網業務流、日志等數據，進行深度安全威脅分析和安全評估，提供專業安全分析報告和方案建議。

該產品依托運營商服務渠道資源優勢，基于平臺運營模式，可為全網用戶提供低成本的網絡安全體檢服務。該產品主要面向企業用戶，尤其是沒有專業安全的運營團隊和缺乏安全分析能力的中小企業用戶（SME），通過為其提供具有普遍服務性質的網絡安全體檢服務，一方面可以提升電信運營商傳統寬帶產品的用戶黏性，另一方面也可帶動其他專業安全服務的推介和推廣，具有良好的市場發展空間。

5 結束語

數據驅動安全成為安全業界的發展共識，而大數據安全分析技術則是體現數據驅動安全這一理念最重要的技術應用形態，它將對安全產業產生非常深遠的影響。在大數據蓬勃發展的時代，電信運營商擁有天然的大數據資產，隨著技術壁壘的打破、管理模式的變革和越來越多的業務創新，大數據安全分析平臺將成為運營商精細化安全管理和安全數據運營的重要支撐平臺。

[1] 王帥,汪來富,金華敏,等.網絡安全分析中的大數據技術應用[J].電信科學,2015,31(7):139-144. WANG S,WANG L F,JIN H M,et al.Big data application in network security analysis[J].Telecommunications Science,2015, 31(7):139-144.

[2] 程學旗,靳小龍,王元卓,等.大數據系統和分析技術綜述[J].軟件學報,2014,25(9):1889-1908. CHENG X Q,JIN X L,WANG Y Z,et al.Survey on big data system and analytic technology[J].Journalof Software,2014,25(9): 1889-1908.

Application of security analysis technology for network big data

WANG Laifu,JIN Huamin,LIU Dongxin,WANG Shuai
Guangzhou Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China

Big data technology and solutions have been continuously booming for several years,which has broughtmuch innovation ideas and opportunities for security analysis.From the perspective of telecom operators,the architecture and key technology of the big data security analytic platform were analyzed,which were based on the network big data including Netflow,DPI,DNS and so on.At last,some related function and service scenarios of big data security analytic services were introduced.

big data,security analysis,attack detection

TP393.08

：A

10.11959/j.issn.1000-0801.2017061

汪來富（1976-），男，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為大數據安全、云計算安全、網絡安全。

金華敏（1972-），男，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為IP網、云計算、大數據安全、網絡安全。

劉東鑫（1985-），男，中國電信股份有限公司廣州研究院工程師，曾獲得CCIE、CISSP和CISA等認證，主要研究方向為網絡與信息安全、大數據安全。

王帥（1979-），女，中國電信股份有限公司廣州研究院高級工程師，主要研究方向為大數據安全、云計算安全、網絡與信息安全體系及攻防技術。

2017-01-13；

2017-02-28