大數據技術在網絡安全分析中的應用初探

劉瑜 王洪艷

摘 要：當今社會，隨著網絡技術跨步式的發展，全球數據存有量呈現出急劇遞增的趨勢。網絡中的數據正在向分散化、多樣化，復雜化的方向發展，導致了數據分析在很多時候難以滿足人們的要求，數據安全性問題也隨之變得異常尖銳。將大數據技術應用于網絡安全的分析，將會逐漸成為業界研究的熱點。本文在闡述大數據技術及其優勢的基礎上，初步探討了大數據技術在網絡安全分析中的基本應用。

關鍵詞：網絡安全；大數據技術；應用

中圖分類號：TP393.08 文獻標識碼：A 文章編號：2096-4706（2018）02-0158-03

Application of Big Data Technology in Network Security Analysis

LIU Yu，WANG Hongyan

（Dalian University of Finance and Economics，Dalian 116622，China）

Abstract：In today's society，with the rapid development of network technology，the amount of global data is increasing rapidly. Data in the network is developing towards decentralization，diversification and complexity，resulting in data analysis difficult to meet people's needs at many times，and data security problem has also become extraordinarily sharp. The application of large data technology to network security analysis will gradually become a hot topic in the field of research. Based on the introduction of large data technology and its advantages，the basic application of large data technology in network security analysis is preliminarily discussed.

Keywords：network security；big data technology；application

0 引 言

人類進入21世紀以來，信息數據量呈幾何級趨勢驟增，網絡技術也隨之加倍出現。網絡中的數據量越來越大，這會在生活和工作中給我們帶來便利，但是也暴露出一些安全問題，給生活和工作帶來阻礙，甚至會危害人身。數據來源的多樣性和內容的豐富性，加上傳統的網絡安全分析手段的落后和漏洞的增加，使其無法做到有效地分析和保護。而大數據技術可以用其自身的存儲量大、處理速度快等優點來提高網絡安全防護的力度，因此，研究大數據技術在網絡安全分析中的應用具有非常重要的現實意義。

1 大數據技術在網絡安全分析中的優勢

如今，互聯網發展的速度如百米沖刺般迅速，其數據量更如宇宙中的繁星那樣浩大。信息的內容和來源變得更加豐富、也更加細化，對它們進行分析的維度也更加廣泛，這就給網絡安全分析帶來了新的任務，即它必須更快，更精準地檢驗出安全漏洞和惡意攻擊行為。將大數據技術應用到網絡安全分析中具有以下優勢：

1.1 容量大

大數據可以支持大量級不同數據的計算、存儲，能夠大幅提升數據存數量，在非程序化的多變復雜數據處理上，它可保持有效性和數據完整性。這使得儲存和分析原始海量數據成為了現實。

1.2 成本低

對普通硬件環境來說，大數據技術在應用方面沒有局限性。另外，分布式數據庫是大數據的核心，分布式數據庫相比于結構化數據庫的價格大大降低，在性能較差的硬件優化上表現很好，運行穩定的同時也能夠降低維護費用。

1.3 速度快

大數據技術可以對異構數據完成處理并進行存儲，而且是更快地查詢和存儲，這使系統處理數據信息分析速度更快，更迅速地進行安全信息的收集，更及時地響應檢測的時機。

1.4 精度高

大數據技術可提升挖掘數據的能力，支持存儲大量的異構數據，并能從多維度、多階段的基礎數據中進行分析與處理，甚至可以基于更長時間數據與數據之間的關聯關系來處理數據來提高分析的深度和廣度。

2 大數據技術

目前，在網絡安全分析中，日志和流量是需要處理的兩大關鍵因素。除此之外，資產、配置、漏洞、訪問、應用行為、用戶行為、業務行為、外部報告等輔助類信息關聯分析也有著較大的作用。將大數據技術的優勢融入網絡安全分析中，可以優化各類數據的分析處理，集中將一些雜亂的日志和流量數據整合，還利用大數據高效的采集、儲存、檢索、分析技術，來減少分析處理的時間，節約整體成本，有效改善處理效果。

2.1 數據采集

利用大數據技術，在工具方面使用Flume、Chukwa、Scribe等來采集數據信息，根據數據的類型，應用分布采集式高效完成流量和日志等數據的采集。憑借迅速的數據采集能力，它既可以保證數據的完整采集，也能夠保障數據的準確性。還可以應用數據鏡像的采集方式，采集相關的流量數據。

2.2 數據儲存

應對數據種類的多元化和傳輸的高效性，是傳統網絡安全分析面臨的主要困難。面對錯綜復雜的數據，要使分析與檢索的速度逐步提高，必須需要存儲數據的各式各樣分析尋求，以不同的存儲方式來存儲不同類型的數據，可以提升處理信息效率。日志流量及歷史痕跡的原始安全數據，可使用供檢索作為存儲方法，在此可發揮作用的是H base、G base等列式存儲，它的好處在于索引高效，響應迅速，可分類化存儲原始安全數據。用于構架計算的Hadoop分布式方法處理的數據是經標準化處理的原始安全數據，把放在計算節點的經分類的安全數據進行處理分析，運用腳本分析挖掘安全數據，最后將整理統計報告和分析預警的報告存放在列式存儲。而采用storm、spark等流式計算，適用于需要實時分析的安全數據。在每個計算節點上有等待分析的原始數據，分析過程中，系統會在實時數據流經對應節點時自動進行分析數據工作，進而生成安全警告與統計數據轉化成最后的成果分析，其成果最終顯示在流式存儲中。

2.3 數據檢索

大數據技術應用的安全數據檢索與查詢以MapReduce為架構基礎，相對應的節點分析指令處理其中請求主語查詢，查詢節點收到請求，使用分布式計算方法查詢節點所需數據，滿足上需請求查詢的情況，信息數據將顯示所需流量及日志。這極大地提高了數據查詢和檢索數據的速度，可以有效提升工作效率。

2.4 數據分析

網絡安全分析中，最后的數據分析是重要的步驟，大數據技術處理數據時會使用不同的處理和分析技術。storm或spark等流式計算架構是對數據進行實時分析的基礎，在此之上運用定制的電聯分析計算方法及復雜事件處理技術，聯合對數據進行實時內存分析、實時監控安全內容、實時捕捉異常和實時處理。這既使數據安全性得到提升，也能保證在最短時間內找出問題并進行有效地解決，及時地進行數據保存和數據轉移，來保護用戶的數據信息。使用Hadoop架構可對歷史數據、統計結果等非實時數據進行分析，這些對時效性沒有太高需求的部分可利用HDFS分布式存儲和MapReduce分布式計算，并行應用數據聚合，數據挖掘，數據抽取等多種數據處理技術。另外它能對隱藏風險進行離線統計及對應特殊處理，及時分析風險事態，攻擊起始源并阻斷風險。

2.5 多源數據和多階段組合的關聯分析

系統借助大數據技術在存儲、查詢、分析上不斷地提升效率。在復雜處理中，它能對多源異構數據進行挖掘，同時發現大規模網絡系統的安全風險，且對攻擊行為的特征進行不同階段的分析處理。集合數據分組會攻擊逆源數據和莫管數據，同時深度分析外界情報，從而獲得全方位分析結果，來提升處理效率。若某網絡系統或主機有漏洞甚至被攻擊，關聯局域網內或系統中的其他主機，便可實施綜合檢測，這樣能以最快速度發現隱患的具體位置，及時解決問題，防范危險情況。

3 大數據技術在安全分析中的應用

網絡中的個人賬戶包括網絡應用賬戶、銀行賬戶等，它們均是信息分析的重點對象。

3.1 大數據分析設置密碼習慣

對于個人賬戶來說，密碼至關重要。現在有很多報道提到賬號被盜、失竊的問題，這首先是因為為了密碼記憶方便，喜歡使用簡單的組合或有關姓名、出生年月等個人信息，這樣的密碼極其容易被破解，還會暴露個人信息，這些個人信息還可能被不法分子用于非法活動，進而危害用戶人身安全。解決該問題可以運用大數據技術在平臺上分析數據，在注冊賬號的時候，平臺上早先存儲的個人信息被調出，設置密碼時，平臺檢索相似內容，進行分析確認并向客戶發出警告，要求更換，以此來提高第一道防線的安全性。

3.2 大數據分析管理異地登錄

如果說密碼是第一道防線，若這層防御被突破，且用戶在未知情的狀況下登錄賬號，就可能會造成損失。當前，新聞經常報道兒童在家長不知情的狀況下，用家長的支付賬號買東西或給某些主播刷禮物；還有陌生人竊取銀行賬號、游戲賬號、微信賬號等情況，并偷轉錢財，破壞賬號主體，甚至偽裝成本人詐騙好友錢財，做出一些違法亂紀的事情，這不僅會給賬號主體帶來經濟損失，還會造成極其不良的社會影響。針對該情況，可以通過大數據技術記憶并綁定常用設備，且關聯手機號和郵箱等安全信息，當在不常用設備登錄時，大數據技術會在平臺檢索賬號安全信息，第一時間向用戶發送短信和郵件，若為本人操作，即輸入驗證碼登錄。此外還可以限制異地登錄次數，由客戶設置次數，若超過上限，平臺會發出警告并通知客戶，由客戶自己選擇暫時封號，報警或其他處理方式。

3.3 大數據定位找回被盜賬號

若陌生人使用非常手段盜取賬號，找回賬號就變得非常困難。即使找到了，還原數據也基本是不可能的了。使用大數據技術在平臺上進行定位，檢索被盜賬號登陸地區，實施封鎖IP及賬號的辦法，把賬號先傳輸在平臺上，并清空內容，將原數據存儲在平臺，僅需失主提供個人信息且驗證符合要求后，就可以返還賬號并還原數據。

3.4 檢測被控主機與控制源

面對黑客攻擊網絡漏洞，木馬僵尸網絡、移動惡意程序等僅靠防范措施無法應付的威脅，就需要精確分析，早期預警。應用路由器配置數據、僵木蠕檢測事件、僵木蠕特征庫、DPI檢測DDoS攻擊事件，DNS訪問日志、外部渠道獲取的僵木蠕源IP地址，在平臺中維護更新被入侵主機IP庫，用大數據分析入侵主機并進行控制源檢測。

（1）疑似被入侵主機IP地址，查詢DNS日志記錄，運用URL庫對比，確認被控制主機；（2）信息DPI查找通信記錄或惡意URL訪問記錄，若存在匹配記錄，則確認被控主機；（3）通過僵木蠕系統，DPI檢測等渠道獲取木蠕信息，查詢DNS訪問記錄是否有惡意URL記錄，綜合驗證分散系統檢測結果，提升檢索準確性。

4 結 論

大數據技術在眾多領域應用寬泛，效率提升明顯，還大大地節約成本。其在網絡安全分析方面的應用，有效地減緩了傳統網絡安全分析的壓力。專家正在深入研究如何在更大范圍內運用大數據技術，這是業界討論的重中之重。未來，在網絡安全分析中應用大數據技術必將成為網絡領域中的焦點。

參考文獻：

[1] 曾秋梅.網絡安全分析中的大數據技術與實踐探究 [J].信息系統工程，2017（4）：77.

[2] 賈孫玉.淺談網絡安全分析中的大數據技術應用 [J].網絡安全技術與應用，2017（4）：102+106.

[3] 崔玉禮，黃麗君.網絡安全分析中的大數據技術應用 [J].網絡空間安全，2016，7（6）：75-77.

[4] 杜娟.大數據時代的信息安全問題淺議 [J].現代信息科技，2017，1（2）：78-80.