網絡安全分析與大數據技術的應用

◆沈繼云

(無錫南洋職業技術學院 江蘇 214081)

網絡安全分析與大數據技術的應用

◆沈繼云

(無錫南洋職業技術學院 江蘇 214081)

在網絡安全信息規模不斷增長的過程中，使用大數據技術已經成為一種常態。結合網絡安全分析的具體需求以及傳統技術中的弊端可以看出大數據技術的使用勢在必行。無論是安全數據的存儲還是分析過程中都能夠體現出大數據技術的重要作用。本文主要是結合網絡安全分析以及大數據技術的應用進行探討。

網絡安全分析；大數據技術；應用

0 前言

網絡安全分析不及關系到國家安全，還涉及了眾多網民的信息以及隱私的安全。隨著網絡安全分析技術的不斷使用，也出現了越來越多的網絡安全問題，影響著人們的信息安全。我國將網絡及信息安全提升到了國家戰略的地位，可以看出網絡安全分析的重要性。大數據技術在網絡安全分析中具有重要的作用，有效的提高了網絡安全分析的效率，突破了傳統技術的限制，滿足目前的網絡安全分析需求。

1 大數據技術在網絡安全分析中的應用

在網絡安全分析的過程中，要明確日志以及流量是其中的關鍵因素，此外還需要重視用戶行為、漏洞、訪問、資產等方面的輔助信息，每一項信息的具體功能都發揮著巨大的作用。使用大數據技術的優勢在于可以將一些分散日志和流量數據進行集中，使用高效的分析以及儲存等技術可以有效提高網絡安全分析以及處理的成效，同時可以縮短分析的時間，節約一定的成本。結合一些場景關聯等方面的手段進行分析，可以發現一些安全事件中隱藏的關聯性，發現其中的漏洞，在漏洞沒有擴大時進行調整和修復，有效預防數據泄露等問題，不斷提高網絡的防御性，確保網絡信息的安全。

1.1 采集信息

在采集信息的過程中，可以使用Chukwa等工具，使用分布采集的手段可以實現日志信息的每秒數百兆的采集。此外也可以使用數據鏡像的采集方式，來采集相關的流量數據。

1.2 儲存信息

隨著網絡信息規模的不斷擴大，使用網絡平臺的人數增多，所以網絡數據的內容更加豐富，增加了網絡安全分析的困難。在網絡中有非常多而復雜的數據，因此在處理這些復雜數據的過程中，首先要滿足各種分析需求的數據儲存，才能不斷的加快信息檢索和分析的速度，采用不同的儲存方式可以存儲不同類型的數據，在儲存信息的環節中可以提高效率。對于供檢索的原始安全數據比如日志信息等內容，可以使用H base 等列式進行存儲，而且這種技術具有快速索引的特點，會對數據檢索造成較大的影響。對于處理后的安全數據則可以使用Hahoop分布式進行構架計算，而是可以將分析的數據置于計算節點之上，還可以采用腳本分析的方式挖掘相關的安全數據，做好統計報告并將其內容放置于列式存儲。對于實時分析的安全數據，可以使用 Storm等流式計算的方式，可以在各個計算節點處防止分析的數據，并且要在數據流經節點的同時實現自動分析的目標，當數據統計完成以后可以將結果放于流式存儲中[1]。

1.3 檢索信息

傳統的信息計算技術可以滿足基本的檢索需求，但是在檢索的速度和質量上還有待進一步的提高。在查詢和檢索數據的過程中，可以將Map Reduce作為基礎，并且要在各個分析節點處理其中的查詢請求主語，采用分布式計算的方法，可以有效的提高數據的檢索速度和質量。

1.4 分析數據

數據分析是其中的關鍵環節，可以使用Storm 等流式計算的架構來完成實施分析數據的任務，還可以聯合使用復雜處理技術，對數據的內存、安全信息等進行實時監控，有效保證了數據的安全性，確保第一時間可以發現問題并且采取有效的措施進行解決。還可以采用H adoop架構來分析非實時的數據，采用分布式計算的形式以及數據挖掘等技術來規避風險，對于這種隱藏的風險可以采取特殊的措施，及時發現攻擊源并且進行處理。

1.5 多源數據和多階段組合的關聯分析

使用大數據技術可以不斷提高數據分析的效率，而且可以在短期內挖掘分析多元異構的數據，及時發信網絡系統中的風險，找到現存的攻擊行為特征。如果發現了僵尸網絡，除了發現正常的訪問特征之外，還可以實現數據源的擴充，對一些溯源數據等進行攻擊，結合數據分析的技術實現外界情報的分析。在網絡系統中如果發現了漏洞可以做好基本的防范措施。

2 大數據技術參與的網絡安全平臺建設活動

2.1 大數據技術的網絡安全平臺框架

基于大數據技術的網絡安全平臺建設，具有高效、安全、可靠等基本的特點。在這一網絡安全平臺中，主要可以分為采集層、分析層、數據層、以及呈現層幾個部分。其中的數據采集層主要使用的是分布式方法，可以實現用戶身份信息以及安全事件等內容的收集。可以實現信息的永久性存儲，還可以采用均衡的算法實現數據的規律性分布，可以有效的提高數據檢索的速度。

2.2 平臺實現的技術支持

為了保證這一平臺更好的使用，需要一定的技術支持。在這一平臺中，主要的部分有收集層、解析層、顯示層以及存儲層幾個部分。在采集層中，收集用戶信息以及安全事件等信息時可以使用分布式的手段。在存儲層中使用分布式手段可以實現數據的永久性存儲，可以使用均衡算法實現數據的規律性分布，提高數據檢索的效率。解析層則是利用數據的分析來了解相關的情況，發現安全事件的過程中可以及時分析原因并且進行處理。在檢索數據的過程中，可以利用顯示層的作用，顯示出分析的數據，展示出整個網絡安全狀態，解決現存的問題[2]。

2.3 數據采集技術

數據采集技術的使用，要結合網絡安全平臺的作用進行分析。使用網絡安全平臺的過程中，可以將Flume、Kafka 和Storm這三種形式進行有效的集合，采用科學的方法逐步完成數據采集的工作。比如可以使用Flume進行數據的采集，這種形式的優點在于可靠性較高，而且具有較強的實用性。可以定制數據并且輸送數據，最后收集不同源頭的數據，采用加工處理的方式傳遞給定制方。在加工流式數據的過程中，可以利用Kafka作為數據采集與流式數據加工之間的緩存。其中要注意在Kafka內部存在很多消費者、代理商等提供的整體服務，因此可以形成一個分布式發布的訂閱系統。

2.4 數據存儲技術

數據存儲技術主要使用的是 HDFS開展數據收集之后的存儲，尤其是在進行大量文件訪問的過程中，容易造成系統的問題，比如系統無法正常的使用或者是系統崩潰現象。為了解決這一問題，要求采用高效率的數據處理方式，這一平臺利用HDFS進行數據的存儲，可以在總結儲存數據的過程中進行數據的分析，并且可以實現文件達到64 兆字節。

2.5 數據解析技術

網絡安全平臺使用的數據解析技術主要可以采用Hive方法，尤其是利用SQL中的 Hive QL 語言使HDFS與H Base 與不能形成結構式的數據進行檢索的操作。此外，還可以使用 Mahout來完成基于H adoop行為的機械研究，達到最終的數據解析目的，對數據實現深入的分析和整理并得出最后的結論[3]。

3 結論

在網絡安全分析的過程中使用大數據技術已經十分常見，在眾多領域中得到了廣泛的應用，而且有明顯的使用效果，在使用大數據技術的過程中，可以有效提高工作的效率以及節約一定的成本。隨著大數據技術的不斷研究和發展，這一領域的專家已經開展了深入的研究。在網絡安全平臺中使用大數據技術，有著廣闊的發展空間。

[1]王帥，汪來富，金華敏，沈軍．網絡安全分析中的大數據技術應用[J]．電信科學，2015．

[2]崔玉禮，黃麗君．網絡安全分析中的大數據技術應用[J]．網絡空間安全，2016．

[3]曾秋梅．網絡安全分析中的大數據技術與實踐探究[J]．信息系統工程，2017．