關于網絡安全分析的大數據技術實踐解析

◆許茂森

關于網絡安全分析的大數據技術實踐解析

◆許茂森

(菏澤職業學院 山東 274000)

網絡信息技術的迅速發展，使得人們的生活生產變得更為方便，但是面對呈井噴式增長的數據，再加上其復雜程度越來越高，都使得網絡安全面臨較大威脅，網絡安全問題已經引起了人們的廣泛重視。本文著眼于大數據技術應用于網絡安全分析中的重要性，對其實踐應用進行了分析，并探究了大數據技術背景下網絡安全平臺的建設策略，希望對構建安全網絡環境具有幫助作用。

網絡安全分析；大數據技術；重要性；平臺建設

0 引言

網絡化、信息化時代背景下，人們對互聯網的依賴程度越來越高，但是網絡信息安全問題也變得更為嚴峻，近些年所發生的網絡安全事件屢見不鮮，如2017年老牌信用機構Equifax遭黑客攻擊，1.43億用戶信息被盜事件，全球爆發WannaCrypt勒索病毒等。面對愈發復雜的網絡環境以及海量增長的數據信息，傳統網絡安全防護技術已經無法滿足實際需求，將大數據技術加以充分應用，構建網絡安全平臺，能夠顯著增強網絡安全等級，是當下研究的熱點。

1 大數據技術應用于網絡安全分析中的重要性

大數據技術具有有數據量大、種類繁多、速度快、價值密度低等特點，在網絡安全分析中有著較高的應用價值，其重要性具體體現在以下幾方面。第一，大數據技術可以拓寬數據存儲容量，滿足海量數據安全分析需求，并且在對多源數據和多階段組合進行分析時，在保證運算效率的同時，還能確保數據的完整性。第二，大數據技術能夠對網絡數據進行多層級、多精度分析，理清數據間的復雜關系，找出其中潛在的安全隱患和風險，網絡安全分析精度大幅提升。第三，利用大數據分析技術，可以對異構數據進行存儲和分析，顯著提高了網絡安全分析速率，能夠在更短時間內發現并解決網絡安全問題[1]。第四，傳統網絡安全平臺為結構化數據庫，而基于大數據技術的網絡安全平臺為分布式數據庫，具有良好的經濟效益，設備成本較低且性能良好，減少了系統維修費用，降低了網絡安全平臺構建成本。

2 網絡安全分析的大數據技術實踐

將大數據技術應用于網絡安全分析方面，可以實現對日志和流量的集中化存儲與分析，深層挖掘數據之間的關系，增強了網絡安全檢測及防防護能力。

2.1 數據采集

網絡安全分析需要依托全面、完整的信息數據，在應用大數據技術時，應先完成數據采集。對于每秒數百兆的日志信息來講，可以利用Chukwa等工具對其進行采集；對于全數量數據來講，可以使用傳統數鏡向方式對其進行采集[2]。

2.2 數據存儲

完成數據采集后，需依托數據庫對其進行集中存儲，在大數據技術的幫助下，數據類型存在差異時，可以采用與其相匹配的方式完成存儲，不僅能夠保證數據之間的明確分類，又可以方便數據查詢。數據類型為即時數據時，可采用列式存儲方法，先運用流式計算方式進行分析，然后存儲所得結果。數據類型為日志時，為提高數據查詢效率，可選用列式存儲方法完成存儲。另外，當數據經過標準化處理后，需要先對其進行處理，所用方法為分布式計算方法，然后再采用列式存儲方法進行存儲。

2.3 數據查詢

將大數據技術應用于網絡安全分析中去，就數據查詢來講，可依托MapReduce完成[3]。系統發出查詢指令后，在對應的節點位置完成處理，并將多種結果加以整合，然后可以通過檢索得到自己所需數據信息。相較于傳統網絡安全分析平臺，這種數據查詢方式的指令反應及處理更為迅速，大大提高了查詢效率。

2.4 數據分析

基于大數據技術的網絡安全分析平臺，當數據類型不同時，所用分析處理方法也是不一樣的。首先，如果數據類型為實時數據時，在對其進行分析和處理時，主要用到了流式計算方式、CEP技術、關聯分析算法等，可以及時發現潛在的安全隱患及威脅。其次，如果數據類型為歷史數據、統計結果時，在實效性方面要求并不嚴格，可對其進行離線處理，完成更為深入、全面的分析，所用方法主要為分布式存儲與計算，既能夠發現其中的風險隱患，又可以找出攻擊來源。

2.5 復雜數據處理

面對越來越復雜以及關聯性越來越強的數據，以大數據技術為依托的網絡安全分析平臺，也可以更加迅速、精準地對其進行處理，包括多源異構數據、系統安全隱患以及關聯性攻擊行為等。以網絡安全問題中常見的僵尸網絡為例，借助大數據技術，不但能夠從流量和DNS訪問特性出發，而且能進行發散性關聯分析，同時結合多方面的數據信息，可對數據進行多維度、深層次、全方位分析，確保了數據處理的有效性。

3 大數據技術背景下網絡安全平臺建設

基于大數據技術所體現出的多方面優勢，已經在網絡安全分析方面得到了越來越廣泛的應用，在構建網絡安全平臺時，需要科學設計其基礎構架，并嚴格把控關鍵技術環節，充分發揮其應用價值。

3.1 平臺構架

以大數據技術為依托，所搭建的網絡安全平臺分為四個層級，包括數據采集層、數據存儲層、數據挖掘分析層、數據呈現層，四個層級功能各不相同，需要分別對其進行分析。首先，數據采集層主要負責采集各種類型數據，包括即時數據、用戶身份信息、日志等，實現方式為分布式采集。其次，數據存儲層的能夠實現海量信息的長期保存，并采用結構化、半結構化、非結構化方式對其進行統一存儲，使用均衡算法將現實數據均勻分布在分布式文件系統上[4]。另外，網絡安全異常的發現及溯源，則是在數據挖掘分析層完成，具體方法包括特征提取、情境分析、關聯分析等，可通過檢索查詢對異常網絡行為進行準確定位。最后，數據呈現層則可以通過可視化形式將大數據分析結果呈現出來，通過多種維度展現網絡安全狀態。

3.2 關鍵技術

構建網絡安全平臺時，所用到的關鍵技術主要有數據采集技術、數據存儲技術、數據分析技術等。此次研究所用數據采集技術包括Flume、Kafka、Storm等，Flume能夠采用分布式方式，對來源不同的數據進行收集和整理，經過處理后將其傳輸至定制方。Kafka中應用了Zookeeper平臺，可實現數據的集群配置管理，能夠作為一個高吞吐量的分布式發布訂閱系統應用，平衡數據處理環節的系統負荷。完成數據采集后，采用HDFS分布式文件系統對其進行存儲，其容錯性和吞吐量都比較高，使用元數據管理節點文件系統對空間命名，數據文件保存至數據節點，基本存儲單位為64兆字節的數據塊。數據文件會隨著元數據節點的增多而減少，兩者之間呈反比關系，多個文件同時被訪問時，會對系統性能造成影響，而HDFS分布式文件系統的應用可有效避免這種問題。在數據分析環節，該平臺所用技術為Hivc，對于非結構化數據的檢索，所用語言為HiveQL，與HDFS和HBase匹配性良好。API的封裝則是采用Hive完成，使用定制的插件開發和實現各種數據的處理、分析與統計。

4 結束語

將大數據技術應用于網絡安全分析領域，不僅能夠提高分析速率、分析精準度，而且還可以降低技術成本，有著多方面顯著優勢，是未來網絡安全防護的必然發展方向。在實際應用時，應采用層級結構構建網絡安全平臺，就數據采集、數據存儲、數據分析等關鍵技術環節進行重點把控，以此來改善當前網絡安全分析中的缺陷與不足，提高網絡安全等級。

[1]孫玉.淺談網絡安全分析中的大數據技術應用[J].網絡安全技術與應用，2017.

[2]王帥，汪來富，金華敏等.網絡安全分析中的大數據技術應用[J].電信科學，2015.

[3]賈衛.網絡安全分析中的大數據技術應用探討[J].網絡安全技術與應用，2016.

[4]萬明秀，宋秋蓮.網絡安全分析中的大數據技術應用探討[J].無線互聯科技，2017.