網絡安全分析中的大數據技術應用

鞏萃萃

隨著計算機技術及信息技術的蓬勃發展，網絡技術使人們的學習、生產、生活發生了深刻變革，網絡安全備受關注，運用大數據分析技術是強化網絡安全的有效手段。本文從應用大數據在網絡安全分析中的重要意義入手，針對數據收集、存儲、檢索、分析等具體應用進行了深入探討，以進一步提高網絡安全分析與處理效率，促進互聯網事業持續、健康發展。

一、網絡安全分析中大數據技術應用概述

網絡技術的飛速發展促進了各行各業的發展，網絡安全問題與人們生活息息相關。信息時代，網絡架構日趨復雜，數據信息量和種類巨增，信息采集和處理對數據傳輸速度提升對網絡安全管理提出了更高的要求，傳統的基于特征匹配的安全防護技術無法滿足當前復雜、多樣的網絡安全要求。

大數據驅動安全管理是適應復雜網絡要求，精確檢測分析預警并采取干預防護措施是保障網絡安全的有效手段。網絡安全分析處理的數據主要包括分析日志和流量，此外還要對訪問、用戶行為、業務行為等相關數據信息進行分析。大數據技術擴充了網絡安全分析系統的數據存儲量，通過統籌分析分散性的數據，有效提高數據采集、分析的處理時間，提高網絡安全防護的效率和有效性;大數據技術手段有效處理數據存儲和計算問題，降低分析成本，保障復雜分析對樣本量多樣化的要求，通過關聯分析進行多維度數據處理保證信息安全性。

二、網絡安全分析中的大數據技術應用

大數據技術具有數據量大、速度快、種類多和非結構化的特點，滿足網絡安全數據分析要求。大數據技術在網絡安全分析的作用體現在數據采集、數據存儲、數據查詢、數據分析和復雜數據分析幾個環節構建出大數據網絡安全平臺，各環節環環相扣，協同作用。

（一）數據采集

網絡安全分析的起點是數據采集，有效引入大數據技術是數據網絡安全分析的關鍵。數據采集層主要完成數據的泛化、標準化處理，大數據技術通過Flume、Scribe等工具對海量的用戶信息數據、事件以及威脅情報進行高效的分布式采集、整合和傳輸，以高速、可靠的特點完成日志數據信息的處理，并發往數據存儲環節，為網絡安全分析提供有力技術支持。

（二）數據存儲

網絡分析系統中數據到達儲存層，數據存儲層具有吞吐量高和容錯性強的特點，應用大數據技術對不同數據類型的數據采用不同存儲方式實現結構化、半結構化和非結構化的信息集中儲存，提高數據檢索的能力，保證數據存儲有序性和檢索效率。存儲數據應用采標準化存儲并計算網絡組織構架，在短時間內響應、檢索數據。應用列式存儲、分布式計算模式，將分析處理結果和分析警告存放于列式存儲部位;即時數據則應使用流式計算結果儲存到數據庫。

（三）數據查詢

大數據技術構建查詢模塊將數據查詢的請求主語分成多個節點，運用非結構化的 數據數據查詢關鍵詞進行檢索，利用分布式指令分別置于節點之中，查詢結束后再整合處理結果數據定位，進行快速數據檢索追溯存在安全隱患的數據，有效提高數據查詢速度，保證網絡安全運行。

（四）數據分析

網絡分析系統以用Storm、Spark為基礎對實時數據展開分析，運用CEP技術、關聯分析計算法對實時數據進行監控、分析、處理，將需要分析的數據信息放置在計算節點上，及時發現數據中的異常;針對歷史數據開展分析，對時效性要求不高的數據采用Hadoop結構進行深入的數據處理，通過HDFS分布式儲存完成捕捉與安全信息、風險分析、攻擊溯源等分析了解網絡運行狀態;采用數據聚合、多元數據、數據挖掘以及數據抽取技術、發散性關聯分析從DNS特性和流量全方位復雜數據分析;開展多源數據和多階段組合，關聯不同階段的行為處理內主機，拓寬數據源查詢的路徑，完成系統安全隱患和關聯性攻擊的綜合分析進行數據的挖掘和整理，排查攻擊源和系統安全漏洞，可視化展示并形成相應的網絡安全分析報告，滿足網絡安全分析工作的需要。

三、大數據技術在網絡安全平臺建設中的建設

著力建設大數據網絡安全平臺通過建模分析僵尸網絡，惡意域名、Web攻擊等安全事件及數據問的關聯關系，建立對網絡安全事件深入系統的了解，形成可視化安全分析工具，為用戶提供安全分析報告和預警服務。網絡安全平臺廣泛采集Netflow、DPI等大網數據和客戶端數據，運用惡意域名分析模塊、Web安全分析模塊和客戶安全分析等模塊提供安全分析視圖，直觀反應自身安全狀況;利用攻擊溯源模塊深度挖掘分析網絡拓撲信息、路由器端信息，快速回溯擊路徑，及時發現和抑制。

四、結語

綜上所述，大數據技術網絡安全分析是強化網絡安全管理和數據安全運營的重要手段，工作實踐中，管理部門和技術人員要積極推廣與應用大數據技術，構建網絡安全平臺要充分發揮大數據采集、存儲、檢索、分析作用，加強網絡的安全防范技術、提升網絡安全防御準確度和效率，保障信息安全。（作者單位：哈爾濱華德學院）