網絡安全與大數據技術應用

◆董 巍

?

網絡安全與大數據技術應用

◆董 巍

(清華大學天津電子信息研究院 天津 300467)

隨著互聯網技術的高速發展與普及，現如今互聯網技術已經廣泛應用于人們工作與生活之中，這給人們帶來了前所未有的便利，但與此同時各種網絡安全問題也隨之顯現。基于此，本文主要介紹了大數據技術在網絡安全領域中的具體應用，希望在網絡系統安全方面進行研究的同時，能夠為互聯網事業的持續發展提供可行的理論參考。

網絡安全；大數據技術；應用分析

0 前言

隨著近年來互聯網技術的不斷深入，網絡安全事故也隨之頻頻發生。出于對網絡信息安全的重視，我國于2014年成立了國家安全委員會，正式將網絡安全提升為國家戰略部署，這同時也表示我國網絡信息安全形勢不容樂觀，網絡攻擊事件處于高發狀態。木馬僵尸病毒、惡意勒索軟件、分布式拒絕服務攻擊、竊取用戶敏感信息等各類網絡攻擊事件的數量都處于世界前列。時有發生的移動惡意程序、APT、DDOS、木馬病毒等網絡攻擊不僅會嚴重阻礙網絡帶寬、降低網絡速度、并且對電信運營商的企業聲譽也會產生一定影響。根據大量數據表明，僅僅依靠傳統的網絡防范措施已經無法應對新一代的網絡威脅，而通過精確的檢測分析從而在早期預警，已經成為現階段網絡安全能力的關鍵所在。

1 網絡安全問題分析

網絡安全問題不僅涉及公民隱私與信息安全，更關乎國事安全，例如雅虎的信息泄露，導致至少五億條用戶信息被竊；美國棱鏡門與希拉里郵件門等等事件都使得網絡安全問題進一步升級、擴大。隨著互聯網構架日益復雜，網絡安全分析的數據量也在與日俱增，在由TB級向PB級邁進的過程，不僅數據來源豐富、內容更加細化，數據分析所需維度也更為廣泛。伴隨著現階段網絡性能的增長，數據源發送速率更快，對安全信息采集的速度要求也就越高，版本更新延時等導致的Odav等漏洞日漸增多，網絡攻擊的影響范圍也就進一步擴大；例如APT此類有組織、有目標且長期潛伏滲透的多階段組合式攻擊更加難以防范，唯有分析更多種類的安全信息并融合多種手段進行檢測抵御。

在傳統技術架構中，大多使用結構化數據庫來進行數據存儲，但由于數據存儲的成本過高，系統往往會將原始數據進行標準化處理后再進行存儲，如此易導致數據的丟失與失真以及歷史數據難以保存而造成的追蹤溯源困難；同時對于嘈雜的大型、非結構化數據集的執行分析以及復雜查詢效率很低，導致數據的實時性及準確性難以保證，安全運營效率不高，因此傳統網絡安全技術已經難以滿足現階段網絡安全分析的新要求。

大數據技術這一概念最初由維克托.邁爾.舍恩伯格與肯尼斯.庫克耶在2008年出版的《大數據時代》一書中提出的，大數據是指不采用隨機分析法，而是對所有的數據進行綜合分析處理。大數據技術作為現階段信息架構發展的趨勢之首，其獨有的高速、多樣、種類繁多以及價值密度低等特點，近年來被廣泛應用于互聯網的多個領域中。

大數據的戰略意義在于能夠掌握龐大的數據信息，使海量的原始安全信息的存儲與分析得以實現、分布式數據庫相比傳統數據庫的存儲成本得以降低，并且數據易于在低廉硬件上的水平擴展，極大地降低了安全投入成本；并且伴隨著數據挖掘能力的大幅提高，安全信息的采集與檢測響應速度更加快捷，異構及海量數據存儲的支持打造了多維度、多階段關聯分析的基礎，提升了分析的深度與廣度。對于網絡安全防御而言，通過對不同來源的數據進行綜合管理、處理、分析、優化，可實現在海量數據中極速鎖定目標數據，并將分析結果實時反饋，對于現階段網絡安全防御而言至關重要。

2 大數據在網絡安全中的應用

將大數據運用到網絡安全分析中，不僅能夠實現數據的優化與處理，還能夠對日志與訪問行為進行綜合處理，從而提高事件處理效率。大數據技術在網絡安全分析的效果可從以下幾點具體分析：

2.1 數據采集效率

大數據技術可對數據進行分布式地采集，能夠實現數百兆/秒的采集速度，使得數據采集速率得到了極大的提高，這也為后續的關聯分析奠定了基礎。

2.2 數據的存儲

在網絡安全分析系統中，原始數據的存儲是至關重要的，大數據技術能夠針對不同數據類型進行不同的數據采集，還能夠主動利用不同的方式來提高數據查詢的效率，比如在對日志信息進行查詢時適合采用列式的存儲方式，而對于分析與處理標準化的數據，則適合采用分布式的模式進行預處理，在數據處理后可將結果存放在列式存儲中；或者也可以在系統中建立起MapReduce的查詢模塊，在進行查詢的時候可直接將指令放在指定的節點，完成處理后再對各個節點進行整理，如此能夠確保查詢的速度與反應速度。

2.3 實時數據的分析與后續數據的處理

在對實時數據的分析中，可以采用關聯分析算法或CEP技術進行分析，如此能夠實現對數據的采集、分析、處理的綜合過程，實現了更高速度以及更高效率的處理；而對于統計結果以及數據的處理，由于這種處理對時效性要求不高，因此可以采用各種數據處理技術或是利用離線處理的方式，從而能夠更好地完成系統風險、攻擊方面的分析。

2.4 關于復雜數據的分析

在針對不同來源、不同類型的復雜數據進行分析時，大數據技術都能夠更好的完成數據的分析與查詢，并且能夠有效完成復雜數據與安全隱患、惡意攻擊等方面的處理，當網絡系統中出現了惡意破壞、攻擊行為，可采用大數據技術從流量、DNS的角度出發，通過多方面的數據信息分析實現全方位的防范、抵御。

3 基于大數據技術構建網絡系統安全分析

在網絡安全系統中引入大數據技術，主要涉及以下三個模塊：3.1數據源模塊網絡安全系統中的數據及數據源會隨著互聯網技術的進步而倍增技術能夠通過分布式采集器的形式，對系統中的軟硬件進行信息采集，除了防火墻、檢測系統等軟件，對設備硬件的要求也在提高，比如對服務器、存儲器的檢查與維護工作。

3.1 數據采集模塊

大數據技術可將數據進行對立分析，從而構建起分布式的數據基礎，能夠做到原始數據從出現到刪除都做出一定說明，真正實現數據的訪問、追溯功能，尤其是對數據量與日俱增的今天而言，分布式數據存儲能夠更好地實現提高數據庫的穩定性。

3.2 數據分析模塊

對網絡安全系統的運營來說，用戶的業務系統就是安全的最終保障對象，大數據分析能夠在用戶數據產生之初，及時進行分析、反饋，從而能夠讓網絡用戶得到更加私人化的服務體驗。而對于用戶而言，得其所想也會對網絡系統以及大數據技術更加的信任，對于個人的安全隱私信息在系統上存儲的疑慮也會大幅降低。

當前網絡與信息安全領域正在面臨著全新的挑戰，企業、組織、個人用戶每天都會產生大量的安全數據，現有的安全分析技術已經難以滿足高效率、精確化的安全分析所需。而大數據技術靈活、海量、快速、低成本、高容量等特有的網絡安全分析能力，已經成為現階段業界趨勢所向。而對互聯網企業來說，實現對數據的深度“加工處理”，則是實現數據增值的關鍵所在，對商業運營而言是至關重要的。

4 結語

在當下時代，信息數據已經滲透到各個行業及業務領域中，成為重要的社會生產因素。正因如此，互聯網數據產生的數量也在與日倍增中，這給網絡安全分析工作帶來了一定難度與壓力，而大數據技術則能夠很好的完善這一問題。在網絡系統中應用大數據技術不僅能夠滿足人們對數據處理時所要求的高效性與精準性，并且能夠在此基礎上構建一套相對完善的防范預警系統，這對維護網絡系統的安全起著非常關鍵的作用，相信大數據技術日后能夠得到更加廣泛的應用。

[1]魯宛生.淺談網絡安全分析中大數據技術的應用[J].數碼世界，2017.

[2]王帥，汪來富，金華敏等.網絡安全分析中的大數據技術應用[J].電信科學，2015.

[3]孫玉.淺談網絡安全分析中的大數據技術應用[J].網絡安全技術與應用，2017.