淺談網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用

◆孫 玉

（蘇州農(nóng)業(yè)職業(yè)技術學院 江蘇 215008）

淺談網(wǎng)絡安全分析中的大數(shù)據(jù)技術應用

◆孫 玉

（蘇州農(nóng)業(yè)職業(yè)技術學院 江蘇 215008）

大數(shù)據(jù)技術的發(fā)展與成熟，進一步促進了互聯(lián)網(wǎng)事業(yè)的發(fā)展，在網(wǎng)絡中的很多方面都能夠發(fā)揮一定的作用。本文針對當前網(wǎng)絡安全問題頻發(fā)的現(xiàn)狀，分析了大數(shù)據(jù)技術在網(wǎng)絡安全分析中的應用，并探究了基于大數(shù)據(jù)技術的網(wǎng)絡安全防御系統(tǒng)的構建。

網(wǎng)絡安全；大數(shù)據(jù)技術；應用

0 前言

隨著互聯(lián)網(wǎng)的應用與發(fā)展，網(wǎng)絡中的數(shù)據(jù)量越來越大，在為人們的工作與生活帶來便利的同時，網(wǎng)絡安全問題也時有發(fā)生。網(wǎng)絡安全問題與個人和公司的信息安全息息相關，傳統(tǒng)的網(wǎng)絡安全防護手段已經(jīng)比較落后，無法起到良好的作用，而大數(shù)據(jù)技術能夠有效提高網(wǎng)絡安全防護的有效性，其在網(wǎng)絡安全分析中的應用具有重要作用。

1 網(wǎng)絡安全分析中應用大數(shù)據(jù)技術的意義

當今時代，互聯(lián)網(wǎng)發(fā)展十分迅速，其中流動的數(shù)據(jù)量增長速度很快，這雖然能夠有效提升互聯(lián)網(wǎng)的服務性能，但也給網(wǎng)絡安全分析工作帶來了巨大的壓力，主要表現(xiàn)在以下兩個方面。其一，讓網(wǎng)絡安全分析工作中需要處理的數(shù)據(jù)量變得更大，而且數(shù)據(jù)的種類也更多，需要進行多維分析才能完成有效的處理；其二，隨著數(shù)據(jù)量的增加以及數(shù)據(jù)信息傳遞速度的提高，要想及時完成對數(shù)據(jù)的分析處理，必須提高數(shù)據(jù)信息的采集和處理速度，而且需要同時保證信息安全分析的有效性，這無疑大幅增加了網(wǎng)絡安全分析工作的難度。在傳統(tǒng)的網(wǎng)絡安全分析系統(tǒng)中，應用結構化數(shù)據(jù)庫來完成數(shù)據(jù)的存儲，這樣的數(shù)據(jù)存儲方式需要很高的成本。一般為了降低成本，會先將數(shù)據(jù)處理，降低數(shù)據(jù)的大小，從而在控制成本的情況下，提高數(shù)據(jù)存儲的容量，但這同時也會讓數(shù)據(jù)在處理過程中，丟失一部分信息，如果數(shù)據(jù)入庫存儲的時間較長，很容易出現(xiàn)丟失的情況。而且，傳統(tǒng)的網(wǎng)絡安全分析系統(tǒng)在對于一些非結構化、內(nèi)容復雜的數(shù)據(jù)集的處理中，并不能發(fā)揮良好的作用，無論是分析速度還是查詢效率都非常差。這些問題在大數(shù)據(jù)時代的背景下非常明顯，必須得到有效解決。

大數(shù)據(jù)技術在網(wǎng)絡安全分析中的應用能夠起到良好的效果。首先，大數(shù)據(jù)技術能夠大幅提升網(wǎng)絡安全分析系統(tǒng)的數(shù)據(jù)存儲量。大數(shù)據(jù)技術即使在關于非結構化的海量復雜數(shù)據(jù)的處理中，依然能夠保證效率和有效性，從而在存儲大量數(shù)據(jù)的同時，保證數(shù)據(jù)信息的完整性。第二，大數(shù)據(jù)技術的應用能夠降低網(wǎng)絡安全分析系統(tǒng)的成本。大數(shù)據(jù)技術采用分布式數(shù)據(jù)庫，不僅在經(jīng)濟成本上遠低于結構化數(shù)據(jù)庫，而且對硬件要求不高，在性能相對較低的硬件設備上依然能夠穩(wěn)定運行，從而大幅降低網(wǎng)絡安全分析系統(tǒng)的構建與維護成本。第三，大數(shù)據(jù)技術的應用能夠提高網(wǎng)絡安全分析系統(tǒng)的運行效率。大數(shù)據(jù)技術的應用使得網(wǎng)絡安全分析系統(tǒng)能夠完成對異構數(shù)據(jù)的存儲與處理，而異構數(shù)據(jù)在存儲和查詢時非常迅速，這使得系統(tǒng)的數(shù)據(jù)信息分析處理速度進一步提高。第四，應用大數(shù)據(jù)技術能夠提高網(wǎng)絡安全分析系統(tǒng)的數(shù)據(jù)處理精度。應用大數(shù)據(jù)技術，能夠從多層級、多維度進行數(shù)據(jù)的關聯(lián)分析和處理，從而提高系統(tǒng)的數(shù)據(jù)處理精度。

2 網(wǎng)絡安全分析中應用大數(shù)據(jù)技術的作用

在網(wǎng)絡安全分析中，需要處理的數(shù)據(jù)主要包括日志和流量兩項，同時還有訪問、用戶行為、業(yè)務行為等相對較少的數(shù)據(jù)信息。在網(wǎng)絡安全分析中應用大數(shù)據(jù)技術，能夠有效優(yōu)化對各類數(shù)據(jù)的分析處理，通過統(tǒng)籌處理分散性的日志與數(shù)據(jù)，降低數(shù)據(jù)采集、分析處理的時間，從而提高網(wǎng)絡安全分析系統(tǒng)的效率；還能通過關聯(lián)分析多種安全信息，從多維度處理數(shù)據(jù)，找出其中可能存在的問題，從而提高安全分析的有效性。大數(shù)據(jù)技術在網(wǎng)絡安全分析中發(fā)揮的作用，主要在以下幾個方面體現(xiàn)。

（1）數(shù)據(jù)采集。應用大數(shù)據(jù)技術，能夠通過Flume、Scribe等工具，對數(shù)據(jù)進行分布式采集，這種高效的數(shù)據(jù)采集方式，能夠在每秒內(nèi)完成數(shù)百兆的數(shù)據(jù)采集，在對于日志數(shù)據(jù)信息的處理中，能夠發(fā)揮良好的作用。

（2）數(shù)據(jù)存儲。在網(wǎng)絡安全分析系統(tǒng)中，需要對安全數(shù)據(jù)進行存儲，應用大數(shù)據(jù)技術，能夠針對不同的數(shù)據(jù)類型，使用不同的存儲方式，從而提高數(shù)據(jù)查詢和存儲的有序性與效率。對于主要在查詢中發(fā)揮作用的日志信息等數(shù)據(jù)，應用列式存儲方式比較合適，能夠有效提高數(shù)據(jù)的查詢效率；對于主要用于分析處理的經(jīng)過標準化處理的數(shù)據(jù)，先使用分布式計算模式，對數(shù)據(jù)進行分析處理之后，產(chǎn)生分析結果，存放在列式存儲部分；對于即時的數(shù)據(jù)，使用流式計算比較合適，同樣在分析處理之后，產(chǎn)生分析記過，存放在列式存儲部分。

（3）數(shù)據(jù)查詢。應用大數(shù)據(jù)技術，可以在系統(tǒng)中以MapReduce為基礎構建查詢模塊，在數(shù)據(jù)查詢時，將指令分別置于相應的節(jié)點進行處理，在完成處理之后，整合各個節(jié)點的處理結果。這樣的數(shù)據(jù)查詢處理方式，能夠有效提高系統(tǒng)對于查詢指令的反應與處理速度。

（4）數(shù)據(jù)分析。網(wǎng)絡安全分析系統(tǒng)對于數(shù)據(jù)的分析可以分為兩個方面。其一，對于實時數(shù)據(jù)的分析。可以以流式計算為基礎，同時應用 CEP技術、關聯(lián)分析算法等，對實時數(shù)據(jù)進行即時的分析、監(jiān)控、處理，能夠在較短時間內(nèi)查找出數(shù)據(jù)中存在的異常；其二，對于統(tǒng)計結果、歷史數(shù)據(jù)的分析處理。這種分析處理對于時效性沒有太高的要求，可以通過分布式存儲與計算，并行應用多種數(shù)據(jù)處理技術，完成比較深入的數(shù)據(jù)離線處理，能夠有效完成風險分析、攻擊溯源等功能。

（5）復雜數(shù)據(jù)分析處理。應用大數(shù)據(jù)技術，能夠讓系統(tǒng)在數(shù)據(jù)的存儲、分析、查詢等方面都表現(xiàn)出良好的性能，在對復雜數(shù)據(jù)的分析處理中，能夠有效完成對多源異構數(shù)據(jù)、系統(tǒng)安全隱患以及關聯(lián)性攻擊行為的分析處理。例如，僵尸網(wǎng)絡是比較典型的一種網(wǎng)絡安全問題，對于這一問題的處理，應用大數(shù)據(jù)技術，不但能夠從流量和DNS訪問特性出發(fā)，還能進行發(fā)散性關聯(lián)分析，同時結合多方面的數(shù)據(jù)信息，從而達到全方位分析的效果，提高處理的有效性。又如，在系統(tǒng)存在漏洞時，可以關聯(lián)處理內(nèi)網(wǎng)的各個主機，綜合檢測安全隱患存在的具體位置。

3 基于大數(shù)據(jù)技術構建網(wǎng)絡安全系統(tǒng)

基于大數(shù)據(jù)技術構建的網(wǎng)絡安全系統(tǒng)，主要具備以下幾個模塊。第一，數(shù)據(jù)源模塊。系統(tǒng)通過分布式采集器，對系統(tǒng)內(nèi)的各個硬件設備和軟件進行行為信息采集，將結果置于存儲部分。隨著科技的發(fā)展，網(wǎng)絡安全防御系統(tǒng)的數(shù)據(jù)源越來越多，除了來自傳統(tǒng)的防火墻、入侵檢測等網(wǎng)絡安全部分，還有對服務器、存儲器等硬件基礎的維護與檢查，系統(tǒng)軟件、數(shù)據(jù)庫的分析檢查等。第二，數(shù)據(jù)采集與存儲模塊。應用大數(shù)據(jù)技術，可以通過數(shù)據(jù)和元數(shù)據(jù)分立的方法，優(yōu)化數(shù)據(jù)的存儲與采集，構建分布式數(shù)據(jù)基礎。分布式數(shù)據(jù)存儲方式，能夠自數(shù)據(jù)出現(xiàn)到刪除，完成穩(wěn)定的存儲和訪問功能。在數(shù)據(jù)量越來越大的今天，分布式數(shù)據(jù)存儲在網(wǎng)絡安全系統(tǒng)中發(fā)揮著不可替代的作用，能夠有效提高系統(tǒng)的數(shù)據(jù)存儲容量，提高數(shù)據(jù)庫的穩(wěn)定性。第三，數(shù)據(jù)分析模塊。應用大數(shù)據(jù)技術，能夠讓系統(tǒng)同時在實時數(shù)據(jù)分析和歷史數(shù)據(jù)分析中表現(xiàn)出優(yōu)秀的性能。在大數(shù)據(jù)的分布式處理基礎上構建的數(shù)據(jù)分析模塊，能夠提供穩(wěn)定而高效的數(shù)據(jù)分析處理功能，從而讓系統(tǒng)能夠在有效時間內(nèi)完成數(shù)據(jù)的多維度分析處理、聯(lián)合分析處理等。第四，數(shù)據(jù)展示模塊。這一模塊是從用戶體驗出發(fā)，讓用戶能夠通過這一模塊，更好地使用網(wǎng)絡安全系統(tǒng)，完成各項功能。當今時代，互聯(lián)網(wǎng)數(shù)據(jù)量的急劇增加，為網(wǎng)絡安全分析工作帶來了巨大壓力。在網(wǎng)絡安全系統(tǒng)中應用大數(shù)據(jù)技術，能夠在數(shù)據(jù)的采集、存儲、分析處理等方面有效地提高系統(tǒng)性能。基于大數(shù)據(jù)技術構建的網(wǎng)絡安全系統(tǒng)，能夠在網(wǎng)絡安全維護中發(fā)揮重要作用，值得深入研究和推廣應用。

[1]程學旗,靳小龍,王元卓.大數(shù)據(jù)系統(tǒng)和分析技術綜述[J].軟件學報，2014.

[2]孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算：關鍵技術及系統(tǒng)實例[J].軟件學報，2014.

[3]陳建昌.大數(shù)據(jù)環(huán)境下的網(wǎng)絡安全分析[J].中國新通信，2013.