探討網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

張瑞豐

（廣東勝通和科技服務(wù)有限公司，廣東 廣州 510665）

0 引言

網(wǎng)絡(luò)安全問題是互聯(lián)網(wǎng)運(yùn)用中最為緊要面臨的問題，隨著社會(huì)發(fā)展水平的提高和科技的進(jìn)步，傳統(tǒng)的網(wǎng)絡(luò)安全分析技術(shù)已經(jīng)不能適應(yīng)時(shí)代的需要，用戶的信息不能享有隱私性，網(wǎng)絡(luò)安全攻擊等現(xiàn)象頻繁出現(xiàn)，給社會(huì)經(jīng)濟(jì)造成了極大的不良影響，借此，對大數(shù)據(jù)技術(shù)的合理使用能夠?qū)⒕W(wǎng)絡(luò)安全隱患進(jìn)行精準(zhǔn)控制，并對潛在問題及早發(fā)現(xiàn)進(jìn)行預(yù)警，也是網(wǎng)絡(luò)安全分析的未來發(fā)展重點(diǎn)趨勢。

1 大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全分析平臺(tái)的建立

為了促進(jìn)大數(shù)據(jù)技術(shù)能夠在網(wǎng)絡(luò)安全分析中充分發(fā)揮作用，就要建構(gòu)一個(gè)完善的數(shù)據(jù)分析平臺(tái)，以便大數(shù)據(jù)技術(shù)能夠在網(wǎng)絡(luò)安全分析工作中發(fā)揮最大的作用。利用大數(shù)據(jù)技術(shù)建構(gòu)的網(wǎng)絡(luò)安全分析平臺(tái)如圖1所示。

圖1 大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)架構(gòu)

根據(jù)圖1 可以看出，大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全分析平臺(tái)主要從四個(gè)模塊進(jìn)行，分別是數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存、數(shù)據(jù)分析以及數(shù)據(jù)表現(xiàn)。數(shù)據(jù)采集層在整個(gè)分析平臺(tái)中處于最基層，是將網(wǎng)絡(luò)用戶的行為數(shù)據(jù)進(jìn)行采集整合，在大數(shù)據(jù)技術(shù)的支持下，這項(xiàng)工作能夠做到更高效。第二層的數(shù)據(jù)儲(chǔ)存，主要的工作就是為采集到的數(shù)據(jù)提供一個(gè)存儲(chǔ)平臺(tái)，以便為之后的分析和展示提供充足的理論基礎(chǔ)，幫助網(wǎng)絡(luò)安全分析工作維持基本的質(zhì)量保障。第三層即數(shù)據(jù)分析層，它對于網(wǎng)絡(luò)安全信息的分析不僅是來自原始數(shù)據(jù)的分析，還要分析相應(yīng)的關(guān)聯(lián)數(shù)據(jù)，以便找出網(wǎng)絡(luò)安全中潛在的攻擊隱患，為之后網(wǎng)絡(luò)安全分析工作的開展提供一定的參考指導(dǎo)。第四層也就是最終的數(shù)據(jù)表現(xiàn)層，也可以稱為數(shù)據(jù)展示層，這一層級能夠?qū)⒕W(wǎng)絡(luò)安全數(shù)據(jù)信息十分直觀的表現(xiàn)出來，但是這一層級的實(shí)現(xiàn)需要完善的安全分析技術(shù)以及可視化技術(shù)和風(fēng)險(xiǎn)預(yù)警技術(shù)，這三項(xiàng)技術(shù)的加持才能保證數(shù)據(jù)展示的全面，缺一不可。

在進(jìn)行網(wǎng)絡(luò)安全分析時(shí)，分析功能的使用是以數(shù)據(jù)采集作為基礎(chǔ)的，通過大數(shù)據(jù)對不同類型的網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行采集分類，再由數(shù)據(jù)分析層級按照分析規(guī)定實(shí)行其分析功能，對用戶的數(shù)據(jù)信息采集是實(shí)時(shí)的，要通過用戶在網(wǎng)絡(luò)上正在進(jìn)行的網(wǎng)絡(luò)活動(dòng)在線進(jìn)行，這增加了數(shù)據(jù)信息的時(shí)效性。傳統(tǒng)的原始數(shù)據(jù)采集利用的是離線方式，即在用戶已經(jīng)停止使用網(wǎng)絡(luò)后對其的網(wǎng)絡(luò)運(yùn)行軌跡采集分析。大數(shù)據(jù)技術(shù)可以將在線與離線二者進(jìn)行結(jié)合，利用Flume 技術(shù)來進(jìn)行雙向采集。

依據(jù)大數(shù)據(jù)技術(shù)建立的網(wǎng)絡(luò)安全分析管理平臺(tái)，主要是通過對攻擊路徑的監(jiān)測來對安全問題進(jìn)行預(yù)警，使用DDoS 技術(shù)，只要在平臺(tái)上預(yù)先設(shè)立程序，系統(tǒng)就會(huì)自動(dòng)對來訪的攻擊路徑進(jìn)行攔截，并且在此系統(tǒng)運(yùn)行期間，還會(huì)對各項(xiàng)網(wǎng)絡(luò)安全信息進(jìn)行自動(dòng)收集，拓寬攔截路徑，并將所獲取到的信息輸入安全管理平臺(tái)中，以便DDoS 系統(tǒng)在遭受威脅時(shí)，安全管理分析平臺(tái)能及時(shí)發(fā)現(xiàn)并作出補(bǔ)救措施。

2 數(shù)據(jù)技術(shù)的應(yīng)用

2.1 數(shù)據(jù)采集

網(wǎng)絡(luò)安全分析工作主要是對采集到的流量等數(shù)據(jù)進(jìn)行分析，將大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析之中，主要使用的采集工具就是Flume，這種工具的組成如圖2所示。

圖2 Flume 技術(shù)及其結(jié)構(gòu)組成

Flume 技術(shù)在進(jìn)行網(wǎng)絡(luò)安全分析數(shù)據(jù)的采集中能夠?qū)⒃诰€采集與離線采集充分結(jié)合，從而實(shí)現(xiàn)采集工作的系統(tǒng)化，并且這項(xiàng)采集技術(shù)同時(shí)包含了采集和存儲(chǔ)兩項(xiàng)功能，在實(shí)際的應(yīng)用中具有極高的效率。

2.2 數(shù)據(jù)查詢

在網(wǎng)絡(luò)安全分析中，對于數(shù)據(jù)的查詢還能充分運(yùn)用大數(shù)據(jù)技術(shù)，大數(shù)據(jù)技術(shù)能夠幫助網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行更加高效的查詢，這是基于大數(shù)據(jù)的計(jì)算分類特性，其自帶的檢索能力能夠?qū)⒕W(wǎng)絡(luò)安全分析系統(tǒng)中的數(shù)據(jù)結(jié)構(gòu)進(jìn)行不斷更新，所要查詢的網(wǎng)絡(luò)安全數(shù)據(jù)通過大數(shù)據(jù)的檢索端口，經(jīng)過初步的歸類計(jì)算后會(huì)根據(jù)數(shù)據(jù)的類型特點(diǎn)進(jìn)行分類，之后再進(jìn)行系統(tǒng)計(jì)算，計(jì)算后的結(jié)果將直接顯示在檢索界面上，方便了對網(wǎng)絡(luò)安全數(shù)據(jù)的查詢。

網(wǎng)絡(luò)安全數(shù)據(jù)的查詢運(yùn)用大數(shù)據(jù)后，其查詢手段變的更為便捷，且高效的查詢模式也能為客戶提供更加全面的數(shù)據(jù)信息，數(shù)據(jù)的準(zhǔn)確性也得到了極大優(yōu)化，并且通過大數(shù)據(jù)技術(shù)，網(wǎng)絡(luò)安全分析工作有了數(shù)據(jù)基礎(chǔ)的支撐，也能得到更好的推廣開展。

2.3 數(shù)據(jù)儲(chǔ)存

網(wǎng)絡(luò)安全分析數(shù)據(jù)具有傳播速度快和類型多樣的特點(diǎn)，基于這種特性，使得對于這一類數(shù)據(jù)的處理難度較高，而對于數(shù)據(jù)處理的不全面就會(huì)導(dǎo)致網(wǎng)絡(luò)安全分析工作無法得到有效開展。將大數(shù)據(jù)技術(shù)應(yīng)用到網(wǎng)絡(luò)安全分析平臺(tái)中，能夠極大程度的降低網(wǎng)絡(luò)安全分析數(shù)據(jù)的處理難度，并且大數(shù)據(jù)基于網(wǎng)絡(luò)環(huán)境，能夠?yàn)榫W(wǎng)絡(luò)安全分析數(shù)據(jù)提供更加廣闊的存儲(chǔ)空間，便于網(wǎng)絡(luò)安全分析工作有效開展。

將大數(shù)據(jù)技術(shù)引用到網(wǎng)絡(luò)安全分析平臺(tái)中，其主要的存儲(chǔ)工具是H Base，這種存儲(chǔ)工具具有空間大，檢索便捷等特點(diǎn)。其讀寫程式如圖3 所示。

圖3 H Base 讀寫流程

由圖3 可以看出，這類存儲(chǔ)工具能夠?qū)W(wǎng)絡(luò)安全分析數(shù)據(jù)進(jìn)行分類存儲(chǔ)，極大程度的滿足了對網(wǎng)絡(luò)安全分析數(shù)據(jù)的使用需求。

利用大數(shù)據(jù)技術(shù)將網(wǎng)絡(luò)安全分析數(shù)據(jù)進(jìn)行處理時(shí)，要根據(jù)不同的數(shù)據(jù)特點(diǎn)來使用不同的算法進(jìn)行計(jì)算，之后再利用分類計(jì)算的方式，再將分類計(jì)算結(jié)果進(jìn)行分析統(tǒng)計(jì)，形成最終的儲(chǔ)存報(bào)告。

2.4 數(shù)據(jù)分析

2.4.1 分析網(wǎng)絡(luò)流量

利用大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全進(jìn)行分析時(shí)，其操作流程為首先使用分析工具進(jìn)行數(shù)據(jù)分析，利用存儲(chǔ)工具對網(wǎng)絡(luò)端口的數(shù)據(jù)流進(jìn)行采集和監(jiān)控，之后對采集到的數(shù)據(jù)進(jìn)行分析統(tǒng)計(jì)，將其中潛在的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)進(jìn)行及時(shí)的排除，將隱患的可能發(fā)生扼殺在搖籃里。

在具體的分析過程中，首先利用Storm 等專業(yè)的數(shù)據(jù)采集技術(shù)對病毒和惡意瀏覽事件進(jìn)行規(guī)范化的數(shù)據(jù)采集。其次將采集到的信息利用Chukwa 分析工具進(jìn)行多角度分析，將數(shù)據(jù)中暗藏的風(fēng)險(xiǎn)進(jìn)行提煉，這種分析工具能夠?qū)W(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行有效的采集，并依照不同數(shù)據(jù)的特性通過分布式的采集方式，以高效的采集速度進(jìn)行，有效的提升了網(wǎng)絡(luò)安全數(shù)據(jù)的采集效率以及采集準(zhǔn)確性。

最后使用CC 攻擊檢測等方式，將采集到的含有安全隱患的信息進(jìn)一步檢測分析，判斷其中的危險(xiǎn)性，并結(jié)合當(dāng)時(shí)的網(wǎng)絡(luò)環(huán)境對發(fā)現(xiàn)的安全隱患進(jìn)行防范策略的制定，并使用相關(guān)防范工具，以保障安全隱患不會(huì)危及到網(wǎng)絡(luò)運(yùn)行安全。

2.4.2 分析APT 攻擊數(shù)據(jù)

針對性攻擊對計(jì)算機(jī)的網(wǎng)絡(luò)安全有著極高的威脅性，APT 攻擊就是其中的代表，我們做了2015—2019網(wǎng)絡(luò)遭受APT 的攻擊次數(shù)，如圖4 所示。

根據(jù)圖4 我們可以看出，隨著網(wǎng)絡(luò)環(huán)境使用的越來越廣，遭受APT 攻擊的次數(shù)也呈現(xiàn)了增長趨勢，APT攻擊比之其他的網(wǎng)絡(luò)安全威脅更加有針對性和潛伏性，并且影響時(shí)間較長，破壞性也極大。

圖4 2015—2019 年網(wǎng)絡(luò)遭受APT 攻擊數(shù)量

利用大數(shù)據(jù)技術(shù)能夠?qū)⒕W(wǎng)絡(luò)運(yùn)行中的訪問日志等流量進(jìn)行全面的監(jiān)控，進(jìn)而將潛伏在其中的APT 攻擊進(jìn)行發(fā)現(xiàn)找出，并且大數(shù)據(jù)具有自我學(xué)習(xí)的能力，可以根據(jù)既往的數(shù)據(jù)分析成果對APT 攻擊進(jìn)行針對性的防御機(jī)制的建立，并依據(jù)既往數(shù)據(jù)制定一個(gè)遭受APT 攻擊后的拯救措施，進(jìn)而達(dá)到預(yù)防的目的。大數(shù)據(jù)技術(shù)的使用還能將網(wǎng)絡(luò)安全分析的各環(huán)節(jié)進(jìn)行實(shí)時(shí)掌控，對欠缺部分進(jìn)行及時(shí)的改進(jìn)，切實(shí)有效的幫助網(wǎng)絡(luò)安全提升到一個(gè)新高度。

2.4.3 分析安全日志

對安全日志的分析是網(wǎng)絡(luò)安全分析的核心關(guān)鍵，也是極為復(fù)雜的一項(xiàng)工作，大數(shù)據(jù)技術(shù)在目前的網(wǎng)絡(luò)安全日志分析中主要使用的有3 種形式。

（1）應(yīng)用QRadar 安全管理平臺(tái)，目前在多數(shù)西方國家，利用大數(shù)據(jù)分析安全日志已經(jīng)十分普遍，其使用的就是這種安全管理平臺(tái)，它能將網(wǎng)絡(luò)中大量的日志源進(jìn)行集中整合，并在整合的基礎(chǔ)上將原始的日志信息進(jìn)行標(biāo)準(zhǔn)化處理，以便將網(wǎng)絡(luò)安全中可能存在的隱患揭露的更加直觀，并且這樣直觀清晰地?cái)?shù)據(jù)處理能夠幫助網(wǎng)絡(luò)安全分析工作更加具有針對性和準(zhǔn)確性。

（2）將安全管理平臺(tái)與威脅數(shù)據(jù)統(tǒng)計(jì)進(jìn)行整合利用，將二者進(jìn)行結(jié)合能夠?qū)⒕W(wǎng)絡(luò)平臺(tái)中存在的惡意地址以及黑客軌跡等進(jìn)行羅列，幫助網(wǎng)絡(luò)安全管理更加有條理性。

（3）使用數(shù)據(jù)分析與數(shù)據(jù)存儲(chǔ)相結(jié)合的數(shù)據(jù)倉庫，能夠?qū)⒕W(wǎng)絡(luò)安全分析進(jìn)行流程化的管理，并且從多方下手，分析結(jié)果也更為全面。并且基于數(shù)據(jù)倉庫的龐大，其在網(wǎng)絡(luò)安全信息分析中能夠擁有更高的效率，這是傳統(tǒng)的網(wǎng)絡(luò)安全分析手段達(dá)不到的，最為明顯的一點(diǎn)就是分析時(shí)間，傳統(tǒng)網(wǎng)絡(luò)分析技術(shù)需要用30min 才能完成的分析利用數(shù)據(jù)倉庫只需要1min，效率之高令人贊嘆。

2.5 數(shù)據(jù)處理

傳統(tǒng)網(wǎng)絡(luò)安全分析中對于復(fù)雜數(shù)據(jù)的處理分析是十分費(fèi)時(shí)費(fèi)力的，效率不高且準(zhǔn)確性低，并且由于復(fù)雜數(shù)據(jù)處理起來的難度使得最終的處理結(jié)果只在表面而沒有進(jìn)行深度挖掘，更無法發(fā)現(xiàn)其中隱藏的潛在價(jià)值，例如航空航天等高科技數(shù)據(jù)信息。將大數(shù)據(jù)技術(shù)進(jìn)行引用，基于大數(shù)據(jù)技術(shù)龐大的運(yùn)算能力，能夠幫助網(wǎng)絡(luò)安全分析進(jìn)行時(shí)將其中潛在的具有重大價(jià)值的信息挖掘提煉出來，并將其中的潛在風(fēng)險(xiǎn)進(jìn)行摘除，充分保證了網(wǎng)絡(luò)整體環(huán)境的平穩(wěn)流暢。

隨著網(wǎng)絡(luò)技術(shù)的逐漸進(jìn)步，復(fù)雜數(shù)據(jù)也會(huì)越來越多的出現(xiàn)，伴隨著復(fù)雜數(shù)據(jù)出現(xiàn)的就是潛藏在其中的僵尸網(wǎng)絡(luò)，由于隱匿在復(fù)雜數(shù)據(jù)的環(huán)境下，傳統(tǒng)的網(wǎng)絡(luò)安全分析并不能發(fā)現(xiàn)，以致網(wǎng)絡(luò)安全隱患出現(xiàn)，大數(shù)據(jù)技術(shù)能夠?qū)?shù)據(jù)信息進(jìn)行多方面的分析，通過多角度的探查能夠搜尋到隱匿在復(fù)雜網(wǎng)絡(luò)中的安全隱患，并將探查到的安全隱患進(jìn)行發(fā)散性的關(guān)聯(lián)分析，從而揪出其他潛在的隱患并進(jìn)行針對性的處理。大數(shù)據(jù)技術(shù)能夠確保網(wǎng)絡(luò)安全分析中各類型的復(fù)雜數(shù)據(jù)都能得到精準(zhǔn)分析，以保障網(wǎng)絡(luò)安全分析工作的高質(zhì)高效。

3 結(jié)語

綜上所述，我們可以發(fā)現(xiàn)大數(shù)據(jù)技術(shù)的應(yīng)用能夠?yàn)榫W(wǎng)絡(luò)安全分析帶來更多的可能性，在當(dāng)下網(wǎng)絡(luò)不斷發(fā)展的大環(huán)境下，網(wǎng)路上的信息存儲(chǔ)會(huì)越來越多，這些信息關(guān)系著客戶的隱私和財(cái)產(chǎn)安全，只有強(qiáng)化網(wǎng)絡(luò)安全，才能充分保障每一個(gè)上網(wǎng)用戶的權(quán)益，基于此，必須正確認(rèn)識(shí)大數(shù)據(jù)技術(shù)的優(yōu)勢，將其進(jìn)行充分發(fā)揮，為網(wǎng)絡(luò)安全的穩(wěn)定鋪墊一個(gè)良好的平臺(tái)。