試論網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用

◆佟 瑤

（遼東學(xué)院信息工程學(xué)院信息管理與信息系統(tǒng)系 遼寧 118000）

試論網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用

◆佟 瑤

（遼東學(xué)院信息工程學(xué)院信息管理與信息系統(tǒng)系 遼寧 118000）

網(wǎng)絡(luò)安全分析工作直接影響數(shù)據(jù)儲存、數(shù)據(jù)傳輸?shù)热蝿?wù)的安全性和有效性。基于此，本文主要針對當(dāng)前網(wǎng)絡(luò)安全分析現(xiàn)狀進(jìn)行分析，對大數(shù)據(jù)技術(shù)在數(shù)據(jù)采集、數(shù)據(jù)查詢、數(shù)據(jù)存儲以及數(shù)據(jù)處理等網(wǎng)絡(luò)安全分析工作中的應(yīng)用進(jìn)行細(xì)化分析，以期在豐富網(wǎng)絡(luò)安全分析方面研究的同時，為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的實(shí)踐應(yīng)用提供可靠的理論參照依據(jù)。

網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；數(shù)據(jù)采集

0 前言

在互聯(lián)網(wǎng)不斷普及的背景中，網(wǎng)絡(luò)安全分析工作產(chǎn)生了較為明顯的變化。這種變化主要體現(xiàn)在以下幾方面：第一，數(shù)據(jù)分析方法方面。互聯(lián)網(wǎng)在人們?nèi)粘９ぷ鳌⑸钪械玫搅藦V泛的應(yīng)用，因此，網(wǎng)絡(luò)安全分析中的數(shù)據(jù)量、數(shù)據(jù)種類也產(chǎn)生了極大的變化。為了滿足分析要求，需運(yùn)用多維分析方法開展網(wǎng)絡(luò)安全分析工作。第二，分析難度方面。從本質(zhì)角度來講，可以將網(wǎng)絡(luò)安全分析看成是采集數(shù)據(jù)、處理數(shù)據(jù)的過程。當(dāng)數(shù)據(jù)本身的傳遞速度及數(shù)據(jù)量發(fā)生變化時，網(wǎng)絡(luò)安全分析中的數(shù)據(jù)采集速度、處理速度也需要隨之變動。因此，當(dāng)前網(wǎng)絡(luò)分析的難度相對較高。

1 網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用

這里主要從以下幾方面入手，對網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用進(jìn)行分析和研究：

1.1 數(shù)據(jù)采集方面

網(wǎng)絡(luò)安全分析的數(shù)據(jù)對象主要包含流量、日志這兩種。大數(shù)據(jù)技術(shù)的引入可以將網(wǎng)絡(luò)安全分析中的數(shù)據(jù)采集工作變得更加快捷：即運(yùn)用Chukwa等工具，參照日志、流量數(shù)據(jù)的類型，通過分布采集的方式高速完成數(shù)據(jù)信息的采集。與傳統(tǒng)技術(shù)相比，大數(shù)據(jù)技術(shù)的應(yīng)用可以有效保障數(shù)據(jù)采集的完善性，且全流量數(shù)據(jù)的準(zhǔn)確性能夠得到有效保障。

1.2 數(shù)據(jù)查詢方面

在數(shù)據(jù)查詢方面，大數(shù)據(jù)技術(shù)的應(yīng)用可將MapReduce作為數(shù)據(jù)檢索的基本架構(gòu)，參照實(shí)際要求向所有分析節(jié)點(diǎn)發(fā)送數(shù)據(jù)查詢請求主語。當(dāng)分析節(jié)點(diǎn)接受到這一請求后，可通過分布式并行計(jì)算方法判斷自身節(jié)點(diǎn)是否存在查詢所需數(shù)據(jù)。若存在，將滿足MapReduce的的查詢請求，為其顯示所需流量、日志等相關(guān)數(shù)據(jù)信息。在這種網(wǎng)絡(luò)安全分析模式下，數(shù)據(jù)的查詢、檢索速度將發(fā)生顯著提升。對于網(wǎng)絡(luò)安全分析人員而言，大數(shù)據(jù)技術(shù)的應(yīng)用可有效提高其工作效率，減輕其工作壓力。

1.3 數(shù)據(jù)存儲方面

在傳統(tǒng)網(wǎng)絡(luò)安全分析中，數(shù)據(jù)存儲的難度主要在于數(shù)據(jù)的高速傳輸及多樣化的數(shù)據(jù)種類上。大數(shù)據(jù)技術(shù)的應(yīng)用通過提供不同儲存方式的工作模式，滿足網(wǎng)絡(luò)安全分析工作的數(shù)據(jù)存儲需求。以供檢索的原始安全數(shù)據(jù)（如流量歷史數(shù)據(jù)等），大數(shù)據(jù)技術(shù)借助Hbase列式儲存方法，發(fā)揮該方法的快速索引優(yōu)勢，快速響應(yīng)數(shù)據(jù)檢索需求，完成原始安全數(shù)據(jù)的分類化儲存[1]。從大數(shù)據(jù)技術(shù)儲存原始安全數(shù)據(jù)的流程來看：大數(shù)據(jù)技術(shù)按照統(tǒng)一標(biāo)準(zhǔn)對原始安全數(shù)據(jù)進(jìn)行處理后，利用Hahoop分布式開展構(gòu)架計(jì)算，根據(jù)各計(jì)算節(jié)點(diǎn)的特征完成原始安全數(shù)據(jù)的分類，進(jìn)行腳本分析，最后通過對安全數(shù)據(jù)的挖掘處理，制作出數(shù)據(jù)統(tǒng)計(jì)報告，并將結(jié)果置于列式中進(jìn)行儲存。與常規(guī)分析不同的是，若網(wǎng)絡(luò)安全分析工作要求實(shí)時開展數(shù)據(jù)分析人物，則利用大數(shù)據(jù)技術(shù)分析原始安全數(shù)據(jù)的流程將轉(zhuǎn)化為：通過Spark等相關(guān)流式計(jì)算方法，事先將待分析原始安全數(shù)據(jù)置于對應(yīng)計(jì)算節(jié)點(diǎn)上。在實(shí)時分析過程中，當(dāng)安全數(shù)據(jù)流經(jīng)對應(yīng)節(jié)點(diǎn)時，該計(jì)算節(jié)點(diǎn)將自動開展數(shù)據(jù)分析工作，將分析結(jié)果轉(zhuǎn)化為安全警告及數(shù)據(jù)統(tǒng)計(jì)成果，最終將所得安全數(shù)據(jù)分析結(jié)果存放至流式存儲內(nèi)部。

1.4 數(shù)據(jù)處理方面

在網(wǎng)絡(luò)安全分析中，基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)處理工作是通過多種不同的處理技術(shù)及分析技術(shù)完成的。以實(shí)時數(shù)據(jù)分析為例，可將Storm流式計(jì)算架構(gòu)作為實(shí)時分析的基礎(chǔ)，借助電聯(lián)分析計(jì)算法、復(fù)雜事件處理法共同對來自用戶的實(shí)時安全數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)技術(shù)的應(yīng)用可以發(fā)揮數(shù)據(jù)實(shí)時監(jiān)控功能及數(shù)據(jù)內(nèi)存實(shí)時分析功能，精確捕捉網(wǎng)絡(luò)安全分析海量數(shù)據(jù)中的異常行為，并對異常行為進(jìn)行抑制和處理，有效保障用戶的數(shù)據(jù)安全及數(shù)據(jù)傳輸安全。

2 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺構(gòu)建

為了改善網(wǎng)絡(luò)安全分析質(zhì)量，保障數(shù)據(jù)傳輸安全，可運(yùn)用大數(shù)據(jù)技術(shù)，構(gòu)建具有良好安全分析、檢測功能的網(wǎng)絡(luò)安全平臺。

2.1 網(wǎng)絡(luò)安全平臺架構(gòu)

基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺架構(gòu)主要由以下幾個要素構(gòu)成：第一，數(shù)據(jù)呈現(xiàn)層。該層通過安全度量技術(shù)、安全預(yù)警技術(shù)以及可視化引擎等完成原始安全數(shù)據(jù)的相關(guān)處理任務(wù)。第二，數(shù)據(jù)挖掘分析層。該層主要通過對流量、日志等數(shù)據(jù)的聚類分析、機(jī)器學(xué)習(xí)、關(guān)聯(lián)分析以及統(tǒng)計(jì)分析等，挖掘海量數(shù)據(jù)、多源異構(gòu)數(shù)據(jù)中攻擊行為的特征，為網(wǎng)絡(luò)安全分析工作提供良好的數(shù)據(jù)基礎(chǔ)。第三，大數(shù)據(jù)存儲層。該層主要負(fù)責(zé)對不同類型數(shù)據(jù)進(jìn)行分類存儲，以便后續(xù)數(shù)據(jù)挖掘分析、數(shù)據(jù)檢索等工作的順利展開。第四，數(shù)據(jù)采集層。該層根據(jù)數(shù)據(jù)類型，如用戶行為數(shù)據(jù)、DNS流量數(shù)據(jù)、日志數(shù)據(jù)、鏡像流量數(shù)據(jù)等，分別開展采集工作。與傳統(tǒng)采集流程相比，基于大數(shù)據(jù)技術(shù)的采集效率相對較高，整個采集階段所用時間相對較少。

2.2 實(shí)施安全分析

（1）DDoS攻擊路徑準(zhǔn)實(shí)時監(jiān)測

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺的DDoS攻擊路徑準(zhǔn)實(shí)時監(jiān)測流程如下所示：第一，新建空活節(jié)點(diǎn)隊(duì)列A、空攻擊路徑鏈表B；第二，將攻擊告警作為參照對象，提取精確的攻擊源 IP地址等相關(guān)信息，利用上述信息開展關(guān)聯(lián)查詢，獲取精確的攻擊流量大小、流經(jīng)路由器等內(nèi)容。第三，上述要素確定完成后，可根據(jù)所確定信息內(nèi)容，進(jìn)行安全處理。例如，多攻擊源地址位于路由器用戶側(cè)端口輸入流量中，則需將攻擊對象路由器的相關(guān)連接關(guān)系、攻擊源子網(wǎng)等信息納入攻擊路徑鏈表B中[3]。第四，將攻擊對象路由器C作為起點(diǎn)，逐漸開展訪問工作。此時，第一個被訪問的節(jié)點(diǎn)為C。該節(jié)點(diǎn)的訪問完成后，在該節(jié)點(diǎn)的基礎(chǔ)上進(jìn)行擴(kuò)展，利用關(guān)聯(lián)技術(shù)分析網(wǎng)絡(luò)拓?fù)潢P(guān)系，將于該節(jié)點(diǎn)相鄰的所有節(jié)點(diǎn)識別出來，并逐一對其進(jìn)行訪問。按照隨機(jī)性原則從相鄰節(jié)點(diǎn)中任意抽取一個，重復(fù)上述流程再次進(jìn)行擴(kuò)展分析，直至所有節(jié)點(diǎn)均被分析完成。

（2）檢測控制源、被入侵主機(jī)

基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺檢測控制源、被入侵主機(jī)的流程為：挖掘DDoS攻擊歷史信息，將最初發(fā)動攻擊的IP地址信息識別出來，并將其列入疑似被入侵主機(jī)。從 DNS日志數(shù)據(jù)中查詢疑似被入侵主機(jī)的日志記錄，并將所得查詢結(jié)果于惡意 URL庫進(jìn)行合理比對。若 URL庫中有匹配記錄，可確定該主機(jī)為被控制主機(jī)。此外，在被攻擊期間，還可以利用多源數(shù)據(jù)關(guān)聯(lián)分析技術(shù)，找出單次攻擊期內(nèi)與參與攻擊 IP地址信息之間存在交互網(wǎng)絡(luò)流量關(guān)聯(lián)的 IP地址，將其看做疑似控制主機(jī)，借助該主機(jī)的信息利用網(wǎng)絡(luò)安全平臺的數(shù)據(jù)檢索功能，找出與其之間存在通信記錄的主機(jī)，判斷為被控制主機(jī)，針對這2個主機(jī)制定相應(yīng)的安全防范方案。

3 結(jié)語

通過上述分析可知，大數(shù)據(jù)技術(shù)的應(yīng)用可以有效提升網(wǎng)絡(luò)安全分析工作的效率，改善其工作質(zhì)量。為了保障數(shù)據(jù)傳輸?shù)陌踩M(jìn)行，還可以將大數(shù)據(jù)技術(shù)作為基本要素，構(gòu)建基于大數(shù)據(jù)的網(wǎng)絡(luò)安全平臺，利用平臺的綜合分析功能有效監(jiān)測攻擊路徑，并通過對被入侵主機(jī)通信記錄的關(guān)聯(lián)分析，識別控制主機(jī)，制定防范方案，進(jìn)而保障其他主機(jī)數(shù)據(jù)傳輸工作的順利進(jìn)行。

[1]王帥，汪來富，金華敏等．網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]．電信科學(xué)，2015．

[2]賈孫玉．淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]．網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017．

[3]崔玉禮，黃麗君．網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J]．網(wǎng)絡(luò)空間安全，2016．