網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

付盼晴 褚含冰

摘要：現(xiàn)階段網(wǎng)絡(luò)信息數(shù)據(jù)存有量不斷增長且速度加快，對目前的網(wǎng)絡(luò)安全分析工作提出了更高的要求，而大數(shù)據(jù)技術(shù)作為一種新型技術(shù)，在網(wǎng)絡(luò)安全分析工作中得到了廣泛應(yīng)用.本文從大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的意義、應(yīng)用情況和基于大數(shù)據(jù)技術(shù)應(yīng)用的網(wǎng)絡(luò)安全分析平臺三大方面，對網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用進行了深入探析.

關(guān)鍵詞：網(wǎng)絡(luò)；安全分析；大數(shù)據(jù)技術(shù)；應(yīng)用；信息數(shù)據(jù)

中圖分類號：TP393 文獻標(biāo)識碼：A 文章編號：1673-260X（2019）03-0054-03

伴隨著現(xiàn)如今計算機網(wǎng)絡(luò)技術(shù)的不斷發(fā)展升級，網(wǎng)絡(luò)世界中的數(shù)據(jù)存有量呈現(xiàn)出逐步擴大趨勢，在信息數(shù)據(jù)向多元化、復(fù)雜化方向發(fā)展的同時，也暴露出了諸多網(wǎng)絡(luò)安全問題，而這一問題與人們的個人隱私乃至于國家安全息息相關(guān)，所以有必要提高對網(wǎng)絡(luò)安全分析工作的重視度.傳統(tǒng)的網(wǎng)絡(luò)安全防護技術(shù)在當(dāng)前形勢下顯得不夠完善，過多漏洞的暴露也導(dǎo)致預(yù)防效果減弱，對于信息安全而言形成了嚴重威脅[1].而大數(shù)據(jù)技術(shù)作為一種新型技術(shù)，有信息吞吐量大、內(nèi)容更新速度快且非結(jié)構(gòu)化的特點，加之現(xiàn)如今大數(shù)據(jù)技術(shù)一直處在升級改進形勢中，在網(wǎng)絡(luò)安全分析工作中得到了廣泛應(yīng)用，能夠全面提升網(wǎng)絡(luò)安全性.

1 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用意義

1.1 提升數(shù)據(jù)存儲容量

面對非結(jié)構(gòu)化的海量且復(fù)雜數(shù)據(jù)的分析處理，大數(shù)據(jù)仍舊能夠確保其高效性，在保證數(shù)據(jù)信息的大容量存儲的同時，還能夠保障數(shù)據(jù)信息的完整與安全.

1.2 有效降低投入成本

分布式數(shù)據(jù)庫是大數(shù)據(jù)技術(shù)的主要特點，這一數(shù)據(jù)庫形式的投入成本要比結(jié)構(gòu)化數(shù)據(jù)庫的投入成本更低，同時對硬件標(biāo)準(zhǔn)不做過高要求，即便是硬件設(shè)備性能偏低，同樣可保證運行的穩(wěn)定性，從而確保網(wǎng)絡(luò)安全分析平臺構(gòu)建的經(jīng)濟性.

1.3 提升運行效率

通過應(yīng)用大數(shù)據(jù)技術(shù)，可保證網(wǎng)絡(luò)安全分析平臺實現(xiàn)對異構(gòu)數(shù)據(jù)的有效分析處理與存儲，并且速度極快，大幅提升了數(shù)據(jù)信息的分析處理效率；

1.4 提升數(shù)據(jù)處理精度

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)可收獲到顯著效果，有著重要的應(yīng)用意義.大數(shù)據(jù)技術(shù)的應(yīng)用可從不同層級、不同角度對數(shù)據(jù)信息進行關(guān)聯(lián)分析，以此提升網(wǎng)絡(luò)安全分析平臺對數(shù)據(jù)處理的準(zhǔn)確度.

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)應(yīng)用中可以將網(wǎng)絡(luò)日志數(shù)據(jù)與流量數(shù)據(jù)進行數(shù)據(jù)整合，并且通過大數(shù)據(jù)采集與挖掘功能的發(fā)揮，去實現(xiàn)對數(shù)據(jù)的存儲聚集，進而通過大數(shù)據(jù)技術(shù)對所有數(shù)據(jù)展開檢索，將其中暗藏安全隱患的數(shù)據(jù)剔除，最終保障網(wǎng)絡(luò)世界的安全性[2].大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，大大縮減了分析工作的時間，同時降低了信息數(shù)據(jù)的遺漏概率，由傳統(tǒng)的被動防御向主動防御升級.

2.1 采集數(shù)據(jù)信息

大數(shù)據(jù)技術(shù)可使用Chukwa、Flume、Scribe等工具開展數(shù)據(jù)信息的采集工作，一方面可采取分布式采集法去做好日志數(shù)據(jù)采集工作，該采集方法在工作效率方面表現(xiàn)良好；另一方面可采取鏡像數(shù)據(jù)策略方法對流量數(shù)據(jù)予以采集，相對來講該采集方法全面性表現(xiàn)更好.

2.2 存儲數(shù)據(jù)信息

數(shù)量多、種類復(fù)雜、應(yīng)用方式多元化等是大數(shù)據(jù)具備的基本特點，為了確保網(wǎng)絡(luò)安全分析能夠符合大數(shù)據(jù)存儲的需求，則需要進一步提升網(wǎng)絡(luò)安全分析的工作效率，因此需要用到多樣化的存儲手段對各類數(shù)據(jù)信息進行有效存儲.比如，針對日志信息數(shù)據(jù)等內(nèi)容的檢索有用原始信息數(shù)據(jù)的需求，在此應(yīng)用Hbase手段存儲數(shù)據(jù)，此方法的數(shù)據(jù)處理速度較快；對經(jīng)過處理的安全信息數(shù)據(jù)，選用Hahoop分布法展開數(shù)據(jù)構(gòu)架計算，并存儲運算結(jié)果在列式存儲中[3]；如果安全信息數(shù)據(jù)需繼續(xù)實時化分析，可繼續(xù)用Spark或是Stom流式計算法對數(shù)值計算分析，并進一步將存儲運算結(jié)果在列式存儲中.

2.3 檢索數(shù)據(jù)信息

可采取基于MapReduce的查詢檢索框架來實現(xiàn)，主要將數(shù)據(jù)查詢情況分布在不同的計算節(jié)點中，應(yīng)用時用戶輸入相應(yīng)檢索信息，這一架構(gòu)即可以將檢索信息自動傳送不同的分析節(jié)點展開處理，用分布式計算方式來提升安全數(shù)據(jù)的檢索效率，以此來保證海量的原始安全數(shù)據(jù)條件化查詢速度提升至秒級響應(yīng).

2.4 分析數(shù)據(jù)信息

對于實時數(shù)據(jù)的分析，可采用Spark或是Stom等流式計算法用為數(shù)據(jù)信息分析的根本，并通過電聯(lián)分析、CEP技術(shù)的互相融合，來達到實時的監(jiān)控分析數(shù)據(jù)信息，此分析方法能夠及時且精準(zhǔn)地捕捉到網(wǎng)絡(luò)中出現(xiàn)的異常行為數(shù)據(jù)；而針對非實時性數(shù)據(jù)而言，則可采取分布式計算或是存儲的手段，還可與多種數(shù)據(jù)信息處理技術(shù)相結(jié)合，展開更深層次的離線處理，目的則是為了全面分析數(shù)據(jù)信息的潛藏風(fēng)險，并找出影響安全性的攻擊源頭.

2.5 分析復(fù)雜數(shù)據(jù)信息

就數(shù)據(jù)信息的存儲、檢索與分析等性能而言，在大數(shù)據(jù)技術(shù)的應(yīng)用加持下有了大幅提升，尤其是針對負載數(shù)據(jù)信息的分析，大數(shù)據(jù)技術(shù)不僅能夠?qū)⒍嘣串悩?gòu)數(shù)據(jù)精準(zhǔn)且快速地挖掘出來并予以分析，同時還能對整個系統(tǒng)中暗藏的安全危機與攻擊性行為有效分析.其中，針對僵尸網(wǎng)絡(luò)首先基于DNS訪問特征與流量數(shù)據(jù)信息著手，綜合數(shù)據(jù)源展開關(guān)聯(lián)分析，這樣的分析策略不僅效率高，且更為全面[4].此外，倘若系統(tǒng)當(dāng)中還存有隱藏的安全問題，還需對關(guān)聯(lián)主機進行全面復(fù)查，確認相同問題是否存在，之后便可采取針對性措施補救，進而確保整個網(wǎng)絡(luò)系統(tǒng)的安全性.

3 基于大數(shù)據(jù)技術(shù)應(yīng)用的網(wǎng)絡(luò)安全分析平臺

通過對大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中應(yīng)用可知，底層大數(shù)據(jù)采集、存儲、分析與檢索等各類技術(shù)的相互融合，能夠全面提升安全分析工作效率，但要想從海量安全數(shù)據(jù)信息中準(zhǔn)確捕捉到安全隱患，還需結(jié)合不同的攻擊場景去設(shè)置關(guān)聯(lián)分析方法，進而在大數(shù)據(jù)技術(shù)的分析與存儲優(yōu)勢發(fā)揮下，更深層次地對數(shù)據(jù)源展開關(guān)聯(lián)分析.

3.1 應(yīng)用大數(shù)據(jù)技術(shù)搭建網(wǎng)絡(luò)安全分析平臺

3.1.1 數(shù)據(jù)源模塊.平臺利用分布式采集器對內(nèi)部各硬件設(shè)備與軟件展開信息采集操作，之后將結(jié)果存儲在存儲部分當(dāng)中.隨著計算機數(shù)據(jù)處理的水平不停地提升，網(wǎng)絡(luò)安全系統(tǒng)中存儲的數(shù)據(jù)信息源逐漸增多，不僅有以前防火墻、訪問檢測等部分，還包含服務(wù)器、存儲器等計算機硬件設(shè)備的運維以及對平臺軟件、數(shù)據(jù)庫等維護信息.

3.1.2 數(shù)據(jù)采集和存儲模塊.基于大數(shù)據(jù)技術(shù)，可將數(shù)據(jù)與原始數(shù)據(jù)進行分離，能夠?qū)?shù)據(jù)信息的采集與存儲進行合理優(yōu)化，從而獲得分布式數(shù)據(jù)基礎(chǔ).這類數(shù)據(jù)存儲方式可確保數(shù)據(jù)從誕生到消失，都能夠?qū)崿F(xiàn)正常穩(wěn)定的訪問與存儲，這一點對于現(xiàn)如今數(shù)據(jù)量逐漸擴張的時代而言，在確保網(wǎng)絡(luò)安全中發(fā)揮著重要作用，可全面提升網(wǎng)絡(luò)安全分析平臺的數(shù)據(jù)存儲容量及數(shù)據(jù)庫的穩(wěn)定性.

3.1.3 數(shù)據(jù)分析模塊.大數(shù)據(jù)技術(shù)的應(yīng)用可確保平臺在分析實時數(shù)據(jù)與歷史數(shù)據(jù)的過程中都能體現(xiàn)出良好的工作效率.基于大數(shù)據(jù)分布式處理手段，進行數(shù)據(jù)分析模塊的搭建，其數(shù)據(jù)分析處理能力會更加高效且穩(wěn)定，進而確保平臺能夠在短時間內(nèi)運算完一系列的高難度數(shù)據(jù)分析處理，像多維度與聯(lián)合分析處理等類.

3.1.4 數(shù)據(jù)呈現(xiàn)模塊.此模塊最為重視的是用戶體驗，保證用戶通過該模塊可高效地應(yīng)用網(wǎng)絡(luò)安全分析平臺，確保各項功能得以實現(xiàn).

3.2 網(wǎng)絡(luò)安全分析平臺中應(yīng)用到的大數(shù)據(jù)技術(shù)

3.2.1 數(shù)據(jù)采集技術(shù).在搭建的網(wǎng)絡(luò)安全分析平臺中，所采用的數(shù)據(jù)采集技術(shù)通常是以Stom、Kafka、Flume等方式實現(xiàn)數(shù)據(jù)信息采集功能的，比如Flume則負責(zé)采集安全數(shù)據(jù)，同時實現(xiàn)對安全數(shù)據(jù)信息的整合與傳送，相較于其他方式而言，有著更高的可靠性與實用性，之后便可展開數(shù)據(jù)定制，保證數(shù)據(jù)傳送者能夠采集到不同源數(shù)據(jù)信息[5].而在處理流式數(shù)據(jù)的過程中，Kafka則能為數(shù)據(jù)采集和流式數(shù)據(jù)處理提供重要緩存.

3.2.2 數(shù)據(jù)存儲技術(shù).在應(yīng)用大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺中的數(shù)據(jù)存儲可以HDFS的形式存在，這一技術(shù)有著吞吐量大、容錯性高的優(yōu)勢，能夠保證數(shù)據(jù)信息存儲的完整性與安全性.

3.2.3 數(shù)據(jù)分析技術(shù).重點采用了Hive的手段去分析數(shù)據(jù)，這一技術(shù)中的HiveQL語言有助于提高HDFS對非結(jié)構(gòu)式數(shù)據(jù)的檢索工作效率.另外技術(shù)的運用還能遵循數(shù)據(jù)信息的類別差異進行分析處理，用構(gòu)建結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的數(shù)據(jù)安全事件關(guān)系序列庫，進而全面提高數(shù)據(jù)信息的復(fù)雜程度，保證了數(shù)據(jù)信息的安全性.同時，這一數(shù)據(jù)分析技術(shù)還能夠在大體量數(shù)據(jù)信息中捕捉到安全隱患，同樣大幅度降低了網(wǎng)絡(luò)潛藏的安全風(fēng)險.

4 結(jié)束語

綜上分析可知，計算機大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的高效應(yīng)用，顯著地提高了安全分析工作效果.伴隨著互聯(lián)網(wǎng)技術(shù)在生活、生產(chǎn)中的深入應(yīng)用，互聯(lián)網(wǎng)信息數(shù)據(jù)的體量也在逐年的不斷增加，這也對目前的網(wǎng)絡(luò)安全分析工作提出了更高的要求，隨著大數(shù)據(jù)技術(shù)的深入運用，一方面提升了計算機互聯(lián)網(wǎng)數(shù)據(jù)的處理速度，同時也為新時期更為安全的網(wǎng)絡(luò)數(shù)據(jù)分析平臺增加了更為穩(wěn)定的維護基礎(chǔ).文章通過對網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用進行深入探析，希望能夠為相關(guān)從業(yè)人員提供參考與借鑒.

參考文獻：

〔1〕吳世嘉，李言鵬.大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（08）：56+76.

〔2〕劉德松.大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全管理中的應(yīng)用分析[J].通訊世界，2018（06）：110-111.

〔3〕張寧，盛武.基于CiteSpace的大數(shù)據(jù)時代信息安全研究現(xiàn)狀[J].華北水利水電大學(xué)學(xué)報（社會科學(xué)版），2018（03）：156-160.

〔4〕費思源.大數(shù)據(jù)技術(shù)在配電網(wǎng)中的應(yīng)用綜述[J].中國電機工程學(xué)報，2018（01）：85-96+345.

〔5〕王長杰，王衛(wèi)華.大數(shù)據(jù)時代下信息安全保護研究[J].清遠職業(yè)技術(shù)學(xué)院學(xué)報，2016（01）：42-47.