大數據技術在網絡安全分析中的應用研究

摘? 要：隨著網絡時代和數字經濟時代的到來，互聯網已經深入各行各業和普通人的日常生活中，給人民生活、工作帶來了很多便利，也保證了企業各項工作的高效進行，促進了企業的進步與發展。但是，網絡的安全性是我們必須要面對的一個問題。目前，網絡安全越來越受到國家和人民的重視，其不僅關系到人民的隱私安全，更關系到國家安全，所以為了避免發生網絡安全事故，做好網絡安全分析工作顯得非常重要。過去我們在網絡安全方面做了很多工作，但效果不理想。而將大數據技術應用于網絡安全分析工作中就能很好地解決網絡安全問題，該技術主要是依據大量數據信息來進行云計算，從而為網絡安全分析工作提供準確、全面的資料，以促進網絡安全分析工作的進一步發展。

關鍵詞：大數據技術;網絡安全;應用研究

中圖分類號：TP393.08? ? ? 文獻標識碼：A 文章編號：2096-4706（2019）23-0158-03

Application of Big Data Technology in Network Security Analysis

ZHENG Yujuan

（Shandong Huayu University of Technology，Dezhou? 253034，China）

Abstract：With the advent of the network era and the digital economy era，the internet has penetrated into the daily life of all walks of life and ordinary people，bringing a lot of convenience to people’s life and work，also ensuring the efficient progress of all work of the enterprise，and promoting the progress and development of the enterprise. However，network security is a problem we must face. At present，network security has been paid more and more attention by the state and the people. It is not only related to the privacy security of the people，but also related to the national security. So in order to avoid network security accidents，it is very important to do a good job in network security analysis. In the past， we have done a lot of work in network security，but the effect is not ideal. The application of big data technology in network security analysis can solve the problem of network security well. This technology is mainly based on a large number of data information to carry out cloud computing，so as to provide accurate and comprehensive information for network security analysis，so as to promote the further development of network security analysis.

Keywords：big data technology;network security;application research

0? 引? 言

當前，我國的網絡安全狀況非常嚴峻，經常發生安全攻擊、信息泄露、木馬侵害等現象，對國家的發展產生非常不利的影響。在這一背景下，只依靠防范措施并不能很好地應對網絡安全攻擊，因此，準確、全面的安全分析成為關鍵。將大數據技術應用于網絡安全分析工作中，就能夠有效地提升其分析能力，降低分析成本，擴大信息容量，從而使網絡安全分析工作更加快速、更加穩定地發展下去。本文先是從數據采集、查詢、存儲、分析以及復雜數據處理等方面具體分析了大數據技術在網絡安全分析中的具體應用，后又具體闡述了基于大數據的網絡安全平臺構建內容，希望本文的言論能夠幫助提升大數據技術在網絡安全分析工作中的應用效率和質量，同時也能提升網絡安全分析工作的準確性，更好地保障我國的網絡信息安全。

1? 大數據技術在網絡安全分析中的應用

1.1? 數據采集方面

網絡安全分析工作主要針對流量、日志這兩種數據類型進行分析，大數據技術主要運用Chukwa等工具進行數據采集，依據流量、日志數據的特點、容量等，通過分布采集的方式來對數據信息進行每秒百兆的采集，使得數據采集工作能夠高效、準確地進行。并且大數據技術的應用也可以使網絡安全分析工作擺脫掉傳統技術的限制，對于所采集到的數據信息的準確性、全面性起到了保障作用，從而為之后的數據存儲、分析等工作打好基礎，有利于網絡安全分析工作的進一步發展。

1.2? 數據查詢方面

大數據技術的引入可以使網絡安全分析中的數據查詢工作更加高效地運行。首先，大數據技術可以對數據檢索的結構進行更新，然后將所需要查詢的數據發送到分節點。其次，分節點會根據數據類型、特點等來進行計算，從而判斷出需求數據信息是否存在于自身。當數據信息存在時，分節點就會將所查詢到的數據顯示出來，從而很好地滿足查詢人員的需求。這就可以看出，大數據技術的應用可以保證數據查詢的速度、準確性、全面性，給網絡安全分析工作人員帶來了極大的便利，很好地減輕了他們的壓力，并能夠使數據查詢效果達到理想目標。

1.3? 數據存儲方面

由于數據的高速傳輸和種類的多樣性，使得數據存儲工作的難度加大，不利于網絡安全分析工作的正常進行。而大數據技術的引入便可以降低數據存儲工作的難度，主要是提供不同的存儲方式，使得網絡安全分析工作能夠高效地開展下去。大數據技術主要是通過發揮HBase列式儲存方法的快速檢索優勢而滿足數據查詢需求，從而進行流量、日志等數據的分類存儲。分類存儲的主要流程是：大數據技術首先要對數據按照數據類型、特點等進行分析處理，利用Hadoop分布式方法進行計算，其次會根據每個節點的特征來對數據進行分類、分析，最后通過對數據的處理而制成統計分析報告。大數據技術應用在網絡安全實際分析工作中后，當節點獲取到數據信息時，該節點就會自動對數據進行計算、數據分析等工作，同時將分析結果存放于日志、流量等的數據存儲內部。

1.4? 數據分析方面

當大數據技術在對數據信息進行分析時，要根據數據信息的特征、類型等來選擇合適的分析方法，這樣才能使得網絡安全分析工作正常有序地開展下去。當進行實時數據的分析處理時，主要運用流式計算方式、CEP技術等來開展分析工作，從而及時發現數據信息中存在的問題及隱患，并及時解決，這樣就能保證數據信息的全面性、安全性、準確性。當進行歷史安全數據的分析處理工作時，可以采取離線處理的方式，分析處理方法為分布式存儲和計算，從而對歷史數據進行全面、精準的分析，這不僅能夠及時發現其中存在的問題，找到原因，并提出應對措施，還能夠節省很多成本，使網絡安全分析工作獲得更多的經濟效益和社會效益。

1.5? 復雜數據處理

面對數據類型的多樣化、復雜化，將大數據技術應用于網絡安全分析工作中，便可以高效、全面地對這些數據進行深入處理，如對多源異構數據進行的處理。當出現僵尸網絡時，會大大影響到網絡信息的安全，而將大數據技術應用于其中就能很好地解決這一問題，該技術從流量數據的特點出發，通過結合多方面的數據信息，進行發散性關聯分析，從而對數據開展更加全面的分析，以保證復雜數據能夠得到正確、深入的處理，有利于網絡安全分析工作的高效、快速進行。

2? 基于大數據技術的網絡安全平臺構建

2.1? 網絡安全平臺的架構實現

如圖1所示，基于大數據技術的網絡安全平臺架構主要通過以下四個要素實現：第一，數據采集層。該層的主要任務是對網絡中用戶行為產生的交互數據、日志數據等開展信息采集工作，基于大數據技術的采集工作效率更高。第二，數據存儲層。該主要是對網絡中各種類型的數據進行有效儲存，為后面的數據分析提供數據源，從而大大提升了網絡安全分析工作的效率和質量。第三，數據分析層。該層的主要功能是需要對原始數據進行分類分析、關聯分析等處理，以此挖掘出網絡中的數據特征、攻擊來源等，為后面的網絡安全分析工作提供準確、有效的參考數據。第四，數據表現層。它的主要功能是將數據信息更加直觀地表現出來，其使用的技術主要有安全度量技術、預警技術和可視化引擎等，使得歷史數據和實時數據能夠得到正確的分析處理。

2.2? 平臺實現的技術支持

2.2.1? 數據采集技術

針對不同類型的數據信息，應采取不同的數據采集方式。當采集實時數據時，可以采取在線統計的方式，通過Storm技術來進行采集;當采集原始安全數據時，可以采取離線分析的方式，通過Hive技術進行采集。而Flume技術可以將在線統計、離線分析方法結合起來，實現數據采集的系統化、規范化。Flume技術主要是由采集、存儲等模塊組成，工作效率和質量比較高，從而能為網絡安全平臺提供技術支持，如圖2所示。

2.2.2? 數據存儲技術

當數據采集完成后，其需要存儲于HDFS系統中，該系統具有大容量和高吞吐量數據訪問的特點，它的數據節點用來存儲文件，存儲單位一般為64MB。數據文件越小，節點的數據記錄塊位置越多，從而對系統的運行產生不利的影響，所以本系統的存儲單位為64MB。HBase作為運行于HDFS上的分布式非結構化數據庫，主要采取的是列式存儲的方式，將處理后的數據結果或者報告成果存儲于該數據庫中，就能夠保證其安全性，有利于網絡安全分析工作的正常進行。

2.2.3? 數據分析技術

本平臺的數據分析工作主要是依靠MapReduce技術來支持，該技術能夠對數據進行分類、計算，從而完成數據的分析和處理工作，并整合數據信息，使其能夠為網絡安全分析工作提供依據。平臺也可以采用CPE技術來進行事件流分析，通過聚合、關聯等環節，將簡單事件加工為高級事件，從而能夠在大量信息中挖掘出有用的信息，以推進網絡安全平臺的正常運行。

2.3? 實施安全分析

2.3.1? DDoS攻擊路徑準實時監測

DDoS攻擊路徑準實時監測過程一般分為四個步驟：首先，新建一個隊列A，隊列中各節點為空，同時也創建一個空的攻擊路徑鏈表B;其次，圍繞攻擊點展開有針對性的分析，提取攻擊源的相關位置信息，以此來進行查詢，以獲取準確的攻擊信息;再次，根據所獲取的攻擊信息進行安全處理、分析;最后，以攻擊對象路由器C為起點開展訪問工作，每個節點訪問完成后要對該節點進行拓展，將與其相連的節點都一一訪問到，從而完成對所有節點的訪問和分析。

2.3.2? 主機入侵檢測

主機入侵的檢測流程一般為：首先深入挖掘DDoS攻擊歷史數據，識別攻擊源的相關位置信息，同時將其列入疑似被入侵主機名單中。然后從已有的日志數據庫中查詢相關的被入侵主機的信息，將查詢到的結果與惡意URL庫進行比對，若信息庫中沒有可比對信息，則將該主機認為是新的攻擊源。

3? 結? 論

綜上所述，大數據技術具有高效、精準、低成本的網絡安全分析能力，能夠滿足大容量數據的處理和存儲需求，并為網絡安全分析工作提供科學、準確、全面的數據資料，從而使得網絡安全分析工作更快更好地進行下去。目前，網絡安全分析工作如何更加有效、更加成熟地應用大數據技術成為國家和社會關注的熱點。大數據技術主要應用于網絡安全中的數據查詢、存儲、分析、處理等工作中，它能夠有效地提升數據處理的準確性，并保證這些工作的高效進行。并且為了使數據傳輸、存儲工作能夠安全進行下去，還應該將大數據技術作為基礎，構建完善的網絡安全平臺，利用平臺的綜合分析和關聯分析能力來有效監測攻擊情況，以保證數據信息傳輸工作的順利進行。

參考文獻：

[1] 張萌.網絡安全分析中的大數據技術運用 [J].電子技術與軟件工程，2019（14）：201-202.

[2] 潘巍.網絡安全分析中的大數據技術研究 [J].黑龍江科學，2018，9（24）：92-93.

[3] 唐四化.網絡安全分析中的大數據技術應用與實踐 [J].電腦知識與技術，2018，14（26）：20-21+25.

[4] 林幼文.淺談網絡安全分析中的大數據技術應用 [J].網絡安全技術與應用，2018（2）：71+78.

[5] 佟瑤.試論網絡安全分析中大數據技術的應用 [J].網絡安全技術與應用，2017（12）：74+87.

作者簡介：鄭玉娟（1979-），女，漢族，山東德州人，副教授，碩士，研究方向：網絡技術。