網絡安全分析中的大數據技術應用探討

萬明秀，宋秋蓮

（新余學院，江西 新余 338000）

網絡安全分析中的大數據技術應用探討

萬明秀，宋秋蓮

（新余學院，江西 新余 338000）

新時期網絡技術在各個領域得到了廣泛的運用，極大促進了社會發展的現代化，方便了人們的生活。文章就新形勢下的網絡安全問題進行剖析，探究了網絡安全環境下大數據技術的價值，對基于大數據技術的網絡安全平臺建設進行探討，進而分析了大數據技術在網絡安全技術中的運用。

網絡安全；大數據技術；互聯網

網絡技術的發展使信息時代到來，計算機網絡可以在一定程度上滿足我們的精神生活，也為我們的學習工作帶來了便捷，使一些原本復雜的工作變得簡單，與此同時，網絡安全成了我們生活中需要面對的一個問題。隨著網絡技術越來越廣泛的應用，計算機網絡的漏洞也變得更加突出，不僅僅是電腦系統的損毀或者計算機病毒的擴散，電腦黑客的網絡國際以及不法分子的網絡詐騙都在不同程度上困擾著我們的工作生活，嚴重時還會造成人民群眾的經濟損失。因此對計算機網絡工程的安全問題以及解決策略進行研究是十分有必要的。針對這種情況，大數據技術應運而生，所謂大數據指的是信息量的增大，同時大數據也有著較快的更新速度以及非結構化的特點，近年來對大數據的研究不斷增加，人們對大數據技術也在不斷改進，利用該技術能夠有效地提高網絡的安全性，在網絡安全分析中占有十分重要的地位[1]。本文就對網絡安全分析中的大數據技術應用問題進行一定的分析。

1 網絡安全分析中應用大數據技術的價值

與其說21世紀是科技的時代，不如說21世紀是大數據的時代，在互聯網快速發展的同時，流動的數據量也在不斷地增加，數據量的增加給人們的生活帶來了方便，但是也給網絡安全分析工作增加了困難，這種壓力主要來自于兩個方面：（1）由于網絡安全分析中的數據增大，所有在進行處理的時候應該按照分類的形式，但是數據越多數據的種類也就越多，因此還需要采用更為先進的技術進行處理。（2）數據增多的情況下，如果還是采用之前的速度進行數據信息傳遞，那么工作效率會很低，為了能夠達到高速度、高效率的數據采集與處理就要確保信息安全方面的有效性，如果不能達到高速度的標準就會給網絡安全的維護帶來更大的難度。在傳統的網絡安全分析過程中，都是利用結構化的方式完成對數據的存儲，這種方式效率較低，同時存儲的成本也會比較高，如果想要達到更高的水平就要降低成本，還要降低數據的大小，數據存儲的容量小了，這樣一來數據很容易出現丟失的情況，反而對數據的存儲以及處理產生不好的影響，傳統的網絡安全分析系統在對各種數據進行處理的時候，不能發揮出更好的效果，在分析方面以及查詢方面的效率都不太好，針對這種情況必須要找到更好的解決方法，才能達到更好的效果。利用大數據技術就能夠達到更好的效果，大數據技術能夠將網絡的數據存儲量提高，也能在結構化的數據處理中確保有效性，還能確保數據信息的完整性。另外，大數據技術能夠降低網絡安全分析系統的成本，可以利用分布式數據庫提高對軟件的要求，降低對硬件方面的要求，從而實現系統的構建與維護。對于大數據技術的應用來說，能夠準確地完成對數據的處理，而且還能確保高速度[2]。最后應用了大數據技術可以對網絡安全問題進行精細的檢測，從多維度、多層次的方面進行分析，有效提升數據的處理效果。

2 大數據技術在網絡安全平臺建設的體現

2.1 網絡安全平臺架構

網絡安全平臺由多個層次構成，分別是數據采集層、數據挖掘層、數據呈現層等，在數據采集層中可以對用戶的信息及各種情報等進行存儲，將大數據技術應用到分布式的文件中，就能實現結構化以及半結構化的數據存儲，還能將均衡的算法分布在分布式文件上，這對提高數據檢索的速度有很大的幫助，利用數據挖掘層可以對數據進行一定的分析，從中提取出相應的特征，從而實現對安全事件的挖掘，還可以根據網絡中出現的各種問題，發現并進行查詢與定位，讓數據真正呈現出可視化以及多維度的狀態，這才是真正的網絡安全的狀態。

2.2 平臺實現的技術支持

除了要網絡安全平臺的架構，還需要有多方面技術的支持，例如：（1）數據采集技術。在網絡安全平臺中可以利用Flume，stom的形式進行數據采集，還可以將這些數據進行整合與傳輸，實現其可靠性高、可用性高，利用特定的方法能夠接收來自不同數據源的數據，對于比較活躍的數據進行處理，可以發現數據采集與存儲之間的緩存部分，使其成為一個高效率的分布式系統，才能更好地為人們所服務，也實現了對負載的均衡。（2）數據存儲技術。利用分布式文件系統（Hadoop Distributed File System，HDFS）進行數據存儲，這種數據通常具有高容錯性，也可以對這些數據系統進行命名，將64 M的數據塊作為存儲單位，如果訪問的文件多的情況下就會造成系統效率的下降，利用HDFS來進行數據存儲就是將數據歸納以后，確保每一個文件都能夠滿足64M字節。（3）數據分析技術。通過網絡安全分析平臺來完成對數據的統計，可以采用結構化查詢語言（Structured Query Language，SQL）的結構化方式，利用HDFS也可以滿足一些非結構化的數據檢索，將定制好的插件進行開發實現對各種數據的處理[3]。

3 網絡安全分析中的大數據技術應用

3.1 應用大數據技術的作用

在網絡安全分析的過程中，可以將需要分析的數據分為兩個方面，分別是日志與流量。除了這兩個方面，需要進行處理的數據還有訪問、業務行為等。將大數據技術應用到網絡安全分析中，能夠實現對數據的優化與處理，還能對日志與數據進行分散性的處理，從而有效降低處理的時間，只有不斷地分析找出其中存在的問題，才能進一步提高安全分析的有效性。大數據技術在網絡安全分析的效果可以從下面幾個方面來體現。

（1）數據采集問題。如果應用了大數據技術就可以對數據進行分布式的采集，這種采集能夠在一秒內實現幾百兆的數據采集，可以大大提高工作效率。

（2）在網絡安全分析系統中，對數據的存儲是必須的，應用大數據技術能夠對不同的數據類型進行不同的數據采集，還能利用不同的方式來提高數據查詢的效率，例如：在對日志信息進行查詢的時候可以采用列式的存儲，如果是分析與處理標準化的數據，就可以利用分布式的模式進行處理，在數據處理過后可以將結果存放在列式存儲中。

（3）在數據查詢的時候也可以利用大數據技術進行，在系統中建立起MapReduce的查詢模塊，進行查詢的時候直接將指令放在指定的節點，完成了相應處理之后再對各個節點進行整理，這種方式能夠保證查詢的速度與反應速度。

（4）網絡安全分析系統中對數據的分析可以體現在兩個方面：（1）對實時數據的分析，可以采用關聯分析算法以及圓概率誤差（Circular Error Probable，CEP）技術進行分析，還能實現對數據的分析、監控以及處理的過程，實現高效率、高速度的處理。（2）對統計結果以及數據的處理，這種處理對時效性的要求并不高，可以應用各種數據處理技術，也可以利用離線處理的方式，從而更好地完成風險以及攻擊方面的分析。

3.2 基于大數據技術構建網絡安全系統

將大數據技術引入到網絡安全系統中，主要包括有下面幾個模塊：（1）數據源模塊。網絡安全系統能夠通過分布式采集器的形式，對系統中的軟硬件進行信息采集，并將這些數據進行存儲。科學技術在不斷地發展，網絡安全系統中的數據源更多了，除了防火墻、檢測系統等軟件，對硬件的檢測也更加嚴格，例如對服務器、存儲器的檢查與維護工作。（2）數據采集模塊。利用了大數據技術可以對數據進行分立，從而構建起分布式的數據基礎，將這些數據從出現到刪除進行一定的說明，真正實現對數據的訪問功能，在數據量不斷增大的今天，分布式的數據存儲也越來越重要，能夠更好地提高數據庫的穩定性。（3）數據分析模塊。通過大數據技術可以讓網絡安全平臺發揮出一定的數據處理功能，也能讓人們在一定時間內對數據進行分析，最后的模塊是數據展示部分，這主要是針對用戶來說，從用戶的服務與體驗來分析，讓用戶得到更好的服務，這樣用戶才會對網絡技術以及大數據技術更加的信任，也能更好地使用網絡安全系統，將自己的信息存儲在網絡中也會更加放心[4]。

4 結語

綜上所述，隨著科學技術的不斷提高，網絡技術在人們的生活、工作以及學習中有著更加廣泛的應用，互聯網數據的數量也在不斷地加大，這給網絡安全分析工作帶來了一定的難度與壓力。如果在網絡安全系統中應用大數據技術，那么在對數據進行處理、分析的時候就能夠更加快速與方便，也能更快地建立起網絡安全系統，這對維護網絡安全有著很好的作用，希望今后大數據技術能夠得到更多的推廣與應用。

[1]張國強.淺析大數據時代下的計算機網絡安全防范[J].經營管理者，2015（12）：367.

[2]姜斌，劉靖，劉福強.探析大數據時代下的網絡安全問題[J].信息安全與技術，2015（6）：6-7，22.

[3]林旭川，吳開來，陳祎安.以大數據視角看地震工程研究[J].地震工程與工程振動，2017（3）：120-126.

[4]王丹寧，柴旭超，王文青.Hadoop平臺下的地震波形數據存儲與應用規劃[J].軟件工程，2016（1）：48-49.

Discussion on application of big data technology in network security analysis

Wan Mingxiu, Song Qiulian
(Xinyu University, Xinyu 338000, China)

The network technology in the new era has been widely used in various fields, which greatly promoted the modernization of social development, to facilitate people’s lives. This article analyzes the problem of network security in the new situation, explores the value of big data technology in the network security environment, discusses the construction of network security platform based on big data technology, and then analyzes the application of big data technology in network security technology.

network security; big data technology; Internet

萬明秀（1969— ），女，江西南昌人，教授，碩士；研究方向：多媒體技術，大數據應用。