基于大數據技術的計算機網絡安全問題分析

沈振華

摘要：本文利用大數據技術對網絡上的安全日志、流量、用戶方位、業務行為等信息進行采集、存儲和數據分析。建立一個基于大數據技術的智能化計算機網絡安全分析模型，以提高計算機網絡的安全性。

[關鍵詞]大數據技術 網絡安全分析 智能化

隨著科學技術發展以及互聯網技術廣泛應用，整個互聯網絡環境更加多樣靈活，計算機網絡安全就顯得尤為重要，其中最為重要的就是對計算機網絡安全進行分析，只有進行準確快速的分析，才能及早對未知的網絡攻擊進行防御，從而減少不必要的損失。

1 大數據技術的應用背景

1.1 大數據技術的概念

大數據技術是采用分布式系統對采用常規數據處理方法無法處理的超大數據集進行處理的技術，常用的大數據技術有Spark、Hadoop以及MapReduce。大數據技術主要的目的是挖掘這些數據集背后隱藏的信息，通過機器學習的方法以產生商業價值。

1.2 大數據技術的作用

大數據技術主要包括數據采集、數據存儲、數據清洗、數據挖掘以及基于數據模型的構建。其中數據的采集是主要包括兩方面，一方面是利用網絡爬蟲采集互聯網上的數據，如管理信息、Web信息;另一方面是利用各種類型的傳感器采集各種工業數據。數據存儲是按照指定的格式對采集到的數據進行存儲，如物理信息、實驗信息。數據清洗是對采集到的有缺陷的數據進行篩選和處理，保證其結構的完整性。數據挖掘是利用機器學習方法挖掘數據背后隱藏的信息。數據模型的構建是利用采集到的數據建立模型進行各種預測。大數據技術有諸多應用，如利用大數據技術可以構建銀行的信用卡欺詐檢測模型，或構建產品推薦系統，還可以利用大數據技術進行金融風險評估或進行基因信息分析。

2 網絡安全分析技術

2.1 計算機網絡安全分析的作用

網絡安全分析是通過對網絡的安全日志、流量、用戶方位、業務行為等信息進行采集、存儲和數據分析，從而發現網絡中的漏洞、網絡攻擊、網絡信息竊取等已知和未知的安全威脅，并能夠對網絡上的不安全因素進行風險識別和風險定位。通過網絡的安全分析結果為維護網絡的安全與穩定奠定基礎，因此網絡安全分析是保障網絡安全正常運行的關鍵步驟。

2.2 計算機網絡安全分析技術的現狀

當前主要的網絡安全分析技術為網絡全流量分析技術，任何網絡攻擊都會留下網絡痕跡，而且網絡攻擊產生的網絡數據通常與正常流量網站產生的數據往往不同，因此通過對網絡痕跡的分析進而感知網絡的威脅并及時快速響應制止網絡攻擊，最后對網絡攻擊取證進行責任判定。然而隨著互聯網技術的發展，網絡攻擊形式也是多種多樣，單純依靠網絡全流量分析技術已經無法滿足各種大型互聯網公司對網絡安全的需求，因此迫切需要一種變革的智能化網絡安全分析技術，自動識別各種各樣的網絡攻擊并具有自適應防護功能。

3 大數據技術在網絡安全分析中的應用

網絡安全分析涉及對網絡信息的信息采集、存儲和數據分析，而大數據技術也涉及到數據采集、數據存儲、數據清洗、數據挖掘以及基于數據模型的構建。由于兩者的模式特別接近，所以可以將大數據技術引入到網絡安全分析中，以此提高網絡安全分析的效率和準確度。本文以互聯網公司為例對大數據技術在網絡安全分析中的應用進行論述。

3.1 基于大數據技術的網絡信息采集

每個互聯網公司每天都會產生大量的安全日志、流量、用戶方位、業務行為等信息，我們可以將每臺通信設備作為一個數據節點，整個公司所有的通信設備作為一一個集群，采用Flume日志收集系統、Scribe分布式日志收集系統等進行安全日志、流量、用戶方位、業務行為等信息的采集。Flume日志收集系統具有流式數據方式的特點，而且具有故障轉移與故障恢復的能力，因此更加安全。Scribe分布式日志收集系統可以采用分布式方式，具有較強的容錯能力，因此可以更加高效地收集數據。

3.2 基于大數據技術的網絡信息存儲

傳統的網絡數據量較大，一般都存儲在硬盤當中，雖然磁盤的容量在穩步增加，但是磁盤的讀取速度卻沒有與時俱進。磁盤中數據量大而讀取效率低，將會導致整個網絡安全數據分析效率低下。由于網絡安全分析必須具有快速實時性，這樣網絡才能進行快速響應維護網絡安全，否者分析出的數據沒有任何的價值。因此，利用Hadoop大數據技術中的HDFS以及YARN分布式文件系統對數據進行存儲后，可以大大加快數據的讀取速度，從而提高整個網絡安全分析的效率，滿足實時性的要求。

3.3 基于大數據技術的網絡信息處理分析

互聯網上產生的安全日志、流量、用戶方位、業務行為等信息的背后隱藏著各種各樣的有價值信息，網絡安全分析可以通過對這些數據進行分析從而得知網絡的安全狀況，進而采取措施保證網絡的安全。大數據技術中的Map Reduce是一種用于數據處理的編程模型，可以進行大規模的數據集處理，效率非常高效。由于各個用戶的訪問信息是獨立的，因此可以采用Map Reduce網絡模型框架進行編程進而進行數據分析。首先，將存儲的數據利用HDFS分布式系統發送到各個網絡節點，各個節點組成一個集群，然后將數據的處理過程按照Map Reduce框架轉化為Map階段和Reduce階段進行處理。利用Map Reduce框架我們不但可以進行數據的篩選，去掉一些不完整的數據或完善數據集，以避免數據集質量問題給網絡安全分析造成錯誤或不好的分析結果。同時，我們還可以利用Map Reduce將預處理后的數據集采用機器學習的方法進行數據分析，挖掘出數據背后的價值建立預測模型，從而準確地進行網絡安全分析。由于機器學習具有較好的泛化性能，因此可以應對各種各樣的網絡攻擊。

4 總結

本文通過對大數據技術的作用和優點進行介紹，然后對當前網絡安全分析存在的問題進行分析，最后引出將大數據技術的優點引入到計算機網絡安全分析中，并分別從基于大數據技術的網絡信息采集、存儲和處理分析方面進行論述，以提高計算機網絡安全分析技術的效率和準確度。

參考文獻

[1]肖占軍，趙志杰，吳寶明，基于大數據的網絡安全分析系統構建問題研究[J].網絡安全技術與應用，2019（03）：47.

[2]包利軍，基于大數據的網絡安全態勢感知平臺在專網領域的應用[J].信息安全研究，2019，5（02）：168-175.