大數據技術在網絡安全分析中的應用

楊軼博，張欣海

（中國電子科技集團公司電子科學研究院，北京 150080）

關鍵字：大數據技術；網絡安全分析；應用

0 引言

網絡已經走進了千家萬戶，對網絡安全的分析是一項急需解決的問題。網絡安全的影響利很大，與其他相關領域聯系緊密，公民的個人信息，在企業生產和業務活動的發展中形成和使用的商業秘密信息，以及由國家安全機構管理的機密信息都與網絡密切相關。大數據技術的發展對于增加公眾對我國網絡安全問題的注意起著非常重要的作用。因此在特定歷史影響下解釋和分析大數據技術的引入和應用，支持網絡時代的深入發展，在為日常生產提供穩定、充足的技術支持的前提下，推動了我國現代化發展的步伐。

1 網絡安全分析與大數據技術的含義

計算機網絡技術是引導和支持當前階段以及未來時期我國經濟社會建設發展的重要手段，它對人們的日常生活方式有一定的引導作用，而且也影響著人們的生產模式，此外，它還可以充分動員并激發各種市場參與者的積極性，為我國的現代發展提供堅實而充分的動力支撐條件。

同時，我們應該理性而清醒地關注計算機網絡信息技術特別是移動互聯網信息技術的發展，應用程序的發展和普及，網絡技術環境中每一天都會產生以及更新原有的數據信息資源，這些信息資源具備內容多樣以及獲得的途徑不同等基本特征。它們包含并混合了一定百分比的數據信息，這些信息可以是個人信息，以及在公民和企業的生產和經營活動中形成和使用的商業秘密信息，以及竊取商業機密的有害信息。有害信息還包含一定數量的計算機病毒程序。在嚴重的網絡安全問題的情況下，這就對網絡安全分析人員的工作能力有很高的要求[1]。

作為近年來興起的一種數據信息處理技術，大數據技術可以在大規模，各種特征，各種結構的數據信息資源的收集和處理過程中展現其獨特性。隨著應用技術的發展以及未來大數據技術的不斷發展和創新，網絡安全分析領域的介紹和應用將為我國高質量的計算機網絡技術系統和提供支持[2]。

2 大數據網絡安全分析平臺構建

2.1 大數據Hadoop技術檢測網絡安全漏洞

Hadoop檢測框架的構建。Hadoop系統基于Hadoop框架之上，構建了網絡安全漏洞檢測執行環境。在利用大數據技術對網絡信息數據進行處理時，首要就是先找到網絡漏洞的位置，這可以有效評估系統自身安全的承載能力。在此框架中，信息挖掘是系統檢測的重要環節，可以找到隱藏在網絡環境中的漏洞數據，并且快速識別異常數據[3]。

2.2 平臺實現的技術支持有哪些

2.2.1 數據采集技術

該平臺結合了Flume，Kafka和Storm來完成數據收集。使用Flume完成大型數據信息的收集、集成和傳輸，主要優勢是強大的可靠性，使用自定義數據信息的分散形式等等，它可以完全掌握發件人的各種數據信息并可以處理數據，然后發送給定制方。對于活躍流失數據的處理，Kafka可用作數據收集和緩存處理的流數據。Kafka可以確定相關的生產商，消費者，代理商的信息，它是一種邏輯分析服務，可以掌握邏輯信息以構建高吞吐量的分布式訂閱系統[4]。

借助大數據技術開展數據信息收集環節，通過在網絡安全分析過程中引入應用大數據技術，支持實現各種數據信息資源的離線收集技術目標，特別是包括提取技術和轉換技術。同時，在網絡安全分析過程中引入和應用大數據技術可以支持實現對各種數據和信息資源的實時收集和獲取目標，通過提供完整而可靠的技術功能，不僅可以實現Flume和Kafka和Storm的技術功能，而且可以收集和緩沖各種數據和信息資源的目標，并最終支持各種數據和信息資源以實現高質量的在線處理程序。此外，在引入和使用大數據技術執行網絡安全分析的過程中，還可以使用搜尋器技術功能來完成Internet數據信息的收集和獲取[5]。

2.2.2 數據存儲技術

借助HDFS，可以根據需要收集和處理數據，從而具有較高的實際應用價值。根據需要確定元數據節點系統，然后將這些數據信息存儲在系統中以使其在使用過程中可用。元數據節點和數據文件以比較的形式存在，如果時間相同，訪問數據量太大，則系統的各項功能無法實現，嚴重影響網絡運行的安全性。因此，為了提高數據分析的質量和效率，該平臺使用的存儲單元是HDFS數據塊存儲，可以確保在合并和處理所有數據后，每個文件的大小可以達到64MB[6]。

利用大數據技術進行數據信息存儲，通過在網絡安全分析過程中引入和應用大數據技術，可以支持按規模級別和類型級別實際收集和獲取各種數據和信息資源。以此為基礎，應用適當且合理的技術格式以實現存儲技術目標。對于原始形式的數據信息資源，一般選擇GBase技術或HBase技術的形式進行存儲和處理即可。當有實時性要求時，快速分析和處理的數據和信息資源，通常是有Storm算法處理程序或Spark算法處理程序來完成，以流式形式存儲和處理數據以及信息資源[7]。

2.3 數據分析技術

該平臺的功能是完成系統中各種數據的分析和處理，以用戶要求的形式反映出來，使用戶使用起來更方便，以確保更有效地使用數據。在大多數情況下，數據挖掘和分析是基于Mahout系統的，該系統基于Hadoop機器學習。CPE 可以實現在系統中事件流關聯使用，則可以將其實現為，并根據應用程序的需要快速生成數據?？梢詸z查相關信息以及構建成序列庫的形式，可以將所有數據實現必要的轉換，可以從大量數據中識別所需的隱藏危險信息，還可以根據真實狀況對有害信息實施安全分析和處理[8]。

3 大數據技術在網絡安全數據分析中的作用

大數據技術在網絡安全數據分析中的作用可以分為兩個方面主要包括下面幾種：首先，可以進行實時數據處理；換句話說，可以在最短的時間內找到問題，并及時進行監視，處理和分析數據信息的功能。其次，它可以處理和分析歷史數據。歷史數據分析花費的時間長短不是很嚴格，因此通過分布式存儲和計算，可以使用各種數據處理方法來完成更深入的數據處理。歷史數據分析主要用于調查攻擊源和網絡安全風險。通過在網絡安全分析過程中引入應用大數據技術，可以完成各種數據處理。不僅可以支持對基礎數據和信息資源元素的全面深入的挖掘，還可以對實際存在的各種類型的Internet信息以及風險和技術漏洞進行進行全面，有效和深入的分析、處理、梳理、檢查和修復。從內部僵尸網絡技術系統中檢測，收集源數據信息，并不斷擴展基本信息、技術功能，例如數據信息的搜索和獲取區域源通道，搜索和驗證計算機主機設備內部是否存在外部入侵風險因素，并實現基礎網絡技術系統構建安全保護的目標。在現代網絡安全分析工作實施過程中，要特別注意大數據技術的運用，有必要對網絡安全具體發展過程中遇到的各種主客觀因素進行綜合歸納和分類，采取切實有效的方法和技術手段獲得最高的效益[9]。

4 基于大數據技術的網絡安全平臺搭建

以大數據技術為基礎的網絡安全平臺的建設，離不開對數據的存儲和分析，數據存儲是建立在收集數據信息并通過HDFS進行存儲基礎之上，數據分析主要是通過相關軟件獲取數據后，使用HiceQL語言進行數據分析。根據網絡平臺的架構，它是有多個層次組成，包括數據收集層，存儲層，分析層和處理層。不同層次執行不同任務。例如，收集層的任務是收集各種數據信息，存儲層的作用是用來對搜集的數據進行存儲，分析層的職責是挖掘和研究數據之間的相互連續以及特點，處理層的責任是負責數據轉換以可視形式呈現信息，反映網絡安全的實時情況[10-11]。

5 結語

綜上所述，表明大數據技術對于網絡安全技術起著非常重要的作用，大數據具備效率高、實用性強等優勢，對于用戶對大數據信息資源處理的要求有強大的支持作用，可以很好的適應用戶的要求，包括信息存儲方面，對于特定網絡安全分析工作的整合，它可以提供完全科學，準確，全面的數據和信息，從而保障特定網絡安全分析工作的順利進行，并取得良好的效果。目前，將大數據的有效化、成熟化運用到網絡安全分析方面，是很多人非常關注的一個問題。現階段，在網絡安全工作方面運用到大數據技術的主要有在進行查詢工作時、儲存信息時、對數據進行研究分析時還有在數據處理過程中。這樣在進行數據處理時結果會更加準確，并且增加了所有工作的工作效率，為后面進行數據傳輸打好基礎，也保障了數據存儲過程中的安全以及有效。