網絡安全分析中的大數據技術應用

郭健

（山東省濱海公安局網安支隊 山東省東營市 257000）

隨著我國的信息科學技術不斷發展，網絡信息技術也得到了快速的普及，人們更多地關注網絡安全問題的重要性。網絡安全對于個人隱私有著直接的聯系，同時會對國家的機密信息形成影響，由于大數據技術的不斷成熟和發展，使得信息數量在不斷呈現爆炸式的增長，這在很大程度上加大了計算機網絡安全的管理難度，與此同時，這也對當前的網絡安全模式提出了更多的發展空間。只有不斷地加強對大數據的管理，才能更多地保證大數據網絡信息的安全穩定發展。

1 大數據時代背景下網絡安全分析

1.1 網絡信息安全管理現狀分析

在科學技術不斷發展的今天，各種IT 行業之間的構架越來越復雜，由此延伸出更多的信息工具，無形中使得網絡數據相應的業務正在不斷的增多。在這個數據時代的背景下，網絡的運用過程中，復雜性在增加，傳統的網絡設備已經不能滿足信息化技術發展的步伐，并且通過對網絡運行的安全性進行分析，這個過程能保留大量的網站信息，但是要花費很大的成本，因此，為了有效的提升網絡安全的有效性，可以借助云計算平臺進行相關數據的分析，獲取更多的數據包漏洞以及網絡信息的數據分析，然而，在這個數據的整理過程當中，包括了各種各樣的結構。其中有非結構化和半結構化的數據，這些數據是發展非常迅速的，相比較傳統的網絡數據而言，這種數據整理已經不能滿足網絡安全的正常運行，為此，只有借助大數據技術對網絡安全信息開展分析工作[1]。

1.2 大數據技術概述

在這個網絡發展快速的階段，大數據技術呈現多樣化的特點，在以往的數據體系結構下，對于大數據進行有效的處理，就當前的數據信息來看，大數據是一種新的資源。然而，通過技術角度進行大數據分析和處理。其中對于大數據技術的分析概念如下：大數據是通過對網絡信息的搜集和整理，再結合相應的數據處理技術，展示出大數據獨特的技術和方法等[2]。

2 網絡安全分析中大數據技術應用的意義

隨著互聯網的迅速發展，給人們提供了更多的生活便利，同時也給網絡安全分析帶來了更大的負擔，具體表現在以下兩方面：

（1）網絡安全需要處理的數據量在不斷地增多，并且數據的種類也呈現多種多樣的趨勢，這就需要結合多維分析法，才能產生更好的效果。

（2）隨著數據量的增加和傳輸速度的加快，要完成對數據的有效分析，就必須提高對信息采集的速度，這無疑增加了網絡安全分析的難度。

相比較傳統網絡安全分析系統而言，應用結構化的數據庫，通過對數據儲存，這種方式使得網絡安全的運營成本增加，為了降低成本，通過對數據進行應對處理，降低數據的大小，提高儲存的容量，但是這種方式一般會導致數據在處理過程當中出現丟失的情況，并且長時間儲存信息也會造成數據的丟失，相比較傳統的網絡安全分析而言，在面對復雜的數據處理過程當中，不能充分的發揮好具體的作用，這種分析的速度和訪問的效率都滿足不了，當下的網絡發展的需求[3]。

相比較而言，大數據技術對于當今的網絡安全分析取得了較為明顯的效果：

（1）大數據技術能夠提升網絡安全分析的數據儲存量，對于復雜的非結構化的數據，大數據源能夠保證效率的前提下進行有效的分析，這就需要保證數據的完整性。

（2）在大數據技術的使用背景下，可以降低網絡安全分析的運營成本。在這過程當中，會使用分布式的數據庫，相比較傳統的機構化的數據庫而言，它相對經濟實惠，并且對于硬件的要求比較低，在低要求的設備中進行數據分析，也能保證平穩運行，從而大大的降低網絡安全分析系統的成本。

（3）在大數據技術下，最為顯著的特點是能夠保證網絡安全分析系統的工作效率，在大數據技術下能夠完成對非結構數據的儲存以及處理這種數據儲存以及訪問的速度是非常快的，使得系統數據分析處理要求較高。

（4）大數據技術運用到網絡安全分析之中，可以提升數據處理的速度和精確度。大數據技術能夠從多維度多層次，對數據進行分析，這樣提高網絡安全系統的數據處理有效性[4]。

3 大數據技術在網絡安全分析中的應用

就目前的發展情況來看，通過對日志的流量和數量進行處理。在進行數據信息的管理過程中，能將數據整合在一起，并且結合大數據的信息技術管理方式，能對數據進行分析和整理，一旦發生了數據存在隱患，那么就會采取預警，那么大數據技術就會根據安全隱患的層級進行有效的處理。在網絡安全分析的基礎上，使用大數據能減少網絡安全分析的時間，提升網絡安全的運營，通過傳統的被動防御方式轉化為主動防御的方式，大數據技術在網絡安全分析中的運用，具體包括了以下幾方面：

3.1 關于大數據信息的采集和存儲

運用大數據技術，通過Flume Scribe 等相關工具對網絡系統中所有數據進行分布式的采集，在每秒內可以完成百兆以上的數據采集工作，特別是針對一些用戶的日志數據處理起著良好的作用，在此之外，可以利用傳統模式對數據信息進行采集，將全系統進行方位流量數據采集，比如通過大數據技術對門戶網站中每天產生的信息進行收集，采集甚至可以對指定網站的數據內容以及媒體報道的信息進行采集，要想看什么信息及時搜索就能獲取，不少用戶在進行雙11 過程當中會進行淘寶搶購，這就是利用大數據技術，每天自動采集網上的價格以及更新情況，甚至產品的說明圖片就能一目了然[5]。

對于信息儲存技術是使用HDFS 開展數據采集后的存儲，如果在一段時間內文件數據過大，想要保證數據的處理，以及分析率在儲存過程當中可以使用。例如新聞媒體都要自動采集成千上萬個指定網站上的新聞內容，并且對于這些內容進行整理儲存。隨后，根據相關工作人員對這個區域的情況整合，按照專題編寫，當日的新聞內容，每天發布的內容要進行一定的儲存，才方便日后的總結和檢索，由于這種大數據技術用戶在該網站進行新聞信息查詢，可以輕松的進行操作[6]。

3.2 信息的檢索與數據分析

對于信息的檢索，可以采用Map Reduce 作為架構形式，在這個環節，通過進行檢索的方式，對內容進行分析和歸類，大幅度提升信息的檢索能力，由此可見，大數據技術在信息檢索方面有著很大的推動作用，比如企業要想在開會之前尋找相關的內容，作為參考，就可以利用大數據技術進行信息檢索，在這個過程當中，可以根據國內外相應的檢索技術和參考文獻進行對比分析，從而尋找出競爭對手。與此同時，大數據技術能夠對同行業的論壇信息進行收集整理，并且及時了解出消費者的潛在消費意識和需求，通過數據分析得出消費者的消費意向，通過準確的對網絡公共信息的采集和整理，甚至在這種大數據的檢索功能，挖掘出潛在客戶的一些信息和資料。

數據分析也是數據解析的一種，該技術利用HIVE 方法對數據進行展開分析，使用SQL 中HIVEQL 語言使HDFS 和HBASE 可以對不能構成結構式的數據進行檢索。此外，大數據技術下還能夠利用Mahout 達到以Hadoop 為前提的機械研究所有數據能夠進行深度挖掘與整理解析。例如，政府機關以及軍隊可以對信息進行實時跟蹤，了解國內外的新聞數據，并且通過這個數據整理出這個地方的政策法規，以及經濟產業的信息。通過利用大數據技術解決與因特網隔離重要部門對于因特網的信息問題進行實時的解決，針對政府網站的各地址，網站的信息進行采集和整理。

3.3 多源數據與多階段組合的關聯分析

多元數據和多階段組合的關聯性分析是十分復雜，并且這個過程中確定好相應的采集任務，隨后，針對不同的目標數據進行整理，從而保證收集的數據有效性，針對不同的數據目標進行采集，通過配置更好的信息管理方式。對信息進行梯度分析辦法，從而達到與目標站點信息同步的方式，對于采集的結果完成數據重構的方式，最后通過發布任務服務器的方式，將數據發布到應用平臺。大數據技術能夠不斷地增強數據的分析以及解析效率，及時發現解析的多元數據，從而防止安全隱患，并阻止網絡攻擊產生。如果一個計算機存在安全隱患，甚至還有攻擊現象，通過大數據可以查看計算機系統中是否存在同樣相似的情況，這樣在最短的時間內找到問題，產生的原因，并且采取相應的措施，保證所有的機械處于正常運行的狀態。例如，美國國家衛生研究院的生物科技信息中心(NCBI)公布的大量基因相關數據，這些數據的來源可以實時跟蹤、采集相關的國內外科技信息與新聞，對科研數據在各個網站網頁中進行整合，再通過本地文本數據抽取最后整合出完整且有實際作用的最終數據。

4 網絡安全平臺實現的技術支持

隨著我國的信息技術不斷的發展和普及，大數據技術更多的參與到網絡平臺的建設之中，通過對網絡安全平臺的構建，為用戶提供一個網絡安全使用環境。

（1）通過積極的構建大數據技術安全平臺，首先要對大數據的儲存曾進行數據分析，通過積極的構建平臺框架，針對數據采集進行分布式的收集信息，在這個過程中，通過運用信息管理的方式，對于信息用戶的方式能對安全信息和身份方式能更好地進行保密，使得信息進行永久的儲存。在大數據技術的背景下，可以使用結構化的儲存模式，再利用相應的文件層，進行數據分布收集，提升用戶使用網絡的速度和效率。

（2）大數據平臺的建設，其中包含了信息儲存、信息采集以及信息解析的方式，那么相對于其他的信息儲存層而言，解析層的功能相對完善，有效把握信息的特征，對于出現網絡信息安全問題漏洞，能夠及時的進行解決。除此之外，大數據可以通過顯示層對數據進行更好的呈現，通過利用多個維度的方式保證網絡安全，處于正常運行的狀態。

（3）通過數據的分析和挖掘，在網絡平臺的建設過程當中，主要是利用機械化的學習方式開展的，通過對試卷留的分析，能這樣系統數據作為事件類型進行分類，再進行關聯行的時間中，可以對試件進行分門別類，在針對海量信息的查詢中，找出網絡安全存在的各種問題。

（4）對于網絡安全平臺的安全性問題，這將直接影響到未來網絡的使用體驗，以及網絡發展空間。在網絡發展的過程當中，涉及到安全管理、密碼學、移動代碼指令、保護操作系統以及網絡安全管理等相應的內容，通過將計算機和軟件結合在一起，在互聯網和內部網絡建立一個安全運行的體系，這成為保護網絡安全運行的關鍵，從而避免非法入侵的事件發生。

5 總結

總而言之，在當今大數據發展的背景下，網絡信息數據在不斷的普及，在這個過程中，人們的生活和工作更多地依賴與網絡體現，因此，人們更多地關注網絡信息安全系統建設。在大數據系統中能更好地優化配置，能夠為人們提供安全上網的環境，不管是信息的收集整理，甚至是最后信息呈現方式，數據的應用對所有的使用者言都有著不可比擬的作用。在這個平臺上為用戶提供海量信息，同時為其生活工作帶來更大的便利，只有不斷提升網絡安全的管理，增強網絡安全抵御能力，才能為用戶的使用解決后顧之憂。