試論大數據技術網絡安全態勢感知平臺

汪茹洋 李鵬

摘? 要：在信息技術不斷發展進步的背景下，各種網絡威脅也變得更加復雜多樣化，其技術水平也隨之提高，傳統的計算模式已經不能滿足抵御網絡威脅的要求，這就需要基于大數據的應用對多種領域的計算模式進行創新，尤其是對數據信息應用以及協同計算方面的提升有著非常重要的推動作用，根據當前網絡安全存在的問題，提出了有效合理的解決方式。根據現階段網絡安全的形勢，需要在建立網絡安全預警系統的過程中，融入新型的信息技術，保證安全態勢感知平臺的全面性，進而能夠做到有效的應對各種網絡安全威脅。

關鍵詞：大數據;威脅感知;威脅發現

中圖分類號：TP393? ? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）10-0023-02

Abstract： In the context of the continuous development and progress of information technology， all kinds of network threats have become more complex and diversified， and their technical level has also been improved. The traditional computing model can no longer meet the requirements of resisting network threats， which requires the innovation of computing models in many fields based on big data application， especially in the application of data information and collaborative computing. According to the problems existing in the current network security， an effective and reasonable solution is put forward. According to the current situation of network security， it is necessary to integrate new information technology into the process of establishing a network security early warning system to ensure the comprehensiveness of the security situation awareness platform， so as to effectively deal with a variety of network security threats.

Keywords： big data; threat perception; threat discovery

隨著社會不斷的進步與發展，網絡態勢感知作為一種新型的技術，目前已經成為我國互聯網安全的發展方向之一。針對內網環境下，能夠改變網絡態勢的因素進行分析、顯示并預測未來的走向的網絡安全態勢感知平臺，通過對各類感知數據源進行整合分析，利用智能算法和安全模型，把各種安全數據轉化成直觀的信息。

1 技術架構

建立并完善網絡安全態勢感知平臺，首先要將整條防御鏈中的相關安全數據進行采集，篩選互聯網中各種存在威脅的信息并進行儲存，逐步形成一個與網絡安全相關的大數據架構。其次，要實現諸多安全規劃、分析算法、安全模型等有效的結合，對數據庫中的安全數據進行更深層次的挖掘并加以分析，從這些數據之中推算出存在的風險，例如潛在的威脅、安全事件、預判未知風險等等，最終完成整個網絡安全態勢感知的任務[1]。

2 網絡安全對數據匯聚與存儲的威脅

針對于采集和儲存威脅數據，首先要對態勢感知數據源進行采集;其次需要用到大數據的存儲管理技術，在數據平臺當中，需要輸入采集的數據，這樣可以形成初級的安全數據庫[2]。其中在態勢感知數據源中，可以為數據分析提供一定的技術保障，同時還可以提供各種原始的安全數據。態勢感知數據源最大程度的覆蓋整個互聯網攻擊鏈條下的每一個環節、要素，保證各類數據的全面性;在運用大數據技術進行管理和存儲的過程中，不僅需要結合關系數據庫系統，同時還需要構建數據庫集群、分布式文件系統，從而保證形成混合式數據庫的順利，滿足各種數據的存儲需求，例如結構化數據、非結構化數據和半結構化數據。

3 篩選安全數據

在挖掘和分析數據的過程中，需要篩選安全數據，并且需要轉變為威脅情報，具體步驟如下;首先，要對數據進行預先處理，利用關聯分析、數據融合等方式，對初期的數據進行組織，這樣可以形成初步的數據關系圖;其次，在對模型進行設計的過程中，需要根據攻擊數據的實際情況，不僅需要分析攻擊特征，同時還需要對行為特征進行分析，然后制定數據分析的方式，構建分析大量數據的模型。最后，需要運用一些方式對數據進行分析，主要包括了離線分析法和實時分析法等等，對于已經預先處理的數據，需要結合分析模式，開展深入挖掘，從中發掘潛在的威脅、探索網絡安全態勢[3]。

3.1 預先處理數據

對數據進行預處理需要以下三個步驟：首先，清洗數據。原始的數據在經過規整以及標注之后，可以保證安全數據的準確性;其次，融合數據。對于基礎的安全數據而言，需要與已知的威脅特征進行有效的結合，從而形成數據族。最后，關聯數據。在進行數據關聯的過程中，需要對數據的時序關系進行關聯，同時還需要對數據的交互特征進行關聯，從而可以構建數據關系網絡圖。

（1）清洗數據。在數據清洗的過程中，其就是對各種各樣安全數據的格式進行轉換，然后對數據進行去重和過濾，從而完成數據的清洗工作，其目的是可以清除大量數據中無效數據。將各類數據庫做為基礎，在對原始數據進行整理的過程中，需要對數據的威脅信息和報警信息進行標注，從而可以保證基礎安全數據的準確性[4]。（2）融合數據。其含義是有效的融合各種各樣的數據，從而可以形成屬性和類別統一的源數據。再結合行為特征、流量特征等，對同一特征、規律的數據進行融合，最終形成一個共性的數據族。（3）關聯數據。首先是屬性相似的數據族進行關聯，在數據族的一些信息相同的情況下，就可以對數據開展關聯工作。其次，在對數據進行關聯的過程中，可以根據數據的時間順序進行關聯，比如在某些數據中，具備時間順序的特征，就可以建立關聯。通過數據之間的關聯，可以重新組織原始數據，并且還可以對數據的關系進行分析總結，從而形成數據關系圖。

3.2 設計計算模型

（1）數值統計模型。在態勢感知數據源中含有大量的交互IP、用戶行為等數據信息，在這些信息的統計特征當中，可以保證表達網絡動作的完整性，而在這些網絡動作當中，在運用傳統方式進行匹配的過程中，是非常不容易被發現的。因此當數據都表達了同一種網絡行為的時候，而且這個行為屬于網絡攻擊的范圍之內，那么就可以通過數值統計的方法來發現[5]。（2）算法挖掘模型。在算法挖掘模型數據當中，是根據現有的分析算法，對數據進行挖掘，從而可以發現存在的隱藏風險，其中主要包括的算法：基于統計學方法的度分布計算、基于PageRank的頂點分析算法[6]。基于統計學方法的度分布計算：通過運用此算法，不僅可以掌握數據關系中的節點個數，同時還可以了解節點度的分布曲線。進而能夠發現，某一時間段內，活躍人員數量及規模、熱點服務器、高危漏洞、嚴重病毒等，通過運用該算法，可以確定整個數據需重點重視的目標。基于PageRank的頂點分析算法：該算法的核心在整個網絡訪問的IP網頁得到了廣泛的應用，這就是屬于該算法重點注重的對象，通過運用該算法，可以發現網絡中包含的重要信息[7]。

3.3 分析安全數據

分析數據是基于上述模型的基礎之上，對數據進行實時分析和離線分析，進而分析出數據的流向、層次、行為等，這樣可以在數據中發現存在的風險，其中主要包括了兩個部分：實時分析和離線分析。

（1）實時分析。在進行實時分析的過程中，就是對數據進行實時分析，但是在實時分析當中，需要搭建Spark框架，而在Spark中，是運用內存計算的方式，對數據進行大批量的流處理，擁有非常高的并發處理能力、計算能力，因此適用于實時分析計算。實時分析計算中流式計算模型和MapReduce調度計算有著很大的不同之處，流計算可以實現數據的實時處理，可以根據計算范圍的情況，對模式進行合理的擴展，保證處理數據計算任務之間關系的靈活性。在實時分析模型當中，需要分析處理在線收集的即時數據，這樣可以保證現場處理的有效性，這樣就會弱化對安全事件的分析結果準確度要求。在實時分析中，其主要的功能包括了判斷威脅類型、挖掘安全事件，這就可以及時的發現存在攻擊行為，并且進行預警。而對不能確定的事件，需要交給離線分析進行處理。（2）離線分析。在離線分析中，與實時分析進行比較的情況下，其駐點是反復挖掘數據庫的歷史數據，并且還需要進行分析和計算，從而保證深入使用數據的最大化。在離線分析模塊中，需要收集數據庫中全部的歷史數據，并存放在數據庫中，其中包含了實時分析模塊轉接的疑難數據。在離線分析模塊中，需要對已知安全事件倉庫進行維護，在安全事件的來源當中，不僅包括了實時分析的結果反饋，同時還包括離線分析的結構反饋。在對引擎進行挖掘的過程中，需要有效的結合事件倉庫，可以更加深入分析和挖掘數據庫中的數據，然后對于最新的挖掘結果而言，需要傳遞到安全事件處理模塊中，對挖掘結果進行處理，同時對于新挖掘的事件，需要保存到事件倉庫當中[8]。離線分析模塊在數據庫中提取有效安全事件分析，判別其威脅的類型，在對分析挖掘進行聯合的過程中，不僅需要運用數據庫中的原始數據集，同時還需要利用數據庫中的已知安全事件，然后對多個安全事件的聯系進行分析，并根據此聯系形成新的安全事件。通過離線分析和實時分析的有效結合，可以保證建立大數據分析引擎的完善性，不但能夠對進入系統的實時數據進行現場的分析挖掘，做到第一時間的預警，同時也能夠對歷史數據進行更深層次的分析挖掘，并通過分析找出存在的安全隱患，預判未知的威脅。

4 態勢感知在預警業務中的應用

態勢感知在預警方面主要有著以下三點運用：一是，通過對大數據的分析挖掘，實現網絡安全威脅自動預警，防止受到木馬傳播、仿冒釣魚等攻擊。二是能夠實現對重要系統的實時監控，比如對政府部門、事業單位的官網等進行實時全方位的監測，防止網頁被篡改、服務器被攻擊等現象的發生。三是實現對網絡風險的預警及感知，能夠對網絡攻擊行為、安全隱患等進行分析總結，使人們對網絡風險有一定的理解并加以預防。

5 結束語

態勢感知是網絡對抗預警的重要組成部分，能夠從安全數據中分析挖掘出安全風險。本文對當今網絡攻擊方式和防御需求進行分析，闡述了在大數據技術的應用背景下網絡安全的優勢，并提出了大數據技術網絡安全態勢感知平臺概念，從多個方面分析了構建此平臺的優勢以及平臺的功能，希望能夠幫助更多的單位、企業做好網絡攻擊防范預警工作。

參考文獻：

[1]董超，劉雷.大數據網絡安全態勢感知中數據融合技術研究[J].網絡安全技術與應用，2019（7）：60-62.

[2]盧慶，文衛疆，陳新.大數據技術支持下的網絡安全態勢感知技術探究[J].網絡安全技術與應用，2018（10）：63-64.

[3]伍黎明.基于大數據分析的網絡安全態勢感知技術及評估方法研究[J].電子元器件與信息技術，2018（9）：49-51，101.

[4]鄧曉東，何慶，許敬偉，等.大數據網絡安全態勢感知中數據融合技術研究[J].網絡安全技術與應用，2017（8）：79-80.

[5]付瑋.大數據時代背景下的網絡安全策略研究[J].網絡安全技術與應用，2019（10）：15-16.

[6]許暖.基于大數據背景下分析網絡安全態勢感知關鍵實現技術探索[J].數字化用戶，2019，25（1）：179-180.

[7]李若愚，張新躍，張晉豪.網絡安全態勢感知系統架構淺析[J].信息記錄材料，2019，20（8）：101-102.

[8]胡志軍.基于大數據的網絡安全態勢感知平臺的應用思考[J].金融科技時代，2019（10）：44-46.