基于大數據的安全態勢感知系統研究

劉海霞　許鑫磊　冉宇瑤　趙小娟

摘? 要：針對目前層出不窮的各類網絡攻擊事件，基于最新的大數據技術組件，構建集數據收集、數據處理、數據存儲、數據分析、數據呈現于一體的安全態勢感知系統框架。通過Flume和Kafka獲取日志或網絡攻擊信息，使用MapReduce和Storm技術進行批量或實時分析，以達到對網絡安全的感知;采用層次分析法確定指標權重，提取網絡態勢特征，通過分析構建判定矩陣完成對網絡安全態勢的評估，并利用神經網絡、關聯分析、時間序列畫出三種預測技術;通過ECharts進行可視化圖表部署，采用R語言、ECharts技術對威脅類型、攻擊數據進行展示和分析，將攻擊源進行可視化，從而完成安全態勢的預測。系統具有高可用、可擴展、易部署等特點，能較好地支撐各類網絡安全威脅的感知與預測。

關鍵詞：網絡安全;態勢感知;大數據;分布式

中圖分類號：TP309? ? ?文獻標識碼：A

Research on Security Situation Awareness System based on Big Data

LIU Haixia1， XU Xinlei2， RAN Yuyao1， ZHAO Xiaojuan3

（1.Keyi College， Zhejiang Sci-Tech University， Shaoxing 312369， China;

2.Hangzhou Anheng Information Technology Co.， Ltd.， Hangzhou 310018， China;

3.Luoyang Radio & Television University， Luoyang 471000， China）

304361324@qq.com; 25195913@qq.com; ranyuyao@126.com; 58724833@qq.com

Abstract： In view of various attack events that are emerging one after another， this paper proposes to build a security situational awareness system framework that integrates data collection， data processing， data storage， data analysis， and data presentation based on the latest big data technology components. Logs or network attack information are obtained through Flume and Kafka， and MapReduce and Storm technology are used to perform batch or real-time analysis， so to achieve network security perception. AHP （Analytic Hierarchy Process） is used to determine the index weights， extract the characteristics of the network situation， and complete the assessment of the network security situation by analyzing and constructing a judgment matrix. Neural network， correlation analysis， and time series are used to draw three forecasting techniques. Visualized chart is deployed through ECharts and R language is used. ECharts is used to display and analyze threat types and attack data， and visualize attack sources， thereby completing security situation prediction. The system has the characteristics of high availability， scalability， and easy deployment， and can better support the perception and prediction of various network security threats.

Keywords： network security; situational awareness; big data; distribution

1? ?引言（Introduction）

隨著網絡更深入地走進人們的生活，各種對網絡安全的入侵和攻擊也越來越嚴重，給網絡的入侵行為檢測和預防帶來很多新問題。當前，很多學者開始關注網絡安全和網絡預防，并對其展開研究。如LEE等[1]基于Hadoop開源軟件開展了DDoS攻擊檢測技術實驗，對存儲記錄的流量數據進行分析，獲取較高的吞吐量;劉冬蘭等[2]對電力信息系統網絡安全態勢感知及主動防御問題進行了研究，實現了攻擊事件及安全態勢的實時監控預警;王以伍等[3]利用大數據相關技術對網絡運行相關海量數據進行分析、過濾、融合，識別已知和未知的安全威脅，并建立了安全體系;龔儉和FRANKE等[4-5]認為，整個態勢感知過程包括態勢要素獲取、態勢理解和態勢預測。丁華東等[6]基于貝葉斯方法提出了一種網絡安全態勢感知混合模型，并對既定網絡環境中收集到的態勢指標數據進行離散化預處理，利用不同的評價方法建立相應的態勢感知模型;琚安康等[7]基于開源工具集提出了一種大數據網絡安全態勢感知及預警架構。

綜合來說，目前的研究利用大數據技術處理數據快的優勢，克服了傳統方法的瓶頸問題，實現了較高的數據分析效率，但對基于大數據的系統分析較少。本文將應用現有大數據技術，結合攻擊檢測預警技術模塊，設計一種覆蓋從數據獲取到視圖呈現各個階段的網絡安全態勢感知系統，并利用大數據開源代碼及Java編寫工具，實現該預警系統的各個功能模塊。

2? 網絡安全態勢感知系統研究架構（Research architecture of network security situation awareness system）

結合大數據技術，對網絡安全的態勢需求進行分析，設計系統框架，從數據源獲取到攻擊可視化呈現，覆蓋整個流程。系統架構采用分層設計與模塊化相結合的方式進行，主要包括數據源、數據收集與預處理、數據分布式存儲、數據挖掘與分析、網絡安全態勢評估預測、網絡安全態勢可視化呈現等功能模塊，子模塊之間通過數據邏輯通路連接，相互合作實現對網絡安全態勢的數據分析、攻擊風險預警并呈現，如圖1所示。

2.1? ?數據源

數據源包括網絡中的硬件設備如路由器、交換機、流量采集器等;網絡安全設備如防火墻、網絡安全防護軟件等，以及系統日志、應用日志、CPU利用率等。另外，還包括運行和維護數據（處理記錄、風險評估等）、外部攻擊數據（攻擊方式、特點、攻擊漏洞等）等。

2.2? ?數據收集與預處理

該模塊主要收集各種網絡設備產生的數據，然后經過初步整理分類，將其傳入大數據平臺。對需要實時分析的數據，將其直接傳送給Storm。數據收集主要包括傳感器（采集和發送如路由器、交換機等網絡設備的數據）、網絡爬蟲（按照一定規則自動抓取萬維網信息的程序或者腳本）、Flume日志（采用分布式收集各種設備、系統和應用中產生的日志數據，它們往往隱藏了許多有用信息）、Kafka消息（在消息傳輸過程中保存消息的容器或中間件，主要目的是提供消息路由、數據分發并保障消息可靠傳遞），并對上報數據進行統一的范式化預處理，對采集的數據進行數據歸并、數據清洗等操作，然后根據不同業務把數據存儲到不同的存儲系統上。

2.3? ?數據分布式存儲

數據分布式存儲HDFS[8]是整體系統框架的存儲基礎，主要負責將采集的數據統一存儲，為后面的數據處理分析、檢索查詢提供支持。數據分布式存儲不僅支持由數據收集與預處理模塊采集的各種安全數據、網絡數據、攻擊數據，也要為中間處理結果提供存儲保障。

2.4? ?數據挖掘與分析

數據挖掘是指從大量的數據中挖掘出有用的信息，即從大量的不完全、不確定的實際應用數據中發現隱含的、事先未知的，但又有潛在用處的信息和知識的非平凡過程。通過聚類分析法及統計學方法，將獲取的數據進行深度分析和處理，得到數據的深層價值，挖掘出隱藏度較高的攻擊方式。此模塊主要包括批量數據（離線）分析、實時數據流分析，其中批量數據分析采用MapReduce編程模式，實時數據流分析采用Storm架構[9]。

網絡安全事件關聯分析能將不同來源的報警信息進行去偽存真，從而挖掘出真正的網絡攻擊事件。在此系統設計中選用Storm作為流數據處理工具，對接收到的實時數據進行關聯分析，分析完成后將分析結果和告警信息送入存儲子系統，以供日后查詢分析，或提交態勢呈現子系統直接顯示到可視化界面中，展示實時網絡安全態勢。

2.5? ?網絡安全態勢評估預測

根據網絡運行狀況發展變化的實際數據和歷史資料，運用科學的理論、方法和各種經驗、判斷、知識去推測、估計、分析其在未來一定時期內可能的變化情況，是網絡安全態勢感知的一個重要組成部分。本系統采用層次分析法確定指標權重，提取出網絡態勢特征，通過分析構建判定矩陣完成對網絡安全態勢的評估。然后根據評估數據，采用神經網絡、關聯分析、時間序列畫出三種預測技術，針對不同網絡所處的環境，選擇對應的網絡安全態勢預測技術，從而可以有預見性地進行安全策略的配置，實現動態的網絡安全管理，預防大規模威脅網絡安全事件的發生。

2.6? ?網絡安全態勢可視化呈現

對前面幾個模塊采集的數據進行分析、評估、預測之后，利用計算機圖形學和圖像處理技術，將實時數據以動態方式進行展示，將歷史數據以靜態或動態方式展示給用戶，讓用戶一目了然地觀看到實時的網絡安全態勢走向。異構的數據源和持續增長的數據量給分析人員帶來了繁重的負擔，這里采用R語言、Kibana等可視化技術將安全分析的結果和實時安全狀態進行可視化呈現，可幫助系統管理員實現對網絡整體安全態勢的掌握，以應對日趨復雜的網絡安全形勢。

3 網絡安全態勢感知系統研究模塊及技術（Research modules and technologies of network security situation awareness system）

3.1? ?系統技術分析

系統開發主要以Spring Boot、Mybatis、Hadoop、Flume、Kafka、Spark、Storm、Kibana等技術為開發框架，采用Linux centos版本作為服務器系統，通過Nginx反向代理服務器來搭建服務器，并且可以利用Nginx的特性和爬蟲技術、lua腳本對請求數據進行抓取來做數據源，發送到Kafka消息隊列中進行排列，通過Spark對每一條請求數據包都進行安全分析后利用MySQL數據庫來存儲相關數據，從而對系統的數據存儲進行支撐;利用Hadoop大數據框架作為文件存儲系統，通過Flume框架對日志目錄進行實時監控，并傳輸到Spark中進行數據的處理分析和存儲;最后將數據通過Spring Boot和Mybatis來開發后端建立與數據庫的連接，將數據通過Kibana進行可視化呈現在前端界面，用戶使用本系統完全可以通過瀏覽器實現管理、監測等操作。

3.2? ?系統功能模塊

系統主要分為兩大模塊：管理端和可視化顯示端。其中，管理端包括管理員、安全信息員兩個部分。管理員主要具有用戶管理、公告管理、郵件模塊管理、系統參數配置管理等權限;安全信息員具有日志目錄管理、漏洞庫管理、規則特征庫管理、腳本庫管理、攻擊信息管理及黑白名單信息管理等權限，另外還可以對各類事件進行分析，是整個系統的核心模塊。前端顯示模塊，主要是對攻擊信息進行及時顯示與處理。詳細信息如圖2所示。

事件分析模塊主要處于SparkStreaming數據流式處理階段，首先觸發流程為客戶端向服務器發送請求通過Nginx反向代理服務器，Nginx會調用Lua腳本對請求的數據包進行流量捕獲，然后直接將捕獲的完整請求數據包和響應數據包格式化后發送到Kafka消息隊列中等待消費者消費;隨后通過消費者消費將數據消費到Spark中，通過SparkStreaming對topic進行篩選獲取對應的請求數據包;接著在Spark中對數據包進行獲取后拆分，逐個進行特征匹配，當匹配到特征字段就會將這段的數據包進行記錄和標記，然后及時觸發郵件系統，在惡意數據包存入數據庫中的同時向綁定用戶發送郵件告警。

3.3? ?基本攻擊流程及分析

首先確定攻擊目標：http：//219.***.***.228：4**。

存在漏洞的url：

http：//219.***.***.228：4**/new_list.php？id=1。

尋找網站存在的弱點，假設new_list.php的id參數存在SQL注入漏洞，構造攻擊向量id={payload}（payload為攻擊載荷）。發送帶有攻擊載荷的請求數據包，攻擊成功后獲取數據庫名稱，如圖3所示。

4? 網絡安全態勢感知系統實現（Realization of network security situation awareness system）

管理員登錄后進入后臺管理頁面：顯示當日產生的告警信息條數和攔截條數;展現系統所受威脅的類型占比;展現近七日的威脅告警和攔截條數的折線圖，更好地體現出近期系統所受的威脅程度，據此可以立即采取防御措施;網口吞吐量檢測實時顯示服務器的網口吞吐量信息，可以直觀地看出服務器的流量狀態，快速辨別服務器是否存在惡意流量，如圖4所示。

另外，打開事件分析模塊，可以對主機威脅、緊急事件、情報事件、攻擊者視角、流量等進行安全方面的分析，查找攻擊來源，并對攻擊過程進出進行分解，將攻擊源進行可視化，如圖5所示。

5? ?結論（Conclusion）

本文針對目前網絡安全應用問題，利用大數據技術及開源工具集設計并實現了網絡安全態勢感知及預警系統，并在工作單位對網絡安全態勢感知系統進行了部署和測試，對已有安全數據進行了合理分析，能夠實現對網絡安全威脅事件產生預警，實時檢測獲取網絡攻擊行為，并采用可視化的方法將結果呈現出來。隨后對網絡安全態勢感知系統進行了觀測與試用，整體運行穩定，可以對大多數的安全威脅事件進行預警，效果良好。

參考文獻（References）

[1] LEE Y， LEE Y. Toward scalable internet traffic measurement and analysis with hadoop[J]. ACM SIGCOMM Computer Communication Review， 2012， 43（1）：5-13.

[2] 劉冬蘭，劉新，張昊，等.基于大數據的網絡安全態勢感知及主動防御技術研究與應用[J].計算機測量與控制，2019，27（10）：229-233.

[3] 王以伍，張牧.基于大數據的網絡安全態勢感知關鍵技術研究[J].電腦知識與技術，2020，16（15）：43-46.

[4] 龔儉，藏小東，蘇琪，等.網絡安全態勢感知綜述[J].軟件學報，2017，28（4）：1010-1026.

[5]? FRANKE U，? BRYNIELSSON J. Cyber situational awareness a systematic review of the literature[J]. Computers & Security， 2014， 46：18-31.

[6] 丁華東，許華虎，段然，等.基于貝葉斯方法的網絡安全態勢感知模型[J].計算機工程，2020，46（6）：130-135.

[7] 琚安康，郭淵博，朱泰銘.基于開源工具集的大數據網絡安全態勢感知及預警架構[J].計算機科學，2017，44（5）：125-131.

[8] LUST-RING.深入理解HDFS：Hadoop分布式文件系統[EB/OL].（2016-07-15） [2020-03-05].https：//blog.csdn.net/bingduanlbd/article/details/51914550#t24.

[9] 一路前行1.Storm架構與運行原理[EB/OL].（2017-08-13）[2020-03-20].https：//blog.csdn.net/weiyongle1996/article/details/77142245.

作者簡介：

劉海霞（1981-），女，碩士，講師.研究領域：計算機應用，網絡安全.

許鑫磊（1997-），男，本科，工程師.研究領域：網絡安全與檢測.

冉宇瑤（1969-），女，碩士，副教授.研究領域：計算機應用，算法分析.

趙小娟（1982-），女，碩士，講師.研究領域：網絡安全技術，信息化技術.