基于大數據的網絡安全態勢感知平臺架構研究

向劍峰

（中國電信湖北公司，湖北 武漢430024）

1 概述

習總書記在網信工作座談會上的講話（419 講話）中明確提出了關于在信息系統中建立態勢感知機制的重要性，包括提到了“全天候全方位感知網絡安全態勢”、“加強大數據挖掘分析，更好感知網絡安全態勢，做好風險防范”等一些重要觀點，從信息安全戰略層面明確了態勢感知能力的重要性。同時網絡等級保護2.0 要求網絡空間的安全防護應當立足于更加積極的合規驅動工作模式，針對關鍵信息技術等重要領域實現主動有效的全方位體系化防護，網絡安全態勢感知體系建設也成為新形勢下安全防御之必須。

1.1 網絡安全態勢感知定義

在大規模網絡環境中，對能夠引起網絡態勢發生變化的安全要素進行獲取、理解、顯示以及對未來短期的發展趨勢的預測。網絡態勢感知(Cyberspace Situation Awareness)包含有兩層含義：實時地根據網絡安全設備的告警信息及其他信息，進行關聯歸并、數據融合等操作，實時反映網絡實際的運行狀況；根據歷史數據進行一定的離線分析，采用一定手段對潛在可能的威脅進行預測。

1.2 大數據的特性

大數據的“實時”性并不意味著真正的實時，而往往是近似的“實時”：在一個相對短、相對新的時間里產生并可資利用；在一個與場景有關的短時期里，即能容許作出響應，并判定效果的一個時間段里產生并可資利用。新的數字數據源包括從人們使用數字服務被動收集到的交易數據聯機數據，新聞媒體和社會媒體的交互數據，物理傳感器數據，居民報告或群體源的主動數據等。

1.3 網絡空間安全亟需態勢感知

網絡空間威脅朝泛化和復雜化的趨勢在發展，各類網絡攻擊也更加具有持續性和隱蔽性。傳統的安全防護僅僅依靠部署于邊界的防火墻、IDS、IPS 等安全設備進行的靜態控制，被動式防御已不再適用于APT、0day 攻擊等新型網絡安全威脅的防護，亟需對傳統的安全防御方式進行優化和改進，形成全方位、多層次的態勢感知體系。

2 全方位態勢感知

基于大數據的態勢感知平臺通過對接網絡中現有或未來可能擴容的各類安全防護系統引擎，實現了全面且靈活開放的態勢感知系統架構。在這種體系下，任何類型任何廠商的安全設備或系統都可以作為用戶網絡或業務上各環節的安全監測傳感器，這些傳感器所產生的安全監測信息都將作為數據源由態勢感知平臺統一獲取。

2.1 態勢感知實現流程

現有安全資源的引擎化整合是全面獲取安全要素信息的基礎，在此基礎上，平臺通過資產感知、攻擊感知、脆弱性感知、風險感知、威脅感知和態勢總攬這些維度來覆蓋安全態勢各個方面并用來實現全方位的態勢感知。實現流程大致包括4 個步驟，分別是各類安全要素信息的獲取、面向態勢感知的集中數據分析、多維度態勢感知的呈現、預警通告及處置。

2.2 信息源獲取

上述態勢感知系統為開放型的平臺架構，任何安全設備或系統都可作為安全監視的數據源或引擎，通過平臺豐富和高兼容度的信息采集接口實現安全數據的廣泛采集，最終將整合到平臺的統一安全要素信息分析展現體系中，形成完整全面的一站式態勢感知能力。如上節所描述，系統安全要素采集層的下方是組織網絡中各類各廠商的安全設備和系統，以及大量要被防護監控的IT 資產。這些設備和資產所能產生的海量安全監控數據和運行日志，包括外部的威脅情報信息都將通過泰合態勢感知系統開放的各類信息采集接口進行采集匯總，這實現了態勢感知中對可能影響安全態勢要素信息獲取的重要環節。

2.3 基于大數據的安全事件關聯分析

大數據安全事件分析主要透過智能化的安全事件關聯分析來體現。事件關聯是指找出大量事件中存在的關系，并從這些大量事件中抽取出真正重要的少量事件。借助先進的智能事件關聯分析引擎和算法，系統能夠實時不間斷地對所有范式化后的日志流進行安全事件關聯分析。系統為安全責任人提供了三種事件關聯分析技術，分別是基于規則的關聯分析、基于情境的關聯分析和基于行為的關聯分析。

3 融合大數據技術的網絡安全態勢分析架構

為了應對海量事件管理帶來的挑戰，本文探討了高性能日志采集范式化技術、大數據分布式存儲與索引技術和流式分析技術等，對系統核心的安全分析技術架構進行了改進，真正使得本系統能夠支撐持續海量安全數據處理的安全管理平臺。系統的安全分析技術架構從總體上劃分為五個部分，分別是：信息采集（Collection）、大數據存儲（Big Data）、信息分析（Analysis）、功能層（Function）、呈現層（Presentation）。

3.1 信息采集

信息采集包括事件/流/性能采集和情境數據采集。事件/流/性能采集層面使用了異步通訊、高速緩存、日志/流范式化流水線技術，對海量流、性能和異構日志進行持續不斷地高速采集，使用戶能夠采集并預處理網絡中大規模IT 資源的日志、流和性能數據。情境數據采集實現了對客戶IT 資源的資產信息、性能信息、流信息、安全配置信息、弱點信息、漏洞情報和威脅情報信息等安全要素信息的采集。

3.2 大數據存儲

大數據存儲方面，針對大數據安全事件（日志）包括針對海量非事務數據的存儲、索引、搜索和備份的不足之處，使安全管理平臺基于大數據技術處理。在數據存儲過程中，系統對數據進行了分片并針對分片創建副本，為了保證數據的可靠性，系統將分片和副本分別保存在不同的分布式節點上，同時系統對原始事件進行了全文索引，方便后續全文檢索。

3.3 信息分析

信息分析層面針對采集上來的各類安全要素信息，系統實現了性能與可用性分析、配置符合性分析、安全事件分析、流行為安全與合規分析、脆弱性分析、風險分析和宏觀態勢分析。信息分析的方法包括實時流式分析、交互式分析、歷史數據批量分析和數據回放等多種先進技術。

3.4 功能層

功能層實現日常安全管理的功能，對發現的安全問題進行處置，包括例行處置和應急處置。例行處置主要以計劃任務的形式體現；應急處置主要通過響應管理和告警工單處理的形式體現。

3.5 呈現層

系統為不同層級、不同角色的用戶提供了層次化的用戶視圖，從監控、審計、風險和運維四個管理維度進行展示。用戶亦能依據自身的工作需求自定義展現視圖。呈現層為安全分析師提供交互式分析的視圖，幫助安全分析師快速獲取安全數據，進行威脅發現；同時，也為管理層和決策者提供整體安全態勢視圖，幫助他們了解網絡整體的資產安全態勢、漏洞安全態勢和攻擊安全態勢，及時掌握安全態勢，以求做出清晰、有效的決策。

4 結論

本文在介紹網絡安全態勢和大數據相關概念和技術的基礎上，從網絡攻擊形勢及當前安全防御的需求出發，分析了大數據技術進行網絡安全分祈的優勢，并結合大數據技術提出了網絡安全態勢感知平臺，從多個層面闡述了構建集安全數據采集、析和安全風險態勢感知于一體的系統平臺所需的技術和思路。目前國內眾多態勢感知平臺主要基于應用創新，在算法層面所有的安全研究機構和企業都在同一起跑線上，誰能夠首先找到解決現實問題的算法模型將處于領先位置。