基于大數據分析的態勢感知平臺設計

◆遲玉領

基于大數據分析的態勢感知平臺設計

◆遲玉領

（國能黃驊港務有限責任公司 河北 061113）

針對傳統的網絡安全產品難以解決當下用戶網絡安全問題的現狀，本文設計了一種基于大數據的網絡安全態勢感知平臺，包括大數據平臺技術架構設計和網絡安全態勢感知平臺功能設計。基于大數據平臺提供的組件功能，為態勢感知平臺提供數據獲取、數據融合、分析、檢索、存儲以及模型、算法、機器學習、接口等眾多基礎服務功能，保障態勢感知平臺能夠對海量告警數據進行提取、響應、分析、處理，準確地識別出安全事件，真正解決用戶安全問題，為今后網絡安全態勢感知平臺產品發展方向提供思路和方法。

大數據;網絡安全；態勢感知；機器學習；可視化

1 引言

隨著傳統互聯網、大數據、物聯網等技術的快速發展，信息安全問題越來越突出，不僅引起了企業領導的重視，更引起了國家領導人的關注。習近平總書記更是提出了要“構建關鍵信息基礎設施安全保障體系，全天候全方位感知網絡安全態勢”[1]。

同時，由于攻擊者、黑客技術水平的不斷提升，攻擊手段已向著更為復雜的0day漏洞利用和APT攻擊演變，攻擊手段多樣化，這給企業的安全保障帶來了極大的困擾[2]。

但是，目前主要的應對措施依然是基于安全產品的簡單組合，存在較多的不足[3-4]：

1) 安全設備孤島式分布，無法關聯分析；

2) 安全設備告警泛濫，運維人員處于告警疲勞；

3) 安全告警依賴內置規則，缺乏建模分析；

4) 無安全回溯能力，無法對攻擊者追蹤溯源；

5) 缺失資產、弱點、安全事件的關聯對應。

基于這些痛點，目前迫切需要一種能夠對海量數據進行準確提取、建模、分析，再結合威脅情報，精準發現安全事件，提升用戶運維效率、協助用戶解決安全問題。

2 基于大數據的網絡安全態勢感知平臺設計

2.1 大數據平臺技術架構設計

大數據平臺架構設計采用對開源組件的封裝和增強，提供組件，主要解決多源異構數據的采集、匯聚、處理、存儲以及為上層應用提供各類計算能力和數據服務能力，大數據平臺技術架構設計如圖1所示[5-6]。

圖1 大數據平臺技術架構設計

系統管理設計：主要提供高可靠、安全、容錯、易用的集群管理能力，支持集群化的安裝部署、監控、告警、用戶管理、權限管理、審計、服務管理、健康檢查、問題定位、升級和補丁等管理功能。

分析展示設計：主要提供儀表盤、大屏、告警中心、可視化圖表等多種展示功能。

接口設計：主要提供REST API、SDK、JDBC/ODBC等接口，供第三方系統調用。

數據交換設計：主要采用NxLog、Beats實現平臺與關系型數據庫、文件系統之間的數據交換功能。

分布式消失隊列設計：主要采用kafka組件實現實時消息發布，提供可擴展、高吞吐、低延遲、高可靠的消息分發服務。

任務調度系統設計：主要采用Scheduler組件，實現各任務之間的調度功能。

資源調度管理設計：主要采用YARN組件，實現各類應用程序進行資源管理和調度。

流計算框架設計：主要采用Flink開源流處理框架，支持批處理和流處理功能。

分布式文件系統設計：主要采用Hadoop架構，提供高吞吐量的數據訪問功能。

實時分布式數據庫設計：主要采用Hbase技術，實現海量數據存儲的功能。

全文檢索設計：主要采用ElasticSearch檢索引擎，實現快速、穩定、可靠的搜索功能；

分布式文件系統設計：主要采用HDFS技術，實現批量文件的快速存儲與調取功能。

關系數據庫設計：主要采用MySQL數據庫組件，提供一個具備高可靠性的傳統關系型數據庫功能。

2.2 態勢感知平臺功能設計

基于大數據技術，建立安全數據中心，利用AI模型和可視化技術，對企業網絡環境內發生的所有行為進行全面分析，實現對脆弱性、威脅、事件的深入分析和關聯，從業務系統、應用情境、用戶等維度進行關聯分析，實現攻擊路徑還原、攻擊危害評估、調查取證、安全態勢可視化分析等安全能力。功能架構設計如圖2所示[7-8]。

圖2 態勢感知平臺功能架構設計

2.2.1安全數據采集系統功能設計

1）流量數據采集設計

基于流量深度檢測DPI技術，針對HTTP、SMTP、POP3、IMAP、SMB、FTP等網絡協議進行流量采集，并對二至七層全協議進行深度解析，并對流量中隱藏的木馬、蠕蟲、病毒等惡意代碼流量進行檢測告警。

2）日志數據采集設計

通過采用Syslog、SNMP Trap、Netflow、NMAP、FTP、ODBC、SSH等協議進行日志數據采集。包括網絡設備、安全設備、主機、服務器、中間件等日志。

3）外部威脅情報采集設計

通過集成第三方威脅情報源，對系統中存在的惡意IP、URL、Domain等可疑行為進行及時告警和通知。

4）APT攻擊檢測設計

利用自學習白名單分析、病毒特征庫匹配以及動態沙箱等技術手段對APT攻擊進行檢測分析。

2.2.2安全威脅分析預警系統設計

1）攻擊分析設計

DDOS攻擊分析：利用機器自學習功能對DDOS攻擊流量樣本進行訓練，識別出Syn-flood、ack-flood、udp-flood、ICMP-flood等攻擊。

CC攻擊分析：通過分析流量特征和HTTP協議中的報文，識別出CC攻擊；

僵木蠕毒數據分析：通過nmap技術實時掃描網絡狀態，識別出僵尸網絡；利用病毒庫特征庫匹配技術檢測出木馬、蠕蟲、病毒等。

APT攻擊分析：利用動態沙箱技術，識別出網絡中存在的APT攻擊威脅。

2）UEBA分析設計

資產自動發現：利用識別指紋庫，對流量和日志數據進行指紋抓取，自動識別出相關網絡資產，包括安全設備、網絡設備、主機、數據庫、中間件以及應用系統等資產；

主機失陷檢測：用機器學習檢測DGA域名請求、遠控工具指紋庫、漏洞庫，以及多個隱蔽信道通信檢測模型，可以全方位發現主機被遠程控制或被掛馬。

端口分析：主要利用nmap技術，對存活設備的端口進行監測，密切關注高危端口的TCP報文連接情況分析。

賬號失陷檢測：檢測內部用戶賬號被惡意濫用行為，如檢測不合理的登錄行為和操作行為。

用戶行為畫像分析：利用機器自學習技術對用戶日常操作行為進行建模，對用戶操作行為進行畫像分析。

攻擊者畫像分析：利用大數據分析技術，對既有安全日志從事件、時間、影響、危害等多個維度分析，從而快速、全面的獲取攻擊畫像。

3）數據泄露分析設計

可疑的文件監測：通過判斷用戶文件夾訪問行為、移動行為等，識別出可疑的文件操作；

敏感數據訪問異常檢測：通過IP與用戶的映射關系，實時檢測分析非法用戶是否在訪問敏感數據；

敏感數據訪問統計分析：統計分析哪些用戶正在使用敏感數據、訪問時間、訪問頻率；

基于內容文件分類：通過文本內容提取出內容的主題，根據主題對其進行分類分析；

機器學習構造敏感詞庫：通過構建敏感關鍵詞庫，利用敏感詞識別器直接識別出敏感的文件和應用內容。

4）應用安全數據分析

基于業務健康指數模型，從業務的性能與可用性、業務的脆弱性和業務的威脅三個維度綜合計算出業務的健康指數，以及業務健康指數隨時間波動的曲線，來分析應用數據的安全性。

5）關聯分析

通過安全事件找到相關的資產，關聯查找資產的漏洞，從而建立安全事件與漏洞之間的可能關系。情報源中的威脅信息可在關聯規則中引用，進而對安全事件、資產、漏洞、威脅等進行關聯分析。

2.2.3態勢感知可視化系統設計

主要對存在的主要安全威脅和攻擊事件進行檢測，利用大數據分析方法對各種安全信息進行深層次關聯融合，以攻防的視角，從整體安全態勢、DDOS攻擊態勢、僵木蠕毒攻擊態勢、網站安全態勢、0days漏洞態勢、APT威脅安全態勢、資產安全態勢、數據泄露安全態勢、賬號安全態勢、流量態勢、業務應用態勢、脆弱性利用態勢、內外網連接態勢等維度進行可視化展示。

（1）事件可視化展示

基于事件五元組數據（源IP、源端口、目的IP、目的端口、協議）五個數據組成的平行坐標圖；

基于事件源IP、目標IP的視網膜圖可視化展示，利用視網膜圖可以清晰地看到源IP到目的IP連接的次數，當連接次數越多時，源IP到目的IP的寬度則越寬，方便進行數據分析。

（2）流量可視化展示

基于外部IP訪問流量TOP排名可視化展示；基于資產流量TOP排名可視化展示，通過計算一段時間內資產（IP）的流量大小，計算輸入（下行）、輸出（上行）流量以及總流量，進行TOP排名可視化展示。

基于協議類型進行流量TOP排名可視化，通過計算一段時間內資產的流量大小和某種協議的連接次數，分別按流量和連接次數進行分析；

基于資產流量（基線）畫像可視化，通過計算一段時間內資產的流量大小、平均流速、峰值流速和某種協議的連接次數，進行資產流量可視化展示。

（3）脆弱性可視化展示

基于已發現的漏洞清單與資產關聯可視化，每個資產的脆弱性（包括病毒、漏洞等）所關聯的IP情況，一個漏洞對應多個IP，可以從圖標上直觀看出資產的脆弱性，清晰的展示效果方便于資產脆弱性的數據分析。

基于某一漏洞關聯資產的關聯可視化，從相關聯的資產可直觀看到其資產所關聯的脆弱性情況，層層的數據關聯，通過一對多的模式清晰的展示資產脆弱性的關系，

（4）漏洞利用可視化

基于漏洞利用可視化分析：安全事件-關聯資產-關聯漏洞、合規問題、弱口令；安全事件-關聯威脅情報。

2.2.4追蹤溯源系統功能設計

在確定攻擊事件后，按事件線索匯總所有分析的結果，按時間順序、網絡拓撲路徑、網絡連接訪問路徑進行攻擊路徑還原，進入還原黑客整個攻擊行為。

2.2.5通報和應急處置系統設計

通報管理：接收、匯總各種類型，不同來源的安全信息通報，實現漏洞信息錄入、通報信息錄入、通報管理下發等功能。

安全事件應急處置：針對網絡安全事件的應急響應、處理流程進行綜合管理，對各方資源的有效整合、集中管理、集中監控、集中維護，實現應急預案數字化管理。

系統內置以下知識庫：安全事件處理流程、安全知識庫管理流程、安全運營流程、安全問題管理流程、漏洞評估處理流程、安全事件應急響應流程、通報流程以及安全作業計劃流程等。

2.2.6基礎安全運維門戶系統

基礎安全運維門戶系統作為態勢感知平臺的基礎管理支撐，負責用戶管理、角色管理、權限控制、門戶定義、資產管理、業務管理、日志范式化庫、事件告警管理、各種策略管理、各種統計分析報表以及整個平臺組件的監控管理等功能。

3 結束語

本文從傳統安全產品不能解決當下用戶安全問題的需求為出發，設計了一種基于大數據的網絡安全態勢感知平臺，包括大數據平臺技術架構設計和網絡安全態勢感知平臺功能設計。基于大數據平臺提供的組件功能，為態勢感知平臺提供數據獲取、數據融合、分析、檢索、存儲以及模型、算法、機器學習、接口等眾多基礎服務功能，保障態勢感知平臺能夠對海量告警數據進行提取、響應、分析、處理，準確識別出安全事件，真正解決用戶安全問題，為今后網絡安全態勢感知平臺產品發展方向提供思路和方法。

[1]胡志軍.基于大數據的網絡安全態勢感知平臺的應用思考[J].金融時代科技.2019，（10）：44-46.

[2]韓曉露，劉云，張振江，呂欣，李陽.網絡安全態勢感知理論與技術綜述及難點問題研究[J].信息安全與通信保密，2019，23（4）：61-64.

[3]趙夢.基于大數據環境的網絡安全態勢感知[J].信息網絡安全，2016（9）：90-93.

[4]陳興蜀，曾雪梅，王文賢，邵國林.基于大數據的網絡安全與情報分析[J].工程科學與技術，2017，49（3）：1-8.

[5]朱義杰，楊玉龍，李帥，成建宏.面向大數據環境的網絡安全態勢感知平臺研究[J].網絡安全技術與應用，2018，8（2）：65-69.

[6]琚安康，郭淵博，朱泰銘.基于開源工具集的大數據網絡安全態勢感知及預警架構[J].計算機科學，2017，44（5）：125-131.

[7]管磊，胡光俊，王專.基于大數據的網絡安全態勢感知技術研究[J].信息網絡安全，2016，32（8）：211-215.

[8]毛軍禮，汲錫林.基于大數據的網絡態勢感知體系架構[J].通信系統與網絡技術，2018，44（3）：217-223.