基于大數據的攻擊態(tài)勢感知技術研究與實現

余宏偉 高衛(wèi)華 黃國林

文章基于當下網絡安全形勢及安全需求，從傳統網絡安全防護體系的不足和基于大數據技術的攻擊態(tài)勢感知分析優(yōu)勢兩個方面，對全網多源安全事件進行關聯分析并研究，運用數據挖掘、態(tài)勢分析等技術，建立一套集安全信息采集與存儲、集中處置與分析、態(tài)勢監(jiān)測與預測于一體的態(tài)勢感知平臺。該平臺整合全網環(huán)境內管理類、用戶類、資產類等數據，經統一匯聚存儲，利用智能分析技術，將多種安全日志、報警數據轉換成可視化的安全事件信息，解決了目前多個網絡安全系統之間無法形成有效的整體安全防護效果的問題。文章從多源安全數據的采集與處理、存儲、分析與展示三個層面對平臺的設計思路、技術要點和分析方法進行闡述，并對平臺的實現情況進行了說明。

經過多年的信息化與網絡安全建設，各單位的信息系統發(fā)展日益復雜化且功能愈加強大，信息化建設日益復雜化且功能強大。但隨著網絡環(huán)境的不斷變化，面向業(yè)務和用戶數據的攻擊行為也在迅猛增加，并且朝著技術專業(yè)化、團隊組織化、行動隱蔽化、攻擊分散化等特點發(fā)展，網絡空間安全面愈加嚴峻的威脅和挑戰(zhàn)。一方面攻擊面不斷增加，攻擊者可能會從一個業(yè)務系統的各組件進行掃描，利用多弱點實施攻擊；另一方面攻擊的步驟逐漸復雜化，攻擊者進行持續(xù)的滲透工作，進而最終攻克用戶的核心業(yè)務系統或竊取核心數據。在這種背景下，雖然組織不斷完善安全防護體系，部署了防火墻、防病毒等各類防護設備，但無法掌握全網安全狀況，無法有效整合串聯所有的安全監(jiān)控資源及安全信息，無法將全網安全信息有效利用起來，形成全網統一監(jiān)測、集中分析、集中展示呈現的態(tài)勢感知機制。

為提高國家信息安全保障能力，2015年1月，公安部頒布了《關于加快推進網絡與信息安全通報機制建設的通知》（公信安[2015]21號）文件。通知明確要求建立攻擊態(tài)勢感知監(jiān)測通報手段和信息通報預警及應急處置體系，實現對重要網站和網上重要信息系統的安全監(jiān)測、網上計算機病毒木馬傳播監(jiān)測、通報預警、應急處置、態(tài)勢分析、安全事件（事故）管理等功能，為開展相關工作提供技術保障。

《網絡安全法》明確了監(jiān)測預警與應急處置措施，建立統一的檢測預警、信息通報和應急處置制度和體系。因此加強和完善網絡安全監(jiān)測預警與主動防御的能力刻不容緩。

一、傳統網絡安全防護存在的問題

隨著互聯網以及周邊網絡安全產品的發(fā)展，信息安全越來越受到重視。組織無論是出于對自身利益的考慮，還是對于社會責任的考慮，都已開始構建更為豐富的內部安全體系。安全體系涵蓋了包括防火墻，IDS、WAF、抗DDOS等在內的安全防護系統以及安全評估、安全加固等專業(yè)安全服務。但業(yè)務信息系統運行依然面臨諸多安全威脅，主要安全問題為：

安全設備在過去幾年里積累了大量的歷史數據，但現有技術手段無法有效分析信息系統各設備和軟件的運行或檢測數據，導致安全問題無法及時發(fā)現；無法預測安全風險趨勢，導致無法及時調整安全策略。

過去的安全設備往往是針對某種特定威脅的，但隨著信息安全事件的不斷復雜化，孤立的安全措施很難適應綜合的安全事件，無法從根本上解決這些問題。

無法了解當前整個IT系統的整體運行狀況和安全狀態(tài)。

傳統的安全發(fā)現大多反應的是網絡和系統的可用性問題，無法有效發(fā)現由安全風險引發(fā)的網絡和系統問題，

傳統的網絡安全防護機制是當安全問題出現之后，才考慮如何去追溯，無法提前預測或在發(fā)現問題出現之前發(fā)現。

現有的安全措施很難保障組織對信息安全事件的響應速度，無法達到業(yè)務連續(xù)性的要求。

二、基于大數據的攻擊態(tài)勢感知平臺設計

（一）基礎架構設計

平臺依托于前沿大數據技術框架，整合E L K、Impala等大數據技術，形成基于大數據的攻擊態(tài)勢感知平臺。平臺從數據采集、數據存儲到態(tài)勢分析與功能呈現都應用了大數據技術，以應對海量安全信息數據的高速處理場景，并通過分析結果和可視化效果呈現全網的攻擊態(tài)勢感知。

平臺整個技術架構分為3個層次：數據采集與處理層、數據存儲層、態(tài)勢分析與功能呈現層（如圖1）。下面圍繞系統設計、技術要點和實現方案對這三個層次進行闡述。

數據采集與處理層：實現了對全網IT資源的資產信息、性能信息、日志與安全事件信息、弱點信息等安全信息的統一采集與匯聚功能。

數據存儲層：數據存儲采用MPP架構數據倉庫來存儲加工處理后的日志數據，并將數據積累起來，實現海量安全大數據的分布式存儲，為上層態(tài)勢分析提供數據支撐。

態(tài)勢分析與功能呈現層：針對各類安全信息，實現失陷主機實時檢測與告警分析、攻擊鏈實時分析、用戶行為畫像分析、資產異常行為分析、時間軸組件分析等態(tài)勢分析能力，是系統的核心功能層。

（二）數據采集與處理

攻擊態(tài)勢感知平臺安全數據源主要指用戶環(huán)境內各類IT資產信息、設備性能信息、日志與安全事件信息等各類原始安全數據。

采集與處理環(huán)節(jié)的主要原理是利用FileBeat、Logstash等方式收集個日志源的數據并發(fā)送到Kafka集群，通過Logstash等方式對日志進行格式化處理并經初步篩選后，將匯總數據寫入Elasticsearch。再利用Impala On Elasticsearch的前沿技術方案將非結構化數據處理并轉換成結構化數據。

平臺通過Impala來讀取存儲在Elasticsearch中的數據并進行查詢和實時展現。具體實現如圖2：