基于大數據的網絡安全態勢感知關鍵技術研究

王以伍 張牧

摘要：隨著大數據、人工智能、云計算等信息化技術的發展，以及“網絡空間安全”上升到國家戰略層面的高度，網絡安全態勢感知也成為網絡安全領域的新熱點。利用大數據相關技術對網絡運行相關海量數據進行分析、過濾、融合、識別已知和未知的安全威脅，建立完善可靠的安全體系，指導網絡安全運維工作，從而有效保障網絡安全。

關鍵詞：態勢感知;網絡安全;關聯分析;復雜事件;日志;告警

中圖分類號：TP393.08 文獻標識碼：A

文章編號：1009-3044（2020）15-0043-04

1引言

隨著互聯網的快速發展，各種網絡安全事件層出不窮，從簡單的網頁篡改、掛馬到威脅國家安全的網絡攻擊行為屢見不鮮。網絡攻擊逐漸呈組織化、規模化發展。近年來，像“震網病毒”“BlackEnergy"“委內瑞拉大規模停電”等網絡安全事件影響巨大，甚至威脅到國家穩定。

2017年6月1日，《網絡安全法》的頒布實施，各機構、單位對網絡安全越發重視，落實等級保護制度，部署相應的安全設施。傳統的網絡安全管理方式注重安全功能的疊加，通過建設防火墻、漏洞掃描、WAF、IPS等安全設備查漏補缺，完成各方面的安全防護。但網絡攻擊日漸精進，黑客正在全球布局，高明的攻擊手段一般長期潛伏、持續滲透，隱蔽性極強。

1999年，網絡態勢感知（Cyberspace situational Awareness，CSA）的概念首次被提出。近年來，網絡安全態勢感知的概念逐漸引起研究人員的興趣，希望通過大數據、人工智能等技術從大量且存在噪聲的數據中提取隱藏的安全事件，方便管理人員宏觀地把握整個網絡的安全狀況。這對于提高網絡系統的監控能力和應急響應能力具有積極的作用。態勢感知不僅在2016年“419”講話中被提及，《“十三五”國家信息化規劃》也明確提出，“建立政府和企業網絡安全信息共享機制，加強網絡安全大數據挖掘分析，更好感知網絡安全態勢，做好風險防范工作。”

2網絡安全態勢感知架構

采集和分析各種異構的傳感器安全事件，進行匯總、分析、處理，以直觀的方式呈現，方便管理者把握復雜、多變的安全態勢是態勢感知的核心工作。但是，目前實現網絡安全態勢感知還存在一些困難，主要體現在以下幾個方面：

（1）精簡復雜事件，提煉出有效信息，降低誤報率是網絡安全態勢建模的主要問題。

（2）不同傳感器對攻擊活動定義的呈現方式存在差異，在瑣碎的告警信息中將同類信息進行相互的關聯是個重要問題。

（3）傳感器產生的告警數據繁多，但是針對告警的處理知識卻很少，主要通過專家庫規則來進行，通常無法滿足需求。

本文通過開源分布式技術架構建立的一套以大數據技術為基礎的態勢感知平臺，全方位整合孤立的防護孤島和信息孤島，對網絡設備、安全設備、應用系統、終端、數據庫等各種日志等海量安全數據進行集中采集、存儲和分析，打破了原有安全防護措施的煙囪式防護方式，將所有安全防護措施打通，利用其對海量數據的高效計算能力，結合復雜事件處理技術，建立可靠的威脅檢測模型，從整體上提升對安全威脅的發現識別、理解分析、響應處置能力的一種方式，實現網絡防御從被動到主動的轉變，建立起全網安全態勢感知能力。網絡安全態勢感知架構如圖1所示。

如圖所示，態勢感知主要涉及四個環節的內容，在數據采集階段通過對海量數據的采集，匯入到數據庫中，數據源搜集的信息包括以下方面：

（1）日志數據：包括網絡設備、主機、應用、安全設備記錄的日志和告警信息。

（2）流量數據：網絡流量數據。

（3）支持數據：整個網絡中所有的資產信息、相關的人員信息、賬號信息以及與資產相關的漏洞信息和威脅情報信息等。

數據采集和預處理是對數據源收集的信息進行解析、標準化和豐富化處理，從而為數據分析提供高質量的數據。主要工作包括以下幾方面：

（1）數據解析：通過Syslog、SNMP和文件共享等方式進行數據的解析。

（2）標準化：對數據進行標準化，便于事件檢索和實時關聯分析。

（3）豐富化：對數據進行豐富化，從而提高事件分析的可信度，降低誤報率。

數據存儲是指全量存儲網絡中原始的網絡數據，使數據結果分析更加全面可信。對所有網絡行為數據建立索引，便于陜速查詢、管理分析和舉證。

數據分析是在安全數據搜索引擎的基礎上，充分利用大數據分析的模型算法和處理能力，從海量數據中自動挖掘出有價值的信息。

數據應用是依據數據分析結果，實現網絡安全態勢感知、告警管理、追蹤溯源等應用。

3關鍵技術分析

3.1關聯分析

關聯分析又稱關聯挖掘，是一種用于發現存在于海量數據集的關聯性或相關陛的分析技術。通過關聯分析，查找存在于項目集合或對象集合之間的頻繁模式、關聯規則、相關性或者因果結構。

例如網絡中的防火墻、WAF、入侵檢測行為審計等安全設備（探針）都會對進入網絡的安全事件進行日志記錄，當出現某一特定的安全事件，各安全探針均會產生大量的告警日志，而這些日志之間存在著很多的冗余和關聯。因此關聯分析的任務就是將這些分散的原始日志轉換為直觀的、易于理解的事件。

對提取的事件基于規則、統計、資產等屬性進行分析，通過邏輯符號and、and、not來表示屬性的邏輯關系。當符合相應的限制條件時，則激活相應的規則進行誤報排除、事件源推論、安全事件級別重新定義、閾值關聯、黑名單等動作。

通過關聯、融合，減少事件復雜度，更準確地生成安全態勢。

3.2事件統計分析

事件統計分析是指采用統計學方法，對各類事件的狀態、頻次、發生周期等數據量化特征進行計算、得出事件數據的分布狀況、主要特征、時間序列的趨勢性、是否存在異常值、事件匯總結果等內容，事件統計分析結果可直接用于事件性質的判定、解釋和決策。

3.3復雜事件處理技術

復雜事件處理（CEP）是目前針對事實事件流進行檢測、分析、處理的最佳技術。其主要應用于事件驅動系統架構中，以便開發出更復雜的邏輯架構，實現系統智能化處理。

基于復雜事件處理的概念，針對單位內部的各種安全設備用戶預先在系統中定義需要檢測的復雜事件模式，具體的一種案例模式來說就是對日志數據進行以源ip、目的ip、類型等維度進行復雜的關聯分析處理、包含去重、合并等對原始日志數據進行篩選、統計、關聯分析出具有威脅的日志數據。

4主要工作

因此，網絡安全態勢感知形成的過程主要是對網絡中各安全探針采集的日志進行過濾、融合、關聯等一系列的復雜事件處理，對網絡中的各種類型網絡攻擊行為即時發現，并對安全趨勢、危害程度提供評估參考。建立安全態勢的主要工作包括：

4.1數據標準化

數據標準化是從原始數據信息中解析出各個不同的屬性信息，將原始數據轉換為統一的標準化的數據，為后續分析處理提供統一的標準化數據結構，標準化數據參考格式如表1所示：

4.2數據豐富化

對采集到的數據進行字段補全，使入庫數據結構盡量完整，為后期的安全分析提供更多的分析維度。主要補全的內容如下：

（1）補全源IP、目的IP二元組。

（2）補全源IP、源端口、協議、目的IP、目的端口五元組。

（3）根據源IP，關聯geo庫中對應ip信息，補全源IP對應國家、省份、城市、經緯度等。

（4）根據源IP（目的IP）關聯資產庫補全源IP（目的IP）對應資產ID、資產類型、資產所屬組織機構、資產所屬業務系統、安全域、地理位置等。

（5）根據設備IP，關聯資產庫，補全設備資產ID，補全設備資產類型ID等。

4.3事件處理

利用復雜事件處理引擎，采用關聯分析、統計分析等復雜事件處理技術，對輸入的標準化事件進行合并、去重，得到簡單事件，同時對事件進行啟發式學習，降低漏報率，提高系統精確度。

5應用場景

通過安全態勢體系的建立，集中了網絡內各種安全設備及系統的告警日志，豐富的事件日志能對安全威脅做出更精準、有效的響應。安全事件應用場景舉例如下：

5.1密碼猜測攻擊

密碼猜測攻擊的態勢感知過程是通過對系統登錄日志、IDS、IPS、WAF告警進行檢測分析，識別和發現疑似密碼猜測或撞庫攻擊行為的檢測結果，從中抽取密碼猜測或暴力破解攻擊為事件源。例如，在△t內，對同一destIP，不同的devNO，如果登錄行為特征為密碼暴力破解攻擊，則全部歸并為同一事件e。被歸并事件的原始日志需要保留。對于相同檢測結果，將獲得同一結果的來源設備和來源索引合并為輸出。

5.2 WEB攻擊

Web攻擊的態勢感知過程是通過對安全設備告警日志、WEB中間件訪問日志、服務器日志和流量日志進行檢測分析，對識別的CC攻擊、SQL注人攻擊、WebShell攻擊、跨站攻擊等攻擊行為進行關聯分析處理的過程。根據訪問時間、IP、端口、訪問請求內容，將上述檢測結果中屬于同一攻擊事件的結果進行歸并，確保同一事件只輸出一個結果，被歸并事件的原始日志需要保留。對于相同檢測結果，將獲得同一結果的來源設備和來源索引合并為輸出。

6結束語

態勢感知的部署，對于機構內部網絡安全統一管理，掌握網絡安全狀況，為網絡安全優化提供決策依據具有重要意義。雖然當前伴隨大數據、人工智能、機器學習、云計算等信息化技術的發展，網絡安全態勢感知基于此取得了一些突破，但總的來說，對于網絡安全態勢感知的研究還處于初級階段，如何進一步提高感知的精確度、對安全事件做出自動的響應等問題有待進一步研究和完善。