基于大數據的網絡安全態勢感知及主動防御技術研究與應用

(國網山東省電力公司電力科學研究院，濟南 250003)

0 引言

近年來，針對能源電力行業的網絡攻擊越來越多，而國家電網公司是全國能源供給核心，電網安全關乎全國經濟安全。電力行業的信息化發展水平和速度居各行業前列，并且安全防御體系的建設一直是電力行業信息化工作的重點。目前電力信息系統網絡內已部署了豐富的安全設備，包括防火墻、WEB應用防火墻、入侵檢測系統(IDS)、入侵防御系統(IPS)、數據庫審計設備等，安全監測的內容不斷細化，但由于傳統安全設備的相互孤立性，產生的安全情報數據呈現出分散和孤立的共性，傳統的分析方法和模型已不能滿足目前的安全現狀需求，究其原因在于傳統安全設備相互孤立，產生的安全日志數據的種類和數量增長迅速，呈現出數據量大、異構的特性，而目前缺失數據統一收集、處理和分析的系統化技術手段。規范提升對這部分數據的分析、挖掘和有效利用，是改進當前安全威脅防御方式亟待解決的問題。

國家電網公司正在大力推進堅強智能電網和泛在電力物聯網建設，電網數字化和智能化程度不斷提高，伴隨著各個信息系統的交互性要求也越來越高，網絡信息安全給電力信息系統及泛在電力物聯網建設提出了更高的要求。比如相關安全數據的采集和存儲能力、信息系統安全威脅的發現感知能力、立體化縱深防御能力等方面，都面臨著相比過去傳統信息系統的安全防護體系更高的技術和管理規范化要求。隨著相關安全威脅情報數據的數量及數據種類不斷增多，數據以指數級快速增長，大量數據的采集、存儲、融合、分析變得越來越困難。當前，網絡攻擊行為呈現出復雜化、分布化等特點，防火墻、入侵檢測等網絡安全設備已經不能滿足網絡空間變化的需求。因此，需要研究新技術來感知預警網絡中的攻擊等異常事件，提高網絡安全防護能力。

網絡安全態勢感知技術能夠全面感知網絡安全威脅態勢、洞悉網絡及應用運行健康狀態、通過全流量分析技術實現完整的網絡攻擊溯源取證，幫助安全人員采取針對性響應處置措施。網絡安全態勢感知技術研究涉及到大數據分析、數據融合處理等相關技術[1]。通過對采集的網絡安全日志數據進行全流量分析處理，可挖掘網絡中的攻擊事件，進而感知公司的網絡安全態勢。

針對電力信息系統大數據環境下的安全威脅和各類網絡攻擊，研究了基于大數據的電力信息系統網絡安全態勢感知及主動防御技術。通過在公司網絡出口處部署全流量數據采集器，對安全日志、網絡流量、APT等多維度異構數據源進行全要素的信息采集，并采用高性能的處理器對數據進行處理存儲，采用大數據相關技術對攻擊數據包進行回溯分析，對攻擊態勢進行圖形化直觀展示，可以提供從攻擊預警、識別和分析取證的全面分析能力。

1 網絡安全態勢感知相關概念及技術

1.1 網絡安全態勢感知相關概念

態勢感知是一種基于環境的、動態、整體地洞悉安全風險的能力，是以安全大數據為基礎，通過在一定時間和空間內對公司網絡信息系統的全部數據流量進行采集獲取，進而匹配攻擊關聯規則，并對未來可能發生的攻擊事件進行預測。整個態勢感知過程包括態勢要素獲取、態勢理解和態勢預測[2-5]。網絡態勢是指對各類網絡設備的運行數據、網絡中發生的用戶訪問及攻擊等行為構成的網絡狀態。網絡態勢感知是在大規模網絡環境中，對網絡運行中的安全要素進行獲取、理解、分析、展示并預測最近的發展趨勢[6]。

網絡安全態勢感知通過對網絡中的全部數據流量進行實時采集，再運用數據融合、數據挖掘技術對流量進行分析處理，再采用大數據可視化技術進行直觀展示，實時展示網絡的運行安全狀況，為網絡安全提供保障[7-9]。通過實時感知網絡中的安全態勢，可以及時發現網絡中的攻擊事件，并及時對公司信息系統存在的漏洞進行加固處理，避免和減少公司網絡被惡意人員攻擊的風險。

1.2 網絡安全態勢感知相關技術

目前，網絡空間數據呈爆發式增長，各單位都加大了網絡安全設備的投入，網絡拓撲也越來越復雜，隨著業務的增多，業務系統平臺也逐漸增多。但是，網絡攻擊的手段和方法卻越來越先進，涌現了很多新型的零日漏洞，同時，隨之出現了很多自動化和智能化的攻擊工具，導致網絡威脅逐漸增多，造成的損失也逐漸增多。為了實時、準確地顯示整個網絡的安全態勢，需要對網絡數據流量進行全流量采集、數據預處理、融合分析等環節，實時監控網絡數據流量。網絡安全態勢感知涉及的技術主要包括數據融合技術、數據挖掘技術、特征提取技術、態勢預測技術和可視化技術等[10-11]。

數據融合技術是指利用計算機對按時序獲得的若干觀測信息，在一定準則下加以自動分析、綜合，以完成所需的決策和評估任務而進行的信息處理技術。這個處理過程主要是對具有相似特征的數據進行整合，按照數據的關聯性進行合并等融合處理，從而得到更為準確、可靠的結論[11-12]。

數據挖掘是指從大量的數據中通過算法搜索隱藏于其中信息的過程，通過統計、在線分析處理、情報檢索、機器學習、專家系統和模式識別等諸多方法來挖掘出有用的信息，找出能被大家理解的信息和知識的過程[10,13]。

網絡安全態勢特征提取技術是通過對網絡數據流量進行融合處理后，與攻擊特征庫規則進行對比分析，找出能體現網絡實時運行狀況的數據特征以及攻擊特征，從而能夠判斷出網絡是否安全或者網絡被黑客攻擊面臨的威脅情況[14]。網絡安全態勢特征提取是評估預測網絡態勢的前提，目前網絡安全態勢特征提取方法主要有模糊層次分析法、層次分析法、德爾菲法和綜合分析法[11,15]。網絡安全態勢預測是網絡安全態勢感知的重要環節，主要通過對網絡數據流量分析出網絡的運行狀況，再運用科學的理論方法推測網絡在未來可能發現的變化。由于網絡態勢在不同時間段彼此相關，可以根據安全態勢的變化預測未來可能受到的網絡攻擊，從而可以有針對性地對網絡設備配置合理的安全策略，采取主動防御的思想，預防大規模網絡安全事件的發生[11-12]。

可視化技術是指利用計算機圖形學和圖像處理技術，將數據轉換成圖形或圖像在屏幕上顯示出來，并進行交互處理的理論、方法和技術[16]。目前已有很多研究將可視化技術和可視化工具應用于網絡安全態勢感知領域，通過可視化方式實時展現國內外對公司網絡信息系統的攻擊情況，可以準確定位出攻擊源及攻擊目標，從而更方便幫助用戶從安全態勢圖上快速找出安全威脅，更直觀顯示出網絡安全狀態。

2 態勢感知平臺部署架構

基于大數據技術的網絡安全態勢感知預警平臺部署架構如圖1所示，部署架構主要如下：前端服務器主要分為TSA服務器、IDS服務器、防火墻等服務器，每種類型的前端服務器都為大數據分析技術的網絡安全態勢感知預警平臺提供數據來源，供態勢感知預警監測系統進行數據分析與檢索。

圖1 基于大數據的態勢感知平臺部署架構

采集服務器負責對TSA、IDS、APT、IPS等前端安全服務器數據進行集中收集，并對數據進行過濾，緩存，簡單范式化等處理操作。

預處理服務器匯總所有采集服務器上報的數據，并對上報數據進行統一的范式化處理，對采集的數據進行數據歸并、數據清洗等操作，并根據不同業務把數據存儲到不同的存儲系統上。

預處理完成的數據都存放在hadoop服務器上，并利用hadoop的存儲與分析能力，對數據進行關聯統計與數據挖掘，形成結果數據并導入檢索引擎，供web服務器查詢數據。

Es節點(Elasticsearch)服務器對hadoop服務器形成的結果數據，進行海量數據的存儲與簡單的二次統計，并提供接口給web服務器檢索數據。

客戶端服務器針對整個態勢感知預警平臺，提供自動化運維與監控服務，運維人員通過客戶端服務器提供的接口去配置與管理系統平臺的任務調度與運維監控。

Web服務器主要分為Web數據庫服務器和Web展示服務器。Web數據庫服務器主要是存放態勢感知預警平臺系統的業務功能數據；Web展示服務器利用業務服務器的基礎數據和態勢感知預警平臺系統的數據按業務功能管理與威脅數據分析兩大功能進行數據可視化展現。

3 網絡安全態勢感知及主動防御模型研究

隨著網絡規模的擴大以及網絡攻擊復雜度的增加，防火墻、防病毒、IDS、IPS、安全審計等眾多的安全設備應用廣泛，各省電力公司加大了網絡安全建設的投入力度，先后建立并部署了各種類型的安全設備或系統，如APT系統、IDS、IPS、防火墻、殺毒軟件等。但基于特征規則的傳統安全設備只能檢測已知網絡攻擊，存在較高漏報和誤報。而且以純粹攻防理念為主導的APT類產品僅對惡意代碼樣本進行分析，與業務結合性差，無法做到攻擊溯源與取證，仍需人工分析在海量數據中尋找線索，對信息安全專業人員的分析幫助有限。同時，雖然安全運營中心(SOC)和安全信息和事件管理(SIEM)對安全系統的大量日志進行了整合，但數據源單一，而且缺乏提供精準分析的能力與手段，安全分析人員從這些海量數據中分析出有效線索無異于大海撈針。事實上，無論是傳統安全設備與系統，還是SOC等，都是保證網絡安全的重要組成部分。但是，這些部分彼此間相對隔離，信息不能及時共享，針對發生的網絡安全事件，依靠人工效率極低且時間滯后，無法發揮各部分最大的安全性能。

為了加強網絡安全管理，我們提出了基于多源日志的網絡安全態勢感知預警技術，將多維度、多層次的安全數據源進行整合，構建基于大數據分析技術的態勢感知預警監測平臺，充分利用數據之間的內在關系進行深度分析和挖掘，發展全面的態勢感知和高效精準的分析技術，可以大大地提升網絡空間態勢感知與預警監測能力。

研究開發的網絡安全態勢感知預警平臺通過內建以機器學習和智能分析算法為基礎的多種網絡安全分析模型，采用TEZ，SPARK并行計算框架，并利用數據挖掘，文本分析，流量分析，全文搜索引擎，實時處理等方式來對數據進行深度的分析與挖掘，結合模型庫內的入侵檢測模型、網絡異常行為模型、設備異常行為模型，實時甄別未知的安全威脅。通過對公司信息系統進行實時監控，構建了“事前發現、事中控制、事后追蹤”的主動防控的信息安全管理體系，變被動防御為主動防控，完善已發生的信息事件應急處置機制，通過主動防御技術措施的實施和管理體系化的創新，提高對未知安全威脅的發現和甄別能力。網絡安全態勢感知平臺主要涉及以下3種分析模型的深度研究。

3.1 關聯分析模型

網絡安全設備產生的日志描述了安全事件的詳細過程，針對網絡中疑似攻擊事件會產生報警，可對相應的報警日志信息進行關聯分析，對攻擊數據包進行回溯分析，查看相應的TCP會話等過程，最終還原出攻擊事件的整個過程。通過采用基于相似度的報警關聯分析，可以降低關聯分析的難度，把報警日志的數量精確到最小，提高了關聯分析的準確性。基于相似度的報警關聯分析過程如下：

1) 提取報警日志中的主要屬性，主要包括：時間、攻擊源位置、攻擊源IP、攻擊類型、攻擊目標IP、攻擊目標、所屬單位，并將攻擊報警屬性還原成相應的攻擊事件，形成原始報警；

2) 通過對重復報警進行合并，對報警進行分類匹配，聚合有較高相似度的報警，生成聚合報警；

3) 對聚合后的報警的各個屬性定義報警屬性相似度的計算方法，并對每個屬性分配權重；

4) 計算兩個聚合報警的相似度，通過比較相似度閥值，判斷需不需要對聚合報警進行再次報警；

5) 采用基于時間窗口的報警選擇方法來選擇適量的報警進行關聯比較，并構建關聯知識庫，挖掘原始報警之間的關聯關系，繪制報警事件關聯圖；

6) 根據聚合報警事件輸出屬于同一類的報警信息，生成相應的安全事件。安全事件按照時間節點記錄了發生的攻擊類型、攻擊源IP、攻擊目標IP、攻擊類型、攻擊次數等詳細信息。

3.2 融合分析模型

由于安全設備采集的日志可能存在冗余性，所以需要對多個設備采集的日志信息進行融合處理，才能生成更準確的安全態勢。通過對單源日志報警信息進行相似度的報警關聯分析，可以還原每個攻擊事件的原始過程。針對多源安全事件，采用Dempster/Shafer證據理論(D-S證據理論)方法進行日志融合判別[17-20]，對安全事件的可信度進行評估，進一步提高準確率，減少安全設備的誤報率。采用D-S證據理論對網絡安全攻擊事件進行融合的過程為：

1) 針對安全事件的多維度屬性，包括：時間、攻擊源位置、攻擊源IP、攻擊類型、攻擊目標IP、攻擊目標、所屬單位，采用多維信息的分域、層次融合方式，利用初始信息確定融合所需的概率分布的近似算法對安全事件數據進行融合處理；

2) 對安全設備原始報警日志，根據初始信任分配方法，分配信息度相似函數；

3) 通過采用D-S的組合規則，計算安全設備報警日志融合之后的安全事件的可信度。

3.3 攻擊要素分析模型

通過在網絡出口處部署全流量采集設備，可以對全部數據流量進行實時采集，但是采集的全流量數據信息巨大，需要進一步分析出真實的攻擊事件。攻擊要素分析主要包括如下過程：

1) 通過對大量網絡攻擊實例進行研究，建立攻擊特征庫；

2) 把攻擊特征庫加入大數據態勢感知平臺，自動匹配攻擊事件；

3) 根據攻擊事件類型分析被攻擊服務器主機上開放的服務端口可能發生的漏洞；

4) 建立平臺當前網絡環境的漏洞知識庫；

5) 發現攻擊異常流量，生成攻擊事件；

6) 通過與漏洞知識庫進行比較，確認攻擊事件。

4 實驗結果分析

目前公司部署的基于大數據的網絡安全態勢感知預警平臺已接入信息外網出口流量及18個重要資產服務器流量、內網出口流量及24個重要資產服務器流量、2臺IPS、2臺防火墻、信息外網APT系統，共部署高性能硬件服務器7臺，其中ES節點3臺，hadoop節點3臺，前端展示服務器1臺。截至目前，已獲取威脅事件數據8 TG，記錄威脅數據條數6 180兆條，現已加入互聯網威脅情報32萬余條。通過態勢感知預警平臺監控到前端設備網絡流量如圖2所示。

圖2 監控前端設備網絡流量

以2018年6月數據為例，共發現外網威脅事件674 311條，重點資產威脅事件1 870條，其中，觸發Web攻擊類2650次，DDoS攻擊2300次，瀏覽器掃描類275 500次；從威脅情報命中占比來看，威脅ip占比53%，威脅域名占比32%，威脅URL占比12%；從攻擊方式看，主動攻擊占比63%，被動攻擊占比37%；從攻擊來源看，國內占比66.84%，美國占比33.03%。公司外網重點資產被攻擊態勢展示結果如圖3所示，威脅事件及占比分析結果如圖4所示，威脅源國家占比數如圖5所示。2018年10月、11月威脅環比數據如圖6所示，各類攻擊威脅次數差異Top5如圖7所示，攻擊源ip和目的ip的行為畫像如圖8所示。從態勢感知預警的分析結果中，我們可以清晰地看到公司信息系統面臨的安全威脅，從而及時制定相應的安全加固措施，保障了公司信息系統的安全穩定運行。

圖3 重點資產被攻擊情況

圖4 威脅事件及占比情況

圖5 威脅源國家占比數

圖6 月威脅環比情況

圖7 各類攻擊威脅次數差異Top5

圖8 攻擊IP行為畫像

5 結語

為了解決日益嚴重的網絡安全威脅，通過采用態勢感知技術實時感知預測網絡安全威脅。通過在介紹網絡安全態勢相關概念和技術的基礎上，對網絡安全態勢感知及主動防御技術進行了深入研究，重點研究了利用大數據進行多源日志的關聯分析、融合分析和態勢要素分析等技術，并將其技術應用于公司網絡信息系統環境。通過在公司內外網網絡出口部署全流量數據采集分析器，對原始網絡流量進行實時采集和存儲，采用大數據分析技術對安全威脅進行實時智能分析，對網絡攻擊過程進行回溯分析，并借助大數據展示組件，實現對分析結果的多維度圖形化直觀展現。通過構建基于大數據的網絡安全態勢感知預警平臺，實時監控公司電力信息系統面臨的安全威脅，及時制定相應的安全加固措施，保障了公司信息系統的安全穩定運行。