基于大數據的能源集團統一運行監測與安全預警平臺

王靜，高昆侖，卞超軼，梁瀟

（1.國家電力投資集團有限公司，北京 100033；2.全球能源互聯網研究院有限公司，北京 102209；3.北京郵電大學，北京 100876）

1 引言

能源集團實施網絡安全隔離[1]是在當今嚴峻的網絡安全形勢下，加強全集團信息安全保護慎重決策的一項重大工程。在網絡隔離建設過程中，全集團分別建設信息內網、信息外網，并配套建設統一防病毒、實現內網入侵檢測、完善統一終端安全管理等信息安全綜合防護措施。尤為重要的是，為了實現信息內網信息安全統一監測，逐步實現安全預警與集中審計，需要建設能源集團統一運行監測與安全預警平臺。

2 技術方案

2.1 現狀與需求

能源集團整體網絡分為3個層次：集團總部、二級單位、三級單位，采用樹形結構廣域網系統實現互聯。信息內網在各級單位統一部署防病毒系統、終端安全管理、網絡隔離與數據安全交換、內網入侵檢測系統（intrusion detection system，IDS）等，總部集中部署綜合辦公、人力資源和采購管理等系統。隨著建設范圍的不斷擴大，業務支撐設備和安全防范技術越來越復雜，面臨如下問題。

· 難以實現各個業務平臺統一的網絡設備、服務器設備、安全設備、業務系統運行狀態綜合監控、預警和應急響應處理。

· 大量部署的安全產品的配置、管理方法都不相同，安全管理人員很難對每個安全產品都精通。

· 不同安全產品相對獨立的部署方式使各個設備獨立配置、各個引擎產生獨立的事件報警，難以形成全局的安全風險監控，安全策略和配置難以統一協調。

· 與安全相關的數據量越來越大，難以對海量數據集中存儲和分析處理，從大量、孤立的單條事件中無法準確發現全局、整體的安全威脅行為。

因此，迫切需要建設統一運行監測與安全預警平臺，將業務系統運行的各項指標監控起來，將各自為戰的安全產品集中監控起來，實現對安全事件和安全狀態的全局管理。

2.2 技術路線

面對日益復雜的網絡安全形勢，傳統的安全信息和事件管理（SIEM）分析難以應對高級持續性威脅（advanced persistent threat，APT）攻擊[2]等未知特征的威脅形式。統一運行監測與安全預警平臺基于全網海量多源異構數據（例如告警數據、業務數據、網絡數據、網管與運維數據和內控數據），通過對數據的集中分析，構建安全場景分析，實現安全風險與態勢的實時感知。

平臺將風險可視化技術應用到信息安全風險管理全生命周期，對事前風險合規性管理運維流程的成果進行量化，對事中發生的各類安全告警和異常行為及時感知，并將事后監測到的業務異動和事件處置運維流程情況全部匯總統一成態勢感知的業務數據鏈，從多層面、多視角研究信息安全風險量化評估模型、態勢評價模型、可視化展現框架和可視化交互技術，并加以應用。

統一運行監測與安全預警平臺與傳統的安全操作中心（security operations center，SOC）[3]相比，在數據采集、大數據分析、安全態勢感知、預警監控和可視化等諸多方面有重要突破和創新，主要對比見表1。

3 總體設計和應用

3.1 整體架構

平臺以大數據采集和關聯分析模塊作為技術支撐，以風險管理、態勢感知、安全預警和工單管理作為應用重點，通過公共數據服務接口集成第三方產品，最終通過可視化子系統綜合呈現全網安全態勢。平臺總體架構如圖1所示。

表1 功能對比

圖1 平臺總體架構

3.2 功能架構

根據平臺總體架構，設計基于大數據技術的統一運行監測與安全預警平臺功能架構，如圖 2所示，分為日志采集層、大數據處理層、管控層、綜合展現層和系統管理層。

（1）日志采集層

日志采集層負責從網絡設備、安全設備、業務系統和服務器等采集各種安全信息、日志信息、流量信息及其他業務信息，經過數據格式標準化、數據歸并、數據壓縮等處理后，提交給上層數據處理平臺，數據采集層提供了多種采集協議去采集各種異構數據源信息。

通過 Flume[7]在日志系統中定制各類數據發送方，同時對數據進行簡單處理，然后將數據上傳到大數據處理層。來源于關系型數據庫的數據通過Sqoop[8]上傳到大數據處理層。

圖2 平臺功能架構

（2）大數據處理層

大數據處理層的作用是對采集的數據進行預處理和存儲。將需要的數據轉換為結構化數據和對非結構化數據進行索引和存儲。日志采集層傳上來的數據分別被存儲在分布式內存數據庫Redis[9]和離線存儲數據庫Hadoop中。

實時分析包括對數據進行關聯分析、統計分析、漏洞分析、可信度分析和溯源分析，結果會在綜合展現層進行展示，同時會作為預警分析和風險計算的輸入進行后續計算分析。

離線分析主要有歷史數據統計分析、數據查詢和數據建模分析，結果同樣可以作為預警分析和風險計算的輸入進行后續的計算分析。

（3）管控層

管控層定制實現平臺整體風險管理、預警管理和態勢感知[10]等核心預警分析功能。

風險管理是對風險進行識別和分類，對每一個風險類型進行分析，確定風險產生的因素和風險來源，并確定風險是否可以控制，對風險進行定性和定量分析，及時對風險進行預警，提高對風險的監控效率。

預警管理利用大數據分析技術針對海量網絡安全日志數據進行深層次的分析，發現數據中存在的關系和規則，根據現有的數據預測未來的發展趨勢，發現潛在的安全威脅和攻擊。

態勢感知需根據用戶實際的業務場景進行新規則的制定，根據宏觀態勢分析模型計算某一時間段內安全事件所屬安全域或者業務系統的整體安全狀態，并預測下一步整體安全走勢。

（4）綜合展現層

綜合展現層一方面通過豐富的圖形化展示方式呈現業務網絡整體安全狀況，另一方面實現整個平臺的靈活展示和配置管理。綜合展現層提供以下7個概念視圖，代表特定的關注領域。

· 風險視圖：主要對風險管理產生的風險和預警進行統一展示和分析，通過資產、安全域、全網多個維度進行分析和展示。

· 事件視圖：主要對實時分析產生的告警事件進行統一展示和分析，同樣通過資產、安全域、全網多個維度進行分析和展示。

· 問題視圖：結合IT基礎架構庫運維中產生的問題，提供統一的展示和分析。

· 威脅視圖：結合威脅情報信息和威脅預警，進行統一的威脅展示。

· 應用系統安全視圖：從業務系統監控維度，針對重點業務系統進行全面的安全監控展示。

· 綜合安全狀態檢測視圖：從總體安全態勢上進行全面分析，分析整個網絡環境的安全狀態信息。

· 漏洞視圖：從漏洞角度對整體的漏洞信息進行綜合分析和展示。

（5）系統管理層

系統管理層主要完成系統自身監控和系統配置以及系統運維。

3.3 應用情況

統一運行監測與安全預警平臺在能源集團分二期進行建設。

（1）一期建設內容

一期建設內容主要為實現對安全設備進行統一安全日志集中管理、統一事件關聯分析和統一安全事件處理流程。

對海量網絡安全日志數據、外部通報和漏洞等，匹配用戶資產數據，進行深層次的分析，從中發現有價值的信息，幫助用戶進行安全預警。預警分析主要通過接收來自實時分析層的告警事件、風險計算層的風險預警、漏洞掃描產生的漏洞信息以及威脅情報信息，通過分析形成有效的預警功能，從而事前通知安全運維人員。

實現綜合安全審計，需采集用戶業務系統的操作日志信息，并配合堡壘機等行為審計產品，進行綜合關聯分析，實現業務操作全過程分析、回放和展現[11]。

（2）二期建設內容

平臺綜合各方面的安全因素，從整體上動態反映網絡安全狀況，并對網絡安全的發展趨勢進行預測。

實現攻擊溯源過程分析，針對安全事件進行IP地址回溯分析[12]。通過源IP地址和目的IP地址的不斷迭代，將調查的軌跡逐步定位到邊界。這個邊界可以是網絡的邊界，代表攻擊者來自互聯網；也可以是內網，代表攻擊者來自內網。通過有層次的分析，同時輔助動態的圖形化展示，可以清晰地將IP地址移動軌跡分析出來。

借助機器學習等算法進行自動分析處理與深度挖掘，對網絡的安全狀態進行分析評價，建立網絡攻擊模型，感知網絡中的異常事件與整體安全態勢。

系統集中部署在集團總部，二、三級單位部署數據采集引擎。平臺在能源集團運行以來取得了良好的應用效果，為不同視角人員（如決策者、安全運維人員、業務部門人員和系統管理等）提供不同的安全業務數據和統計分析。通過平臺的管理界面將內網資產的各類信息安全事件與資產弱點進行直觀展示，加強各級人員對相關事件的重視，并對安全事件快速響應處置，降低安全事件誤報；將被動式信息安全管理轉為主動式信息安全管理，逐步提升對信息安全風險的精確管控、動態決策和持續改進能力。

4 核心技術

4.1 風險分析模型

平臺的風險分析將JDL（joint director of laboratory）模型[13]作為參考，JDL模型將數據融合分成5個級別：0級（子對象評估）、1級（對象評估）、2級（態勢評估）、3級（影響評估）、4級（過程改善）。平臺的風險評估模塊利用該模型進行更進一步分析，每個功能模塊在實現的同時已經為最終的風險評估提供了必要的數據或者接口。風險分析流程如圖3所示。

圖3 處理流程

4.2 多源告警數據交叉確認機制

多源告警數據交叉確認機制主要研究模糊推理理論及算法，提高多源告警數據的可靠性。該機制的數據基礎是平臺全面收集的與審計相關的各種系統信息和業務信息。當多源審計結果匯總后該機制對其進行交叉驗證，輸出其中得到確認的審計告警信息。多源告警數據交叉確認機制如圖4所示。

圖4 多源告警數據交叉確認機制流程

4.3 安全審計模型

以真實可靠告警數據作為安全審計模型的輸入，對平臺監控環境的安全狀態進行量化評估。技術路線如圖5所示。

圖5 技術路線

安全審計模型的計算評估過程分為以下3個過程。

· 利用系統靜態漏洞評估的結果和確認后的警告信息得到綜合評估矩陣，利用系統靜態評估結果和前次得到的可能入侵方式排序得到評估因素的權重向量。

· 利用綜合評估矩陣和評估因素權重向量計算系統當前的安全狀態指標，同時可以得到系統當前可能遭受的入侵方式排序列表。

· 對前次計算所得的可能入侵方式列表進行驗證。當本次的警告信息仍然被該列表包括時，則認為安全狀態的評估正常，否則認為評估的結果無法對提交的警告信息進行解釋。此時有可能發生新類型的入侵，應該提高安全警告的等級以引起安全管理人員的注意。

4.4 平臺性能分析

本平臺通過從各種網絡設備及服務器中采集數據，經過加工預處理后存入 Hadoop大數據系統，再使用多種分析算法對數據進行計算處理，進而得出相關結論并提交至上層，以發出預警并進行可視化展示。為了避免或盡可能降低安全威脅造成的經濟損失，識別風險、發出報警并快速響應非常重要，而平臺的性能就直接影響到是否能夠及時發現潛在的安全威脅。平臺的性能主要受到兩方面因素的影響，一是數據的采集及加工預處理過程，二是使用Hadoop集群對大數據的分析處理過程。將前者導致的時延記為T1，后者導致的時延記為T2，則從安全威脅產生到被發現的總時延為T1+T2。下面對這兩部分時延分別進行簡單分析與計算。

相對而言，T1的計算較為簡單，可以由如下計算式給出：T1=max(n/B,n/v)。其中，n表示數據量，B表示網絡傳輸帶寬，v表示數據預處理及導入Hadoop平臺的速率。一般來說，數據預處理及Hadoop平臺導入的速率在數據樣式及平臺導入工具（如Flume、Sqoop）確定的情況下，主要受到平臺的硬件配置影響，其中主要是預處理需要的運算資源和與存儲相關的磁盤 I/O性能。所以對于給定的數據，T1的大小通過對網絡帶寬和預處理及導入涉及的硬件資源之間的平衡來調節。

T2可具體分為兩個部分，一部分是使用Hadoop集群完成對輸入數據的特定分析得出結論所需時間；另一部分則是由于計算資源有限而導致的排隊等待時間。對于某種特定的分析，假定平臺為其分配預定的計算資源，這些計算資源可供N個分析任務同時執行，若預定的資源已全部在使用中，那么后續的分析任務只能排隊等待，直到前面任務完成、計算資源被釋放出來后，再按先來后到的順序繼續執行。這一問題可以使用排隊論模型進行分析。特別地，若分析任務的到達時間間隔服從指數分布，完成分析任務所需的時間也服從指數分布，那么該問題可看作準M/M/N（或稱M/M/c）隊列問題[14]，從而能夠計算出平均的響應時間（分析時間與等待時間之和），即T2的平均值。具體的計算式本文略去，但其中可用的 Hadoop集群計算資源將直接影響完成分析任務所需的平均時間以及可并行的分析任務個數，從而可以通過對計算資源的控制調節T2的大小。

綜上所述，對于平臺上的特定分析任務，可以通過理論分析計算其完成時延，并能明確網絡帶寬及Hadoop集群計算能力與其的關系，從而可以根據識別安全威脅的時延與安全威脅可能帶來的經濟損失之間的關系部署相關的硬件（網絡、磁盤及計算節點）支持，實現經濟效能的最優。

為了驗證上述理論分析是否有效，開展實驗記錄集群的運行狀況，再將統計與理論計算結果進行比對。實驗采用了簡單的場景設置，只關注核心的數據采集及運算處理部分，也就是理論分析涉及的內容。具體地，使用Flume收集日志，由6臺服務器組成的Hadoop集群負責存儲，其中4臺服務器構成Spark集群承擔計算處理任務。實驗中固定了硬件資源和網絡傳輸帶寬，通過調節日志產生的速度以及變更Spark計算任務計劃（包括數據量大小及計算復雜度、計算任務個數等）模擬不同場景，從而比較理論分析與實際測試結果的偏差。實驗結果顯示，理論分析計算能夠很好地估算出計算時延，并指出其中的性能瓶頸所在，從而可以為硬件資源的合理配置給出相應的建議，具有非常重要的實際指導價值。

5 結束語

能源集團從信息安全風險管理視角，采用大數據技術，在物理、網絡、主機、應用、數據以及進一步細化的層次上，建立起統一運行監測與安全預警平臺，實現可交互的安全事件監控、綜合安全審計和實時的安全態勢感知，并形成一系列知識庫、場景庫、指標庫等最佳實踐成果。把關注技術細節的信息安全產品、關注事件處置流程的運維、關注整體安全態勢的管理層面有機地融合在一起。因此該平臺的建設不僅是安全技術手段的快速提升，同時也是管理體系上的高效改進，對能源集團網絡和信息安全水平的提高起到了重要作用。

參考文獻：

[1]王靜, 高昆侖, 張波.基于網絡隔離與安全數據交換的發電集團雙網體系研究與設計[J].電信科學, 2017, 33(2)：163-172.WANG J, GAO K L, ZHANG B.Research and design in dual network scheme of power corporation based on network isolation and secure data exchange[J].Telecommunications Science,2017, 33(2)： 163-172.

[2]林龍成, 陳波, 郭向民.傳統網絡安全防御面臨的新威脅：APT攻擊[J].信息安全與技術, 2013, 4(3)： 20-25.LIN L C, CHEN B, GUO X M.The new threat to traditional network security defense： APT attack[J].Information Security and Technology, 2013, 4(3)： 20-25.

[3]BIDOU R.Security operation center concepts & implementation[Z].2014.

[4]Apache Software Foundation.Apache Hadoop[EB].2011.

[5]李敏, 李煒, 于仕, 等.基于大數據分析和未知威脅感知的電網企業信息安全主動防御體系研究[J].科技廣場, 2016(8)：82-85.LI M, LI W, YU S, et al.Research on information security active protection system for power grid enterprises based on big data analysis and unknown threat perception[J].Science Mosaic,2016(8)： 82-85.

[6]ECharts[EB].2013.

[7]Apache Software Foundation.Apache Flume[EB].2012.

[8]Apache Software Foundation.Apache Sqoop[EB].2012.

[9]Redis Labs.Redis[EB].2009.

[10]席榮榮, 云曉春, 金舒原, 等.網絡安全態勢感知研究綜述[J].計算機應用, 2012, 32(1)： 1-4.XI R R, YUN X C, JIN S Y, et al.Research survey of network security situation awareness[J].Journal of Computer Applications, 2012, 32(1)： 1-4.

[11]王興念, 李宏偉, 施振華, 等.基于大數據的智能配電網運行監控平臺關鍵技術研究與應用[J].電工技術, 2017, 2(A)： 9-12.WANG X N, LI H W, SHI Z H, et al.Research and application of key technology of intelligent distribution network operation monitoring platform based on big data[J]. Electric Engineering, 2017, 2(A)：9 -12.

[12]MURUGESAN V, SHALINIE M, NEETHIMANI N.A brief survey of IP traceback methodologies[J].Acta Polytechnica Hungarica, 2014, 11(9)： 197-216.

[13]BLASCH E, STEINBERG A, DAS S, et al.Revisiting the JDL model for information Exploitation[C]//The 16th International Conference on Information Fusion (FUSION), July 9-12, 2013,Istanbul, Turkey.Piscataway： IEEE Press, 2013： 129-136.

[14]林闖.計算機網絡和計算機系統的性能評價[M].北京： 清華大學出版社, 2001.LIN C.Performance evaluation of computer network and computer system[M].Beijing： Tsinghua University Press, 2001.