數據倉庫在網絡安全態勢感知中的設計與實現

◆王 進 姜新超 孫佳偉

（戰略支援部隊信息工程大學教研保障中心 河南 450001）

0 引言

計算機網絡和操作系統漏洞越來越頻繁地暴露于人們的眼前，不僅給人們造成了無法彌補的財產損失，更嚴重威脅到國家的整體信息安全。及時了解網絡的現狀，預測其趨勢，成為保障網絡服務安全的首要任務，綜合監測和分析網絡安全形勢是防范網絡安全事件的關鍵，建立合理的高性能數據倉庫，能使決策者在數據量極大、數據來源相當復雜的情況下從網絡中提取到關鍵信息，對當前網絡狀況進行正確的判斷和預測至關重要。

1 網絡安全態勢評估模型

1.1 網絡安全態勢評估

對網絡安全態勢的評估，需要抽取網絡事件，提取其中相關的部分，判斷其能否反映當前網絡狀況，多次提取得到一個概率值。評估出來的結果能幫助網絡管理者更好地對網絡進行掌控，更為簡單、直觀地看出網絡當前存在的問題，方便決策者解決網絡問題，國內研究存在的主要問題是：

（1）態勢感知系統模型標準不一；

（2）數據源單一，態勢感知并不能達到完全精確，以致預測不能完全準確；

（3）面對海量網絡數據時，將其快速分類處理的能力明顯不足；

（4）在衡量大規格的網絡安全態勢時，沒有一個全面且標準的指標；

（5）歷史數據存在不可用網絡來分析和比較優點和缺點的情況，不能提供最好的來源對未來趨勢進行分析預測。

1.2 網絡安全態勢評估過程模型

態勢評估是有層次性的，大致可以分為三級，通過數據融合完成態勢覺察，可以提出態勢元素，根據態勢元素進行理解然后預測敵方意圖，如圖1所示。

圖1 網絡安全態勢評估過程模型

一級態勢覺察，使用分類采集技術，采集不同格式的數據，將其按照規律融合后提取出關鍵的態勢元素，并把它分類，以便下一階段理解。

二級態勢理解，根據一級得出的態勢分類，發現網絡當前態勢的特點，結合以往經驗，推斷出當前態勢狀況，了解敵方的意圖，洞悉其入侵計劃。

三級態勢預測，在確定未來的網絡安全狀況預測的情況下準確地了解結果的情況可以在多個級別，由一個或多個，從一個單一的實體行為演變到頂端的趨勢預測的全局趨勢。

1.3 數據倉庫技術

就目前的網絡態勢感知研究來說，數據倉庫將作為優于傳統數據庫的數據分析平臺，其特點如下：

（1）面向主題。數據是以一個系統的研究對象為處理的主題，其所有的數據都是圍繞著一個或多個主題組織展開的。例如在網絡安全系統中，這樣的主體可能包括網絡流量、網絡病毒、關鍵網元等等。

（2）集成性。由于一般的信息系統表示方式存在著編碼、命名解析、度量屬性這些不一致的數據可能對數據挖掘結果產生影響。

（3）隨時間變化性：數據倉庫中的數據要定時更新，將還有作用的歷史數據予以保存，在不斷地抽取、轉換后，徹底失去使用效力的數據將被刪除。

（4）穩定性。傳統數據庫的數據處理形式是操作型，面向對象是事物，只是針對具體的常規業務操作。這點不同于數據倉庫，數據倉庫能幫助決策者分析數據，是一個分析型數據處理系統，針對主題，提取分析數據，再重新組織，最后建立決策支持系統，傳統數據庫與數據倉庫的比較。

2 建立網絡態勢感知的數據倉庫

2.1 概念模型設計

現實世界的概念模型是抽象對象的客觀過程的結果，數據倉庫的分析對象，都是現實世界中客觀存在的事物，經過逐步地抽象處理，最終在數據倉庫中被恰當地描述出來。

（1）主題域的確定。分析主體可以確定主體范圍的界限，在確定主題領域之后，也要對其進行分析，以進一步確定將主題裝入數據倉庫的過程。網絡安全態勢感知系統可以再進行劃分成三類分析，三類分析還可以各分為兩項主題分析，如圖2所示。

圖2 網絡安全態勢主題劃分圖

（2）建立概念模型。建立數據模型最常見的方法繪圖法具有簡明直觀的優點，在傳統的圖中引入真正的事實實體、維度實體和引用實體。

事實實體：用于在一系列相互關聯的事實是現實的，它是中央數據倉庫的體系結構、數據倉庫中的相應的事實表，為用戶提供一定數量的點數據分析。

維度實體：用于細化描述實體的各項屬性，是事實實體更加詳細的屬性，主要作用是進行篩選查詢結果。

引用實體：對應于某一特定個體或對象的現實，在交易數據查詢時提供詳細的、準確的數據。

（3）數據倉庫設計。設計傳統的關系型數據庫系統需要經常注意規范性數據庫之間的關系，關系劃分一個明確的規范系統，實現快速響應和更好的存儲。數據倉庫的作用是支持實現決策，這就需要頻繁的查詢操作，這些操作往往細小繁雜，為了提高數據倉庫的運行效率，要結合實際情況來設計一個合理的數據倉庫。

2.2 邏輯模型設計

在對數據倉庫系統初始研究和分析的基礎上創建一個邏輯數據模型，為數據倉庫系統構架提供較為規范的基礎構造。邏輯模型構架包括以下個四個基本階段：

（1）確定數據粒度。合理地選擇數據倉庫的粒度，得以滿足最終用戶的分析需求，還可以提高數據倉庫的儲存量及運行效率。因此，在設計數據倉庫時要滿足分析需要注意粒度的大小，還要考慮提高存儲容量和查詢數據倉庫的效率。根據原則，選擇相對合適的數據粒度。

（2）維度表設計。數據倉庫維度表是每個角度數據分析和用戶代表維度的表，維度表包含事實表記錄中的詳細信息，如時間維通常可以將時間劃分為年、月、日等數個層次，從而方便在特定分析時，可以將不同時間段的數據匯總，做出不同層次的對比分析。

（3）事實表設計。事實表是一個數據倉庫的體系結構，在表的中心，事實表和維度表與其中包含的數字密鑰和措施相關。

（4）確定邏輯模型。在確定了模型粒度、維度表、事實表之后，鏈接維表和事實表確定邏輯模型。

2.3 物理模型設計

設計物理數據模型，充分考慮實際的數據存儲格式，在邏輯模型的基礎上，對數據倉庫的物理模型進行物理模型的確定，以確定事實和維度表的存儲結構。

（1）建立不同的表空間。表空間在數據庫與表中，存儲在數據庫中，表空間中的數據庫文件屬于物理層，它被存儲在一個單獨的單元，同一個源、類似的類型，在同一區域使用一致的數據，使不同的數據分布在不同的表空間里，這有利于統一存儲和優化。

（2）設置索引。索引作為數據庫中最常用的、工作效率高的查詢方式，主要用于數據量巨大、訪問頻繁數據表的情況，可以設置多個索引以提高其處理訪問數據的速度，滿足各樣查詢要求。

（3）對數據表進行分區。為了加快讀寫和查詢速度，系統對流量相關的表和索引進行再分區，增強數據表的可用性，改善查詢能力，方便維護數據，可以按時間將不同時段寫入的數據聚合匯集到不同的時間分區中，按數據處理的關鍵字段不同建立分區鍵，辨別數據存儲的位置，這樣在處理同一時期或分區鍵的數據時，可以訪問只滿足分區條件的數據，當與索引設置配合使用時，應根據分區號篩選出相應的周期內的數據。

2.4 生成數據倉庫

網絡態勢感知的來源數據量海量，所以需要進行兩次ETL過程：第一次ETL過程中所進行的工作是粗略地刪選最初的日志、流量、網絡報警等操作型數據，表結構基本與原始數據來源構成的表結構相同，主要目的是要屏蔽數據源對數據平臺建立的復雜性，為下一步建設分析性數據倉庫做準備；再進行第二次ETL過程，以主題為導向的方式來重新整合數據，轉換、收集和全面的數據倉庫來分析數據存儲。

3 結束語

網絡安全態勢感知主要是針對當前網絡安全現狀，運用新的技術評估和預測網絡，面對各種新興的入侵工具，網絡安全態勢感知系統對于保障系統安全具有重要的實際意義，本文在網絡安全態勢感知的基礎上，引進了數據倉庫的概念，重點分析了如何構建網絡安全態勢感知數據倉庫系統，要想建立完善的網絡安全感知的數據倉儲，還要對數據倉庫的 ETL（抽取、轉換和裝載）處理系統和 OLAP（聯機分析處理）分析系統，進行分析設計，使用和維護數據倉庫，使得網絡管理員能從不同的角度綜合分析去找出網絡中潛在的各種風險和發生各種風險的原因，進一步落實有針對性的網絡安全措施。