宏觀網絡安全數據挖掘系統設計

摘要：為了發現宏觀網絡的正常和異常運行模式，以及對宏觀網絡的安全態勢進行分析，介紹了一種宏觀網絡安全數據挖掘系統設計的范例。該系統利用收集的各種宏觀網絡安全數據來進行數據挖掘和態勢評估，并通過圖形用戶界面對結果進行了分析。著重介紹系統設計所采取的技術路線、安全數據獲取方式、系統組成模塊、實現方法和系統設計評價。

關鍵詞：宏觀網絡；數據挖掘；系統設計

中圖分類號：TP393．08文獻標志碼：A

文章編號：1001-3695(2008)05-1534-03

隨著計算機技術與通信技術的結合，計算機網絡發展進入了一個新紀元。網絡技術的飛速發展給社會生活帶來極大的便利的同時，也帶來巨大的挑戰：a)黑客對網絡的攻擊手段日趨復雜，攻擊目標擴大到宏觀網絡中的大多數組件，造成的危害日趨嚴重，如大規模蠕蟲爆發足以造成宏觀網絡的癱瘓；b)由于宏觀網絡日趨復雜，雖然部署在網絡上的各種安全系統、設備和平臺（如入侵檢測系統、路由器等）提供大量可用來分析宏觀網絡事件和流量規律的安全數據，但是數據具有廣泛分布、跨多個組織、數據格式差異大、海量等特點。這給數據收集、傳輸、格式轉換和存儲提出了挑戰。

為了從海量的網絡安全數據中發現宏觀網絡運行的正常和異常模式，對大規模網絡進行異常感知并且分析宏觀網絡的安全態勢，本文提出了宏觀網絡安全數據挖掘系統。它首先把收集到的各種網絡安全數據進行過濾，變換成定義好格式的——元信息；然后應用多種數據挖掘技術和方法對元信息進行數據挖掘和安全態勢計算；最后由分析人員對挖掘和態勢計算結果進行查詢、分析、確認、精化和消減。

1宏觀網絡安全和數據挖掘簡介

1．1系統設計目標

研究宏觀網絡安全的目的在于發現宏觀網絡運行的正常和異常模式、實時監視和分析網絡的態勢、進行大規模異常感知和報警。宏觀網絡安全數據挖掘系統設計的目標是：

a)能夠分布地收集各類安全數據（安全數據來源于各種系統、設備和平臺，數據源廣泛地分布在網絡上的各個位置）。

b)對收集的安全數據進行數據挖掘和態勢計算（數據挖掘和態勢計算能夠分布地執行，并通過一個中心數據庫匯總計算結果）。

c)提供圖形化用戶界面，供分析人員對挖掘和態勢計算結果進行查詢、分析、確認、精化和消減。

1．2數據來源

入侵檢測系統、路由器和863-917網絡安全監測平臺[1]是宏觀網絡安全數據挖掘主要的數據來源。本節主要對這三種系統、設備和平臺進行介紹。

1．2．1入侵檢測系統

入侵檢測系統是保護網絡和計算機系統安全的重要工具之一。它通過對網絡數據流和系統日志等進行分析、檢測、發現入侵，并且具有報警功能。其主要技術指標為準確率（誤報率和漏報率）和速度。自20世紀80年代起，入侵檢測分別從基于主機的、基于網絡的，逐漸發展到混合的入侵檢測系統[2]。主要的入侵檢測系統的廠商有Cisco、華為3Com和Symantec。此外，國內外還有包括Snort[3]在內的許多開源或免費的入侵檢測系統。雖然目前的入侵檢測系統種類繁多，但是仍然存在很多問題沒有得到解決。這些問題包括：a)處理時間長，不能達到實時檢測；b)報警事件過多、層次低，管理人員無法得到高層次信息；c)誤警率過高；d)由于技術發展的限制，實時入侵檢測系統往往不能監測訓練有素的攻擊者制造的復雜網絡攻擊。這些問題使得基于傳統方法的入侵檢測系統只能用于保護局部網絡或個別主機，但是各個局部網絡入口處部署的入侵檢測系統產生的報警卻蘊涵宏觀網絡安全的重要信息。而數據挖掘在這里正扮演重要的角色。為了得到更高層次的信息，目前人們正在研究如何將統計方法、專家系統、神經網絡、數據挖掘、數據融合、遺傳算法等技術應用到入侵檢測系統。另外從系統的設計方面來說，分布式入侵檢測系統也值得參考和借鑒文獻[4]。1．2．2路由器

路由器是互聯網絡的樞紐。它是連接多個網絡或網段的網絡設備，從而構成一個更大的網絡。目前路由器已經廣泛應用于各行各業，各種不同檔次的產品已經成為實現各種骨干網內部連接和骨干網之間互聯互通業務的主力軍。主流的路由器廠商有Cisco、Junipe、3Com、華為、中興等。在宏觀網絡各個節點上，路由器所產生的安全日志和流量信息蘊涵著宏觀網絡的正常和異常運行模式和網絡事件內在聯系規律，這些都是最直接和最重要的數據源。

1．2．3863-917網絡安全監測平臺

863-917網絡安全監測平臺由國家計算機網絡應急處理技術協調中心(CNCERT／CC)承建的。這個平臺是國家“863”計劃設立的網絡安全應急項目（917工程）建設的網絡安全監控系統，它通過對中國的骨干網和主要節點進行監測，能對流量和事件異常進行快速響應[1]。這個平臺將成為國家公共互聯網應急響應的一個重要的基礎支撐平臺，該平臺獲得的信息主要包括流量數據和事件數據。同樣，為了發現宏觀網絡高層次的信息、正常和異常運行模式以及事件序列的規律和特征，需要綜合應用多種技術（主要是數據挖掘）來提煉這些信息。

除了以上這些系統、設備和平臺獲得的數據以外，對研究宏觀網絡安全來說，還有大量可供分析的其他系統和設備獲得的流量和事件數據。宏觀網絡安全數據挖掘系統能夠不斷擴充分析數據集以及新的分析模塊。

1．3數據挖掘

數據挖掘的概念是于1989年在第一屆KDD（knowledge discovery in database）會議中提出的。它強調的是通過數據驅動的發現方法，獲得知識，即從大量的數據中抽取出隱含的、新穎的、有用的信息和知識。提取的信息和知識可以稱之為概念（concepts）、規則（rules）、規律（regularities）、模式（patterns）等[5]。

常用的數據挖掘方法包括最近相鄰法、案例推理法、規則學習、決策樹、遺傳算法、統計方法和遺傳算法。為了改善和提高數據挖掘的性能和效率，其發展趨勢是綜合采用多種挖掘方法和技術。數據挖掘可以用來進行分類、預測、數據總結、數據聚類，也可以用來發現關聯規則、序列模式、依賴關系或依賴模型、異常和趨勢等[5]。

由于具體行業中的歷史數據和蘊涵的規律不盡相同，需要研究在特定行業數據中提取哪些特征，以及使用哪些數據挖掘算法才能發現真正高層次和容易被人們理解的知識。對特定領域，甚至需要設計與領域知識相關的數據挖掘算法。對宏觀網絡安全數據挖掘系統來說，首先要從相關的安全系統、設備和平臺獲取的數據中提取出能夠反映宏觀網絡運行模式的特征與屬性，歸結為事件信息和流量信息；其次，對收集的數據進行事件關聯分析、事件聚類分析、流量序貫模式分析和網絡流量周期性規律發現等。另外將宏觀網絡按照服務、節點、網絡進行分級，計算各級態勢[6]。

2宏觀網絡安全數據挖掘系統設計

2．1技術路線

a)定義元信息。元信息包含兩大類，即事件信息和流量信息（如事件信息包含名字、IP地址、發生時間和優先級等屬性）。系統的數據來源包括入侵檢測系統、路由器、863-917網絡安全監測平臺以及原始數據包分析的輸出（針對主流宏觀網絡異常，如蠕蟲等）。這些安全數據格式層次等都不一樣，需要進行相應的預處理，變換成元信息。采用元信息保證了可以隨時加入新的安全數據種類，而無須對系統進行更改。

b)把一個獨立的數據挖掘或態勢計算過程定義為元挖掘算法（如事件序列關聯），把元挖掘算法包裝成動態鏈接庫，對外提供統一的接口。利用元挖掘算法進行計算時，需要在數據庫中選擇元信息，然后根據算法需求進行相應的變換。使用元挖掘算法策略的目的是使系統具有可擴充性，能動態地更新和升級高效算法。

c)分析人員通過圖形用戶界面，對數據挖掘和態勢計算結果進行查詢、分析、確認、精化和消減。圖形用戶界面反映出來的是宏觀異常的匯總信息、直觀的網絡態勢和實時報警信息。對于宏觀異常，系統給出異常的起源、位置、異常的等級，以便輔助安全人員進行決策。同時系統直觀地給出網絡態勢圖（主要以線圖），供分析人員查看歷史以及當前的網絡態勢情況。對于實時報警，當系統從實時數據中挖掘出異常的模式時，按照優先級順序進行相應的報警提示。

數據庫存放元信息、數據挖掘和態勢計算結果、中間結果等。元信息存儲、元挖掘算法計算過程和最后的分析都直接對數據庫進行訪問。

2．2安全數據獲取方式

在進行系統設計時，把每種網絡安全數據獲取過程定義為元獲取算法（如Cisco路由器日志的獲取）把元獲取算法包裝成動態鏈接庫。

針對以下幾類網絡安全數據，為每種網絡安全數據提供了一種或多種數據獲取的方式。

1)主流宏觀網絡異常報警該模塊使用Libpcap提供的函數庫獲取網絡數據包[2]，應用相應的檢測算法來檢測是否發生主流宏觀網絡異常（拒絕服務攻擊、蠕蟲病毒和攻擊型掃描）。

2)Snort入侵檢測系統的報警Snort提供了通過socket輸出的功能[3]，還可以通過修改Snort的報警輸出方式（修改Snort的源碼）或直接對Snort的數據庫進行訪問來獲取報警信息。

3)Cisco路由器的安全日志和流量信息按照指定的格式直接從設備上獲取安全日志和流量信息[7]。

4)863-917網絡安全監測平臺導出的監測數據（項目方提供）。該平臺產生的安全數據存放在自身的數據庫中，可以直接訪問數據庫導入，訪問該平臺導出的檢測數據文件[1]。

宏觀網絡異常報警和Snort入侵檢測系統報警屬于事件信息（元信息包含兩大類，即事件信息和流量信息），路由器的安全日志和流量信息分別歸結為事件信息和流量信息，863-917網絡安全監測平臺導入的監測數據既有事件信息，也有流量信息。

2．3系統組成模塊

宏觀網絡安全數據挖掘系統由前端系統、服務器系統、安全數據獲取系統和數據庫系統組成(圖2)。安全數據獲取系統負責調度各種元獲取算法獲取數據，對數據進行預處理變換為元信息存放在數據庫。服務器系統負責調度元挖掘算法進行相關的數據挖掘和態勢計算。前端系統負責對數據挖掘和態勢計算的結果進行分析。服務器系統、安全數據獲取系統和數據庫系統可以有多個，部署在宏觀網絡各個節點上。前端系統（也就是控制臺）只有一個，它通過網絡控制宏觀網絡各個節點上的服務器系統和安全數據獲取系統。其中有一個中心數據庫，該數據庫實時地更新各個節點上的數據挖掘和態勢計算的結果，前端系統通過訪問中心數據庫來對網絡級的數據挖掘和態勢計算結果進行分析。

按功能，系統分為四個大模塊：a)安全數據獲取和預處理；b)數據挖掘和態勢計算；c)挖掘和態勢計算結果分析；d)通信。以下詳細介紹這四大模塊。首先，安全數據獲取和預處理包含以下四個小模塊：

（a)宏觀網絡異常的獲取、預處理模塊。預處理階段對異常報警進行規范化，增加缺失屬性，賦予異常度等。

（b)入侵檢測系統報警獲取、預處理模塊。該模塊獲取入侵檢測系統的報警數據，進行規范化處理、融合、關聯[8]等。

（c)路由器安全日志和流量信息獲取、預處理模塊。獲取的信息經過過濾、篩選、規范化、合并等操作。

（d)863-917網絡安全監測數據獲取、預處理模塊。預處理模塊對獲取的數據進行過濾、篩選和規范化。 把以上四個模塊將獲取的數據存放在數據庫系統和文件系統中。挖掘服務器對預處理過的數據進行數據挖掘和態勢計算：

a)數據挖掘模塊。該模塊對預處理過的數據進行選擇、轉換、挖掘。主要包括宏觀網絡事件序列關聯挖掘、宏觀網絡流量異常挖掘、宏觀網絡流量序貫模式數據挖掘等。

b)安全態勢計算模塊。該模塊對預處理過的數據進行統計，建立態勢模型，然后計算態勢。主要包括基于事件序列的宏觀網絡態勢計算、基于流量的宏觀網絡態勢計算。

服務器系統把數據挖掘和態勢計算的結果存放到部署在各個宏觀網絡節點上的數據庫中（非中心數據庫，這些數據庫分布在宏觀網絡上的各個節點上），中心數據庫實時更新各個節點的計算結果。前端系統從中心數據庫中獲取數據挖掘和態勢計算的結果，進行分析。前端系統的挖掘和態勢分析模塊包括： 基于事件序列的宏觀網絡態勢分析、

宏觀網絡事件序列關聯分析、基于流量的宏觀網絡態勢分析、宏觀網絡流量異常分析、宏觀網絡流量序貫模式異常分析、基于流量的宏觀網絡實時態勢分析、事件和流量統計分析。

另外，前端系統和服務器系統、前端系統和安全數據獲取系統之間通信的模塊負責控制和消息傳遞等。

a)服務器系統和前端系統通信模塊。前端系統控制各個服務器系統的運行，各個服務器把運行狀態和計算結果返回給前端系統。通信內容包括啟動數據挖掘、啟動態勢計算、調整挖掘參數和態勢模型、服務器狀態報告等。

b)前端系統和安全數據獲取系統通信模塊。前端系統啟動、停止各個安全數據獲取和預處理模塊。各個安全數據獲取和預處理模塊把處理進度返回給前端系統。

2．4實現方法

a)使用VC開發前端系統，使用MSChart控件實現報表呈現功能。前端系統運行在Windows XP系統下。

b)使用C++開發服務器系統，服務器系統負責調度數據挖掘、態勢計算等元挖掘算法模塊并發（多進程）執行。服務器系統運行在Linux或Solaris系統下。

c)使用C/C++開發安全數據獲取系統，安全數據獲取系統負責調度各個安全數據獲取、預處理模塊并發執行。安全數據獲取系統部署在各種操作系統下。

d)使用C++開發數據挖掘、態勢計算、各種安全數據獲取和預處理模塊，并封裝成動態鏈接庫。服務器系統和安全數據獲取系統可以動態加載這些模塊、執行操作。

e)前端系統和服務器、前端系統和安全數據系統獲取系統之間采用socket通信。

f)數據庫系統規范化到三階范式，并使用MySQL實現。

2．5系統設計評價

a)實現了安全數據來源的多樣性，同時元獲取算法策略使得安全數據的獲取可動態擴充和升級。

b)元信息的定義保證了可以隨時加入新的安全數據種類，而無須對系統進行更改。

c)實現數據挖掘和態勢計算的多樣性，同時元挖掘算法策略使得系統可擴充新算法，升級舊算法。

d)采用分布挖掘的方案，提高整體運行的效率。

e)提供友好的人機界面，方便用戶理解和使用。

f)不同功能模塊之間耦合度小。模塊的可復用性高。整體系統具有良好的擴展性。

3結束語

宏觀網絡安全數據挖掘系統的設計達到了預期的目標。系統能夠收集來自原始網絡數據流分析輸出、Snort入侵檢測系統、路由器和863-917網絡安全監測平臺的安全數據，同時元獲取算法和元信息的策略使得安全數據的獲取具有可擴充性，且不需要對原系統設計進行更改；系統能夠分布地對收集的信息進行數據挖掘和態勢計算（宏觀網絡事件序列關聯挖掘、宏觀網絡流量異常挖掘、基于事件序列的宏觀網絡態勢計算和基于流量的宏觀網絡態勢計算等），元挖掘算法的設計使系統具有良好的可擴充性；系統提供良好的人機交互界面，供決策分析人員直觀地對數據挖掘和態勢計算結果進行分析。

目前在國內外，對宏觀網絡安全的研究還處在探索性階段，需要綜合多種網絡安全數據，以及結合多種數據挖掘方法和分析技術。宏觀網絡安全數據挖掘綜合分析系統的設計為這個領域的研究、實際應用與開發指明了方向。同時系統的設計涉及到入侵檢測系統、數據挖掘、數據庫、分布式計算和程序設計等多個領域的知識和技術，能夠給相關領域的研究和系統設計提供重要的參考。

參考文獻：

［1］國家計算機網絡應急技術處理協調中心.CNCERT/CC網絡安全工作報告[EB/OL].[2007-01-01].http://www.itsec.gov.cn/webportal/download/2004－CERT－CC%20Report.pdf.

[2]劉文濤.Linux網絡入侵檢測系統[M].北京:電子工業出版社，2004:1-272.

[3]The Snort Project.Snort users manual 2.6.1[EB/OL].[2007-01-01].http://www.snort.org/docs/snort_manual/2.6.1/snort_manual.pdf.

[4]連一峰.分布式入侵檢測系統研究[D].合肥:中國科學技術大學，2002.

[5]WITTEN I H，FRANK E.數據挖掘[M].北京:機械工業出版社，2003:1－118.

[6]陳秀真，鄭慶華，管曉宏，等.網絡化系統安全態勢評估的研究[J].西安交通大學學報，2004，38(4):404-408.

[7]Cisco公司.Cisco IOS system error[EB/OL].[2007-01-01].http://www.cisco.com/univercd/cc/td/doc/product/software/ios122/122sup/122sems/.

[8]VALEUR F，VIGNA G，KRUEGEL C，et al.A comprehensive approach to intrusion detection alert correlation[J].IEEE Transactions on Dependable and Secure Computing，2004，1(3):146－169.

“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”