基于數據挖掘技術的網絡入侵分析與檢測

田春平，劉 蕓

（1.中國電信股份有限公司云南分公司，昆明 650000；2.中國電信股份有限公司昆明分公司，昆明 650000）

針對傳統的入侵檢測系統只能檢測處理已知的危險，漏報率高，需要網絡與信息安全員手動更新規則庫等缺點。通過引入數據挖掘技術，利用數據挖掘的特殊算法預測未知的攻擊或危險，自動更新規則庫。此方法可以解決傳統入侵檢測系統的短板，使系統及平臺的受保護系數大大增高。

1 數據挖掘概述

1.1 數據挖掘的基本概念

數據挖掘產生于金融領域，通過對海量數據的分析和計算，得出有價值的信息，為決策提供數據依據。數據挖掘有著鮮明的特點，它對數據的處理是沒有具體的假設，通過對大量數據的分析，發現其中那些表面上看不出來的信息，如“尿布和啤酒”能發現事件內在的隱藏聯系，這些是人們發現不了了；或者能預測懷孕，通過分析計算，去了解顧客的生理特點，做出相應的政策，拉動經濟增長；又或者通過分析事物內在聯系，預測傳染病的發生，提前預防等。這些都不是依靠人的經驗或者直覺可以得到的知識，挖掘所得到的信息越是超出人的認識，其價值可能越大。傳統的數據分析只能通過小量的數據分析得出結論，其信息的廣度和準確度都不如數據挖掘。

1.2 數據挖掘技術的基本功能

基本功能主要體現在分類與回歸、聚類分析、關聯規則、時序模式和異常檢測等。這五個基本功能主要解決的問題見表1。

表1 數據挖掘解決的實際問題

1.3 數據挖掘的系統結構

典型系統結構，見圖1。

2 入侵檢測系統的概述

2.1 入侵檢測系統的簡介

現在，Internet 環境的多樣化，黑客的能力在變強，各個地方都存在隱患。網絡信息的安全不是靠一個技術就可以解決的，需要結合多方面才能做到。入侵檢測系統是通過運行之后的審計數據來進行監控，這使得入侵檢測系統的配置簡單和可移植性高，幾乎任何計算機系統都能使用。它的優勢還在于有實時和動態監控等檢測系統狀態的方式。它的發展，提高了系統的安全性。隨著技術的更新和升級，入侵者的知識能力也在逐漸提高，系統漏洞不斷的被發現，入侵檢測系統功能不夠強大，所以人們對其的研究將會投入更多。

圖1 典型結構

2.2 發展歷史

早在1980年，對入侵檢測的研究就已經開始，以下是具體的事例。

（1）1980年，美國的一篇文章，被稱為入侵檢測的開山之作。在這里，還提出了入侵檢測的數據源可以從系統的審計數據中獲取，但是當時并沒有人們支持這個思想。

（2）1986年，為了檢測數據庫是否被不正常的操作，W.T.Tener在IBM 主機上用COBOL 開發的Discovery 系統，成為最早的基于主機的IDS 雛形之一。

（3）1987年，喬治敦大學提出了IDES（入侵檢測專家系統），這是入侵檢測技術第一次運用在計算機安全領域當中。它不需要考慮系統平臺等問題，后來它作為一個通用框架被人們使用。

（4）1988年，因為遭受了“蠕蟲”的攻擊，網絡癱瘓了近一周的時間，所以人們對入侵檢測系統的研究更為熱衷。

（5）1990年，通過對網絡信息的分析，來確定是否有威脅安全的行為發生的想法被提出，成為入侵檢測系統發展史上的一個分水嶺。

（6）1994 年，Mark Crosbie 和Gene Spafford 建議使用自治代理（autonomous agents）以便提高IDS 的可伸縮性、可維護性、效率和容錯性，該理念非常符合正在進行的計算機科學其他領域（如軟件代理，software agent）的研究。

（7）1995 年開發了IDES 完善后的版本—NIDES（Next-Generation Intrusion Detection System）可以檢測多個主機上的入侵。

（8）1996 年可能跨過多個管理領域的GrIDS（Graph-based Intrusion Detection System）問世，解決當代絕大多數入侵檢測系統伸縮性不足的問題。

（9）1998年Ross Anderson 和 Abida Khattak 將信息檢索技術引進到入侵檢測。

2.3 入侵檢測系統的構成

基本組成部件如下：

（1）事件產生器：其功能是用于原信息的收集，它可以通過收集網絡信息、系統的信息等。將這些表示為事件，是檢測的開端，為接下來的部件傳遞此信息

（2）事件分析器：檢測的核心，它接受了產生器給的信息之后，對信息做出分析操作，得出此信息是否安全。如果不安全則轉換為信息傳下去，如果安全則不用提示。

（3）事件數據庫：其功能是存儲各種信息，它同時接受以上兩個部件發來的信息。一個是發出的事件信息，另一個是在對事件計算后產生的信息。

（4）響應單元：相應單元相當于事件處理模塊，它將事件分析器發出的結果信息進行處理，它可以單純的只是發出警報提示，等待人工處理，它也可以做出自動斷開網絡、處理文件等行為。

以上四個組件相互連接，見圖2。

圖2 入侵檢測系統模塊連接

如果要實際搭建入侵監測系統，需要的是硬件設備和軟件的協同合作才能才能完成。事件產生器進行數據的收集這一塊的功能需要通過硬件設施去實現，還有相應單元的相應報警、切斷網絡等功能也需要硬件的支持。

2.4 入侵檢測系統模型

早期入侵檢測模型見圖3。

圖3 早期入侵檢測模型

改進后的入侵檢測模型見圖4。

圖4 改進的入侵檢測模型

2.5 研究入侵檢測系統的必要性

由于Internet 的優勢，計算機的功能愈加強大，加上網上交易的興起，使得它們的身影存在各處。與此同時，不法分子因為個人利益而運用黑客技術去侵犯他人的個人信息及個人利益的事件也無處不在。他們利用系統的漏洞來入侵他人的計算機，人們為了抵御這些入侵做了許多的措施，如登錄需要密碼、驗證碼、密碼學的加密解密等，但是這些并不夠。

操作系統的隱患，見表2。

表2 系統存在的問題

由于計算機系統的如此多的漏洞無法在短時間解決，所以對于入侵檢測的研究是勢在必行的。

3 基于數據挖掘的網絡入侵檢測系統

隨著科技的發展，網絡已經滲透到生活的各個方面，而另一方面，大規模的網絡入侵事件的發生，以至于網絡安全已經成為焦點所在，而入侵檢測系統就是其中的一個熱門技術。傳統的入侵檢測系統只能檢測被發現的，并存在于規則庫里的，而對未知的安全隱患的檢測極其低下。規則庫的更行也是通過網絡與信息安全員的人工操作，不僅費時費力，造價昂貴，而且效率低下，更新緩慢。隨著黑客的能力的變強，傳統的系統已經不夠用了，需要提高其安全性能。

本章通過對以上內容的歸納總結，闡明數據挖掘的能為我們干什么事情，闡明網絡入侵檢測少些什么。并找出兩者的交織區域。建立一個基于數據挖掘的網絡入侵檢測系統的模型，可以解析未知信息，并自動升級庫。

3.1 結合過程

將兩者結合主要的思想有連兩個。一是通過分析，挖掘出網絡入侵存在的一些未知的知識，如入侵行為的某些屬性通過計算得出的值存在某些特殊性、入侵行為和某些數據有聯系等等，直接識別不安全信息。另一個是通過分析，將用戶安全的信息存入庫，識別安全行為，間接識別非安全行為。本文構建的模型在這兩個方向上都能使用。

在建立模型前，需要先確定數據挖掘和網絡入侵檢測系統的交匯點。數據挖掘技術通過對大量數據的分析和處理，最后得出某些結果，將這些結果處理成某些直觀的表現方式，將其存入數據庫；而網絡入侵檢測系統的重點在于規則庫的內容，通過對比規則庫確定當前數據的安全性。所以我們確定，兩者的交匯點在于規則庫，即將挖掘得出的結果存入庫中。

使用跨行業數據挖掘的標準過程進行數據挖掘建模步驟：

第一步業務理解：我們首先要明白我們需要進行分析的數據是什么？我們需要分析的是網絡數據。將帶有隱患的網絡信息分類，并且對庫自動更新。

第二步數據理解：對于本文的數據來源于捕獲的網絡數據包，我們可以通過設置網卡為“混雜模式（Promiscuous Mode）”，這個模式使我們收集到和我們同一網段里的全部信息，也可以從網上下載數據包集。

第三步數據預處理：信息處理則是將數據包的包頭信息提取出來作為屬性，用于之后的數據挖掘。

因為我們數據挖掘的目的是為了構造入侵檢測系統的自主學習，這個屬于機器學習，而它的計算方式，必須要提供用于計算的數據。對于經過去噪聲、去冗余、計算缺失值之后的數據，在這里是數據包，包含可很多信息，哪些可以用于計算呢？需要對這些經過初步篩選的數據進行怎么樣的處理呢？

計算機文件，文件屬性可以表示這個文件的特征，如：文件格式、文件大小、創建時間、修改時間等，這個屬性能使我們不必要打開文件瀏覽文件內容，而對這個文件有一定的了解。如同文件一樣，如果我們想通過解開數據包讀取其內容的方式來確定其安全性，這樣的工作量太大，而且對系統的運行會是很大的影響，這是一個不可能實現的事。所以，我們準備通過網絡數據包的文件屬性入手，將其作為數據挖掘計算的數據。我們可以通過工具對網絡數據包進行處理，將網絡數據包的包頭的信息提取出來，這些屬性有：起始時間、源IP 地址、目的IP、傳送字節等等。

第四步建立模型：系統的安全信息的數量比有隱患的信息數量是多得多的，如果收集系統的安全信息，這是一個工作量非常龐大的工作。相對來說，誤用檢測需要收集的數據只是有入侵嫌疑的數據，這個數據量的少了很多，故本文選用誤用檢測。建立的初步模型如圖5，首先收集數據，如果是基于主機的，原始審計數據就從系統里收集，如日志文件等，如果是基于網絡的，則可從網絡收集，如用TCPDUMP 工具進行收集；其次將數據的格式處理成ASCII，并去完成其余預處理工作；然后對得到的信息進行篩選，創建模式，將選出的特征交給下一部分，并對入侵檢測模型反饋的結果進行重新篩選特征，創建新的模式，再交給入侵檢測模型，重復這個過程，到選出符合要求的特征為止；最后入侵檢測模型將接受到的特征數據通過數據挖掘算法進行計算得出的結果，在對此結果進行評估，反饋給上一層，若不符合要求，則等上一層發來的新特征數據再運算，再對結果進行評估和反饋，重復操作，直到得到符合要求的模式。

圖5 初步模型

第五步評價和解釋：以上模型只是一個初步模型，并不完善。這個階段的需要做的事情是，對其進行評估和解釋，并進行調整至最優。

3.2 基于數據挖掘的網絡入侵檢測模型

對于以上說到的初步模型，我們主要對其進行了優化，并進行了功能模塊的完善，如圖6所示，這是一個完整的基于數據挖掘的網絡入侵檢測系統模型。

圖6 完善之后的模型

在第一次運行前，左邊模塊要先運行，需要先對庫做一個錄入數據操作。我們可以從同一網段收集信息，但此辦法的信息可能存在類型上比較單一、數據量不夠等問題導致收集到的數據不足夠支持接下來的數據挖掘運算，所以我們可以考慮從網絡上下載前人已經獲取好的較為完整的數據集作為我們的原始審計數據。當需要的數據準備好了之后，下一步進行預處理操作，在這里我們應該將收集的數據包進行獲取其包頭的信息，這些數據將交給分類器進行分類。但是這些處理好的數據并不是全都能用于數據挖掘的算法，甚至會影響結果，所以一般情況下需要對預處理完的數據進行篩選，經過多次的評價反饋，選出符合要求的特征信息，再將其交給分類器。分類器中的算法可以有很多種，如聚類、分類、關聯等，具體的某些算法在第五章進行敘述。在第一次運行的時候，分類器需要對原始的審計數據進行運算，抽象出其中的規則（可以是系統正常運行的規則，也可以是具有安全隱患的規則，因為系統正常運行的情況的數據量太大，所以本文采用的是抽象出具有安全隱患的規則），將其存入規則庫，之后運行時，只需要在決策器發出未知信息的時候，分類器再對未知的信息進行運算，并更新規則庫。若未知的信息量大，每次都要去調用分類器，則分類時時刻刻都在運算，這樣勢必會影響系統地運行效率，我們可以將分類器設置為定時的運算，比如30秒，在這30秒之間到達的位置信息，先將其存放在緩沖區，當到30秒這個時間結點的時候，分類器再啟動對這些未知信息進行運算，這樣就可以解決拖慢系統運行速度的問題。規則庫如上所述，分類器第一次運算得出規則作為初始規則存入規則庫，并向入侵檢測模塊的檢測引擎提供規則進行對比檢測。在分類器不斷的對未知數據運算的時候，不斷的調整和更新規則庫，使規則庫越來越全面。規則庫是入侵檢測系統的核心，解決了規則庫的更新問題，也就解決的傳統入侵檢測系統自適應性差，誤報漏報率高（我們如果將系統正常運行的情況作為規則，這叫異常檢測，這樣的漏報率低，但是誤報率高；如果我們將具有安全隱患的情況作為規則，則相反，這也叫做誤用檢測）的問題。

右邊模塊的運行獲取的是當前的網絡信息，進過一系列的處理后（和左邊模塊相同），將其交給下一個部件。檢測引擎拿到上面傳來的信息后，對其進行運算，得出來的結果去對比庫里的信息。這是一個比較的過程，可以利用相似度比較的算法，得出的結果再交給決策器。決策器得到結果之后對其進行判斷，若匹配失敗，則認為這是一個安全度未知的數據，則將其交給數據挖掘模塊的分類器進行運算；若匹配成功，就看作這是一個具有安全隱患的數據，則將其交給報警器，發出警報或自動處理。此模型針對誤用檢測，稍加修改也可以用于異常檢測。

4 結束語

本文開始通過對數據挖掘技術的原理、發展、模型等的學習，重點要說明數據挖掘的強大功能，接著對入侵檢測系統進行較全面的學習，然后綜合了兩者，將其結合，并構建了基于數據挖掘的網絡入侵檢測系統的模型，還對數據挖掘的算法進行了學習和初步的改進。

構建的基于數據挖掘的網絡如入侵檢測系統模型，是針對傳統入侵檢測系統無法自動更新規則庫，對未知的情況無能為力，以至于傳統入侵監測系統存在自適應性低，誤報漏報率高等缺陷，結合了數據挖掘的強大能力，實現一種機器具有自我學習的能力，可以自主分析未知行為的安全性，并自動更新規則庫，這就解決了問題。本文的設計都屬于理論階段，將來將進一步對其進行實驗證明，并對其進行改進，如改進其可以檢測網絡數據包包頭以外的信息。