新型入侵增量識別入侵檢測模型

劉 佳 張 平 劉培玉 孔凡玉 李新金

1(山東師范大學歷山學院電子與信息工程學院 山東 濰坊 262500)2(山東大學網絡信息安全研究所 山東 濟南 250100)

0 引 言

在信息安全領域，入侵檢測是防護內網網絡環境安全的重要防線。隨著硬件、軟件技術的不斷發展，網絡數據量呈現海量數據特征，新的網絡入侵模式快速呈現。然而，與之相對的是傳統的入侵檢測的原理，它一般是通過識別已知入侵行為的入侵特征來達到檢測入侵的目的，往往對于入侵模式的改變難以適應。

隨著數據挖掘技術的發展，如何讓入侵檢測自我識別未識別的入侵模式和進化的入侵模式具有很高的研究價值。近年來，對于入侵檢測如何識別新型入侵模式做出了很多努力。

2016年文獻[1]針對傳統入侵檢測系統難以為Ad-Hoc網絡中日益增長的安全威脅提供令人滿意的保障，提出了基于對比有攻擊和無攻擊的狀況下的情況特征來自我學習識別入侵行為。2016年文獻[2]采用映射模型來進行入侵檢測，創造合適的攻擊跡象并應用于入侵檢測系統中來解決常規入侵檢測特征不變的情況，識別新型入侵行為。2017年文獻[3]針對一般自適性入侵檢測系統一般耗費巨大資源的情況，采用一種混合SVM和ELM的分類模型，其中自適性SVM模型分布在MAS上并行計算，實時學習新型入侵。2017年文獻[4]為了監測拒絕服務攻擊，改進一般監測只是基于數據包的監測，提出一種利用物理特征的機器學習監測模型，能夠對已經識別的拒絕服務攻擊和當前沒有監測到的拒絕服務攻擊有良好的監測性能。

上述研究成果中一般通過對比有入侵的行為和沒有入侵的行為的不同點進行新型入侵檢測的識別，或者改進自適性入侵檢測的監測性能，具有了一定成效。但是上述檢測過程中普遍存在的問題：一是入侵檢測往往反應較慢；二是如果主機已經不能和安全環境中的堡壘機相溝通，那么難以達到檢測入侵的目的。

在研究各個入侵檢測自我改進方法之后，提出了一種全局檢測點相互溝通自身和周圍設備異常情況的機制，判別新型入侵行為，并根據收集的信息自我進化識別新型入侵模式的入侵檢測模型來識別新型入侵模式，改進全局安全環境。并且為了達到不斷進化、快速識別新型入侵行為的目的，提出了一種決策樹的自我快速改進模型來將新型入侵模式納入入侵檢測范疇。

提出的入侵檢測模型的優勢如下：

(1) 改進傳統網絡入侵檢測模式固化的缺陷，采用各個入侵檢測點相互交流的機制溝通自身和周圍設備異常情況信息，建立算法。根據局部異常情況建立全局異常情況，通過與設定好的異常情況閾值進行比較，如果超出閾值，則認為現有網絡環境防護出現漏洞，正在遭受新型入侵模式的攻擊。

(2) 抽取近期各個入侵檢測點交流的異常信息，根據一般入侵檢測是某個現有入侵的變種，并根據異常信息在決策樹入侵檢測器大致流向，判別是否是某種入侵行為的變種，還是新型入侵模式。

(3) 抽取異常信息的特征，如果是現有入侵模式的變種，則對此種入侵模式進行決策樹入侵檢測器的局部進化，如果是新型入侵模式，抽取其特征，納入決策樹入侵檢測器中。

(4) 將進化完成的入侵檢測器投入入侵檢測環境中，監測全局異常情況變化情況。如果狀況緩解，則認為自我進化是正確的方向，將判別的特征納入日志記錄，識別新型入侵行為。如果沒有緩解，則持續收集局部異常信息，做進一步分析。

1 新型入侵檢測

提出一種入侵檢測架構，該入侵檢測架構擺脫了一般入侵檢測模式固化的缺點，采用各個入侵檢測點相互交流的機制溝通自身和周圍設備異常情況，發現全局異常區域，并匯報異常區域流量數據，達到識別新型入侵的目的。

Intel公司曾經提出“自治企業安全”方案獲取局部異常信息流匯總形成全局異常情況[5]，這種思想可以全局入侵檢測點相互交流協作檢測入侵，對比一般的單一主機檢測具有很大的優勢。

本架構采用全局入侵檢測點相互交流異常情況并判斷各個入侵檢測點是否在線的形式形成全局情況信息。具體機制如下：

(1) 各種類別分布式入侵檢測點的入侵檢測策略由各個中間設備管理器進行管理與部署。

(2) 各個入侵檢測點持續收集流量數據，例如連接各層協議類型、發生時間、近期一定時間內連接情況等，當出現異常情況如近期網絡流量異常增大，向其他節點交流發送的ICMP協議返回異常等情況，記錄異常情況，根據對于主機威脅重要程度制定的異常情況權重表(見表1)。更新異常獲得值(異常情況權重即發生問題的情況對于主機的重要程度，比如ICMP協議返回異常，ICMP協議在異常情況權重表中重要程度占1，則獲得1的異常情況獲得值)，各個異常獲得值隨著時間按遞減值進行遞減，來防止異常獲得值無理由持續增長，進而持續增加全局異常情況。

表1 異常情況權重表

(3) 各個入侵檢測點相互交流，定期共享本地異常獲得值信息，各個入侵檢測點維護其他節點異常獲得值表(如無法交流則為無法交流節點增加對應異常獲得值)，并根據與其他節點的距離情況(如直接到達則為1，路由兩個設備到達則為2)和對應的獲得值(見表2)，全局統計計算臨時全局異常值。

表2 其他檢測點獲得值

(4) 各個檢測點形成的獲得值表和臨時全局異常值表與設定的異常閾值做對比，如果超出閾值，則認為發現當前入侵檢測檢測不了的新型入侵，入侵檢測點向反饋信息收集節點發送反饋信息，包括維護的獲得值表。

(5) 反饋信息收集節點向信息處理節點發送收集的信息，根據獲得值表情況進行分析。根據表情況收取對應入侵檢測點的相關信息，并進行一定的清理與整型。將獲得值表發送到全局網絡安全信任度建立節點進行全局情況信任度建立，并分析受威脅的網絡區域，將收集的各個出現異常情況的入侵檢測點的相關信息發送到自適性入侵檢測模型改進節點進行入侵模式分析與入侵檢測模型改進。

(6) 在自適性入侵檢測模型改進節點中，由于一般新的入侵模式是現有入侵模式的一種變種，利用先驗的入侵模式大類對收集的信息進行分析。如果判別是現有入侵模式的變種，則進化該種入侵模式分支。如果判別出不屬于任何一種現有入侵類別，則識別其特征，納入入侵檢測模型中，如圖1所示。

圖1 入侵檢測模型

2 自適性入侵檢測模型改進節點

2.1 問題假設及目標

針對上節提出的入侵檢測模型，其中的自適性入侵檢測模型改進節點需要根據識別出來的信息提取異常情況的特征，并納入入侵檢測模型中。本文采用了一種改進的決策樹的算法，一方面決策樹分類具有快速和高效特點，另一方面根據改進決策樹分類模式的固定性缺陷，提出一種增量式的決策樹的自我進化方法。

該算法的改進思路在于:

(1) 基于決策樹總是根據最明顯的屬性區別一步步區分類別，這樣根據收集到的異常數據流入決策樹的節點情況判別是已有入侵類型的變種還是新型入侵類型。

(2) 如果是入侵類型變種只需要自我改進這種入侵類型，將變種特征納入此決策樹分枝即可。如果流入的決策樹的數據在決策樹中的走向過于分散，則認為是一種新型入侵類型，則提取其類型特征，納入決策樹判別。

(3) 針對決策樹由于經常會出現的過度擬合的現象，采用樸素貝葉斯算法進行樹判別增強，加強決策樹對于過度擬合的情況的判別性能，提高決策樹對于數據量較少的類型的判別性能。

這里設收集的異常數據為Dadapt。

2.2 性能指標

檢出率(DR%)、誤報率(FP%)、漏報率(FN%)與數據檢測不出率(DN%)、識別為入侵但入侵類型錯誤率(FI%)作為評價入侵檢測算法性能的重要指標。通過對測試數據流的決策樹判別各種性能指標的判別來判別決策樹的性能。

2.3 異常數據決策樹自我進化

統計異常數據流對于決策樹各個節點的流量情況，記錄異常數據流在決策樹中最先開始分枝節點node，計算異常數據流占最先開始分枝節點生成數據的比例rate，設置閾值threshold。若rate>threshold，則表明新型入侵模式在此節點表現明顯，將異常流數據納入此節點的數據表，根據新生成的生成數據表重新構造局部決策樹識別新型入侵模式。若rate≤threshold，則認為新型入侵數據模式在此節點表現不明顯，讓異常數據流繼續流入決策樹各個節點，在最終流入的葉子節點處，進行決策樹的初步改進，初步識別新型入侵行為。這個在節點處設置的判別信息量多少的閾值稱為敏感性閾值。

具體操作步驟為：

Step1異常信息流收集，數據清理。形成新型入侵類型的數據特征集合。

Step2將異常信息流流入初始決策樹，記錄異常信息流在決策樹中最先開始分流的節點，計算異常數據流占節點生成數據的比例rate，如圖2所示。

圖2 異常數據流流向圖

Step3設置閾值threshold，若rate≤threshold，則異常數據流在此節點的模式表現不夠明顯，異常信息流向下分流到決策樹葉子節點，在最終流入葉子節點的父母處進行決策樹的重新生成算法，形成新的決策子樹納入全局決策樹，若rate>threshold進入Step 4，如圖3所示。

圖3 數據量不足決策樹自適改進圖

Step4異常信息流數據納入節點生成數據表，采用決策樹算法重新生成決策樹納入全局決策樹，如圖4所示。

圖4 數據量充足決策樹自適改進圖

Step5將異常信息流納入全局決策樹生成數據統計中，為下一次決策樹自適做參考。

輕量級樸素貝葉斯分類在決策樹分類的基礎上，減少判別屬性，對于過度擬合的數據的進一步判別，提升決策樹的判別能力，對于數據量較小的新型入侵模式的過度分類進行改進。

2.4 輕量級樸素貝葉斯算法樹增強

由于決策樹生成過程容易對數據量多的模式識別敏感，但是對于數據量較少的數據識別容易過度擬合，判別過細的現象。如果異常數據流較小，在決策樹分流過程中對于異常數據流的屬性的各個屬性值存在判斷過細，出現無法判別數據流的情況。因此這里采用樸素貝葉斯[6]分類彌補這種不足，并采取一種輕量級選擇判別屬性的方式減少樸素貝葉斯分類的判別屬性。

輕量級樸素貝葉斯決策樹進一步分類表示如下：

1) 向上回溯異常數據流流入節點，直至回溯到目的節點(此節點的生成數據集中存在無法判別的數據流的無法判別的屬性值)。

2) 基于假設：如果數據流向統一節點，則其祖先節點對于此數據流的判別有效。不考慮祖先節點的屬性，選取目的節點生成數據集中的其他屬性計算各個入侵類別的條件概率。

3) 選擇條件概率最大的入侵類別為此記錄的入侵類別。

具體生成算法為：

1) 計算節點數據集各個入侵類別的先驗概率P(Ci)。

2) 計算目的節點屬性表，將祖先節點的屬性從考慮屬性中剔除。

3) 計算數據項屬性表中的各個屬性值對于各個入侵類別的條件概率，如果屬性值沒有在此入侵類別中出現，乘以0.001，統計各個入侵類別沒有出現的屬性的個數flag。

P(x1|Ci)P(x2|Ci)…P(xn|Ci)

(1)

4) 計算閾值threshold=屬性表屬性值個數/10。

5) 如果threshold

6) 用整體訓練數據進行樸素貝葉斯類別判斷，判斷屬性類別。

輕量級樸素貝葉斯分類在決策樹分類的基礎上，減少判別屬性，對于過度擬合的數據的進一步判別，提升決策樹的判別能力，對于數據量較小的新型入侵模式造成的過度擬合進行改進。

3 仿真測試

3.1 實驗環境

采用64位Windows 7平臺，CPU為Intel雙核酷睿i5處理器，8 GB內存，1 TB硬盤，Visual Studio 2013平臺C#作為編程語言，SQL Server 2012作為數據庫。

3.2 數據集與性能評估

訓練數據采用KDD CUP99數據集[7]中的10%的訓練數據集的選取的10%數據量作為訓練數據：兼顧數據量較少的入侵行為，均勻選取每種入侵類型的數據條數。如果入侵類型的數據量在數據集的記錄條數少于設置的閾值，則全部選取；如果大于閾值，則選取設置閾值條數的記錄條數作為此種入侵模式的模式匹配數據。

新型入侵模式的選擇為均勻選取測試數據集中的新型入侵數據10%的樣本。將其流入決策樹，采用第2節提出的進化算法進行進化。

將這些新型入侵模式數據作為自適性入侵檢測架構識別的數據，參照第2節提出的自我改進方式進行進化，然后用10%的測試數據集檢測進化后的決策樹。采用檢出率(DR)、誤報率(FP)、漏報率(FN)與數據檢測不出率(DN)、識別為入侵正確但入侵類型錯誤率(FI)作為評估入侵檢測模型性能的依據。

3.3 仿真實驗及結果分析

采用C4.5決策樹[8]算法訓練一般決策樹具體結果如表3所示。

表3 C4.5決策樹實驗結果

采用第2節提出的算法進行初始決策樹的生成和自我進化，并用測試數據進行測試，測試結果見表4。

表4 自適性決策樹實驗結果

從實驗結果得出，自我進化后的決策樹總體識別正確率為79.4%，比較一般決策樹對于有新型入侵類型的測試數據的總體識別正確率74.23%提升5.17個百分點，對于新型入侵模式有一個較好的提升。這里將包括識別正確率DR和識別為入侵正確但入侵類型錯誤率FI之和作為整體入侵檢測的有效識別率，對于自我進化后的決策樹總體有效識別率達到94.09%(DR為79.4%，FI為14.69%，和為94.09%)，比較一般決策樹對于有新型入侵類型的測試數據的有效識別率92.21%(DR為74.23%，FI為17.98%，和為92.21%)提升了1.88個百分點。

4 結 語

提出的識別新型入侵模式的入侵檢測模型是基于相互交流機制，有效緩解了單個節點入侵檢測的盲點，如遭受拒絕服務攻擊等。在識別異常節點并收集信息后的入侵檢測模型的自我進化采用決策樹這種相對快速、準確率較高的算法進行模型的建立，但是由于決策樹的分類相對固化，因此提出了一種決策樹快速自我進化的方法來彌補這個缺陷。實驗證明這種決策樹自我進化算法對于新型入侵模式改進后對于一般決策樹有較好的適應性能，總體識別正確率為79.4%，比較一般決策樹提升了5.17個百分點，總體有效識別率達到94.09%，比較一般決策樹對于有新型入侵類型的測試數據的有效識別率92.21%提升了1.88個百分點。