融合多智能技術的網絡入侵檢測模型

蘭遠東+++高蕾

【 摘 要 】 網絡入侵檢測的關鍵問題是要使得檢測準確率最大化，誤警率最小化。為了解決這個問題，提出了集成多種智能學習范型的入侵檢測模型。該模型融合了線性遺傳規劃，自適應神經模糊推理系統和隨機森林學習算法。在分類前，使用兩層的特征選擇過程來約簡特征，并在分別評估了每種學習算法的性能基礎上，給出了融合規則。實驗表明：融合多智能技術的入侵檢測系統的性能要優于任何一個單一的分類器。

【 關鍵詞 】 入侵檢測；多分類器系統；模式分類；遺傳規劃

1 引言

互聯網在快速膨脹的同時，也引發了有關安全的許多問題。研究者提出了各種安全策略，來保障互聯網絡的安全。單獨使用防火墻作為一個基本的包過濾器，不足以提供一個安全的網絡環境。

入侵檢測系統配合防火墻，可以提供一個更好、更安全的網絡。一般來說，入侵檢測系統（Intrusion Detection System， IDS）可以通過分析網絡流量，尋找潛在的威脅。兩種主要類型的入侵檢測系統是誤用檢測和異常檢測。誤用檢測尋找已知的攻擊，例如攻擊簽名，而異常是基于正常的模式而言。與正常參考模式存在顯著偏差，就表明可能存在潛在威脅。誤用檢測和異常檢測都有缺點，誤用檢測需要簽名的頻繁更新，以確保良好的檢測，而異常檢測容易導致較高的誤警率。因此，面臨的挑戰是避免這兩個問題并拿出解決方案，可以提供一個良好的精度，同時保持較低的誤警率。

各種智能模型已經用于入侵檢測，其中包括神經網絡，支持向量機和人工免疫系統；也有研究者通過統計方法來解決入侵檢測問題的；也有使用圖方法的，比如聯合樹對于隔離正常模式和攻擊模式非常有效，聯合樹的優點是它能夠說明屬性之間的相互關系。

近年來，集成多分類器的方法被廣泛地用來解決許多分類問題，包括入侵檢測系統。只要有適當的投票機制和權重分配，多分類器系統能夠提高分類精度。但是，當處理諸如網絡流量巨大的領域問題時，計算資源和時間會受到很大的影響。

本文的目的是為了解決入侵檢測系統的準確性和誤警率問題，我們采用兩種方式。首先是選擇表達網絡流量模式的主要特征，然后基于不同的學習范型構建多個分類器，最終形成一個集成分類器模型。選擇了三種智能計算技術來開發分類器，它們分別是線性遺傳規劃（Linear Genetic Programming， LGP）、自適應神經模糊推理（Adaptive Neural Fuzzy Inference System， ANFIS）和隨機森林（Random Forest ， RF）。

2 智能計算技術

網絡流量數據通常與大容量、多領域相關聯，需要入侵檢測系統的仔細分析和辨別。為了減輕開銷問題，在對數據分類前先進行特征選擇。此外，必須要選擇表達每個流量類別的顯著特征以找到入侵模式的共同特性。但是這些特征往往隱藏在不相關的特征中，有的特征還存在假相關，其中的一些特征也可能是多余的。

因此，特征選擇的目的是從一些看似無關緊要的特征中揭露那些隱藏的顯著特征。這樣就可以實現一個快速、準確的分類器。然后，使用三種不同的機器學習技術來構建集成多分類器系統，這三種技術是線性遺傳規劃（LGP）、自適應神經模糊推理系統（ANFIS）和隨機森林（RF）。綜合這幾種智能技術，旨在提高入侵檢測系統的性能。

下文將簡要介紹一下這些技術。

2.1 預處理

在本文的研究工作中實施的特征選擇過程，使用了粗糙集（Rough Set）技術和二進制粒子群優化算法（Binary Particle Swarm Optimization），采用分層方式，形成一個二層的特征選擇過程。特征是基于每一個特定的類而獲得的，每一個類有一個特征集。二進制粒子群優化算法采用啟發式技術，初始候選特征為41維，粗糙集技術被用于消除冗余特征，保留每個流量類（Normal、Probe、DoS、U2R、R2L）的最顯著的15維特征，這15維特征稱為原始特征的約簡。

2.2 二進制粒子群優化算法

粒子群優化算法是通過模擬鳥群覓食行為而發展起來的一種基于群體協作的隨機搜索算法。每個粒子與速度有關，當粒子在搜索空間中飛行時，粒子的速度根據每個粒子的歷史行為和鄰居而調整。因此，粒子具有朝著越來越好的搜索區域飛行的趨勢。粒子的速度和位置的計算說明如下：

Vid=wVid+C1·rand（）（Pid-Xid）+C2·Rand（）（Pgd-Xid） （1）

Xid=Xid+Vid （2）

C1和C2是正數常量，叫做學習速率；rand（）和Rand（）是兩個隨機函數，取值范圍為[0，1]；w是慣性權重，合適的權重可以取得全局與局部之間探索平衡；Xi=（xi1，xi2，…，xid）代表第i個粒子，Pi=（Pi1，Pi2，…，Pid）是第i個粒子的前一個最優位置。

本文使用兩層粒子群優化算法來決定每個特征是否應該被選擇出來作為分類的特征。先使用基于粗糙集的離散粒子群優化算法（Discrete Particle Swarm Optimization），來挑選顯著特征，將每個類的初始42維特征縮減到15維。然后在此基礎上使用二進制粒子群優化算法，最終的特征維數在6到8之間，大約縮減了80%的特征。

2.3 多智能集成分類

集成多分類器的有效性依賴于決策融合函數，在確定決策函數時，需要考慮分類器的差異性。本文通過集成三種不同的機器學習技術來構建集成多分類器系統，這三種技術是線性遺傳規劃（LGP）、自適應神經模糊推理系統（ANFIS）和隨機森林（RF）。綜合這幾種智能技術，旨在提高入侵檢測系統的性能。決策融合函數的確定，是基于各個單分類器的檢測性能，及整個系統的準確率。

2.3.1 線性遺傳規劃endprint

最近在遺傳規劃方面的事態發展，包括通過使用線性基因構建機器代碼指令來提高速度，以及同源交叉運算激發了研究者在網絡安全問題方面的應用研究。遺傳算法也是計算機科學人工智能領域中用于解決最優化的一種搜索啟發式算法，是進化算法的一種。

這種啟發式通常用來生成有用的解決方案來優化和搜索問題。進化算法最初是借鑒了進化生物學中的一些現象而發展起來的，這些現象包括遺傳、突變、自然選擇以及雜交等。遺傳算法在適應度函數選擇不當的情況下有可能收斂于局部最優，而不能達到全局最優。

線性遺傳規劃是遺傳規劃的一個變種，是遺傳規劃使用計算機程序的一個特定的線性表示。與基于樹的遺傳規劃相比的主要不同是進化單元不是功能性編程語言的表達式，而是命令式的語言程序。文獻[5]進一步證明了三種遺傳規劃變種算法在入侵檢測系統中的識別能力，其中多表達式編程在除了對Probe和DoS攻擊的其他情況下表現出較高的識別能力。

同時，遺傳規劃算法還能獲得較低維數的顯著特征，分類精度可以達到95%以上。文獻[4]還指出，由于具有較快的檢測速度和較高的檢測精度，遺傳規劃可以應用于實時檢測領域。如果種群規模、交叉率、變異率等參數選擇恰當，線性遺傳規劃要優于支持向量機和人工神經網絡。

2.3.2 自適應神經模糊推理系統

由于特征和網絡流量數據的本質之間存在復雜的關系，正常數據和入侵數據之間存在灰色邊界。因此，近年來模糊推理系統被部署在入侵檢測系統中，作為入侵檢測的重要方法之一。

模糊推理是從不精確的前提集合中得出可能的不精確結論的推理過程，又稱近似推理。有兩種基本的模糊推理系統：Mamdani模糊推理模型和Sugeno模糊推理模型，兩者的主要區別在于對輸出的界定。Mamdani模糊推理模型通過事先掌握的一組推理規則，實現從輸入到輸出的推理計算，從而建立準確的辨識系統。下面給出一個Mamdani模糊推理規則的例子：if （x is high） then （y is small），它是一種語言形式。

與Mamdani模型相似，Sugeno模型的推理規則的前提部分是語言形式，但是規則的結論部分卻是一個非模糊的等式，如：if （x is high） then y=f（x），其中f（x）是模糊輸入變量x的函數。

本文的自適應神經模糊推理系統采用Sugeno模型。與Toosi和Kahani的工作相似，之所以采用自適應神經模糊推理是因為對不同的數據變種，成員函數參數的選擇非常困難。自適應神經模糊推理是一種融合了神經網絡的學習能力的近似推理方法，學習機制采用混合監督學習方法，自適應神經模糊推理的結構如圖1所示。

自適應網絡是一個多層前饋網絡，分為五層，其中的方形節點需要進行參數學習。

第一層計算輸入變量的匹配度，即模糊化過程；

第二層計算當前輸入對各條規則的激勵強度，采用對規則前件部分各模糊變量的隸屬度作乘積運算；

第三層對激勵強度進行歸一化；

第四層計算每條規則的輸出，一條規則的輸出是給定輸入對該條規則的激勵強度與結論部分的乘積；

第五層計算模糊系統的輸出，總的輸出是所有規則輸出之和。

2.3.3 隨機森林

隨機森林是未修剪的分類樹或回歸樹的集合，是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數而定。

Leo Breiman和Adele Cutler發展出隨機森林的算法，隨機森林學習算法如下：

1）用 N 來表示訓練例子的個數，M表示變量的數目；

2）使用數m，用來決定當在一個節點上做決定時，會使用到多少個變量，m應小于M；

3）從N個訓練案例中以可重復取樣的方式，取樣N次，形成一組訓練集（即bootstrap取樣），并使用這棵樹來對剩余預測其類別，并評估其誤差；

4）對于每一個節點，隨機選擇m個基于此點上的變量，根據這m個變量，計算其最佳的分割方式；

5）每棵樹都會完整成長而不會剪枝。

由于隨機森林學習算法具有低的分類錯誤率，以及對特征的排序等特點，隨機森林被用于多個領域，比如建模、預測以及入侵檢測系統。

3 實驗設置

實驗采用KDD Cup 1999數據集，是KDD競賽在1999年舉行時采用的數據集。收集了9周時間的TCP dump網絡連接和系統審計數據，仿真各種用戶類型、各種不同的網絡流量和攻擊手段，使它就像一個真實的網絡環境。這些TCP dump采集的原始數據被分為兩個部分：7周時間的訓練數據，大概包含5，000，000多個網絡連接記錄，剩下的2周時間的測試數據大概包含2，000，000個網絡連接記錄。

一個網絡連接定義為在某個時間內從開始到結束的TCP數據包序列，并且在這段時間內，數據在預定義的協議下（如TCP、UDP）從源IP地址到目的IP地址的傳遞。每個網絡連接被標記為正常（Normal）或異常（Anomaly），異常類型被細分為四大類共39種攻擊類型，其中22種攻擊類型出現在訓練集中，另有17種未知攻擊類型出現在測試集中。

四種異常類型分別是：

1）DoS （Denial-of-Service）拒絕服務攻擊，例如ping-of-death， syn flood， smurf等；

2）R2L （Remote to Local）來自遠程主機的未授權訪問，例如guessing password；

3）U2R （User to Root）未授權的本地超級用戶特權訪問，例如buffer overflow attacks；

4）Probe （Probing and Surveillance）端口監視或掃描，例如port-scan， ping-sweep等。endprint

實驗中選擇了5092個樣本作為訓練集，6890個樣本作為測試集。樣本的組成保持了KDD Cup 1999的真實分布，具體情況如表1所示。

實驗流程如圖2所示，獲取顯著特征的過程離線完成，每一個分類器（線性遺傳規劃LGP，自適應神經模糊推理系統ANFIS，隨機森林RF）都使用相同的訓練集。

用離散粒子群優化算法（Discrete Particle Swarm Optimization）來挑選顯著特征，將每個類的初始42維特征縮減到15維。然后在此基礎上使用二進制粒子群優化算法，特征選擇的過程可以參見。得到的特定類別特征如表2所示，最終的特征維數在5到8之間，大約縮減了80%的特征。

表格3給出了ANFIS分別在迭代100、300和500次時的錯誤率，可以看出最佳的迭代次數是300。迭代次數在300以上時，錯誤率并沒有因為迭代次數的增加而降低。實驗中采用鐘型隸屬函數，并將其實驗結果與其他兩種類型的隸屬函數（梯形隸屬函數和高斯隸屬函數）對比，結果表明鐘型隸屬函數更適合本文的研究工作。

分別使用5個自適應神經模糊推理系統來處理5種類型的網絡流量數據，由于通過特征選擇階段的處理，特征被顯著約簡，推理規則數目從25-28，規則的數目遠低于Toosi and Kahani的241。推理規則的數量，對分類時間具有較大影響。

對于線性遺傳規劃分類器使用的參數如表4所示。

實驗中限制1000代的編碼進化，每一代平均運行20次。在對U2R攻擊類型分類時，當進化到90代時就基本穩定了，更多的進化迭代并沒有改善分類精度，實驗結果如圖3所示。

在隨機森林算法的實驗中，使用3維特征作為建樹時的節點分裂因子。在分類器融合前，對每一個分類器單獨進行性能評估。在分類器融合時，根據獨立分類器的性能，進行權重分配。獨立分類器的性能，如圖4和圖5所示。在嘗試了多種權重分配的實驗后，得出下面的權重分配融合模型是最優的。

Dprob=（0.5×LGPprob）+（0.1×ANFISprob）+（0.4×RFprob）（3）

其中，0.5、0.1和0.4是權重，Dprob是LGPprob、ANFISprob和RFprob三個分類器的累積決策。

4 結果與討論

每個獨立分類器以及最終的集成多分類器系統的實驗結果，如表5所示。其中精度（Accuracy）、誤警率（False Positive）和準警率（True Positive）的計算公式如下：

Accuracy=（4）

False Positive= （5）

Ture Positive= （6）

其中TP是對入侵數據的正確分類，TN是對正常數據的正確分類，FP是對入侵數據的錯誤分類，FN是對正確數據的錯誤分類。

每個單獨分類器對每種類型的流量數據的分類精度曲線如圖4所示，類別1代表正常數據（Normal），類別2代表嗅探攻擊（Probe），類別3代表DoS攻擊，類別4代表U2R攻擊，類別5代表R2L攻擊。總體來看，線性遺傳規劃的（LGP）的性能要優于ANFIS和RF。3種分類技術對DoS攻擊的識別性能都較差，可能是由于特征選擇過程中DoS攻擊的顯著特征選擇不夠完整，也可能是因為DoS攻擊的樣本數量不平衡。

每個單獨分類器對每種類型的流量數據的準警率曲線如圖5所示。從圖中可以看出，LGP和ANFIS對U2R攻擊的識別率較差，RF相對較好。從圖4和圖5可以看出，對DoS攻擊和U2R攻擊的識別較為困難。DoS攻擊數據的樣本數量占總樣本的58.96%，而U2R具有最少的樣本，占比0.53%。兩種數據的樣本數量分處兩個極端，導致數據不平衡問題，也直接導致了最終的識別性能較差。RF算法對5種流量數據的總體識別性能相對較為穩定，而LGP和ANFIS在處理樣本數量不平衡的類別時性能較差。

集成3種智能技術的分類器的分類精度與3個單獨的分類器中最好的LGP的分類性能對比如圖6所示。由于集成分類器中的每個分類器之間性能的互補性，從圖中可以看出，集成分類器的性能優于LGP，集成分類器模型能夠保持較低的誤警率的同時獲得較好的分類精度。

5 結束語

在本文中，我們集成三種不同的智能學習范型來提高入侵檢測的精度。通過對每種學習范型設置相應的權重來融合3個分類器。在實驗中我們發現LGP在對各種類型的網絡流量數據（U2R除外）分類時，分類精度最高。而RF在對U2R流量數據分類時，取得了相對較高的準警率。因此，綜合了RF、ANFIS和LGP的集成分類系統具有更好的入侵檢測能力。在集成多分類器系統中，各個單獨的分類器的權重取值相當重要。

下一步的研究工作，是尋找更系統的方法來確定各個分類器的權重，并研究權重對最終分類結果的影響。

參考文獻

[1] Pinzón C I， De Paz J F， Herrero ？， et al. idMAS-SQL： intrusion detection based on MAS to detect and block SQL injection through data mining[J]. Information Sciences， 2013， 231： 15-31.

[2] Krawczyk B， Wozniak M. Accuracy and diversity in classifier selection for one-class classification ensembles[C]//Computational Intelligence and Ensemble Learning （CIEL）， 2013 IEEE Symposium on. IEEE， 2013： 46-51.endprint

[3] S. Chebrolu， ， A. Abraham， and J.P. Thomas. Feature Deduction and Ensemble Design of Intrusion Detection Systems [J]. International Journal of Computers and Security， 2005， 24（4）： 295-307.

[4] S. Monteiro， T.K. Uto， Y. Kosugi， N. Kobayashi， E. Watanabe and K. Kameyama. Feature Extraction of Hyperspectral Data for Under Spilled Blood Visualization Using Particle Swarm Optimization [J]. International Journal of Bioelectromagnetism， 2005，7（1）， ： 232╞235.

[5] 李慧，胡云，李存華.基于粗糙集理論的瓦斯災害信息特征提取技術[J].山東大學學報：工學版，2012， 05： 91-95.

[6] A.N. Toosi， and M. Kahani. A new approach to intrusion detection based on a evolutionary soft computing model using neuro-fuzzy classifiers [J]. Journal of Computer Communications， 2007， 30 ： 2201-2212.

[7] L. Breimann， 2001， Random Forests [J]. Journal of Machine Learning， Kluwer Academic， Netherland， 2001，45， ： 5-32.

[8] 詹曙，姚堯，高賀.基于隨機森林的腦磁共振圖像分類[J].電子測量與儀器學報，2013， 11： 1067-1072.

[9] 王鑫，汪晉寬，劉志剛等.基于隨機森林的認知網絡頻譜感知算法[J].儀器儀表學報，2011， 11： 2471-2477.

[10] 王象剛.基于K均值隨機森林快速算法及入侵檢測中的應用[J].科技通報，2013， 08： 11-15.

[11] A. Zainal， M.A. Maarof and S.M. Shamsuddin， Feature Selection Using Rough-DPSO in Anomaly Detection [M]. LNCS 4705， Part 1 Springer Hiedelberg， 2007 ： 512-524.

基金項目：

惠州市科技計劃項目（No.2011B020006002， 2012B020004005）；惠州學院自然科學基金項目（No.2012YB14）。

作者簡介：

蘭遠東（1975-），男，華南理工大學，博士研究生，惠州學院，講師；近3年在模式識別與機器學習領域發表了論文十余篇，多數被EI檢索；主要研究方向和關注領域：模式識別與機器學習。

高蕾（1976-），女，華南理工大學，碩士研究生，惠州學院，講師；近3年在無線傳感網絡安全及網絡優化領域發表了論文5篇；主要研究方向和關注領域：無線傳感網絡、網絡優化等。endprint

[3] S. Chebrolu， ， A. Abraham， and J.P. Thomas. Feature Deduction and Ensemble Design of Intrusion Detection Systems [J]. International Journal of Computers and Security， 2005， 24（4）： 295-307.

[4] S. Monteiro， T.K. Uto， Y. Kosugi， N. Kobayashi， E. Watanabe and K. Kameyama. Feature Extraction of Hyperspectral Data for Under Spilled Blood Visualization Using Particle Swarm Optimization [J]. International Journal of Bioelectromagnetism， 2005，7（1）， ： 232╞235.

[5] 李慧，胡云，李存華.基于粗糙集理論的瓦斯災害信息特征提取技術[J].山東大學學報：工學版，2012， 05： 91-95.

[6] A.N. Toosi， and M. Kahani. A new approach to intrusion detection based on a evolutionary soft computing model using neuro-fuzzy classifiers [J]. Journal of Computer Communications， 2007， 30 ： 2201-2212.

[7] L. Breimann， 2001， Random Forests [J]. Journal of Machine Learning， Kluwer Academic， Netherland， 2001，45， ： 5-32.

[8] 詹曙，姚堯，高賀.基于隨機森林的腦磁共振圖像分類[J].電子測量與儀器學報，2013， 11： 1067-1072.

[9] 王鑫，汪晉寬，劉志剛等.基于隨機森林的認知網絡頻譜感知算法[J].儀器儀表學報，2011， 11： 2471-2477.

[10] 王象剛.基于K均值隨機森林快速算法及入侵檢測中的應用[J].科技通報，2013， 08： 11-15.

[11] A. Zainal， M.A. Maarof and S.M. Shamsuddin， Feature Selection Using Rough-DPSO in Anomaly Detection [M]. LNCS 4705， Part 1 Springer Hiedelberg， 2007 ： 512-524.

基金項目：

惠州市科技計劃項目（No.2011B020006002， 2012B020004005）；惠州學院自然科學基金項目（No.2012YB14）。

作者簡介：

蘭遠東（1975-），男，華南理工大學，博士研究生，惠州學院，講師；近3年在模式識別與機器學習領域發表了論文十余篇，多數被EI檢索；主要研究方向和關注領域：模式識別與機器學習。

高蕾（1976-），女，華南理工大學，碩士研究生，惠州學院，講師；近3年在無線傳感網絡安全及網絡優化領域發表了論文5篇；主要研究方向和關注領域：無線傳感網絡、網絡優化等。endprint

[3] S. Chebrolu， ， A. Abraham， and J.P. Thomas. Feature Deduction and Ensemble Design of Intrusion Detection Systems [J]. International Journal of Computers and Security， 2005， 24（4）： 295-307.

[4] S. Monteiro， T.K. Uto， Y. Kosugi， N. Kobayashi， E. Watanabe and K. Kameyama. Feature Extraction of Hyperspectral Data for Under Spilled Blood Visualization Using Particle Swarm Optimization [J]. International Journal of Bioelectromagnetism， 2005，7（1）， ： 232╞235.

[5] 李慧，胡云，李存華.基于粗糙集理論的瓦斯災害信息特征提取技術[J].山東大學學報：工學版，2012， 05： 91-95.

[6] A.N. Toosi， and M. Kahani. A new approach to intrusion detection based on a evolutionary soft computing model using neuro-fuzzy classifiers [J]. Journal of Computer Communications， 2007， 30 ： 2201-2212.

[7] L. Breimann， 2001， Random Forests [J]. Journal of Machine Learning， Kluwer Academic， Netherland， 2001，45， ： 5-32.

[8] 詹曙，姚堯，高賀.基于隨機森林的腦磁共振圖像分類[J].電子測量與儀器學報，2013， 11： 1067-1072.

[9] 王鑫，汪晉寬，劉志剛等.基于隨機森林的認知網絡頻譜感知算法[J].儀器儀表學報，2011， 11： 2471-2477.

[10] 王象剛.基于K均值隨機森林快速算法及入侵檢測中的應用[J].科技通報，2013， 08： 11-15.

[11] A. Zainal， M.A. Maarof and S.M. Shamsuddin， Feature Selection Using Rough-DPSO in Anomaly Detection [M]. LNCS 4705， Part 1 Springer Hiedelberg， 2007 ： 512-524.

基金項目：

惠州市科技計劃項目（No.2011B020006002， 2012B020004005）；惠州學院自然科學基金項目（No.2012YB14）。

作者簡介：

蘭遠東（1975-），男，華南理工大學，博士研究生，惠州學院，講師；近3年在模式識別與機器學習領域發表了論文十余篇，多數被EI檢索；主要研究方向和關注領域：模式識別與機器學習。

高蕾（1976-），女，華南理工大學，碩士研究生，惠州學院，講師；近3年在無線傳感網絡安全及網絡優化領域發表了論文5篇；主要研究方向和關注領域：無線傳感網絡、網絡優化等。endprint