基于云計算平臺的網絡入侵檢測算法研究與實現

摘 要： 利用并行化思想，在現有入侵檢測算法GA遺傳算法和BP神經算法的基礎上，提出基于云計算平臺的網絡入侵檢測算法MR GA?BP均值法算法，并對算法原理進行描述、建立、設計，系統能夠針對海量入侵的檢測數據進行實時學習和檢測，對比傳統入侵檢測系統，在效率和精度上有了較大提高，通過兩組對比實驗，證明了該優化算法MR GA?BP均值法算法在入侵檢測系統中的可行性以及性能優勢。

關鍵詞： 云計算； 入侵檢測系統； MR GA?BP均值法； Hadoop

中圖分類號： TN915.08?34； TM417 文獻標識碼： A 文章編號： 1004?373X（2016）19?0076?04

Abstract： On the basis of paralell thought， genetic algorithm （GA） and BP algorithm for intrusion detection， a mean value algorithm of network intrusion detection algorithm （MR GA?BP） based on cloud computing platform is proposed. The principle of the algorithm is described， established and designed. The system can learn and detect the massive intrusion detection data in real time. In comparison with the traditional intrusion detection system， the efficiency and accuracy of the system have been improved a lot. The feasibility and performance advantage of MR GA?BP mean value algorithm in intrusion detection system were verified in the experiment of contrast between the two groups.

Keywords： cloud computing； intrusion detection system； MR GA?BP mean value algorithm； Hadoop

0 引 言

傳統的入侵檢測系統已經遠遠不能滿足當今海量數據的要求，在檢測精度、效率、準確率等方面都存在局限和瓶頸。未來入侵檢測的發展應該在較短的時間內，有更高效的檢測效率和在效率提升的基礎上增加服務的質量[1]。

利用云環境下的節點進行入侵檢測事件的采集，然后將采集的數據源上傳到云端進行入侵檢測分析，這樣可以大大地提高處理事件的效率并及時作出預警[2]。如果能將傳統的入侵檢測算法例如BP神經算法，采納并行化思想，將它布置到云環境中，進行分布式處理數據源，并且進行分布式入侵檢測，那么上述的難題就可以解決，不僅擴大了云計算在當代的應用領域，也能讓傳統的入侵檢測算法性能提升到另一個高度，也能夠讓入侵檢測的發展上升一個臺階[3]。

1 網絡入侵檢測算法建立

1.1 MR GA?BP算法的網絡拓撲結構

BP神經網絡是由網絡層數、節點個數、激活函數、初始權值系數、學習算法、系統誤差確定的，確定這些需要遵循如下原則：

（1） 隱含層數的選擇。根據先前的經驗，優先考慮3層BP神經網絡，分別為一個輸出層，一個輸入層，一個隱含層[4]。

（2）每層節點數的確定。隱含層和很多因素有關，例如樣本數據的特點和轉換函數的形式、輸入與輸出節點數都有關系。

（3） 初始權值系數的確定。初始權值是在一定范疇的數隨機生成的，一般情況下，初始權值分布在0～1之間。本文利用random隨機生成。

（4） 算法的確定。

（5） 結束條件。種群個體數量的確定：當種群個體數量較少時，盡管可能使GA算法的運算速度有所提升，然而種群個體的多樣性會降低很多；當種群數量較多時，算法的運行效率又會降低，按照前人研究，一般取20～500個；編碼方式：實數編碼；適應度函數：使用BP神經算法求出每一個樣本，運行后的一切樣本的誤差平方和的倒數設定為適應度函數；選擇算子：賭盤法；交叉算子：實數編碼；變異算子：本文取值為0.05。

系統是應用遺傳算法進行BP神經網絡權值的優化，所以只控制其進化的次數，當進化次數達到最大時終止[5]。

1.2 并行化思想

在處理海量數據時，如果使用傳統的思想進行數據串行的處理，在處理時間和效率上都會耗費很多時間，所以要先將數據模塊化，然后將這些數據模塊分給各個機器進行并行處理，他們之間處理的過程沒有關聯，所以在處理效率上會有很大提高。每個計算節點都有一個完整的網絡，且網絡的初始狀態是一樣的。并行化體現在進行訓練時，每個節點都是取一部分樣本數據進行BP神經網絡的訓練，計算節點達到某個收斂要求后再進行匯總，匯總之后決定是否進行下一場迭代[6]。

1.3 MR GA?BP算法描述

BP神經網絡在學習方面和映射方面都有很強的適應能力，在實際應用過程中，與遺傳算法相結合的使用可以避開BP的這個缺點。基于目前方法中的缺點，本文提出MapReduce GA?BP均值法，利用其分布式運行機制，不是輸出每一個權值的變更量，而是基于樣本來說，輸出每一個樣本對應的一切權值相應的變化量，組成一個矩陣，然后將所有樣本的每一個權值變化量對應相加起來，求平均數，得到每一個權值的平均變化量，一次學習之后，改變一次權值，將新的權值發送給每一個節點，作為進行下一次學習的初始權值。直到到達最大的學習步數，或者每個樣本的學習誤差達到一個合適的范圍停止。

MR GA?BP均值法算法的主體思路如下：

首先GA算法的Map階段，隨機產生[N]個個體，上傳到HDFS文件系統，讀入每個個體的值，每一個個體代表每一個BP網絡的權值，調用BP神經網絡算法，每個個體的輸入權值和每個樣本的值，進行BP神經算法，求出每個個體對應所有樣本的誤差和，這個誤差和稱為全局誤差值，全局誤差值作為GA遺傳算法Map階段的輸出值，Redcue階段的輸入值為Map的輸出值，計算出每個個體的適應度，接著進行遺傳算法的選擇、交叉、變異等。經過數次迭代后，篩選出最優個體，輸出到HDFS文件，作為BP神經算法的初始權值。

從HDFS獲取優化之后的權值，進行第一次學習，開始進入BP神經算法的Map階段，從HDFS讀取入侵檢測數據源，將數據源分成若干數據塊，分給每一個機器，各個機器開始執行BP神經算法進行正向訓練，得到每個入侵檢測數據源期望輸出與實際輸出的誤差平方和，算出每個機器樣本總的誤差和，得出每個樣本對應的一切權值變更量，在Reduce階段，計算出每個權值的平均變化量，根據更新的公式，更新一次權值，然后將新的權值發布給所有節點，進行第二次學習，第二次的權值調整，直到誤差達到一個可以接受的范圍，或者學習次數達到最大。

用GA遺傳算法對BP神經網絡的權值進行全局優化，在解空間中找出一個較好、較小的搜尋空間；接著，再應用BP神經算法對這個GA算法優化的權值進行幾次迭代訓練，在這個較小的解空間中搜尋出最優解，最優權值[7]。

2 入侵檢測

將上述算法有機結合，進行統一的入侵檢測，給定數據源，在對GA和BP進行MapReduce并行化時，共需要以下幾個步驟，其中需要兩個MapReduce過程。本節提出了基于云平臺下的海量數據的入侵檢測系統，入侵檢測的具體過程分為六部分[8]：

（1） 在HDFS上存儲分布式的入侵檢測數據源。

（2） 將隨機產生的權值以分布式的形式存儲到HDFS上。

（3） 運用MapReduceGA開始BP神經網絡初始權值的優化，優化出較小的解空間，提高收斂率。

（4） 使用MapReduceGA要優化的數據源權值，用BP神經網絡計算出每一個權值對應的所有樣本的誤差和，作為GA遺傳算法的適應度函數的基礎。

（5） 將MapReduceGA遺傳算法優化完的權值作為訓練BP神經網絡的初始權值，開始MapReduceBP神經網絡訓練，訓練一定的次數，使樣本的誤差和達到所能接受的范圍之內，或者預設定的迭代次數。

（6） 訓練完成后，使用檢測樣本統計比較檢測結果。

3 系統設計與實現

3.1 系統的整體結構

入侵檢測系統的整體結構如圖1所示。解決方案主要是針對當下海量數據，傳統的入侵檢測系統因為數據量大，不能快速、即時地進行檢測，而且由于數據量大，致使權值調整過程是一個巨大的程序運行過程，最重要的是測率也很低，通過使用本文提出的MR GA?BP均值法算法來解決上述傳統入侵檢測的缺點。基于云平臺的入侵檢測系統分為入侵檢測數據源收集，入侵檢測數據源預處理，數據源存儲，入侵檢測模塊。

3.2 數據源采集

在數據源獲取階段，常用的獲取數據源的部件是收發器、代理、適配器，獲取的數據源主要來自于主機、網絡、日志等。結構如圖2所示。

3.3 數據源的預處理

由于數據預處理需要為后續進行入侵檢測分析提供數據源，因此它對整個過程影響極為關鍵。高質量的數據源可以相應地提升整個處理過程的效率。由于在本次研究中，后續的處理是在Hadoop平臺下BP神經網絡中完成的，在進行訓練時，需要特定的數據格式，因此在數據預處理階段要對數據做進一步的處理，轉換成BP神經網絡能夠處理的格式。在本階段中，預處理的數據源直接保存到Hadoop的分布式文件系統中。

因此，對數據源的預處理過程是：首先對源數據去除多余的字段以及多余的格式；將處理好的數據源保存到HDFS中。

3.4 入侵檢測Hadoop平臺下MR GA?BP均值法

（1） 整體思想

針對海量的數據來說，為了使入侵檢測的誤檢率低且收斂速度快，使用MapReduce GA?BP均值法算法，首先利用MapReduce GA遺傳算法對初始的神經網絡權值進行選擇，經過一定的迭代次數，尋找到最優解個體，這個為BP神經算法權值的初始權值，使用BP神經算法輸入入侵檢測數據源，同時輸入利用GA遺傳算法得到的最優權值，開始訓練神經網絡，之后將權值進一步優化，當得到的誤差達到一個可以接受的范圍，或者迭代次數達到預計設定的值，使用測試數據測試結果，判斷誤解率以及檢測率。

（2） GA遺傳算法的MapReduce

因為GA遺傳算法是對初始值的優化，將其應用到入侵檢測領域就是對初始權值的優化，所以，要經過以下幾個步驟：

① 隨機生成初始權值，這個初始值的生成由函數random（）生成，每一個初始權值是種群中的一個個體，生成一定數量的初始權值，稱為一個種群。

② 執行Map函數，使用隨機生成的初始權值計算種群中每個個體對應所有樣本的誤差，求和，將誤差之和作為種群中每個個體的適應度倒數。

③ 開始Reduce函數，通過Map輸出的誤差，計算群體中每個個體的適應度fitness（）。在Reduce（）函數中，執行select（），cross（），muta（）。達到最大迭代次數時，停止。

（3） BP神經網絡算法的MapReduce

在本次研究中，以海量入侵檢測數據為數據源，經過預處理，保留對BP神經網絡訓練有益的數據屬性，將字符串過濾掉，利用MapReduce GA算法優化出來的數據源，通過分解出輸入分量和預期結果，開始多次BP神經網絡的訓練。訓練之后，將測試樣本的數據源進行預處理，預測出測試樣本的結果。

具體執行的步驟如下：開始執行MapReduce BP神經算法。學習完成之后，開始訓練。訓練完成后，測試樣本的實際輸出結果如圖3所示。

其中A，B為通過神經網絡訓練后，輸入測試樣本預測出來的結果，該預測和預期結果一致，C是預測錯誤，和實際結果不同。

4 實驗結果分析

使用實驗室7臺計算機，其中的1臺為NameNode節點，剩下的6臺為Datanode節點。節點機器的配置為英特爾酷睿雙核2.26 GHz處理器，2 GB內存，320 GB硬盤。軟件環境為ubuntu12.0.4操作系統，JDK1.6.0.20，Hadoop。

Hadoop平臺搭建好之后，在Ecliepse環境下能夠方便地開始Hadoop并行程序的開發和測試，將hadoop?1.2.1?eclipse?plugin.jar復制到eclipse＼plugins中，啟動Eclipse。

為了驗證本文提出的基于云計算平臺的入侵檢測算法MR GA?BP均值法的可行性，測試使用該算法的預測入侵檢測數據的精度，收斂速度，所以使用的測試數據和訓練數據源均為KDD CUP 99。

4.1 算法的收斂速度運行效率測試

對比項：MapReduce BP，MR GA?BP算法、本實驗提出的MR GA?BP均值法。數據源：完整的數據集為708.2 MB，10%的KDD CUP99數據集（71.4 MB）。

實驗結果表明本文中提出的MRGA?BP均值法方法相比MRGA?BP在訓練速度上確實有提高。本文還提出了在Hadoop平臺下完成MapReduceBP神經網絡的訓練，主要是為了比照GA遺傳算法對BP神經網絡訓練時間的影響，通過實驗對比，GA遺傳算法可以降低BP神經網絡的訓練時間，使入侵檢測時間耗時降低，如表1所示。

5 結 論

海量數據的安全問題一直是人們關注的重點，隨著業務的增長使得單一節點的計算平臺無法處理日益增長的海量數據的安全問題，亟需利用分布式的計算平臺來提高計算效率以及檢測準確率。本文對此提供了一種解決方案，入侵檢測算法的核心采用MR GA?BP均值算法，該均值算法使用并行化思想，通過遺傳算法尋找最優的權值，然后開始進行神經網絡的訓練，整個過程采用分布式計算平臺Hadoop框架，將遺傳算法和神經網絡算法在云計算平臺下實現，同時對算法進行改進，使入侵檢測的效率和精度有所提升。

參考文獻

[1] 沙恒，帖軍.基于Hadoop子項目：HiVe的云計算性能測試[J].軟件導刊，2012，11（11）：14?16.

[2] 李橋興，強保華，楊春燕.大數據基元的HBase數據庫存儲模型與實現[J].廣東工業大學學報，2014，31（3）：8?13.

[3] 劉勝娃，陳思錦，李衛.企業私有云平臺安全技術研究[J].現代電子技術，2014，37（2）：88?90.

[4] 劉侃，章兢.基于自適應線性元件神經網絡的表面式永磁同步電機參數在線辨識[J].中國電機工程學報，2010，30（30）：68?73.

[5] 朱先勇，劉耀輝，張英波，等.基于BP神經網絡的球墨鑄鐵組織和力學性能預測[J].湖南大學學報（自然科學版），2007，34（10）：74?77.

[6] 王玲芝，王忠民.動態調整學習速率的BP改進算法[J].計算機應用，2009，29（7）：1894?1896.

[7] 李軍華，黎明，袁麗華.基于個體相似度交叉率自適應的遺傳算法[J].系統工程，2006，24（9）：108?111.

[8] 林曉鵬.云計算及其關鍵技術問題[J].現代電子技術，2013，36（12）：67?70.