基于深度學習的實時網絡入侵檢測方法

朱平哲

（三門峽職業技術學院信息傳媒學院，河南三門峽472000）

0 引言

隨著計算機和網絡技術的飛速發展，網絡安全問題日益受得人們的關注，它已然成為一個全球性的重大信息安全問題。由于信息共享的程度不斷提高，人們在使用網絡提供的各種服務和信息的同時，信息的安全也受到各種惡意行為和攻擊的嚴重威脅，面臨著日益增加的網絡入侵的困擾，網絡安全問題成為迫切需要解決的問題之一。據美國《金融時報》報道，現在平均每20秒就發生一次入侵計算機網絡的事件，超過1/3的互聯網防火墻被攻破。計算機網絡已經成為關鍵的基礎設施，涉及政府機構、軍事部門、科研院校、金融商業等部門的計算機犯罪，嚴重干擾了人們的日常生活，造成巨大經濟損失，甚至直接或間接地威脅到國家安全。

入侵檢測是一種具有主動防御能力的安全防護技術，它通過相關技術及時地檢測出可能發生的入侵行為，從而大大提高目標系統的安全防護能力[1]。但現有的入侵檢測系統大多存在檢測時間較長、檢測精度低、誤報率和漏報率高等不足。基于機器學習的入侵檢測是網絡安全領域研究的熱點，它通過對帶有入侵數據的大量訓練樣本的學習，構建一個用于區分正常狀態和入侵狀態的入侵檢測模型。但目前仍然存在著許多有待解決的問題，如建立分類器模型所需要的訓練樣本過多、訓練樣本標注耗費大量時間且過分依賴于專業知識等問題。

深度學習作為一種新的解決方案已經出現，由于其具有諸如前饋和反向傳播等優勢，因而它可提供更有效的網絡入侵檢測的潛力[2]。

鑒于此，本文深入研究了如何利用深度學習模型原理建立實時網絡入侵檢測系統，提出一種基于深度學習的實時網絡入侵檢測方法。該方法結合了深度學習二項分類模型來預測是否存在入侵，進而使用深度學習多項式模型來識別入侵類別。為了提供消息傳遞服務該深度學習模型在建立時選擇的是H2O深度學習庫構建其模型。最后為測試該模型的有效性及性能評估使用NSL-KDD數據集[3]進行了評價研究，并將H2O深度學習的二項式/多項式模型和隨機森林、Logistic回歸、貝葉斯等其他機器學習模型進行比較和分析。

1 基于深度學習的入侵檢測

近年許多學者對基于深度學習的入侵檢測方法進行了研究和探索。Kim[3]等利用深層神經網絡以及對基本數據的清理和復制消除了特征對數據和訓練數據進行轉換的預處理過程。由于KDDcup99數據集包含整數和浮點數，因此將所有數據轉換為字符串類型防止最小化數據丟失，進而利用10%的校正數據訓練模型，從而達到了準確率99%和誤報率0.08%的良好效果。Saxe和Berlin[5]采用了大于400k的二進制文件來構建三層深度學習模型。第一層是訓練層，第二層是對于標記數據和未標記數據的數據分類層，而最后一層是用于全部數據分類。經反復實驗，這種模型獲得了95%的準確率，但其缺點為缺乏數據清理這一重要過程，因為KDDcup99數據集包含超過70%的重復記錄，因而數據清理的過程必不可少[4]。

Lecun等[5]采用了一個新型的神經網絡，它是以順序模式獲取輸入。當每行通過系統時，它保持前一個結果的向量狀態，并用前一個模型進行訓練。由于向量梯度值在訓練階段可能壓縮或中斷，所以訓練過程很困難。李陽等[6]使用自動編碼器方法和相同的基準數據集KDDcup99來訓練和測試模型。自動編碼器、深度置信網絡和歸一化訓練數據可同時使用，以減少日志丟失。基于自動編碼器的方法和歸一化方法均給出了比遞歸神經網絡方法更好的結果。雖然這兩種方法都提供了良好的結果，但它們不具有實時性。

Salama等[2]實現了受限玻爾茲曼機系統。它是在結合已有的SVM算法和深度置信網絡的基礎上進行工作的。輸入數據集流經提取13個網絡參數的系統，這些參數被SVM用作輸入，以將輸入分類為入侵或不入侵。Niyaz等[8]提出了自學習的三個階段。特征學習是從使用未標記數據的第一層開始。第二階段是將學習向量應用于標記數據集，然后進行軟最大回歸和分類從而預測網絡入侵檢測。軟最大回歸模型與其他回歸模型相比，具有更高的效率且易于實現。在Matlab系統上采用三級數據清理流程以減少日志丟失。在測試數據和訓練中，他們分別獲得了98.84%和88.39%的F度量值。因此他們得到的下一步重要研究目標就為將該模型轉化為實時入侵檢測系統。

綜上所述，以上針對入侵檢測問題的解決方法均是基于深度學習模型的。這些方法分別給出了高低不同的性能水平，也都存在一些缺點和其他的困難。因此，本文研究主要是在深度學習性能提高和實時性應用兩個方面為解決網絡入侵檢測問題。由此本文提出一種基于深度學習的實時網絡入侵檢測方法。

2 基于深度學習的實時入侵檢測模型

深度學習在實時入侵檢測中的性能研究及方法模型仍在初步探索階段，因而本文將以實時入侵檢測為研究重點，嘗試將深度學習二項式分類模型與深度學習多項式模型相結合的方法檢測和預測入侵，以識別攻擊類別。

2.1 數據集

大量研究文獻及報告顯示，大多數與入侵檢測相關的研究與實驗都使用了基準KDDcup99數據集。然而，使用該數據集的缺點在于有可能會影響模型訓練的重復值。KDcup99訓練和測試數據集中分別包含有78%和75%的重復記錄[3]，因此即使是基本的機器學習模型也可在訓練數據上達到98%以上的準確率，在測試數據上達到86%以上的準確率。

因此，本文的研究則使用在KDDcup99數據集中由選定記錄組成的NSL-KDD數據集，因為該數據集不具有重復值高的缺點[3]。NSL-KDD訓練數據集具有41個屬性、3個標識型屬性（即協議、服務、標志）和38個數值型屬性（如持續時間、源字節、目的地字節、錯誤片段、失敗登錄次數等）。該數據集是由正常流量和39種攻擊類型組成，這些攻擊類型被分為4組，即拒絕服務（DoS）、探測（Probe）、遠程到本地（R2L）和用戶到遠程（U2R）[7]。

NSL-KDD數據集為一種結構化格式，是KDDcup99數據集的一個簡明示例，因此只需要很少的預處理。檢測訓練數據和測試數據集是否有缺失值，并將完成所有記錄，因此不需要消除記錄或進行歸類。一些機器學習算法只處理數值，因此標識型屬性必須采用編碼映射為多個二進制的數值屬性。然而，通過H2O深度學習模型可實現自動完成其映射。

2.2 H2O深度學習模型

本研究受Niyaz[7]、Arora[8]等研究成果的啟發，深度學習所具備的學習新特征使其具有高精度和較高的準確率，由此在機器學習的諸多模型中基于深度學習的神經網絡模型的性能是最佳的。因此，本文提出了網絡入侵檢測的深度學習方法，并進一步將功能擴展至實時入侵檢測模型。

本文研究的網絡入侵檢測系統是分別基于兩種深度學習模型建立的。第一種模型是基于深度學習的二項式分類模型，適用于正常的網絡入侵預測。第二種模型是基于深度學習的多項式模型，用于第一模型檢測到入侵后進一步檢測其入侵行為類別的（包括DoS、Probe、R2L和U2R等入侵行為）。

在深度學習的諸多模型中，本文選擇使用H2O深度學習，即使用開源H2O庫開發深度學習模型。選擇H2O深度學習模型的主要原因是其對機器學習的廣泛接受以及它向Web應用程序提供基于POJO的API服務。由于Web應用模型在網絡管理方面是至關重要的，因此基于Web的應用模型是系統的重要組成部分。在創建H2O深度學習模型后，即可下載Java POJO類。下載模型的方法有兩種，使用本地主機Web UI或H2O庫下載。此外，H2O深度學習模型還提供了包含所有依賴性JAR的H2O生成模型以支持Java API。在這種情況下，一個用于二項分類模型或多項式模型的Java類可與H2O生成模型JAR同時下載。

2.3 H2O深層學習模型的入侵檢測實驗

本文以我校園網的實際網絡流量為實驗數據，基于深度學習二項式分類模型的網絡入侵檢測系統檢測的網絡預測的實驗結果數據集如表1所示，基于深度學習多項式模型的網絡入侵檢測系統進一步檢測其入侵行為類別的實驗結果如表2所示。

表1 正常網絡流量和不同網絡攻擊類別的分布數據

表2 正常網絡流量和不同網絡攻擊類別的分布數據

2.4 兩種模型的性能評估實驗

為了測試兩種模型的性能，本文將與隨機森林、Logistic回歸和貝葉斯等其他經典的機器學習模型進行比較實驗。由于所有這些機器學習庫都在Java虛擬機中工作，因而可更為方便直接地進行性能比較。

本實驗采用兩種方法對模型進行性能評估。第一種方法是對NSL-KDD訓練數據進行5倍交叉驗證。第二種方法在沒有驗證分割的情況下對訓練數據集上的模型進行訓練，并在測試數據集上對模型進行測試。評估機器學習模型的性能度量指標主要有5個，包括準確度、精度、F-測量值、AUC（用于評估魯棒性）、檢測率（正確分類為屬于特定類實例的比率）。

針對本文所提出的兩種模型、隨機森林、Logistic回歸和貝葉斯等5種機器學習模型進行NSLKDD訓練數據集的5倍交叉驗證法實驗，得到的性能評估度量結果如表3所示。針對本文所提出的兩種模型、隨機森林、Logistic回歸和貝葉斯等5種機器學習模型進行NSL-KDD測試數據集的無交叉驗證法實驗，得到的性能評估度量結果如表4所示。兩次實驗結果表明，本文所提的兩種深度學習模型中，基于深度學習的多項式模型性能更好，且與其他三種典型機器學習模型相比，綜合性能也有一定的優勢。

3 結束語

本文提出了一種基于深度學習的實時網絡入侵檢測方法，該方法給出了兩種機器學習模型——H2O深度學習的二項式分類模型和H2O深度學習的多項式分類模型。實驗結果表明，與其他三種機器學習模型相比，基于H2O深度學習的多項式分類模型的性能良好，各性能度量指標值均有一定的優勢。因此，本文所提的方法為網絡入侵檢測問題提供了一種新的嘗試。

表3 5種機器學習模型的NSL-KDD訓練數據集的5倍交叉驗證實驗

表4 5種機器學習模型的NSL-KDD訓練數據集的無交叉驗證實驗