入侵檢測在機器學習和深度學習中的發展

趙 輝

（陜西理工大學數學與計算機科學學院，漢中 723001）

0 引言

近年來，隨著電子計算機和通信技術的不斷發展，互聯網已經成為人們生活中必不可少的一部分。隨著互聯網的影響越來越深入，互聯網安全問題也成為亟待解決的研究內容，比如惡意程序傳播、漏洞風險、DDoS 攻擊和零日攻擊等。國家計算機網絡應急技術處理協調中心（CNCERT/CC）編寫的《2020 年中國互聯網網絡安全報告》中指出，近年來在我國網絡空間中出現的各種網絡安全問題呈上升趨勢。因此，網絡安全相關問題的識別與處理就顯得尤為重要。

為了抵御和預防計算機在互聯網中可能遭受的不安全攻擊，入侵檢測（intrusion detection,ID）作為一種主動的防御技術受到廣泛關注。入侵檢測系統（intrusion detection system, IDS）作為一種主動的安全檢測系統，能夠對可能遭受的網絡攻擊采取預防措施。IDS能夠檢測和分析計算機的網絡活動，從而保護計算機中的敏感信息，避免未授權用戶的訪問、系統的誤操作和惡意入侵。因此，入侵檢測系統能夠防御和預防對計算機系統的非法攻擊、惡意破壞和誤操作以及一些違反安全要求的行為。

圖1 2012—2020年CNVD［2］收錄的安全漏洞數量

為了完成對IDS高效的要求，研究人員提出在IDS 中使用機器學習和深度學習算法。在IDS中，機器學習和深度學習算法以大數據為驅動學習網絡流量中內在的可能具備不安全操作的數據格式，而且取得了較大的進步。機器學習算法和深度學習算法使用網絡流量作為數據，對數據的正常行為和不正常行為進行預測，從而完成入侵檢測任務。機器學習算法使用特征建模的方法提取網絡流量中的數據特征，并對特征信息進行學習與分類；深度學習算法使用深度結構對原始數據中的復雜特征進行學習，并完成分類。

本文借助WEB OF SCIENCE 數據庫分別對入侵檢測算法（IDS），機器學習和入侵檢測（ML），深度學習和入侵檢測（DL）三個方面的論文進行檢索，得到的檢索結果如圖2所示。從圖2可以看出，與入侵檢測相關的論文數量不斷增加，說明入侵檢測相關研究的關注在不斷上升。

圖2 2012—2021年入侵檢測相關論文發表情況

近年來，盡管各種各樣的機器學習和深度學習算法被應用在入侵檢測中，但是隨著攻擊手段的增加和網絡流量的大幅度上升對入侵檢測中算法的應用提出了更高的要求。目前，由于深度學習算法的可解釋性問題和對抗攻擊的存在，深度學習算法在入侵檢測系統中的應用仍處于研究階段。本文的主要研究目的是為入侵檢測系統在機器學習和深度學習算法中的解決方案提供研究的發展趨勢和粗略總結。本文主要對目前基于機器學習和深度學習算法的入侵檢測系統進行了系統的總結，對部分論文中提出的方法、不足、評價標準和使用的數據集進行了描述，對入侵檢測系統在未來可能的研究方向做出展望。

1 入侵檢測系統的分類

計算機系統與外部網絡進行交互的主要方式是數據通信，因此只有保證通信過程中數據的安全性才能夠保證計算機系統不受攻擊。IDS通過對網絡流量進行分析，實現對不安全數據的檢測和判別。

1.1 數據處理方式

入侵檢測系統中常使用的數據集是KDD CUP數據集，在數據被機器學習和深度學習算法使用前需要進行數據預處理，包括字符數值化、連續型數據標準化和歸一化處理，字符數值化是將網絡流量中的字符串信息轉換為數字表示，連續數據標準化處理是解決不同單位的數據的解釋困難，歸一化處理能夠將所有變量劃分到［0，1］區間內，以減少數據的數值大小對數據訓練的影響。

1.2 傳統的分類識別方法

隨著不斷的深入研究，IDS的檢測方法可分為特征檢測和異常檢測，特征檢測是使用已知的攻擊特征作為原始數據進行特征提取與模型訓練，此方法能夠對已知的攻擊進行高精度識別，但對于存活周期短的零日攻擊性能差；異常檢測是對合格的系統行為進行定義，如果違反已定義的行為則視為攻擊，此方法的優點是能夠檢測未知的，不符合預期定義的攻擊行為，但很有可能將正常行為識別為攻擊。

IDS根據數據來源的不同分為基于主機和基于網絡的IDS，基于主機的IDS 在主機上鑒別和收集數據，進行本地分析，也可以在其它計算機上進行分析，此方法能夠對系統內部用戶的使用進行監督，但會消耗系統資源；基于網絡的IDS通過對網絡流量進行監控來檢測不合法行為，此方法能對多種數據行為進行檢測，但會造成網絡延遲而且對加密數據包無法解析。

2 基于機器學習的入侵檢測系統

機器學習是人工智能算法的一部分，能夠使機器使用數學模型從數據集中學習和提取有用的特征信息。在IDS中表現較好的機器學習算法有支持向量機和隨機森林等算法。

支持向量機是一種在特征空間求解最大分割超平面的監督機器學習算法，常被用于求解線性和非線性問題。在非線性問題中，使用核函數將低維空間映射到高維特征空間，使用支持向量求解決策邊界并計算最大分割的超平面。在ID 算法中，支持向量機常常被用于對正確流量和惡意流量的預測，但支持向量機對于數據的分類表現不滿足于實際應用需求，因此研究人員提出了結合特征提取的支持向量機。文獻［8］為了獲取具有最大區分能力的入侵檢測數據集，使用遞歸支持向量機進行ID 算法設計。由于支持向量機中存在參數設置困難的問題，文獻［9］提出結合改進的灰狼算法和支持向量機的ID 算法，首先，使用降噪自編碼器進行特征提取，然后，使用灰狼算法對支持向量機的參數進行優化，最后使用支持向量機對低維特征進行分類。文獻［10］使用空間降維結合支持向量機進行入侵檢測，首先使用局部線性嵌入降維得到降維后數據，然后設置嵌入運算的鄰居樹，最后結合多種核函數對支持向量機的性能進行檢測。

隨機森林算法由多個決策樹組成，每一決策樹的算法不同，但在訓練決策樹時從訓練數據集中有放回地選取一部分樣本，使用每一樣本的部分特征，由于每一子樹使用的樣本和特征不同因此產生過擬合的概率較低，抗噪音能力強。由于決策樹算法本身的特征提取能力較差，因此隨機森林算法常常與其它特征提取算法結合設計ID 算法。為了克服樣本數據不平衡的問題，文獻［11］提出一種多層分類策略的隨機森林算法進行入侵檢測。該算法使用隨機森林建立多層模型，使用平衡后的樣本數據進行特征選擇，使每一樣本都能得到相應的特征子集，不斷進行迭代直至將所有樣本分類。文獻［12］提出結合聚類和隨機森林的ID 算法能夠對少數類網絡攻擊、入侵進行分類，而且能夠對不平衡的數據集進行判斷。文獻［13］提出了一種結合主成分分析和隨機森林分類算法的ID 算法，實驗結果證明，與其它機器學習算法相比較，此方法具有更高的準確性。

機器學習算法中還有K-means，K-近鄰等算法能夠進行ID 算法設計，文獻［14］提出改進的K-means 算法進行入侵檢測，實驗證明此算法能夠降低誤報率。文獻［15］提出基于局部搜索算法的元優化特征權重的K-近鄰算法，實驗結果證明此算法能夠提升準確率，降低誤報率。

3 基于深度學習的入侵檢測系統

深度學習算法是機器學習算法的分支之一，但是由于近年來深度學習算法在各領域中表現出的優異性能，也被用于ID 算法設計中。深度學習算法常常采用神經網絡模型對數據中的深層結構進行學習。在入侵檢測系統中常常用到的深度學習算法主要有卷積神經網絡、循環神經網絡和無監督學習模型等。

3.1 卷積神經網絡

卷積神經網絡（convolutional neural networks,CNN）是由卷積、池化和激活函數等組成的前饋神經網絡，能夠綜合考慮全局感受野，并在每一層的訓練中使用同一組優化權值，而且卷積神經網絡具有平移不變性，能夠對數據集中的稀疏特征進行提取。在ID 算法中，卷積神經網絡一般由數據預處理、特征學習和數據預測三部分組成。文獻［16］提出了一種基于卷積神經網絡的入侵檢測系統，采用神經元映射卷積神經網絡為結構，具有易于訓練和泛化能力強等特點，實驗結果證明此方法具有良好的特征表示學習和分類能力。文獻［17］提出將多尺度卷積神經網絡應用到ID 算法，此方法首先進行數據轉換，將網絡數據轉換為卷積神經網絡的數據輸入格式，然后使用多個卷積核對數據進行特征提取，在數據模型學習到相應的模型信息用于入侵檢測。實驗結果表明此方法能夠降低誤檢率，提升準確率。文獻［18］針對卷積神經網絡設計入侵檢測時出現的檢測效率低、過擬合和泛化能力弱的問題，提出了一種改進卷積神經網絡的ID 算法，將卷積神經網絡采用跨層聚合設計，將預處理后的輸入數據在網絡中進行訓練，得到訓練模型。實驗結果表明能夠得到高準確率和低誤報率。

3.2 循環神經網絡

循環神經網絡（recurrent neural networks,RNN）能夠擴展傳統的前饋神經網絡的容量，而且能夠對序列數據特征進行更好的建模。循環神經網絡由輸入層、隱含層和輸出單元組成，隱含層單元在設計時具有記憶功能。在ID 算法中，RNN 常常被用于監督學習的分類任務和特征提取，RNN 常常能夠處理有限長度的序列數據，而且當序列數據過長時RNN 只能夠對短期內容進行記憶，因此提出了LSTM 和GRU 用于解決。文獻［19］提出了基于RNN 的ID 算法，使用多種隱含層結點數和學習率進行測試，實驗結果證明，使用80個隱含層結點和學習率為0.1得到最優結果，但是此文獻中沒有與其它深度學習方法進行比較。文獻［20］提出采用多層堆疊的深度門控循環單元ID 算法，并且簡化深度門控循環單元，能夠盡可能地保留模型的學習能力。實驗結果證明所提方法能夠提升檢測效率。文獻［21］針對特征提取復雜和訓練參數多等問題，提出一種卷積神經網絡與長短期記憶網絡結合的網絡入侵檢測方法（GCNN-LSTM），使用卷機神經網絡進行特征提取，采用LSTM 分類，實驗結果證明，此方法具有較好的檢測結果。

3.3 無監督學習

近年來，無監督學習在深度學習算法的發展中起到了舉足輕重的作用，無監督學習算法主要包括自動編碼器和生成對抗網絡等，無監督學習的主要目標是根據對應的輸入使模型的輸出結果盡可能符合特征分布要求。自動編碼器由編碼器和解碼器兩部分組成，其中編碼器將輸入數據轉換為向量，解碼器將向量重新轉換為數據。生成對抗網絡分為生成器和判別器，生成器根據輸入數據生成對應輸出數據，判別器對輸出數據的特征是否符合要求進行判斷。在ID 算法中無監督學習方法主要用于特征提取任務，對提取后的特征進行分類獲取更高的分類精度。文獻［22］提出了基于生成對抗網絡的ID 算法，在訓練階段使用神經網絡記憶數據特征，在測試階段，對生成器生成的數據進行分辨，得到符合要求的數據，實驗結果證明，此方法具有較好的分類表現。文獻［23］提出了一種結合自動編碼器和殘差神經網絡的ID 算法，使用自動編碼器進行特征提取，殘差神經網絡采用提取后的特征進行模型訓練，此方法在準確率和誤報率等方面具有較好表現。文獻［24］提出了基于自動編碼器和隨機森林結合的ID 算法，采用兩個非同構的自動編碼器，順序連接，隨機森林用于模型預測，實驗結果證明，此方法在入侵檢測效果中優于現有的深度學習算法。

4 結語

本文主要對AI 算法包括機器學習和深度學習算法在ID 算法中的應用進行了描述，通過研究本文發現，AI 算法驅動的IDS 的有效性主要體現在數據集的合適程度，對于機器學習算法而言，算法可以在較小的數據集中進行訓練得到較好的結果，但是對于較大的數據集而言機器學習算法適應力較差；對于深度學習算法而言，在較大規模的數據集中具有更好的表現，能夠從原始數據集中提取有效的數據模式，為了使模型能夠較好地抵抗零日攻擊，深度學習算法需要不斷地從新數據中進行模型學習。未來，由于具備深度學習算法的數據適應力和實時學習的能力，深度強化學習將會成為IDS的主要發展方向。