入侵檢測中特征選擇技術的應用

劉飛飛

摘 要： 目前入侵檢測技術已成為網絡安全管理的重要選擇，在檢測準確率得到保障的同時，各類應用對入侵檢測的實時性也提出了較高的要求。針對入侵檢測系統檢測海量高維的網絡數據效率較低的問題，闡述了特征選擇的相關概念及分類，分析了入侵檢測中的特征選擇問題，探討了基于Filter方式的特征選擇技術在入侵檢測中的應用方法，并指出特征選擇技術在入侵檢測中應用的不足之處。

關鍵詞： 網絡攻擊； 入侵檢測； 特征選擇； Filter

中圖分類號：TP393.4 文獻標志碼：A 文章編號：1006-8228（2018）09-41-04

Abstract： Intrusion detection technology has become an important choice for network security management. At the same time， all kinds of applications have put forward higher requirements for the real-time detection of intrusion. In view of the low efficiency of the intrusion detection system in detecting massive and high-dimensional network data， the related concepts and classification of feature selection are elaborated， and the feature selection problem in intrusion detection is analyzed. This paper discusses the application of Filter based feature selection in intrusion detection and points out the shortcomings of the application of feature selection in intrusion detection.

Key words： network attack； intrusion detection； feature selection； Filter

0 引言

入侵檢測技術通過不斷地對主機上收集或網絡上捕獲的數據進行分析，來發現攻擊或者異常的網絡行為，并進行有效地響應，最大程度地提升網絡的安全性。入侵檢測技術具有主動防御的特性，是防火墻等技術的有效補充，也是網絡安全體系構建過程中不可或缺的重要的組成部分。近年來，伴隨網絡規模的不斷擴大，網絡攻擊呈現出多樣化、復雜化及并發性等特點，以DDos為代表的大規模分布式的網絡攻擊成為主流，海量攻擊數據的出現對于入侵檢測的檢測速度和準確率提出了更高的要求。目前，常用的入侵檢測系統主要通過對網絡攻擊數據的特征分析比對來發現攻擊行為，然而網絡數據的特征往往很多，這會嚴重影響入侵檢測的實時性及性能。將機器學習中的特征選擇技術應用到入侵檢測中，可以去掉一些無關的冗余的特征，這在一定程度上提高入侵檢測的效率，成為如今入侵檢測技術研究的一個熱點。

1 特征選擇技術

1.1 特征選擇的概念

機器學習是人工智能的核心技術，在各個領域得到了非常廣泛地應用，它通過對訓練樣本特征的學習來對未知的樣本做出預測[1]。在實際的應用中，訓練數據的特征繁多，對數據進行特征分析、建模所耗費的時間會很長；同時，數據特征的個數太多，也會導致建立的模型更加復雜，不利于使用推廣。特征選擇可以通過相關算法約減數據中不相關的、冗余的或存在相互依賴關系的特征，從而降低計算的復雜度，提高學習算法分類的精度，建立簡潔、易于理解的算法模型。簡單地說，從數據的原始特征中選擇更有利于學習分類的特征的過程就是特征選擇。

1.2 特征選擇的過程

特征選擇在滿足某種評價函數的前提下，從大量的數據候選特征中找出最有用的最優的最能夠反映數據屬性的特征子集，這是一個窮舉的過程。特征選擇的過程一般會包括子集產生、子集評價、停止準則及子集驗證四個主要步驟，如圖1所示。

⑴ 子集產生：采用搜索的方法來產生待評估的特征子集。首先要確定一個集合的開始點，可以是不包含任何特征的空集、包含數據全部特征的全集或者是隨機的一個特征子集；然后在搜索的過程中通過反復加入特征、反復移除特征、反復加入或移除特征以及隨機產生子集等方式來選定最終的用于下一步評估的特征子集。

⑵ 子集評價：使用評估函數對子集產生過程中獲得的特征子集進行度量，將得到的評估值與之前得到的最優子集進行比較，如果評估表現更好，則替換之前的最優子集。最優子集的選定與評估函數的關系非常密切，評估函數反映了特征子集區分不同的類標簽的分類的能力。

⑶ 停止準則：用于防止子集搜索進入窮舉或死循環過程，停止準則依賴于子集產生和子集評價的過程，一般是一個閾值，可以是生成的特征子集數量的值、特征子集搜索的迭代次數以及評估值等。子集產生和子集評價是一個循環重復執行的過程，當滿足停止準則時，將輸出進入下一步驗證的候選最優特征子集。

⑷ 子集驗證：通過先驗知識、仿真數據集或真實的數據集對候選最優特征子集進行各種不同的測試，并對結果進行分析，驗證所選特征子集的有效性。

1.3 特征選擇的分類

在特征選擇的過程中，搜索策略及評價準則的確定是關鍵的步驟。根據所使用的搜索策略及評價函數的不同，可以對特征選擇方法進行分類，以比較不同方法的特點[2]。

⑴ 根據搜索策略分類

在產生特征子集的時候，可以根據特征搜索方式的不同分為全局最優搜索、啟發式搜索和隨機搜索三類。全局最優搜索，又叫窮舉搜索，它能夠從全部特征集中搜索到每一個特征，最終形成最優特征子集，但是計算的開銷較大，計算時間會隨著特征數量的增加呈指數級增長。啟發式搜索，也稱為序列搜索，依據某種次序分步向當前已有的特征子集中加入或者刪除特征，直到找到指定數目的最優特征子集，它的計算復雜度較小，也比較容易實現，但是可能陷入局部最優。隨機搜索由設定的初始參數值，隨機選定一個起始的特征子集，然后根據特定的啟發信息，對特征子集進行修正。該方法能夠避免局部最優解的出現，但是相關模型參數很難確定。

⑵ 根據評價函數分類

根據特征選擇過程中，評價函數與機器學習算法的結合方式，將特征選擇方法分為三種：嵌入式（Embedded）、過濾式（Filter）和封裝式（Wrapper）[3]。在嵌入式中，特征選擇作為組成部分嵌入到機器學習算法中，也就是說分類學習的過程就是特征選擇的過程。特征的評價過程獨立、不依賴于學習算法的就是過濾式特征選擇方法，它通過特征子集內部信息來對特征子集的好壞進行評判，由于執行的效率比較高而被廣泛使用。封裝式是指直接利用選擇的特征子集對訓練樣本進行分類，用分類的精度來衡量特征子集的優劣，它的準確度較高，但是計算代價太大，較少使用。

2 入侵檢測中的特征選擇問題

將特征選擇技術應用到入侵檢測系統中，最主要的任務是選擇合適的方法確定特征與待檢測分類目標的相關性以及特征與訓練、檢測的數據集合之間的相關性，確定與待匹配分類最相關的特征，在確保分類精度的前提下，使得所選的特征子集的數目最小，從而提高入侵系統的檢測效率。

2.1 特征的相關性

John、Blum及Caruana等給出了機器學習中的特征相關性的定義，并進行了闡述分析。假定A和B是樣本集合S中的兩個樣本；C表示目標函數，同時C（A）表示A樣本的類別；Xi（A）代表A樣本的第i個特征的值。相關性的有關定義如下。

定義1 如果Xi是兩個樣本A、B僅有的不相同的特征，同時C（A）≠C（B），則表明特征Xi和目標函數C是相關的。

定義2 樣本集合S中，兩個樣本A、B分屬于不同類別，并且僅有一個相異的特征Xi，那么特征Xi與樣本集合S就是強相關的；如果去除部分特征后，特征Xi成為樣本集合S中的強相關特征，則說明特征Xi和樣本集S是弱相關的。

定義3 給定一個分類學習算法L，存在一個特征集合A，如果說將特征Xi加入特征集合A中（Xi∪A），算法L的分類的準確性提高，則表明對于樣本集A來說，特征Xi與學習分類算法L是增益性相關的。

如果兩個特征完全相關，就說明存在冗余特征。特征集合中一般會包含四類特征：不相關特征、冗余特征、弱相關但不冗余的特征及強相關特征，其中最優特征子集中包含全部的強相關和弱相關但不冗余的特征。

2.2 特征選擇模型

鑒于計算易行性、執行效率等的考慮，入侵檢測中使用較多的特征選擇算法基本上屬于過濾式的，特征選擇的度量函數的一般形式如公式⑴所示。

其中，xi是一個二值變量，用于表示第i個特征Fi是否被選擇，xi=1時表示選擇，xi=0時表示不選擇；Ai（x）、Bi（x）代表兩個線性函數；a0和b0則是兩個常量。此時，特征選擇問題就轉化為求解函數最大值的問題，即maxGeFS（x），x∈{0，1}n。入侵檢測中，經常用到的關聯性特征選擇方法、最大相關最小冗余特征選擇方法等在進行特征選擇度量時均使用類似的函數。

⑴ 關聯性特征選擇方法

1999年hall提出了基于關聯性的特征選擇方法CFS（correlation-based feature selection），它通過Pearson相關系數來計算特征集中特征與類，以及特征與特征之間的相關性，然后采用啟發式的搜索策略來獲取最終的最優特征子集。搜索過程中，CFS通過評估值Merit來進行特征的選擇，Merit的計算如公式⑵。

公式⑵中，s表示具有k個特征的特征集，表示特征與類的相關系數的平均值，表示特征與特征之間的相關系數的平均值。當特征與類之間的相關性越高，而特征與特征之間的相關性越小時，merit的值就會越大。CFS采用啟發式搜索策略時，初始的特征集可以為空，首先選擇單個與類相關性最大的特征加入到最優特征子集中；然后，將所有候選特征與已選定特征進行組合，并計算merit的值，將使得merit的值最大的特征加入最優特征子集；最終遍歷整個特征集，得到最優特征子集[4]。

CFS在進行特征選擇時，遵循了“特征與類之間的相關性較高，特征與特征之間的相關性較低”的原則，不但可以刪除與類不相關的特征，同時，剔除了冗余特征，常用于特征集的降維，可以很大程度上優化提高分類的精度。

⑵ 最大相關最小冗余特征選擇方法

2005年Peng提出了基于互信息的過濾式特征選擇方法MRMR（minimal redundancy maximal relevancy），以特征與類以及特征與特征之間的互信息為依據，來選擇獲取與類之間最大相關性，同時特征之間最小冗余的特征子集。假定S為特征集合，xi為集合S中的特征，C為目標類別，I（xi，C）表示特征xi與目標類C之間的互信息，I（xi，xj）代表兩個不同特征之間的互信息，則集合S與類C之間的最大相關性和不同特征xi和xj之間的最小冗余的定義如公式⑶、⑷所示。

為了得到的特征與目標類最相關，同時特征之間冗余最小，MRMR的特征選取計算準則如公式⑸所示。

MRMR方法一般使用增量搜索的方式來進行特征選擇，假設已經選擇了m-1個特征，然后從剩余的特征集合S-Sm-1中，選擇第m個特征，滿足公式6。每次新增一個特征，直至被選擇的特征的數量達到某個指定的值。MRMR方法具有較高的執行速度，選擇的特征子集更具有魯棒性。

3 特征選擇在入侵檢測中的應用

入侵檢測數據中的特征數量與分類的精度之間并不存在特定的線性關系，反而特征的數目超出一定的值時，會明顯降低分類器的性能。在實際應用過程中，存在一些不包含或包含很少系統狀態信息，對分類沒有明顯作用的無關冗余特征，它們對最終的檢測結果沒有影響卻會增加系統的檢測時間。建立基于特征選擇技術的輕量級入侵檢測系統，將會有效降低數據的維度，提高系統分類的精度和檢測效率。特征選擇技術引入后，入侵檢測系統的數據檢測過程一般包括：數據離散化、特征選擇、數據預處理、入侵檢測和報告入侵數據等五個階段，如圖2所示。

過濾式特征選擇方法多應用于離散型數據，因此，在進行特征選擇之前，需要對原始數據中的連續型數據進行離散化處理，連續型數據離散化一般包含排序、選擇分割點、分裂或者合并等步驟，常見的有等寬、等頻、基于信息熵等的離散化算法。原始數據離散化處理以后，經過CFS、MRMR、Relief-F等特征選擇算法，就可以約簡為少數的幾個有效相關的特征。在進入分類器進行訓練之前，為了提高分類的性能，還需要對約簡后的數據進行歸一化等的相關預處理，以便將單位及取值范圍存在差異的不同的特征值縮放在同一個值域空間上，例如0.1到1.0或-1.0到1.0。預處理完成后的數據用于訓練構建Bayes、SVM及Decision tree等分類器，并利用分類器對網絡中實時捕獲的數據進行檢測，發現報告出現的入侵異常數據。大量的實踐證明，基于特征選擇的輕量級的入侵檢測系統在檢測率、誤檢率、檢測時間等方面都表現出了突出的優越性[5]。

4 小結

特征選擇技術可以通過選擇相關性強冗余性低的特征子集來減少原始數據中的特征數目，成為目前入侵檢測系統提升檢測速度的常用技術?；谔卣鬟x擇技術構建入侵檢測系統需要重點研究兩個問題：一是特征選擇算法的選擇；二是分類器的選取與優化。另外，網絡攻擊的手段不斷更新，新的入侵類型層出不窮，入侵檢測系統在能夠快速檢測海量數據的同時，還要具備發現未知攻擊的能力，才可以真正加強入侵檢測系統的防御能力，因此，這也將成為未來特征選擇技術更好地應用于入侵檢測系統的重要研究方向之一。

參考文獻（References）：

[1] 張麗新，王家欽，趙雁南等.機器學習中的特征選擇[J].計算機科學，2004.31（11）：180-184

[2] 毛勇，周曉波，夏錚等.特征算法研究綜述[J].模式識別與人工智能，2007.20（2）：211-217

[3] 邱玉祥.特征選擇和集成學習及其在入侵檢測中的應用[D].南京師范大學，2008：6-10

[4] 肖旎旖.基于相關性和冗余性分析的特征選擇算法研究[D].大連理工大學，2013：3-5

[5] 田俊峰，黃紅艷，常新峰.特征選擇的輕量級入侵檢測系統[J].計算機工程與應用，2009.45（4）：111-114