基于熵的入侵檢測研究綜述

韋 堯 王昌達

(江蘇大學計算機科學與通信工程學院 江蘇 鎮江 212013)

0 引 言

網絡通信技術的高速發展使得網絡安全問題日益突出。據統計，近年來，安全事件的數量出現了成倍增長的趨勢。目前網絡攻擊的手段大約有兩三千種，為了應對這些事件，確保網絡的安全，市面上出現了各種各樣的安全產品和技術，例如：防火墻，身份認證系統，VPN設備等。但這些都屬于靜態檢測的方法，當面對突發事件或是需要實時監控時，入侵檢測系統將會發揮重要作用。

入侵檢測系統的原理是通過收集并分析網絡中關鍵點的信息來判斷網絡是否被攻擊或網絡中是否有違反安全策略的現象，并對這些異常現象作出反應，從而保證網絡的安全性。

由于網絡流量具有自相似、重尾分布和長相關[1]等特征，而熵值正好可以用來描述此類特征并分析網絡流量的分布規律，所以基于熵的入侵檢測系統的研究成為近年來入侵檢測研究的一個熱點。

1 入侵檢測系統

1.1 系統分類

入侵檢測系統(Intrusion Detection Systems，IDS)是指檢測入侵的軟件加硬件。入侵檢測系統有別于防火墻，它對于網絡的監測并不影響網絡的整體性能。一般根據信息源、檢測方式，以及響應方式三個不同的方面對IDS進行分類[2]。依據信息來源的不同，將入侵檢測系統分為基于網絡的IDS和基于主機的IDS。依據檢測的方式不同，將IDS分為誤用IDS和異常IDS。依據對入侵攻擊的響應方式不同，將入侵檢測系統分為主動IDS和被動IDS。這也是目前對于入侵檢測系統一種常用的分類方式。

1.2 常見方法

基于特征選擇的入侵檢測可以做到實時地分析和檢測網絡中的異常流量，但對未知的攻擊類型檢測率低。基于統計的入侵檢測方法適用于離線的非實時性的入侵檢測，但不能確定產生入侵的原因和異常的屬性。基于模型的入侵檢測系統一般用于監測重要的審計事件，并在事件發生后再進行具體的審計分析來減少系統的負荷。基于機器學習的入侵檢測方法在數據量較少時和動態的檢測方面效果不理想。

2 基于熵的入侵檢測研究

熵值可以定量地描述網絡流量特征，并且檢測的實時性好，對異常流量反應的靈敏度高。此外，基于熵的入侵檢測識別網絡行為只依賴于數據包本身，不需要很多安全背景知識或用戶干預，在入侵檢測領域顯示出巨大優勢。用熵值來檢測網絡中異常流量或是評估網絡攻擊效果的原理是：一旦有異常流量或是網絡中有攻擊發生，網絡整體流量特征的熵值就會隨之改變，通過熵值的變化程度來檢測出異常，甚至可以用來判斷攻擊的效果和類型。而這里所說的熵值不只是信息熵，還引申出了活躍熵、相對熵、條件熵等。

2.1 基于信息熵的入侵檢測

德國物理學家T.Clausius在1865年提出了熵這個概念，將熵定義為：在一個可逆的過程中，輸入熱量相對于溫度的變化率。1877年左右Boltzmann將熵的概念應用到熱力學中。Boltzmann在熱力學中對熵的定義為：

(1)

式中：i標記所有可能的微觀態，而Pi表示微觀態i的出現的概率，k是玻爾茲曼常數。一個系統中微觀狀態分布越均勻，那么這個系統就越混亂。

1948年C.E.Shannon將熵的概念引入到信息論中，被稱為信息熵或香農熵。熱力學中的熵度量了微觀狀態的多樣性或均勻性，將其引入到信息理論中來看，信息熵也是對一個系統不確定性的度量，但它更標志著一個系統不確定性信息量的大小，反映了信息源信號出現的機率。

假設系統處于不同的狀態，每種狀態i出現的概率為Pi(i=1,2,…，n)，則該系統的信息熵可以定義為：

(2)

熵值具有極值性，當各特征分布狀態等概率時，熵值最大，即分布得越均勻，熵值越大，反之則越小。熵值用來表示特征分布的集中或離散程度，因此信息熵可以用來表示網絡流量特征值(如源/目的IP地址，源/目的端口號，數據包長度等)的分布特征。將網絡中網絡流的會話和數據包看成是離散的特征序列，并根據這些序列求得的信息熵可以反映網絡的通信狀態。當攻擊到來時，某些特征的分布狀態會發生改變，這個特征的信息熵值就可以作為一種標識來判斷攻擊的發生。例如：源IP地址的熵值在某一時間點突然變大，即說明在該時間點上出現的源IP地址的數分布是較為分散的，這種情況有可能出現了DDoS攻擊。相反，如果在該時間點信息熵值突然變小，則說明在該時間點上源IP地址的分布較為集中，這可能是由于蠕蟲病毒試圖感染大批量其余主機造成的。如果在該點多個指標的熵值同時出現異常，那么該時間點存在異常的可能性極大。

用網絡流量的特征分布計算其信息熵值，并用信息熵值來判斷網絡異常流量的方法相比傳統入侵檢測方法，效率和準確率更高，且可識別多種入侵類型。當前國內外相關研究如下：文獻[4]用NetFlow流量采集信息作為測試數據，測試數據包括：源/目的IP地址，源/目的端口號四個屬性。將這四個屬性的狀態分布看成一組隨機的事件，并計算不同屬性的信息熵，再設定閾值并判斷入侵。陳鍶奇等[8]發現源/目的IP與端口、入度與出度、Flow流大小分布(FSD)、數據包的總數量(PKTS)這四個指標的聯合使用是有效的異常檢測方案。

用信息熵來進行入侵檢測也有一定的局限性，它只能體現某一固定時間節點的網絡狀況，而對于網絡流量動態的變化過程則不能很好體現。對低速DoS攻擊這種對網絡流量分布變化不明顯的攻擊類型，信息熵往往檢測效果較差。

2.2 基于相對熵的入侵檢測

相對熵又稱KL散度(Kullback-Leibler divergence)，是一種用來描述兩種不同的概率分布差異的值。信息熵可以識別網絡異常，但存在兩個不同的屬性概率分布可以共享相同熵值的問題，這意味著兩個截然不同的概率向量可能具有相同的熵。因此，文獻[6]引入了描述兩個概率分布差異的相對熵。假設有兩個概率分布P和Q，則它們之間的差異即相對熵可定義為：

(3)

式中：P是當前時段的屬性概率分布；Q可以表示上一時段的屬性概率分布，也可以表示系統正常的屬性概率分布，用作基線。當且僅當P=Q時，D(P‖Q)=0，表示P和Q的概率分布相同時它們的相對熵值等于0。D(P‖Q)值越小，表示P和Q的差異越小，D(P‖Q)值越大，表示P和Q差異越大。

相對熵檢測網絡入侵的原理：當攻擊出現時，當前時段的網絡流量分布相較于上一時段的網絡流量分布有較大差距，于是相對熵的差會急劇變化，當超出或低于設定的閾值后，就認定攻擊發生。

文獻[9]基于相對熵的概念，并類比了方差的概念，提出一種歸一化相對網絡熵(NRNE)。NRNE其實是來自不同屬性的所有個體相對網絡熵的和求平均。改進的NRNE的優點在于可以同時考慮更多的屬性，以便提高檢測的精度。文獻[11]將相對熵引入會話初始化協議(SIP)網絡中，用來反映網絡流量中的動態變遷。張登銀等[12]對網絡流量數據集進行多維分層，劃定時間窗口并計算各個分析視圖上的相對熵從而判斷入侵的發生。

基于信息熵的檢測算法往往只能檢測出來自多個IP的DoS攻擊，一但發起攻擊的IP數量非常少，信息熵檢測效果較差。而在基于相對熵的檢測算法中，任何一個IP的流量變化都會引起整個流量分布的顯著變化，所以對以上的兩種情況，相對熵檢測算法都適用。相對熵檢測算法復雜度低，對DDoS、Probe等網絡異常流量檢測效果較好。不同的攻擊類型具有不同的特征屬性，這些特征屬性在攻擊發生時具有一定的內在聯系，而相對熵卻不能表現出這種聯系，所以基于相對熵的檢測算法在區分正常的突發性流量和攻擊流量方面效果較差。

2.3 基于條件熵和聯合熵的入侵檢測

信息熵和相對熵理論的應用一般缺少內在相關性的考慮，且特征屬性的選擇對入侵檢測的結果具有很大的影響。條件熵的提出就是為了解決不同特征屬性相關性的問題，從而達到提高入侵檢測精度的目的。假設有兩個概率分布X和Y，它們的聯合概率空間為：

(4)

則XY的聯合熵為：

(5)

則Y關于X的條件熵為：

(6)

由式(5)和式(6)得到Y關于X的條件熵為：

H(Y|X)=H(XY)-H(X)

(7)

H(Y|X)可以理解為：在X給定條件下，Y的條件概率分布的熵相對于X的數學期望，也可以解釋為在已知X的條件下Y的不確定性。即已知H(X)這個信息量，在H(XY)中除去H(X)剩下的信息量就是條件熵H(Y|X)。

例如：合法用戶的突發流量對網絡的影響，經常會被入侵檢測系統當成網絡中發生了DDoS攻擊。在被DDoS攻擊的網絡中的，攻擊者將源IP地址改為隨機生成的偽IP地址，使得網絡中的源IP地址比正常網絡狀態下的源IP地址更加分散。在路由穩定性原理中，固定的路由跳數(TTL值)對應的源IP地址不易變化。所以當網絡存在DDoS攻擊時，數據包經過的路由跳數(TTL值)基本不變，但由于偽造源IP地址使得源IP地址的分布更加分散了，那么關于TTL的源IP地址的條件熵值會變大，從而更易判斷出入侵。因此，基于TTL的源IP條件熵檢測方法對比傳統的流量檢測方法在區分DDoS攻擊和合法用戶的突發流量上效果更好。

文獻[13]提出了一種基于加權條件熵的檢測方法，在現有條件熵理論基礎上，選取具備內在相關性的網絡特征屬性，將屬性變量的主觀意義和實際價值作為度量標準，根據不同事件產生的影響來為這個事件賦予不同的權值。加權熵的引用可以放大重要屬性的熵值來提高檢測的靈敏性。崔錫鑫等[14]通過實驗對比基于信息熵的異常流量檢測和基于聯合熵的異常流量檢測，發現由于聯合熵是根據攻擊特性選取數據包數和連接數作為分析對象，這是一種針對DoS攻擊的檢測策略，而基于聯合熵的異常流量檢測結果更加精確。

用單一特征屬性作為檢測的標準，準確率很低，而條件熵可以反映某種屬性不變的條件下，另一種屬性分布的情況，直觀地體現出它們的內在聯系，對于端口掃描和非法訪問等攻擊手段和未知攻擊方面有良好的識別效率。但選擇更有效的特征屬性會對入侵檢測的性能和效率有極大的提升，所以根據不同的攻擊類型選擇不同的特征屬性將是條件熵檢測算法的一個難點。

2.4 基于活躍熵的入侵檢測

基于活躍熵入侵檢測算法的模型定義如下：整個網絡系統包含n臺主機，設為S={s1,s2,…,sn}，每臺主機的一次交互動作記作一個動作單元v。當系統內主機和系統外主機有交互動作時，動作單元v的變化如下：系統外主機訪問系統內主機時，v值加1，系統內主機訪問系統外主機時，v值減1。經過n次動作后，系統的狀態序列的集合定義為U={μ1,μ2,…，μn}，則活躍度集合定義為A={a1,a2,…,ak}，其中ai表示系統經過一定的時間后，狀態μi出現的次數。用概率Pi可以表示狀態μi出現的概率，那么可以定義出相關各狀態的活躍度概率集合P={P1,P2,…,Pk}。結合信息熵理論，則活躍熵的定義如下：

(8)

當某一節點主機的重要服務突然停止或這臺主機遭到攻擊時，其他主機對該主機訪問卻無法應答報文的數量會急劇地增加。這樣會使系統產生大量的奇異狀態，動作單元v值一直增加，致使活躍熵值發生突變。

劉衍珩等[16]基于活躍通信理論將網絡會話間的相關性和信息熵理論結合。用活躍熵來檢測DoS攻擊，與基于信息熵的入侵檢測方法相比，誤報率更低，檢測率更高。文獻[17]用活躍熵理論對Web模型進行檢測，通過截獲HTTP協議的數據包，并在協議頭中提取關鍵數據，例如GET、POST請求參數，最后對提取數據的活躍熵值進行計算分析。通過實驗證明，它只對特定的Web攻擊如SQL注入、DoS攻擊和暴力破解密碼等有效，對XSS、CSRF、文件上傳漏洞等方面檢測能力不足。穆祥昆等[18]根據網絡流量大小來控制流窗口區間的大小，對進出系統的數據流統計后生成NetFlow記錄數據，并對進和出兩者的統計數據進行活躍熵的計算，從而判斷異常流量。

基于活躍熵的入侵檢測方法是在流層面進行操作的，對比基于學習模型的檢測方法，它無需進行大量的特征訓練，提升了整體流量指標下檢測的效率，適用于分析整體流量概念下對大流量異常的檢測，同時對于新出現的DoS變種攻擊也能有效檢測。但這種方法對于XSS、CSRF、文件上傳漏洞等方面的檢測還有欠缺。

2.5 熵值理論與其他算法結合的入侵檢測

運用機器學習、數據挖掘等算法來進行熵的入侵檢測研究的例子也非常多。文獻[26]利用EWMA控制圖理論對時間序列的熵值進行檢測和異常的篩選，并利用行為特征向量對三種網絡攻擊進行分析和表征，進行攻擊識別，最后，提出了一種基于特征相似性的攻擊識別方法。文獻[27]將時間數據的離群點檢測問題重新表述為基于熵和時間序列動態時間翹曲的加權聚類問題，并通過一個新的成本函數優化問題來檢測異常值。文獻[28]提出了一種新的DDoS攻擊檢測模型，將Takagi-Sugeno-Kang模糊系統方法和累積和(CUSUM)檢測方法應用于時間序列熵值的計算，檢測靈敏度高，魯棒性好。文獻[29]對初始聚類中心的選擇進行優化，并將信息熵與改進K-means算法進行融合，自動確定聚類數量，輸出穩定的聚類結果。經過主成分分析預處理后，改進的K-means的對異常檢測的適應性和精度更好，非常適用于移動網絡的異常檢測。

2.6 基于其他熵值理論的入侵檢測

除了以上的熵值理論研究，還有更多新的基于熵值理論的入侵檢測方法被提出。文獻[30]將Renyi交叉熵方法應用于信息熵向量檢測網絡攻擊。李向軍等[31]將鄰域關系概念引入直推式入侵檢測中，用相對鄰域的信息熵取代原本的特征向量距離，并提出一種抗噪性能強的TCM-RNE異常檢測算法來降低誤測率。文獻[47]提出了一種新的潛在拉普拉斯最大熵辨識方法(LatLapMED)，該方法利用EM算法結合幾何熵最小化原理識別統計異常，并利用最大熵判別原理結合效用標簽來識別異常。

2.7 常見基于熵入侵檢測方法的優缺點匯總

常見的基于熵入侵檢測方法的優缺點，如表1所示。

表1 常見基于熵入侵檢測方法的優缺點

續表1

3 結 語

本文探討了入侵檢測的分類并簡述了傳統的入侵檢測方法在網絡安全領域內的應用，分析了入侵檢測系統使用的各方法的缺點和不足。強調了基于熵值理論的入侵檢測系統的優勢，即可以比傳統的入侵檢測系統在流量分析方面得到更精細的結果。最后總結了基于不同熵值的入侵檢測研究，并歸納出它們相對應的文獻研究。

雖然基于熵值理論的入侵檢測具有實時性高、敏感性高、誤報率低等特點，但現有研究工作還存在以下問題：(1) 基于熵值的入侵檢測一般應用于大規模的IP骨干網絡中，對小規模網絡或其他網絡類型的適用性不強；(2) 選取不同的特征屬性將對基于熵的入侵檢測的準確率和效率產生顯著影響，需要根據不同的攻擊類型，選擇合適的特征屬性；(3) 各種熵值算法的效率需要進一步提升，一些閾值的計算不夠精確；(4) 對于未知攻擊的異常流量識別效率不高，需要進一步改進。這些問題也是基于熵的入侵檢測鄰域未來研究的方向。