多協議交叉的HMM協議異常檢測算法

吳楚田，陳永樂，陳俊杰

太原理工大學 信息與計算機學院，太原030024

1 引言

隨著社會和個人安防需求的增長，入侵檢測技術在近十年得到了廣泛應用和快速發展。入侵檢測可以分為誤用檢測和異常檢測[1]。其中，誤用檢測技術利用攻擊數據特征建立攻擊行為模型來檢測攻擊行為。異常檢測技術以正常數據為樣本建立模型，通過計算觀測值的偏離度進行決策，可以檢測未知的入侵行為，近年來獲得了越來越多的關注。

目前異常檢測技術的研究可以分為流量統計[2-3]、用戶行為建模[4-5]、協議行為建模[6-9]等方法。其中流量統計方法主要依賴于數值化流量特征來建立統計模型，大多是數字或個人歸納得出，可靠性差。用戶行為建模一般按單位時間提取用戶訪問行為序列來訓練行為模型，適用于工作流程較機械化的工控網環境，對于用戶多樣化的大型網絡網絡效率較低。協議異常檢測是一種新型的異常檢測技術，利用協議高度規則化的特性彌補了前面兩種方法的不足，近年來得到了諸多關注，其中最常見的方法就是基于馬爾科夫鏈的模式匹配。文獻[6]提出用十進制數表示TCP 報文首部的flag 字段以標志TCP 報文，從而得到一系列離散值序列來訓練Markov鏈，任何偏離此模型的都被認為是入侵行為；文獻[7]用均值評估法改進了基于Markov 模型的檢測；文獻[8]將隱馬爾可夫模型（Hidden Markov Model，HMM）引入協議異常檢測，以隱含狀態表示協議行為，證明了基于HMM 的方法比Markov 模型更能準確地描述協議行為并獲得了較好的檢測率。然而僅用首部標志位的量化值作為觀測樣本特征的模型描述能力有限，而且還會削弱其他特征的作用（如時間、數據包大小等）。文獻[9]則使用協議關鍵詞來描述HMM 的觀測序列來擴展樣本空間，具有較好的通用性。

現有的協議異常檢測方法通常是面向單一協議的建模，僅能檢測單一協議的惡意攻擊，在涉及多協議交互的網絡環境下適用性有限。例如在視頻監控網絡中，一次會話中會包含SIP 呼叫管理、RTP 實時傳輸數據兩類協議數據流，此外還有RTCP 與ICMP 共同監視連接狀況[10]。在這種網絡中經常會存在跨協議的攻擊，如消息篡改攻擊利用SIP協議漏洞來偽造SIP數據包來達到會話劫持、中斷會話的目的，以及猜測攻擊會未授權地發送帶有不同質詢響應字段的REGISTER消息，都會同時涉及到SIP 和RTP 兩類協議[11]。例如，正常交互中檢測到SIP BYE 消息后不會再有RTP 流，而在BYE 攻擊過程中攻擊者會偽造會話一方發送BYE消息來拆除會話，同時真正的用戶仍在發送RTP 消息，在這種情況下如果僅依靠SIP模型進行匹配是無法識別出異常的，只有對兩種協議的整體行為進行合理建模才可以實現檢測。由此可見，依靠單個協議的模型匹配而忽略協議之間的關聯性在涉及多協議的網絡環境中很容易造成誤判。針對以上問題，提出一種適用于復雜的多協議交互的網絡環境的協議交叉檢測方法，該方法利用HMM在協議異常檢測方面的優勢，通過考慮協議報文之間的語義和時序關聯實現了協議報文合并算法，使基于HMM的協議異常檢測的準確率得到提高，最后利用傳輸層數據輔助分析以降低誤報率。

2 算法框架

由于現有的關于HMM 協議異常檢測的研究都是根據各類協議數據包分別建立相應的HMM，然后根據分離出的不同協議的觀測序列分別計算檢測結果，這樣做缺乏對協議間的關聯性的考慮，不適用于復雜的多協議交互的網絡環境。本文提出的協議異常檢測方法，將在同一會話中出現的多類協議進行建模（如SIP與RTP）使用正常交互下的協議數據流作為樣本來實現異常檢測。具體的算法流程實現如圖1所示，主要包括模型構建和異常檢測兩部分。

圖1 交叉協議異常檢測算法框架設計

要實現協議異常檢測，首先要對協議行為進行建模：通過對樣本數據流進行協議分類，以關鍵字為屬性表示為可觀測狀態，使用狀態合并算法通過時間標記尋找協議間的關聯，經過對單個協議報文序列進行合并、銜接、去除循環等操作之后，得到多協議交叉的HMM，從而提高模型的處理效率和檢測率；之后的異常檢測過程需要使用Baum-Welch算法估算模型參數得到交叉協議模型后，將待檢測的網絡流量經過預處理后提取出協議數據和少量特征，經過前向算法計算樣本與模型的偏離程度，并與報文特征兩種指標進行歸一化處理，將計算結果作為判斷依據決定是否為攻擊行為。

3 協議交叉模型

為判別多類型的協議數據流是否存在異常，首先需要建立一個協議交叉模型，本章講述協議交叉模型的建立方法。從HMM協議異常檢測的原理（3.1節）出發；首先通過構建協議報文（3.2節）實現對樣本數據流的分類與序列化處理；然后提出協議報文合并算法（3.3節），為協議報文序列建立語義與時序關聯，經過合并、銜接、去除循環等一系列操作后，得到精簡的可觀測狀態集；最后經過協議交叉模型的初始化和一系列訓練過程（3.4節），得到一個多協議交叉的HMM，用于協議異常行為的檢測。

3.1 傳統的HMM異常檢測

HMM是一個能夠用參數表示隨機過程統計特性的概率模型，它包含隱藏和觀測兩種狀態，其中隱藏狀態間的轉移是間接地通過觀測序列來描述的[12]，HMM 的狀態變遷如圖2 所示。任何一個HMM 都可以定義為λ={A,B,π}，其中包含五個元素：

（1）隱含狀態S：模型中允許出現的有限狀態有N個，隱藏狀態集合可表示為S={S1,S2,…,SN}，它們滿足Markov性質但是無法直接觀測到。

圖2 隱馬爾可夫模型基本結構圖

（2）觀測狀態O：模型中可見觀測變量個數為M ，則觀測狀態集合可表示為O={o1,o2,…,oM}，可觀測狀態與隱含狀態不是一一相關。

（3）初始狀態分布概率π ：表示隱含狀態在初始時刻t 時的概率分布矩陣π={πi}，其中πi=P(qt=Si)，其中qt表示t 時刻模型所處的隱藏狀態，qt∈S,πi≥0,

（4）隱含狀態轉移概率矩陣A：描述隱含狀態之間的轉移概率，用N×N 的矩陣A={aij}表示，其中aij=

（5）觀測狀態轉移矩陣B：表示隱藏狀態下取得所有觀測矩陣的概率分布B={bij}，其中bij=P(oi|Si),1 ≤i ≤N,1 ≤j ≤M 。

在應用于協議異常檢測的HMM中，由網絡流量得到的協議報文序列經過處理可視為觀測序列，而隱藏在這些流量背后的協議行為則為不可見的狀態轉移序列，即隱含狀態。利用HMM 可解決兩類常見問題：一種是模型參數λ 未知，通過調整參數使觀測狀態序列{o1,o2,…,oM}的概率盡可能大，來反推模型參數；另一種是給定的可觀測狀態序列{o1,o2,…,oM}和模型λ={A,B,π}，它通過計算O 可能出現的概率檢測結果與已知模型是否吻合。將HMM 映射到協議異常檢測問題中，Baum-Welch 重估算法可以根據從網絡流量中提取的觀測樣本序列解決第一類問題，即通過量化正常的網絡流量訓練出完整的HMM模型；再通過向前算法計算待檢測樣本序列的出現概率解決第二類問題，判斷協議行為是否不符合正常行為輪廓，從而得出異常。

3.2 協議報文序列構建

現有的HMM 協議異常檢測方法將標志位量化后作為觀測樣本，對模型進行訓練，這種方法會造成觀測值樣本空間有限，不能滿足多樣的協議行為描述需求。網絡流量可以看作由不同類型的協議報文組成，而協議規范定義了每個報文類型，所以協議的語義關鍵詞可以用來表示不同的報文類型[13]。本文選用語義關鍵詞和時間標記來描述協議報文，即報文p=(t,k)；其中，k 是唯一標志報文類型的特定字符串，如SIP中的關鍵字可以是INVITE、INFO、CANCEL等請求命令碼和180、200、403等響應狀態碼；t 是該報文的截獲時間，單位為s。

以往的基于HMM 的協議異常檢測方法都是根據需求文檔（Request For Comments，RFC）或實際實現對不同協議單獨建模的，本文為實現交叉驗證的HMM考慮了協議報文的語義先后順序。因此，需要采集協議在實際實現中的協議數據報文作為樣本數據，這里假設訓練集是完備的，即用于訓練的協議數據報文可以覆蓋到協議交互的所有行為。具體的構建步驟如圖3 所示。首先，根據RFC文檔中的關鍵字，使用基于正則表達式的動態協議識別方法[14]分離出不同協議的數據流量，并依次設置協議名s；通過WinDump 工具從報文中提取各個協議報文的語義關鍵詞k；接著為后續實現序列合并，對各個協議樣本序列進行協議類型標記，將協議報文表示為p=(t,k,s)。最終，可以得到一系列具有語義特征和時序標記的協議報文序列，即L={p1,p2,…,pn}。

圖3 協議報文序列構建步驟

3.3 協議報文序列合并

考慮到協議間的關聯，本文提出基于語義和時序關聯的協議報文序列合并算法，以實現對多個協議報文序列進行合并、銜接、去除循環等操作，從而得到針對不同協議報文合并化的可觀測序列，并根據該序列訓練得到協議交叉的HMM進行多協議攻擊的異常檢測。

通過上一節的協議報文序列構建得到帶有時間標記的不同協議的報文序列Li。正常的協議交互行為都是按照協議規范進行通信的，它們從開始按照規范運作直至結束，有一定的先后關系，即協議報文序列滿足一定的時序關系。因此，通過時間標記t 確認合并的先后順序，并把要合并的序列Li的報文p 進行銜接，生成一個新序列LT。另一方面，為減少HMM 中的狀態空間并考慮到協議間的依賴關系，設置一個時間窗ω=0.1 s,將LT中s 值不同但包的前后間隔不超過ω 的報文pi中的關鍵字進行合并，記為ot，合并后的新序列為O={ot}。此外，由于協議交互過程中可能出現的一些重復交互動作而產生重復的子序列會影響HMM 訓練過程中狀態轉移概率的計算，為保證對主要序列的準確建模，報文序列的合并過程有必要對協議報文中的重復子序列進行刪減序。一般情況下，長度為n 的母序列為O={o1,o2,…,on} ，子序列為C={or,or+1,…,or+m-1} ，其中m ＜n。在這里以一次交互為單位將子序列長度設置為2，并用δi記錄子序列Ci的最大重復數，在后期判斷異常時使用。具體算法描述如下所示。

算法1 協議報文序列交叉縮減算法

輸入：報文序列L={p1,p2,…,pn}，其中pi=(t,k,s)。

輸出：精簡后的協議交叉報文序列O={o1,o2,…,oM}，子序列的最大重復數δ。

1. List LT=New List(L1,L2)

2. LT.sortedBy(pi.t)

3. for (i=0;i ＜LT.length-1;i++)

4. if (pi+1-pi.t ＜w&&pi+1.s!=pi.s) do{

5. LT.add(new Tuple2(pi,pi+1)).delete(piand pi+1)}

6. end for

7. for (i=1;i ＜LT.length-1;i++)

8. δi=1

9. Ci= ||oi,oi+1

10. for (j=1;j ＜LT.length/2,j++)

11. while |oi+2j,oi+2j+1|==Ci//搜索相同子序列

12. delete |oi+2j,oi+2j+1|//刪除重復子序列

13. δi++,Update Stemp//更新序列

14. end while

15. end for

16. end for

17. δ=max(δi)

18. O=Stemp

通過算法1，可以獲得合并且精簡后的協議交叉報文序列O={o1,o2,…,oM}，將該序列作為HMM 的觀測狀態序列用來訓練交叉協議的HMM 模型。該算法對多協議組合建模的思想適用于涉及網絡協議較多的網絡環境，如VoIP網絡、視頻會議等。

3.4 協議交叉模型構建

訓練HMM模型的主要任務是通過觀測序列o1,o2,…,oM直接計算模型參數。首先，根據協議異常檢測的需求對HMM模型λ={A,B,π}的參數進行初始化：

（1）初始狀態空間S 應包含兩個狀態數，用0 表示正常狀態，1表示異常狀態，即S={0,1}。

（2）初始分布π 表示完全正常的情況下，初始時刻的數據包正常的概率為1，即π={0,1}。

（3）狀態轉移矩陣A 表示協議行為中正常態轉正常態、異常態轉正常態的概率均為1，即

（4）可觀測狀態O={o1,o2,…,oM},oi=(ki),M 為可觀測值的總數，k 為協議關鍵字。

（5）觀測狀態轉移矩陣B={bij}表示在正常或異常狀態下不同觀測值oi出現的概率，在異常狀態下的概率采用均勻分布，在正常狀態下的概率需要根據協議的不同設置相應的值。

確定了初始參數λ(0)={A(0),B(0),π(0)}后，本文采用Baum-Welch重估算法來實現模型參數的估算。該算法利用前向概率αt(i)和后向概率βt(i)計算符合觀測序列O 出現概率的數學期望，再通過期望值迭代更新參數使之不斷逼近最優解。其中，觀測序列o1,o2,…,oT的出現概率可以根據前向變量得到：

由于Baum-Welch 算法在迭代過程中，αt(i)和βt(i)的遞推會涉及到多次相乘，隨著t 的增加，遞推值會越來越小，導致下溢問題。避免浮點數下溢，本文設置一個比例系數將每次的迭代結果放大，每次迭代結束后，再把比例系數取消，繼續下一次迭代。處理方法如下：

通過比較前后兩代參數下觀測序列o1,o2,…,oT的概率，根據式（4）判斷參數訓練是否達到收斂：

若計算結果滿足式（4），則表示上一次參數評估的結果與此次差異小于某個閾值（如0.05），意味著模型收斂可以停止計算，輸出模型參數。使用訓練好的模型參數通過前向算法則可實現異常檢測的模型匹配過程，通過計算觀測序列概率P(O|λ)來匹配相應的模型，檢測算法的計算復雜度為O=(N2T)，其中N 為模型中的可觀測狀態數，T 為待觀測序列長度，由此可見模型中的狀態數對模型的效率有很大的影響。假設單個協議建模過程中每個協議平均會產生長度為N 的可觀測狀態集，若需合并建模的協議有m 個，那么多協議建模會產生m×N 個狀態數，因此檢測復雜度會以m2倍增長。而算法1通過刪除重復子序列、合并短時內協議連續序列等操作可以縮減協議模型中的可觀測狀態數，利用第5章的多組交互樣本證明算法1的縮減效率可以達到6～10 倍，由此可見m ≤3 時，整個檢測算法的檢測速率仍能和單協議建模檢測持平并有機會在m=2 的時候有所突破，足夠滿足多數情況。

4 異常檢測

異常檢測過程中，首先需要對待檢測數據流進行預處理操作，處理結果作為觀測序列并依據已建立的模型計算出現概率P ，結合序列化過程中統計的特征δ 作為影響異常判斷的兩個指標，通過歸一化處理得到異常程度D，確定閾值后可用于判斷異常行為。

4.1 檢測指標計算

首先根據協議報文序列構建（3.2 節）、協議報文序列合并（3.3 節）對SIP 和RTP 的待檢測數據流進行預處理，得到合并后的觀測序列O={o1,o2,…,oM}并統計報文特征δi。

在正常的協議交互過程中，某些行為是有限重復的，即子序列重復數應該保持在一個正常的范圍內，例如一些端口探測、Flooding攻擊則是重復多次地進行一種協議行為，因此被檢測的觀測序列中子序列重復數小于等于δi才能視為正常。本文利用正常模型的子序列最大重復數δ={δi}來體現序列的一個特征，并要求待檢測序列的子序列C′j={P′j,P′j+1}的重復數δ′i＜δ，同樣，也為最大重復數特征計算偏差值D1j=δ′i-δ。

對于基于HMM 的協議交叉檢測模型λ，利用前向算法計算每個需要檢驗的觀測序列的概率P( )O|λ,P 越小說明偏離模型的可能性越大，是異常行為的可能性就越大。由于本文選擇對正常行為建模，因此需要為正常行為序列的出現概率設置下限K 。由于前向算法中只有對有相同長度的觀測序列計算概率才有效，因此，為保證不同長度的觀測序列具有可比性，本文采用滑動窗口算法，依文獻[8]的最佳實驗結果將窗口長度w 取值為6，通過計算長度為w 的子序列q 的概率得到整個觀測序列的概率P=min P(q|λ)，而K 則設置為所有可能出現的正常短序列的最小概率值，即K=min lg P(l|λ)，其中l 為觀測序列O 中的一個連接[15]。為后續結合其他特征，放棄直接比較的方法，設計一個新的統計量D2表示計算觀測序列與HMM 協議模型的偏差，即D2j=Pj-Kj。

4.2 異常判斷

利用子序列重復數δ 可以幫助識別HMM 模型不能檢測的異常，并且統計過程包含在構建序列內，并未造成計算負擔。因此，本文采用最大重復數δ 和觀測序列的概率P 兩個指標來判斷異常，利用極差變換法對兩個指標的偏差值進行歸一化處理，其中D1屬于正向指標，取：

對于逆向指標D2，則取：

經過極差變換后，指標值在0～1之間，越靠近0說明異常的可能性越大。本文將兩個指標加權求和得到判斷指標：

最后通過預先設置好的閾值ψ 來判斷異常，如果D ＜ψ，則屬于異常行為。其中，通過改變權值θ 和閾值ψ 的大小可得到不同的檢測率。

5 實驗評估

為了驗證本文提出的檢測模型，在實驗室下搭建了視頻監控網絡的通信環境，包含一個交換機、接入24臺攝像頭、兩臺NVR，攝像頭與NVR之間進行視頻傳輸業務，流量大小在450～600 Mb/s。將正常交互行為下獲取的網絡數據中的主要通信協議SIP 與RTP 提取出來作為模型的訓練數據集。檢測數據集來源于中科院信息工程研究所研發的鷹眼平臺，這是一款對目標設備進行漏洞掃描和驗證的視頻監控系統安全測評工具，其中包含了諸多惡意攻擊腳本和漏洞驗證腳本。在實施模擬攻擊之前，對該工具中涉及到實驗內容的腳本按攻擊種類進行了標記，包含消息篡改、緩沖區溢出、DDos攻擊、重放攻擊、猜測破解5大類惡意腳本。通過鷹眼平臺執行標記后的攻擊腳本，將產生的應用層異常交互信息作為檢測數據集，對本文的協議交叉檢測方法進行性能檢測。然后將只要涉及到RTP 的腳本標記為RTP 下的攻擊，涉及到SIP的腳本即標記為SIP下的攻擊，這樣協議標記間是存在重疊樣本的，分開標記可以方便后續對單協議建模方法進行性能檢測，用來與多協議交叉建模方法進行對比。整體檢測數據集的內容如表1。

表1 用于檢測的攻擊數據的攻擊數目

5.1 參數訓練

為驗證檢測算法在上述環境的有效性，需要通過狀態合并算法和Baum-Welch 算法為SIP 和RTP 訓練好協議交叉的HMM。在算法的參數評估過程中，主要通過對式（7）中的權值θ 和閾值ψ 進行調整來獲得最優的檢測率。首先，計算指標時為獲得最優的加權比例，分別記錄了正常數據流和異常數據流下θ 從0～1 時D 值的平均值，計算結果如圖4。當θ=0.6 時，正常數據流和異常數據流的Dˉ相差最大，說明此時分類效果最為明顯。

圖4 正常與異常數據流下D 與權值的關系

然后，以0.6作為最優權值，通過調整檢測閾值ψ 來獲取最優的檢測率，檢測結果如圖5所示。根據實驗結果可知，當ψ=0.42 時，誤報率和漏報率能夠維持在一個較為理想的區間。因此，本文將模型中的權值θ 設置為0.6，閾值ψ 設置為0.42，并將該協議交叉HMM用于后續的性能比較。

圖5 模型中誤報率和漏報率與閾值的關系

5.2 檢測性能評估

利用以上實驗數據對文獻[7]中基于頭部標示數值化屬性訓練的HMM以及文獻[9]中以關鍵字、頻率為狀態屬性訓練的HMM的檢測方法進行模擬，與本文的協議交叉模型（Protocol-cross HMM，簡稱Pc）進行性能方面的比較。表2給出以上三種檢測方法針對SIP和RTP協議在不同類型攻擊下的綜合檢測率。

表2 三種檢測方法在不同攻擊行為下的檢測率 %

由實驗結果可見，本文提出的檢測方法對SIP和RTP協議的攻擊檢測的準確率均高于文獻[7，9]的檢測方法：

（1）由于前兩種檢測方法根據標示位或關鍵詞建立協議報文序列建立HMM，而未考慮協議報文間的時序與語義關聯，因此對DDoS、消息篡改等需要多包完成或涉及多協議的攻擊行為下，會產生較高的漏報率、誤報率。

（2）同時Pc 檢測方法對后兩類攻擊行為的檢測率有顯著提高，這是因為本文在不改變計算復雜度的同時添加了第二個檢測指標——子序列重復數δ，該指標對于存在大量循環操作的攻擊行為具有進一步的校驗作用，如端口掃描、重放攻擊等。

此外，還將文獻[9]中對SIP、RTP 兩類協議建立的HMM單獨拿出來與Pc方法的兩類協議交叉HMM的檢測性能進行比較，分別標記為SIP、RTP、SIP&RTP 三種模型，結果如圖6所示。

圖6 三種模型的檢測性能

由圖6的實驗結果可見，本文提出的協議交叉檢測方法對攻擊的檢測性能略高于兩個協議獨立建模的檢測方法。同時，在實驗過程中有超過122個攻擊樣本未在兩類協議的單獨模型中識別，卻在本文提出的新模型檢測算法中檢測到，由此可見，該檢測方法的漏報率低，即檢測覆蓋率有所提升。以上均證明協議交叉檢測方法優化了對以往只面向單一協議攻擊的協議異常檢測方法。因此，協議交叉檢測方法對于具有多協議協作的網絡環境有較好的檢測能力。

6 總結

本文采用協議異常交叉驗證的思想，考慮了協議報文的時間和語義關聯，提出了協議報文合并算法應用于HMM 的協議行為建模，因此提高了此類模型對協議異常的檢測能力，并在模型建立的過程中統計數據特征“子序列重復數”檢驗循環操作類攻擊來提高檢測方法的覆蓋率。該檢測方法不僅可以對協議異常進行有效檢測，而且對泛洪攻擊、端口掃描等攻擊也具有較好的檢測效果。此外，本文算法在合并協議數量不超過3類時可達到較好的檢測速率，適用于多協議交互的網絡環境，如VoIP網絡、視頻會議系統等。由于建模過程依賴對正常協議數據的采集質量，一些采集過程艱難的協議數據（例如只能靠RFC的數據）在建模方面有較大難度。