基于貝葉斯網的網絡異常檢測方法研究

羅斌

（中國人民銀行南京分行營業管理部，南京 210002）

1 引言

自1987年Denning[1]首次提出異常檢測的概念之后，異常檢測很快成為入侵檢測領域研究的熱點。已經有很多學者使用不同方法（如數據挖掘，人工智能等）從不同方面（如系統日志，進程調度順序，網絡流量等）對異常檢測進行了研究，但是將貝葉斯網應用到網絡異常檢測的卻很少。Sebyala等人[2]將貝葉斯網應用到proxylet的異常檢測中，根據CPU和內存利用率構建了一個僅有3個變量的貝葉斯網作為proxylet分類模型，他們的貝葉斯網過于簡單，而且沒有給出具體的檢測方法和檢測結果。張琨等人[3]用貝葉斯網作為分類器，并用這些分類器作為入侵檢測的分布式代理來構造大型網絡的入侵檢測系統，但測試結果表明他們的方法并不理想。由于現有的貝葉斯網異常檢測模型和方法不理想，所以本文提出一種新的基于貝葉斯網的網絡異常檢測方法。

2 相關定義和引理

2.1 數據

定義1，隨機變量簡稱變量，是定義在樣本空間上的函數，通常用大寫字母表示，如X，Y，Z。隨機變量的取值通常用小寫字母表示，如x，y，z。隨機變量X的所有可能取值的集合稱為它的值域，也稱狀態空間，記為ΩX。狀態空間是離散的隨機變量稱為離散隨機變量，狀態空間是連續的隨機變量稱為連續隨機變量。如未特別說明，本文中所說的變量均指離散隨機變量。離散隨機變量的狀態空間ΩX的大小即其包含的可能值的個數，記為|ΩX|。若 Θ=｛X1，…，Xn｝為一組離散隨機變量，變量Xi的第 i個取值為 xij，變量 Xi的狀態空間為 ΩXi，簡記為 Ωi，則Ωi=｛xi1，…，xim｝。Ωi的大小為|Ωi|，且|Ωi|=m。對于任意兩個變量Xi和 Xj，i≠j，|Ωi|不一定等于|Ωj|。

定義2，設 Θ=｛X1，…，Xn｝為一組離散隨機變量。由 Θ 中所有或部分變量的狀態所構成的向量稱為數據樣本（data sample）或數據向量（data vector），簡稱樣本（或向量），記為 d。數據樣本d的大小即其包含的變量的個數，記為|d|。一些數據樣本放在一起組成數據集（data collection），簡稱數據，記為D。數據集包含的數據樣本個數稱為數據集的數據量，記為ΦD。數據一般以二維表的形式給出，每一列對應一個變量Xi，每一行代表一個數據樣本。例如：一個含有N個樣本的數據D=｛d1，…，dN｝，其中 dj=（dj1，…，djn），|dj|=n，dji為變量 Xi的某一可能取值 xik，1≤i≤n，1≤j≤N，1≤k≤|Ωi|，i，j，k∈Z。

定義3[4]，所有變量的狀態都是已知的樣本稱為完整樣本（complete sample），有些變量的狀態未知的樣本稱為缺值樣本（incomplete sample）。只包含完整樣本的數據集稱為完整數據集（complete data），含有缺值樣本的數據集稱為缺值數據集（incomplete data）。

定義4，設兩個非空變量集X和W，W?X。D為定義在X上的數據集，從數據集D中挑出W中的所有變量對應的所有列組成一個新的數據集稱作數據集D在變量集W上的投影，簡稱投影，記為DW。

2.2 貝葉斯網

定義5，貝葉斯網（Bayesian network）也被稱作信度網（Belief network），是一個有向無環圖（directed acyclic graph，DAG）合上各節點的概率分布。它可以表示為一個二元組＜DAG，P＞，其中 DAP 又可定義成二元組＜V，E＞。V 是一組節點的集合，V=｛X1，…，Xn｝，每一個節點代表一個隨機變量。E 是一組有向邊的集合，E=｛＜Xi，Xj＞|Xi≠Xj并且 Xi，Xj∈N｝，代表變量之間的直接依賴關系。P是一組條件概率的集合，P=｛p（Xi|π（Xi））|p（Xi|π（Xi））是Xi的父親們π（Xi）對Xi的影響，每個節點都依附有一個p（Xi|π（Xi））。其中，π（Xi）是Xi的父節點的集合。當π（Xi）＝時，p（Xi|π（Xi））即是邊緣分布p（Xi）。

引理1[5]，一個貝葉斯網可以定義一個聯合概率分布。假設網絡中的變量為 X1，…，Xn，那么聯合概率函數 p（X1，…，Xn）為

定義6[4]，后驗概率問題指的是已知貝葉斯網中某些變量的取值，計算另一些變量的后驗概率分布的問題。在此類問題中，已知變量稱為證據變量（evidence variables），記為E，它們的取值記為e；需要計算其后驗概率分布的變量稱為查詢變量（query variables），記為 Q；需要計算的后驗概率分布為 p（Q|E=e）。

3 基于貝葉斯網的網絡異常檢測方法

第1步，變量選擇。選定一組刻畫網絡連接的變量Θ=｛X1，…，Xn｝，并獲得用于刻畫的網絡輪廓的數據D在Θ上的投影DΘ。刻畫網絡連接的特征有很多，然而在構建IDS的時候并非選擇的特征越多越好，因為在實際中，有些特征沒有包含或者包含極少的網絡狀態信息，它們對檢測的結果幾乎沒有影響，而且額外的特征將增加計算時間，降低IDS的檢測效率。因此，特征變量的選擇對檢測模型能否最大程度地表征網絡連接的特性至關重要。

第2步，貝葉斯網的結構學習。用貝葉斯網結構學習算法對數據DΘ進行學習，以得到表征網絡輪廓的貝葉斯網結構N。在確定了變量集和訓練數據集后就可以確定貝葉斯網的結構。貝葉斯網結構學習的算法已經很成熟，文獻[6]提出了一種針對完整數據集的結構學習方法，該方法簡潔高效，沒有對最大父節點數進行限制就能找到全局最優的貝葉斯網絡結構。

第3步，貝葉斯網的參數學習。用參數學習算法對數據DΘ進行學習，得到Θ中各變量的概率分布P。貝葉斯網的參數學習包括以下兩個步驟：一是對于變量Xi，先根據貝葉斯網的結構求出π（Xi），再求1≤j≤|π（Xi）|，j∈Z；二是在數據集D中，先統計出滿足Xi=k且π（Xi）=j的樣本的數目c1，再統計π（Xi）=j滿足的樣本的數目c2，若為所求；否則Xi=k統計的樣本數目c，則即為所求。

第4步，監測模型訓練。測試數據Dtest是定義在Θ｛Xn｝上的數據集。對于?dj∈Dtest，證據變量E=｛X1=dj1，…，Xn-1=dj(n-1)｝，查詢變量Q=｛Xn=0｝，根據N和P計算樣本dj的后驗概率分布p（Q|E=e）。選定閾值 ε，如果 p（Q|E=e）≥ε，則判定 dj正常樣本；否則為異常樣本。

前3個步驟是對網絡連接的正常數據進行分析，并獲得正常數據的貝葉斯網模型；步驟4是以后驗概率作為衡量標準來判斷待測數據是否正常。

對于步驟1中的變量集Θ，其中的變量X1，…，Xn-1為實際的網絡連接參數；而Xn則是一個添加的變量，表示“網絡連接是否異常”，Ωn=｛0，1｝，0 表示“正常”，1 表示“異常”。

步驟4中計算的后驗概率分布p（Q|E=e）其實就是回答這樣一個問題：對于樣本d，在已知X1=d1，…，Xn-1=dn-1的情況下，Xn為“正常”的概率是多少。用條件概率表示為

利用式1將式2展開得

4 結語

本文提出了一種基于貝葉斯網的網絡異常檢測方法，能快速、有效的訓練出網絡異常檢測的貝葉斯網絡，下一步將對該方法進行實證研究

【注釋】

①?表示笛卡爾積。