一種網絡入侵檢測中的數據包采樣方法

 收稿日期：2007-12-10；

修回日期：2008-03-10

基金項目：國家自然科學基金資助項目(60403031，90604015); 法國電信研發中心資助項目（46135216）； 國家重點基礎研究發展計劃資助項目（2007CB310702）



作者簡介：金慶輝(1983-)，男，湖南邵東人，碩士研究生，主要研究方向為網絡安全、網絡測試（zxjarchers@163.com）;

王東(1964-)，男，江西九江人，教授，主要研究方向為計算機網絡;

楊建華(1978-)，女，博士，主要研究方向為網絡測試;

謝高崗(1974-)，男，浙江衢州人，副研究員，主要研究方向為網絡測試.

（1.湖南大學 計算機與通信學院 長沙 410082; 2.中國科學院 計算技術研究所 北京 100080）

摘要：

數據包采樣方法是提升數據包處理能力很好的方法，在網絡流量監測分析中得到了廣泛應用。然而，傳統的數據包采樣算法應用在IDS中會極大降低入侵檢測率。針對入侵檢測的特性，利用攻擊流量和正常流量在時間上的連續性，提出了一種新的數據包采樣方法，在保證檢測率的前提下，極大地提升了IDS的處理能力。

關鍵詞：入侵檢測系統； 數據包采樣； 檢測率； 處理能力

中圖分類號：TP393

文獻標志碼：A

文章編號：1001-3695(2008)10-3092-02

Sampling method for network intrusion detection

JIN Qing-hui1，2 WANG Dong YANG Jian-hua2 XIE Gao-gang2

(1.School of Computer Communication Hunan University Changsha 410082 China;

2.Institute of Computing Technology Chinese Academy of Sciences Beijing 100080 China)

Abstract:

Packet sampling which was widely used in network monitoring is a good method to upgrade data packet processing capacity. But the traditional packet sampling algorithm will result in substantial intrusion detection rate reduction. This paper raised a new packet sampling algorithm which used the normal and attacks flow of traffic in the continuity of time against intrusion detection. It could improve IDS’s packet processing capacity in the premise there was still very good detection rate.

Key words：intrusion detection system(IDS); packet sampling; detection rates; processing capacity

隨著計算機網絡的不斷普及和發展，新業務層出不窮，通過網絡傳輸的信息也越來越重要，由此引發的網絡安全問題也日益嚴重[1]。公共互聯網網絡安全狀況令人堪憂，在利益驅動下的網絡安全事件更加頻繁、隱蔽和復雜。因此，針對網絡攻擊的入侵檢測的研究也日益重要。

目前，常見的網絡入侵檢測系統，根據其檢測引擎實現方式可分為兩類：基于軟件實現和基于硬件實現。基于軟件實現的IDS，如Snort[2]，使用通用CPU進行數據包檢測，有很好的靈活性和可擴展性，但由于軟件實現的復雜性和通用CPU的處理速度瓶頸，無法應用于高速網絡中[3]。基于硬件實現的IDS使用專用硬件進行檢測，擁有很高的處理速度，但它不夠靈活，而且成本較高[4]。雖然使用專用硬件可以極大地提高檢測速度，但由于網絡帶寬的增長遠遠快于硬件處理速度的提升，僅僅提升處理速度很難跟上網絡帶寬的增長。這就給高速主干網絡的保護帶來了極大的挑戰[3]。

為了解決現有入侵檢測技術處理能力有限與網絡帶寬飛速增長之間的矛盾，在入侵檢測中使用數據包采樣是一種可能的解決方法[5]。現有的數據包采樣算法[6，7]在網絡流量監測分析中得到了廣泛應用，如思科的NetFlow[8]。通過對少量采樣得到的關鍵數據包的監測，從而推導出整個流量特征，數據包采樣方法使網絡流量監測分析在高速網絡中得以實現。因此，可以借鑒網絡監測的成功案例，在入侵檢測中使用數據包采樣方法來提升其處理能力。

在入侵檢測中使用數據包采樣，可以大大提升檢測引擎處理能力，同時不會帶來額外的硬件成本。然而，現有數據包采樣算法主要是為網絡流量監測分析而設計，各種采樣算法的基本思想都是基于利用概率對數據包進行采樣。Mai等人的實驗表明，簡單地把現有數據包采樣算法移植到入侵檢測中，隨著采樣概率的減少，將會造成檢測率大大降低[9]。本文提出了一種新數據包采樣算法，它充分利用了網絡正常流量和異常流量在時間上的局部性，啟發式地對數據包進行采樣。經實驗證明，這種數據包采樣算法在對檢測引擎提升同樣性能的前提下，比常用數據包采樣算法有更好的檢測率。

1相關研究

數據包采樣方法是實現高速網絡流量監測非常重要的關鍵技術之一，IETF（Internet Engineering Task Force）的PSAMP（Packet Sampling）工作組[10]在數據包采樣技術方面做了相關的標準化工作。其中定義了一種數據包采樣框架，包括數據包選擇過程、分析報告產生過程以及數據導出過程。

最近幾年，采樣技術也逐漸應用于入侵檢測中；同時，采樣算法對入侵檢測的影響成為了學術界廣泛討論的問題。Mai等人針對隨機包采樣(random packet sampling)、隨機流采樣(random flow sampling)、smart采樣[11]、sample-and-hold采樣[12]四種常用的數據包采樣算法，分別將它們應用在流量異常檢測和portscan檢測這兩種檢測技術上進行實驗，分析了不同采樣算法對流量異常檢測和portscan檢測的影響[9]。

a)隨機包采樣。該算法大大降低了流量異常檢測和portscan檢測的檢測率。對流量異常檢測來說，由于流的冗長，包采樣后導致了數據的丟失，因而增加了入侵的漏警率。對portscan檢測來說，由于數據的丟失以及不正確的數據，漏警率和誤警率都大大增加[9]。

b)隨機流采樣。流量異常檢測和portscan檢測使用這種采樣算法，比使用其他三種采樣算法能有更好的檢測率。因為它對流大小的分布、源IP的訪問模型、全局流到達時間序列的影響相對是最小的。

c)Smart sampling和sample-and-hold。這兩種采樣算法都顯著地降低了流量異常檢測和portscan檢測的檢測率。因為很多攻擊都是由小流組成，這兩種有偏向性的采樣算法會忽略這些小流。

這幾種常用采樣算法應用在入侵檢測中，隨機流采樣相對較好。然而，進一步結果表明，這幾種采樣算法在采樣概率減小時，即采樣數據包占總數據包比例減小時，檢測精度下降很快。目前的入侵檢測技術處理速度相對于帶寬是很慢的，應用于千兆網絡的入侵檢測，需要很小的采樣概率。現有的采樣算法在采樣概率減小時，檢測精度下降過大。因此，本文需要針對入侵檢測設計一種新的數據包采樣算法。

2應用于入侵檢測的數據包采樣算法

2.1設計思想

本算法的設計思想基于攻擊者在時間上的連續性，即如果在一個源地址的流中發現了一定數量的入侵，那么可以認為在下一時間段中它的包有很大概率也是入侵。同樣，如果一個源地址的流在一個時間段中沒有發現入侵，那么可以認為在下一時間段中它有很大概率是屬于正常流。

2.2算法流程

如圖1所示，本算法將維護兩個表，記錄了檢測引擎檢測數據包后的反饋信息。這兩個表分別命名為黑名單和白名單，這兩個表的更新算法是整個數據包采樣算法的核心。同時，為了啟發式地逼近真實網絡狀況，定義了老化算法，每隔一個老化周期，對黑白名單記錄的信息單進行調整，使過去的網絡狀態對采樣算法影響越來越小，現在網絡狀態對采樣算法影響越來越大。算法中使用的變量定義如表1所示。

表1算法中使用的變量列表

變量名描 述

WhiteValue描述了來自該源IP的數據包的正常包數目累積量

WhiteThresh當WhiteValue≥WhiteThresh時，認為這一階段該來自源IP的都是正常包，這個值需要預先設定

WhiteSampleCount被選為“可能”要直接轉發的包的數目。使用在模塊2

WhiteSampleInterval當前的采樣間隔。使用在模塊2

BlackValue描述了來自該源IP的數據包的異常包數目累積量。使用在模塊5中

ThrottleValue阻塞周期。使用在模塊5中

OldPeriod老化周期。這個值需要預先設定

模塊1白名單檢測。圖2為判斷數據包是否屬于白名單。

模塊2采樣。利用如下公式計算該數據包是否要被采樣，返回Y(采樣)，N(不被采樣)。

if (WhiteSampleCount==WhiteSampleInterval)

{ sample the packet ;

WhiteSampleCount=0;

WhiteSampleInterval= WhiteSampleInterval*2;

Return Y; //sample the packet }

elsereturn N; //not sample the packet

模塊3更新白名單中的成員項

if(該數據包的源IP在白名單中有對應項)

該數據包的源IP對應的WhiteValue++；

else

{ 在白名單中創建該數據包的源IP對應項;

該數據包的源IP對應的WhiteValue=1; }

模塊4黑名單檢測圖3為判斷數據包是否屬于黑名單。

模塊5更新黑名單中的成員項

if(該數據包的〈源IP，por，協議〉在黑名單中有對應項)

{ 對應項的BlackValue++;

用如下公式更新ThrottleValue:

ThrottleValue=BlackValue-1 }

else

{ 創建對應項;

對應項的BlackValue=1;

ThrottleValue=0; }

模塊6老化算法每隔一個預先定義的老化周期，就執行如下算法：

For each OldPeriod：

{ WhiteValues=WhiteValues/WhiteThresh;

WhiteSampleInterval=1;

WhiteSampleCount=0;

BlackValue= BlackValue/2-1

ThrottleValue=ThrottleValue-1; }

通過在內存中維護這兩張表，實現了對數據包檢測流程的“短路”，這就大大加快了檢測引擎的處理速度。

3實驗

本實驗采用Snort作為實驗平臺，將本文提出的新算法整合在Snort中。測試工具本文使用AX4000流量發生/分析儀，模擬出千兆流量對整合了新算法的Snort進行測試，觀測其在千兆流量下的入侵檢測能力。本文設計的算法使用參數：WhiteThresh=50;OldPeriod=60 s。

3.1實驗步驟

利用AX4000構造背景流量。使背景流量通過安裝了Snort的主機，并由Snort把檢測后的流量轉發到另一臺AX4000中分析，對比原始流量和Snort處理后的流量。

a)測試整合了新采樣算法的Snort對千兆流量的處理能力：對比AX4000產生流量的速率和另一臺AX4000接收到數據包的速率，得到圖4。

b)測試整合了新采樣算法的Snort對混合了異常流的千兆流量的入侵檢測能力，并與常用采樣算法進行比較：利用AX4000產生SYN flood異常流混入正常流中，經Snort處理后的流量，由另一臺AX4000接收并分析，觀測異常流的檢測率。

3.2實驗結果

對入侵檢測引擎處理速度的提升（圖4），

在Snort中整合了本文的數據包采樣算法后，使Snort處理數據包速度接近千兆線速。這對只有百兆處理能力的Snort性能是很大的提高。

與常用采樣算法比較：常用的數據包采樣算法，其本質上都是以概率p進行采樣，因此，使用常規采樣算法的入侵檢測，其檢測率至多為p。

用AX4000構造異常流與正常流的混合流作為測試流量。在本實驗環境中，未經修改的Snort可以處理測試流量的1/3。因此，采用以概率p=1/3進行采樣的算法，至多只有33.3%的檢測率。整合本文提出的采樣算法的Snort檢測率與其對比如圖5所示。可見，在檢測率上，本文提出的算法比常用算法提高了一倍。

4結束語

本文設計的數據包采樣算法應用在入侵檢測中可以大大提升檢測引擎的處理速度，同時比起常用的采樣算法擁有更好的檢測率。隨著網絡入侵的多樣化，不同入侵有不同的特性，本文提及的采樣算法，對延續時間較長的入侵流有很好的效果，然而對于類似于DDoS攻擊這類由大量小流組成的入侵，采樣算法很難提高入侵檢測引擎的處理能力。如何針對這類入侵改進算法將是下一步研究的重點。同時，在不同的應用場景中，正常流的分布也不相同，如何恰當地設置采樣算法參數，也值得研究。

參考文獻：

[1]孫蔚敏.2006年網絡安全工作報告[R].北京:國家計算機網絡應急技術處理協調中心 2006.

[2]Snort[EB/OL].http://www.snort.org.

[3]王衛平，朱衛未，陳文惠，等.基于網絡的入侵檢測系統數據包采樣策略研究[J].中國科學院研究生院學報，2006，24(4):534-542.

[4]FANG Yu KATZ R H LAKSHMAN T V. A multi-gigabit rate deep packet inspection algorithm using TCAM[C]//Proc of the 12th IEEE International Conference on Network Protocols. 2004.

[5]KODIALAM M LAKSHMAN T V.Detecting network intrusions via sampling: a game theoretic approach[C]//Proc of INFOCOM. 2003.

[6]楊建華，謝高崗，李忠誠.一種業務流自適應盡力采樣方法[J].計算機研究與發展，2006，43(3):402-409.

[7]王丹，謝高崗，楊建華，等.一種改進的自適應流量采樣方法[J].計算機研究與發展，2007，44(8):1339-1347.

[8]Cisco IOS software netflow[EB/OL].http://www.cisco.com/warp/public/732/Tech/nmp/netflow/.

[9]MAI J CHUAH C N SRIDHARAN A et al. Is sampled data sufficient for anomaly detection?[C]//Proc of the 6th ACM SIGCOMM on Internet Measurement. 2006.

[10]IETF[EB/OL].http://www.ietf.org/html.charters/psamp-charter.html.

[11]DUFFIELD N LUND C THORUP M. Properties and prediction of flow statistics from sampled packet streams[C]//Proc of ACM-SIGCOMM IMW’02. 2002.

[12]ESTAN C VARGHESE G. New directions in traffic measurement and accounting[C]//Proc of SIGCOMM’02. Pittsburgh:[s.n.] 2002.