基于抽樣和哈希技術的長流測量安全算法研究

田原

摘 要：在互聯網中理解網絡行為最高效的途徑即是對網絡數據流量進行安全檢測與分析，它是對已有互聯網的組建、規范化和改造的依據，同時也是對Internet進行安全檢測的重要環節。為了解決網絡中的資源和高速IP流量之間的沖突問題，需要對網絡流進行多種方式的安全處理與算法研究。

論文首先提出了改進的數據抽樣技術并綜合論述了現階段基于抽樣技術的數據測量算法的研究，同時通過對重要數據參數的重新設置和分析，并結合使用多種數據取樣的方法，探討改進的數據空間映射技術，與現階段的各種取樣方式，在測量網絡長流算法中的綜合應用[1]。

關鍵詞：報文抽樣；哈希；網絡測量；IP流

Abstract： Way in the Internet to understand network behavior is the most efficient and the detection and analysis of network data flow. It is the basis for the formation ，standardization and transformation of the existing internet. In the meantime， it is also an important part of Internet security testing. In order to solve the problem of conflict between network resources and high speed IP flow. Study on the safe handling and algorithm to perform a variety of modes of network flow.

This paper proposes an improved sampling data base and discusses the current research sampling algorithm based on measurement data. At the same time by resetting the data on important parameters analysis and combined with the method of using a variety of data sampling ，the discussion of data space mapping technique and comprehensive application of various sampling methods at the stage in the measurement of network flows in algorithm.

Key words： packet sampling； hash； internet measurement； ip flow

1 引言

當今，互聯網的數據流量特征分析已經發生了非常顯著的變化，同時互聯網也產生了多元發展的方向，通過對網絡流量安全的分析，試圖完整地檢測和監控數據長流的行為，目前已經存在很多問題。NSF的設計還存在一些弊端，缺少設定對于監測不同流量之間的網絡性能問題和安全問題的考慮。與此同時，互聯網服務供應商也沒有重點整理和分析網絡的數據，所以造成了現在對流量的測量和分析網絡行為及網絡行為變化的測度數據[1]缺失。

2 網絡測量技術的發展

在互聯網中對于網絡數據長流的測量安全方法主要有兩種[2]。主動測量是將數據探測分組注入互聯網中檢測，然后接受產生的流量直接測量互聯網中數據的屬性。但同時主動測量也存在自身的問題，它會對被測網絡IP長流的產生一些阻礙，因此主動數據測量的研究需要認真分析對網絡實際傳輸流量的總體影響。被動測量指在網互聯網中的關鍵節點設置數據收集器，進行通過數據分析、收取數據流特征，并獲得關鍵性的數據。這種方式的過程取決于被測網絡中由已經存在的數據樣本來決定，它的特點是數據被檢測的時，不影響被測量網絡的流量，但是也存在著一定的缺點，即產生數據存儲、數據監測及錯誤率等問題[3，4]。

2.1 主動測量

這種測量方法比較容易實現，數據的測量可以通過在一定的條件下而產生，采用主動測量方法時，它不會依賴外部測量設備去同時檢測網絡數據的訪問時間。而這種測量是基于RTT的數據流量測量，它不支持對單路數據流量延遲的測量。還有其他測量方法是通過使用全球定位系統接收器來同步主機的數據。但是這些系統對于獲得額外的網絡數據流量安全信息的分析方法非常有限，因此不被普遍使用。

2.2 被動測量

這種測量方法需要在網絡中的一個數據節點收集流量信息，例如使用多層交換機采集網絡數據被動地監測通過被測量網絡鏈路的流量[5]。同時互聯網中的被監測流量安全性存在不穩定、數據突發等特點是可以完全被監測結果抵消的，所以有些數據長流的監測采用這種測量方法是比較困難的，會有一定的數據損失錯誤率產生。

3 長流測量技術

3.1 報文抽樣技術

在采用這種技術過程中，根據數據取樣使用的方式不同，在實際應用中可以將數據取樣方法劃分為不同的類型，例如策略不同的數據抽樣和觸發方式不同的數據抽樣[6]。在基于不同方式的數據抽樣類型中，有時采用的時間觸發不如報文觸發方式，結合以上分析，本文只考慮基于策略不同的數據取樣分析，其中數據系統取樣方式本文闡述的是常用周期取樣。

3.2 改進的分層抽樣及參數配置

分層數據抽取技術是通過有效的數據分組與操作原理相結合，通過技術劃分出行為狀態比較相似的層，以改變參數值之間的差異量的變化。而這些相似的層則是依據事先已經定義的數據參數特征，將樣本分成若干個互不交叉、互不重復的獨立存儲空間，所有的取樣數據由這些相似層的獨立空間樣本組成，這些數據則依據獨立的空間做出參數估計。只要避免多余的數據分配方式就會比簡單數據隨機抽樣和周期抽樣獲得更好的測量性能和安全性[7]。endprint

數據分層采樣技術通過對數據鏈路上的報文分析出一定的數據分組，借助于網絡中數據鏈路接口[2]處裝置一個測量數據集成系統，將抽樣數據測量結果處理成網絡流量信息反饋給測量數據集成系統。

3.3 CBF報文過濾技術

報文過濾技術采用對鏈路上的數據進行隨機采樣，一個數據被抽取后，為其定義專屬的數據標識。同時建立這個IP數據流的數據累加器，之后無論這個數據流的報文是否被采樣，其余的每一個數據都會被處理，同時累加器隨之更新，直到測量過程結束，最后輸出大于額定值的數據流即為IP長流。本文借助其基本思想并對其哈希過程進行改進，提出使用CBF技術用于判斷是否對報文進行抽樣并對其所屬流標示即FSample—CBF方法。

首先對鏈路上的數據按照預先定義的速率進行周期采樣。當一個數據標識的采樣數據被抽取時，使用映射進行運算，將其映射到存儲空間的相應位置，每次映射的相應的累加器加數一次。在累加器更新過程中，我們采用更新機制，即僅更新K個累加器中最小的一個，以減少錯誤肯定率[1]。由于同一個流的所有報文都要被映射到同一存儲空間，因此如果數據流被抽取到的報文數超過閾值，那么每個相應存儲空間的累加器也會都超過這個閾值，標識這個長流的同時，在內存中定義這個數據流的一個選項來記錄信息。

隨后其所屬的報文被抽取到時直接對內存的流標示項作用。在存在可容忍流長度測量誤差的條件下，這種方法可以準確地識別長流，有效地減少存儲空間和提高處理速度，同時也保證了數據的安全性。

4 結束語

綜上所述，通過對現代互聯網中網絡數據的深入分析發現，網絡數據通信在很大程度上仍具有明顯的突發性，會產生一定范圍內的差錯。采用數據取樣提取技術與映射技術結合的數據測量方式，同時根據這種流量分析技術的優缺點，提出使用多種測量技術相結合的方法，可以實現數據長流的識別，實現對網絡數據流量安全的檢測，并規范互聯網的組建和改造，同時也擁有了對Internet進行檢測的重要依據。

參考文獻

[1] Duffield.N.G，and Grossglauser.M. Trajectory Sampling for Direct Traffic Observation[J]. IEEE/ACM Trans on Networking，June 2001；9（3）：280～292.

[2] 程光，龔儉.大規模高速網絡流量測量研究[J].計算機工程與應用，2002.

[3] Claffy.K，Sean Mcreary. Internet measurement and data analysis： passive and active measurement[R].1999.

[4] 劉衛江，龔儉，丁偉.流測量算法綜述[J].計算機工程與應用，2005.

[5] K.Dhandere，Hyang-AH Kim，Tim Jia-Yu Pan. The Application and Effect of Sampling Methods on Collecting Network Traffic Statistics[Z].2001.

[6] Duffield.N.G，and Grossglauser.M. Trajectory Sampling with Unreliable Reporting[C]. IEEE Infocom 2004， HongKong：2004.

[7] Duffield.N.G，Lund.C，Thorup.M. Estimating Flow Distributions from Sampled Flow Statistics[C]. ACM SIGCOMM 2003，Karlsruhe，Germany：Aug 2003.endprint