IP網流量分析及應用

張立偉

張立偉:鐵通公司網運部 工程師 100033 北京

互聯網業務的不斷發展，使網絡應用已經由Web、E-mail、FTP等傳統應用向游戲、視頻、即時通信等新興應用類型過渡。持續增長的網絡帶寬，日益復雜的流量成分，寬帶化、業務精細化給IP網絡的維護管理帶來了巨大挑戰。IP網絡是一個面向無連接的網絡，相對傳統電信網絡有著本質區別。為提高客戶對IP網絡的使用滿意度，網管人員要及時了解自身網絡的流量狀況，包括流量變化趨勢、流量來源和目的、流量構成等關鍵信息，以便實施合理的流量控制策略和網絡優化，實現IP網的可管、可控，這就需要進行IP網流量分析。

1 流量分析內容

IP網流量分析是對網絡流量進行采集、過濾、存儲、識別、分析和報表等操作。精細的流量分析能讓網管人員清楚掌握IP網絡流量、流向、流量構成和用戶行為，一般包含以下內容。

1．網絡流量分析。對網絡中鏈路流量的監控和統計，掌握各鏈路流量的變化趨勢，對網絡鏈路擴容提供數據依據。

2．網絡流向分析。對網絡中IP地址或IP地址段間的流量進行監控和統計，掌握各節點或網絡間的流量變化趨勢，為網絡結構優化和擴容提供依據。

3．流量構成分析。檢測網絡協議或數據包特征，掌握流量中各種業務應用的分布，為流量控制和管理提供依據。

4．用戶行為分析。對用戶訪問網絡的時間、次數、地址、業務類型等基本數據進行統計分析，從中發現用戶使用互聯網業務的趨勢和規律，為市場發展提供指引數據，對用戶行為進行管理和導向。

2 流量分析方式

IP網流量分析是基于網絡中流量數據進行的，流量數據所包含的信息決定了分析的維度和最終結果，在網絡管理中通常通過以下方式進行流量數據采集和分析。

2.1 基于SNMP的流量分析

SNMP(Simple Network Management Protocal)是一種廣為使用的網絡協議，基于SNMP的網絡管理工具可以實現網絡一、二層的流量監控，主要從物理端口和鏈路層了解流量的狀態，但采集到的流量信息較為簡單，通常只含有網絡端口進出的數據包數和字節數，無法對進出的流量進行流向分析，更無法區分網絡層數據流量中各種不同類型業務在流量中的分布狀況。圖1顯示了基于SNMP獲得的鏈路流量圖。

圖1 SNMP流量圖

2.2 基于流的流量分析

目前基于流的分析技術應用較廣泛的是Net-Flow。NetFlow是Cisco公司開發的一套網絡流量監測技術，運行在路由器中動態地收集經過路由器的流信息，并向指定地址傳送這些數據。NetFlow分析IP數據包的7個屬性來區分網絡中不同的數據流，即數據包的源IP地址、目標IP地址、源端口號、目標端口號、第三層協議類型、服務類型和邏輯端口。對區分出的每個數據流NetFlow可以進行單獨地跟蹤和計量，記錄其傳送方向和目的地等流向特性，統計其起始和結束時間，包含的數據包數量和字節數量等流量信息。

表1顯示了NetFlow數據格式，數據中Pr為協議類型，06表示TCP，11表示UDP;端口0050通常認為是WWW業務，端口0035為DNS業務。

表1 NetFlow數據格式

基于Netflow可以實現網絡三、四層的流量分析，使網管人員能獲取網絡中的IP流信息，這些信息解答了是誰、在什么時間、通過什么端口、使用何種協議、訪問了誰、流量是多少等問題，可以呈現網絡中的流量、流向及協議分布的具體情況。

基于流的分析和處理與最初簡單的流量統計相比，已經向著流量流向和用戶行為分析的方向發展，但NetFlow流量分析方式只能分析IP包的四層以下內容，雖然可以通過網絡協議和端口對業務類型進行初步識別，但面對網絡中層出不窮的應用類型，仍無法實現業務的精確識別，更不能應對基于共用端口、隨機端口甚至采用加密方式進行傳輸的業務。

2.3 基于DPI的流量分析

DPI是深度包檢測 (Deep Packet Inspection)的簡稱，DPI技術在獲取數據包基本信息的同時，還增加了對應用層內容分析，是一種基于應用層的流量檢測技術。DPI技術可以獲取寄存在應用層中的業務特征信息，達到識別網絡流量中各種業務應用的目的。DPI對應用特征的分析如圖2所示。

圖2 DPI對應用特征的分析

DPI技術通常采用如下的數據包分析方法。

1．特征字的識別技術。不同的應用通常會采用不同的協議，而各種協議都有其特殊的特征，可能是特定的端口、特定的字符串或者特定的Bit序列。基于“特征字”的識別技術通過對特定數據報文中的特征信息檢測以確定業務流承載的應用和業務，如Bittorrent協議的識別。

2．應用層網關識別技術。有些業務的控制流和業務流是分離的，業務流沒有任何特征。這就需要由應用層網關技術識別出控制流，并根據控制流協議選擇特定的應用層網關對業務流進行解析，從而識別出相應的業務，如SIP、H323協議的識別。

3．行為模式識別技術。針對一些無法根據協議判斷的業務，行為模式識別技術基于對用戶實施行為的分析，判斷出用戶的應用類型。在實施行為模式識別之前，必須先對用戶的各種行為進行研究，并在此基礎上建立行為識別模型，如垃圾郵件的識別。

DPI技術實現了對應用層凈荷的特征檢測，因此能夠基本準確地呈現網絡流量構成，并使用戶行為分析成為可能，是實現精細化IP網管理的關鍵技術。

2.4 流量分析方式的比較

SNMP、NetFlow、DPI三種流量分析方式在各層級的網絡均有應用，不同技術在實現原理和方式上的不同，使其有著固有的優勢和局限，表2進行了對比說明。

從三種方式的對比來看，無論是基于SNMP協議進行一二層的流量監控，還是基于NetFlow實現網絡第三、四層的流量監控，都僅僅停留在分析端口流量、匯總五元組流信息的層面上，無法區分現網中運行的豐富業務類型和用戶群體行為，已不能滿足當前對網絡流量精細分析的要求。而DPI技術能進行數據包應用層內容的分析，根據內容特征識別應用類型，最終實現流量構成和用戶行為分析。

表2 流量分析方式對比表

3 DPI流量分析的應用探討

IP網業務的迅猛發展，用戶的需求及寬帶應用的日益多樣化不僅改變了傳統互聯網的應用模式和用戶行為模式，也對IP網的運營管理帶來了深刻的影響，為實現P2P、流媒體等帶寬消耗性應用的分析和管理，全面準確地掌握各類流量在省際、省干以及網間出口各層面的確切分布，網絡管理者都在研究和部署DPI技術。

3.1 DPI流量分析系統部署

理論上流量分析系統的部署是比較靈活的，可以部署在網絡各層面的鏈路上，如網間鏈路、省網上行鏈路、城域網上行鏈路等。根據監測范圍、投資成本以及演進等因素，可部署的網絡位置也不同。流量分析系統部署位置如圖3所示。

圖3 流量分析系統部署位置

在網間鏈路部署流量分析系統，其優點主要是能夠監控到全網的網間流量情況，投資相對較少并且易管理;缺點是無法獲取網內流量，對于網內流量、流向及應用的業務無法分析。

在省網上行鏈路部署流量分析系統，其優點是能實現對網內省際流量和網間流量的分析，了解IP網的整體流量分布、業務運行態勢等信息;缺點是投資相對較大，不能很好地實現寬帶用戶行為分析和相應的增值業務開發。

在城域網上行鏈路部署流量分析系統，其優點是能夠基于用戶信息實現全面用戶行為分析，并能掌控省內、省際、網間流量的整體情況;缺點是投資較大，對管理能力要求較高。

網絡管理者應根據自身實際情況，綜合考慮投資成本、平滑演進和達到的效果，合理選擇部署方式。因網間流量存在結算成本，在流量分析系統部署初期，應優先考慮網間鏈路部署;后續應逐漸向省網上行鏈路部署方式演進，達到分析整體網絡流量的目的;隨著流量分析設備的普及和成本的下降，最終逐步向城域網鏈路下移部署。

3.2 DPI流量分析現網應用

基于DPI技術的流量分析，使IP網成為一個透明的網絡，讓鏈路上奔流不息的數據包展現在屏幕上并呈現出其運行規律，顯示網絡上龐大的流量究竟是什么業務，是什么人在使用，也讓網管人員能夠進一步實施流量的精細管理。

3.2.1 流量構成分析

通過對應用層業務特征的識別，能夠分析流量的成分構成。圖4顯示了一條鏈路流量中各種類型應用所占的比例情況，可以看出這條鏈路中所占比例最大的是2種瀏覽業務，其次是P2P視頻、上傳/下載、P2P和流媒體業務。流量構成分析是流量控制與引導的參考數據。

圖4 流量構成圖

3.2.2 用戶興趣分析

統計用戶賬號和訪問網站地址，可以對用戶興趣進行分析，可以將興趣分為不同類別，如網絡視頻、游戲等，然后將網站地址與這些類別對應，最后按類別統計用戶應用情況。圖5可以看出這個用戶群的興趣主要集中在網絡視頻、門戶搜索和游戲的應用。用戶興趣分析是內容源引入、用戶質量提升的重要依據。基于DPI技術獲取的原始數據包含了網絡流量的基本特征，對其進行深入分析將可獲得更多的信息，實現了網絡流量可視、應用可視、用戶行為可視。

圖5 用戶興趣分布圖

4 結束語

流量分析系統的實際應用中還應考慮與其他支撐系統進行對接和配合，充分利用既有的網絡和用戶等相關的數據，實現系統間數據的對應和交互，使流量分析數據獲得更多的維度和準確度。

總之，隨著網絡業務日趨豐富，網絡流量高速增長，深入的IP網流量分析技術已成為挖掘現有網絡資源潛力，提高網絡運維水平的重要手段。對IP網上各類基于業務或用戶的應用感知識別，對用戶行為特征的細化分析，是實現網絡可管理、可運營的基礎。

［1］ 任亞寧，吳鵬沖，黃小紅，馬嚴．基于NetFlow的協議識別［J］ ．中國科技論文在線，2008(3).

［2］ 馬科．業務識別與管理系統和網絡流量的管理．現代電信科技，2008(4).

［3］ 趙國峰，吉朝明，徐川．Internet流量識別技術研究［J］ ．小型微型計算機系統，2010(8).

［4］ 陳磊．IP網絡流量的識別與管理［J］ ．電信科學，2009(2).