深度分組檢測技術研究及在流量經營中的應用

張 青，陳 翀，向 勇

（中國電信股份有限公司廣州研究院 廣州510630）

1 引言

大數據時代電信運營商面臨的主要問題是為了滿足數據流量的增長而不斷進行網絡擴容，但數據流量卻“增量不增收”，數據流的附加值被互聯網公司賺走，同時面臨淪為管道化的尷尬。在電信運營商轉型中，實現流量經營[1]已成共識。流量經營是把電信管道里的流量和用戶的消費需求進行高效和精確的匹配，從而給用戶帶來最好的業務體驗，以獲得高效的商業收益。

流量經營，最重要的就是建立業務、內容、協議和流量的精確識別，深度分組檢測（deep packet inspection，DPI）技術能夠使互聯網中的所有流量具備可見性，通過對網絡流量的分組頭和荷載進行分析，實現對流量洞察、應用分類和用戶行為的研究。

本文在分析目前電信運營商流量經營策略基礎上，提出深度分組檢測技術在流量經營中的應用模式及應用難點，為建立完善流量信息分析系統提供理論參考。

2 深度分組檢測技術

傳統的流量和帶寬管理是基于OSI參考模型的L2～L4層，通過IP分組頭的五元組（包括源地址、目的地址、源端口、目的端口以及協議類型）信息進行分析，通常稱此為“普通報文解析”。“普通報文解析”僅分析IP分組的4層以下的內容，通過端口號來識別應用類型。而當前網絡上的一些應用會采用隱藏或假冒端口號的方式躲避檢測和監管，造成仿冒合法報文的數據流侵蝕著網絡（例如P2P下載軟件大多采用動態協商端口機制），此時采用L2～L4層的傳統檢測方法就無能為力了。

為了識別諸如基于開放端口、隨機端口甚至采用加密方式等進行傳輸的應用類型，深度分組檢測技術應運而生。當IP數據分組、TCP或UDP數據流經過基于深度分組檢測技術的流量管理系統時，該系統通過深入讀取IP分組荷載的內容來對OSI 7層協議中的應用層信息進行重組，對數據流的類型、狀態和內容等進行識別。深度分組檢測技術可以分為端口號檢測和報文特征檢測兩種數據分組檢測技術。

（1）基于“端口號檢測”的數據分組檢測技術

端口號檢測是根據TCP/UDP的端口來識別應用，檢測效率高。隨著IP網絡技術的發展，端口號檢測技術適用的范圍越來越小，但仍有很多傳統網絡應用協議使用固定的知名端口進行通信。因此對于這一部分的網絡內容流量，可以采用端口號檢測技術進行識別。

（2）基于“報文特征”的數據分組檢測技術

當前，許多傳統的和新興的業務應用，如P2P下載、視頻等應用，都采用了端口號隱藏技術，如果單純依賴端口號檢測技術，將無法精確地對這些業務應用進行識別，因此，有必要采用報文特征檢測技術[2]。

報文特征檢測技術，大致可以分為兩種。一種是已知應用的識別，例如FTP、HTTP、DNS等，這些業務應用具有標準的協議，并規定了特有的消息和命令字以及狀態遷移機制，通過對這些專有字段和狀態的檢測分析，可以精確、可靠地識別出這些業務應用。另一種是未公開應用的識別，例如當前多數的P2P協議，這些業務應用通常采用私有的消息和命令字，無法得知其協議細節。對這些業務應用的識別需要通過逆向工程分析協議機制，總結歸納出屬于該業務應用的報文特征，并通過這些特征字段來識別這些業務的應用內容。

3 深度分組檢測技術在流量經營中的應用模式

隨著智能手機的普及，移動數據業務爆炸性增長，對電信運營商來說這是巨大的機會和挑戰。作為移動數據業務基礎的通信網絡是最重要的組成部分，如何洞察網絡數據流量，成為流量經營的關鍵一步。

3.1 流量洞察

深度分組檢測技術對用戶使用流量的具體用途進行了深度分析，包括使用位置、內容、業務、時段、用戶類型，從而獲取用戶的流量使用特征、內容使用特征、業務使用特征以及時段使用特征等[3]。

目前電信運營商采用深度分組檢測技術，專注于OSI網絡模型的L7層，實現了對各種網絡應用協議的精準識別。不僅能夠識別網絡游戲、VoIP、即時通信、P2P下載、網絡電視、股票軟件、辦公自動化等上百種傳統網絡應用協議；還能及時識別并精確控制加密傳輸、動態協商端口、借用常規協議及端口的網絡應用，如迅雷、BT、IM傳輸等。從而提供用戶網絡流量的透明感知能力，并能夠從多種維度進行流量信息的清晰展現。深度分組檢測采集分析示意如圖1所示。

圖1 深度分組檢測采集分析

3.2 用戶行為

深度分組檢測技術采集的用戶上網數據，包含著準確的應用識別與豐富的用戶行為數據，通過這些數據可以洞悉用戶的消費行為與偏好，挖掘巨大的商機，給市場營銷帶來新思維。

基于深度分組檢測技術輸出的移動互聯網數據，是對URL（uniform resource locator，統一資源定位符）內容采用分類打標簽等方式明確用戶的訪問興趣，通過社交圈分析方法獲取不同的社交群體，從而對社交群體的興趣進行分類。其后通過流量推薦引擎，根據設置好的推薦規則向用戶進行資費、業務、內容的推薦，包括潛在用戶、疊加包、資費變更、使用提升及沉默激活的推薦等。交叉營銷和關聯營銷示意如圖2所示。

精準廣告推薦是根據用戶內容偏好、社會特性、人際交往、位置特征構建用戶標簽，支撐廣告推送時的目標受眾獲取。用戶全面畫像的針對性營銷示意如圖3所示。

圖2 交叉營銷和關聯營銷

圖3 用戶全面畫像的針對性營銷

3.3 智能策略

隨著網絡流量的不斷增長以及網絡應用的日趨紛繁復雜不難看到，簡單、無限制地增加網絡帶寬是不能解決網絡流量的根本問題的。需要對網絡流量進行管理，從而保證網絡的健康和網絡應用的正常服務。

深入的網絡流量分析是根據優先級別分配帶寬資源。分配的依據可以是主機、應用等，特別需要考慮的是將消耗資源的P2P程序或者音視頻下載等進行滯后考慮。具體操作時可以使用主流的流量控制工具來實現，如進行分類監視和控制網絡流量，這樣，就可以對網絡流量進行有效管理，將原來無序的網絡流量變得有序。

在日常的網絡流量管理中，為了有效實現網絡管理，可以采取以下策略。

·帶寬控制策略測算：為市場人員進行帶寬控制設計提供信息支撐，同時對設計好的帶寬控制測量提供依據，用于預測該控制測量帶來的影響。

·動態FUP（fair usage policy，公平使用原則）：對于相同業務的訂購用戶，針對用戶群體的使用情況如平均流量、在線時長等進行使用分類，當網絡資源受限時，優先控制業務使用已經達到一定水平的用戶，保障業務使用水平較低的用戶群體使用。

·用戶級應用控制：對于占用網絡資源的應用，例如QQ，當網絡資源受限時，對于運營商價值較低的用戶，實行智能分配，將其使用的業務指定到PDCH（分組數據信道），保障高價值用戶使用體驗的同時，從而限制第三方應用對網絡資源的占用。

4 深度分組檢測數據的應用難點和解決方案

4.1 深度分組檢測未識別應用

利用深度分組檢測技術可實現移動互聯網數據應用解析，對IP數據分組的內容進行分析，綜合特征字的查找和行為模式識別技術，得到業務應用類型。統計用戶的使用情況和業務流量分布，從而實現業務和流量監控，為網絡和業務優化提供依據。如發掘對用戶有吸引力的業務、驗證業務提供水平是否達到了用戶的服務等級協議、統計有多少用戶正在使用某種游戲業務、哪幾種業務最消耗網絡的帶寬等。以下針對當前運營商未識別應用流量做進一步分析。

目前深度分組檢測技術已能解析上百種應用，但仍存在大量未識別主流應用（如天翼空間已達十萬款應用）。從協議、業務兩個層面對未識別應用進行細分，存在以下3種情況。

·協議已知，應用未識別：已知某個應用是基于HTTP，但DPI未能識別該款應用，如招行客戶端（HTTP）。

·協議未知，應用可識別：已知某個應用是有較多用戶使用，而目前的DPI未能識別，如網絡游戲。

·協議未知，應用未識別：已知某個應用是有較多用戶使用，但未知其應用協議，目前的DPI未能識別，這種屬于未識別流量。

為了對網絡流量進行精細的檢查、監控和分析，對于上述前兩種未識別應用流量，可考慮采用如表1所示的解決辦法，第3種暫時無有效解決方法。

表1 解決辦法及優缺點

4.2 深度分組檢測數據流量與計費流量比對

基于深度分組檢測輸出的移動互聯網數據，可支撐流量明白消費。根據計費流量和業務使用明細流量進行稽核，保證流量的合理性，以支撐客服人員應對客戶在流量使用方面投訴，從而進一步提升客戶服務質量。以下從理論基礎、數據驗證手段進行探討。

4.2.1 從DPI設備與計費系統的流量數據源角度，理論上探討兩者的可比性

DPI設備與計費系統流量數據源如圖4所示。

圖4 DPI設備與計費系統流量數據源

（1）DPI設備采集流量數據源

·采集AAA、AN-AAA側、Pi鏈路的流量；

·包含用戶認證登錄記錄和訪問互聯網詳細清單記錄。

（2）計費系統流量數據源

·記錄AAA側互聯網流量；

·記錄用戶在一段時間內的上網流量，不包含用戶的詳細互聯網行為。

（3）理論上探討兩者的可比性

·流量可比：數據來源出處相同，都來自PDSN。

·時長不可比：用戶一次認證進行多種上網行為會產生多條記錄，同時，存在應用交叉。

4.2.2 DPI數據與計費數據比對過程

從某省抽取了12個移動用戶，對比12月12號10:00發生的流量情況，累加各協議流量與計費流量清單對比，情況如圖5所示。

經過對抽樣數據比較與分析得出抽樣比對結果（據某省抽查）：流量吻合較好、時長差異較大。

圖5 DPI數據與計費數據比對

圖6 數據稽核流程

4.2.3 差異原因

（1）時長差異原因

時長差異很大：用戶一次認證進行多種上網行為會產生多條記錄，同時，存在應用交叉。

（2）流量差異原因

·來源不一致：計費數據源來自AAA服務器，DPI來自分光流量；AAA服務器基于網絡接入，DPI基于使用內容，兩者存在一定差異。

·部分免費流量在計費后續處理可能被剔除。

·深度分組檢測設備在數據解析過程中對于未知應用的數據可能未輸出。

由此可見，基于深度分組檢測基礎上的數據流量與計費流量比對具有一定參考性，可用于客服處理流量投訴爭議。從長遠來看，深度分組檢測難以全量捕獲、解析所有協議。基于深度分組檢測的分析系統重點是進行客戶的特征刻畫及整體趨勢分析，計費系統用于準確計量用戶的上網費用，二者用途不同。

4.3 深度分組檢測數據稽核

數據準確性問題是數據應用中的重要問題之一。基于深度分組檢測輸出的移動互聯網數據，數據量大，采集實時性要求較高，通常采用系統自動采集的方式。作為流量經營分析的數據基礎，應加強數據稽核和系統驗證，確保自動采集數據的及時和準確，以提高數據質量，提升數據應用水平。以下從最容易出錯的采集環節探討這部分數據稽核的基本方法。數據稽核流程如圖6所示。

（1）完整性稽核

為保證采集的數據文件的完整性，接口需具備日志稽核文件。建議按稽核頻率生成稽核文件。稽核文件內以行區分不同記錄，即一行代表一條記錄；各字段之間以“，”分隔各列，代表不同的域；以文件名和文件記錄數組成一行。

稽核文件必須嚴格按照以下規則命名，包括：文件類型.chk；采取無首行的文件類型，包括文件名稱、記錄數。文件名稱以生成時間，精確到分鐘為文件名稱，如01_20091201230100_00000.chk。

完整性稽核文件結構如圖7所示。

圖7 完整性稽核文件結構

（2）合規性稽核

對每一個字段的有效性進行驗證，并返回當次非法記錄條數與清單文件。稽核方法如下。

01字符型：如IMSI字段稽核，是15 bit長度的數據，其他長度都是非法數據。

02數字型：如時長、流量。

03日期型：如Start Time字段稽 核，時間格式 為yyyymmddhhmmss（24 h制）非空。

04定值型：如用戶所接入的CDMA網絡類型，33為cdma2000 1x，59為cdma2000 1x Ev-Do，32876為Wi-Fi，空值。除了這4個值，其他都是非法數值。

文件命名格式：內容序號_設備標識號_文件生成時間_序號.err（無錯誤可不生成合規性稽核）。

文件內容：異常字段序號，原始記錄。

合規性稽核文件結構如圖8所示。

圖8 合規性稽核文件結構

5 結束語

大數據時代對流量分析的實時性和精確性提出了更高要求。本文在分析目前電信運營商流量經營策略基礎上，提出以深度分組檢測數據為基礎的流量洞察、用戶行為分析、智能策略等多種應用模式，并進一步分析了深度分組檢測數據應用難點，提出了切實可行的解決方案。

本文所提出的基于深度分組檢測數據為基礎的流量經營應用模式，在某省電信運營商中得到了實踐，針對流量使用情況提醒、熱點新聞推薦、3G應用輔導、基地業務推薦、終端推薦、商圈位置營銷等，進行了精準化的營銷，其營銷成功率得到顯著提升，提升率可達10%以上。

通過對深度分組檢測數據的深入使用，將進一步提高大數據分析和決策的高效和精準。

1 劉克飛.基于流量經營的電信運營商智能管道構建研究.電信科學，2012(8)

2 張晟，孫偉.3G系統中基于業務特性深度識別的應用.電信工程技術與標準化，2010(9)

3 喬治.基于DPI的內容緩存技術及應用.信息通信技術，2011(3)