城域網DPI數據匯聚分析平臺建設方案研究

蔡俊杰， 張元金

(廣東肇慶廣播電視大學， 肇慶 526060)

城域網DPI數據匯聚分析平臺建設方案研究

蔡俊杰， 張元金

(廣東肇慶廣播電視大學， 肇慶 526060)

從移動數據流量劇增引發的的問題出發，從而需要設計一個可以識別業務類型，分析業務質量、用戶數據、終端信息，實現對網絡業務的實時監測的DPI數據匯聚分析平臺。介紹了DPI數據匯聚分析平臺方案的設計，對DPI數據匯聚分析平臺進行綜合評價，預算該方案能實現的預期效果。

DPI； 數據匯聚； 數據流量； 寬帶

0 引言

近年來，無線寬帶技術的崛起，使得移動智能終端的使用激增，全球移動數據流量大幅度增長，同時也伴隨著各種網絡安全事故的頻發以及大量的暴力、反動、色情等不良信息充斥著網絡。況且，無線寬帶中也還存在著其他問題，如：高峰時刻用戶感知差，安全威脅多，系統離散，網絡的可用性和可維護性受到挑戰等。在互聯網時代，業務、用戶、流量將會是運營集團的核心追求[1]。所以營造一個綠色、安全、可視化的網絡環境已經迫在眉睫[2]。

2013年中國移動通信啟動了全國LTE網絡的建設，目前我國很多省份的LTE EPC網絡建設已基本完成，具備4G網絡服務能力。然而，目前的EPC網絡缺乏有效的數據分析手段，LTE網絡的維護支撐工作和前端用戶行為分析存在很大的不便，因此為了及時了解網絡狀態、減少網絡改造時對用戶產生的影響，在大量用戶使用4G網絡之前亟需建設一套有效的LTE核心網DPI系統。因此，為完善移動上網日志留存系統的建設(含同步擴容)，并為集團內部及其他上層需求提供統一的數據信息系統，通信集團考慮啟動LTE核心網DPI系統工程建設。

DPI(Deep Packet Inspection)深度包檢測技術，是一種基于應用層的流量檢測和控制技術[3]。通過DPI技術可以識別業務類型，分析業務質量、用戶數據、終端信息，實現對網絡業務的實時監測[4]。流量識別作為一種能夠自動、實施保障網絡檢控的技術，成為對防火墻一類的靜態安全設備的必要補充，越來越受到人們的重視。

1 DPI系統現狀

DPI可對網絡管道內各類應用、用戶行為、流量流向進行識別分析，并實現網絡深度視圖，及時發現網絡異常流量、動態資源調控、流量精細化運營等。

現階段DPI系統的瓶頸在前端DPI設備。為了提高性能，前端DPI設備硬件實時I/O轉發、控制單元采用ASIC硬件，實時分析單元多采用FPGA和NP。目前DPI系統并沒有統一規范標準。業界的DPI系統大多具備設備采集、策略管理同步、全應用識別管理、用戶行為采集識別數據采集與管理、認證計費信息采集識別、流量注射、CP/SP資源采集識別、多鏈路/設備協同應用等功能。主要提供寬帶撥號上網、互聯網專線接入、IDC帶寬出租、VPDN及MPLS VPN等基本網絡業務，以及承載各類互聯網增值業務、全球眼/新視通/VOD點播、IPTV等視頻業務、軟交換SIP終端語音業務等[5]。

2009年3月，為給CDMA上網用戶提供高質量服務體驗建設了DPI系統。該系統需要在滿足對CDMA上網用戶進行頁面導航的同時，還可針對用戶上網行為進行深度挖掘，細分用戶類型、消費群體；并且支持接口功能，與集團集中式管理系統或第三方相關系統對接。集團市場部提出數據匯聚需求，信息化和云公司提出對接的數據格式要求，基于各地現狀，網發部、網運部協同制定數據匯聚方案，保證帶有cookie的固網DPI、固網AAA數據上傳至集團大數據匯聚平臺和大數據能力產品與應用平臺。2014 年底前許多省份實現數據匯聚，2015年6月底前基本實現全國數據匯聚，并要求各省DPI原則上監控26%的城域網帶寬出口；對于以全業務流量占比分析需求為主的省份，可按照12%的鏈路帶寬覆蓋[6]。

2 DPI數據匯聚分析平臺方案設計

某城域網DPI數據匯聚分析平臺建設方案設計，如圖1所示。

圖1 DPI數據匯聚分析平臺建設方案拓撲結構圖

該平臺采用混合方案，并且在硬件設備和軟件進行了重組和設計，具體設計方案如下：

2.1 硬件方案

根據歷史數據及模型預測出C網DPI系統2015年峰值的PPP連接保持數，需求的計算資源將比目前9月份提高45%，如表1所示。

表1 C網用戶忙時PPP連接保持數預測表

經測算，2014年C網DPI系統共需擴容4臺分析服務器和4臺分揀服務器。

本期C網DPI系統擴容的分析服務器和分揀服務器由信風提供系統集成服務，包括設備聯調、網絡聯調、軟件安裝等工作。

2.2 軟件方案

本期工程需對C網DPI系統進行軟件升級改造，其中內容包含以下幾個方面：

(1) 用戶上網感知數據采集功能

為滿足對3G用戶上網感知數據采集需求，在公有信息部分增加5個字段，這些字段增加在原有公有信息后面，字段依次往后，如表2所示。

表2 DPI系統升級改造報內容

HTTP、WAP協議特有信息增加2個字段，這2個字段增加在原有HTTP、WAP協議字段的后面，字段依次往后，如表3所示。

表3 HTTP、WAP協議信息

(2) 增加協議解析種類

為留存移動上網全部用戶協議的日志信息，需增加對DNS、SNMP等協議的采集解析功能。

(3) 用戶即時消息感知數據采集功能

LTE核心網DPI系統應根據移動運營商需求，增加即時消息類感知字段。應在即時消息協議字段后面增加解析以下字段，如表4所示。

2.3 網絡建設方案

本方案設計中，需要采集的鏈路，如表5所示。

本次項目在2處LTE核心網鏈路處進行采集：在PGW和CE之間，新增 8條10GE數據鏈路雙向監控，獲取SGI(用戶信息和互聯網訪問信息)；在PGW和PCRF之間，系統需要獲得Gx(用戶認證數據)，Gx數據從PGW/PCRF的鏈路中采集。

表4 LTE核心網DPI系統字段信息

表5 采集鏈路和位置情況表

建設初期鏈路吞吐量按約3萬用戶1Gbps流量考慮；一期建設時將按設計能力60萬用戶20Gbps流量考慮。

采集分光為7∶1∶1∶1。采集點分設于A路8樓和B樓10樓機房，中心站設置于B樓5樓或8樓機房。

3 DPI數據匯聚分析平臺設計目標

根據DPI系統建設方案，可以實現升級/新建DPI系統，如圖2所示。

圖2 DPI數據匯聚分析平臺建設目標圖

在城域網CR至省干D設備之間進行并行單向鏈路監控，滿足集團對HTTP和AAA數據的統一收集。按照集團規范新建DPI匯聚分析平臺，對接省內DPI系統、AAA、IDC DPI系統以及集團數據匯聚平臺，交換機、服務器、存儲等采取新建物理機方式[7]。

可以實現HTTP GET、AAA等實時上報數據存儲時間要求為1小時，流量流向數據5分鐘顆粒度數據存儲7天，小時、天、周、月、年顆粒度數據存儲180天。由于存儲數據較大，建議采用IPSAN存儲方式，并通過服務器配置大容量硬盤方式解決存儲空間。城域網DPI匯聚分析平臺可以通過CN2與集團網絡數據平臺交互，通過公網與省內城域網DPI設備、IDC DPI設備，通過分光獲取AAA Radius報文[8]。

在WEB推送方面也增加了新功能：

增加對發送目標用戶是否發送成功、用戶是否點擊查看的查詢統計功能；增加對發送目標客戶黑白名單、投訴用戶名單過濾功能；增加欠費提醒、到期續約提醒的自動提取用戶、自動發送功；所有WEB推送均需要通過審核才能發送，并且要記錄發送工號操作日志，以強化需求審核管控。

4 總結

DPI系統平臺改建，實現了對包括省級DPI數據匯聚分析平臺自身以及城域網DPI設備、IDC DPI設備在內的統一的配置、監控、安全、操作等管理功能，支持策略管理和系統管理相關功能。同時，互聯網所承載的業務類和應用數量迅速增長[9]：

(1) 導航功能：系統為無線寬帶上網用戶提供服務，包括套餐信息、續費信息、賬單/詳單信息、充值繳費、使用幫助等。

(2) 業務推介：可以同時傳遞給無線寬帶用戶網絡割接、業務變更、節日問候等信息，并進行相關的電信CDMA新業務推介、電信業務調查、無線寬帶品牌宣傳等。

(3) 信息發布：主要包括：全國級電信動態信息發布、全國級營銷活動發布、全國級業務引導、全國級新業務體驗、省級電信動態發布、省級營銷活動發布、省級業務引導、省級新業務體驗。

(4) 點擊數據統計：系統記錄對歡迎頁面總部相關各組成頁面具體欄目點擊的基數，匯總信息的點擊數，并由系統進行整體點擊數據的統計及展示。

(5) 用戶名單和信息獲取：系統通過與運營商相關系統做接口，按一定的周期獲取需要提醒的無線寬帶用戶名單與用戶基本信息(使用套餐類型、本地時長、漫游時長、欠費等)。

(6) 信息統計：準確統計：什么信息、在什么時間、推送給哪些無線寬帶用戶。

(7) 綠色上網功能。

當然DPI系統受限于當前技術，也還存在不足之處，如在特征提取、偽網監控、預處理和流量控制算法等方面都可以做進一步研究[10]。

[1] 呂錦揚. DPI技術在移動數據網絡分析的應用[J] .電信技術,2013(6):72-75.

[2] 武光達. 基于DPI的流量識別系統設計[D].貴陽：貴州大學,2015.

[3] 沈俊.DPI技術在寬帶大提速中的應用[J] .信息系統工程,2014(6):88.

[4] 王建，張治中，駱云龍.基于DPI的LTE網絡用戶行為感知系統的設計與實現[J] .電信科學, 2014(7):77-83.

[5] 程燁,周雁,徐偉杰. 大數據背景下運營商IP城域網DPI部署方案研究[J] . 郵電設計技術, 2015(10):62-67.

[6] 王勇.DPI帶寬管理技術與應用研究[J] .通訊世界,2016(8):135-136.

[7] 陳先灝， 雒江濤.面向電商數據的可視化查詢系統 [J] .計算機系統應用,2016(4):123-127.

[8] 衛濤，韋薇，張揚，李心恬，陳曉帥. 4G網絡DPI系統多廠家組網問題研究 [J] .電信快報,2016(3):38-42.

[9] 伍岳.電信運營商DPI系統優化建設研究[J] .電信工程技術與標準化,2016(2):65-68.

[10] 丁瑤. 基于DPI和DFI的應用層網絡流量監控系統的研究與實現[D] .南昌：江西理工大學, 2014.

Research on Construction Scheme of DPI Data Aggregation Analysis Platform in Metropolitan Area Network

Cai Junjie， Zhang Yuanjin

(Guangdong Zhaoqing TV University, Zhaoqing 526060, China)

For the problems caused by mobile data traffic surge, it needs to design a DPI data aggregation analysis platform which can identify the type of business, analyze service quality, user data and terminal information, to achieve the real-time monitoring of network traffic DPI data aggregation analysis. Firstly, the paper introduces the design of DPI data aggregation analysis platform, and then makes a comprehensive evaluation of the platform, and finally, the expected effect of the budget of the project can be achieved.

DPI；Data gathering; Data flow; Broadband

蔡俊杰(1968-)，男，本科，講師。研究方向：網絡與通信、計算機網絡安全、信息安全等。 張元金(1969-)，女，本科，講師。研究方向：信息安全、網絡與通信等。

1007-757X(2017)06-0057-04

TP393

A

2016.12.28)