DPI：運營商大數據安全運營的基石

谷紅勛 張霖

【 摘 要 】 DT（大數據）運營能力已成為當前電信運營商的關注重點，而DPI技術是提升網絡對用戶及業務感知能力的重要手段，論文詳細地分析了DPI技術的基本原理及其價值，進一步討論了運營商部署和運營DPI系統的策略以及應用場景的建議。

【 關鍵詞 】 大數據；DPI；運營商；移動互聯網

【 中圖分類號 】 TP392 【 文獻標識碼 】 A

【 Abstract 】 Big data operational capacity has become the focus of the current telecom operators， while the DPI technology is an important means to enhance the network's ability to perceive the business and users.

【 Keywords 】 large data； dpi； operator； mobile network

1 引言

隨著4G時代的到來，運營商的語音業務收費越來越低，甚至呈現逐漸免費的趨勢，數據流量經營將成為運營商的主要方向。以某運營商開展4G業務后的業務結構變化為例，2015年前三季度語音和短信、彩信業務繼續下滑，總通話分鐘數比上年同期下降0.3%，短信使用量比上年同期下降20.2%；但同期移動網絡數據流量比上年同期增長98.6%，幾乎是去年同期的兩倍，流量業務在營收中占據的比例越來越大。按照現有數據預測，到2016年末，語音、短信收入占比將從2011年的67%降至40%，而數據流量和數字服務的收入將增至60%，成為業務收入主體。數據流量經營對運營商的重要性越來越大，關系到運營商的生存價值甚至是生存問題。運營商擁有任何移動互聯網公司都無法比擬的海量數據，大數據金礦價值凸顯，由流量經營進入大數據運營已成為大勢所趨。

運營商在大數據經營方面尚未形成明確的盈利模式，還處于“摸著石頭過河”階段。借鑒國外運營商的運行模式，結合信令數據、DPI技術、B+O域數據整合等可洞析大數據運營可能的方向。本文重點探討DPI技術對于大數據運營的價值和應用方向。

在移動互聯網時代，上網用戶和應用的所有行為原始數據都在網絡管道中遵循一定的協議以二進制碼進行傳輸，電信運營商要讓這些數據產生真正價值，必須對這些二進制碼進行解密，將其還原到本來的業務含義，才能真正理解移動互聯網的所有行為，這是運營商大數據運營能力的基礎。

運營商解開這個秘密的鑰匙，我們把它叫做DPI（Deep Packet Inspection），學名深度包解析，DPI系統建設是個極其復雜的過程，因為這涉及到運營商、應用商、設備商等的博弈，涉及到行業規則的制定，也涉及到運營商掌控核心能力的深層意義。

2 DPI的原理

2.1 網絡協議的作用

就像聯合國大會要以英語等作為官方語言，要實現溝通則都需要說同一種語言，協議是互聯網的世界語，確立了各類網絡和終端之間能夠進行互相通信的規則。

網絡協議的核心作用有：規定了網絡中電流與數據流（0/1）相互轉化的電器規則；將數據包轉化成幀，從而能夠被網絡設備識別以實現傳輸；規定了數據包在網絡中傳輸的路徑和尋址規則；通過握手機制確保數據包被準確的傳輸到對端；奠定了互聯網得以互聯的基礎；通過協議標準封裝構建了一套基本訪問應用，滿足了基本的信息要求，如Http；企業基于協議創造更多的個性化應用滿足人們需求，如QQ、微信等。

2.2 TCP/IP是互聯網基礎協議

TCP/IP則是移動互聯網通信的世界語，其自下而上包括了四個層次，每層都有對應的協議，這些協議都定義了特定的通信功能，每層都為上層提供服務。

應用層：HTTP、FTP、TELNET、SNMP等標準協議和非標準協議，管數據的含義。向用戶提供一組應用程序，比如電子郵件等，為解決不同主機中多個應用進程之間的通信和協作問題，定義了標準或非標準化的應用協議，如HTTP為標準化協議，QQ則為非標準化協議。

傳輸層：TCP協議和UDP協議，管數據準確傳送。負責將數據可靠地傳送到目的地，采取三次握手確保數據包按照規定被送達或接收。

網絡層：IP協議，管數據傳送路徑。將傳輸層的數據裝入IP數據包，選擇好路由，發送給鏈路層；處理鏈路層的幀，如果已經到達目的地址，則去掉IP包頭送給傳輸層，否則進行轉發。

鏈路層：以太網協議（802.2/802.3），管數據通過設備。負責接收數據包并以幀的形式（比特流）通過網絡發送；或者從網絡上接收物理幀，抽出數據包，交給網絡層。

2.3 應用基于協議進行數據通信

客戶機和服務器是指通信中所涉及的兩個應用進程的主機，客戶是服務請求方，服務器是服務提供方，應用數據基于協議要求逐層生成數據包，以請求-響應的模式將數據比特流送入網絡，當前我們通過移動互聯網的APP的通信原理不會跳出這個框架。

2.4 協議數據包中蘊含著豐富的信息

如果能截獲網絡中的幀比特流，然后對協議進行逐層解析，就可以從IP首部、TCP首部、甚至應用數據中發現各類有價值信息，理論上，所有的上網行為都可以通過協議的解析而破解。

IP首部，比特流包含了源主機、目的主機的IP地址信息。由于大量的移動互聯網應用服務器IP固定，因此通過IP首部可以判定數據包中的部分應用類型。

TCP首部，比特流包含了端口信息，端口是同一主機區別不同應用的關鍵。由于部分應用通過固定端口進行通信，如FTP使用21端口，因此可以通過TCP首部判定少量應用。

應用數據，比特流包含了應用傳輸的內容數據，可能加密。理論上通過應用數據的解密可以了解用戶所有的移動互聯網通信行為，包括應用類型及內容。

2.5 應用層協議復雜多樣

通過對目前主流的五大類應用進行深入分析研究，發現當前移動互聯網應用實際所采用的應用層協議普遍存在的特點。

（1）不公開。公有協議雖然制訂了一套標準，但同時帶來很多限制，互聯網企業為靈活地滿足其需要，出現了大量的自己定義的私用應用協議，而這些協議的格式是不公開的，例如QQ、MSN等。

（2）交叉多。互聯網應用功能豐富多樣，不同的功能可能采用不同的協議來實現，因此存在同一應用內共有協議和私有協議交叉使用的情況，如PPStream等。

（3）變化大。私有協議歸屬于某個互聯網企業所有，協議格式的改動不受任何限制，往往隨著應用版本的更新，格式也隨之發生變化，且更新頻繁，例如QQ一年之內發布了4個版本的應用。

2.6 DPI技術的定義。

DPI（Deep Packet Inspection）深度包檢測技術是一種基于應用層的流量檢測和控制技術，是當前主流的協議識別技術，當數據流通過基于DPI技術的帶寬管理系統時，通過深度分析協議的特征來識別其業務類型和特征。六種主要識別方法。

（1）特征字識別，處于應用層，對應用層的內容進行滑動匹配一個或多個特征字。識別靈活、準確率高，但由于需深入解析應用層內容，會影響識別速度。

（2）URL匹配，處于應用層，匹配應用層中的URL地址。識別準確率高，但只適用于HTTP協議。

（3）IP地址匹配，處于網絡層，匹配網絡層中的IP地址。識別準確率高，且識別速度快，但當應用經常變更IP地址時，會導致準確率的下降。

（4）端口匹配，處于傳輸層，匹配傳輸層中的端口。識別準確率高，且速度快，但僅限于FTP等少量公有協議。

（5）包長匹配，處于傳輸層以上，根據數據包的長度來識別應用。僅分析流量包的長度，解析速度快，但是識別準確度低，主要用于識別RTP等少量協議。

（6）組合識別方法，處于傳輸層以上，對以上五種方法組合使用。識別能力隨著協議和組合的復雜程度而動態變化。

3 DPI的價值

3.1 業務識別是實現網絡智能控制（PCC）的關鍵技術

要實現網絡資源的端到端QoS控制，減少資源占用，當前主要采用PCC技術，而其核心是業務識別及策略控制兩大能力，運營商需要通過這個技術為用戶提供良好的上網體驗。

當前PCC要求能夠基于時間、位置、用戶、流量及業務等五個方面進行智能策略控制，其中區分業務的策略控制是最核心的一種手段。

3.2 業務識別是理解客戶互聯網偏好行為的前提

理解用戶是運營商在移動互聯網時代的核心競爭力，通過協議解析可以了解用戶訪問內容，從而為個性化的客戶服務奠定基礎，這是整個移動互聯網企業孜孜以求的終極目標，誰理解用戶，誰就能提供針對性服務，誰就擁有未來。

4 DPI面臨的挑戰

大家可以看到，如果沒有了DPI，運營商的上網數據就是一堆沒有任何意義的數字，因此，在移動互聯網時代，掌控DPI對于運營商來說意義重大，但運營商當前面臨前所未有的挑戰。

4.1 DPI設備投資巨大

DPI設備需要部署在流量出口，這就好比要在海量的數據海洋中去根據既定規則檢查每個BIT并識別出特征，這個對于設備的處理能力提出了很高的要求，也許只有運營商才能進行如此大的投入，以前由于運營商業務流量的分析統計、不良信息的監測管控、非法業務的發現整治需要，已經部署了大量的這些設備，但如果真要應用在PCC控制及客戶行為的精準分析上，實現商業級的應用，其要求跟以往完全不同，DPI面臨各省各自為政、標準規范不一、廠家設備能力參差不齊等系列問題，如果運營商全網完整部署這個能力，在未有收益情況下，投資也將是個天文數字，因此，在巨額投資與不確定的收益之間，運營商該何去何從？

4.2 解析能力至關重要

當前網上的APP數量應該以百萬千萬計了吧！而APP的協議基本都是私有協議，也就是APP的協議格式都是不一樣的，DPI要能解析，就必須一個個APP去分析和解析，這是一個天文數字的工作量，誰愿意投入那么大去做？

盡管有很多DPI設備廠商說我能解析，但當前做的最好的估計也是以萬計，解析準確率誰知道，解析深度就跟更無法提了，比如僅僅解析到應用類型，價值有多大呢？對于合作伙伴的依賴，也成為運營商的桎梏。

APP應用開發商，在應用開發設計中夾雜的混雜協議，版本更新速度如火箭發射速度一樣快，也讓解析難度進一步提高，APP應用協議運營商也無能為力。

解析能力建設過程中碰到的不少問題。

（1）準確性問題：當大量的移動互聯網企業為了靈活滿足用戶的需求，采用了大量的私有應用協議，不像Http等公有協議，這些協議的格式是不公開的，甚至是保密的，當前流量TOP10的應用中有50%都采用私有協議，如QQ、PPStream等，使得精確識別難度巨大。

（2）及時性問題：當前無論是新的移動互聯網應用發布還是版本更新，對于運營商來講都是無法提前預知的，從捕獲到形成新的業務識別規則需要一定的時間周期，業務的識別存在一定的滯后性。

（3）全面性問題：當前移動互聯網應用成千上萬，沒有一個DPI廠商能識別出全部業務，例如華為能識別1500種應用，中創能識別350種，而寬廣只能識別250種，業務解析的不全面性將導致部分關鍵業務無法實現控制。

4.3 理解客戶是把雙刃劍

DPI解析了上網行為，目的是理解客戶和企業，為其提供更好的服務，但更好的服務也意味著有可能對其它企業和個人降低服務能力，比如為不同等級的客戶提供差異化的網絡質量，這是否可能違反網絡中立原則呢？比如韓國運營商與OTT曾經有過博弈，最終不了了之，很久以前某運營商曾經采用DPI技術封堵過BT軟件，因為這類軟件占用了過多帶寬，對于正常用戶上網產生了極大影響，雖然也不了了之，但爭議總是存在。

5 運營商DPI的建設策略

在移動互聯網時代，DPI是運營商面臨的眾多關鍵性的抉擇的一個，運營商一定要推進這個工作，但需要有一定的策略。

5.1 組織專業團隊進行研發

DPI是個專業性非常高的工作，應該成立專門的公司去做，當前運營商有很多專業公司，也有很多研究機構，應該將DPI設備和知識庫的打造納入到專業公司去做，現在就連一些互聯網公司，也在構建APP的解析知識庫，一些互聯網公司每天搞知識庫識別的也有幾十號人，基于這些知識庫已經產生了較大的經濟效益。但規模龐大的運營商，甚至沒有一只正規的專業團隊，的確需要正視，運營商DPI掌控必須以我為主。

當前運營商也在制定DPI的一些標準，但運營商體系很龐大，規范從制定到宣貫再到執行也需要很長時間，在沒有足夠的實踐前制定規范是有風險的，也許小分隊的形式更好。

同時，運營商應該建立自己的DPI運營流程，比如很多運營商由于依賴設備合作伙伴，DPI新增APP規則以月計算，效率低下。而互聯網公司自組團隊搞解析，一個月也可以解析上千款APP，其運營效率是很高的。

5.2 采取1+N方式進行業務突破

DPI的投資非常大，運營商全網統一完全部署的確困難，同時研發機構脫離了業務驅動也會舉步維艱，可以考慮讓一些發達省份牽頭去進行業務的突破，在業務推進中去落實DPI設備的投資，去逐步完善DPI的解析能力，同時建立符合自身的運營流程，保證了投資的價值。

5.3 制定移動互聯網的協議入網標準

當前其實移動互聯網環境非常復雜，大量的非法APP肆虐網絡，從維護健康的移動互聯網環境講，是否可考慮制定移動互聯網APP的入網標準，移動互聯網企業發布應用需要進行網絡注冊，告知協議的規則，就好比企業運營也要注冊一樣。運營商基于注冊的協議進行準確的識別，為網絡監管機構追蹤非法行為提供支撐，另一方面也可以基于協議的識別為APP提供差異化的網絡服務，讓移動互聯網更透明，從長遠講，應該對于客戶是有利。

6 DPI應用場景

6.1 用戶洞察

深入洞察客戶、助力精準營銷。首先，基于客戶終端信息、手機上網行為軌跡等豐富的數據，借助DPI技術等，建立客戶超級細分模型，為各細分群組客戶打上互聯網行為標簽，完善客戶的360度畫像，深入了解客戶行為偏好和需求特征；其次，根據用戶行為偏好，推送合適的業務，并根據對客戶特征的深入理解，建立客戶與業務、資費套餐、終端類型、在用網絡的精準匹配，同時也能做到在推送渠道、推送時機、推送方式上滿足客戶的個性化需求，實現全程精細化營銷。

6.2 精準營銷

對于運營商來說，對自己的數據資產進行DPI解析，全方位分析廣告受眾的長期喜好和短期關注（DMP），可以識別用戶的Cookie、IMEI、計費代碼等信息，將這些客戶標簽信息以實時的方式提供給廣告平臺（DSP）作為實時競價的依據之一，可以有效幫助DSP更加精確地投放廣告。

值得特別說明的是，運營商應對于精準營銷的數據商用持非常謹慎的態度，因為涉及到用戶隱私等問題。基于群體用戶行為的分析是比較可行的。而對于B2C的精準營銷，如個人短息推送等，運營商是要慎之又慎。

6.3 流量控制

對于政策禁止的業務進行封堵，如VoIP業務；對于P2P等占用帶寬的業務進行監控和限速；與第三方進行合作，如對視頻應用商的用戶提供高帶寬服務；異常流量的發現、告警和控制。

6.4 增值業務

利用基于DPI的用戶的深度感知能力和精細的業務控制能力，運營商可以開展寬帶提速、綠色上網等增值服務，拓寬業務內容，增加收入。

參考文獻

[1] 高順元.DPI技術在電信運營商精確化營銷中的應用[J].南開大學，2011年5月.

[2] 朱永慶.DPI技術應用場景探討[J].廣東通信技術，2007年7月.

作者簡介：

谷紅勛（1972-），男，河南長垣人，工學碩士研究生，高級工程師，中國電信河南公司副總經理；主要研究方向和關注領域：市場營銷、企業信息化、移動互聯網業務。

張霖（1977-），男，河南長垣人，本科，中國電信河南公司移動互聯網業務主管；主要研究方向和關注領域：市場營銷、流量經營、移動互聯網及增值業務。