面向電信網(wǎng)絡(luò)運(yùn)營價(jià)值挖掘的大數(shù)據(jù)技術(shù)研究與應(yīng)用

中國電信股份有限公司淮安分公司 劉瑞張柏林王成猛

面向電信網(wǎng)絡(luò)運(yùn)營價(jià)值挖掘的大數(shù)據(jù)技術(shù)研究與應(yīng)用

中國電信股份有限公司淮安分公司 劉瑞張柏林王成猛

從大數(shù)據(jù)的概念與特征入手，探討基于大數(shù)據(jù)技術(shù)的電信網(wǎng)絡(luò)運(yùn)營價(jià)值的深度挖掘。首先提出移動(dòng)互聯(lián)網(wǎng)時(shí)代電信運(yùn)營商所面臨的數(shù)據(jù)挑戰(zhàn)；其次從智能管道、流量話單可視化運(yùn)營、DPI分析等方面提出運(yùn)用大數(shù)據(jù)技術(shù)和工具平臺(tái)進(jìn)行電信網(wǎng)絡(luò)運(yùn)營價(jià)值的挖掘策略，同時(shí)輸出相關(guān)場景案例成果；最終明確電信運(yùn)營商在大數(shù)據(jù)時(shí)代的挑戰(zhàn)和機(jī)遇。

電信網(wǎng)絡(luò)運(yùn)營；價(jià)值挖掘；大數(shù)據(jù)技術(shù)

1 引言

大數(shù)據(jù)(big data,mega data)，或稱巨量資料，指需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)[1]。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)具有4V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）[2]。當(dāng)前大數(shù)據(jù)技術(shù)應(yīng)用的成功案例有：Facebook通過數(shù)據(jù)對人際關(guān)系的深度挖掘來構(gòu)建開放服務(wù)體系；GOOGLE通過數(shù)據(jù)預(yù)測的強(qiáng)大力量對受眾深度挖掘，理解受眾需求。

電信運(yùn)營商在大數(shù)據(jù)存儲(chǔ)方面擁有豐富、立體、飽滿的天然優(yōu)勢，國外電信運(yùn)營商在大數(shù)據(jù)挖掘應(yīng)用方面已開展了諸如基于移動(dòng)互聯(lián)網(wǎng)用戶感知、優(yōu)化網(wǎng)絡(luò)管理、精確指導(dǎo)前端營銷、與第三方數(shù)據(jù)合作等多方面實(shí)踐；而國內(nèi)電信運(yùn)營商由于傳統(tǒng)觀念、戰(zhàn)略導(dǎo)向、管理體制等多方面因素制約，當(dāng)前大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)運(yùn)營價(jià)值的深度挖掘方面并未發(fā)揮真正效益。對此，筆者認(rèn)為有必要進(jìn)行相關(guān)論述，以期促進(jìn)電信網(wǎng)絡(luò)運(yùn)營價(jià)值的大數(shù)據(jù)挖掘發(fā)展。

2 移動(dòng)互聯(lián)網(wǎng)時(shí)代運(yùn)營商面臨的大數(shù)據(jù)挑戰(zhàn)

2.1 大數(shù)據(jù)時(shí)代已經(jīng)來臨，不進(jìn)則退

新摩爾定理認(rèn)為網(wǎng)絡(luò)環(huán)境下每18個(gè)月產(chǎn)生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和，大數(shù)據(jù)時(shí)代已經(jīng)來臨。這是一個(gè)最好的時(shí)代，也可能是一個(gè)最壞的時(shí)代；好在如果能夠順應(yīng)并運(yùn)用這個(gè)時(shí)代，就可以如虎添翼；壞在如果錯(cuò)過這個(gè)時(shí)代將被無情淘汰。

對于電信運(yùn)營商而言，當(dāng)前競爭環(huán)境愈發(fā)惡劣，大數(shù)據(jù)技術(shù)已經(jīng)成為創(chuàng)新和運(yùn)營的核心競爭力。流量井噴，DPI和信令監(jiān)測，產(chǎn)生的大量事件在存儲(chǔ)和用戶通信行為分析的實(shí)時(shí)處理性能帶來挑戰(zhàn)；運(yùn)營商一體化集中運(yùn)營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù)倉庫，對大數(shù)據(jù)處理的存儲(chǔ)、性能、開放帶來挑戰(zhàn)；ICT融合，核心網(wǎng)絡(luò)、運(yùn)營支撐和VAS業(yè)務(wù)數(shù)據(jù)的融合催生海量User Profile并集，對大數(shù)據(jù)的關(guān)聯(lián)分析計(jì)算效能帶來挑戰(zhàn)[3]。

2.2 思想重視不足，缺乏頂層設(shè)計(jì)

2015年初，中國電信江蘇公司提出網(wǎng)絡(luò)運(yùn)維向運(yùn)營戰(zhàn)略轉(zhuǎn)型，即從單純的指標(biāo)維護(hù)向基于用戶感知的大數(shù)據(jù)挖掘方向轉(zhuǎn)型，這一轉(zhuǎn)型無疑具有極大意義，但相對于大數(shù)據(jù)時(shí)代的快速發(fā)展，這一口號的提出仍顯相對滯后。

當(dāng)前電信運(yùn)營商已有的大數(shù)據(jù)實(shí)踐僅局限于個(gè)別部門或者在局部業(yè)務(wù)上的淺嘗，從整個(gè)運(yùn)營商層面，缺乏對大數(shù)據(jù)戰(zhàn)略的統(tǒng)一規(guī)劃。

2.3 缺乏對大數(shù)據(jù)平臺(tái)的統(tǒng)一部署

目前電信運(yùn)營商內(nèi)部部門已開展了大數(shù)據(jù)項(xiàng)目規(guī)劃，并進(jìn)行實(shí)踐試點(diǎn)，但只是限于獨(dú)立專業(yè)的數(shù)據(jù)分析，并未形成

跨專業(yè)的統(tǒng)一大數(shù)據(jù)平臺(tái)，如從核心側(cè)到無線側(cè)的端到端系統(tǒng)等[4]。

3 基于大數(shù)據(jù)技術(shù)的電信網(wǎng)絡(luò)運(yùn)營價(jià)值挖掘策略建議

3.1 準(zhǔn)確定位大數(shù)據(jù)技術(shù)對于電信網(wǎng)絡(luò)運(yùn)營價(jià)值挖掘的作用

大數(shù)據(jù)對于電信網(wǎng)絡(luò)運(yùn)營商的價(jià)值主要體現(xiàn)在“五位雙層”，即對外層次的開放數(shù)據(jù)盈利；對內(nèi)層次的提升客戶感知、精確指導(dǎo)市場營銷、支撐領(lǐng)導(dǎo)經(jīng)營決策、提升網(wǎng)絡(luò)運(yùn)營效率。

對外層次的開放數(shù)據(jù)盈利是指基于電信網(wǎng)絡(luò)的大數(shù)據(jù)天然優(yōu)勢進(jìn)行用戶行為挖掘，將部分?jǐn)?shù)據(jù)資產(chǎn)對商業(yè)聯(lián)盟（如攜程網(wǎng)、快捷酒店、旅游景區(qū)等）開放，進(jìn)行合作盈利，創(chuàng)新后向經(jīng)營的商業(yè)模式。移動(dòng)互聯(lián)網(wǎng)時(shí)代沒有單打獨(dú)斗的勝者，這一點(diǎn)尤為重要。

對內(nèi)層次主要包括基于個(gè)性化用戶行為感知的大數(shù)據(jù)挖掘以提升客戶感知；基于DPI、CDR話單數(shù)據(jù)挖掘以洞察客戶市場行為，精確指導(dǎo)市場營銷；基于大數(shù)據(jù)的網(wǎng)絡(luò)資源管理IT化，降低人工現(xiàn)場行為，提升網(wǎng)絡(luò)運(yùn)營效率；基于大數(shù)據(jù)智能管道以提供領(lǐng)導(dǎo)決策參考。

3.2 深度解析流量話單，讓網(wǎng)絡(luò)運(yùn)營可視

如下圖1，通過融合BSS、OSS、MSS平臺(tái)數(shù)據(jù)源，形成基于流量話單的管道開展運(yùn)營的基礎(chǔ)分析能力，構(gòu)建電信運(yùn)營需要的基礎(chǔ)分析體系。

圖1 流量話單大數(shù)據(jù)分析關(guān)鍵字段

通過平臺(tái)整合，最終實(shí)現(xiàn)基于流量話單的網(wǎng)絡(luò)運(yùn)營統(tǒng)一價(jià)值可視化體現(xiàn)：

（1）業(yè)務(wù)內(nèi)容分析：對管道內(nèi)的流量能夠分辨到具體的業(yè)務(wù)，如QQ，BT等；

（2）用戶行為洞察：對流量的使用者可區(qū)分，用戶在何時(shí)，何地使用的流量；

（3）內(nèi)容偏好分析：對流量承載的內(nèi)容可分析，能夠分辨用戶瀏覽網(wǎng)頁的內(nèi)容、微博內(nèi)容等；

（4）終端使用分析：能分辨具體使用流量的終端信息，提供終端型號、品牌等；

（5）位置營銷可視：能分辨用戶使用業(yè)務(wù)的具體網(wǎng)絡(luò)位置和實(shí)際地理位置；

（6）網(wǎng)絡(luò)運(yùn)營可視：結(jié)合網(wǎng)絡(luò)設(shè)備數(shù)據(jù)，提供網(wǎng)絡(luò)布點(diǎn)優(yōu)化、客戶體驗(yàn)、業(yè)務(wù)質(zhì)量等信息。

如下圖2，目前中國電信江蘇公司網(wǎng)優(yōu)平臺(tái)已經(jīng)能夠?qū)崿F(xiàn)以上功能，更好地支撐了網(wǎng)絡(luò)運(yùn)營價(jià)值的可視化挖掘。

圖2 中國電信江蘇公司流量話單大數(shù)據(jù)挖掘平臺(tái)

3.3 搭建DPI大數(shù)據(jù)監(jiān)控平臺(tái)，實(shí)現(xiàn)端到端感知立體評價(jià)體系，支撐經(jīng)營決策

從用戶感知入手實(shí)現(xiàn)端到端多維感知關(guān)聯(lián)分析，構(gòu)建關(guān)鍵KQI和KPI關(guān)聯(lián)模型，建立用戶端到端感知評價(jià)體系，實(shí)現(xiàn)用戶業(yè)務(wù)感知的準(zhǔn)確評價(jià)和管理，為前后端運(yùn)營提供決策參考數(shù)據(jù)。

圖3 DPI系統(tǒng)架構(gòu)

如上圖3為DPI系統(tǒng)架構(gòu)，DPI識(shí)別技術(shù)大致流程分為四大階段：協(xié)議解析識(shí)別階段（采集全網(wǎng)流量數(shù)據(jù)—＞對數(shù)據(jù)進(jìn)行協(xié)議解析、識(shí)別—＞實(shí)時(shí)傳輸協(xié)議識(shí)別后的流量數(shù)據(jù)到分析機(jī)—＞實(shí)時(shí)傳輸協(xié)議識(shí)別后的流量數(shù)據(jù)到分析系統(tǒng)中）；IP流分析階段（與采集機(jī)實(shí)時(shí)通信—＞對流量數(shù)據(jù)進(jìn)行二次解析—＞生成ip流原始數(shù)據(jù)）；IP流分揀階段（與存儲(chǔ)服務(wù)器實(shí)時(shí)通信—＞實(shí)時(shí)處理IP流原始數(shù)據(jù)—＞根據(jù)集團(tuán)規(guī)范輸出字段格式—＞可靈活配置的APP應(yīng)有規(guī)則庫）；記錄文件形成階段（存儲(chǔ)日志文件—＞提供查詢接口）。

以用戶HTTP行為為例，終端用戶使用瀏覽業(yè)務(wù)的基本過程為：

圖4 互聯(lián)網(wǎng)業(yè)務(wù)監(jiān)控

圖5 業(yè)務(wù)多維度分析

圖6 TOP SP訪問量挖掘

圖7 基于DPI大數(shù)據(jù)分析的用戶APP應(yīng)用檔案模型

圖8 線側(cè)五大類數(shù)據(jù)源

圖9 用戶終端尺寸與業(yè)務(wù)類型匹配模型

（1）用戶點(diǎn)擊訪問某個(gè)網(wǎng)頁；

（2）操作系統(tǒng)進(jìn)行DNS查詢，查詢完成后，發(fā)起TCP建立請求；

（3）終端操作系統(tǒng)與服務(wù)器建立完成TCP三次握手后，終端發(fā)送第一個(gè)Get請求報(bào)文；

圖10 用戶終端檔次與主流業(yè)務(wù)匹配模型

（4）服務(wù)器響應(yīng)Get請求報(bào)文，向終端下發(fā)第一個(gè)頁面的數(shù)據(jù)，第一個(gè)頁面的下載會(huì)包含多個(gè)數(shù)據(jù)報(bào)文的下發(fā)，第一個(gè)報(bào)文的格式可能是壓縮的。

針對以上HTTP行為，基于統(tǒng)一網(wǎng)元庫的DPI分析成果展示如下圖：

（1）互聯(lián)網(wǎng)業(yè)務(wù)監(jiān)控：基于集團(tuán)規(guī)定的10大標(biāo)準(zhǔn)網(wǎng)站，建立標(biāo)準(zhǔn)網(wǎng)站的主要感知指標(biāo)的時(shí)延分析體系，并根據(jù)網(wǎng)站特點(diǎn)制定獲得基準(zhǔn)指標(biāo)值域，并細(xì)化到5分鐘準(zhǔn)實(shí)時(shí)粒度，

對網(wǎng)站指標(biāo)的劣化提出預(yù)警。

（2）業(yè)務(wù)多維度分析：基于定制的的SP網(wǎng)站，建立各網(wǎng)站按時(shí)間維度、地市/基站維度、域名/服務(wù)器IP地址維度的鉆取分析，層層分解要感知指標(biāo)，對可能的網(wǎng)絡(luò)異常點(diǎn)進(jìn)行精細(xì)化分析。

（3）TOP網(wǎng)站訪問量統(tǒng)計(jì)：掌控用戶HTTP訪問軌跡，可將數(shù)據(jù)源對外開放，支撐商家聯(lián)盟和后向運(yùn)營。

通過DPI大數(shù)據(jù)監(jiān)控，最終建立用戶應(yīng)用檔案模型，包括：應(yīng)用的全網(wǎng)滲透率、流量使用和資源消耗，認(rèn)識(shí)應(yīng)用的價(jià)值和對網(wǎng)絡(luò)沖擊影響；不同時(shí)段使用習(xí)慣，可用于分時(shí)段流量包的設(shè)計(jì)；挖掘強(qiáng)相關(guān)應(yīng)用，關(guān)注客戶興趣點(diǎn)，便于關(guān)懷服務(wù)推送等方面的價(jià)值數(shù)據(jù)。

4 中國電信淮安分公司無線網(wǎng)絡(luò)大數(shù)據(jù)挖掘場景成果分享（部分）

如圖8，淮安分公司基于“三層五大類”數(shù)據(jù)源平臺(tái)進(jìn)行無線側(cè)大數(shù)據(jù)挖掘，為網(wǎng)絡(luò)運(yùn)營提供決策參考。

基于統(tǒng)一網(wǎng)元庫的用戶終端——APP應(yīng)用——場景分布三維大數(shù)據(jù)分析，得出如下階段性結(jié)論：

圖11 淮安分公司春節(jié)無線網(wǎng)大數(shù)據(jù)挖掘成果展示

（1）智能終端是客戶使用的第一門戶，其業(yè)務(wù)適配度直接影響客戶體驗(yàn)，屏幕尺寸對業(yè)務(wù)應(yīng)用有潛在的影響，隨著屏幕的增大，側(cè)面反映出用戶在特質(zhì)和應(yīng)用偏好方面的不同：IM類（5寸屏幕以上用戶使用開始減少）；網(wǎng)頁瀏覽（5寸屏幕以上用戶更偏向）；電子商務(wù)（大屏用戶更喜歡使用）；地圖導(dǎo)航（應(yīng)用度與屏幕大小有直接聯(lián)系）。

（2）不同檔位的終端在主流業(yè)務(wù)使用上表現(xiàn)出不同的特征，說明終端等級對業(yè)務(wù)應(yīng)用有很大影響，對客戶終端維護(hù)和終端營銷有重要參考價(jià)值。

基于網(wǎng)優(yōu)平臺(tái)話單、GIS功能模塊與統(tǒng)一網(wǎng)元庫DPI功能模塊進(jìn)行平臺(tái)融合大數(shù)據(jù)挖掘，實(shí)現(xiàn)2015年春節(jié)期間的移動(dòng)互聯(lián)網(wǎng)運(yùn)營價(jià)值挖掘，有效地支撐了市場營銷決策：

5 " 結(jié)束語

在移動(dòng)互聯(lián)網(wǎng)+的大數(shù)據(jù)時(shí)代，數(shù)據(jù)和信息已成為推動(dòng)電信運(yùn)營業(yè)整體轉(zhuǎn)型的戰(zhàn)略資產(chǎn)，與其他行業(yè)企業(yè)競爭對手相比，電信運(yùn)營商能夠得到的數(shù)據(jù)比單一的互聯(lián)網(wǎng)公司得到的數(shù)據(jù)要豐富、立體、飽滿，電信運(yùn)營商發(fā)展大數(shù)據(jù)具有無可比擬的天然優(yōu)勢，決定其將是未來大數(shù)據(jù)時(shí)代的最強(qiáng)勢的競爭者[5]。

大數(shù)據(jù)時(shí)代的到來讓數(shù)據(jù)成為新的生產(chǎn)力，未來發(fā)展道路上挑戰(zhàn)與機(jī)遇共存，電信運(yùn)營商需充分發(fā)揮自身的優(yōu)勢，掌握大數(shù)據(jù)這把利劍發(fā)掘自身網(wǎng)絡(luò)運(yùn)營潛力，才能運(yùn)籌帷幄立足于數(shù)據(jù)時(shí)代。

1楊旭，湯海京，丁剛毅．?dāng)?shù)據(jù)科學(xué)導(dǎo)論．北京：北京理工大學(xué)出版社，2014

2中國企業(yè)需要怎么來面對大數(shù)據(jù)時(shí)代的來臨．大數(shù)據(jù)網(wǎng)，2014

3尹凱．中國電信大數(shù)據(jù)技術(shù)與應(yīng)用交流．北京：中國電信，2014

4韓晶．面向統(tǒng)一運(yùn)營的電信運(yùn)營商大數(shù)據(jù)戰(zhàn)略．電信科學(xué)，2014（11）

5陶承怡．基于信息價(jià)值鏈的電信運(yùn)營商大數(shù)據(jù)策略研究．電信科學(xué)，2014（6）