電信運營商大數據變現關鍵技術環節探討

鄧逸斌　張曉川

摘 要：數據資產正在各行業中催生商業價值，引起社會的第三次產業革命。實現大數據資產的規模變現、依靠大數據能力構筑新生態環境成為電信運營商轉型的迫切訴求。該文在描述電信運營商大數據資產變現途徑和困難的基礎上，對其中包括跨域數據采集與整合、大數據存儲與處理、實時數據處理、數據管控等關鍵技術環節進行了探討。

關鍵詞：大數據 運營商 產品化數據咨詢

中圖分類號：F626 文獻標識碼：A 文章編號：1674-098X（2014）12（a）-0046-01

隨著大數據時代的來臨，行業分工正出現深刻的變革，促使掌握數以億計客戶資料與通信行為大數據的電信運營商考慮與尋找嶄新的生態環境。

所謂大數據資產變現，就是通過構筑大數據能力解決提高流程效率與降低成本、提升客戶體驗與價值、以及產品創新等關鍵業務問題，將數據分析能力轉化為競爭力。對運營商而言，其數據資產具有用戶量大、數據量大、數據與業務強相關、時效性強、精確性高、數據價值高等特點，實現大數據資產的運營和變現，對內可以服務于業務運營決策與超細分精準營銷，對外可以開拓包括廣告投放、店面經營、企業選址、O2O位置營銷、互聯網精確營銷等在內的產品化數據咨詢藍海，是實現從“電信網絡運營商”到“信息運營商”轉型的重要支點。

當前從管理到技術層面，運營商要實現從“管理驅動運營”到“數據驅動運營”的轉變都存在許多困難，包括O域（網絡）/B域（計費營帳）/M域（ERP）等各域數據的割裂、數據標準化程度低、管理流程長、傳統IT架構及數據策略不適應大數據要求等，其中關鍵技術環節包括跨域數據采集與整合、大數據存儲與處理、實時數據處理以及數據管控等。

1 關鍵技術環節探討

1.1 跨域數據采集與整合

傳統的電信經營分析系統主要處理計費清單、客戶業務訂購關系以及業務平臺使用數據，采用文件批處理的方式進行數據倉庫的ETL處理，不能適應整合接入毫秒級的網絡側海量信令與位置數據的要求。因此，需采用“分布式文件存儲+分布式計算”技術，以Hadoop為基礎構建端到端的云數據處理平臺，基于通用X86平臺端到端支撐ETL和主庫外匯總計算，直接對開源Hadoop平臺進行底層優化，支持數據的迅猛增長。

在傳統的B域數據（從BSS、CRM等采集）和M域數據（從ERP采集）采集平臺基礎上，還需實現對OMC/設備、參數、信令、撥測等數據的統一采集與管控，通過Gn口采集數據業務信令合成xDR詳單，對語音行為、位置分析則通過采集A口或MC口信令實現。

1.2 大數據存儲與處理

“高性能硬件+SMP數據庫”和“X86平臺+MPP數據庫”等傳統電信架構具有實時性高、研發成本低、可以實現復雜業務邏輯等優點，但關系數據模型固有的不能直接處理非結構化數據的缺點導致其不適用于大數據環境。其中，“高性能硬件+SMP數據庫”因成本昂貴和線性擴展能力差已較少在數據倉庫環境下采用，“X86平臺+MPP數據庫”則可與Hadoop分布式系統（X86平臺+HDFS分布式文件系統）組成混搭方案，利用非關系模型編程靈活和分布式系統擴展能力強的優勢支持高效低成本的系統搭建。

NoSQL數據庫拋棄了關系數據庫復雜的關聯操作、事務處理等功能，僅提供簡單的鍵值對（Key，Value）數據的存儲與查詢，換取高擴展性和高性能?？梢隢oSQL技術，把以寫為主數據集中在RDBS里，讀為主的數據集中在NoSQL數據庫中，主數據庫負責寫操作，從數據庫負責讀操作，通過“讀寫分離”提高海量數據處理效率。

1.3 實時數據處理

O2O位置營銷和互聯網營銷尤其強調從捕捉客戶網絡行為數據到觸發營銷推薦這一過程的時效性，運營商除了在采集、存儲與處理環節運用分布式技術減少時延外，還可引入流計算技術和內存數據庫，通過流處理和快速緩存將行為識別與營銷推送時延縮短至分鐘級。

Storm是一種開源的分布式實時計算系統，可以簡單、高效、可靠地處理大量的數據流。Spark Streaming是基于Spark衍生的開源流處理工具，以類似批處理方式來處理這部分小數據。這兩種流計算技術可以應用于營銷信息定制化推薦、電子渠道信息推送等實時營銷服務以及熱點區域用戶監控等實時場景。內存數據庫是將數據存儲在內存RAM中并進行計算和查詢，充分發揮多核CPU能力的數據庫管理系統，其和流計算配合用于狀態和規則的存儲，可優化客戶體驗。

2 結語

當然，運營商大數據資產變現還需解決數據安全管控、應用私有加密內容識別（例如客戶微信行為是語音還是文字）等問題，任何一種單一技術都難以適應運營商全部的數據采集、存儲、處理和對外服務的需求，大數據環境下的Hadoop、MPP、流計算、NoSQL和內存數據庫等多種技術并存才是發展趨勢。

參考文獻

[1] Bill Franks. Taming the Big Data Tidal Wave[M].Wiley Publishing， Inc.，2012.

[2] 沈拓.電信運營商的互聯網戰略[J].中國新通信，2011（3）：35-40.

[3] 黃勇軍，馮明，丁圣勇，等.電信運營商大數據發展策略探討[J].電信科學，2013，29（3）：6-11.