運營商大數據技術應用研究

陳濤，魯萌，陳彥名

（1.中國移動通信集團設計院有限公司，北京 100080；2.中國信息通信研究院，北京 100191）

運營商大數據技術應用研究

陳濤1，魯萌2，陳彥名1

（1.中國移動通信集團設計院有限公司，北京 100080；2.中國信息通信研究院，北京 100191）

大數據技術的快速發展為運營商的傳統業務（如網絡規劃和優化）提供了快速的海量數據處理方案，也為運營商開拓新業務（如征信、個性化推薦、互聯網業務）奠定了數據基礎，對行業的發展具有重要意義。研究了大數據處理的相關技術，介紹了運營商在業務中應用大數據技術的工程實踐經驗和待解決的關鍵問題，為相關研究人員提供參考。

大數據處理；網絡規劃；網絡優化

1 引言

中國移動2016年上半年業績報告顯示，流量收入超過傳統業務，成為最主要的收入來源。在實施運營成本總量控制時，傳統語音和短信業務市場逐漸飽和或萎縮，而手機上網流量迅猛增長。如何利用大數據技術進行精細化經營、提升網絡質量、開拓新業務成為運營商面臨的主要挑戰。

大數據指數據的大小和復雜性無法通過現有常用的軟件工具，以合理的成本在可接受的時間內進行捕獲、管理和處理的數據集。如搜索引擎、電子商務、社交網絡等互聯網公司或天文學、高能物理、生物學等科學研究領域都會產生TB（1012byte）到EB（1018byte）級的數據，并且要求在短時間內完成處理，相關業務通常要求IT系統在秒級或分鐘級別給予計算反饋，長時間的批處理計算變得越來越難以容忍。這樣大規模的數據采集、存儲、基于業務模型的統計計算要求已經超出了基于傳統關系型數據庫IT系統的處理能力，從而催生了以流式計算（Storm）、Google文件系統（GFS）[1]、內存計算（Spark）為代表的大數據傳輸、存儲和處理技術。

運營商在支撐電信業務的同時，也產生了大量的經營分析數據、網絡性能和資源數據、測量報告和信令數據等。在大數據處理技術出現以前，這些數據大多數都沒有得到充分的積累和利用。網絡規劃和優化工作通常需要手工搜集經營數據，或依靠路測系統、客戶投訴系統獲得最初的故障信息，完成日常的網絡建設和維護工作。隨著網絡流量的增長和大數據處理技術的成熟，運營商迫切需要對所擁有的數據進行積累和分析，提高網絡規劃和優化的能力。同時挖掘網絡數據分析的應用潛力，發揮運營商的資源整合能力，在基于內容的服務領域取得競爭優勢。本文對大數據處理技術和在運營商數據處理領域的應用進行了研究，為相關研究人員提供參考。

2 大數據處理關鍵技術

大數據處理任務要解決大數據的采集、存儲、統計和模型計算帶來的挑戰。比如，在典型網絡優化大數據應用系統中，單個數據表大小平均在130 GB左右（1∶5數據壓縮配置），最大單表超過500 GB，數據的增加、更新和查找都需要利用分布式存儲系統來執行。每天原始數據的采集量在PB量級左右，入庫數據在幾億量級，而集群I/O峰值在每秒幾萬量級，必須采用流式計算和內存數據庫進行緩沖和優化。復雜統計和模型的計算往往要求對原始數據進行多階段匯總計算，如果將中間計算結果存回磁盤很難滿足計算時間的要求，也需要借助內存計算技術完成。因此，運營商大數據處理系統是在上述計算技術快速發展的基礎上實現的。

2.1 分布式存儲系統對業務系統的支撐

運營商大數據通常存儲在 MPP （massive parallel processing）數據庫（如Greenplum、GBase數據庫）或基于GFS和Big Table原理[2]實現的開源組件Hadoop文件系統和HBase數據庫中。這兩種分布式存儲系統都是將運算分布到集群各個節點中獨立運算后進行結果合并，但是在運營商大數據處理系統中使用的情景有所不同。MPP數據庫在數據并發寫入速度（特別是單行字段較多時，中小MPP數據庫集群只能完成每秒幾千次寫入），集群最大可擴展節點、數據存儲總量上都比Hadoop/HBase小。但是MPP數據庫支持SQL語言進行數據查詢且查詢速度很快，構建數據分析業務系統比較方便。所以，運營商大數據處理系統可以使用Hadoop/HBase來存儲原始日志數據文件或原始測量數值。而使用MPP數據庫存儲加工匯總后的經營分析數據或重要網絡指標匯總數據。

Google的Spanner/F1[3,4]系統示范了一個分布式關系型數據庫。它改進了Big Table存儲架構，并且支持事務性操作和全球分布的OLTP和OLAP能力，實際上融合了上述MPP和Hadoop/HBase的優勢,開源社區正努力提供穩定的開源實現供運營商大數據工程選用，是取代MPP/NoSQL數據庫混搭的一個重要方向。

2.2 內存計算技術的發展

大數據數據處理時間通常面臨如下挑戰：當前數據處理必須在下一階段采集的數據到來之前完成或同步完成；必須充分利用集群的I/O資源完成大數據讀寫，又不能超過I/O負荷，造成數據的丟失；滿足實時業務的計算反饋。

內存計算[5]利用分布式內存通過改進存儲模型和并行編程模型，將大數據盡量保留在內存中進行緩存和處理，從而盡量避免I/O操作的一種新型的以數據為中心的并行計算模式。內存計算技術對大數據處理提供了以下助力。

·大數據處理系統可以利用分布式內存數據庫，如Redis集群緩存數據處理中間結果或常用配置參數，只在必要時才寫回硬盤，從而減少磁盤I/O操作，極大地縮短大數據的匯總和模型計算時間；也可以借助memcached緩存熱點內容，加快對用戶的反饋。

·MapReduce計算模型可以利用廉價的集群構建高性能的數據處理系統。但是在對時延和吞吐量要求較高的應用中，HaLoop[6]、Spark等在內存迭代處理數據的通用系統更有優勢。比如利用Spark處理數據時，只需要一次從文件系統中讀取數據，Spark將中間結果緩存在內存中，直接用于下一階段的算子操作，可以快速完成計算任務。

· 運營商日志和測量數據的產生處理過程呈現明顯

的數據流特征，且并發采集量較大。如果使用通常的并發采集技術，20個并發進程向集群寫入數據就可能造成中小數據庫集群 I/O擁塞而丟失原始數據,實際數據處理系統數據量通常需要200個采集進程同時工作。利用Storm或Spark Streaming技術配合Kafka等分布式消息系統可以緩沖采集數據，實時匯總數據指標的任務。

2.3 機器學習算法的應用

機器學習理論在互聯網推薦系統、社交網絡的挖掘、機器翻譯領域取得了重要成果。事實上，運營商在網絡規劃、建設和優化的過程中積累了大量的運維經驗。在小數據集上利用聚類、分類、回歸分析等方法十分常見，但是如何在大數據上利用機器學習方法進行數據規律的挖掘并指導工程實踐還是一個挑戰。主要困難是電信領域專家經驗的提取、算法并行化、工程實現等問題。通過在運營商大數據上使用機器學習算法可以為運營商充分挖掘網絡數據應用潛力、開拓互聯網業務提供基礎的數據支撐。其應用前景十分廣闊。

2.4 大數據技術對運營商數據處理系統架構的改進

表1對支撐運營商規劃和優化等傳統業務所需要分析的主要數據量進行了估計，利用上述大數據處理關鍵技術改進后的典型的運營商數據分析平臺，如圖1所示。

表1 運營商主要數據類型與數據量估計

圖1 運營商數據處理系統的架構演進

傳統數據分析平臺，如經營分析平臺或網管支撐平臺主要以關系型數據庫為主構建，隨著所需要的數據量增加，在數據存取速度和處理速度上均面臨巨大壓力，主要通過周期性的擴容來應對計算量的增長，通常集群數量很難超過100臺，不能滿足需求。引入新計算組件后（如圖1陰影部分），實時處理要求較高的采集數據可以將解碼后的數據先投遞到Kafka分布式消息集群中，利用流式計算或內存計算進行小時或天粒度的基礎數據匯總操作，可以將以前需要三四個小時才能計算結束的計算任務縮短到15 min以內，處理時間大大縮短。利用Hadoop集群進行MapReduce批處理計算，可以將非結構化或半結構化的日志數據，如重要網站訪問日志、市場一線人員的工作日志、爬取的互聯網數據等納入基礎分析數據中，為傳統業務帶來了新的支撐手段。

3 運營商大數據技術應用

3.1 大數據技術對運營商傳統業務的支撐

3.1.1 大數據技術在網絡規劃業務中的應用

傳統上，運營商規劃業務每年進行一次，本年度結束前完成下一年度的業務發展規劃和網絡建設規劃。傳統的規劃業務流程如圖2所示。業務發展指標確定后，分解到地市公司。各地網絡建設根據業務指標要求進行工程實施。但是隨著市場競爭的加劇和經營成本的約束，需要進行精細化的規劃工作。比如一個地市的市場潛力有多大，如何合理地制定年度業務目標；如何對集團客戶潛在價值進行評估，在市場推廣成本一定的情況下，指導市場人員優先發展最有價值的客戶；投資預算確定的情況下，如何將有限的建設資金用于新建和擴建最能帶來價值的通信基站；如何根據競爭對手的情況，按月調整投資規劃適應市場競爭等。

傳統的規劃工作主要是提取過往公司經營業績指標等數據進行小數據集的業務分析來完成。大數據處理技術為改進規劃工作提供的可能。政策經濟要素 （如GDP、 CPI）、社會環境要素（如人口規模消費、家庭戶數）、自然地理要素（如城區面積、人口密度）、消費行為要素（如人均收入、人均電信消費支出）和一線片區經理的工作日志、競爭性要素（如競爭公司的基站位置、廣告推廣的趨勢分析）、基站價值分析數據等多維數據都可以參與到規劃運算中。通過文本大數據處理技術和Hadoop/MR處理的非結構化數據，如一線市場經理工作日志或從互聯網抓取的競爭對手廣告信息，可以及時了解競爭公司的競爭策略，迅速調整規劃方案。

圖2 運營商傳統規劃業務流程

這種依賴于大數據處理技術對傳統電信規劃業務的改進主要體現在更多的非結構化數據和公司外經營環境數據可以被采集和運算，規劃業務可以精細化到高價值的樓宇和高價值的基站粒度，為節約投資，低成本發展用戶提供了數據支撐。如何在大數據上構建多維數據模型，篩選出影響電信業務指標的關鍵環境因素，如何通過降維方法，加快數據處理仍然是行業探索的重點。

3.1.2 大數據技術在網絡優化業務中的應用

傳統的網絡優化工作主要依靠網絡性能監控系統、路測系統和用戶投訴系統來發現網絡問題，優化成本較高，且隨著網絡數據規模日益增加，數據處理速度不能滿足網絡問題快速處理的要求。當用戶網絡感知出現惡化時，運營商很難及時發現。

基于大數據的網絡優化平臺主要通過流處理技術實時采集分析性能、資源、MR測量數據和信令數據，利用Spark等內存計算模式進行關鍵指標的匯總，通過固化成熟的網絡優化模型和開發自動化參數優化工具完成傳統的網絡優化目標。指標匯總和網絡問題發現的速度可以由小時級提高到分鐘級，可以實現實時用戶網絡感知指標的監控與優化。目前大數據處理主要嘗試用于支持重大節日和事件的通信保障，實施虛擬業務撥測，進行用戶網絡感知管理和故障快速定界，自動發現并選點改善4G室內弱覆蓋等問題，取得了良好的效果。

制約大數據處理在傳統網絡優化領域的應用的主要問題是數據的完整性和規范性需要進一步提高，用戶定位算法與多數據源的關聯分析技術準確性有待提高。此外，固化網絡優化專家的優化經驗，通過優化模型，自動發現網絡優化問題，完成溯源、定界、派單也是網絡優化自動化的研究方向。

3.2 大數據技術對運營商新業務開展的支撐

運營商擁有自營的互聯網基地業務和寬帶業務，從原始數據中分析得到的用戶業務偏好有助于幫助業務的營銷推廣。如通過信令、經分、網絡和終端、位置數據，結合用戶的基本性別、年齡等信息，可以將用戶閱讀和消遣偏好進行分類，通過協同推薦等方法給用戶推送圖書、音樂、視頻和寬帶產品，從而提高產品的交易成功率。實踐表明，利用位置數據支撐精準寬帶業務營銷通常可以將新增交易提升10%～20%。

在進行必要的用戶隱私處理后，用戶的位置信息、通話通信記錄等也可以包裝為征信[7]、旅游、廣告等行業信息產品對外提供服務。如為互聯網金融公司提供個人征信信息，或為旅游管理部門提供實時客流監控、客戶歸宿地分析、景區客戶軌跡分析等。運營商自有的網絡信息有可能不能完全滿足各個行業的數據需求，還需要與電商、搜索和社交網絡的用戶數據結合。在運營商難以整合各方數據資源的情況下，比較好的業務開展模式是借鑒氣象機構的數據服務方式，為各行業提供應用統計排名、用戶偏好等“特供”分析數據。

4 結束語

大數據處理技術為運營商傳統規劃和優化業務、互聯網新業務的開展提供了新的手段，有利于降低成本、提升用戶滿意度，并可以對外輸出信息服務，帶來新的收入增長。但是，運營商大數據的可靠性、規范性尚需完善，傳統數據分析模型在大數據上應用也需要進一步驗證。此外，大數據商業模式選擇也需要進一步探索，通過運營商的連接優勢整合行業數據獨立提供數據服務或者對外提供“特供”數據服務都是值得探索的新方向。

[1]GARCIA H,LUDU A．The Google file system[J]．ACM Sigops Operating Systems Review,2003,37(5):29-43．

[2]CHANG F,DEAN J,GHEMAWAT S,et al．Bigtable:a distributed storage system for structured data[C]//Usenix Symposium on Operating Systems Design and Implementation,November 6-8, 2006,Seattle,USA．New Jersey:IEEE Press,2006:15．

[3]CORBETT J C,DEAN J,EPSTEI N,et al．Spanner:Google’s globally-distributed database[J]．ACM Transactions on Computer Systems,2013,31(3):251-264．

[4]SHUTE J,VINGRALEK R,SAMWELB,etal．F1:a distributed SQL database that scales[J]．VLDB Endowment, 2013,6(11):1068-1079．

[5]羅樂,劉軼,錢德沛．內存計算技術研究綜述 [J]．軟件學報, 2016,27(8):2147-2167．LUO L,LIU Y,QIAN D P．Survey on in-memory computing technology[J]．Journal of Software,2016,27(8):2147-2167．

[6]BU Y,HOWE B,BALAZINSKA M,et al．HaLoop:efficient iterative data processing on large clusters[J]．VLDB Endowment, 2010,3(1-2):285-296．

[7]陳一昕,谷靜宜,王蕾,等．基于中國聯通大數據的個人征信評估方法[J]．信息通信技術,2015(6):36-41．CHEN Y X,GU J Y,WANG L,et al．Personal credit rating based on big data of China Unicom [J]．Information and Communications Technologies,2015(6):36-41．

魯萌，現就職于中國信息通信研究院，主要研究方向為大數據處理技術。

陳彥名（1981-），女，中國移動通信集團設計院有限公司高級工程師，主要研究方向為平臺級云軟件架構、大數據處理技術、數據網管接口測試標準制訂。

Research on operators’big data technologies and applications

CHEN Tao1,LU Meng2,CHEN Yanming1
1.China Mobile Group Design Institute Co.,Ltd.,Beijing 100080,China2.China Academy of Information and Communication Technology,Beijing 100191,China

The rapid development of big data technology provides fast mass data processing method for operators’traditional businesses,such as network planning and optimization,but also laid the data foundation for new businesses,such as credit,personalized recommendations,internet services.It is important to the development of the industry.The big data processing cutting-edge technology was studied,relative engineering experience and key issues were introduced,reference for other researcher was provided.

big data processing,network planning,network optimization

TP311.13

A

10.11959/j.issn.1000-0801.2017002

陳濤（1976-），男，博士，中國移動通信集團設計院有限公司高級工程師，CCF會員，主要研究方向為大數據處理技術、信息安全技術。

2016-11-10；

2016-12-07