共享開放的運營商大數據平臺架構研究

廣東省電信規劃設計院有限公司 廣州 510630

引言

近幾年來，大數據以排山倒海之勢席卷全球，如何合理地將大數據轉換為有價值信息成為未來企業的必備技能。作為擁有豐富大數據資源的電信運營商，大數據浪潮既提供了巨大的機遇，也帶來了巨大的挑戰。一方面互聯網技術不斷發展，移動互聯網時代迅速到來，加劇了OTT業務對電信業務的挑戰。電信運營商面臨長期的量收剪刀差，收入增長乏力，急需開源(創新商業模式/新產品)、節流(提升精確管理水平/精準營銷能力/運營效率)，這些使得大數據的廣泛應用有著迫切的內在需求驅動。另一方面，大數據的4V+1C特性，對運營商的IT系統技術架構和管理模式都提出了巨大的挑戰[1-2]。移動互聯網發展趨勢、海量數據處理和分析需求、互聯網化戰略的推進，對運營商IT系統架構在敏捷性、開放性、可擴展性、低成本等方面提出了新的要求。同時，大數據應用的規模效應、技術復雜性和管控要求等也對大數據系統集約化建設和運營提出了要求。

當前，大數據技術日趨成熟并快速發展，大數據業務模式和應用場景日趨清晰。運營商如何在新形勢下，構建適應未來大數據戰略推進的大數據平臺，支撐對內對外的數據服務，成為迫切需要解決的問題。

1 國內運營商大數據平臺現狀與發展要求

1.1 運營商大數據平臺現狀概述

2011年大數據興起以來，國內各運營商緊密跟進大數據技術發展，推出了各自的大數據發展戰略，并積極試點和推廣大數據應用。總體而言，當前，國內各運營商大數據建設與應用正處于從試點向大規模建設、推廣過渡階段。

運營商大數據具有廣闊的應用前景。運營商具有用戶的賬戶、業務使用和行為數據以及位置、網絡體驗等數據。通過對這些數據進行加工處理、分析挖掘，可實現對內提供面向企業內部的客戶行為和消費特征的分析挖掘，實現精準分析、精確營銷、精細服務等數據應用業務需求。對外通過與廣告、實地銷售、金融和咨詢等多行業進行合作，可快速實現大數據資產的增值，提高企業經營效益和市場競爭能力。

從應用場景角度分析，當前國內各運營商大數據應用仍主要以內部應用為主。分布式聯機日志采集/存儲、分布式ETL、上網清單查詢和歷史數據查詢等較簡單的應用場景已較普遍和成熟[3-6];網絡運營分析、流量經營分析和用戶行為分析等分析型應用場景正處于試點推廣階段。

從建設模式角度分析，當前各運營商大數據類平臺建設除少量系統采用集約化、平臺化建設外(如聯通總部流量查詢平臺、移動北方基地大數據平臺等)，多為分散建設、單應用集群模式(為單個應用部署一個大數據集群)，專業區隔、數據分散(各集群存儲單一數據源)。

從系統架構角度分析，運營商傳統數據分析系統以SMP關系型數據庫和一體機等MPP數據庫為主，初期大數據技術引入主要用于解決傳統數據倉庫處理能力不足問題，整體系統架構采用混搭模式。Hadoop等新型大數據技術主要應用于簡單場景和基礎數據處理，復雜的數據分析仍主要基于傳統的SMP架構和MPP架構。某省級運營商EDA總體架構如圖1所示。

圖1 運營商省級分公司EDA架構示意圖

1.2 存在問題與發展要求

當前大數據系統建設模式與系統架構存在缺乏整體規劃、技術體系雜亂、容易形成數據孤島、整體運維困難和容易重復投資等缺點。

新形勢下，隨著大數據應用的推進，大數據平臺需要面向企業內外部提供大數據服務，系統需要向共享的大數據中心和開放的大數據能力平臺演進，如圖2所示。

圖2 大數據平臺演進示意圖

運營商共享化、開放式大數據平臺必須具備如下特性。

1)集約化。數據集約，統一匯聚企業各專業數據;平臺集約，由統一平臺支撐大數據資產管理;應用集約，對內對外應用整體規劃與集約管控。

2)開放架構體系。面向服務，對內、對外提供數據共享與數據服務開放能力。

3)提供多計算框架支持的PaaS(Platform as a Service)服務。支持離線批量處理、流式處理、在線處理和交互式探索等多種計算框架;提供多租戶管理模式下的PaaS服務。

4)提供標準化、組件化的DaaS(Data as a Service)服務。基礎數據處理和業務處理能力組件化，支持服務能力流程化、可視化配置與封裝;面向應用，提供個性化推薦、實時位置營銷等數據服務支撐。

5)平臺統一管控。包括整體計算框架的管理，任務工作流的靈活管理和調度，平臺基礎資源管理(如網絡、內存、CPU等)，平臺統一監控與告警方案，應用快速部署支撐等。

6)低成本、高并發、高性能和高可擴展性。

7)基礎平臺技術/產品選型具備良好的產業生態系統支持。

2 大數據技術新動態與選型分析

2.1 大數據技術趨勢概述

大數據時代，數據的處理與應用方式均產生了巨大的變化。但從本質上看，大數據工程技術的變革仍主要體現在數據管理方面，數據分析模型和算法本身沒有大的突破，主要是提升算法的執行效率及并行化。近年來，從計算存儲角度，大數據的數據管理演進如圖3所示，針對不同場景發展出不同的計算框架。如為解決傳統數據倉庫無法滿足大體量下的交互性問題，引入MPP ShareNothing數據倉庫，將數據與計算進行分布化;為滿足高交互性、高時效性要求引入內存分析型數據庫;面向結構復雜、計算復雜、計算/存儲線性擴展需求，引入并行批量處理/NoSQL技術;面向原始數據體量巨大的實時響應要求提出流式處理技術等[7-9]，如圖3所示。

圖3 數據管理(計算存儲層)的演進示意圖

學術界和業界不斷研究推出新的和改進的計算模式和系統工具平臺，目前主要有以下三方面的重要發展趨勢和方向[7]。

1)主流的Hadoop平臺改進后與其他計算模式和平臺共存，繼續作為近期大數據解決方案的主流。Hadoop2.0新版本“YARN”的出現，極大地提升了Hadoop生態系統的適用性。各商業MPP產品也紛紛加強與Hadoop的融合。預計今后相當長一段時間內，Hadoop平臺將與各種新的計算模式和系統共存，并相互融合，形成新一代的大數據處理系統和平臺。

2)混合計算模式將成為滿足多樣性大數據處理和應用需求的有效手段。當前混合計算模式之集大成者Spark系統涵蓋了幾乎所有典型的大數據計算模式，包括迭代計算、批處理計算、內存計算、流式計算、數據查詢分析計算以及圖計算。隨著系統的不斷穩定和成熟，Spark有望成為與Hadoop共存的新一代大數據處理系統和平臺。

3)內存計算將成為高實時性大數據處理的重要技術手段和發展方向。隨著內存成本的不斷降低，內存計算將成為最終跨越大數據計算性能障礙、實現高實時高響應計算的一個最有效技術手段。內存計算是一種在體系結構層面上的解決方法，因此，它可以與各種不同的計算模式相結合。

2.2 改進的Hadoop生態系統與Spark

Hadoop2.0及以上版本的發布與更新，使Hadoop在業務場景適應性上有了質的飛躍[8]。Hadoop2.0核心由HDFS、MapReduce和YARN三個分支構成，其核心提升點包括以下三部分。

1)HDFS v2。支持NameNode HA，支持NameNode Federation，解決單點故障問題，提升了集群擴展能力。

2)MapReduce v2。MRv2變成運行于通用資源管理框架YARN之上的計算框架MapReduce。YARN負責資源管理和調度，而MRv2僅負責作業的管理，作業與資源耦合度更低。

3)YARN。通用資源管理模塊，可為各類應用程序提供資源管理和調度功能。YARN通過Container實現資源動態管理和分配，而Hadoop1.0資源按Slot分配，只能實現資源的靜態管理和分配。YARN支持一個集群部署多個版本，計算資源按需伸縮，不同負載應用混搭，共享底層存儲，避免數據跨集群遷移。

Hadoop2.X的新特性，以及學術界、業界和Hadoop社區對基于Hadoop生態系統計算模式框架和平臺的擴展，使Hadoop2.X技術架構支持多種成熟的計算模式，如適合交互式查詢和分析的Tez、Impala，流式計算Storm、S4、內存計算Spark等，如圖4所示。

Spark當前已發展出較成熟的完整生態系統。比較Hadoop框架，Spark框架具有如下特點。1)Spark的中間數據放到內存中，對于迭代運算效率更高;2)Spark的彈性分布數據集(RDD)，使其更適合于迭代運算比較多的ML和DM運算;3)Spark提供的數據集Transformations和actions操作類型更多，上層應用開發更方便;4)各個處理節點之間的通信模型更多樣化，編程模型更靈活。

Spark可以直接對HDFS進行數據的讀寫，同樣支持Spark on YARN。讓Spark運行于YARN上與Hadoop共用集群資源可以提高資源利用率，如圖5所示。

圖5 Spark on Yarn示意圖

綜上所述，改進的Hadoop生態系統與Spark的興起，使電信運營商以開源生態系統為基石，建立統一融合的大數據平臺成為可能。

2.3 大數據平臺技術選型分析

如前所述，隨著運營商集約化、互聯網化等策略的推進，大數據平臺面臨的數據處理體量急劇增長。以某運營商為例，其集約大數據平臺2015年面臨的數據處理需求單移動DPI數據增量就達到100T/天;同時為滿足對內對外經營需求，平臺需要支撐批量和實時處理等多種計算場景需求。面對如此龐大的數據規模和支撐需求，典型解決方案對比如表1所示。

表1 典型解決方案對比分析

綜上所述，未來運營商大數據平臺建議采用以Hadoop為核心的融合化技術方案。現有傳統數據倉庫、MPP數據倉庫可作為大數據平臺的數據服務對象，主要專注企業經營分析或專業數據集市應用。

3 共享開放的大數據平臺架構設計

3.1 大數據平臺總體架構

綜合前文業務支撐新要求與技術發展趨勢、技術選型分析，設計運營商大數據平臺總體架構如圖6所示[9-10]。

圖6 總體架構示意圖

系統由下到上依次為數據采集層、基礎平臺層和數據平臺與服務層;其中基礎平臺層為PaaS層，包括基礎設施域和基礎平臺管理域;數據平臺與服務層為DaaS層，包括數據處理域、數據服務域與數據平臺管理域。各域主要功能及特點如下。

1)數據采集層。實現數據接入、負載均衡、清洗過濾、內容脫敏和數據稽核等功能，實現海量原始數據安全高效地采集、傳輸。

2)基礎設施域。基于X86和開源軟件提供海量數據的存儲和計算能力，支持批量計算、流式計算和內存計算等多種計算模式框架要求，提供PaaS基礎能力。

3)基礎平臺管理域。提供PaaS服務能力，主要包括能力管理、資源管理、任務管理、數據管理、安全管理和系統管理等功能;實現基礎平臺和應用的隔離，無需訪問基礎平臺即可實現應用的開發、測試、運行和維護。

4)數據平臺與服務層。

a)數據處理域。對數據進行加工處理，生成應用所需要的結果數據;面向公共數據的處理和特定應用數據處理，提供數據服務基礎能力組件庫和數據處理、分析規則和模型庫，提供DaaS基礎能力。

b)數據服務域。提供DaaS服務能力，包括提供多種方式訪問應用所需要的結果數據，基礎數據處理能力的服務化封裝與管理，數據服務能力開放管理等。

5)數據平臺管理域。提供全流程、全生命周期的數據管理能力;支持大數據的經營管理。

3.2 技術架構

對應于系統功能架構，相應的技術架構如圖7所示[11-12]。

圖7 總體技術架構示意圖

平臺技術架構采用開放理念，以融合的支持多計算模式的Hadoop為基石，基于X86服務器，構建面向集約管理、數據共享與能力開放的低成本、高性能和高可擴展性大數據平臺。各部分主要特性說明如下。

1)采集層。支持FTP/SOAP /MQ/JDBC/爬蟲等多種數據采集方式;支持分布式數據采集、加載和轉換。

2)數據計算/存儲集群。提供數據存儲與計算功能，整體以Hadoop為核心構建大數據基礎設施，基于HDFS提供數據統一存儲能力，支持SQL、M/R、Spark內存計算、實時流計算、數據挖掘等多種計算模式;基于YARN統一資源管理調度，具備多租戶模式支撐數據應用能力;基礎數據處理和業務處理能力組件化，支持服務能力流程化、可視化配置與封裝;支持基于消息/事件驅動的進程調度。

3)數據共享與數據應用服務。通過統一的共享與服務框架對外服務，支持如Impala、Hbase和K-V數據庫等集群，并提供通用API接口對外開放。

4)監控管理。對平臺任務進行實時監控，記錄各種日志信息，保證數據質量、數據安全，并實行統一調度管理。

基于面向服務技術、業務能力以能力封裝形式由平臺完成裝載上線，并使用標準接口進行進程拼接，組裝成完整業務流程。進程間使用內存數據進行交互，減少IO開銷;平臺提供統一的進程調度及日志服務管控。如圖8所示。

圖8 能力組件與業務流程關系示意圖

平臺按照多租戶部署模式承載不同部門、不同合作伙伴的應用，并支撐通過統一的管理平臺進行程序部署管理，包括資源分析、數據自動遷移和共享，任務統一定義和監控、調度，系統集中監控和運維。實現應用開發和平臺管理隔離，應用開發團隊通過基礎平臺管理系統提供的Web界面，完成開發、測試、運行和運維管理等所有工作，基礎平臺管理系統提供強制的安全、資源、數據、調度等控制策略，確保平臺本身的安全、穩定運行，如圖9所示。

圖9 多租戶應用部署管理示意圖

3.3 服務能力與應用支撐框架

融合、共享與開放的大數據平臺可靈活提供大數據服務能力，支撐對內對外數據應用集約化服務，其中對內應用主要面向精確營銷、精準維系、網絡優化與效益評價等業務需求，對外服務主要面向數據查詢、數據咨詢和數據解決方案等應用。

大數據服務能力可分為資源能力和數據能力兩種形式，其中數據能力是大數據運營的關鍵。運營商大數據平臺應構建和持續完善數據服務能力組件庫與規則庫，作為企業大數據運營的基礎支撐工具。根據當前的大數據對內對外應用場景需求，基礎數據能力組件主要可包括規則/行為分析類組件(如URL分析組件、通話交際圈分析組件)、標簽類組件(如客戶行為標簽、興趣標簽)、客戶識別類組件(如寬帶LBS分析組件、AD-IP分析組件)、關鍵詞分析組件、統計挖掘類組件等，如圖10所示。數據服務能力組件域與服務開放域組成對內對外的DaaS服務框架并支撐上層SaaS應用。

圖10 數據服務能力組件與規則庫示意圖

3.4 應用實踐

某運營商正在采用上述思路構建集約、共享的大數據平臺，以支撐對內對外大數據經營。平臺完全采用以Hadoop為主的開源生態系統解決方案，系統設計日數據增量達到150TB以上，已承載多個深度大數據挖掘應用。下文以DMP(服務于實時競價廣告等業務的基礎數據平臺)業務為例，簡介平臺對應用的支撐方案與效果。

依托大數據平臺的強大處理能力和豐富的數據資產，DMP應用實現方案如圖11所示。DMP應用通過調用行為分析、標簽能力類算法模型與產品組件，使用PaaS層提供的批量處理與實時分析能力，生成面向第三方的多維標簽數據。平臺以多租戶模式滿足各DSP合作伙伴特定算法模型部署需求。DMP通過整合、關聯、匹配自有數據和第三方標簽數據，形成多維標簽體系服務能力，通過KV內存數據庫向DSP提供群組特征的命中查詢服務，從而滿足RTB互聯網廣告業務對精準數據的實時需求。

圖11 DMP支撐示意圖

根據前期試點測試與業務上線情況，驗證了該技術方案可行性，大數據基礎平臺滿足PB級數據處理和多應用場景支撐要求。基于該架構的DMP應用滿足對外“單服務器節點5萬TPS、10ms以內響應時間”的實時信息查詢服務要求。

4 結語

電信運營商的大數據平臺建設與大數據應用方興未艾，研究和探討適合運營商的大數據平臺架構具有重要的理論和實際意義。本文結合業界大數據動態與工程實踐，研究并給出了一種集約、融合、開放的運營商大數據平臺架構設計方案。由于各運營商當前IT系統架構的復雜性，以及大數據應用場景和技術的多樣性，完成向本文技術架構演進仍需綜合考慮實施復雜度、管理支持等諸多因素。后續將持續結合各運營商大數據工程建設和應用實踐進行研究總結。

[1]劉智慧.張泉靈.大數據技術研究綜述[J].浙江大學學報:工學版,2014,48(6):1-16

[2]陶雪嬌,胡要峰,劉洋.大數據研究綜述[J].系統仿真學報.2013(S1):142-146

[3]康尚欽,李軍,葉何亮,等.基于分布式計算的電信聯機采集系統設計[J].計算機與現代化,2013(01):91-94

[4]趙清,唐菁.電信業數據倉庫體系結構及關鍵技術研究[J].信息通信技術,2013,7(6):15-19

[5]馬又良.采用云計算技術構建大型數據倉庫平臺的探討[J].郵電設計技術,2012(07):15-19

[6]成靜靜.基于Hadoop的分布式云計算/云存儲方案的研究與設計[J].數據通信,2012(05):14-18

[7]中國計算機協會大數據委員會.中國大數據技術與產業發展白皮書(2013)[R]

[8]董西成.hadoop技術內幕:深入解析YARN架構設計與實現原理[M].北京:機械工業出版社,2013

[9]華為.大數據解決方案[R/OL].[2014-10-25].http://www.hwclouds.com/application/1356235944_16.html

[10]錢嶺.電信運營商大數據平臺和應用實踐[C]//2014中國數據庫技術大會,2014

[11]林仕鼎.大數據的系統架構支持[C]//第五屆中國云計算大會,2013

[12]明風.基于Spark on Yarn的淘寶數據挖掘平臺[R/OL].[2014-10-20].http://www.doc88.com/p-7804379529208.html