通信企業大數據平臺的建設與應用研究

劉青

【摘要】 ? ?隨著大數據行業的興起和生活上的廣泛運用，以大數據的理念和技術，持續完善通信企業數據的匯聚和治理，有利于加強數據核心能力建設，提升平臺智能化水平;持續加強大數據能力開放，深化大數據智慧應用，促進市場使能、提升管理效能、加強一線賦能、助力通信企業全面智慧化。

【關鍵詞】 ? ?需求分析 ? ?建設方案 ? ?大數據平臺

一、企業大數據平臺

當前企業正處于大數據時代環境中，通信企業對擁有海量數據要合理利用，在經營決策過程亟需加快創新，當前已經具備了明顯的數據驅動特點，業務部門對于數據的時限要求越來越高，這些要求給IT系統帶來的是海量待處理的歷史數據、復雜的數學統計和分析模型、數據之間的強關聯性以及頻繁的數據更新產生的重新評估等挑戰。同時，隨著相關技術的發展，如何利用大數據賦能，構筑企業數字化能力，提升中臺能力，夯實智慧運營基礎，高效支撐企業智慧運營，是亟待解決的問題。

二、構建大數據平臺的需求與可行性

2.1必要性分析

一方面，目前隨著通信企業對數據應用的深入，已完成DPI、信令、網優、客戶接觸、B/M/O域等數據的全面匯聚，數據量大、數據種類多、數據應用實時性要求高，但通信企業現有數據處理和分析系統已經無法全面滿足要求，需要完善的大數據平臺，建設大數據能力，來滿足大批量數據處理和應用需求。

另一方面，數據驅動企業建立協同推進的智慧運營體系，企業的智慧運營涉及到企業的營銷服務、網絡運營、企業管理和開放合作等各個領域，大數據應用需求旺盛，需要IT部門與業務部門緊密協作，深入開展精準營銷服務、精益網運、精確管理等大數據應用，構建通信企業大數據平臺可以促進企業智慧運營，充分發揮數據在日常運營工作中的價值，助力業務發展，營造企業智慧運營的良好環境。

2.2需求與原則分析

通信企業大數據平臺主要在于解決企業在數據能力開放、基礎能力、運維管理、安全管理、關聯處理和數據挖掘建模6大方面的基礎能力的需求，因此，基于“集中、開放、云化”，按照“平臺+應用”的模式，大數據平臺建設將以應用驅動、數據集中、能力開放、使用安全為原則進行建設。

應用驅動：以業務應用為驅動，統一匯聚和處理企業各類數據，并逐步豐富大數據應用。

數據集中：構建統一架構、統一標準、統一元數據、統一質量的數據體系，實現企業數據的集中采集、集中存儲、集中處理，實現跨專業的數據關聯。

能力開放：構建開放化的能力平臺，以支撐多團隊的應用開發。通過數據能力開放、服務能力開放、應用能力開放，滿足企業數據應用需求。

使用安全：在數據采集、存儲、處理、應用等環節強化數據安全管理。

2.3可行性分析

技術可行性方面，當前大數據平臺技術具備了離線批處理、實時處理、高速查詢能力，具備網優、OSS域、CRM域、大數據應用等系統提供公共大數據處理支持的條件。

社會可行性方面，國務院先后出臺了《中國制造 2025》、《國務院關于積極推進“互聯網 +”行動的指導意見》等政策，《中國電信大數據平臺技術要求》也提出建設指引，需繼續對企業數據分析系統平臺進行架構優化，加快向“平臺+應用”的模式轉變，盡快完成IT大數據平臺向互聯網架構的演進，并增強大數據平臺基礎能力和數據深加工能力以及對外應用支撐能力。

三、企業大數據平臺建設思路與目標

本大數據平臺的總體架構如下圖1所示。

建設目標包括如下幾點：

1.統一平臺基礎能力，強化計算、挖掘及系統管理能力;2.統一核心處理能力，整合各系統的數據分層體系;3.加強數據管理，強化元數據、數據標準和數據質量管理，落實主數據管理;4.加強安全管理，完善安全相關功能，實現數據開發、測試、應用的安全;5.完善數據、服務和集成開發環境的能力開放;6.統一數據門戶，整合數據交換平臺/核心處理系統/大數據門戶入口。

四、通信企業大數據平臺建設內容

通信企業大數據平臺建設內容主要基于原數據分析系統的應用層、中間層、整合層和接口層四個方面的改進升級，其中整合層包括優化整合層基礎模型，擴展整合力度，新增O域、B域交易類等整合寬表，完善DPI行為類整合寬表，統一數據清洗，統一轉換規則，提升數據準確性，降低系統負載壓力;中間層主要從業務主題、應用業務場景等多角度構建中間層模型，完善用戶標簽體系，提升應用成效，為支撐精準管理、精準營銷奠定基礎。

大數據平臺建設包含了能力開放、基礎平臺、運維管理、數據關聯處理能力4大能力，分別如下：

1.能力開放：基于大數據Pass平臺能力，完善服務開發框架，構建服務提供方OPEN API服務、服務消費方API/HTTP服務管理界面，優化服務目錄管理，提升生產注智能力、服務安全保障等級。

2.基礎能力：擴容平臺基礎能力，完善并升級數據治理平臺與能力建設，加強平臺數據安全管理，加固各組件漏洞，提升平臺組件的安全防控能力。。

3.運維管理：完善平臺運維管理能力，探索新型監控指標管理工具，優化現階段監控指標，提升監控可靠性。

4.利用大數據平臺，構建以政企客戶為中心的指標體系，增加5G業務模型，圍繞5G用戶、收入、行為軌跡，5G+應用等進行模型建設，提升無線網優大數據建設能力。

五、通信企業大數據平臺應用研究

5.1 完善能力開放體系，擴大能力開放范圍

通過統一數據交換流程，開放數據采集及計算程序的調度能力，提供大數據基礎平臺從數據采集到定時調度處理的功能開放，提供更為便捷的開發者用戶工具，實現用戶開發腳本管理、版本維護、可視化腳本編輯等，提高開發效率，開放服務開發能力，基于大數據平臺的實時查詢服務提供，開放便捷高效的數據并發查詢能力。

5.2 加強基礎能力建設，優化平臺運行效率

提升了集群存儲與計算能力，優化整合大數據平臺基礎組件，升級大數據組件版本，提升集群運行效率，通過完善Spark實時計算框架，優化平臺數據處理引擎，提升應用數據計算處理效率，統一并整合大數據各基礎組件模塊至大數據門戶，構建數據可視化工具，整合并優化數據展示工具，基于自定義報表與圖形化方式優化大數據展示能力，提供可配置動態拖拽的數據可視化引擎以及加挖掘組件能力，支持Python數據挖掘能力與建模，優化調度能力，完善大數據平臺與傳統關系型數據庫處理能力的串聯調度引擎，實現數據處理流程的統一。

5.3優化運維管理能力，提升平臺效率與安全

通過完善統一運維管理與監控平臺，優化平臺運維管理能力，提供了運維指標的配置能力，擴展運維監控管理，提供服務器、組件、服務等基礎平臺監控。基于用戶訪問、應用連接、服務查詢等平臺操作使用提供有效的運維監控。

基于大數據基礎平臺及集群組件的密鑰管理能力，和基于多租戶的用戶KDC授權認證與訪問管理能力，為通信企業大數據平臺提供了密鑰的管理及自動化運維分發能力。構建應用大數據平臺提升了通信企業的數據使用安全，實現數據授權分離，完善平臺運營及權限租戶管理，分離生產與開發數據權限，提供數據同步與加解密訪問機制，保障數據安全。

5.4完善企業大數據挖掘能力，支撐模型構建

構建應用大數據平臺進一步完善了通信企業大數據標簽體系構建，提供基礎標簽處理以及實時標簽處理結果輸出。以應用為驅動，通信企業可以構建用戶標簽體系，協助構建用戶策反、終端營銷、位置營銷、O2O營銷模型，協助O2O營銷工作。幫助企業加強用戶互聯網行為洞察，深化電渠精準營銷場景構建，助力互聯網卡業務發展。

另外，基于用戶渠道行為數據，通信企業可以進一步優化用戶偏好渠道識別，刻畫用戶偏好渠道及偏好程度等標簽，支撐精準營銷。通過分析用戶使用支付寶、愛奇藝、百度等APP的行為及流量數據，結合用戶當前的消費記錄，構建基于客戶細分的精準營銷模型。

六、結束語

大數據平臺的不斷改進、完善和發展，將為通信企業帶來如下一系列的經濟效益：基于大數據平臺能力組件、數據目錄及應用服務，以資源隔離、數據權限獨立的形式進行第三方租戶的接入訪問與使用，減少系統建設的重復性;從集群、平臺、組件、租戶資源、數據交互、應用查詢等訪問建立起一套高效的運維管理監控機制，可靠地保障了大數據平臺及應用支撐的穩定運行;面向精準營銷服務、智能決策支持、精益網運提供營銷服務商機、輔助決策知識、客戶感知指引，通過注智能力嵌入生產執行系統，讓數據貫穿企業生產、經營、管理的全過程，促進企業的智慧化運營。帶來的社會效益包括：通過企業大數據平臺的建設有助于匯聚各域數據，避免重復的系統建設與資源的浪費，有利于運營商發展和開拓新市場，提升經濟效益，有效地使用人力、物力、財力等各項資源，滿足不同消費者不斷變化的需求。

對通信企業來說，大數據代表的不僅是一種先進的數據處理技術，而更多的是一種管理理念的變革。搭建大數據平臺可以幫助通信企業構筑企業數字化能力，提升中臺能力，夯實智慧運營基礎，高效支撐企業智慧運營。

參 ?考 ?文 ?獻

[1]段旭哲.淺析大數據在移動通信中的應用[J].科教導刊：電子版，2016（24）：135-135.

[2]黃倩蓉.大數據在移動通信中的應用[J].黑龍江科學，2015（3）：28-29.

[3]丁洪濤.大數據在移動通信中的應用研究[J].中國新通信，2016，18（11）：97-97.

[4]中國電信大數據：打造數據綜合平臺能力[EB/OL].[2017-03-13].

[5]姚逴炯.大數據在電信運營商市場分析及精確營銷的應用研究[J].商業經濟，2014