電信運營商大數據平臺規劃研究

張靜嫻 諸旻 曾振婷

【摘要】 本文首先介紹了大數據特點和發展，介紹了大數據思維轉變的環境下電信運營商發展大數據的驅動力，通過領先企業對標分析得出電信運營商大數據的啟示，結合大數據技術的發展，研究某電信運營商省公司大數據平臺的建設方案，最后提出了對大數據管理保障的一些思考。

【關鍵詞】 大數據 Hadoop 統一建模 智能化

一、我司建設大數據平臺驅動力

（1）解決數據分散問題

我司分別在OSS域、BSS域建設數據分析平臺，平臺煙囪式和數據孤島式的模式導致了數據和模型不共享、數據使用效率低下、應用競相開發等諸多問題。

（2）提升企業經營效率

各域數據互提頻繁（OSS和BSS之間互提數據達100多項，隨著市場營銷和網絡運維等活動的復雜度和精確度要求越來越高，互提需求還會日益加劇），而現網只能以周/月為時間單位進行接口互傳，域間開放的數據有限，嚴重影響企業生產活動，特別是無法支撐應用的突發性、臨時性需求。

（3）提升業務能力

通過大數據平臺建設，匯聚自有和外部大數據，實現大數據“自用”和“他用”，共同提升企業的業務能力，包括提升業務量、延長用戶生命周期、數據對外變現等。

二、我司大數據平臺規劃建設方案研究

2.1規劃原則

1）支撐由降本增效向外部服務延生的大數據應用；2）解耦應用與數據、平臺開放，寧可挪動計算而不挪動數據；3）分層分域：橫向分為功能域和管理域，功能域縱向又分為采集層、數據共享和存儲層、服務目錄層、應用層和展現層；4）架構混搭、技術開放：數據共享和存儲層采用基于云計算的“關系型數據庫MPP+Hadoop”混搭架構，同時技術上能適用未來至少5年大數據技術的主流發展；5）對于應用架構采用模塊化和標準化兩種設計原則；6）強調實時服務能力，包括服務過程中實時數據采集、實時分析、實時服務傳遞、自適應深度學習。

2.2規劃目標架構：

1）平臺分為功能域和平臺管理域；2）功能域分為采集層、數據存儲和處理層、服務目錄層、應用層、展現層；3）共享和存儲層分為：ETL、存儲層和計算、模型層；4）管理域主要包括：元數據管理、數據質量管理、安全管理、系統管理等。

2.3數據源規劃

1）內部生產運營數據，包括客戶、業務、產品、話單、服務營銷、行業應用、渠道等，采自BOSS、CRM、客服、電渠等系統。2）內部網絡承載數據，包括網絡資源、信令（Gn/ Gb/S1-U等）、省網/IDC/第三方出口流量數據、應用內容等，采自信令監測、DPI系統、綜合資源管理、性能管理等系統。3）內部企業管理數據，包括企業收入、運營成本、運營管理等數據，采自ERP、MIS、供應鏈、采購管理等系統。4）外部互聯網和政企數據，包括公開發布的互聯網報告、政府報告、行業數據（金融、交通、旅游等）、爬蟲爬取數據等。5）實時數據：客戶在線咨詢、查詢、 辦理的數據，關注客戶在各類社交媒體上的發言、在線的評論信息等等，還包括客戶交易過程中失敗的數據等。

2.4安全規劃

大數據平臺打破了原來各域的安全機制，增加了數據共享的風險和數據二級用途上的風險；工信部發布的《2014年大數據白皮書》也提到“為了釋放大數據潛力，監管的重點應該‘從數據收集環節，轉移數據使用環節”。大數據環境下主要面臨三方面安全風險：架構安全、數據安全、使用安全。

我司大數據平臺的安全主要從以下幾個方面進行考慮：1）數據存儲的安全：包括數據脫敏和數據加密。利用采集清洗及流處理的功能，可以實現對各個字段，針對性的脫敏處理，并且保證在數據進入hadoop之前已經是脫敏之后的數據；大數據平臺以HDFS為基礎，利用HDFS驅動提供的Format功能，實現hadoop云平臺系統級、業務級數據加密。2）平臺權限管理：外部客戶只能通過MR和HIVE兩種方式訪問電信運營商的數據，MR的權限控制比較困難，所以通過對HDFS的訪問權限來控制達到MR的權限控制的目的。3）數據訪問控制要求：平臺需要提供嚴格的數據訪問安全控制，用戶需獲得授權文件Token才可以訪問數據， 授權文件Token包含授權的表名、字段等數據訪問權限控制參數。授權文件Token提供有效期配置功能。

2.5大數據平臺建設思路

采取“初始規模較小、快速發現問題快速調整完善”的迭代機制開展建設。1）存儲資源：采用一步規劃一步到位的建設方式。大數據應用發展需要全量數據進行支撐，構建用戶統一視圖和標簽庫方便應用隨時調用，因此數據和存儲等剛性需求在建設初期就要形成全面能力；2）計算資源：采用小步快跑按需擴容的建設方式。大數據應用豐富多樣，當前暫時無法規劃完整的應用體系，因此建設初期滿足當前緊迫需求，后期根據業務需求進行滾動式的快速擴容。

三、結束語

基于云計算混搭架構規劃建設大數據平臺，能夠有效降低數據存儲成本，實現實現六個統一（一點采集、一點存儲、一點加工、一點交換、一點分析、一點提供服務）、實時分析、大并發查詢的能力，滿足運營商各類大數據應用的業務需求。