基于大數據平臺的運營管理信息系統設計

趙恒 中國移動江蘇有限公司網絡部工程師

中創信測技術專欄

基于大數據平臺的運營管理信息系統設計

趙恒 中國移動江蘇有限公司網絡部工程師

編者按：隨著用戶新業務需求的不斷涌現，數據暴增，傳統數據庫技術已無法滿足運營商對大數據的充分利用，運營商常年積累的大數據有待深入挖掘、分析。中國移動江蘇有限公司網絡部趙恒所撰《基于大數據平臺的運營商管理信息系統設計》一文設計了基于大數據平臺的運營管理信息系統，該系統具備數據處理、數據資產管理、數據質量和安全管控、數據應用服務提供等5大能力，較以前更趨完善。

針對某省運營管理系統存在的基礎數據采集不足，數據分析不足，信息孤島化嚴重，數據應用不足等問題。本文設計了基于大數據平臺的某省運營商運管管理信息系統，對系統的設計總體及規劃進行了解構，同時，對系統的實現特別是解決某省運營商管理信息系統存在的問題進行了分析，提供了設計解決方案。通過增加網絡數據采集，加強基礎數據分析，統一存儲和管理的方法，可使某省運營商大數據運營管理系統趨于完善。

大數據；運營商；運營管理；管理信息系統

1 大數據運營管理信息系統設計總體

1.1 大數據運營管理信息系統設計目標

設計運營商大數據運營管理信息系統，推動大數據的價值轉化。大數據運營管理信息系統要具有5大能力，數據處理能力、數據資產管理能力、數據質量和安全管控能力、數據應用服務提供能力。大數據處理能力中心針對多種格式、不同速度及數據量的源數據進行采集、分析處理，通過關聯等復雜規則形成企業數據資產或具體的數據應用和服務；數據資產信息中心，規整集成各業務線的內外部數據加工處理成為有價值的數據資產，提供真實、完整的企業數據資產統一視圖；大數據管控中心，明確各層級數據的管理配套組織、制度流程和管控措施，并提供數據管控的具體技術支撐，保障數據的質量和數據受控、合理、安全使用；數據應用服務中心，實現對數據的增值和價值發揮，提供面向精益化管理決策、精準營銷以及合作伙伴的各種智能應用。

1.2 大數據運營管理信息系統設計思路

有別于傳統BI和DW的架構設計思路，運營管理信息系統需要對公司核心數據資產進行整合、管理并提供對外服務，需要保證引入源數據的有效性、收益性以及對需求的前瞻性、可擴展性，這就需要從企業架構的角度考慮系統的設計（見圖1）。

1.3 大數據運營管理信息系統原則

某省運營商運營管理信息系統具體設計原則如下：

（1）一體化原則

從架構和功能設計上支撐省市兩級的橫向集中化、縱向一體化，實現省市兩級的數據有效共享和應用良性互動。

（2）先進性原則

企業數據中心在系統架構方面，應確保先進性和可擴展性，確保企業數據中心架構合理部署、適度超前，能夠適應公司未來較長周期內發展需求，為源數據引入、應用建設提供一個穩定、可平滑演進的系統框架。

（3）智慧性原則

逐步轉變傳統經分以報表提供為主的數據應用和服務方式，以洞察力為導向，提高數據分析處理和應用的實效性、關聯性，充分發揮數據使能的驅動作用，充分體現系統在感知、調度、觸發等方面的智慧性原則。

（4）開放性原則

數據中心的服務對象覆蓋面更廣，包括公司內部的管理人員、一線人員和運營人員，公司外部的合作伙伴、集團客戶和大眾客戶，還涵蓋公司內外的各域、各行業信息系統和IT平臺。中心可依據數據安全標準、服務內容和SLA水平設定不同的數據開放級別。

某省運營商運營管理信息系統實施原則為：總體規劃、分步實施、迭代式演進。

企業數據中心的具體演進過程，應結合不同階段的業務訴求、IT環境、數據中心成熟度等因素，制定數據中心服務能力體系建設、大數據企業數據中心服務能力體系建設、企業數據中心運營服務能力體系3個階段的迭代式演進。

1.4 運營管理信息系統架構

大數據支撐方案總體目標框架，包括業務架構、數據架構、技術架構和應用架構（見圖2）。

大數據支撐方案總體功能架構，包括數據源采集功能、外部系統接口功能、數據聚合功能、數據資產管理功能、數據應用功能、對內門戶、管理門戶、對外門戶和系統管理功能、服務管理人員、業務人員、支撐人員和外部合作伙伴（見圖3）。

大數據運營管理信息系統功能架構總體上可分為數據聚合層、數據資產層、數據應用層、訪問門戶及系統管理5大功能域。

總體功能架構描述：

圖1 大數據運營管理信息系統設計思路

圖2 大數據運營管理信息系統方案總體框架圖

圖3 大數據運營管理信息系統方案總體功能框架圖

（1）聚合公司內外部各類源數據形成數據資產。

（2）分析數據資產，挖掘數據價值，封裝成數據服務，支撐數據應用。

（3）面向公司內各業務系統及業務平臺提供數據服務能力。

（4）面向業務人員提供數據分析與業務決策支持。

（5）面向合作伙伴、集團客戶等外部用戶提供智慧型數據價值產品，助力外部企業用戶的智慧型運營。

（6）對全省集中、省市兩級的一體化運營提供基礎的功能架構支撐。

2 大數據運營管理信息系統要求

2.1 大數據運營管理信息系統應用分類

（1）識別傳統業務

傳統業務包括原來解決方案可處理、無性能瓶頸的業務，在原有解決方案中存在性能瓶頸的業務從傳統方案中抽離出來。

（2）識別出傳統業務和大數據業務相關系業務

從原有方案中抽離出的業務，用大數據方案處理，要考慮到是否和傳統方案業務之間的關聯關系，如果有關聯關系，可以考慮，用大數據分析后的結果冗余存儲，同步更新的方式實現數據共享。

（3）識別出新增的大數據業務和傳統業務相關聯的部分

通過這部分的識別，可以將這部分大數據進行分析處理后，結果存入傳統解決方案，如分析結果仍然數據量很大，則大數據方案要提供可兼容的訪問接口。

（4）新增的大數據業務與傳統業務無關的部分

對于與傳統業務無關的部分，直接用大數據方案處理，為應用提供良好的訪問接口（見圖4）。

圖4 大數據運營管理信息系統應用項目分解圖

2.2 大數據運營管理信息系統支撐能力體系要求

（1）大數據應用支撐

建設基于大數據的應用體系，并開發基于大數據的典型數據應用，實現數據價值有效輸出。

（2）數據服務封裝共享

將價值數據進行封裝，形成數據服務，對上層應用及外部系統提供數據支撐。

（3）建立統一數據資產層數據庫

建設企業級數據資產作為數據管理的樞紐，將有價值的源數據加工處理形成數據資產。

（4）Hadoop數據處理平臺構建

建立基于Hadoop的大數據處理架構，重點處理非結構化/半結構化價值數據。

（5）實時流數據處理平臺構建

實現流數據的實時處理，提供實時流數據處理及實時數據分析能力。

2.3 內外部數據源擴充引入

通過對包含Gn/Gi口信令（用戶、上網時間、上網地點、上網速度、上網流量、上網終端、上網應用類型）、位置開關機信令、互聯網內容、電子渠道等內部數據源以及集團/區域經濟/競爭對手等外部數據源的大數據引入，增加價值數據來源。

3 大數據運營管理信息系統規劃

3.1 大數據能力建設演進路線

（1）先導期

數據中心基礎能力體系，其架構基于經分數據倉庫，擴充數據視圖，增加數據服務能力；從數據上看，公司支撐網絡、管理信息系統部分源數據；在應用方面以傳統報表，小部分數據服務為主。

（2）成熟期

大數據架構能力體系，其架構基于建設全新的大數據支撐系統架構，擴充流數據、非結構化數據的大數據處理能力，形成數據資產；數據以匯聚網絡信令、互聯網內容等大數據內容；支撐部分典型大數據應用。

（3）擴展期

大數據運營拓展與價值體現，保持架構穩定，根據應用需求擴充數據處理能力；擁有完整的公司內外部數據管理，完善的實時/海量/非結構化數據處理；在應用方面，全面支撐客戶需求識別、客戶感知體驗、互動式營銷、網絡優化方向的大數據應用能力。

3.2 大數據底層能力建設

匯聚公司內外部跨系統數據，進行數據資產融合加工，并對客戶進行標簽化數據管理，通過建立數據開放共享平臺，將企業數據中心的數據信息向公司各部門及專業系統全面開放，支撐各領域的數據分析應用開展（見圖5）。

圖5 大數據運營管理信息系統的底層功能建設

大數據底層需要建設8大能力：

（1）匯聚跨系統數據

基于企業數據中心數據處理平臺，持續匯聚公司業務支撐系統、網絡支撐系統、客服系統、業務平臺、管理信息系統等跨系統數據，實現公司級的數據匯聚處理（見表1）。

（2）大數據技術應用

第一引入Hadoop、MPP、流數據處理等新型大數據處理技術，滿足非結構化、海量數據處理能力。第二實施X86化設備改造，降低大數據處理成本。對海量非結構化、半結構化數據統一處理，實現結構化轉換與低成本存儲。高價值密度數據庫采用MPP分布式數據庫技術，提高數據處理效率。對低價值密度的實時流數據實行不落地處理，過濾無效數據，用于實時數據觸發響應，并提取出高價值密度匯總信息入庫存儲。提高數據交互訪問效率，將訪問頻繁數據字段采用列式存儲。

某省運營商在大數據應用方面，完成大數據融合處理技術架構實施方案設計，并完成跨部門評審；利用開源Hadoop軟件，完成2項互聯網爬蟲內容處理等新型大數據處理技術應用開發上線，積累開發維護經驗；完成MPP數據處理應用，用于海量WAP日志分布式處理。完成數據庫一體機應用，提高數據處理效率。

（3）數據資產融合加工

將公司各系統數據跨域整合，提取潛在的價值信息，并按用途歸類提供對外使用，構建以“分級保存，充分共享，靈活使用”為特征的數據資產管理，發揮數據的價值（見表2）。

表1 大數據運營管理信息系統數據源數據內容和流量匯總表

（4）客戶綜合行為解析

圍繞用戶行為，還原用戶真實業務場景，刻畫用戶個性化全景視圖，建立基于各類業務平臺客戶綜合行為解析。在用戶通信行為解析上，通過交往圈、V網通話、彩鈴訂購、時段偏好、位置軌跡等特征解析。在用戶互聯網行為解析方面，完成用戶訪問互聯網內容分類偏好、手機應用偏好標簽（25類互聯網行為標簽）。對商城用戶行為解析，以完成電商基地用戶商城/商盟消費行為特征分析。對業務平臺用戶偏好分析，通過省內渠道、商城積分兌換物品排名及偏好分析。對客服平臺接觸行為解析方面，通過客戶投訴熱點分析（見圖6）。

表2 大數據運營管理信息系統數據資產分類匯總表

（5）客戶標簽管理平臺

進一步細化用戶行為特征維度，分析客戶偏好，支撐公司各類精確營銷應用制定客戶標簽分層管理辦法，達成客戶標簽管理規范性。上線客戶標簽管理平臺，作為全省統一的客戶標簽展現共享平臺，包括標簽整體能力展現、部門及地市標簽運營展現、標簽使用排行等功能。完成一階段179類客戶標簽上線，涵蓋三級目錄十一類方向。完成客戶標簽自助分析應用，通過簡單拖拽實現標簽與客戶屬性的組合過濾分析，經測試，營銷客戶獲取效率由以往平均3天提升至1小時。打通與各渠道接口，由市場經營部、信息技術中心牽頭將客戶標簽庫向全省培訓推廣，實現標簽的分層管理應用和開放共享。持續豐富客戶標簽體量，年底完成800類客戶標簽建設。

（6）系統自動化營銷管理

建設精確營銷系統，支撐省、市進行營銷目標客戶篩選、營銷活動策劃、營銷執行、效果評估等流程和數據。全省精確營銷系統月均承載營銷活動1055個，營銷和關懷客戶8776萬人次。拓展事件觸發的實時營銷能力，實現實時數據流的采集、預處理、分析，及時捕捉營銷用戶、時機和渠道。通過建設精確營銷快點吧平臺，實現全省各渠道精確營銷的統一評估和閉環管理。支撐精確營銷成本量化，實現省市各渠道、各活動的營銷成本和收益分析，促進營銷模型的不斷優化（見圖7）。

（7）數據開放共享服務

圖6 用戶行為分析數據處理原理示意圖

建設數據共享平臺，發布數據資產信息目錄，提供標準的數據共享服務能力；向公司各部門及專業系統平臺開放數據共享服務，提供所需的數據資產信息，滿足各業務領域的專業化分析挖掘應用需求；建立企業數據中心數據共享平臺，完成數據封裝、服務監控等功能開發上線；已向CRM、BOSS生產系統、集團公司一級經營分析、地市數據集市等平臺提供數據接口895個，向客服系統、網絡部四網協同分析平臺、VGOP、ESOP、終端管理系統、精確營銷、互聯網運營中心、沖浪平臺等11個部門或平臺提供10大類75個數據服務；已建立企業數據中心數據服務需求單等OA流程，實現數據共享需求閉環管理；根據公司信息安全管理規范，實現敏感數據分級控制；擴充數據服務封裝服務器集群，增加平臺服務能力；增加實時數據服務提供能力。

圖7 統一營銷管理業務流程圖

（8）智能多渠道協同營銷應用

通過多渠道營銷資源數據的專業化分析挖掘應用需求；支撐省、市進行營銷目標客戶篩選、營銷渠道篩選、多渠道協同方案制訂、營銷執行、效果評估等流程和數據。

3.3 大數據應用能力建設

圖8 大數據運營管理信息系統應用層能力分類圖

充分運用底層數據規劃、收集、整理、提煉、關聯等形成有效數據資產，融合到管理、營銷、服務過程中。支撐公司運營管理、支撐重點專項、細分市場、集中運營、專業運營，支撐公司整體服務水平的提高（見圖8）。