無線網絡大數據運營共享平臺初探

沈建軍，劉名茂，王 波，安勁偉

（1.中國電信股份有限公司廣東研究院 廣州510630；2.中國電信股份有限公司廣東分公司 廣州510081）

1 引言

隨著無線網絡規模的擴張，無線網絡的運行數據呈爆發性增長，運維工作中所使用的應用工具種類也越來越多，但總體上表現出一種相對封閉的態勢。每個應用系統廠商都必須獨自完成數據采集、數據處理、數據挖掘和應用呈現等所有環節，存在投資重復、數據、運算、存儲在內的各種資源的復用度低和結果封閉的問題。另外，隨著集約化、精細化運維管理的深入發展，網絡分析工作往往要求實現多數據源的關聯分析。

無線大數據運營共享平臺需要基于開放的平臺架構，建立透明的數據采集分揀、共享的數據庫和統一的應用接口，實現多數據源的數據共享，多個應用工具可對共享數據源進行深度的數據關聯挖掘分析。

2 現有平臺

2.1 整體概況

無線網絡使用的數據種類眾多，主要包括CDMA網絡的性能、CDR、信令、PSMM、DT/CQT、室內分布基礎臺賬、Wi-Fi網絡性能、用戶申告數據等不同種類的數據，同時每天網絡產生的數據量都在TB級以上。

在業務飛速發展的今天，要求無線網絡運維所依賴的支撐工具能夠快速響應用戶需求的改變，也就是說，對應用工具的靈活性和易擴展性都提出了很高的要求。目前無線網絡運維工作中涉及的數據分析應用工具的整體架構缺乏靈活性，不能滿足用戶快速部署新應用、新算法的要求。數據的解析、存儲和調用在時效性、準確性和回溯性上都無法滿足用戶的多維度和多并發的查詢需求。

2.2 典型優化平臺主要問題

優化平臺以各地的網絡優化、建設、客戶投訴處理需求為導向，定義了日常優化、專項優化、用戶級優化、3G分析等功能模塊，共2 000多個功能點。

該平臺的使用，有效解決了部分技術復雜、網元數量繁多、大量數據分析難、優化經驗不足、人員缺乏等網絡運營問題，有效支撐了網絡的建設和運營。但也存在部分問題，現階段仍難以有效解決，包括如下幾個方面。

·架構難以適應創新性的工具開發及應用，不能完全滿足日常網絡維護優化工作IT支撐需求。

·未集中對外系統提供數據采集及共享接口，導致相關系統直接用私有接口對接設備廠商專業網管。一方面，私有接口無保障，設備廠商專業網管升級后，私有接口數據結構發生變化，上層采集即出現異常；另一方面，多套系統通過私有接口連接網管，加大設備廠商網管及單板壓力，直接影響設備網管的穩定運行。

·常用數據及應用涉及性能、話單、參數、鄰區等幾大類。因涉及的用戶多且數據量大，同時操作比較復雜，特別是用戶使用海量數據分析查詢的時效率比較低下，往往導致功能不可使用。

2.3 大數據共享平臺思路及難點

針對典型優化平臺存在的問題，可考慮將現有平臺數據采集、存儲與分析應用模塊分離，建設數據采集、數據存儲、共享接口模塊和專項應用四大模塊。建設無線網絡大數據運營共享平臺，形成整體結構清晰同時有較強擴展性的平臺系統，實現對外統一的數據采集及共享，滿足各類平臺更多的規范功能、分析功能及優化工具快速部署的需求。

無線網絡大數據運營共享平臺需要基于開放平臺架構，采集無線網CDR、PSMM、DT/CQT、網絡工作參數及室內分布臺賬等多種數據源，數據的共享存儲和深層次數據挖掘是平臺的難點。制定通用的接口規范能夠讓第三方工具廠商在此基礎上開發工具，是平臺的最終目標。

圖1 無線網絡大數據運營共享平臺系統架構示意

3 大數據運營共享平臺研究

3.1 整體架構

無線網絡大數據運營共享平臺基于開放的平臺架構，整體系統架構可分為采集層、存儲層、接口層和應用層4層。每層承擔不同的工作職能，并且通過統一的服務，實現各層之間的數據相互流轉。數據采集層實現數據采集分揀規范的制定功能，實現無線網的CDR、PSMM、DT/CQT、網絡工作參數等數據的采集和解析；數據存儲層提供分布式數據共享存儲功能，實現不同數據源的云共享存儲；接口服務層建立統一的規范接口，用作無線應用工具和數據源之間的數據轉換傳送接口；應用工具層實現集中的多應用工具呈現。無線網絡大數據運營共享平臺系統架構如圖1所示。

3.2 采集分揀層

無線數據存在種類多、數據量大和解析復雜的特點，包括無線網絡側的無線性能、告警、無線話單、DT/CQT等數據。數據采集分揀層采集無線網絡的運行數據后，形成統一、規范的數據格式，由存儲層入庫并向應用推送訂閱數據。

數據采集分揀層對其上層模塊或應用來說，屏蔽了底層數據源的差異化，可以針對各種不同的數據源進行采集。當用戶需求發生變化，需要增加新的數據源時，只需要新建一個和對端數據源的連接，就能采集到該數據源的相關數據，可擴展性強。其次，負責對采集到的數據進行處理加工，生成統一格式的數據，供數據存儲層使用。

3.3 數據存儲層

數據存儲層存儲不同數據源的數據，為接口服務層不同的應用工具和數據分析提供支撐。需要實現海量數據的自動入庫，支持對歷史數據的查詢和計算、對海量數據快速高效的關聯分析等。因此，數據存儲層內部要基于開放系統的架構和采用基于分布式系統設計，包含數據導入引擎、數據管理引擎、查詢緩存引擎、用戶接口、權限管理等多個模塊，具備開放的接口。數據存儲層的功能如圖2所示。

圖2 數據存儲層功能示意

數據存儲層存儲的數據是海量的，目標將達到PB級。以某省CDMA網絡的12年CDR數據為例，每天語音通話記錄為2.3億條，入庫后的數據量為0.8 TB；數據通話記錄為13.3億條，入庫后的數據量為2.3 TB。

數據存儲層應實現如下功能。

·存儲入庫速度需達到100 Mbit/s以上。查詢最小并發SQL指令數量不小于20個，20 000行30個字段，最大完成時間小于5 s。

·基礎數據包括原始數據和部分預處理數據，將統一存儲一份供所有應用使用，避免重復存儲，部分預處理數據可能與應用密切相關，因此需要分庫存儲。

·系統存儲容量可支持PB級，而且支持遠程容災、備份機制。

·系統應不存在單點瓶頸，所有節點應對等均衡，應支持大并發及復雜分析查詢，而且其性能不能受到影響。

3.4 接口服務層

接口服務層處于數據存儲層與應用層之間。應用訪問的所有服務都由接口服務層提供。隨著無線網絡大數據運營共享平臺應用工具的擴展，接口服務層所提供的接口服務也需不斷增加。

接口服務層滿足接口協議封裝要求，封裝使用者和服務通信時所使用網絡協議的各個方面；數據格式轉換要求，對使用者數據格式要求和服務接口所希望的數據格式進行相互轉換；接口邊界管理要求，不同的使用者可能有不同的安全性要求，因此由服務接口實現這些使用者特定的要求；接口性能要求，保證服務滿足它向一組具體使用者所做的服務承諾；接口訪問要求，應用層根據接口服務層提供的各種應用業務接口開發用戶交互UI界面。

3.5 應用工具層

無線網絡大數據運營共享平臺的應用工具層，是對共享數據庫的數據挖掘及關聯分析后提供最終分析結果的部分，是平臺的最終呈現系統。

應用工具可共享調用接口服務層的Web Service、API函數等接口，提取存儲于共享數據庫中的不同數據源，對數據進行挖掘及關聯分析，為使用者提供結果的查詢和分析。

4 業內其他平臺方案對比

目前，各運營商均在其各自的系統和平臺上按照分層架構的原則進行搭建。無線網絡大數據運營共享平臺在IT架構及功能性等方面仍有較鮮明的特點。

4.1 平臺性能

無線網絡大數據運營共享平臺采用的是開放式架構，平臺的計算資源利用較合理，資源浪費較小，管理較方便，擴展性也較強。

目前大多數平臺的存儲采用陣列的方式，而無線網絡大數據運營共享平臺的存儲采用分布式數據存儲方式，硬件要求較低，擴展更加靈活。同時具有海量數據存儲和處理、高并發及線性擴展能力，提供多種索引技術能力、較強的數據壓縮能力、多級別負載均衡能力及完整的數據庫狀態監控管理工具等。

4.2 平臺功能

目前大多數無線網絡運行平臺的數據源比較單一，而大數據運營共享平臺的數據源包括無線網絡側的CDR、PSMM、DT/CQT數據及Ev-Do Stream在內的各種不同數據源，數據源比較豐富，并且具備較強的擴展性。

其次，從功能上來看，目前平臺僅提供已定義過的記錄數據的查詢和訂閱功能，而大數據運營共享平臺可以提供對已有數據的查詢、訂閱、二次統計加工服務等多種功能。同時，目前平臺的接口服務無法定制，即只能使用平臺規范中提供的接口服務，但大數據運營共享平臺的接口服務則可以定制，第三方系統新增一個接口服務后，只需要注冊到平臺中，就可以被其他方所調用。

最后，在目前的平臺架構中，分層不是十分徹底，部分上層應用的功能也混在共享層，即無線網絡大數據運營共享平臺的接口層，而大數據運營共享平臺的分層比較徹底，每一層的分工都很明確，各司其職。

5 現場試驗環境測試情況

為驗證無線網絡大數據運營共享平臺的平臺架構及各層功能，搭建了如圖3所示的平臺，并在應用工具層配置了室內話務分離工具、網格化質量分析評估工具及可視化測試數據展示工具3個應用工具，對無線網絡大數據運營共享平臺的架構及功能進行了驗證測試。

圖3 無線網數據共享平臺試驗環境功能示意

經過現場驗證，3個應用工具均可對共享數據進行查詢分析，并集中呈現。通過應用工具對接口和數據庫也進行了并發測試，其中100個并發簡單和復雜查詢在無差錯的情況下分別在10 s和100 s以內實現，實際驗證了平臺開放的平臺架構及功能模塊的可行性。

6 平臺演進探討

無線網絡大數據運營共享平臺從整體架構上看，分層合理，通過開放的架構服務，完成各層間的數據流轉。

平臺目前采用分布式數據庫進行搭建，數據按不同的要求進行行和列式存儲，一定程度上能夠滿足大數據存儲的要求，但在實際運行中也發現存在一些查詢和分析方面的不足。比如查詢或分析信令、DT/CQT數據時，發現這些數據都是不固定長度和非關系型的，數據達到一定量時查詢效率只能到秒級，還不能達到毫秒級別等。為此，未來的平臺有必要引入非關系型數據庫，如MongoDB等，通過內存NoSQL冗余原始數據，并采用盡可能多的節點進行并行冗余，徹底解決查詢效率低的問題。因此，在分布式數據庫的基礎上，未來無線網絡大數據運營共享平臺的數據存儲層應該按照雙數據庫的模式搭建。同時搭建解決關系型數據（如各類指標等）查詢和運算問題的關系型數據庫和解決大量非結構化數據（如信令等）查詢效率問題的非關系型數據庫，通過統一的接口服務層向外提供服務。

未來隨著應用工具的增多、功能的擴展，平臺需增加接口及平臺的管理模塊，以加強應用工具及平臺功能模塊的管理。

7 結束語

無線網絡大數據運營共享平臺探討了基于開放的平臺架構，定義了各層的功能和要求，為此，搭建現場測試環境試驗了規范數據格式、存儲模型、接口規范、數據采集分揀等平臺底層模塊的算法，驗證了可行性。同時，結合測試中發現的不足，從數據規范、數據庫的選用和發展、接口管理和平臺功能管理等方面對未來的無線網絡大數據運營共享平臺提出了新的設想和要求，為盡快搭建一個可運營、多應用工具共享的無線應用工具平臺提供參考，將無線網絡運營集約化、精細化管理工作持續推進和落實。

1 萬曉榆．CDMA移動通信網絡優化．北京：人民郵電出版社，2003

2 Kyoung Il Kim.CDMA系統設計與優化.劉曉宇，杜志敏譯.北京：人民郵電出版社,2000

3 中國電信無線網優平臺二期需求規范（正式稿）V2.0，2009