基于大數據平臺的自動路測系統的實現
2019-09-24 02:00:29劉山彪陳志強馮剛強劉羲新
電腦知識與技術 2019年19期
劉山彪 陳志強 馮剛強 劉羲新
摘要：隨著移動通信網絡不斷增大、移動通信用戶日益增多，移動通信網絡的優化工作日益繁重，其中很重要的一項測試方法就是DT（Driver Test，路測）。該文基于Spark大數據平臺開發了一套自動路測系統，通過分析實時回傳的路測數據或基站導出數據，還原出道路路測場景，高效便捷，大大節約人力物力;并以廣州市某時段路測數據為例進行了仿真實驗，實驗結果表明本系統完全可以滿足廣州市路測需求。
關鍵詞：DT;自動路測;Spark;網絡優化
中圖分類號：TP311? ? ? ? 文獻標識碼：A
文章編號：1009-3044（2019）19-0096-02
DT路測，是指在一定地理區域內借助測試儀表、測試終端及測試車輛等工具，沿指定路線進行無線網絡參數和服務質量測定，是移動無線網絡優化中最常用的優化方法之一。傳統的路測通常需要耗費不少的人力及財力，要求操作人員具備相當的操作素養，且容易造成路測數據利用率低，急需一種更智能、更普適的路測平臺來應對日益復雜的網絡環境。
1 引言
隨著移動通信網絡的迅猛發展，對移動通信網絡的測試與網絡優化也越來越多，每年都需要進行大量的路測DT與撥打測試CQT，實時發現移動通信網絡問題、用戶感知問題，盡最大可能減少用戶投訴量。面對如此繁重的網絡優化任務，如何既快又好的完成指定區域的路測工作，是擺在每個運營商、移動通信網絡優化平臺面前急需解決的問題。
根據測試內容，可以將DT分為語音業務DT測試和數據業務DT測試，語音業務主要關注覆蓋情況、呼叫情況、掉話情況、語音質量和切換情況等;而數據業務更關注測試數據業務平均傳輸速率，包括前向和反向平均數據業務速率。而自動路測系統是指在移動的交通工具上（如公交車、出租車）搭載自動測試數據采集及回傳終端進行的大量數據測試，后端服務器通過數據接收處理生成各種路測報表，并以此為基礎建立網絡優化系統路測響應機制，更全面地對網絡質量進行監測。
目前，國內外已有部分運營商或設備廠商提供了自動路測系統，文獻9介紹了自動路測系統在江蘇電信的應用，較詳細地講解了路測系統的自測原理，并以實際應用案例進行具體分析，總結了自動路測系統在部署、維護及使用方面的經驗。文獻10介紹了一款中國大唐移動公司的自動路測儀ADT，通過軟硬件集成的方式實現了事件監控、告警監控、狀態監控、MOS監控等功能。
本文基于Spark大數據平臺，通過采集路測設備回傳信息或基站服務器導出信息，對所采集的路測信息進行數據清洗、數據分析，最后以圖和表的形式呈現于后端服務器，可以很好應對當前復雜通信環境下的大量路測數據分析工作。
2 基于大數據平臺的自動路測系統實現
本自動路測系統從架構上分為基礎架構層、數據能力層及數據應用層，其中基礎架構負責路測回傳數據和基站導出數據的采集，以及數據清洗存儲工作;數據能力層負責具體的數據分析工作，基于Spark大數平臺根據指定路線進行路線數據集生成、路測數據聚類、路測數據匹配工作，并將結果輸出;應用層通過讀取數據分析結果，將測試結果映射到地圖上，直觀顯示路測結果。具體工作流程如下圖1所示：
為了更好地應對當前復雜的通信環境與日益增大的數據量，本文基于HDFS+Spark搭建了大數據分析平臺，其中HDFS負責提供分布式文件系統，Spark負責提供面向對象的大數據計算，將采集到的大規模路測數據抽象成一個個RDD（Resilient Distributed Datasets）對象。數據來源主要包括回傳的路測數據及從基站服務器導出的通信數據。
數據清洗模塊主要負責發現和糾正采集的數據中損壞、錯誤或遺失的記錄或字段，并將處理后的數據按照一定的規則（如設備廠商、地域等關鍵字段，通信環境下地域靠經緯度定義）存放于數據庫內;而要發現的通常是不符合通信規范的數據段，予以丟棄;要糾正的是數據字段里為null的字段，采用基于采樣的近似貝葉斯方法，從已采集到的路測數據中的按貝葉斯概率方法抽取一些數據來補全缺失字段。
本系統的顯示模塊基于百度地圖提供的WEB服務API，用戶可與地圖范圍內自定義路線，也可手動輸入路測起點與終點，通過調用DrivingRoute（location;point）進行路線選定;然后系統調用getPath（）將路線生成為位置坐標點集T0，保存于緩存數據庫中作為下一數據分析階段樣本參考點集。
基于KNN最近鄰算法比較聚類中心點集TC2與參考坐標點集T0中點之間的距離
調用GetDistance（）將路測數據點集DT按位置及事先設定的準則打印在地圖上，就能得到指定路線的自動路測案例，運維人員可以此分析區域網絡覆蓋情況。
3 自動路測結果與分析
為了驗證本文系統的性能，以采集的廣州市的某時段路測數據為例進行路測校驗，結果如下圖2、圖3所示，系統默認起點終點，可重新指定路線也可于系統頁面拖動起點終點生成路線，點擊路線添加，確定路測時間，獲取數據信息就能得到路線路測信息。系統可選參數包括SINR（信噪比）、Cell UL Traffic（小區上行速率）、DL 64QAMUsage（下行正交調制使用率）。以SINR值為例，綠色點的位置代表信噪比值大于20或25，信號質量好;黃色點代表信噪比值在10-20區間，信號質量一般，需要繼續觀察;橙色點表示信噪比低于10，信號質量差，需要立即檢修。如圖中3所示，華南快速干線上信號質量良好，而柯木塱地鐵站附近1KM有大段差信號區域，需立即安排網絡優化。而且，進行18KM的自動路測還原系統所需時間僅需3.6s，完全可以滿足廣州市的路測需求。
4 結束語
本文提出了基于Spark開發環境的自動路測分析系統，通過采集路測回傳數據或基站服務器導出數據實現路測結果還原，大大減少路測人力物力，降低路測專業度，并以廣州為例進行了自動路測實驗，實踐證明可以達到預期效果。
參考文獻：
[1] 張浩.無線網絡測試數據分析管理系統的設計與實現[D].成都：電子科技大學，2012.
[2] Famili A ，Shen Wei-Min，Richard Weber.Evangelos Simoudis.Data preprocessing and intelligent data analysis[J].Intelligent Data Analysis，1997（1）.
[3] 袁先倫.GSM系統主要技術指標以及干擾的分析和優化[J].電腦知識與技術，2010（4）.
[4] 徐鋒南.移動通信網絡自動路測風險評估方法研究[D].北京：北京郵電大學，2014.
[5] 李會志.基于數據挖掘尋找自動路測最小測試量的方法研究[D].北京：北京郵電大學，2015.
[6] 竇中兆.WCDMA系統原理與無線網絡優化[M].北京：清華大學出版社，2009.
[7] 白鵬宇.自動路測分析系統的分析與設計[D].北京：北京郵電大學，2012.
[8] 虞帥，董強.自動路測系統在江蘇電信的應用[J].移動通信，2010，34（7）：81-84.
[9] 俞興明.移動通信無線網絡優化技術[M].西安：西安電子科技大學出版社，2015.
【通聯編輯：代影】
