寬帶測速綜合平臺解決方案

林國池

一、引言

隨著我國互聯網業務的迅速發展，互聯網應用的規模和功能越來越多，用戶對網絡帶寬的需求也越來越高。家用寬帶接入技術也逐步由早期以x數字用戶線（xdigital subscriber line，xDSL）為主發展到以光纖到戶（fiber to the home，FTTH）為主，上網速率由2 Mbps提高到100 Mbps乃至1000 Mbps以上，光進銅退成為寬帶網絡接入的主流。2017年前后一段時間，由于家用寬帶接入仍以銅線為主，接入速率大多停留在10 Mbps以下，一方面運營商對用戶上網以Mbps為單位收取費用，另一方面用戶的上網體驗又不佳，紛紛質疑寬帶速率貨不對板，“假寬帶”之聲一時鬧得沸沸揚揚。對于通信監管部門而言，如何讓廣大網民全面了解上網真實情況，準確掌握帶寬上網速率等網絡質量數據就成為一個不容忽視的問題。此外，國民上網速度、上網體驗和資費水平等數據在一定程度上反映出一個地方寬帶網絡建設運行經營水平，全面了解這些數據有利于促進運營商提升當地的網絡服務質量。綜上所述，建設一個寬帶測速綜合平臺是十分必要的。

二、解決方案

本方案以廣東省為例提出建設一個“寬帶測速綜合平臺”，通過采集家庭固定寬帶測速數據和移動寬帶測速數據，從地市、運營企業、接入帶寬等多維度展示廣東省寬帶發展的整體情況。同時通過深度分析測速數據和行業運營數據、網絡運行用戶動態數據，綜合剖析寬帶網絡整體運行情況，為行業監管提供支撐。

總的來說，寬帶測速平臺主要有3個功能：用戶測速數據的采集，對采集的數據的分析處理和數據的可視化展示。

如圖1所示，廣東省“寬帶測速綜合平臺”包括自建測速平臺數據源、互聯網企業數據源、各運營商數據源、數據接入處理系統、數據分析模塊、多維度展示界面、大屏展示系統等7大部分，其中自建測速平臺數據源、各運營商數據源和互聯網企業數據源這3大數據源提供網絡質量的基礎樣本數據，數據接入處理系統提供數據接口處理接入數據，數據分析模塊對多源數據進行采集、清洗及綜合分析，多維度展示界面進行豐富的圖表展示和分析結果展示，大屏展示系統則由8個屏幕組成，可選取關鍵數據進行大屏界面展示分析。

（一）自建測速平臺

自建測速平臺包括在全省各地市部署一定數量的測試探針，并開發移動端測速應用程序（application，APP）、測速微信小程序和PC端網頁版測速程序，實現對全省固定和移動寬帶速率的全方位測試。移動客戶端接入該平臺，等同于測速路由器。移動端寬帶測試工具將訪問測速服務器實現寬帶接入速率的測量，寬帶接入速率的測量值至少包括寬帶上/下行接入速率。同時，智能路由器向各類網站發起訪問測試，實現用戶上網體驗的測量，用戶體驗的測量值至少包括TOP網站首屏呈現時間、視頻下載速率、首次緩沖時延及卡頓率、常用文件下載速率等。

1. 測速APP

測速APP（應用商店APP名稱：精準測速）通過在手機上模擬真實用戶上網操作行為，比如瀏覽常用頁面、播放常用主流網站視頻等操作業務，采集獲取終端業務數據包括移動寬帶上/下行接入速率、TOP網站首屏呈現時間、視頻下載速率、常用文件下載速率等并將數據上傳至后臺數據分析模塊進一步分析處理。

采集的數據包括終端業務數據、無線環境信息、坐標位置信息以及系統信息等，并按照規范要求進行解析、生成、合并處理，傳送到后臺數據分析模塊。

2. 微信小程序

微信小程序通過主動向測速服務器發起測試訪問，實現寬帶接入速率的測量，采集獲取終端業務數據，包括ping時延、下載平均速率，上傳平均速率。

3. PC端網頁版測速程序

測速網頁通過主動向測速服務器發起測試訪問，實現寬帶接入速率的測量，采集獲取終端業務數據，即固定寬帶上/下行接入速率。

（二）互聯網企業和運營商數據源

運營商與互聯網企業測速結果數據接入通過內置的數據源監測系統實現，包括以下兩種方式：

運營商和互聯網企業主動上報。數據源監測系統提供一個數據批量上報接口，接口的數據格式為Json，運營商和互聯網企業可以實時調用數據批量上報接口將測速數據上報到數據源監測系統，上報的測速數據指標有：寬帶上/下行接入速率、TOP網站首屏呈現時間、視頻下載速率、常用文件下載速率等。

數據源監測系統主動獲取。運營商與互聯網企業提供測速結果數據接口，數據源監測系統定期去調用該接口以獲取測速數據，獲取到的測速數據指標包括：寬帶上/下行接入速率、TOP網站首屏呈現時間、視頻下載速率、常用文件下載速率等。

（三）數據接入處理系統

數據接入處理系統主要針對上述互聯網企業和運營商已經具備的各具特色的本網實時網絡測速數據，開發相應系統接口，接入和上傳各數據源系統的分析統計數據和圖表數據，數據類型包括實時動態監控類數據和報表類數據。實時動態監控類數據包括熱點區域網絡質量，人流量，話務量狀況等。報表類數據包括4G/固網用戶發展情況，各熱點地區數據量情況，熱點地區用戶體驗情況，熱點地區話務量，基礎資源數量，運營商運營收入和投資，運營商業務發展情況數據等。

與此同時，提供運營商數據錄入和審核的web界面，分別供運營商的數據報表錄入人員和審核人員使用。運營商數據錄入審核通過后，運營商數據可同步到測速平臺后端系統，實現統計數據報送電子化功能。

為實現數據采集，需要在各電信運營企業側部署采集接口機，實現數據的采集和傳送。

數據接入子系統提供以下三種方式實現數據接入：通用接口。提供統一的數據批量上報接口，運營商通過調用此接口實時批量上傳測速數據數據。

個性接口。針對性打造對接系統接口，接入和上傳各運營商的分析統計數據和圖表數據，數據類型包括實時動態監控類數據和報表類數據。

數據導入。提供批量導入數據的web界面和導入各類數據的Excel模板，運營商將需要導入的數據事先錄入到Excel中，然后通過web界面上傳Excel數據實現批量導入。

（四）數據處理分析模塊

數據處理子系統對數據接入子系統收集的數據進行數據清洗和必要重組，通過大數據技術處理和分析，各基礎數據經過分析處理后展示全省基礎網絡歷史和實時動態數據，包括：全省漫游情況、4G/固網用戶發展情況、各熱點地區數據量情況、熱點地區話務量、基礎資源數量、運營商運營收入和投資、運營商業務發展情況等。

數據清洗處理采集過來的數據，實現數據的清洗、轉換、加載功能，一方面保障采集的數據能正確、完整、規范地加載到目的地;另一方面，實現數據整合過程中的異常處理機制，如：處理傳輸異常、數據加載異常、數據結構與質量異常等。

數據處理是數據中心的核心內容，系統需提供基礎數據服務，主要步驟包含數據抽取、數據清洗、數據轉換和數據加載等功能。數據處理是數據比對整合系統的核心，作為一個面向服務的平臺，數據清洗整合應用就是由多個數據服務組成的，其中包括一系列預定義的基礎數據處理，這些基礎數據處理包括以下幾個功能：

數據抽取。數據抽取就是從數據中心的中心庫中獲取業務數據的過程。數據來源為業務系統和文件系統，抽取方式為根據具體業務進行全量抽取或增量抽取，根據具體業務制定抽取的時間和頻度，這些參數都是可配置的。圖2是數據抽取示意圖。

數據清洗。數據清洗指對前端抽取過來的數據進行清洗處理，包括數據過濾、數據剔重、類型轉換、編碼映射、文件拆分與合并、維度轉換等功能。數據清洗的任務主要是進行多源數據不一致的數據轉換、數據顆粒度的轉換、數據去臟和轉換規則計算。其中多源數據不一致轉換過程是數據整合的過程，側重于將來源于不同業務系統的相同類型的數據進行統一處理;數據顆粒度轉換需要對數據進行統一歸整;轉換規則計算則按照預先設計的轉換規則對數據進行重新計算。系統支持批量清洗和實時清洗，對批量離線數據進行分布式并行清洗轉換，對實時數據則進行不落地清洗轉換。圖3是數據清洗示意圖。

數據分析。系統利用大數據應用框架分布式存儲平臺的數據倉庫作為傳統數據倉庫的補充，實現對非結構化數據的存儲和管理，并對來自網絡的海量數據查詢提供支撐?；陂_源計算框架，主要側重于通過完善的內存計算和處理優化機制加快批處理工作負載的運行速度。圖4是數據分析示意圖。

（五）多維度展示界面

多維度展示界面綜合利用系統采集到的家庭固定寬帶測速數據和移動寬帶測速數據、行業運營數據和網絡運行用戶動態數據等，按地市、運營企業、接入帶寬等多維度展示廣東省寬帶網絡整體運行情況，讓管理人員全面把握全省寬帶網絡的運行態勢，必要時作進一步的分析處理。系統主要通過熱力圖、人口流動圖、數據流動圖、發展趨勢折線圖、柱狀圖等形式呈現和分析數據。

通過曲線和柱狀圖混合圖，展示廣東用戶訪問Top100網站的時延、丟包率、首屏時間等，拖動下方滑塊可以瀏覽所有Top100網站的訪問體驗數據，數值越大代表網絡體驗越差。通過曲線圖，展示廣東用戶訪問Top10視頻網站的時延和丟包率等，點擊曲線，可以看到點擊位置對應視頻網站的時延和丟包率具體數值。管理人員可以查看廣東用戶在打開哪個網站，尤其是視頻網站時，時延較大或丟包率較高，準確定位問題所在，綜合評估網絡服務質量，有針對性地解決問題。

測速核心指標也將在寬帶測速后臺以多種圖表形式按地市、時間、運營商等進行多維度展示。寬帶接入速率包括寬帶接入下載速率、寬帶接入上傳速率、ping時延和丟包率，用戶體驗速率包括網頁體驗速、視頻體驗速率和常用文件下載速率。

以全國地圖+流動方向+數據表格的方式展示出入粵用戶情況（萬人次），展示的內容包括：目的/起始省份、平時出粵用戶數、特殊日期（如春運）出粵用戶數、平時入粵用戶數、特殊日期（如春運）入粵用戶數等。

以廣東省地圖+流動方向+數據表格的方式展示省內人口流動情況（萬人次），展示的內容包括：起始地市、前往地市、平時用戶數、特殊日期（如春運）用戶數。

以區域熱力圖+表格的方式展示全省熱點區域（公共交通點）人口流動情況（萬人次）展示的內容包括：區域名稱、平時日均用戶數、特殊日期（如春運）用戶數、峰值時段、峰值用戶數。

結合歷史數據，以發展趨勢折線圖、柱狀圖形式綜合展現和對比各運營商在用戶發展、收入與投資、業務量、通信基礎資源等方面的動態情況。

（六）大屏展示系統

通過對收集的數據進行統計分析處理，并且以不同的維度在大屏幕展現出來。

首頁展示的是比較宏觀的數據，數字翻牌器展示了測速總次數和今日測速次數;柱形圖和折線圖展示了通信行業業務運行情況;熱力圖展示了全省各地市的寬帶網絡網速水平情況;數據流動圖展示了移動用戶數全入粵的分布。

通信行業業務運行主要展現的是全省電信業務的總體水平，包括電信業務收入、電信業務總量、寬帶接入用戶數和寬帶用戶普及率等數據。

寬帶網絡展現的是全省各個地市的平均上傳/下載率，其中包括固定寬帶和移動寬帶的數據，還有視頻下載、文件下載和網頁下載的平均速率以及訪問網站的首屏加載時間等。

三、結語

廣東省“寬帶測速綜合平臺”從數據源頭開始，采集家庭固定寬帶測速數據和移動寬帶測速數據，并且對采集到的數據進行加工、分析、統計等處理，最后以地市、運營企業、接入帶寬等多維度展示廣東省寬帶發展的整體情況。通過“寬帶測速平臺”，一方面，廣大電信用戶可以更直觀地了解所處網絡的服務質量，明明白白消費、放心消費;另一方面，通信監管部門透過深度分析測速數據，綜合研究分析制約寬帶網絡基礎設施建設運行的關鍵影響因素，有的放矢地推進寬帶網絡建設，不斷完善用戶的上網體驗。