基于jupyter的大數(shù)據(jù)分析工具在網(wǎng)絡(luò)優(yōu)化領(lǐng)域的應用研究

蔡林

【摘要】 ? ?目的：介紹Jupyter Notebook在網(wǎng)絡(luò)優(yōu)化領(lǐng)域的應用情況。方法：集成Hadoop、Spark、Jupyter Notebook 等開源工具，搭建網(wǎng)絡(luò)優(yōu)化分析平臺，基于真實案例驗證其在網(wǎng)絡(luò)優(yōu)化領(lǐng)域應用的可行性。結(jié)果：通過搭建大數(shù)據(jù)計算環(huán)境，成功實現(xiàn)多數(shù)據(jù)接入、分布式運算、分布式存儲、交互式應用及結(jié)果展示等功能，并基于該平臺完成網(wǎng)絡(luò)整體問題分析、問題原因定位分析、問題處理方案分析、問題處理效果分析等大數(shù)據(jù)分析任務。結(jié)論：結(jié)合網(wǎng)絡(luò)優(yōu)化的大數(shù)據(jù)分析需求，搭建便于使用的大數(shù)據(jù)分析環(huán)境，提升基于大數(shù)據(jù)的網(wǎng)絡(luò)優(yōu)化分析能力。

【關(guān)鍵詞】 ? ?大數(shù)據(jù) ? ?Jupyter Notebook ? Hadoop ? ?Spark ? ?分布式計算 ? ?網(wǎng)絡(luò)優(yōu)化

引言：

隨著無線通信網(wǎng)絡(luò)的快速發(fā)展，網(wǎng)絡(luò)優(yōu)化信息化、智能化建設(shè)進入了突飛猛進的發(fā)展階段，積累了大量的MR（測量報告）、PM（性能數(shù)據(jù)）、NRM（網(wǎng)絡(luò)資源管理）、工參等基礎(chǔ)數(shù)據(jù)。這些數(shù)據(jù)資源的價值還未能充分的挖掘，如何從各維度大量數(shù)據(jù)中發(fā)現(xiàn)可用的信息，加速網(wǎng)絡(luò)優(yōu)化信息化、智能化進程是迫在眉睫的任務。通過對網(wǎng)優(yōu)大數(shù)據(jù)特性及網(wǎng)優(yōu)工作協(xié)作方式與Jupyter Notebook進行結(jié)合性研究，實現(xiàn)有效的且適用于網(wǎng)優(yōu)的大數(shù)據(jù)分析，以滿足網(wǎng)絡(luò)優(yōu)化分析需求。

一、 jupyter與網(wǎng)絡(luò)優(yōu)化分析處理的結(jié)合

1.1 Jupyter Notebook[1] 技術(shù)與網(wǎng)絡(luò)優(yōu)化分析應用結(jié)合

Jupyter是一個可交互的記事本，支持了Python[2]、Julia、JavaScript、R等等編程語言達40 多種。它是一個開源的Web 應用程序，在其環(huán)境中可以運行代碼和記錄代碼，可以對數(shù)據(jù)進行清洗，可以通過可視化視圖查看數(shù)據(jù)結(jié)果，可以進行大數(shù)據(jù)相關(guān)的數(shù)模轉(zhuǎn)換、模型構(gòu)建、機器學習訓練等。

如圖1所視，Jupyter Notebook的系統(tǒng)架構(gòu)包括人機交互、瀏覽器、服務器、核心、文件等，其中服務器為核心構(gòu)件。網(wǎng)優(yōu)分析人員通過瀏覽器連接到服務器，在Web中編寫代碼并將代碼發(fā)送到內(nèi)核，由內(nèi)核執(zhí)行，于將結(jié)果反饋到Web頁面。個人編寫的代碼保存在服務器中，可共享給其他人員使用。

1.2 JupyterHub[3]技術(shù)與網(wǎng)優(yōu)工作流程結(jié)合

JupyterHub支持多個用戶（包括管理人員、網(wǎng)優(yōu)人員和維護人員等）同時構(gòu)建自己的工作空間和計算環(huán)境，共享或使用其他人的資源，以達到聯(lián)機協(xié)作的目的。

1.3 HDFS[4]與jupyter結(jié)合作大數(shù)據(jù)存儲

Hadoop分布式文件系統(tǒng)（HDFS）是指被設(shè)計成適合運行在通用硬件（commodity hardware）上的分布式文件系統(tǒng)（Distributed File System），用于存儲網(wǎng)絡(luò)優(yōu)化分析所需的各類型各維度數(shù)據(jù)。

1.4 Spark[5]與jupyther結(jié)合作大數(shù)據(jù)計算

Spark 提供了80多個高級運算符。一方面，Spark提供了支持多種語言的API，使得用戶開發(fā)Spark程序十分方便。另一方面，Spark是基于Scala語言開發(fā)的，使得Spark應用程序代碼非常簡潔。同時由于spark基于內(nèi)存，在網(wǎng)優(yōu)大數(shù)據(jù)處理領(lǐng)域，性能比hadoop快。

二、基于jupyter的網(wǎng)絡(luò)優(yōu)化分析平臺架構(gòu)

網(wǎng)絡(luò)優(yōu)化分析平臺的建設(shè)面向基于大數(shù)據(jù)的網(wǎng)絡(luò)分析優(yōu)化需求，以網(wǎng)優(yōu)問題分析定位為主要目的，結(jié)合MR、PM、NRM、CM等數(shù)據(jù)特點，主要以滿足網(wǎng)絡(luò)優(yōu)化問題定位為主。網(wǎng)絡(luò)優(yōu)化分析平臺的總體架構(gòu)圖見圖2，包括網(wǎng)優(yōu)數(shù)據(jù)的采集解析、基于不同數(shù)據(jù)類型的分布式存儲、各類型數(shù)據(jù)不同維度的分布式運算、各類型數(shù)據(jù)的組合應用層以及用戶界面應用。

2.1 用戶界面

界面提供給網(wǎng)優(yōu)工作人員進行網(wǎng)優(yōu)工作信息交互，實現(xiàn)網(wǎng)絡(luò)信息的內(nèi)部組合形式與網(wǎng)優(yōu)人員可以接受的按照既定業(yè)務邏輯形式之間的轉(zhuǎn)換。

2.2 應用層

應用層為網(wǎng)優(yōu)人員提供了自行代碼編寫、程序調(diào)試及結(jié)果展示的功能，利用JupyterHub實現(xiàn)多個網(wǎng)優(yōu)人員的Notebook管理，同時也提供了HIVE、PIG等傳統(tǒng)的大數(shù)據(jù)統(tǒng)計分析工具供網(wǎng)優(yōu)人員選擇。

2.3 分布式運算

基于Spark框架，利用Spark Streaming、Spark SQL、GraphX、MLlib等核心組件，實現(xiàn)網(wǎng)絡(luò)優(yōu)化各類型各維度數(shù)據(jù)統(tǒng)計。

2.4 分布式存儲

網(wǎng)絡(luò)優(yōu)化分析大數(shù)據(jù)平臺采用HDFS作為分布式存儲的文件系統(tǒng)，HDFS有著高容錯性（fault-tolerant）的特點，而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。從而支持網(wǎng)優(yōu)人員在HBase[6]或HDFS上對數(shù)據(jù)進行查詢、編輯等操作。

三、應用案例

3.1 4G MR競對深度分析

本案例對超過300億條MR測量記錄進行按天各運營商覆蓋優(yōu)劣分析。首先將數(shù)據(jù)（.xml格式）采集解析清洗并轉(zhuǎn)換為parquet [7] 格式存儲到HDFS中，然后根據(jù)查重條件對數(shù)據(jù)進行聚合統(tǒng)計，得到按天的各行政區(qū)劃各場景的運營商覆蓋率、優(yōu)于競爭對手的小區(qū)數(shù)、劣于競爭對手的小區(qū)數(shù)，得到覆蓋率優(yōu)于或劣于競爭對手的行政區(qū)劃數(shù)、場景數(shù)，計算任務利用Spark分布式計算框架來完成，通過jupyter連接數(shù)據(jù)庫，可以對數(shù)據(jù)進行開發(fā)，數(shù)據(jù)建模，最后利用Python包matpoltlib圖形化展示各運營商各行政區(qū)劃、各場景的覆蓋率、優(yōu)于或劣于競爭對手小區(qū)數(shù)的對比分析結(jié)果，支持快速定位覆蓋率差的行政區(qū)或場景，支持快速定位優(yōu)于或劣于競爭對手的行政區(qū)或場景，作為支撐后續(xù)基于覆蓋優(yōu)化的天饋調(diào)整、參數(shù)調(diào)整及網(wǎng)絡(luò)規(guī)劃工作的依據(jù)。

3.2 4G分頻段對比分析

本案例對超過30億條PM數(shù)據(jù)、超過300億條的MR測量記錄、超過1千萬條NRM數(shù)據(jù)進行按天分析。首先對數(shù)據(jù)進行數(shù)據(jù)采集解析清洗存儲到HDFS中，然后根據(jù)NRM匹配出有效的工參數(shù)據(jù)，再按照工參數(shù)據(jù)中的頻段屬性進行分頻段聚合統(tǒng)計，得到按天的各頻段按頻段、按行政區(qū)劃、按場景、按基站的干擾類、接入類、保持類、容量類、移動類、負荷類、語音類、覆蓋類指標數(shù)據(jù)，計算任務利用Spark分布式計算框架來完成，通過jupyter連接數(shù)據(jù)庫，可以對數(shù)據(jù)進行開發(fā)，數(shù)據(jù)建模，最后利用Python包matpoltlib圖形化展示4G分頻段的各類指標，支持按指標類的不同行政區(qū)域?qū)Ρ取⒉煌瑘鼍皩Ρ龋С职葱姓^(qū)劃、按場景的不同類指標對比，支持按行政區(qū)域、按場景的某一類內(nèi)多個指標對比，作為支撐后續(xù)指標差原因分析、指標優(yōu)化分析、參數(shù)調(diào)整、負荷均衡、硬件擴減容、LICENSE調(diào)整、頻段調(diào)整、PCI調(diào)整、鄰區(qū)調(diào)整的依據(jù)。

四、結(jié)束語

基于Jupyter Notebook的網(wǎng)絡(luò)優(yōu)化大數(shù)據(jù)分析應用，構(gòu)建易于使用的網(wǎng)絡(luò)優(yōu)化分析大數(shù)據(jù)平臺，能夠快速高效為網(wǎng)優(yōu)人員提供大數(shù)據(jù)分析計算環(huán)境，解決日常網(wǎng)絡(luò)優(yōu)化的大量數(shù)據(jù)分析處理問題。同時由于網(wǎng)絡(luò)優(yōu)化分析平臺的信息安全級別要求較高，使得基于開源產(chǎn)品建設(shè)的平臺維護難度較大，需要進行有效的完全管理后才能作進一步的推廣。

參 ?考 ?文 ?獻

[1] Jupyter.The Jupyter notebook 5.4.0 documentation[EB/OL].https：//jupyter-notebook.readthedocs.io/en/5.4.0/.

[2] Python. 3.9.1 documentation[EB/OL].https：//docs.python.org/3/.

[3] Jupyter.JupyterHub-JupyterHub documentation [EB/OL]. https：//jupyterhub.readthedocs.io/en/stable/.

[4] Hadoop A.Hadoop-Apache hadoop 3.2.2[EB/OL]. http：//hadoop.apache.org/docs/r3.2.2/.

[5] S p a r k . O v e r v i e w -Documentation[EB/OL]. http：//spark.apache.org/docs/latest/.

[6] Apache.Apache HBase-Apache HBase? Home [EB/OL]. https：//hbase.apache.org/.

[7] Parquet.Apache parquet[EB/OL].http：//parquet.apache.org/documentation/latest/.